JP7514413B2 - Waste sorting equipment - Google Patents
Waste sorting equipment Download PDFInfo
- Publication number
- JP7514413B2 JP7514413B2 JP2020037893A JP2020037893A JP7514413B2 JP 7514413 B2 JP7514413 B2 JP 7514413B2 JP 2020037893 A JP2020037893 A JP 2020037893A JP 2020037893 A JP2020037893 A JP 2020037893A JP 7514413 B2 JP7514413 B2 JP 7514413B2
- Authority
- JP
- Japan
- Prior art keywords
- waste
- discrimination
- infrared
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002699 waste material Substances 0.000 title claims description 442
- 239000000463 material Substances 0.000 claims description 239
- 238000010801 machine learning Methods 0.000 claims description 39
- 239000011521 glass Substances 0.000 claims description 28
- -1 polyethylene Polymers 0.000 claims description 23
- 238000003331 infrared imaging Methods 0.000 claims description 15
- 239000000123 paper Substances 0.000 claims description 15
- 229920005989 resin Polymers 0.000 claims description 15
- 239000011347 resin Substances 0.000 claims description 15
- 229920006327 polystyrene foam Polymers 0.000 claims description 14
- 229920000915 polyvinyl chloride Polymers 0.000 claims description 14
- 239000004800 polyvinyl chloride Substances 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- 239000002023 wood Substances 0.000 claims description 14
- 239000004567 concrete Substances 0.000 claims description 13
- 239000005020 polyethylene terephthalate Substances 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 239000004698 Polyethylene Substances 0.000 claims description 9
- 239000004743 Polypropylene Substances 0.000 claims description 9
- 229920000573 polyethylene Polymers 0.000 claims description 9
- 229920001155 polypropylene Polymers 0.000 claims description 9
- 239000004575 stone Substances 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 229910052751 metal Inorganic materials 0.000 description 43
- 239000002184 metal Substances 0.000 description 43
- 230000010365 information processing Effects 0.000 description 37
- 230000032258 transport Effects 0.000 description 20
- 230000005484 gravity Effects 0.000 description 17
- 238000000034 method Methods 0.000 description 16
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 11
- 229920000139 polyethylene terephthalate Polymers 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 229910052755 nonmetal Inorganic materials 0.000 description 10
- 239000004033 plastic Substances 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 9
- 229910052736 halogen Inorganic materials 0.000 description 8
- 150000002367 halogens Chemical class 0.000 description 8
- 229920003023 plastic Polymers 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 239000010935 stainless steel Substances 0.000 description 8
- 229910001220 stainless steel Inorganic materials 0.000 description 8
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 7
- 229910052782 aluminium Inorganic materials 0.000 description 7
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 7
- 239000010949 copper Substances 0.000 description 7
- 229910052802 copper Inorganic materials 0.000 description 7
- 229910052742 iron Inorganic materials 0.000 description 7
- 230000005855 radiation Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000002329 infrared spectrum Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 239000004794 expanded polystyrene Substances 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 238000001584 occupational therapy Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000010893 paper waste Substances 0.000 description 1
- 229920005990 polystyrene resin Polymers 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000003923 scrap metal Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Landscapes
- Sorting Of Articles (AREA)
Description
本発明は、機械学習の手法を用いて廃棄物の材質を判別し、選別を行う廃棄物選別装置に関する。 The present invention relates to a waste sorting device that uses machine learning techniques to identify and sort waste materials.
建設廃棄物のように、コンクリートや金属や木やプラスチック等の多様な材質を含む廃棄物は、かつては埋め立てや海洋投棄等の最終処分が行われていたが、資源の有効利用を目的として、廃棄物を材質ごとに選別して再資源化を行う試みが広がりつつある。 Waste such as construction waste, which contains a variety of materials such as concrete, metal, wood, and plastic, was once disposed of by landfill or ocean dumping, but efforts to separate waste by material and recycle it are becoming more widespread, with the aim of making more efficient use of resources.
従来、廃棄物を材質ごとに選別する方法としては、比重差選別機や揺動式選別機や風力選別機を用いた方法が知られている。しかしながら、これらの機器は、被処理物に振動や風を与えるものであり、装置構成が複雑かつ大型になりやすい。また、振動や風により、被処理物に付着した微粒子が飛散し、周辺環境に影響を及ぼす虞がある。 Conventionally, methods for separating waste by material type have been known that use gravity sorters, vibration sorters, and wind sorters. However, these machines apply vibrations and wind to the materials being treated, and the device configurations tend to be complex and large. Furthermore, the vibrations and wind can cause fine particles attached to the materials to scatter, potentially affecting the surrounding environment.
そこで最近、被処理物の撮影画像に基づく材質認識の技術を利用した廃棄物の選別装置が提案されている。この種の廃棄物の選別装置として、従来、廃棄物を搬送するコンベアと、コンベア上の廃棄物を撮影する撮影装置と、廃棄物の撮影画像を表示すると共に材質を示す情報の入力を受ける端末と、廃棄物の画像情報に基づいて機械学習を行う制御部と、制御部の指令に基づいて廃棄物を選別するロボットアームを備えたものがある(例えば、特許文献1参照)。 Recently, a waste sorting device has been proposed that uses a material recognition technology based on photographed images of the objects to be treated. Conventional waste sorting devices of this type include a conveyor that transports the waste, a photographing device that photographs the waste on the conveyor, a terminal that displays photographed images of the waste and receives input information indicating the material, a control unit that performs machine learning based on the image information of the waste, and a robot arm that sorts the waste based on commands from the control unit (see, for example, Patent Document 1).
上記従来の廃棄物選別装置は、コンベアで搬送する廃棄物について、撮影装置で撮影すると共に質量を測定し、撮影画像と質量と体積と比重をモニタに表示する。作業者がモニタの表示内容から材質を判別して端末に入力すると、入力された材質に関する材質情報が画像情報と質量情報に紐づけられ、教師情報として記憶される。制御部は、上記教師情報に基づいて、誤差逆伝播法による最適化手法を用いた畳み込みニューラルネットワークを用いた機械学習を行い、この機械学習の結果に基づいて、廃棄物の材質の判別を行う。材質が判別された廃棄物は、ロボットアームによって把持され、材質に応じた収集場所に収集されて選別される。 The conventional waste sorting device photographs waste transported on a conveyor with a camera and measures its mass, and displays the photographed image, mass, volume, and specific gravity on a monitor. When an operator determines the material from the content displayed on the monitor and inputs it into a terminal, the material information about the input material is linked to the image information and mass information and stored as teacher information. Based on the teacher information, the control unit performs machine learning using a convolutional neural network that employs an optimization method based on the backpropagation method, and determines the material of the waste based on the results of this machine learning. Waste whose material has been determined is grasped by a robotic arm and collected in a collection location according to the material for sorting.
しかしながら上記従来の廃棄物選別装置は、制御部が機械学習を繰り返し行っても、廃棄物の材質を正しく判別する割合である正判別率が向上しない場合がある。したがって、ロボットアームが、選別すべき材質とは異なる材質の廃棄物を収集してしまい、廃棄物選別装置の選別精度が低下する問題がある。廃棄物の選別精度が低いと、選別された廃棄物をリサイクルに用いることが困難になる不都合がある。 However, in the conventional waste sorting device described above, even if the control unit repeatedly performs machine learning, there are cases where the correct identification rate, which is the rate at which the material of the waste is correctly identified, does not improve. Therefore, there is a problem that the robot arm collects waste of a different material than the material to be sorted, reducing the sorting accuracy of the waste sorting device. If the waste sorting accuracy is low, it is inconvenient that the sorted waste cannot be used for recycling.
そこで、本発明の課題は、選別精度を効果的に向上できる廃棄物選別装置を提供することにある。 The objective of the present invention is to provide a waste sorting device that can effectively improve sorting accuracy.
上記課題を解決するため、本発明の廃棄物選別装置は、
廃棄物を載置して搬送する搬送面を有する搬送装置と、
上記搬送装置の搬送面の幅方向にわたって赤外線を照射する赤外線照射装置と、
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
予め準備された廃棄物の赤外線画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記赤外線撮影装置が撮影した赤外線画像に基づいて廃棄物の材質を判別する判別部と、
上記判別部により所定の材質と判別された廃棄物を、上記搬送装置から回収して選別する選別部と
を備えることを特徴としている。
In order to solve the above problems, the waste sorting device of the present invention comprises:
A transport device having a transport surface on which waste is placed and transported;
an infrared ray irradiation device that irradiates infrared rays across the width direction of the conveying surface of the conveying device;
an infrared photographing device that photographs at least infrared light reflected from the waste transported by the transport device and outputs an infrared image;
a discrimination unit that discriminates the material of the waste based on the infrared image captured by the infrared imaging device using a discrimination model that performs machine learning using a previously prepared infrared image of the waste and material information of the waste as training data;
The waste disposal system further comprises a sorting section which collects waste that has been determined to be of a predetermined material by the determining section from the transport device and sorts the waste.
上記構成によれば、廃棄物選別装置に投入された廃棄物が、搬送装置の搬送面に載置されて搬送される。搬送装置の搬送面の幅方向にわたって赤外線を照射する赤外線照射装置により、搬送装置で搬送される廃棄物に赤外線が照射される。赤外線が照射された廃棄物が、赤外線撮影装置で撮影されて赤外線画像が出力される。判別部により、赤外線画像に基づいて廃棄物の材質が判別される。この判別部は、廃棄物の赤外線画像とこの廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行う。判別モデルは、上記搬送装置で搬送される廃棄物が上記赤外線撮影装置で撮影されて生成された赤外線画像と、上記廃棄物の材質情報とが入力されて、機械学習を行ってもよい。また、判別モデルは、予め準備された廃棄物の赤外線画像と、この廃棄物の材質情報とが入力されて、機械学習を行ってもよい。これらの判別モデルの機械学習は、選別部が選別を行う前や、選別部が選別を行った後や、選別部が選別を行う合間のいずれに行われてもよい。判別部により材質が判別された廃棄物が、選別部によって搬送装置から回収されて選別される。このように、赤外線画像の機械学習を行った判別モデルを用いた画像認識に基づく材質の判別を行うので、廃棄物の材質を高い判別率で判別することができる。したがって、この廃棄物選別装置は、選別された廃棄物の材質の純度が従来よりも高くなるので、選別された廃棄物のリサイクルを効果的に行うことができる。 According to the above configuration, waste input into the waste sorting device is placed on the conveying surface of the conveying device and conveyed. An infrared irradiating device irradiates infrared rays across the width direction of the conveying surface of the conveying device, and infrared rays are irradiated onto the waste conveyed by the conveying device. The infrared irradiated waste is photographed by an infrared imaging device and an infrared image is output. The discrimination unit discriminates the material of the waste based on the infrared image. The discrimination unit performs machine learning of a discrimination model using the infrared image of the waste and material information indicating the material of the waste as training data. The discrimination model may perform machine learning by inputting an infrared image of the waste conveyed by the conveying device and material information of the waste. The discrimination model may also perform machine learning by inputting an infrared image of the waste prepared in advance and material information of the waste. The machine learning of these discrimination models may be performed before the sorting unit performs sorting, after the sorting unit performs sorting, or between sorting by the sorting unit. The waste whose material has been discriminated by the discrimination unit is collected from the conveying device and sorted by the sorting unit. In this way, material discrimination is based on image recognition using a discrimination model that has undergone machine learning of infrared images, so the material of the waste can be discriminated with a high discrimination rate. Therefore, this waste sorting device can effectively recycle the sorted waste, since the purity of the material of the sorted waste is higher than before.
また、本発明の他の側面による廃棄物選別装置は、
廃棄物を載置して搬送する搬送面を有する搬送装置と、
上記搬送装置で搬送される廃棄物の可視光の反射光を撮影してなる可視光画像を出力する可視光撮影装置と、
上記搬送装置の搬送面の幅方向にわたって赤外線を照射する赤外線照射装置と、
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
上記廃棄物の赤外線画像に基づいて、赤外線のスペクトル特性によって廃棄物の材質を判別する第1判別部と、
上記第1判別部により所定の材質と判別された廃棄物以外の廃棄物について、予め準備された廃棄物の可視光画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記可視光撮影装置が撮影した可視光画像に基づいて廃棄物の材質を判別する第2判別部と、
上記第1判別部又は第2判別部により所定の材質と判別された廃棄物を、上記搬送装置から回収して選別する選別部と
を備えることを特徴としている。
Further, a waste sorting device according to another aspect of the present invention comprises:
A transport device having a transport surface on which waste is placed and transported;
a visible light photographing device that photographs the reflected visible light of the waste transported by the transport device and outputs a visible light image;
an infrared ray irradiation device that irradiates infrared rays across the width direction of the conveying surface of the conveying device;
an infrared photographing device that photographs at least infrared light reflected from the waste transported by the transport device and outputs an infrared image;
a first discrimination unit that discriminates the material of the waste according to infrared spectrum characteristics based on the infrared image of the waste;
a second discrimination unit that discriminates the material of waste other than the waste discriminated as being of a predetermined material by the first discrimination unit, based on the visible light image captured by the visible light imaging device, using a discrimination model that performs machine learning using a previously prepared visible light image of the waste and material information of the waste as training data;
The waste disposal system further comprises a sorting section which recovers, from the transport device, waste that has been determined to be of a predetermined material by the first discrimination section or the second discrimination section and sorts the waste.
上記構成によれば、廃棄物選別装置に投入された廃棄物が、搬送装置の搬送面に載置されて搬送される。搬送装置で搬送される廃棄物が、可視光撮影装置で撮影されて可視光画像が出力される。また、搬送装置の搬送面の幅方向にわたって赤外線を照射する赤外線照射装置により、搬送装置で搬送される廃棄物に赤外線が照射される。赤外線が照射された廃棄物が、赤外線撮影装置で撮影されて赤外線画像が出力される。第1判別部により、赤外線画像に基づいて、赤外線のスペクトル特性によって廃棄物の材質が判別される。この第1判別部により所定の材質と判別された廃棄物以外の廃棄物について、第2判別部により、可視光画像に基づいて廃棄物の材質が判別される。この第2判別部は、廃棄物の可視光画像とこの廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行う。判別モデルは、上記搬送装置で搬送される廃棄物が上記可視光撮影装置で撮影されて生成された可視光画像と、上記廃棄物の材質情報とが入力されて、機械学習を行ってもよい。また、判別モデルは、予め準備された廃棄物の可視光画像と、この廃棄物の材質情報とが入力されて、機械学習を行ってもよい。これらの判別モデルの機械学習は、選別部が選別を行う前や、選別部が選別を行った後や、選別部が選別を行う合間のいずれに行われてもよい。第1判別部又は第2判別部で材質が判別された廃棄物は、選別部によって搬送装置から回収されて選別される。このように、赤外線のスペクトル特性に基づく材質の判別と、可視光画像の機械学習を行った判別モデルを用いた画像認識に基づく材質の判別とを行うので、廃棄物の材質を良好な判別率で判別することができる。ここで、赤外線のスペクトル特性に基づいて材料を正確に判別できる所定の材質を第1判別部で判別し、他の材質を可視光画像の機械学習に基づく判別モデルを用いた画像認識で判別することにより、効率的かつ正確に材質を判別できる。したがって、この廃棄物選別装置は、選別された廃棄物の材質の純度が従来よりも高くなるので、選別された廃棄物のリサイクルを効果的に行うことができる。 According to the above configuration, waste input into the waste sorting device is placed on the conveying surface of the conveying device and conveyed. The waste conveyed by the conveying device is photographed by a visible light imaging device and a visible light image is output. In addition, an infrared irradiation device that irradiates infrared rays across the width direction of the conveying surface of the conveying device irradiates infrared rays onto the waste conveyed by the conveying device. The infrared irradiated waste is photographed by the infrared imaging device and an infrared image is output. The first discrimination unit discriminates the material of the waste based on the infrared image by the spectral characteristics of the infrared. For waste other than the waste discriminated as a predetermined material by the first discrimination unit, the second discrimination unit discriminates the material of the waste based on the visible light image. The second discrimination unit performs machine learning of a discrimination model using the visible light image of the waste and material information indicating the material of the waste as training data. The discrimination model may perform machine learning by inputting a visible light image generated by photographing the waste conveyed by the conveying device with the visible light imaging device and the material information of the waste. The discrimination model may be machine-learned by inputting a previously prepared visible light image of the waste and the material information of the waste. The machine learning of these discrimination models may be performed before the sorting unit performs the sorting, after the sorting unit performs the sorting, or between sorting operations by the sorting unit. The waste whose material has been discriminated by the first discrimination unit or the second discrimination unit is collected from the conveying device by the sorting unit and sorted. In this way, the discrimination of the material based on the infrared spectrum characteristics and the discrimination of the material based on image recognition using a discrimination model that has been machine-learned on a visible light image are performed, so that the material of the waste can be discriminated with a good discrimination rate. Here, the first discrimination unit discriminates a predetermined material that can be accurately discriminated based on the infrared spectrum characteristics, and discriminates other materials by image recognition using a discrimination model based on machine learning on a visible light image, so that the material can be discriminated efficiently and accurately. Therefore, this waste sorting device has a higher purity of the material of the sorted waste than before, so that the sorted waste can be effectively recycled.
一実施形態の廃棄物選別装置は、上記赤外線撮影装置が、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラである。 In one embodiment of the waste sorting device, the infrared imaging device is a multispectral camera that outputs a multispectral image showing the intensity distribution of the reflected infrared light for each of multiple wavelength bands.
上記実施形態によれば、廃棄物をマルチペクトルカメラで撮影して出力されたマルチスペクトル画像を用いることにより、廃棄物の可視光領域から赤外線領域までのスペクトル特性を精度よく検出できる。したがって、廃棄物の材質を正確に判別できる。ここで、マルチスペクトルカメラは、複数の波長帯域における反射光の強度分布を出力するものであれば、波長帯域の数や値は限定されない。したがって、マルチスペクトルカメラには、ハイパースペクトルカメラが包含される。また、マルチスペクトル画像には、ハイパースペクトル画像が包含される。また、マルチスペクトル画像には、複数の波長帯域における反射光の強度分布を示す画像を作成可能な情報が含まれる。したがって、マルチスペクトル画像に基づいて、撮影範囲内の所定の位置における廃棄物の可視光領域及び赤外線領域のスペクトル特性が得られる。 According to the above embodiment, by using a multispectral image outputted from photographing waste with a multispectral camera, the spectral characteristics of the waste from the visible light region to the infrared region can be detected with high accuracy. Therefore, the material of the waste can be accurately determined. Here, the number and value of the wavelength bands are not limited as long as the multispectral camera outputs the intensity distribution of reflected light in multiple wavelength bands. Therefore, the multispectral camera includes a hyperspectral camera. Furthermore, the multispectral image includes a hyperspectral image. Furthermore, the multispectral image includes information that can create an image showing the intensity distribution of reflected light in multiple wavelength bands. Therefore, the spectral characteristics of the waste in the visible light region and the infrared region at a predetermined position within the photographing range can be obtained based on the multispectral image.
一実施形態の廃棄物選別装置は、上記赤外線撮影装置が、ラインスキャン型のマルチスペクトルカメラである。 In one embodiment of the waste sorting device, the infrared imaging device is a line-scan type multispectral camera.
上記実施形態によれば、廃棄物をラインスキャン型のマルチペクトルカメラで撮影することにより、マルチスペクトル画像を効率的に取得できる。特に、搬送装置が、ベルトコンベヤ等のように一定方向に移動する搬送面に廃棄物を載置して搬送する場合、ラインスキャン型のマルチペクトルカメラにより、上記搬送装置の搬送面を幅方向に走査することにより、搬送面の移動方向に連続したマルチスペクトル画像を得ることができる。したがって、エリア型のカメラで撮影した場合のような、撮影範囲をラップさせて順次撮影する手間や、隣り合う画像を順次つなぎ合わせる工程を削除できる。また、ラインスキャン型のマルチペクトルカメラは、画像の撮影位置を、搬送装置の搬送面の移動方向における1点に特定できるので、エリア型のカメラで撮影した場合のような、廃棄物が撮影されてから選別部で選別されるまでの時間に、画像中の位置によってばらつきが生じる不都合を防止できる。その結果、マルチスペクトル画像に基づいて廃棄物の材質を良好な精度で判別でき、また、良好な精度で廃棄物の選別動作を行うことができる。 According to the above embodiment, the waste is photographed by a line-scan type multispectral camera, so that a multispectral image can be efficiently obtained. In particular, when the conveying device conveys the waste on a conveying surface that moves in a fixed direction, such as a belt conveyor, the line-scan type multispectral camera scans the conveying surface of the conveying device in the width direction, so that a continuous multispectral image can be obtained in the moving direction of the conveying surface. Therefore, it is possible to eliminate the trouble of taking sequential photographs with the photographing range wrapped around it, as in the case of photographing with an area type camera, and the process of sequentially stitching together adjacent images. In addition, the line-scan type multispectral camera can specify the photographing position of an image to one point in the moving direction of the conveying surface of the conveying device, so that it is possible to prevent the inconvenience of variation occurring depending on the position in the image, as in the case of photographing with an area type camera, in the time from when the waste is photographed to when it is sorted in the sorting section. As a result, the material of the waste can be identified with good accuracy based on the multispectral image, and the waste sorting operation can be performed with good accuracy.
一実施形態の廃棄物選別装置は、上記赤外線照射装置が、搬送装置の搬送面の幅方向に複数の赤外線発生源が位置するように複数個配置されている。 In one embodiment of the waste sorting device, multiple infrared irradiators are arranged so that multiple infrared emitting sources are positioned in the width direction of the conveying surface of the conveying device.
上記実施形態によれば、搬送装置の搬送面の幅方向に複数の赤外線発生源が位置するように配置された複数の赤外線照射装置により、搬送面上の廃棄物に、幅方向における偏りの少ない量の赤外線を照射できる。したがって、上記廃棄物を赤外線撮影装置で撮影した赤外線画像に基づいて、廃棄物の正確なスペクトル特性が得られる。 According to the above embodiment, multiple infrared irradiation devices are arranged so that multiple infrared generation sources are positioned in the width direction of the conveying surface of the conveying device, and thus it is possible to irradiate the waste on the conveying surface with an amount of infrared light with little bias in the width direction. Therefore, accurate spectral characteristics of the waste can be obtained based on an infrared image of the waste captured by an infrared imaging device.
一実施形態の廃棄物選別装置は、上記赤外線照射装置が、搬送装置の搬送面の幅方向に延在する赤外線発生源を有する。 In one embodiment of the waste sorting device, the infrared irradiation device has an infrared ray generating source that extends in the width direction of the conveying surface of the conveying device.
上記実施形態によれば、搬送装置の搬送面の幅方向に延在する赤外線発生源を有する赤外線照射装置により、搬送面上の廃棄物に、幅方向における偏りの少ない量の赤外線を照射できる。したがって、上記廃棄物を赤外線撮影装置で撮影した赤外線画像に基づいて、廃棄物の正確なスペクトル特性が得られる。 According to the above embodiment, the infrared irradiation device has an infrared generating source extending in the width direction of the conveying surface of the conveying device, so that the waste on the conveying surface can be irradiated with an amount of infrared rays with little bias in the width direction. Therefore, accurate spectral characteristics of the waste can be obtained based on an infrared image of the waste captured by the infrared imaging device.
一実施形態の廃棄物選別装置は、上記第2判別部が、上記可視光撮影装置が撮影した廃棄物が金属であるか否かを示す金属情報が入力され、上記廃棄物の可視光画像と金属情報に基づいて上記判別モデルで材質を判別する。 In one embodiment of the waste sorting device, the second discrimination unit receives metal information indicating whether the waste photographed by the visible light imaging device is metallic or not, and discriminates the material using the discrimination model based on the visible light image of the waste and the metal information.
上記実施形態によれば、可視光撮影装置で撮影されて材質を判別すべき廃棄物について、この廃棄物が金属であるか否かを示す金属情報が、第2判別部に入力される。上記金属情報は、可視光画像を視認した作業者によって作成されてもよく、あるいは、搬送装置の周囲に設置された金属検出装置の出力に基づいて作成されてもよい。第2判別部は、廃棄物の可視光画像と、この廃棄物の金属情報に基づいて判別モデルで判別を行うことにより、上記廃棄物の材質を高い判別率で判別することができる。 According to the above embodiment, for waste that has been photographed by a visible light imaging device and whose material is to be determined, metal information indicating whether the waste is metallic or not is input to the second discrimination unit. The metal information may be created by an operator who visually recognizes the visible light image, or may be created based on the output of a metal detection device installed around the transport device. The second discrimination unit can determine the material of the waste with a high discrimination rate by performing discrimination using a discrimination model based on the visible light image of the waste and the metal information of the waste.
一実施形態の廃棄物選別装置は、上記搬送装置で搬送される廃棄物が金属であるか否かを検出する金属検出装置を備える。 In one embodiment, the waste sorting device is equipped with a metal detection device that detects whether the waste transported by the transport device is metallic.
上記実施形態によれば、金属検出装置により、搬送装置で搬送される金属物が金属であるか否かを検出し、検出結果を示す金属情報を第2判別部に入力することにより、上記廃棄物の材質を高い判別率で判別することができる。 According to the above embodiment, the metal detection device detects whether or not the metal object being transported by the transport device is a metal, and metal information indicating the detection result is input to the second discrimination unit, thereby making it possible to discriminate the material of the waste with a high discrimination rate.
一実施形態の廃棄物選別装置は、上記赤外線撮影装置が、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであり、
上記マルチスペクトル画像に基づいて判別された複数の材質が単一の廃棄物に存在し、所定の材質に対応する領域が所定の割合を占める場合、上記第1判別部が、上記廃棄物が上記所定の材質であると判別する。
In one embodiment of the waste sorting apparatus, the infrared photographing device is a multispectral camera that outputs a multispectral image showing an intensity distribution of the reflected infrared light for each of a plurality of wavelength bands,
When multiple materials identified based on the multispectral image are present in a single waste material and the area corresponding to a specified material occupies a specified proportion, the first discrimination unit determines that the waste material is the specified material.
上記実施形態によれば、赤外線撮影装置としてのマルチスペクトルカメラから出力されたマルチスペクトル画像に基づいて、第1判別部が廃棄物の材質を判別するとき、単一の廃棄物に、複数の材質が検出される場合がある。このような廃棄物として、例えば、紙や樹脂のラベルが貼付されたガラス瓶や、土砂が付着した木等がある。このような廃棄物は、マルチスペクトル画像に基づいて判別した材質の分布領域を平面座標上に表した場合、ガラスや木のように、体積において大半を占める材質が、比較的少ない領域を占める。したがって、所定の材質が所定の占有割合である場合に、この廃棄物の材質が上記材質であると判別することにより、この廃棄物の主要な材質を正確に特定することができる。例えば、マルチスペクトル画像に基づく材質の分布画像において、ガラスと、ガラス以外の紙又は樹脂等の複数の材質の領域が検出され、これらの材質のうちのガラスの占める割合が40%を超える場合、上記廃棄物をガラスであると判別する。これにより、ラベルが貼付されたガラス瓶の材質を、ガラスと判別することができる。ここで、上記所定の割合を占める材質が、複数の材質の中で最も大きい割合を占める場合に、この廃棄物の材質であると判別してもよい。 According to the above embodiment, when the first discrimination unit discriminates the material of the waste based on the multispectral image output from the multispectral camera as the infrared imaging device, multiple materials may be detected in a single waste. Examples of such waste include glass bottles with paper or resin labels attached, and wood with soil and sand attached. When the distribution area of the material of such waste determined based on the multispectral image is expressed on a plane coordinate system, the material that occupies the majority of the volume, such as glass or wood, occupies a relatively small area. Therefore, when a predetermined material has a predetermined occupancy ratio, it is possible to accurately identify the main material of the waste by discriminating that the material of the waste is the above-mentioned material. For example, in a distribution image of materials based on a multispectral image, regions of glass and multiple materials other than glass, such as paper or resin, are detected, and when the ratio of glass to these materials exceeds 40%, the waste is discriminated to be glass. This allows the material of a glass bottle with a label attached to be discriminated to be glass. Here, when the material that occupies the above-mentioned predetermined ratio occupies the largest ratio among the multiple materials, it may be discriminated to be the material of the waste.
一実施形態の廃棄物選別装置は、上記赤外線撮影装置が、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであり、
上記判別部が、上記マルチスペクトル画像に基づいて、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂、紙類、コンクリート、石、ガラス、木、ペットボトル及びポリスチレンフォームのいずれかの材質を判別する。
In one embodiment of the waste sorting apparatus, the infrared photographing device is a multispectral camera that outputs a multispectral image showing an intensity distribution of the reflected infrared light for each of a plurality of wavelength bands,
The discrimination unit discriminates the material from any one of polyethylene, polypropylene, polyvinyl chloride resin, paper, concrete, stone, glass, wood, a PET bottle, and polystyrene foam based on the multispectral image.
上記実施形態によれば、赤外線撮影装置としてのマルチスペクトルカメラで撮影されたマルチスペクトル画像に基づいて、判別部により、赤外線のスペクトル解析と画像処理が行われ、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂、紙類、コンクリート、石、ガラス、木、ペットボトル及びポリスチレンフォームのいずれかの材質が判別される。これにより、廃棄物の全体の正判別率を効果的に高めることができる。 According to the above embodiment, the discrimination unit performs infrared spectrum analysis and image processing based on a multispectral image captured by a multispectral camera as an infrared imaging device, and discriminates the material from among polyethylene, polypropylene, polyvinyl chloride resin, paper, concrete, stone, glass, wood, PET bottles, and polystyrene foam. This effectively increases the overall correct discrimination rate of waste.
一実施形態の廃棄物選別装置は、上記赤外線撮影装置が、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであり、
上記第1判別部が、上記マルチスペクトル画像に基づいて、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂及び紙類のいずれかの材質を判別し、
上記第2判別部が、上記可視光画像に基づいて、コンクリート、木、ガラス、ペットボトル及びポリスチレンフォームのいずれかの材質を判別する。
In one embodiment of the waste sorting apparatus, the infrared photographing device is a multispectral camera that outputs a multispectral image showing an intensity distribution of the reflected infrared light for each of a plurality of wavelength bands,
The first discrimination unit discriminates the material of the material from any one of polyethylene, polypropylene, polyvinyl chloride resin, and paper based on the multispectral image,
The second discrimination unit discriminates the material of the object from among concrete, wood, glass, a plastic bottle, and polystyrene foam based on the visible light image.
上記実施形態によれば、赤外線撮影装置としてのマルチスペクトルカメラで撮影されたマルチスペクトル画像に基づいて、第1判別部により赤外線のスペクトル解析が行われ、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂及び紙類のいずれかの材質が判別される。また、第2判別部により、可視光画像に基づく画像認識により、コンクリート、木、ガラス、ペットボトル及びポリスチレンフォームのいずれかの材質が判別される。これにより、廃棄物の全体の正判別率を効果的に高めることができる。 According to the above embodiment, the first discrimination unit performs infrared spectrum analysis based on a multispectral image captured by a multispectral camera as an infrared imaging device, and discriminates the material as one of polyethylene, polypropylene, polyvinyl chloride resin, and paper. In addition, the second discrimination unit discriminates the material as one of concrete, wood, glass, PET bottles, and polystyrene foam by image recognition based on a visible light image. This effectively increases the overall correct discrimination rate of waste.
一実施形態の廃棄物選別装置は、上記赤外線撮影装置が、1000nm以上2350nm以下の波長の赤外線を検出して撮影を行う。 In one embodiment of the waste sorting device, the infrared imaging device detects infrared rays with wavelengths of 1000 nm or more and 2350 nm or less and captures images.
上記実施形態によれば、赤外線撮影装置が検出した1000nm以上2350nm以下の波長の赤外線に関するスペクトル特性に基づいて、廃棄物の材質を高い精度で判別することができる。 According to the above embodiment, the material of the waste material can be determined with high accuracy based on the spectral characteristics of infrared light with wavelengths of 1000 nm or more and 2350 nm or less detected by the infrared imaging device.
以下、本発明を図示の実施の形態により詳細に説明する。 The present invention will now be described in detail with reference to the illustrated embodiments.
図1は、本発明の第1実施形態の廃棄物選別装置を示す模式図である。この廃棄物選別装置は、都市ごみ等のように、コンクリート、ガラスビン、金属屑、プラスチック、木片及び古紙等の種々のものが混在した廃棄物を、材質に応じて選別するものである。本実施形態の廃棄物選別装置は、例えばゴミ処理場等に設置され、家庭や商業施設等から収集された廃棄物を選別し、材質毎に回収して再利用を行うために用いることができる。 Figure 1 is a schematic diagram showing a waste sorting device according to a first embodiment of the present invention. This waste sorting device sorts waste, such as urban waste, which is a mixture of various materials such as concrete, glass bottles, scrap metal, plastic, wood chips, and waste paper, according to the material. The waste sorting device of this embodiment can be installed, for example, in a garbage disposal facility, and can be used to sort waste collected from homes, commercial facilities, etc., and recover the waste by material for reuse.
第1実施形態の廃棄物選別装置1は、廃棄物2を搬送する搬送装置としてのベルトコンベヤ3と、ベルトコンベヤ3上の廃棄物2の形状及び高さを測定する3Dセンサ4と、ベルトコンベヤ3上の廃棄物2を撮影する可視光撮影装置としての可視光カメラ5と、ベルトコンベヤ3上の廃棄物2を撮影する赤外線撮影装置としてのハイパースペクトルカメラ6と、ベルトコンベヤ3で搬送される廃棄物2が金属と非金属のいずれであるかを検知する金属センサ19を備える。3Dセンサ4、可視光カメラ5、ハイパースペクトルカメラ6及び金属センサ19は、これらから入力された情報に基づいて廃棄物2の材質を判別する判別装置7に接続されている。判別装置7は制御装置8に接続され、判別装置7による判別結果に応じて、制御装置8が、選別部としてのロボットアーム9と、ベルトコンベヤ3を制御する。制御装置8で制御されたロボットアーム9により、ベルトコンベヤ3上の廃棄物2が取り上げられ、材質毎に分けて収集する収集箱10に投入されるようになっている。
The
ベルトコンベヤ3は、両端のプーリに巻き回されたコンベヤベルトが、モータに連結されたプーリで駆動され、上記コンベヤベルトの上方向きの表面である搬送面上に、廃棄物2を載置して搬送するように構成されている。このベルトコンベヤ3は、モータ及び変速機等を含んで形成された駆動装置30が制御装置8によって制御され、廃棄物2の搬送の動作が制御される。
The
3Dセンサ4は、ベルトコンベヤ3上の廃棄物2の形状及び高さを計測し、測定情報が、選別対象の判断や、ロボットアーム9の制御に用いられる。3Dセンサ4は、レーザースキャナを用いて構成することができる。上記3Dセンサ4は、ベルトコンベヤ3の上方を取り囲むように設置された計測室の内側に配置されている。ここで、3Dセンサ4は、レーザースキャナ以外の他の光学的手法によるものや、超音波等を利用した音響的手法によるものを用いてもよい。
The
可視光カメラ5は、ベルトコンベヤ3上の廃棄物2を撮影して可視光画像を出力し、この可視光画像に基づいて判別装置7で廃棄物2の材質が判別される。可視光カメラ5は、ベルトコンベヤ3の上方を取り囲むように設置された撮影室の内側に配置され、外部の光による影響を防止するようになっている。可視光カメラ5は、ベルトコンベヤ3のコンベヤベルトが所定距離進行する毎に静止画像を撮影して、コンベヤベルト上の廃棄物2を漏れなく撮影するようになっている。なお、可視光カメラ5は、ベルトコンベヤ3の搬送面を連続的に撮影し、ベルトコンベヤ3の運転状況と同期して連続的な画像を出力するラインスキャン型のカメラを用いてもよい。
The visible
ハイパースペクトルカメラ6は、撮影対象の反射光の強度を、可視光及び近赤外線に属する複数の波長帯域ごとに取得して記録するものであり、2次元座標に、複数の波長帯域の光強度を示す情報が重畳して記録されたハイパースペクトル画像を出力する。このように、ハイパースペクトル画像は、赤外線帯域の情報を含み、本発明の赤外線画像に該当する。なお、ハイパースペクトルカメラ6は、可視光線の波長から赤外線の波長までの間で、複数の波長帯域について光強度を記録するものであれば、記録する波長帯域の個数や値は、判別しようとする材質に応じて適宜設定可能である。例えば、ハイパースペクトルカメラ6としては、1000nm以上2350nm以下の波長の可視光及び赤外線を、5~15nm程度の分解能で撮影するものを用いることができる。特に、1700nm以上2000nm以下の近赤外線を撮影するハイパースペクトルカメラ6を用いると、材質の判別精度が向上する点で特に好ましい。しかしながら、ハイパースペクトルカメラ6の撮影する波長の下限と上限は、いずれも他の値であってもよい。また、赤外線カメラとして、ハイパースペクトルカメラよりも記録する波長の範囲が狭く、また、波長分解能の低いマルチスペクトルカメラを用いてもよい。なお、ハイパースペクトルカメラは、マルチスペクトルカメラに包含される。
The
また、ハイパースペクトルカメラ6は、ラインスキャン型であるのが好ましい。ラインスキャン型のハイパースペクトルカメラ6は、ベルトコンベヤ3の搬送面を幅方向に走査し、ベルトコンベヤ3の搬送面の延在方向に沿ったハイパースペクトル画像を出力する。ラインスキャン型のハイパースペクトルカメラ6は、エリア型のカメラを用いた場合のような、撮影範囲をラップさせて順次撮影する手間や、隣り合う画像を順次つなぎ合わせる工程を削除できる。また、ラインスキャン型のマルチペクトルカメラ6は、画像の撮影位置が、ベルトコンベヤ3の搬送面の移動方向において、実質的に1点に特定される。したがって、エリア型のカメラで撮影した場合のような、廃棄物が撮影されてから選別部で選別されるまでの時間に、画像中の位置によってばらつきが生じる不都合を防止できる。その結果、マルチスペクトル画像に基づいて廃棄物の材質を良好な精度で判別でき、また、良好な精度で廃棄物の選別動作を行うことができる。
The
図2及び図3は、ハイパースペクトルカメラ6が設置された赤外線画像撮影室21内を示す模式図である。図2は、ベルトコンベヤ3の搬送方向に沿った断面を示しており、図3は、ベルトコンベヤ3の搬送方向と直角方向であって、搬送面の幅方向に沿った断面を示している。この赤外線画像撮影室21内には、赤外線照射装置としての複数のハロゲンランプ22が配置され、このハロゲンランプ22よりもベルトコンベヤ3の搬送方向の下流側に、ハイパースペクトルカメラ6が配置されている。この赤外線画像撮影室21は、ベルトコンベヤ3のコンベヤベルトの搬送面の上方を取り囲むように設置されており、赤外線の撮影に対する外部の光の影響を防止するようになっている。ハロゲンランプ22は、ベルトコンベヤ3のコンベヤベルトの幅方向に複数個配列されている。これにより、搬送面への赤外線の照射量を、搬送面の幅方向において偏りが少なくなるようにしている。その結果、搬送面上の位置にかかわらず、廃棄物2に偏りの無い所定量の赤外線を照射して、ハイパースペクトルカメラ6の撮影画像から正確なスペクトル特性が得られるようになっている。ここで、図3ではハロゲンランプ22をベルトコンベヤ3のコンベヤベルトの幅方向に4個配置した例を示したが、ハロゲンランプ22の個数は何個でもよい。
2 and 3 are schematic diagrams showing the inside of the infrared
図4は、赤外線画像撮影室21内に、他の赤外線照射装置として、線形の赤外線発生源を有するリニア型ハロゲンランプ24を設置した様子を示す断面図である。図4は、図3と同様に、搬送面の幅方向に沿った断面を示している。ベルトコンベヤ3の搬送面の幅方向に延びるリニア型ハロゲンランプ24を用いることにより、搬送面の幅方向における赤外線の照射量の偏りを少なくできる。ここで、赤外線照射装置は、ハロゲンランプ22,24以外に、他の赤外線発生源を用いてもよい。
Figure 4 is a cross-sectional view showing the installation of a
金属センサ19は、ベルトコンベヤ3上の廃棄物2が金属であるか、又は、非金属であるかを検出し、検出結果として金属/非金属情報を出力する。金属/非金属情報は、判別装置7に入力され、廃棄物2の材質の判別に用いられる。金属センサ19は、電磁波や電磁界を利用したものや、X線を利用したもの等、種々の原理で金属又は非金属を検出するものを用いることができる。
The
図5は、判別装置7及び制御装置8を示すブロック図である。判別装置7は、3Dセンサ4の測定情報や可視光カメラ5が撮影した可視光画像やハイパースペクトルカメラ6から出力されたハイパースペクトル画像を処理する情報処理部11と、情報処理部11で処理されたハイパースペクトル画像に基づいて廃棄物2の材質を判別する第1判別部12と、情報処理部11で処理された可視光画像に基づいて廃棄物2の材質を判別する第2判別部13と、3Dセンサ4や可視光カメラ5やハイパースペクトルカメラ6からの情報を記憶する記憶部14を有する。制御装置8は、判別部12,13による判別結果に基づいてロボットアーム9を制御すると共にベルトコンベヤ3を制御する制御部16と、廃棄物選別装置1の設定に関する操作を受け付ける操作部17を有する。
Figure 5 is a block diagram showing the
判別装置7と制御装置8は、いずれもCPU(Central Processing Unit)と、コンピュータプログラムが格納された記憶装置を有し、記憶装置のコンピュータプログラムが読み出されてCPUで実行されることにより、各装置の機能が実現される。なお、判別装置7の記憶部14は、磁気ディスクや半導体メモリ等で形成することができる。また、記憶部14の一部又は全部を、判別装置7から分離して廃棄物選別装置1の設置位置から離れた位置に配置し、情報ネットワークにより判別装置7に接続してもよい。この場合、記憶部14として、クラウドサーバや、ブロックチェーン技術を用いた分散型台帳を利用することができる。また、制御装置8の操作部17は、ボタン、タッチセンサ、タッチパッド、ダイヤル等の入力装置や、表示機能を兼ね備えたタッチパネルで形成することができる。
The
判別装置7の情報処理部11は、3Dセンサ4の測定情報と、可視光カメラ5が撮影した可視光画像と、ハイパースペクトルカメラ6が撮影したハイパースペクトル画像と、金属センサ19の検出情報が入力される。情報処理部11は、3Dセンサ4の測定情報に基づいて、所定の大きさであり、かつ、ベルトコンベヤ3上の配置状態が把持可能な状態である廃棄物2を、選別候補として抽出する。大きさについては、ロボットアーム9の把持部で把持可能な大きさであるものを抽出する。また、配置状態については、ロボットアーム9の把持部が他の廃棄物2やベルトコンベヤ3等の部材に干渉することなく把持できるものを抽出する。情報処理部11は、可視光画像から、選別候補として抽出した廃棄物2の部分の画像を切り出す。可視光画像に複数の選別候補の廃棄物2が写り込んでいる場合、複数の廃棄物2の部分の画像を切り出す。画像が切り出された選別候補の廃棄物2について、可視光画像中の座標に基づいて平面位置を特定すると共に、3Dセンサ4の測定情報のうちの高さ情報を特定して紐付ける。なお、廃棄物2の大きさや配置は、可視光カメラ5の可視光画像に基づいて判断してもよい。
The
情報処理部11は、選別候補として抽出した廃棄物2について、可視光画像の廃棄物2の部分と高さ情報に基づいて重心を算出すると共に、ロボットアーム9で把持する際の把持部の姿勢を特定する。これらの廃棄物2の重心の情報と、廃棄物2を把持する際の把持部の姿勢の情報は、判別部12,13で判別された材質の情報と共に、制御装置8の制御部16へ送られる。
The
また、判別装置7の情報処理部11は、ベルトコンベヤ3に設置された移動量検出部で検出されたコンベヤベルトの移動量を示す情報を、制御装置8の制御部16を介して受け取る。ベルトコンベヤ3の移動量検出部は、エンコーダ等を用いることができる。このコンベヤベルトの移動量に応じて、情報処理部11は、3Dセンサ4、可視光カメラ5、ハイパースペクトルカメラ6及び金属センサ19を制御して測定や撮影のタイミングを図るようになっている。3Dセンサ4、可視光カメラ5及び金属センサ19の作動のタイミングをベルトコンベヤ3の移動量に応じて制御することにより、3Dセンサ4、可視光カメラ5、ハイパースペクトルカメラ6及び金属センサ19で取得した情報に基づいて、ロボットアーム9で廃棄物2を正確に特定して選別することができる。
The
判別装置7の情報処理部11は、選別候補として抽出した廃棄物2について、ハイパースペクトル画像の廃棄物2の部分を切り出し、選別する選別候補として抽出し、切出した廃棄物2のハイパースペクトル画像を第1判別部12へ出力する。
The
判別装置7の第1判別部12は、情報処理部11から入力された廃棄物2のハイパースペクトル画像に基づいて、反射光の波長分布を分析し、廃棄物2のスペクトル特性を特定する。第1判別部12は、特定したスペクトル特性に基づいて、廃棄物2の材質を特定する。第1判別部12により材質が特定され、特定された材質が所定の材質であると、情報処理部11により、第1実施形態と同様に切り出された可視光画像中の座標に基づいて平面位置が特定されると共に、3Dセンサ4の測定情報のうちの高さ情報が特定されて紐付けられる。さらに、情報処理部11により、可視光画像の廃棄物2の部分が抽出され、可視光画像の抽出部分と高さ情報に基づいて廃棄物2の重心が算出される。これと共に、ロボットアーム9で把持される際の把持部の姿勢が特定される。これらの廃棄物2の重心の情報と、把持部の姿勢の情報は、第1判別部12で判別された材質の情報と共に、制御装置8の制御部16へ送られる。制御部16は、情報処理部11から受け取った廃棄物2の重心とロボットアーム9の把持部の姿勢に関する情報に基づいて、ロボットアーム9を制御し、廃棄物2をベルトコンベヤ3から取り上げて所定の収集箱10に投入させる。
The
この判別装置7は、ハイパースペクトルカメラ6によるハイパースペクトル画像に基づいて第1判別部12で材質を特定し、第1判別部12で特定された材質が所定の材質以外である場合は、第2判別部13で可視光画像に基づいて機械学習に基づく判別モデルにより材質を特定する。したがって、廃棄物2の材質を高い精度で判別することができる。
This
ここで、第1判別部12は、廃棄物2の材質を、上記所定の材質として、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂、ポリスチレンフォーム、ポリエチレンテレフタレート及び紙類のいずれかであると判別した場合、これらの材質の廃棄物2をロボットアーム9で選別するように設定できる。一方、第1判別部12が判別した材質が、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂、ポリスチレンフォーム、ポリエチレンテレフタレート及び紙類のいずれでもない場合、この廃棄物2の材質を第2判別部13により判別するように設定できる。第2判別部13により判別する材質としては、鉄、アルミニウム、銅、ステンレス、コンクリート、木及びガラス等を挙げることができる。このように、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂、ポリスチレンフォーム、ポリエチレンテレフタレート及び紙類を第1判別部12で判別し、鉄、アルミニウム、銅、ステンレス、コンクリート、木及びガラス等を第2判別部13で判別することにより、廃棄物2の材質を高い精度で判別することができる。なお、木及び/又はコンクリートは、第1判別部12によって判別してもよい。また、鉄、アルミニウム、銅及びステンレスは、第2判別部13によらず、金属センサ19のみにより検出してもよい。
Here, when the
情報処理部11は、第1判別部12により、単一の廃棄物2から複数の材質が検出された場合、各材質の配分割合に基づいて、この廃棄物2の材質を判別するのが好ましい。例えば、単一の廃棄物2からガラスと紙が検出された場合、ラベル付きのガラス容器である可能性が高く、材質の占める割合はガラスが大半であるため、この廃棄物2の材質はガラスと判別する。この場合、紙とガラスが検出され、ガラスの占める割合が40%を超えたときに、ガラスと判別することができる。また、第1判別部12により単一の廃棄物2に複数の材質が検出された場合、検出された材質の種類及び/又は配分割合に、可視光カメラ5で撮影した可視光画像から抽出した廃棄物2の形状を組み合わせて廃棄物2の種類を特定し、材質を判別してもよい。これにより、例えば、紙やプラスチックのラベルの付されたガラス瓶を特定し、材料をガラスに判別することができる。
When the
一方、情報処理部11は、第1判別部12で所定の材質であると判別されたもの以外の廃棄物2について、第2判別部13により材質を判別するための処理を行う。すなわち、第1判別部12で材質が判別されなかった廃棄物2や、第1判別部12による判別結果では選別を行わないことが予め定められた材質の廃棄物2について、情報処理部11が可視光画像から廃棄物2の部分を切り出し、切り出した廃棄物2の画像を第2判別部13へ出力する。また、情報処理部11により、切り出された可視光画像中の座標に基づいて平面位置が特定されると共に、3Dセンサ4の測定情報のうちの高さ情報が特定されて紐付けられ、廃棄物2の重心が算出され、ロボットアーム9で把持される際の把持部の姿勢が特定される。
On the other hand, the
第2判別部13は、情報処理部11から廃棄物2の可視光画像を受け取ると、この廃棄物2の可視光画像に基づいて、画像認識技術により廃棄物2の材質の判別を行う。第2判別部13は、判別モデルとして、教師有り学習によってアルゴリズムを成長させるニューラルネットワークを用いて構成されている。この第2判別部13は、廃棄物2の画像が入力され、ニューラルネットワークにより計算を実行して、上記廃棄物2の材質を出力する。なお、第2判別部13は、判別モデルとして、他の教師有り学習を行うアルゴリズムによるサポートベクターマシン(SVM)等を用いてもよい。また、第2判別部13のニューラルネットワークは、多数構造を有してディープラーニングを行ってもよい。また、第2判別部13は、ニューラルネットワークによる処理を、ソフトウェアで実行してもよく、或いは、ハードウェアで実行してもよい。
When the
第2判別部13のニューラルネットワークは、廃棄物2の選別作業を行うに先立ち、学習モードで機械学習を行う。学習モードでは、教師データとして、廃棄物の画像を入力すると共に、この廃棄物の画像の材質の情報を正解として入力する。廃棄物選別装置1で選別しようとする複数の材質について、廃棄物の種々の形態を示した画像と、この廃棄物の材質を示す正解の情報との複数の組み合わせを準備し、これらの複数の組み合わせの画像及び情報を用いて機械学習を行う。
The neural network of the
制御装置8の制御部16は、判別装置7からの情報に基づいてロボットアーム9及びベルトコンベヤ3を制御する。また、ベルトコンベヤ3の移動量検出部で検出されたコンベヤベルトの移動量を示す情報を、判別装置7に出力する。また、制御部16は、情報処理部11で選別の対象として特定された廃棄物2について、情報処理部11から受け取った廃棄物2の重心とロボットアーム9の把持部の姿勢に関する情報に基づいて、ロボットアーム9を制御し、廃棄物2をベルトコンベヤ3から取り上げ、材質に応じた収集箱10に投入する動作を実行させる。
The
ロボットアーム9は、例えば垂直多関節ロボットにより構成され、先端に設けた把持部により、ベルトコンベヤ3上の廃棄物2を掴んで取り上げ、取り上げた廃棄物2の材質に応じて、材質毎に設定された収集箱10に投入する。ロボットアーム9は、垂直多関節ロボット以外に、パラレルリンクロボット等の他の形式のロボットを用いてもよい。
The
上記構成の廃棄物選別装置1は、第2判別部13で行われる処理に応じて、学習モードと判別モードの運転を行う。すなわち、第2判別部13は、廃棄物2の判別の学習を行う学習モードと、廃棄物2の選別のために判別を行う判別モードの処理を行う。
The
学習モードでは、廃棄物選別装置1のベルトコンベヤ3で廃棄物2を搬送し、可視光カメラ5で撮影した可視光画像を情報処理部11で処理して廃棄物2の部分を抽出すると共に、制御装置17の操作部17を通じて上記廃棄物2の材質に関する情報が正解として操作者によって入力される。上記廃棄物2の画像と、上記材質に関する正解の情報を、第2判別部13に入力して教師有り学習を行うことができる。正解としての廃棄物2の材質に関する情報の入力は、判別装置7に入力部を接続し、この入力部を通じて行ってもよい。
In the learning mode,
また、学習モードにおいて、操作者は、廃棄物選別装置1の設置位置と異なる位置で、正解としての廃棄物2の材質に関する情報を入力してもよい。この場合、廃棄物選別装置1に通信装置を接続すると共に、情報の入力を行う位置に、画像表示装置と入力部と通信部を有する情報入力装置を設置する。廃棄物選別装置1の通信装置と、情報入力装置の通信部を情報ネットワークで接続し、廃棄物2の画像を情報入力装置に送信する。この廃棄物2の画像を情報入力装置の表示部に表示し、操作者が、上記表示部に表示された廃棄物2の画像を視認し、この廃棄物2の材質を判断して、入力部に材質に関する情報を入力する。入力部に入力された情報を、情報入力装置から廃棄物選別装置1に送信し、廃棄物2の画像と共に教師データとして第2判別部13に入力する。このようにして、廃棄物選別装置1から離れた位置に存在する操作者が、廃棄物2の材質を判断して材質に関する情報を送信することにより、廃棄物選別装置1の第2判別部13の機械学習を行うことができる。情報入力装置を、例えば障害者作業所や作業療法施設等に配置することにより、廃棄物2の材質の判断と入力の仕事を提供することができる。
In addition, in the learning mode, the operator may input information on the material of the
また、学習モードでは、ベルトコンベヤ3上の廃棄物2の撮影画像に基づいて機械学習を行う以外に、廃棄物の画像と、この画像の廃棄物の材質を示す情報とを予め準備しておき、これらの画像と情報を第2判別部13に入力して機械学習を行ってもよい。また、廃棄物選別装置1と異なる位置に、第2判別部13と同様のニューラルネットワークを含む計算機を設置し、この計算機で廃棄物の画像と材質を示す情報とに基づいて機械学習を行い、機械学習により得られたパラメータを廃棄物選別装置1の第2判別部13に読み込ませてもよい。また、上記計算機で機械学習を行って得たパラメータは、複数の廃棄物選別装置1と共有してもよい。
In the learning mode, in addition to performing machine learning based on photographed images of
学習モードで機械学習を行った第2判別部13は、判別モードにおいて、情報処理部11から出力された廃棄物2の画像が入力され、アルゴリズムに沿って計算を行い、材質を出力する。ここで、第2判別部13には、情報処理部11から出力された廃棄物2の画像と共に、金属センサ19から出力された金属/非金属情報が入力され、ニューラルネットワークで処理が行われる。このように、廃棄物2の画像と金属/非金属情報に基づいて判別を行うことにより、第2判別部13による材質の判別結果の正確さを、廃棄物2の画像のみに基づいて判別を行うよりも、向上することができる。
The
また、第2判別部13は、判別モードで材質の判別を行った廃棄物2のうち、予め行われた判別試験により所定の正判別率に達した材質の廃棄物2について、この廃棄物2を選別の対象として、ロボットアーム9の動作に必要な情報を制御装置8に向けて出力する。ロボットアーム9の動作に必要な情報としては、廃棄物2の材質に関する情報や、廃棄物2の重心に関する情報や、ロボットアームの把持部の姿勢に関する情報等を採用できる。正判別率を特定するための判別試験は、第2判別部13の学習モードで機械学習を行った後に行ってもよい。また、ロボットアーム9の動作に必要な情報を制御装置8に向けて出力するのは、第2判別部13による判別結果を受けて、情報処理部11が行ってもよい。また、廃棄物2を選別の対象とする正判別率の値は、80%以上や、90%以上等の種々の値を設定できる。
The
表1は、判別モードにおいて、金属センサ19から出力された金属/非金属情報を入力しない金属教示無の場合と、金属/非金属情報を入力する金属教示有の場合とで、第2判別部13による材質の判別結果の正解の割合を示した正判別率の違いを示した表である。ここで、正判別率は、アルミニウム、銅、鉄、SUS(ステンレススチール)、ガラス、コンクリート、木、紙類、プラスチック、ポリ塩化ビニル樹脂、ペットボトル及びポリスチレンフォームが混在する1000個の廃棄物2について、第2判別部13で材質の判別を行い、所定の材質であると判別された数のうち、正しく判別された数の占める割合を算出して求めた。また、第2判別部13は、アルミニウム、銅、鉄、SUS、ガラス、コンクリート、木、紙類、プラスチック、ペットボトル、ポリスチレンフォーム(発泡スチロール)及びPVC(ポリ塩化ビニル樹脂)について、予め教師データにより機械学習を行った。表1において、数値の単位は%であり、判別した材質の正判別率を示している。ここで、プラスチックは、ポリ塩化ビニル樹脂、ポリスチレンフォーム及びポリエチレンテレフタレート以外のプラスチックである。
表1から分かるように、判別モードにおいて、廃棄物2の画像と共に、金属/非金属情報を第2判別部13に入力することにより、材質の正判別率を向上することができる。
As can be seen from Table 1, in the discrimination mode, the rate of correct discrimination of materials can be improved by inputting metal/non-metal information to the
なお、表1には、アルミニウム、銅、鉄及びSUSについては、金属センサ19で金属と検知されたことに応じて第2判別部13による判別は行わなかったが、第2判別部13による判別を行ってもよい。また、表1に記載した材質のうち、プラスチック、ポリ塩化ビニル樹脂、ペットボトル及びポリスチレンフォームは第1判別部12で判別してもよい。
In Table 1, aluminum, copper, iron, and SUS are not discriminated by the
図6は、第1実施形態の廃棄物選別装置1の動作を示すフロー図である。図6に示すように、本実施形態の廃棄物選別装置1は、まず、判別装置7の第2判別部13の機械学習を行うために、廃棄物の可視光画像と、この廃棄物の材質を示す情報とを含む教師データを準備する(ステップS11)。教師データの準備は、廃棄物選別装置1のベルトコンベヤ3で廃棄物2を搬送し、可視光カメラ5で廃棄物2を撮影して得た可視光画像を判別装置7の情報処理部11で抽出すると共に、この廃棄物2の材質を示す情報を外部から入力して行ってもよい。また、教師データとして、他の方法により得た廃棄物の画像と、この廃棄物の材質を示す情報とを準備してもよい。教師データを準備した後、第2判別部13が教師モードになり、教師データの入力を受け、判別を行おうとする複数の材質の廃棄物について機械学習を行う(ステップS12)。第2判別部13の機械学習を行った後、廃棄物選別装置1に実際に廃棄物2を投入し、第2判別部13により廃棄物2の材質を判別する試験を行う。この判別試験は、判別しようとする材質の複数の廃棄物について行う。第2判別部13による廃棄物2の判別の結果を集計し、材質を正確に判別できたか否かを確認して、材質毎の正判別率を算出する。また、第2判別部13による判別試験と共に、第1判別部12による判別試験を行う。第1判別部12による判別試験は、廃棄物選別装置1に廃棄物2を投入し、ハイパースペクトルカメラ6で廃棄物2を撮影し、ハイパースペクトル画像に基づいて第1判別部12により廃棄物2の材質を判別する。この第1判別部12による廃棄物2の判別の結果を集計し、材質を正確に判別できたか否かを確認して、材質毎の正判別率を算出する。これらにより、判別装置7で判別しようとする全て材質について、材質毎の正判別率を算出する。(ステップS13)。この後、第2判別部13が判別モードになり、廃棄物2を矢印Eで示すように、ベルトコンベヤ3の始端部に投入する。ベルトコンベヤ3に投入されて搬送される廃棄物2は、金属センサ19で金属又は非金属であるかが判別され(ステップS14)、3Dセンサ4で形状が計測されて三次元情報が取得され(ステップS15)、可視光カメラ5で可視光画像が取得され(ステップS16)、ハイパースペクトルカメラ6でハイパースペクトル画像が取得される(ステップS17)。このハイパースペクトル画像に基づいて、第1判別部12により、廃棄物2の材質が判別される(ステップS18)。第1判別部12により廃棄物2の材質が判別されると、この材質が所定の材質であるか否かが判断され(ステップS19)、所定の材質であると、この材質の廃棄物2のうち、判別試験で正判別率が80%以上と特定された材質である場合に、判別装置7は、廃棄物2の材質に関する情報と、廃棄物2の重心に関する情報と、ロボットアームの把持部の姿勢に関する情報を、制御装置8の制御部16に出力する。制御部16は、廃棄物2の材質に関する情報と、廃棄物2の重心に関する情報と、ロボットアームの把持部の姿勢に関する情報を受けると、これらの情報に基づいてロボットアーム9を制御し、ベルトコンベヤ3上の廃棄物2を取り上げて、材質に対応した収集箱10に投入して選別を行う(ステップ21)。ステップS19において、第1判別部12で判別された材質が所定の材質ではない場合、金属/非金属情報と可視光画像が第2判別部13のニューラルネットワークに入力されて、廃棄物2の材質が判別される(ステップS20)。第2判別部13のニューラルネットワークで材質が判別された廃棄物2のうち、判別試験で正判別率が80%以上と特定された材質の廃棄物2について、ロボットアーム9でベルトコンベヤ3上から取り上げ、材質に対応した収集箱10に投入して選別を行う(ステップ21)。ベルトコンベヤ3上の廃棄物2のうち、ロボットアーム9で取り上げられなかった廃棄物2は、矢印F1で示すようにベルトコンベヤ3の終端部から排出され、図示しないコンベヤ等の搬送装置によって戻されて、矢印F2で示すようにベルトコンベヤ3の始端部に再度投入される。ベルトコンベヤ3上に、選別すべき廃棄物2が残留しているか否かが、3Dセンサ4の三次元情報及び/又は可視光カメラ5の可視光画像に基づいて判別装置7で判断され(ステップS22)、ベルトコンベヤ3上に選別すべき廃棄物2が残留する場合、制御装置8によりベルトコンベヤ3の運転が継続され、これにより、ベルトコンベヤ3上の廃棄物2についてステップS14乃至S21の工程が繰り返される。一方、ベルトコンベヤ3上に選別すべき廃棄物2が無くなると、制御装置8によりベルトコンベヤ3の運転が停止され、廃棄物選別装置1の選別の作業が終了する。
FIG. 6 is a flow diagram showing the operation of the
以上のように、本実施形態の廃棄物選別装置1によれば、廃棄物2の所定の材質を、第1判別部12により赤外線のスペクトル特性に基づいて判別し、他の材質を、第2判別部13により可視光画像の機械学習を行った判別モデルによる画像認識に基づいて判別するので、廃棄物2の材質を正確に判別することができる。また、第1判別部12及び第2判別部13により判別された材質の廃棄物2のうち、正判別率が80%以上の材質の廃棄物2を選別したので、選別されて収集箱10に収集される廃棄物2の純度を効果的に高めることができる。したがって、この廃棄物選別装置1で選別されて収集された廃棄物は、有効かつ効率的にリサイクルに供することができる。なお、第1判別部12及び第2判別部13により判別された材質の廃棄物2のうち、正判別率が80%以上の材質の廃棄物2を選別したが、選別する材質の正判別率の基準は、80%以外の他の値であってもよい。また、正判別率は、第2判別部13により判別された材質についてのみ考慮し、第1判別部12により判別された材質の正判別率は考慮することなく、第1判別部12で判別された所定の材質の廃棄物2を全て選別してもよい。
As described above, according to the
また、本実施形態の廃棄物選別装置1は、第1判別部12及び第2判別部13で選別対象とされなかった廃棄物2を、再度ベルトコンベヤ3に投入して循環させることにより、ベルトコンベヤ3上の配置状態を変えることができる。これにより、当初は材質が判別されなかった廃棄物2を、配置状態が変わることにより正しく判別して選別することができるので、廃棄物2の選別残しを効果的に削減できる。
In addition, the
図7は、本発明の第2実施形態の廃棄物選別装置101を示す模式図である。第2実施形態の廃棄物選別装置101は、撮影装置としてハイパースペクトルカメラ6のみを備え、判別装置34が、ハイパースペクトルカメラ6の撮影画像のみに基づいて材質を判別する点が、第1実施形態と異なる。第2実施形態において、第1実施形態と同じ機能を有する部分については第1実施形態と同じ符号を付して、詳細な説明を省略する。
Figure 7 is a schematic diagram showing a
以下、第2実施形態の廃棄物選別装置101に関して、第1実施形態の廃棄物選別装置1と異なる点を中心に説明を行う。
The following describes the
第2実施形態の廃棄物選別装置101は、ベルトコンベヤ3上の廃棄物2を撮影する赤外線撮影装置としてのハイパースペクトルカメラ6と、ベルトコンベヤ3上の廃棄物2の形状及び高さを測定する3Dセンサ4と、ベルトコンベヤ3で搬送される廃棄物2が金属と非金属のいずれであるかを検知する金属センサ19を備える。ハイパースペクトルカメラ6、3Dセンサ4及び金属センサ19は、これらから入力された情報に基づいて廃棄物2の材質を判別する判別装置34に接続されている。判別装置34は、ロボットアーム9とベルトコンベヤ3を制御する制御装置8に接続されている。
The
第2実施形態の廃棄物選別装置101のハイパースペクトルカメラ6は、1000nm以上2350nm以下の波長の赤外線を、5nm前後の帯域幅毎に撮影するものを用いることができる。ここで、ハイパースペクトルカメラ6は、近赤外線に含まれる光を撮影するのが好ましい。また、ハイパースペクトルカメラ6の撮影する波長の下限と上限は、いずれも他の値であってもよい。特に、1700nm以上2000nm以下の近赤外線を撮影するハイパースペクトルカメラ6を用いると、材質の判別精度が向上する点で特に好ましい。また、撮影する帯域幅、すなわち波長分解能は、いずれの値であってもよい。
The
判別装置34は、図8のブロック図に示すように、ハイパースペクトルカメラ6が撮影したハイパースペクトル画像や3Dセンサ4の測定情報を処理する情報処理部35と、情報処理部35でハイパースペクトル画像が処理されてなる情報又は画像に基づいて廃棄物2の材質を判別する判別部36と、3Dセンサ4やハイパースペクトルカメラ6からの情報を記憶する記憶部14を有する。
As shown in the block diagram of FIG. 8, the
判別装置34の情報処理部35は、第1実施形態の情報処理部11と同様に選別候補の廃棄物2を抽出すると、抽出した廃棄物2について、ハイパースペクトル画像の廃棄物2の部分を切り出し、選別する選別候補として抽出し、切出した廃棄物2のハイパースペクトル画像を判別部36へ出力する。
When the
判別装置34の判別部36は、廃棄物2のハイパースペクトル画像に基づいて、機械学習を利用した画像認識により廃棄物2の材質を特定する。まず、判別部36は、情報処理部35から入力された廃棄物2のハイパースペクトル画像に基づいて、判別用画像を作成する。判別用画像は、所定の波長帯域の反射強度分布を表した画像や、1つまたは複数の波長帯域のデータを所定の方法に従って変換した画像等を用いることができる。判別用画像は、撮影範囲の2次元座標上に、材質に応じて設定された色により、材質の分布が表された画像である。この判別用画像を、判別部36が有する判別モデルに入力し、画像認識技術により廃棄物2の材質の判別を行う。判別部36は、判別モデルとして、教師有り学習によってアルゴリズムを成長させるニューラルネットワークを用いて構成されている。この判別部36は、第1実施形態と同様に、学習モードで機械学習が行われ、判別モードで廃棄物2の材質の判別が行われる。判別部36の判別モードで判別された材質のうち、正判別率が所定値以上の材質の廃棄物2について、ロボットアーム9の動作に必要な情報が制御装置8に向けて出力される。なお、ロボットアーム9の動作に必要な情報は、判別部36による判別結果を受けて、情報処理部35が制御装置8に向けて出力してもよい。また、廃棄物2を選別の対象とする正判別率の値は、80%以上や、90%以上等の種々の値を設定できる。
The
ロボットアーム9の動作に必要な情報は、情報処理部35により、ハイパースペクトル画像中の廃棄物2の座標に基づいて特定された平面位置と、3Dセンサ4の測定情報のうちの高さ情報に基づいて形成される。具体的には、情報処理部35によりハイパースペクトル画像から抽出された廃棄物2の部分と高さ情報に基づいて廃棄物2の重心が算出される。これと共に、ロボットアーム9で把持される際の把持部の姿勢が特定される。これらの廃棄物2の重心の情報と、把持部の姿勢の情報が、判別部36で判別された材質の情報と共に、制御装置8の制御部16へ送られる。制御部16は、情報処理部35から受け取った廃棄物2の重心とロボットアーム9の把持部の姿勢に関する情報に基づいて、ロボットアーム9を制御し、廃棄物2をベルトコンベヤ3から取り上げて所定の収集箱10に投入させる。
The information required for the operation of the
第2実施形態の廃棄物選別装置101は、ハイパースペクトルカメラ6によるハイパースペクトル画像に基づいて、判別部36で機械学習を行う判別モデルにより材質を特定するので、廃棄物2の材質を高い精度で判別することができる。
The
ここで、判別部36は、廃棄物2の材質を、上記所定の材質として、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂、ポリスチレンフォーム、ポリエチレンテレフタレート、紙類、コンクリート、石、ガラス、木及びポリスチレンフォームのうちのいずれかであると判別した場合、これらの材質の廃棄物2をロボットアーム9で選別するように設定できる。また、鉄、アルミニウム、銅、ステンレスは、金属センサ19の検出情報に基づいて判別することができる。
Here, when the
図9は、第2実施形態の廃棄物選別装置101の動作を示すフロー図である。図9に示すように、本実施形態の廃棄物選別装置101は、まず、判別装置34の判別部36の機械学習を行うために、廃棄物のハイパースペクトル画像から作成した判別用画像と、この廃棄物の材質を示す情報とを含む教師データを準備する(ステップS31)。教師データの準備は、廃棄物選別装置101のベルトコンベヤ3で廃棄物2を搬送し、ハイパースペクトルカメラ6で廃棄物2を撮影して得たハイパースペクトル画像を判別装置34の情報処理部35で加工して判別用画像を作成すると共に、この廃棄物2の材質を示す情報を外部から入力して行ってもよい。また、教師データとして、他の方法により得た廃棄物の判別用画像と、この廃棄物の材質を示す情報とを準備してもよい。教師データを準備した後、判別部36が教師モードになり、教師データの入力を受け、判別を行おうとする複数の材質の廃棄物について機械学習を行う(ステップS32)。判別部36の機械学習を行った後、廃棄物選別装置101に実際に廃棄物2を投入し、判別部36により廃棄物2の材質を判別する試験を行う。この判別試験は、判別しようとする材質の複数の廃棄物について行う。判別部36による廃棄物2の判別の結果を集計し、材質を正確に判別できたか否かを確認して、材質毎の正判別率を算出する。(ステップS33)。この後、判別部36が判別モードになり、廃棄物2を矢印Eで示すように、ベルトコンベヤ3の始端部に投入する。ベルトコンベヤ3に投入されて搬送される廃棄物2は、金属センサ19で金属又は非金属であるかが判別され(ステップS34)、3Dセンサ4で形状が計測されて三次元情報が取得され(ステップS35)、ハイパースペクトルカメラ6でハイパースペクトル画像が取得される(ステップS36)。このハイパースペクトル画像に基づいて、判別部36により判別用画像が作成され、この判別用画像が判別部36のニューラルネットワークに入力されて、廃棄物2の材質が判別される(ステップS37)。判別部36により廃棄物2の材質が判別されると、この材質の廃棄物2のうち、判別試験で正判別率が80%以上と特定された材質である場合に、判別装置34は、廃棄物2の材質に関する情報と、廃棄物2の重心に関する情報と、ロボットアームの把持部の姿勢に関する情報を、制御装置8の制御部16に出力する。制御部16は、廃棄物2の材質に関する情報と、廃棄物2の重心に関する情報と、ロボットアームの把持部の姿勢に関する情報を受けると、これらの情報に基づいてロボットアーム9を制御し、ベルトコンベヤ3上の廃棄物2を取り上げて、材質に対応した収集箱10に投入して選別を行う(ステップ38)。ベルトコンベヤ3上の廃棄物2のうち、ロボットアーム9で取り上げられなかった廃棄物2は、矢印F1で示すようにベルトコンベヤ3の終端部から排出され、図示しないコンベヤ等の搬送装置によって戻されて、矢印F2で示すようにベルトコンベヤ3の始端部に再度投入される。ベルトコンベヤ3上に、選別すべき廃棄物2が残留しているか否かが、3Dセンサ4の三次元情報及び/又はハイパースペクトルカメラ6のハイパースペクトル画像に基づいて判別装置34で判断され(ステップS39)、ベルトコンベヤ3上に選別すべき廃棄物2が残留する場合、制御装置8によりベルトコンベヤ3の運転が継続され、これにより、ベルトコンベヤ3上の廃棄物2についてステップS34乃至S38の工程が繰り返される。一方、ベルトコンベヤ3上に選別すべき廃棄物2が無くなると、制御装置8によりベルトコンベヤ3の運転が停止され、廃棄物選別装置101の選別の作業が終了する。
9 is a flow diagram showing the operation of the
以上のように、本実施形態の廃棄物選別装置101によれば、廃棄物2の所定の材質を、判別部36のニューラルネットワークを用いた判別モデルにより、ハイパースペクトル画像から作成した判別用画像の画像認識に基づいて判別するので、廃棄物2の材質を正確に判別することができる。また、判別部36により判別された材質の廃棄物2のうち、正判別率が80%以上の材質の廃棄物2を選別するので、選別されて収集箱10に収集される廃棄物2の純度を効果的に高めることができる。したがって、この廃棄物選別装置101で選別されて収集された廃棄物は、有効かつ効率的にリサイクルに供することができる。なお、判別部36により判別された材質の廃棄物2のうち、正判別率が80%以上の材質の廃棄物2を選別したが、選別する材質の正判別率の基準は、80%以外の他の値であってもよい。
As described above, according to the
上記第1及び第2実施形態において、第1判別部12,第2判別部13又は判別部36による正判別率が80%以上の材質の廃棄物2を選別したが、正判別率に基づくことなく廃棄物2を選別してもよい。この場合、正判別率を特定するための試験は行わなくてよい。
In the first and second embodiments described above,
また、上記第1及び第2実施形態において、ベルトコンベヤ3上の廃棄物2のうち、ロボットアーム9で取り上げられなかった廃棄物2は、矢印F1で示すようにベルトコンベヤ3の終端部から排出され、図示しないコンベヤ等の搬送装置によって戻され、矢印F2で示すようにベルトコンベヤ3の始端部に再度投入されたが、ロボットアーム9で取り上げられなかった廃棄物2はベルトコンベヤ3に再投入しなくてもよい。すなわち、ベルトコンベヤ3に投入された廃棄物2のうち、ロボットアーム9で取り上げられなかった廃棄物2は、矢印F1で示すようにベルトコンベヤ3の終端部から排出されると、ベルトコンベヤ3に再投入されることなく廃棄や他の処理に付されてもよい。
In addition, in the first and second embodiments, the
また、ロボットアーム9で取り上げられなかった廃棄物2をベルトコンベヤ3上に再投入するように構成された場合、時間の経過に伴い、判別不可能な材質の廃棄物2がベルトコンベヤ3上に溜まるので、これらの廃棄物2を定期的に排除するのが好ましい。また、ベルトコンベヤ3上に、矢印Eで示すように新たな廃棄物2を投入する場合は再投入を行わない一方、新たな破棄物2を投入しない場合に、矢印F2で示すように廃棄物2を再投入するようにしてもよい。
In addition, if the system is configured to re-introduce
上記第1及び第2実施形態において、廃棄物2として都市ごみの選別に用いた場合について例示したが、災害時の瓦礫等のような他の廃棄物の選別のために、本発明を適用することも可能である。
In the above first and second embodiments, an example was given of the use of the present invention to separate municipal waste as
以上、実施形態を通じて本発明を説明したが、本発明の要旨を逸脱しない範囲で種々の変更が可能であり、本発明の技術的範囲は上記実施形態に限定されない。 The present invention has been described above through the embodiments, but various modifications are possible without departing from the spirit of the present invention, and the technical scope of the present invention is not limited to the above embodiments.
1,101 廃棄物選別装置
2 廃棄物
3 ベルトコンベヤ
4 3Dセンサ
5 可視光カメラ
6 ハイパースペクトルカメラ
7,34 判別装置
8 制御装置
9 ロボットアーム
11,35 情報処理部
12 第1判別部
13 第2判別部
14 記憶部
16 制御部
17 操作部
19 金属センサ
21 赤外線画像撮影室
30 ベルトコンベヤの駆動装置
36 判別部
REFERENCE SIGNS LIST 1,101
Claims (7)
上記搬送装置の搬送面の幅方向にわたって赤外線を照射する赤外線照射装置と、
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
予め準備された廃棄物の赤外線画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記赤外線撮影装置が撮影した赤外線画像に基づいて廃棄物の材質を判別する判別部と、
上記判別部により材質が判別された廃棄物のうちの所定の廃棄物を、上記搬送装置から回収して選別する選別部と
を備え、
上記判別部は、判別しようとする材質の複数の廃棄物について判別の結果を集計し、材質を正確に判別できたか否かを確認して材質毎の正判別率を算出する判別試験を予め行い、
上記選別部は、上記判別部が材質を判別した廃棄物のうち、上記正判別率が所定値以上の材質の廃棄物を上記所定の廃棄物として回収して選別する一方、上記正判別率が所定値よりも小さい材質の廃棄物は回収しないことを特徴とする廃棄物選別装置。 A transport device having a transport surface on which waste is placed and transported;
an infrared ray irradiation device that irradiates infrared rays across the width direction of the conveying surface of the conveying device;
an infrared photographing device that photographs at least infrared light reflected from the waste transported by the transport device and outputs an infrared image;
a discrimination unit that discriminates the material of the waste based on the infrared image captured by the infrared imaging device using a discrimination model that performs machine learning using a previously prepared infrared image of the waste and material information of the waste as training data;
a sorting unit that collects from the transport device and sorts predetermined waste from among the waste whose material has been identified by the identification unit,
The discrimination unit performs a discrimination test in advance to compile discrimination results for a plurality of wastes of a material to be discriminated, and to check whether the material has been accurately discriminated or not, thereby calculating a correct discrimination rate for each material;
The sorting unit collects and sorts, as the specified waste, waste whose material has been identified by the discrimination unit and whose correct discrimination rate is equal to or greater than a specified value, while not collecting waste whose material has a correct discrimination rate less than the specified value .
上記赤外線撮影装置が、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであることを特徴とする廃棄物選別装置。 The waste sorting apparatus according to claim 1 ,
The waste sorting apparatus, wherein the infrared photographing device is a multispectral camera that outputs a multispectral image showing the intensity distribution of the reflected infrared light for each of a plurality of wavelength bands.
上記赤外線撮影装置が、ラインスキャン型のマルチスペクトルカメラであることを特徴とする廃棄物選別装置。 The waste sorting apparatus according to claim 2 ,
A waste sorting apparatus, wherein the infrared photographing device is a line scan type multispectral camera.
上記赤外線照射装置が、搬送装置の搬送面の幅方向に複数の赤外線発生源が位置するように複数個配置されていることを特徴とする廃棄物選別装置。 The waste sorting apparatus according to claim 1 ,
A waste sorting apparatus characterized in that a plurality of the infrared irradiating devices are arranged so that a plurality of infrared emitting sources are positioned in the width direction of the conveying surface of the conveying device.
上記赤外線照射装置が、搬送装置の搬送面の幅方向に延在する赤外線発生源を有することを特徴とする廃棄物選別装置。 The waste sorting apparatus according to claim 1 ,
A waste sorting apparatus, wherein the infrared irradiating device has an infrared ray generating source extending in the width direction of the conveying surface of the conveying device.
上記赤外線撮影装置が、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであり、
上記判別部が、上記マルチスペクトル画像に基づいて、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂、紙類、コンクリート、石、ガラス、木、ペットボトル及びポリスチレンフォームのいずれかの材質を判別することを特徴とする廃棄物選別装置。 The waste sorting apparatus according to claim 1,
the infrared photographing device is a multispectral camera that outputs a multispectral image showing an intensity distribution of the reflected infrared light for each of a plurality of wavelength bands,
A waste sorting device characterized in that the discrimination unit discriminates the material of any of polyethylene, polypropylene, polyvinyl chloride resin, paper, concrete, stone, glass, wood, PET bottles, and polystyrene foam based on the multispectral image.
上記赤外線撮影装置が、1000nm以上2350nm以下の波長の赤外線を検出して撮影を行うことを特徴とする廃棄物選別装置。 The waste sorting apparatus according to any one of claims 1 to 6 ,
A waste sorting apparatus, characterized in that the infrared photographing device detects infrared rays having a wavelength of 1000 nm or more and 2350 nm or less to photograph the waste.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037893A JP7514413B2 (en) | 2020-03-05 | 2020-03-05 | Waste sorting equipment |
JP2023204698A JP7517662B2 (en) | 2020-03-05 | 2023-12-04 | Waste sorting equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037893A JP7514413B2 (en) | 2020-03-05 | 2020-03-05 | Waste sorting equipment |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023204698A Division JP7517662B2 (en) | 2020-03-05 | 2023-12-04 | Waste sorting equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021137738A JP2021137738A (en) | 2021-09-16 |
JP7514413B2 true JP7514413B2 (en) | 2024-07-11 |
Family
ID=77667246
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020037893A Active JP7514413B2 (en) | 2020-03-05 | 2020-03-05 | Waste sorting equipment |
JP2023204698A Active JP7517662B2 (en) | 2020-03-05 | 2023-12-04 | Waste sorting equipment |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023204698A Active JP7517662B2 (en) | 2020-03-05 | 2023-12-04 | Waste sorting equipment |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7514413B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2023119490A1 (en) * | 2021-12-22 | 2023-06-29 | ||
KR102621147B1 (en) * | 2022-03-24 | 2024-01-04 | 주식회사 델타봇 | Intelligent recycled plastic sorting robot system |
CN114850058A (en) * | 2022-06-10 | 2022-08-05 | 东华理工大学 | High-spectrum image processing-based defective product screening system and device |
KR102484950B1 (en) * | 2022-07-06 | 2023-01-09 | 주식회사 에이트테크 | A waste classification system based on vision-hyperspectral fusion data |
WO2024026562A1 (en) * | 2022-08-01 | 2024-02-08 | Industries Machinex Inc. | System labeling objects on a conveyor using machine vision monitoring and data combination |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007505733A (en) | 2003-09-20 | 2007-03-15 | キネテイツク・リミテツド | Apparatus and method for classifying targets in a waste stream |
US20100131094A1 (en) | 2008-11-18 | 2010-05-27 | Jjg Ip Holdings, Llc | Method and apparatus for sorting heterogeneous material |
JP2013164338A (en) | 2012-02-10 | 2013-08-22 | Sumitomo Electric Ind Ltd | Method for detecting foreign matter of plant or plant product |
JP5969685B1 (en) | 2015-12-15 | 2016-08-17 | ウエノテックス株式会社 | Waste sorting system and sorting method |
JP2020062633A (en) | 2018-10-19 | 2020-04-23 | 株式会社御池鐵工所 | Waste sorting apparatus and waste sorting method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005121587A (en) | 2003-10-20 | 2005-05-12 | Asahi Kasei Engineering Kk | Sorter and sorting means of plastic |
JP2015020314A (en) * | 2013-07-18 | 2015-02-02 | 大阪エヌ・イー・ディー・マシナリー株式会社 | Pet bottle screening equipment |
JP6421026B2 (en) * | 2013-12-05 | 2018-11-07 | 鈴健興業株式会社 | Waste sorting equipment |
CN106824824A (en) | 2016-10-26 | 2017-06-13 | 湖南理工学院 | A kind of separating plastic system with preposition image procossing and reflective spectrum unit |
-
2020
- 2020-03-05 JP JP2020037893A patent/JP7514413B2/en active Active
-
2023
- 2023-12-04 JP JP2023204698A patent/JP7517662B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007505733A (en) | 2003-09-20 | 2007-03-15 | キネテイツク・リミテツド | Apparatus and method for classifying targets in a waste stream |
US20100131094A1 (en) | 2008-11-18 | 2010-05-27 | Jjg Ip Holdings, Llc | Method and apparatus for sorting heterogeneous material |
JP2013164338A (en) | 2012-02-10 | 2013-08-22 | Sumitomo Electric Ind Ltd | Method for detecting foreign matter of plant or plant product |
JP5969685B1 (en) | 2015-12-15 | 2016-08-17 | ウエノテックス株式会社 | Waste sorting system and sorting method |
JP2020062633A (en) | 2018-10-19 | 2020-04-23 | 株式会社御池鐵工所 | Waste sorting apparatus and waste sorting method |
Also Published As
Publication number | Publication date |
---|---|
JP2021137738A (en) | 2021-09-16 |
JP2024016293A (en) | 2024-02-06 |
JP7517662B2 (en) | 2024-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6679188B1 (en) | Waste sorting device and waste sorting method | |
JP7517662B2 (en) | Waste sorting equipment | |
JP5969685B1 (en) | Waste sorting system and sorting method | |
US12006141B2 (en) | Systems and methods for detecting waste receptacles using convolutional neural networks | |
Liong et al. | Automatic defect segmentation on leather with deep learning | |
CN110516625A (en) | A kind of method, system, terminal and the storage medium of rubbish identification classification | |
JP6906875B2 (en) | Waste sorting equipment | |
CN112090782A (en) | Man-machine cooperative garbage sorting system and method | |
JP7299570B2 (en) | Soil foreign matter removal device and soil foreign matter removal method | |
WO2021193733A1 (en) | Training data generation device, inspection device, and program | |
US20220416323A1 (en) | Spent or decommissioned accumulator treatment plant and process | |
Han et al. | Toward fully automated metal recycling using computer vision and non-prehensile manipulation | |
Koganti et al. | Deep Learning based Automated Waste Segregation System based on degradability | |
CN113441421B (en) | Automatic garbage classification system and method | |
KR100357764B1 (en) | Apparatus for Leather Quality Inspection using Artificial Intelligence | |
Bagri et al. | Survey of automated waste segregation methods | |
CN112069841B (en) | X-ray contraband parcel tracking method and device | |
Tamkhade et al. | Automated Garbage Separation Using Ai Based Robotic ARM | |
Sanderson | Intelligent robotic recycling of flat panel displays | |
CN215466218U (en) | Automatic garbage classification system | |
CN117772616B (en) | Automatic sorting method and system of intelligent logistics robot | |
Mehendale et al. | A review of automatic waste separators | |
Bezuglova et al. | An Overview of the Methods Used to Recognize Garbage | |
Müller et al. | Sorting of Construction and Demolition Waste for coarse fractions | |
KR20230116231A (en) | A Recyclables sorting and collecting device and recyclables sorting and collecting method using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240311 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7514413 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |