JP7299570B2 - 土中異物除去装置及び土中異物除去方法 - Google Patents
土中異物除去装置及び土中異物除去方法 Download PDFInfo
- Publication number
- JP7299570B2 JP7299570B2 JP2020210424A JP2020210424A JP7299570B2 JP 7299570 B2 JP7299570 B2 JP 7299570B2 JP 2020210424 A JP2020210424 A JP 2020210424A JP 2020210424 A JP2020210424 A JP 2020210424A JP 7299570 B2 JP7299570 B2 JP 7299570B2
- Authority
- JP
- Japan
- Prior art keywords
- foreign matter
- image
- soil
- foreign object
- foreign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002689 soil Substances 0.000 title claims description 118
- 238000000034 method Methods 0.000 title claims description 19
- 238000001514 detection method Methods 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000010801 machine learning Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 4
- 238000011144 upstream manufacturing Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 40
- 239000002699 waste material Substances 0.000 description 19
- 238000012545 processing Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000010276 construction Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013145 classification model Methods 0.000 description 3
- 230000003116 impacting effect Effects 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- ODINCKMPIJJUCX-UHFFFAOYSA-N Calcium oxide Chemical compound [Ca]=O ODINCKMPIJJUCX-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000356 contaminant Substances 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000002440 industrial waste Substances 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- BZHJMEDXRYGGRV-UHFFFAOYSA-N Vinyl chloride Chemical compound ClC=C BZHJMEDXRYGGRV-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 235000012255 calcium oxide Nutrition 0.000 description 1
- 239000000292 calcium oxide Substances 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000006148 magnetic separator Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910052755 nonmetal Inorganic materials 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Landscapes
- Sorting Of Articles (AREA)
- Processing Of Solid Wastes (AREA)
- Image Analysis (AREA)
Description
以下、本発明にかかる土中異物除去装置100について図面を参照して説明する。この土中異物除去装置100は、距離画像カメラ1(以下、カメラ1という。)によりベルトコンベア2(以下、コンベア2という。)上の移動中の、異物Fを含む土Sまでの距離を示す距離画像Dを撮像し、この距離画像Dに基づいて、この異物Fの画像上での異物位置P(x,y,z)を検出する異物検出部3と、この異物位置P(x,y,z)に基づいて、異物把持位置G(x,d,z)を決定する異物把持位置演算部4と、この異物把持位置G(x,d,z)に基づいて、異物Fを把持し、土Sから除去する異物除去ハンド5a(以下、ハンド5aという。)を有する異物除去部5と、を備えることを特徴とする。本実施形態においては、土中異物除去装置100が各種制御及び演算を行う制御部6を備えており、異物検出部3及び異物把持位置演算部4は、制御部6に設けられている。以下、各要素について図面を参照して説明する。
T=(d-y)/v
ここで、dは、異物把持位置G(x,d,z)のy座標であり、yは、異物位置J(x,y,z)のy座標であり、vはコンベア2の搬送速度である。このとき、異物Fが、異物位置J(x,y,z)から到達可能範囲Rに入るまでの時間がTである場合には、到達可能範囲Rのx座標が、異物位置J(x,y,z)のx座標であるxにおいて、x軸との距離が最も短くなる位置のy座標がdとなる。
以下、本発明にかかる土中異物除去装置200について図面を参照して説明する。本発明の実施形態の一例を図9に示す。図9は、実施形態1の構成に、訓練データ取得部601が加わったものである。カメラ1は、図9に示す通り、実施形態1と同様の入出力をとるが、少なくとも1つ以上のカメラ1の設置位置は、異物除去作業を行う人の手が撮像できる範囲に設置する。
1・・・距離画像カメラ
2・・・ベルトコンベア
3、103・・・異物検出部
4、104・・・異物把持位置演算部
5、105・・・異物除去部
5a・・・異物除去ハンド
6・・・制御部
61・・・CPU
62・・・RAM
63・・・ROM
64・・・カウンタ
65・・・タイマ
66・・・音声制御部
67・・・入力部
68・・・入出力インタフェース
69・・・バス
601・・・訓練データ取得部
D・・・距離画像
D1・・・手を含む距離画像
D2・・・手を含まない距離画像
F・・・異物
G(x,d,z)・・・異物把持位置
I、I´・・・差分画像
J(x,y,z)・・・異物位置
K・・・訓練データ
L、L´・・・学習画像
M・・・手
N、N1、N2、N3、N4・・・ニューラルネットワーク
Nc・・・カウント値
Nt・・・累計値
P(x,y,z)・・・異物位置
Q(x,d,z+△z)・・・待機位置
R・・・ハンド到達可能範囲
S・・・土
T・・・到達必要時間
t・・・時刻
U・・・可視光画像
v・・・搬送速度
W、W´・・・検出画像
Claims (9)
- 距離画像撮像部により搬送部上の移動中の土及び異物までの距離を示す距離画像を撮像し、この距離画像に基づいて、前記異物の位置を示す異物位置を検出する異物検出部と、
該異物位置に基づいて、前記異物の把持位置を示す異物把持位置を決定する異物把持位置演算部と、
前記異物把持位置に基づいて、前記異物を把持し、土から除去する異物除去部と、
を備え、
前記異物検出部が、前記距離画像に基づいて、異物の画像を土と同様の画像に変換するように機械学習された学習画像を作成し、前記学習画像と前記距離画像とを比較することにより、前記異物位置を検出することを特徴とする土中異物除去装置。 - 前記学習画像と前記距離画像の差分を演算し、この差分に基づいて、前記異物位置を検出することを特徴とする請求項1記載の土中異物除去装置。
- 距離画像撮像部により搬送部上の移動中の土及び異物までの距離を示す距離画像を撮像し、この距離画像に基づいて、前記異物の位置を示す異物位置を検出する異物検出部と、
該異物位置に基づいて、前記異物の把持位置を示す異物把持位置を決定する異物把持位置演算部と、
前記異物把持位置に基づいて、前記異物を把持し、土から除去する異物除去部と、
を備え、
前記異物検出部は、可視光撮像部により搬送部上を移動中の土及び異物の可視光画像を撮像し、該可視光画像に基づいて、異物を土として認識された可視光学習画像を作成し、前記可視光学習画像と前記可視光画像とを比較することにより、前記異物位置を検出することを特徴とする土中異物除去装置。 - 距離画像撮像部により搬送部上の移動中の土及び異物までの距離を示す距離画像を撮像し、この距離画像に基づいて、前記異物の位置を示す異物位置を検出する異物検出部と、
該異物位置に基づいて、前記異物の把持位置を示す異物把持位置を決定する異物把持位置演算部と、
前記異物把持位置に基づいて、前記異物を把持し、土から除去する異物除去部と、
を備え、
訓練データ取得部をさらに備え、
前記訓練データ取得部は、作業員による異物除去作業中の搬送部を前記距離画像撮像部で撮像した距離画像を取得し、作業員の手がない距離画像を、機械学習に使用する訓練データとして用いることを特徴とする土中異物除去装置。 - 前記距離画像撮像部は、前記異物除去部のハンドが到達できる到達可能範囲を観測する第1位置と、該第1位置よりも異物搬送方向の上流側で、前記到達可能範囲の外を観測する第2位置の少なくとも二か所以上の位置に配置することを特徴とする請求項3又は4いずれかに記載の土中異物除去装置。
- 距離画像撮像部により搬送部上の移動中の土及び異物までの距離を示す距離画像を撮像する工程と、
この距離画像に基づいて、前記異物の位置を示す異物位置を検出する異物検出工程と、
該異物位置に基づいて、前記異物の把持位置を示す異物把持位置を決定する異物把持位置演算工程と、
前記異物把持位置に基づいて、前記異物を把持し、土から除去する異物除去工程と、
を備え、
前記異物検出工程が、前記距離画像に基づいて、異物の画像を土と同様の画像に変換するように機械学習された学習画像を作成し、前記学習画像と前記距離画像とを比較することにより、前記異物位置を検出することを特徴とする土中異物除去方法。 - 前記学習画像と前記距離画像の差分を演算し、この差分に基づいて、前記異物位置を検出することを特徴とする請求項6記載の土中異物除去方法。
- 前記異物検出工程は、可視光撮像部により搬送部上を移動中の土及び異物の可視光画像を撮像し、該可視光画像に基づいて、異物を土として認識された可視光学習画像を作成し、前記可視光学習画像と前記可視光画像とを比較することにより、前記異物位置を検出することを特徴とする請求項6又は7に記載の土中異物除去方法。
- 前記異物検出工程は、作業員による異物除去作業中の搬送部を前記距離画像撮像部で撮像した距離画像を取得し、作業員の手がない距離画像を、前記機械学習に使用する訓練データとして用いることを特徴とする請求項6~8いずれかに記載の土中異物除去方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020210424A JP7299570B2 (ja) | 2020-12-18 | 2020-12-18 | 土中異物除去装置及び土中異物除去方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020210424A JP7299570B2 (ja) | 2020-12-18 | 2020-12-18 | 土中異物除去装置及び土中異物除去方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022097064A JP2022097064A (ja) | 2022-06-30 |
JP7299570B2 true JP7299570B2 (ja) | 2023-06-28 |
Family
ID=82164878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020210424A Active JP7299570B2 (ja) | 2020-12-18 | 2020-12-18 | 土中異物除去装置及び土中異物除去方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7299570B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024127555A1 (ja) * | 2022-12-14 | 2024-06-20 | 株式会社Fuji | 異物除去装置及び異物除去装置の制御方法 |
KR102651150B1 (ko) * | 2023-09-27 | 2024-03-26 | 주식회사 에이트테크 | 대상객체 종류에 따른 공기압 제어를 통한 폐기물 분류 시스템 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002316100A (ja) | 2001-04-17 | 2002-10-29 | Kawasaki Kiko Co Ltd | 異物除去装置及び異物除去方法 |
JP2008215862A (ja) | 2007-02-28 | 2008-09-18 | Taiheiyo Cement Corp | 異物除去装置 |
JP2020041801A (ja) | 2018-09-06 | 2020-03-19 | 株式会社安藤・間 | 土壌改質判定装置、及び異物除去方法 |
JP2020062633A (ja) | 2018-10-19 | 2020-04-23 | 株式会社御池鐵工所 | 廃棄物選別装置及び廃棄物選別方法 |
CN111684268A (zh) | 2018-01-31 | 2020-09-18 | 株式会社日冷食品 | 食品检验辅助系统、食品检验辅助装置和计算机程序 |
-
2020
- 2020-12-18 JP JP2020210424A patent/JP7299570B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002316100A (ja) | 2001-04-17 | 2002-10-29 | Kawasaki Kiko Co Ltd | 異物除去装置及び異物除去方法 |
JP2008215862A (ja) | 2007-02-28 | 2008-09-18 | Taiheiyo Cement Corp | 異物除去装置 |
CN111684268A (zh) | 2018-01-31 | 2020-09-18 | 株式会社日冷食品 | 食品检验辅助系统、食品检验辅助装置和计算机程序 |
JP2020041801A (ja) | 2018-09-06 | 2020-03-19 | 株式会社安藤・間 | 土壌改質判定装置、及び異物除去方法 |
JP2020062633A (ja) | 2018-10-19 | 2020-04-23 | 株式会社御池鐵工所 | 廃棄物選別装置及び廃棄物選別方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2022097064A (ja) | 2022-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6679188B1 (ja) | 廃棄物選別装置及び廃棄物選別方法 | |
US11780095B2 (en) | Machine learning device, robot system, and machine learning method for learning object picking operation | |
JP7299570B2 (ja) | 土中異物除去装置及び土中異物除去方法 | |
JP5969685B1 (ja) | 廃棄物選別システム及びその選別方法 | |
US20230046145A1 (en) | Systems and methods for detecting waste receptacles using convolutional neural networks | |
JP7100426B2 (ja) | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 | |
JP2017109197A (ja) | 廃棄物選別システム及びその選別方法 | |
CN111445368B (zh) | 基于机器视觉与深度学习的垃圾分类方法、装置及设备 | |
JP7514413B2 (ja) | 廃棄物選別装置 | |
Liu et al. | Garbage collection and sorting with a mobile manipulator using deep learning and whole-body control | |
CN112916416A (zh) | 一种建筑垃圾分拣系统 | |
JP2015187031A (ja) | ごみピット内の攪拌状態測定装置及びごみピット内の攪拌状態測定方法 | |
Srinivasan et al. | Smart Waste Collecting Robot Integration With IoT and Machine Learning | |
Chu et al. | Detection of laser-induced optical defects based on image segmentation | |
CN114519377A (zh) | 跨模态煤矸石分选方法及装置 | |
Han et al. | Toward fully automated metal recycling using computer vision and non-prehensile manipulation | |
Renjith et al. | Design and implementation of automatic garbage collecting robot using background subtraction based computer vision algorithm | |
CN115095384A (zh) | 一种智能化矿石定位及破碎控制方法与装置 | |
JP7517662B2 (ja) | 廃棄物選別装置 | |
KR102578921B1 (ko) | 인공지능을 기반으로 하는 해양쓰레기 선별 시스템 | |
JP4424798B2 (ja) | 物体の認識方法および認識装置並びに物体の選別装置 | |
Sanderson | Intelligent robotic recycling of flat panel displays | |
Alitappeh et al. | Revolutionizing Waste Management: A Smart Materials Recovery Facilility With Robotic and AI Integration | |
JP2024009462A (ja) | 分解方法、分解システムおよび分解プログラム | |
CN215466218U (zh) | 一种自动垃圾分类系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221020 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230605 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7299570 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |