JP6771800B2 - 神経回路網の学習による作物と雑草を識別する装置及び方法 - Google Patents
神経回路網の学習による作物と雑草を識別する装置及び方法 Download PDFInfo
- Publication number
- JP6771800B2 JP6771800B2 JP2020512648A JP2020512648A JP6771800B2 JP 6771800 B2 JP6771800 B2 JP 6771800B2 JP 2020512648 A JP2020512648 A JP 2020512648A JP 2020512648 A JP2020512648 A JP 2020512648A JP 6771800 B2 JP6771800 B2 JP 6771800B2
- Authority
- JP
- Japan
- Prior art keywords
- crop
- neural network
- ced
- video
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Processing (AREA)
Description
Claims (13)
- コンピュータが実行する、
第1神経回路網の学習によって、作物の映像から前記作物の作物列を認識する作物列認識工程と、
前記映像で前記作物列から外れている植物を雑草として認識する第1雑草認識工程と、
前記作物列とその周囲に残留する雑草に対し、第2神経回路網の学習を介して前記作物と分離識別する第2雑草認識工程と
を有する、
神経回路網の学習による作物と雑草を識別する方法。 - 前記第1神経回路網と前記第2神経回路網は、複数のコンボリューション(convolution)層で構成され、入力側から徐々に減少するエンコーダー(encoder)部分と前記エンコーダー部分から出力側まで徐々に増加するデコーダー(decoder)部分が結合した構造のCED神経回路網を含む、
請求項1に記載の神経回路網の学習による作物と雑草を識別する方法。 - 前記CED神経回路網は、前記エンコーダー部分の各層の出力が前記デコーダー部分の対応する層の入力として合算される、ユーネット(Unet)構造のCED神経回路網を含む、
請求項2に記載の神経回路網の学習による作物と雑草を識別する方法。 - 前記CED神経回路網には、前記ユーネット構造のCED神経回路網を基本構造とし、各層を飛びわたる接続を追加的に有するデンスネット(DensNet)構造のCED神経回路網を含む、
請求項3に記載の神経回路網の学習による作物と雑草を識別する方法。 - 前記作物列認識工程は、複数の作物映像のそれぞれに対し、前記映像が前記CED神経回路網への入力映像として印加されたら、前記CED神経回路網の出力映像として、前記映像の作物列に該当する位置にグラフィック線で表示した映像を出力するように前記CED神経回路網を反復学習させ、任意のテスト作物映像が印加されたら、前記テスト作物映像の作物列に該当する位置にグラフィック線で表示した映像または前記テスト作物映像上の作物列に該当する位置にグラフィック線を重ねて表示した映像を前記出力映像として出力する工程を含む、
請求項2に記載の神経回路網の学習による作物と雑草を識別する方法。 - 前記作物は稲で、前記雑草は稗草であり、
前記第2雑草認識工程は、根元部分の密集度の視覚的差に基づいて前記稲と前記稗草とを識別する工程を含む、
請求項1に記載の神経回路網の学習による作物と雑草を識別する方法。 - 前記根元部分の密集度の視覚的差に基づいて前記稲と前記稗草とを識別する工程は、入力映像の前記稲と前記稗草の前記根元部分に該当するところに互いに異なるカラーまたは異なる形状のシンボルで表示し、前記稲と前記稗草とを識別するための学習目標映像を作成する工程を含む、
請求項6に記載の神経回路網の学習による作物と雑草を識別する方法。 - 前記第1神経回路網の学習に必要なデータベースは、除草機が進行しようとする方向で撮影した作物の映像を入力映像とし、前記入力映像でのそれぞれの作物列に該当する位置にグラフィック線で作成した映像を学習目標映像とし、前記入力映像と前記学習目標映像が一つのセットで構成された学習データセットを格納する作物列学習用データベースを含む、
請求項5に記載の神経回路網の学習による作物と雑草を識別する方法。 - 前記第2神経回路網の学習に必要なデータベースは、作物列上で作物と雑草が共に含まれた、近接撮影映像を入力映像とし、それぞれの入力映像での前記作物と前記雑草に該当する位置に異なる形状または異なるカラーのシンボルを表示した映像を作成して学習目標映像とし、前記入力映像及び前記学習目標映像を一つのセットとする学習データセットを格納する作物・雑草識別学習用データベースを含む、
請求項1に記載の神経回路網の学習による作物と雑草を識別する方法。 - 初期に空(blank)映像または前記入力映像をコピーしたコピー映像の上にそれぞれの客体を複数の異なるカラーを用いた線、図形、またはシンボルでグラフィック化し、前記学習目標映像を作成する工程をさらに備える、
請求項9に記載の神経回路網の学習による作物と雑草を識別する方法。 - 前記シンボルの位置と大きさは、前記入力映像を基準として決定し、前記シンボルの領域内に客体間の区別性が大きい特徴が可能な限り多く含まれるように前記シンボルの中心点の位置と大きさを決定する工程をさらに備える、
請求項9に記載の神経回路網の学習による作物と雑草を識別する方法。 - 複数の作物映像のそれぞれに対し、前記作物映像が前記CED神経回路網への入力映像として入力されると、前記CED神経回路網の出力映像として、前記映像の作物列に該当する位置にグラフィック線で表示した映像を出力するように前記CED神経回路網を反復学習させ、任意のテスト作物映像が入力されると、前記テスト作物映像の作物列に該当する位置にグラフィック線で表示した映像または前記テスト作物映像上の作物列に該当する位置にグラフィック線を重ねて表示した映像を前記出力映像として出力するように作成された作物映像・作物列映像データベースと、
前記作物映像・作物列映像データベースを用いて、作物の映像から前記作物の作物列を認識し、前記映像で前記作物列から外れている植物を雑草として認識するように学習する作物列認識用CED神経回路網と、
作物・雑草種類及び位置のシンボル表示映像を出力する作物映像・作物種類位置映像データベースと、
前記作物映像・作物種類位置映像データベースを用いて、前記作物列とその周囲に残留する雑草に対し、前記作物と分離識別するように学習する作物と雑草の種類及び位置認識用CED神経回路網と、
作物・雑草の映像をリアルタイムで撮影し、前記作物列認識用CED神経回路網及び前記作物と雑草の種類及び位置認識用CED神経回路網に撮影した映像を入力するカメラと、
前記作物列認識用CED神経回路網及び前記作物と雑草の種類及び位置認識用CED神経回路網を実行させ、得られた結果を分析し、分析した結果を用いて外部の除草機の自律除草作業に必要な制御信号を生成し、生成した制御信号を前記除草機に提供するCPUと、
前記CPUを補助し、前記作物列認識用CED神経回路網及び前記作物と雑草の種類及び位置認識用CED神経回路網を高速で実行させるGPUと
を備える、
神経回路網の学習により作物と雑草を識別する装置。 - 作物の映像から前記作物の作物列を認識し、前記映像で前記作物列から外れている植物を雑草として認識する第1CED神経回路網と、
前記作物列とその周囲に残留する雑草と前記作物とを識別する第2CED神経回路網と、
前記映像をリアルタイムで撮影し、前記第1CED神経回路網及び前記第2CED神経回路網に入力するカメラと、
前記第1CED神経回路網及び前記第2CED神経回路網を実行させ、得られた結果を分析するCPUと、
前記CPUを補助し、前記第1CED神経回路網及び前記第2CED神経回路網を高速で実行させるGPUと
を備える、
神経回路網の学習により作物と雑草を識別する装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20170140783 | 2017-10-27 | ||
KR10-2017-0140783 | 2017-10-27 | ||
KR1020180129482A KR102188521B1 (ko) | 2017-10-27 | 2018-10-29 | 신경회로망 학습에 의한 작물과 잡초 식별 방법 및 장치 |
KR10-2018-0129482 | 2018-10-29 | ||
PCT/KR2018/012883 WO2019083336A1 (ko) | 2017-10-27 | 2018-10-29 | 신경회로망 학습에 의한 작물과 잡초 식별 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020529686A JP2020529686A (ja) | 2020-10-08 |
JP6771800B2 true JP6771800B2 (ja) | 2020-10-21 |
Family
ID=66580504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020512648A Active JP6771800B2 (ja) | 2017-10-27 | 2018-10-29 | 神経回路網の学習による作物と雑草を識別する装置及び方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6771800B2 (ja) |
KR (1) | KR102188521B1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102359138B1 (ko) * | 2019-12-12 | 2022-02-07 | 경북대학교 산학협력단 | 사용자 맞춤형 영상 밝기 및 대비 조절 장치 및 방법 |
CN113349188B (zh) * | 2021-05-31 | 2022-06-03 | 南京林业大学 | 一种基于云端杀草谱的草坪及牧草精准除草方法 |
CN113435302B (zh) * | 2021-06-23 | 2023-10-17 | 中国农业大学 | 一种基于GridR-CNN的水培生菜幼苗状态检测方法 |
KR102425062B1 (ko) * | 2021-11-23 | 2022-07-27 | 대한민국 | 무인 외발전동휠형 벼 관리 로봇 |
CN115119546B (zh) * | 2022-07-19 | 2024-03-12 | 华南农业大学 | 一种基于视-触觉融合感知的稻田自适应柔性机械除草机 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2952340B2 (ja) * | 1995-10-26 | 1999-09-27 | 農林水産省北海道農業試験場長 | 作物の検出方法 |
JP3577513B2 (ja) * | 2001-09-28 | 2004-10-13 | 独立行政法人農業・生物系特定産業技術研究機構 | 作物の位置を検出する画像処理方法 |
JP5626056B2 (ja) * | 2011-03-18 | 2014-11-19 | 富士通株式会社 | 農作物画像処理プログラム、農作物画像処理方法及び農作物画像処理装置 |
US9576215B2 (en) * | 2014-05-09 | 2017-02-21 | Raven Industries, Inc. | Image filter based on row identification |
KR101763835B1 (ko) * | 2015-10-30 | 2017-08-03 | 사단법인 한국온실작물연구소 | 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템 |
KR101803471B1 (ko) * | 2016-02-15 | 2017-12-01 | 성균관대학교 산학협력단 | 컨볼루션 신경망 기반의 영상 패턴화를 이용한 딥러닝 시스템 및 이를 이용한 영상 학습방법 |
-
2018
- 2018-10-29 KR KR1020180129482A patent/KR102188521B1/ko active IP Right Grant
- 2018-10-29 JP JP2020512648A patent/JP6771800B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
KR20190047636A (ko) | 2019-05-08 |
JP2020529686A (ja) | 2020-10-08 |
KR102188521B1 (ko) | 2020-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6771800B2 (ja) | 神経回路網の学習による作物と雑草を識別する装置及び方法 | |
Fawakherji et al. | Crop and weeds classification for precision agriculture using context-independent pixel-wise segmentation | |
Ge et al. | Fruit localization and environment perception for strawberry harvesting robots | |
Di Cicco et al. | Automatic model based dataset generation for fast and accurate crop and weeds detection | |
WO2019083336A1 (ko) | 신경회로망 학습에 의한 작물과 잡초 식별 방법 및 장치 | |
Dyrmann et al. | Pixel-wise classification of weeds and crop in images by using a fully convolutional neural network. | |
Tian et al. | Machine vision identification of tomato seedlings for automated weed control | |
Weyler et al. | Joint plant instance detection and leaf count estimation for in-field plant phenotyping | |
CN109886155B (zh) | 基于深度学习的单株水稻检测定位方法、系统、设备及介质 | |
Tao et al. | A hybrid CNN–SVM classifier for weed recognition in winter rape field | |
Huang et al. | Deep localization model for intra-row crop detection in paddy field | |
Chebrolu et al. | Registration of spatio-temporal point clouds of plants for phenotyping | |
de Silva et al. | Towards agricultural autonomy: crop row detection under varying field conditions using deep learning | |
Wang et al. | The seedling line extraction of automatic weeding machinery in paddy field | |
Miao et al. | Crop weed identification system based on convolutional neural network | |
De Silva et al. | Deep learning‐based crop row detection for infield navigation of agri‐robots | |
Dhayabarani et al. | Detection of weed using neural networks | |
Ahn et al. | An overview of perception methods for horticultural robots: From pollination to harvest | |
De Silva et al. | Towards infield navigation: leveraging simulated data for crop row detection | |
Goondram et al. | Strawberry Detection using Mixed Training on Simulated and Real Data | |
Liu et al. | Tomato flower pollination features recognition based on binocular gray value-deformation coupled template matching | |
Zhang et al. | A Unified Model for Real-Time Crop Recognition and Stem Localization Exploiting Cross-Task Feature Fusion | |
Liu et al. | Dt/mars-cyclegan: Improved object detection for mars phenotyping robot | |
Xu et al. | Cucumber flower detection based on YOLOv5s-SE7 within greenhouse environments | |
Vuletić et al. | Procedural generation of synthetic dataset for robotic applications in sweet pepper cultivation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200226 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200226 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200226 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200814 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200923 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6771800 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |