KR102283452B1 - 작물 이미지의 병해충 검출 방법 및 장치 - Google Patents
작물 이미지의 병해충 검출 방법 및 장치 Download PDFInfo
- Publication number
- KR102283452B1 KR102283452B1 KR1020190110176A KR20190110176A KR102283452B1 KR 102283452 B1 KR102283452 B1 KR 102283452B1 KR 1020190110176 A KR1020190110176 A KR 1020190110176A KR 20190110176 A KR20190110176 A KR 20190110176A KR 102283452 B1 KR102283452 B1 KR 102283452B1
- Authority
- KR
- South Korea
- Prior art keywords
- pest
- superpixel
- crop
- bounding box
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 31
- 201000010099 disease Diseases 0.000 title description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title description 2
- 229920003266 Leaf® Polymers 0.000 title 1
- 241000607479 Yersinia pestis Species 0.000 claims abstract description 142
- 238000003745 diagnosis Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 238000007405 data analysis Methods 0.000 claims abstract description 10
- 238000013136 deep learning model Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 244000141359 Malus pumila Species 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 241000219094 Vitaceae Species 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 235000021021 grapes Nutrition 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/002—Denoising; Smoothing
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Abstract
본 발명은 작물 이미지의 병해충 검출 방법 및 장치에 관한 것으로서, 본 발명의 일 실시 예에 따른 병해충 검출 방법은, 이미지 처리부가 작물 이미지를 수퍼픽셀(superpixel) 단위로 분할하는 단계, 이미지 처리부가 수퍼픽셀의 윤곽(outline)에 외접하는 경계박스를 생성하는 단계, 필터링부가 경계박스에 포함된 수퍼픽셀 이외의 배경영역을 제거하는 단계, 데이터 분석부가 합성곱신경망(Convolutional Neural Network, CNN)을 이용하여 특정 작물의 병해충 종류를 기준으로 배경영역이 제거된 경계박스를 분류하는 단계 및 병해충 진단부가 분류된 경계박스 별로 병해충을 검출하는 단계를 포함할 수 있다.
Description
본 발명은 작물 이미지의 병해충 검출 방법 및 장치에 관한 것으로, 더욱 상세하게는 작물 이미지에 대한 수퍼픽셀 분할을 이용하여 병충해가 존재하는 관심영역(region of interest, ROI)을 정확히 판별하고 작물 별로 병해충의 종류를 정확히 분류할 수 있는 방법 및 장치에 관한 것이다.
시설원예 농업에서 계절 변화에 따른 작물 생육 관리 방법과 농작물 가격 변동으로 인한 수입의 불안정을 해결하는 것은 매우 중요한 연구이다. 그중 생산량에 영향을 미치는 대표적인 요인은 병해충 피해이다. 병해충을 예방하기 위해서는 병해충 발생 전후에 방역, 방제를 철저히 하는 것이 가장 효과적이지만, 병해충을 발생 전 육안으로 확인하는 것은 매우 어렵다. 그동안 병해충 예찰 기술을 개발하기 위해 다양한 연구들이 진행되어 왔는데, 최근에는 인공지능을 이용한 분석법이 주목받고 있다.
최근 소개된 기술 중 하나는 각 병해충별 잎을 분류하기 위해서 한 개의 잎을 촬영해서 딥러닝 학습데이터로 활용하는 것이다. 학습된 딥러닝 모델을 이용하여 추론을 통해서 잎의 병해충 종류를 판단하게 된다. 그러나 이러한 학습은 실제 환경에서 적용이 어렵다는 단점이 있다. 카메라로 촬영할 때에는 정밀하게 한 장의 잎만을 정확하게 촬영하는 것은 어려운 작업이기 때문에 넓은 영역을 촬영하게 되고, 이는 학습데이터와의 불일치를 발생시켜 성능을 현저히 저하시키는 원인이 된다.
이러한 문제를 해결하기 위해서 통계적 특징을 이용한 영역 분할 방식이 이용된다. 통계적 특징으로는 컬러의 평균 및 편차, 모멘트(moment), 편포도(skewness), 첨도(kurtosis) 등이 활용된다. 그러나, 이 방법은 외부환경에 크게 민감하여 흐린 날, 그림자, 조도 등에 의해서 분할 성능이 저하되고, 특징 값들의 정확도가 낮아지는 문제가 있다. 또한, 현실적으로 통계적 특징을 이용한 영역 분할은 어려운 작업이고, 만족스러운 성능을 얻는 것이 쉽지 않다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로서, 수퍼픽셀 단위의 이미지 분할 및 딥러닝을 이용한 병해충 분류를 통해 작물 이미지의 잎사귀 별로 정확히 병해충을 분류 및 검출할 수 있는 방법 및 장치를 제공함에 목적이 있다.
본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 방법은, 이미지 처리부가 작물 이미지를 수퍼픽셀(superpixel) 단위로 분할하는 단계, 이미지 처리부가 수퍼픽셀의 윤곽(outline)에 외접하는 경계박스를 생성하는 단계, 필터링부가 경계박스에 포함된 수퍼픽셀 이외의 배경영역을 제거하는 단계, 데이터 분석부가 합성곱신경망(Convolutional Neural Network, CNN)을 이용하여 특정 작물의 병해충 종류를 기준으로 배경영역이 제거된 경계박스를 분류하는 단계 및 병해충 진단부가 분류된 경계박스 별로 병해충을 검출하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 배경영역을 제거하는 단계에서는, 필터링부가 경계박스와 수퍼픽셀의 윤곽 사이에 존재하는 배경영역에 제로값을 할당할 수 있다.
본 발명의 일 실시 예에 따른 병해충을 검출하는 단계에서는, 병해충 진단부가 특정 작물의 병해충 종류를 기준으로 경계박스에 포함된 각 병해충의 비율을 추정하고, 최대 비율을 갖는 병해충을 추정할 수 있다.
본 발명의 일 실시 예에 따른 병해충을 검출하는 단계에서는, 병해충 진단부가 병해충에 의한 피해가 예상되는 수퍼픽셀의 개수를 기초로 특정 작물에 대한 병해충의 심각도(severity)를 추정할 수 있다.
본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 장치는, 작물 이미지를 수퍼픽셀 단위로 분할하고, 수퍼픽셀의 윤곽에 외접하는 경계박스를 생성하는 이미지 처리부, 경계박스에 포함된 수퍼픽셀 이외의 배경영역을 제거하는 필터링부, 합성곱신경망을 이용하여 특정 작물의 병해충 종류를 기준으로 배경영역이 제거된 경계박스를 분류하는 데이터 분석부 및 분류된 경계박스 별로 병해충을 검출하는 병해충 진단부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 필터링부는, 경계박스와 수퍼픽셀의 윤곽 사이에 존재하는 배경영역에 제로값을 할당할 수 있다.
본 발명의 일 실시 예에 따른 병해충 진단부는, 특정 작물의 병해충 종류를 기준으로 경계박스에 포함된 각 병해충의 비율을 추정하고, 최대 비율을 갖는 병해충을 추정할 수 있다.
본 발명의 일 실시 예에 따른 병해충 진단부는, 병해충에 의한 피해가 예상되는 수퍼픽셀의 개수를 기초로 특정 작물에 대한 병해충의 심각도를 추정할 수 있다.
한편, 본 발명의 일 실시 예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 발명의 일 실시 예로서 제공되는 병해충 검출 방법에 따르면, 여러 잎사귀가 포함되도록 넓은 영역으로 촬영된 작물 이미지에 대해서도 수퍼픽셀 단위로 정확한 병해충 판단이 가능하며, 좁은 영역으로 촬영된 작물 이미지에 대해서도 수포픽셀 단위로 정확한 병해충 판단이 가능하다. 즉, 촬영 범위에 상관없이 작물 이미지로부터 병해충을 분류 및 검출할 수 있다.
또한, 기존의 영역 분할 방식에서 발생하는 관심영역 오탐지의 문제를 수퍼픽셀을 이용한 병해충 분류를 통해 해소할 수 있으며, 다수의 잎사귀들이 서로 다른 병해충을 가지고 있더라도 이를 정확히 분류하여 병해충에 의한 피해를 진단할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 방법의 순서도이다.
도 2는 본 발명의 일 실시 예에 따라 작물 이미지를 수퍼픽셀로 분할하는 과정을 나타낸다.
도 3은 본 발명의 일 실시 예에 따라 하나의 수퍼픽셀에 대한 경계박스를 생성한 결과를 나타낸다.
도 4는 본 발명의 일 실시 예에 따라 경계박스에 포함된 배경영역을 제거하는 과정을 나타낸다.
도 5는 본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 장치의 블록도이다.
도 2는 본 발명의 일 실시 예에 따라 작물 이미지를 수퍼픽셀로 분할하는 과정을 나타낸다.
도 3은 본 발명의 일 실시 예에 따라 하나의 수퍼픽셀에 대한 경계박스를 생성한 결과를 나타낸다.
도 4는 본 발명의 일 실시 예에 따라 경계박스에 포함된 배경영역을 제거하는 과정을 나타낸다.
도 5는 본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 장치의 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 방법의 순서도이며, 도 2는 본 발명의 일 실시 예에 따라 작물 이미지를 수퍼픽셀로 분할하는 과정을 나타낸다.
또한, 도 3은 본 발명의 일 실시 예에 따라 하나의 수퍼픽셀에 대한 경계박스를 생성한 결과를 나타내고, 도 4는 본 발명의 일 실시 예에 따라 경계박스에 포함된 배경영역을 제거하는 과정을 나타낸다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 방법은, 이미지 처리부가 작물 이미지를 수퍼픽셀(superpixel) 단위로 분할하는 단계, 이미지 처리부가 수퍼픽셀의 윤곽(outline)에 외접하는 경계박스를 생성하는 단계, 필터링부가 경계박스에 포함된 수퍼픽셀 이외의 배경영역을 제거하는 단계, 데이터 분석부가 합성곱신경망(Convolutional Neural Network, CNN)을 이용하여 특정 작물의 병해충 종류를 기준으로 배경영역이 제거된 경계박스를 분류하는 단계 및 병해충 진단부가 분류된 경계박스 별로 병해충을 검출하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 작물 이미지의 분할 단계에서는, 이미지 처리부가 밀집성(Compactness), 경계일치도(Boundary precision/recall), 과소분할(under segmentation)의 최소화, 균일성(uniformity) 등의 특징을 고려하여 작물 이미지를 구성하는 화소들을 클러스터링하여 이미지를 수퍼픽셀 단위로 분할할 수 있다. 즉, 수퍼픽셀이란 하나의 이미지 내에서 동일한 정보를 가진 점들(i.e. 화소들)의 집합을 말한다. 예를 들어, 도 2의 (a)와 같이 여러 잎사귀가 포함된 특정 작물의 이미지가 입력되면, 이미지 처리부는 k-means clustering의 변형 알고리즘인 SLIC(simple linear iterative clustering) 알고리즘을 이용하여 도 2의 (b)와 같이 수퍼픽셀 단위로 이미지를 분할할 수 있다.
전술한 바와 같이 이미지 처리부가 수퍼픽셀을 기준으로 이미지의 영역을 분할하게 되면, 종래와 달리 촬영 범위에 관계없이 어떠한 이미지가 입력되더라도 추후 정확한 병해충 분류 및 검출이 수행될 수 있다. 한편, 수퍼픽셀은 입력된 이미지를 구성하는 화소들의 특징이 고려된 집합 영역이므로, 수퍼픽셀에는 병해충이 포함되어 있을 수도 있고, 포함되어 있지 않을 수도 있다.
본 발명의 일 실시 예에 따른 경계박스 생성 단계에서는, 이미지 처리부가 각 수퍼픽셀의 윤곽에 최소로 외접하는 경계박스의 좌표를 추정할 수 있다. 경계박스를 나타내는 상하좌우 좌표값은 다음과 같은 [식 1]을 통해 추정될 수 있다.
[식 1]
여기서 Si(x, y)는 i번째 수퍼픽셀의 좌표를 의미한다. 즉, 이미지 처리부는 전술한 [식 1]과 같은 계산 과정을 통해 수퍼픽셀 별로 가장 인접한 경계박스를 도 3과 같이 생성할 수 있다. 이때, 수퍼픽셀의 경계는 일정한 모양이나 형태를 갖지 않으므로, 경계박스에는 하나의 수퍼픽셀뿐만 아니라 하나의 수퍼픽셀에 인접한 다른 수퍼픽셀이 도 3과 같이 일부 포함될 수도 있다. 이와 같이 경계박스에 포함된 다른 수퍼픽셀의 일부가 나타내는 영역들을 배경영역이라고 통칭한다.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 배경영역 제거 단계에서는, 필터링부가 경계박스와 수퍼픽셀의 윤곽 사이에 존재하는 배경영역에 제로값을 할당할 수 있다. 경계박스에서 분석이 필요한 관심영역은 수퍼픽셀이므로, 분석 과정에서 수퍼픽셀을 제외한 나머지 배경영역의 영향을 최소화하는 것이 필요하다. 예를 들어, 도 4의 좌측 이미지와 같이 경계박스와 수퍼픽셀의 윤곽 사이에 배경영역이 존재하는 경우, 필터링부는 배경영역에 제로값을 할당하여 도 4의 우측 이미지와 같이 배경영역이 나타내는 이미지를 제거할 수 있다.
본 발명의 일 실시 예에 따른 경계박스 분류 단계에서는, 데이터 분석부가 합성곱신경망을 이용하는 딥러닝 모델을 통해 경계박스에 포함된 병해충을 판독할 수 있다. 이때, 합성곱신경망을 이용하는 딥러닝 모델은 작물 별 병해충의 종류에 따라 레이블이 결정되며, 각 경계박스의 레이블값에 대한 학습을 통해 병해충 클래스를 생성할 수 있다. 작물 별로 병해충의 종류가 다르므로(e.g. 사과는 4가지, 토마토는 10가지, 포도는 4가지 종류의 병해충을 가짐), 딥러닝 모델의 클래스의 수는 작물 별로 다르게 결정될 수 있다. 즉, 특정 작물의 병해충의 종류가 K개(K는 자연수)이면, 특정 작물에 대한 딥러닝 모델에는 K개의 레이블 Li(i∈[1,K])이 결정되며, K개의 클래스가 생성될 수 있다. 데이터 분석부는 이와 같이 생성되는 딥러닝 모델을 이용하여 경계박스를 분석하여 경계박스를 병해충 클래스에 맞게 분류할 수 있다. 여기서 병해충 클래스에 맞게 경계박스를 분류한다는 것은 경계박스의 수퍼픽셀 영역에 포함된 병해충을 검출하고, 검출된 병해충의 종류에 맞게 경계박스를 분류한다는 것을 말한다.
본 발명의 일 실시 예에 따른 병해충 검출 단계에서는, 병해충 진단부가 특정 작물의 병해충 종류를 기준으로 경계박스에 포함된 각 병해충의 비율을 추정하고, 최대 비율을 갖는 병해충을 추정할 수 있다. 예를 들어, N개(N은 자연수)의 수퍼픽셀, K개의 클래스가 존재한다고 가정하면, 병해충 진단부는 다음의 [식 2]와 같이 N개의 경계박스를 기준으로 특정 클래스에 속하는 경계박스의 개수를 비교하여 K개의 각 클래스 별 확률을 계산할 수 있다. 병해충 진단부는 계산된 결과를 기초로 병해충의 피해를 입지 않은 건강한 잎사귀를 포함한 특정 작물의 전체 잎사귀에 대한 각 병해충의 비율을 추정할 수 있다.
[식 2]
이때, Pi는 클래스 i의 확률, N은 경계박스의 개수, Ci는 클래스 i에 속하는 경계박스의 개수를 의미한다.
또한, 병해충 진단부는 전술한 과정을 통해 계산된 클래스 별 확률을 기초로 특정 작물의 전체 잎사귀를 기준으로 가장 많은 비율을 차지하고 있는 병해충이 무엇인지를 추정할 수 있다. 즉, 병해충 진단부는 어떠한 클래스에 경계박스가 가장 많이 포함되어 있는지를 식별하여 최대 비율을 갖는 병해충의 종류를 판단할 수 있다.
본 발명의 일 실시 예에 따른 병해충 검출 단계에서는, 병해충 진단부가 병해충에 의한 피해가 예상되는 수퍼픽셀의 개수를 기초로 특정 작물에 대한 병해충의 심각도(severity)를 추정할 수 있다. 예를 들어, 전술한 경계박스의 분류 과정에서 확인된 병해충의 피해를 입지 않은 건강한 잎의 수퍼픽셀의 개수가 Ch라면, 병해충 진단부는 병해충에 의한 피해가 예상되는 수퍼픽셀의 개수 Cd를 다음의 [식 3]을 통해 계산할 수 있다.
[식 3]
[식 3]을 통해 계산된 Cd를 기초로, 병해충 진단부는 특정 작물에 대한 병해충의 피해 정도(i.e. 심각도) Sd는 다음의 [식 4]를 통해 추정할 수 있다.
[식 4]
이와 같은 병해충 검출 단계를 통해 작물 이미지를 기준으로 특정 작물에 어떤 종류의 병해충이 어느 정도의 비율로 존재하는지, 특정 작물의 어떠한 잎사귀에 병해충으로 인한 피해가 발행했는지 등을 정확하게 분석할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 장치의 블록도이다.
도 6을 참조하면, 본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 장치는, 작물 이미지를 수퍼픽셀 단위로 분할하고, 수퍼픽셀의 윤곽에 외접하는 경계박스를 생성하는 이미지 처리부, 경계박스에 포함된 수퍼픽셀 이외의 배경영역을 제거하는 필터링부, 합성곱신경망을 이용하여 특정 작물의 병해충 종류를 기준으로 배경영역이 제거된 경계박스를 분류하는 데이터 분석부 및 분류된 경계박스 별로 병해충을 검출하는 병해충 진단부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 필터링부는, 경계박스와 수퍼픽셀의 윤곽 사이에 존재하는 배경영역에 제로값을 할당할 수 있다.
본 발명의 일 실시 예에 따른 병해충 진단부는, 특정 작물의 병해충 종류를 기준으로 경계박스에 포함된 각 병해충의 비율을 추정하고, 최대 비율을 갖는 병해충을 추정할 수 있다.
본 발명의 일 실시 예에 따른 병해충 진단부는, 병해충에 의한 피해가 예상되는 수퍼픽셀의 개수를 기초로 특정 작물에 대한 병해충의 심각도를 추정할 수 있다.
본 발명의 일 실시 예에 따른 장치와 관련하여서는 전술한 방법에 대한 내용이 적용될 수 있다. 따라서, 장치와 관련하여, 전술한 방법에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
한편, 본 발명의 일 실시 예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다. 다시 말해서, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 작물 이미지의 병해충 검출 장치
110: 이미지 처리부
120: 필터링부
130: 데이터 분석부
140: 병해충 진단부
110: 이미지 처리부
120: 필터링부
130: 데이터 분석부
140: 병해충 진단부
Claims (9)
- 작물 이미지의 병해충 검출 방법에 있어서,
이미지 처리부가 작물 이미지를 수퍼픽셀(superpixel) 단위로 분할하는 단계;
상기 이미지 처리부가 상기 수퍼픽셀의 윤곽(outline)에 외접하는 경계박스를 생성하는 단계;
필터링부가 상기 경계박스에 포함된 수퍼픽셀 이외의 배경영역을 제거하는 단계;
데이터 분석부가 합성곱신경망(Convolutional Neural Network, CNN)을 이용하여 특정 작물의 병해충 종류를 기준으로 상기 배경영역이 제거된 경계박스를 분류하는 단계; 및
병해충 진단부가 상기 분류된 경계박스 별로 병해충을 검출하는 단계를 포함하며,
상기 병해충을 검출하는 단계에서는,
상기 병해충 진단부가 상기 특정 작물의 병해충 종류를 기준으로 상기 경계박스에 포함된 각 병해충의 비율을 추정하고, 최대 비율을 갖는 병해충을 추정하며,
상기 각 병해충의 비율은,
상기 경계박스를 생성하는 단계에서 생성된 경계박스의 전체 개수에 대한 상기 병해충 종류 별 경계박스의 개수 사이의 비율인 것을 특징으로 하는 병해충 검출 방법.
- 제 1 항에 있어서,
상기 배경영역을 제거하는 단계에서는,
상기 필터링부가 상기 경계박스와 수퍼픽셀의 윤곽 사이에 존재하는 배경영역에 제로값을 할당하는 것을 특징으로 하는 병해충 검출 방법.
- 삭제
- 제 1 항에 있어서,
상기 병해충을 검출하는 단계에서는,
상기 병해충 진단부가 상기 병해충에 의한 피해가 예상되는 수퍼픽셀의 개수를 기초로 상기 특정 작물에 대한 병해충의 심각도(severity)를 추정하는 것을 특징으로 하는 병해충 검출 방법.
- 작물 이미지의 병해충 검출 장치에 있어서,
작물 이미지를 수퍼픽셀(superpixel) 단위로 분할하고, 상기 수퍼픽셀의 윤곽(outline)에 외접하는 경계박스를 생성하는 이미지 처리부;
상기 경계박스에 포함된 수퍼픽셀 이외의 배경영역을 제거하는 필터링부;
합성곱신경망(Convolutional Neural Network, CNN)을 이용하여 특정 작물의 병해충 종류를 기준으로 상기 배경영역이 제거된 경계박스를 분류하는 데이터 분석부; 및
상기 분류된 경계박스 별로 병해충을 검출하는 병해충 진단부를 포함하며,
상기 병해충 진단부는,
상기 특정 작물의 병해충 종류를 기준으로 상기 경계박스에 포함된 각 병해충의 비율을 추정하고, 최대 비율을 갖는 병해충을 추정하고,
상기 각 병해충의 비율은,
상기 이미지 처리부에서 생성된 경계박스의 개수에 대한 상기 병해충 종류 별 경계박스의 개수 사이의 비율인 것을 특징으로 하는 병해충 검출 장치.
- 제 5 항에 있어서,
상기 필터링부는,
상기 경계박스와 수퍼픽셀의 윤곽 사이에 존재하는 배경영역에 제로값을 할당하는 것을 특징으로 하는 병해충 검출 장치.
- 삭제
- 제 5 항에 있어서,
상기 병해충 진단부는,
상기 병해충에 의한 피해가 예상되는 수퍼픽셀의 개수를 기초로 상기 특정 작물에 대한 병해충의 심각도(severity)를 추정하는 것을 특징으로 하는 병해충 검출 장치.
- 제 1 항, 제 2 항 및 제 4 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190110176A KR102283452B1 (ko) | 2019-09-05 | 2019-09-05 | 작물 이미지의 병해충 검출 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190110176A KR102283452B1 (ko) | 2019-09-05 | 2019-09-05 | 작물 이미지의 병해충 검출 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210028966A KR20210028966A (ko) | 2021-03-15 |
| KR102283452B1 true KR102283452B1 (ko) | 2021-07-30 |
Family
ID=75134741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190110176A KR102283452B1 (ko) | 2019-09-05 | 2019-09-05 | 작물 이미지의 병해충 검출 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102283452B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102485816B1 (ko) | 2021-11-03 | 2023-01-09 | 아이티컨버젼스 주식회사 | 이미지 수집장치를 이용한 작물 생육 분석 시스템 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022215811A1 (ko) * | 2021-04-06 | 2022-10-13 | 전북대학교산학협력단 | 농작물 병충해 자동 감지 시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101933657B1 (ko) * | 2016-11-11 | 2019-04-05 | 전북대학교산학협력단 | 딥 러닝을 이용한 작물 병충해 검출 및 진단 방법 및 장치 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101118245B1 (ko) * | 2009-11-16 | 2012-03-19 | 디비비전(주) | 과수재배 현장에서 촬영된 이미지로부터 해충의 종류 및 분포를 분석하는 병해충 관리 시스템 |
| KR101702766B1 (ko) | 2015-08-17 | 2017-02-03 | 한양대학교 에리카산학협력단 | 병충해 진단 방법 및 시스템 |
| KR102498597B1 (ko) * | 2017-08-22 | 2023-02-14 | 삼성전자 주식회사 | 전자 장치 및 이를 이용하여 관심 영역을 설정하여 오브젝트를 식별하는 방법 |
-
2019
- 2019-09-05 KR KR1020190110176A patent/KR102283452B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101933657B1 (ko) * | 2016-11-11 | 2019-04-05 | 전북대학교산학협력단 | 딥 러닝을 이용한 작물 병충해 검출 및 진단 방법 및 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102485816B1 (ko) | 2021-11-03 | 2023-01-09 | 아이티컨버젼스 주식회사 | 이미지 수집장치를 이용한 작물 생육 분석 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210028966A (ko) | 2021-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kestur et al. | MangoNet: A deep semantic segmentation architecture for a method to detect and count mangoes in an open orchard | |
| Scharr et al. | Leaf segmentation in plant phenotyping: a collation study | |
| Vasconez et al. | Comparison of convolutional neural networks in fruit detection and counting: A comprehensive evaluation | |
| CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| Boom et al. | A research tool for long-term and continuous analysis of fish assemblage in coral-reefs using underwater camera footage | |
| Shafait et al. | Fish identification from videos captured in uncontrolled underwater environments | |
| García et al. | A distributed k-means segmentation algorithm applied to lobesia botrana recognition | |
| US10216979B2 (en) | Image processing apparatus, image processing method, and storage medium to detect parts of an object | |
| US20170109879A1 (en) | Computer-implemented methods, computer-readable media, and systems for tracking a plurality of spermatozoa | |
| KR20190143192A (ko) | 기계 학습 기반의 자동 결함 분류 방법 | |
| Alharbi et al. | Automatic counting of wheat spikes from wheat growth images | |
| CN109685045A (zh) | 一种运动目标视频跟踪方法及系统 | |
| Bereciartua-Pérez et al. | Insect counting through deep learning-based density maps estimation | |
| US20190065890A1 (en) | System and method for plant leaf identification | |
| KR102283452B1 (ko) | 작물 이미지의 병해충 검출 방법 및 장치 | |
| CN113111947B (zh) | 图像处理方法、装置和计算机可读存储介质 | |
| KR20180071947A (ko) | 영상 처리 장치 및 방법 | |
| Galdran et al. | A no-reference quality metric for retinal vessel tree segmentation | |
| US11200455B2 (en) | Generating training data for object detection | |
| CN112686872A (zh) | 基于深度学习的木材计数方法 | |
| Wang et al. | Semantic segmentation of sewer pipe defects using deep dilated convolutional neural network | |
| CN116824135A (zh) | 基于机器视觉的大气自然环境试验工业产品识别分割方法 | |
| Nugroho et al. | Comparison of deep learning-based object classification methods for detecting tomato ripeness | |
| CN115641575A (zh) | 一种基于稀疏候选框的叶蝉科农业害虫检测方法 | |
| Sharma et al. | Convolution neural network based several orange leave disease detection and identification methods: A review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |