KR20210028966A - 작물 이미지의 병해충 검출 방법 및 장치 - Google Patents

작물 이미지의 병해충 검출 방법 및 장치 Download PDF

Info

Publication number
KR20210028966A
KR20210028966A KR1020190110176A KR20190110176A KR20210028966A KR 20210028966 A KR20210028966 A KR 20210028966A KR 1020190110176 A KR1020190110176 A KR 1020190110176A KR 20190110176 A KR20190110176 A KR 20190110176A KR 20210028966 A KR20210028966 A KR 20210028966A
Authority
KR
South Korea
Prior art keywords
pest
crop
superpixel
unit
detecting
Prior art date
Application number
KR1020190110176A
Other languages
English (en)
Other versions
KR102283452B1 (ko
Inventor
김만배
황인철
조현종
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Priority to KR1020190110176A priority Critical patent/KR102283452B1/ko
Publication of KR20210028966A publication Critical patent/KR20210028966A/ko
Application granted granted Critical
Publication of KR102283452B1 publication Critical patent/KR102283452B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • General Business, Economics & Management (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 작물 이미지의 병해충 검출 방법 및 장치에 관한 것으로서, 본 발명의 일 실시 예에 따른 병해충 검출 방법은, 이미지 처리부가 작물 이미지를 수퍼픽셀(superpixel) 단위로 분할하는 단계, 이미지 처리부가 수퍼픽셀의 윤곽(outline)에 외접하는 경계박스를 생성하는 단계, 필터링부가 경계박스에 포함된 수퍼픽셀 이외의 배경영역을 제거하는 단계, 데이터 분석부가 합성곱신경망(Convolutional Neural Network, CNN)을 이용하여 특정 작물의 병해충 종류를 기준으로 배경영역이 제거된 경계박스를 분류하는 단계 및 병해충 진단부가 분류된 경계박스 별로 병해충을 검출하는 단계를 포함할 수 있다.

Description

작물 이미지의 병해충 검출 방법 및 장치{METHOD AND APPARATUS FOR DISEASE CLASSIFICATION OF PLANT LEAFS}
본 발명은 작물 이미지의 병해충 검출 방법 및 장치에 관한 것으로, 더욱 상세하게는 작물 이미지에 대한 수퍼픽셀 분할을 이용하여 병충해가 존재하는 관심영역(region of interest, ROI)을 정확히 판별하고 작물 별로 병해충의 종류를 정확히 분류할 수 있는 방법 및 장치에 관한 것이다.
시설원예 농업에서 계절 변화에 따른 작물 생육 관리 방법과 농작물 가격 변동으로 인한 수입의 불안정을 해결하는 것은 매우 중요한 연구이다. 그중 생산량에 영향을 미치는 대표적인 요인은 병해충 피해이다. 병해충을 예방하기 위해서는 병해충 발생 전후에 방역, 방제를 철저히 하는 것이 가장 효과적이지만, 병해충을 발생 전 육안으로 확인하는 것은 매우 어렵다. 그동안 병해충 예찰 기술을 개발하기 위해 다양한 연구들이 진행되어 왔는데, 최근에는 인공지능을 이용한 분석법이 주목받고 있다.
최근 소개된 기술 중 하나는 각 병해충별 잎을 분류하기 위해서 한 개의 잎을 촬영해서 딥러닝 학습데이터로 활용하는 것이다. 학습된 딥러닝 모델을 이용하여 추론을 통해서 잎의 병해충 종류를 판단하게 된다. 그러나 이러한 학습은 실제 환경에서 적용이 어렵다는 단점이 있다. 카메라로 촬영할 때에는 정밀하게 한 장의 잎만을 정확하게 촬영하는 것은 어려운 작업이기 때문에 넓은 영역을 촬영하게 되고, 이는 학습데이터와의 불일치를 발생시켜 성능을 현저히 저하시키는 원인이 된다.
이러한 문제를 해결하기 위해서 통계적 특징을 이용한 영역 분할 방식이 이용된다. 통계적 특징으로는 컬러의 평균 및 편차, 모멘트(moment), 편포도(skewness), 첨도(kurtosis) 등이 활용된다. 그러나, 이 방법은 외부환경에 크게 민감하여 흐린 날, 그림자, 조도 등에 의해서 분할 성능이 저하되고, 특징 값들의 정확도가 낮아지는 문제가 있다. 또한, 현실적으로 통계적 특징을 이용한 영역 분할은 어려운 작업이고, 만족스러운 성능을 얻는 것이 쉽지 않다.
대한민국 등록특허공보 제10-1702766호 (2017.02.03)
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로서, 수퍼픽셀 단위의 이미지 분할 및 딥러닝을 이용한 병해충 분류를 통해 작물 이미지의 잎사귀 별로 정확히 병해충을 분류 및 검출할 수 있는 방법 및 장치를 제공함에 목적이 있다.
본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 방법은, 이미지 처리부가 작물 이미지를 수퍼픽셀(superpixel) 단위로 분할하는 단계, 이미지 처리부가 수퍼픽셀의 윤곽(outline)에 외접하는 경계박스를 생성하는 단계, 필터링부가 경계박스에 포함된 수퍼픽셀 이외의 배경영역을 제거하는 단계, 데이터 분석부가 합성곱신경망(Convolutional Neural Network, CNN)을 이용하여 특정 작물의 병해충 종류를 기준으로 배경영역이 제거된 경계박스를 분류하는 단계 및 병해충 진단부가 분류된 경계박스 별로 병해충을 검출하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 배경영역을 제거하는 단계에서는, 필터링부가 경계박스와 수퍼픽셀의 윤곽 사이에 존재하는 배경영역에 제로값을 할당할 수 있다.
본 발명의 일 실시 예에 따른 병해충을 검출하는 단계에서는, 병해충 진단부가 특정 작물의 병해충 종류를 기준으로 경계박스에 포함된 각 병해충의 비율을 추정하고, 최대 비율을 갖는 병해충을 추정할 수 있다.
본 발명의 일 실시 예에 따른 병해충을 검출하는 단계에서는, 병해충 진단부가 병해충에 의한 피해가 예상되는 수퍼픽셀의 개수를 기초로 특정 작물에 대한 병해충의 심각도(severity)를 추정할 수 있다.
본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 장치는, 작물 이미지를 수퍼픽셀 단위로 분할하고, 수퍼픽셀의 윤곽에 외접하는 경계박스를 생성하는 이미지 처리부, 경계박스에 포함된 수퍼픽셀 이외의 배경영역을 제거하는 필터링부, 합성곱신경망을 이용하여 특정 작물의 병해충 종류를 기준으로 배경영역이 제거된 경계박스를 분류하는 데이터 분석부 및 분류된 경계박스 별로 병해충을 검출하는 병해충 진단부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 필터링부는, 경계박스와 수퍼픽셀의 윤곽 사이에 존재하는 배경영역에 제로값을 할당할 수 있다.
본 발명의 일 실시 예에 따른 병해충 진단부는, 특정 작물의 병해충 종류를 기준으로 경계박스에 포함된 각 병해충의 비율을 추정하고, 최대 비율을 갖는 병해충을 추정할 수 있다.
본 발명의 일 실시 예에 따른 병해충 진단부는, 병해충에 의한 피해가 예상되는 수퍼픽셀의 개수를 기초로 특정 작물에 대한 병해충의 심각도를 추정할 수 있다.
한편, 본 발명의 일 실시 예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 발명의 일 실시 예로서 제공되는 병해충 검출 방법에 따르면, 여러 잎사귀가 포함되도록 넓은 영역으로 촬영된 작물 이미지에 대해서도 수퍼픽셀 단위로 정확한 병해충 판단이 가능하며, 좁은 영역으로 촬영된 작물 이미지에 대해서도 수포픽셀 단위로 정확한 병해충 판단이 가능하다. 즉, 촬영 범위에 상관없이 작물 이미지로부터 병해충을 분류 및 검출할 수 있다.
또한, 기존의 영역 분할 방식에서 발생하는 관심영역 오탐지의 문제를 수퍼픽셀을 이용한 병해충 분류를 통해 해소할 수 있으며, 다수의 잎사귀들이 서로 다른 병해충을 가지고 있더라도 이를 정확히 분류하여 병해충에 의한 피해를 진단할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 방법의 순서도이다.
도 2는 본 발명의 일 실시 예에 따라 작물 이미지를 수퍼픽셀로 분할하는 과정을 나타낸다.
도 3은 본 발명의 일 실시 예에 따라 하나의 수퍼픽셀에 대한 경계박스를 생성한 결과를 나타낸다.
도 4는 본 발명의 일 실시 예에 따라 경계박스에 포함된 배경영역을 제거하는 과정을 나타낸다.
도 5는 본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 장치의 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 방법의 순서도이며, 도 2는 본 발명의 일 실시 예에 따라 작물 이미지를 수퍼픽셀로 분할하는 과정을 나타낸다.
또한, 도 3은 본 발명의 일 실시 예에 따라 하나의 수퍼픽셀에 대한 경계박스를 생성한 결과를 나타내고, 도 4는 본 발명의 일 실시 예에 따라 경계박스에 포함된 배경영역을 제거하는 과정을 나타낸다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 방법은, 이미지 처리부가 작물 이미지를 수퍼픽셀(superpixel) 단위로 분할하는 단계, 이미지 처리부가 수퍼픽셀의 윤곽(outline)에 외접하는 경계박스를 생성하는 단계, 필터링부가 경계박스에 포함된 수퍼픽셀 이외의 배경영역을 제거하는 단계, 데이터 분석부가 합성곱신경망(Convolutional Neural Network, CNN)을 이용하여 특정 작물의 병해충 종류를 기준으로 배경영역이 제거된 경계박스를 분류하는 단계 및 병해충 진단부가 분류된 경계박스 별로 병해충을 검출하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 작물 이미지의 분할 단계에서는, 이미지 처리부가 밀집성(Compactness), 경계일치도(Boundary precision/recall), 과소분할(under segmentation)의 최소화, 균일성(uniformity) 등의 특징을 고려하여 작물 이미지를 구성하는 화소들을 클러스터링하여 이미지를 수퍼픽셀 단위로 분할할 수 있다. 즉, 수퍼픽셀이란 하나의 이미지 내에서 동일한 정보를 가진 점들(i.e. 화소들)의 집합을 말한다. 예를 들어, 도 2의 (a)와 같이 여러 잎사귀가 포함된 특정 작물의 이미지가 입력되면, 이미지 처리부는 k-means clustering의 변형 알고리즘인 SLIC(simple linear iterative clustering) 알고리즘을 이용하여 도 2의 (b)와 같이 수퍼픽셀 단위로 이미지를 분할할 수 있다.
전술한 바와 같이 이미지 처리부가 수퍼픽셀을 기준으로 이미지의 영역을 분할하게 되면, 종래와 달리 촬영 범위에 관계없이 어떠한 이미지가 입력되더라도 추후 정확한 병해충 분류 및 검출이 수행될 수 있다. 한편, 수퍼픽셀은 입력된 이미지를 구성하는 화소들의 특징이 고려된 집합 영역이므로, 수퍼픽셀에는 병해충이 포함되어 있을 수도 있고, 포함되어 있지 않을 수도 있다.
본 발명의 일 실시 예에 따른 경계박스 생성 단계에서는, 이미지 처리부가 각 수퍼픽셀의 윤곽에 최소로 외접하는 경계박스의 좌표를 추정할 수 있다. 경계박스를 나타내는 상하좌우 좌표값은 다음과 같은 [식 1]을 통해 추정될 수 있다.
[식 1]
Figure pat00001
여기서 Si(x, y)는 i번째 수퍼픽셀의 좌표를 의미한다. 즉, 이미지 처리부는 전술한 [식 1]과 같은 계산 과정을 통해 수퍼픽셀 별로 가장 인접한 경계박스를 도 3과 같이 생성할 수 있다. 이때, 수퍼픽셀의 경계는 일정한 모양이나 형태를 갖지 않으므로, 경계박스에는 하나의 수퍼픽셀뿐만 아니라 하나의 수퍼픽셀에 인접한 다른 수퍼픽셀이 도 3과 같이 일부 포함될 수도 있다. 이와 같이 경계박스에 포함된 다른 수퍼픽셀의 일부가 나타내는 영역들을 배경영역이라고 통칭한다.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 배경영역 제거 단계에서는, 필터링부가 경계박스와 수퍼픽셀의 윤곽 사이에 존재하는 배경영역에 제로값을 할당할 수 있다. 경계박스에서 분석이 필요한 관심영역은 수퍼픽셀이므로, 분석 과정에서 수퍼픽셀을 제외한 나머지 배경영역의 영향을 최소화하는 것이 필요하다. 예를 들어, 도 4의 좌측 이미지와 같이 경계박스와 수퍼픽셀의 윤곽 사이에 배경영역이 존재하는 경우, 필터링부는 배경영역에 제로값을 할당하여 도 4의 우측 이미지와 같이 배경영역이 나타내는 이미지를 제거할 수 있다.
본 발명의 일 실시 예에 따른 경계박스 분류 단계에서는, 데이터 분석부가 합성곱신경망을 이용하는 딥러닝 모델을 통해 경계박스에 포함된 병해충을 판독할 수 있다. 이때, 합성곱신경망을 이용하는 딥러닝 모델은 작물 별 병해충의 종류에 따라 레이블이 결정되며, 각 경계박스의 레이블값에 대한 학습을 통해 병해충 클래스를 생성할 수 있다. 작물 별로 병해충의 종류가 다르므로(e.g. 사과는 4가지, 토마토는 10가지, 포도는 4가지 종류의 병해충을 가짐), 딥러닝 모델의 클래스의 수는 작물 별로 다르게 결정될 수 있다. 즉, 특정 작물의 병해충의 종류가 K개(K는 자연수)이면, 특정 작물에 대한 딥러닝 모델에는 K개의 레이블 Li(i∈[1,K])이 결정되며, K개의 클래스가 생성될 수 있다. 데이터 분석부는 이와 같이 생성되는 딥러닝 모델을 이용하여 경계박스를 분석하여 경계박스를 병해충 클래스에 맞게 분류할 수 있다. 여기서 병해충 클래스에 맞게 경계박스를 분류한다는 것은 경계박스의 수퍼픽셀 영역에 포함된 병해충을 검출하고, 검출된 병해충의 종류에 맞게 경계박스를 분류한다는 것을 말한다.
본 발명의 일 실시 예에 따른 병해충 검출 단계에서는, 병해충 진단부가 특정 작물의 병해충 종류를 기준으로 경계박스에 포함된 각 병해충의 비율을 추정하고, 최대 비율을 갖는 병해충을 추정할 수 있다. 예를 들어, N개(N은 자연수)의 수퍼픽셀, K개의 클래스가 존재한다고 가정하면, 병해충 진단부는 다음의 [식 2]와 같이 N개의 경계박스를 기준으로 특정 클래스에 속하는 경계박스의 개수를 비교하여 K개의 각 클래스 별 확률을 계산할 수 있다. 병해충 진단부는 계산된 결과를 기초로 병해충의 피해를 입지 않은 건강한 잎사귀를 포함한 특정 작물의 전체 잎사귀에 대한 각 병해충의 비율을 추정할 수 있다.
[식 2]
Figure pat00002
이때, Pi는 클래스 i의 확률, N은 경계박스의 개수, Ci는 클래스 i에 속하는 경계박스의 개수를 의미한다.
또한, 병해충 진단부는 전술한 과정을 통해 계산된 클래스 별 확률을 기초로 특정 작물의 전체 잎사귀를 기준으로 가장 많은 비율을 차지하고 있는 병해충이 무엇인지를 추정할 수 있다. 즉, 병해충 진단부는 어떠한 클래스에 경계박스가 가장 많이 포함되어 있는지를 식별하여 최대 비율을 갖는 병해충의 종류를 판단할 수 있다.
본 발명의 일 실시 예에 따른 병해충 검출 단계에서는, 병해충 진단부가 병해충에 의한 피해가 예상되는 수퍼픽셀의 개수를 기초로 특정 작물에 대한 병해충의 심각도(severity)를 추정할 수 있다. 예를 들어, 전술한 경계박스의 분류 과정에서 확인된 병해충의 피해를 입지 않은 건강한 잎의 수퍼픽셀의 개수가 Ch라면, 병해충 진단부는 병해충에 의한 피해가 예상되는 수퍼픽셀의 개수 Cd를 다음의 [식 3]을 통해 계산할 수 있다.
[식 3]
Figure pat00003
[식 3]을 통해 계산된 Cd를 기초로, 병해충 진단부는 특정 작물에 대한 병해충의 피해 정도(i.e. 심각도) Sd는 다음의 [식 4]를 통해 추정할 수 있다.
[식 4]
Figure pat00004
이와 같은 병해충 검출 단계를 통해 작물 이미지를 기준으로 특정 작물에 어떤 종류의 병해충이 어느 정도의 비율로 존재하는지, 특정 작물의 어떠한 잎사귀에 병해충으로 인한 피해가 발행했는지 등을 정확하게 분석할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 장치의 블록도이다.
도 6을 참조하면, 본 발명의 일 실시 예에 따른 작물 이미지의 병해충 검출 장치는, 작물 이미지를 수퍼픽셀 단위로 분할하고, 수퍼픽셀의 윤곽에 외접하는 경계박스를 생성하는 이미지 처리부, 경계박스에 포함된 수퍼픽셀 이외의 배경영역을 제거하는 필터링부, 합성곱신경망을 이용하여 특정 작물의 병해충 종류를 기준으로 배경영역이 제거된 경계박스를 분류하는 데이터 분석부 및 분류된 경계박스 별로 병해충을 검출하는 병해충 진단부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 필터링부는, 경계박스와 수퍼픽셀의 윤곽 사이에 존재하는 배경영역에 제로값을 할당할 수 있다.
본 발명의 일 실시 예에 따른 병해충 진단부는, 특정 작물의 병해충 종류를 기준으로 경계박스에 포함된 각 병해충의 비율을 추정하고, 최대 비율을 갖는 병해충을 추정할 수 있다.
본 발명의 일 실시 예에 따른 병해충 진단부는, 병해충에 의한 피해가 예상되는 수퍼픽셀의 개수를 기초로 특정 작물에 대한 병해충의 심각도를 추정할 수 있다.
본 발명의 일 실시 예에 따른 장치와 관련하여서는 전술한 방법에 대한 내용이 적용될 수 있다. 따라서, 장치와 관련하여, 전술한 방법에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
한편, 본 발명의 일 실시 예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다. 다시 말해서, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 작물 이미지의 병해충 검출 장치
110: 이미지 처리부
120: 필터링부
130: 데이터 분석부
140: 병해충 진단부

Claims (9)

  1. 작물 이미지의 병해충 검출 방법에 있어서,
    이미지 처리부가 작물 이미지를 수퍼픽셀(superpixel) 단위로 분할하는 단계;
    상기 이미지 처리부가 상기 수퍼픽셀의 윤곽(outline)에 외접하는 경계박스를 생성하는 단계;
    필터링부가 상기 경계박스에 포함된 수퍼픽셀 이외의 배경영역을 제거하는 단계;
    데이터 분석부가 합성곱신경망(Convolutional Neural Network, CNN)을 이용하여 특정 작물의 병해충 종류를 기준으로 상기 배경영역이 제거된 경계박스를 분류하는 단계; 및
    병해충 진단부가 상기 분류된 경계박스 별로 병해충을 검출하는 단계를 포함하는 것을 특징으로 하는 병해충 검출 방법.
  2. 제 1 항에 있어서,
    상기 배경영역을 제거하는 단계에서는,
    상기 필터링부가 상기 경계박스와 수퍼픽셀의 윤곽 사이에 존재하는 배경영역에 제로값을 할당하는 것을 특징으로 하는 병해충 검출 방법.
  3. 제 1 항에 있어서,
    상기 병해충을 검출하는 단계에서는,
    상기 병해충 진단부가 상기 특정 작물의 병해충 종류를 기준으로 상기 경계박스에 포함된 각 병해충의 비율을 추정하고, 최대 비율을 갖는 병해충을 추정하는 것을 특징으로 하는 병해충 검출 방법.
  4. 제 1 항에 있어서,
    상기 병해충을 검출하는 단계에서는,
    상기 병해충 진단부가 상기 병해충에 의한 피해가 예상되는 수퍼픽셀의 개수를 기초로 상기 특정 작물에 대한 병해충의 심각도(severity)를 추정하는 것을 특징으로 하는 병해충 검출 방법.
  5. 작물 이미지의 병해충 검출 장치에 있어서,
    작물 이미지를 수퍼픽셀(superpixel) 단위로 분할하고, 상기 수퍼픽셀의 윤곽(outline)에 외접하는 경계박스를 생성하는 이미지 처리부;
    상기 경계박스에 포함된 수퍼픽셀 이외의 배경영역을 제거하는 필터링부;
    합성곱신경망(Convolutional Neural Network, CNN)을 이용하여 특정 작물의 병해충 종류를 기준으로 상기 배경영역이 제거된 경계박스를 분류하는 데이터 분석부; 및
    상기 분류된 경계박스 별로 병해충을 검출하는 병해충 진단부를 포함하는 것을 특징으로 하는 병해충 검출 장치.
  6. 제 5 항에 있어서,
    상기 필터링부는,
    상기 경계박스와 수퍼픽셀의 윤곽 사이에 존재하는 배경영역에 제로값을 할당하는 것을 특징으로 하는 병해충 검출 장치.
  7. 제 5 항에 있어서,
    상기 병해충 진단부는,
    상기 특정 작물의 병해충 종류를 기준으로 상기 경계박스에 포함된 각 병해충의 비율을 추정하고, 최대 비율을 갖는 병해충을 추정하는 것을 특징으로 하는 병해충 검출 장치.
  8. 제 5 항에 있어서,
    상기 병해충 진단부는,
    상기 병해충에 의한 피해가 예상되는 수퍼픽셀의 개수를 기초로 상기 특정 작물에 대한 병해충의 심각도(severity)를 추정하는 것을 특징으로 하는 병해충 검출 장치.
  9. 제 1 항 내지 제 4 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020190110176A 2019-09-05 2019-09-05 작물 이미지의 병해충 검출 방법 및 장치 KR102283452B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190110176A KR102283452B1 (ko) 2019-09-05 2019-09-05 작물 이미지의 병해충 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190110176A KR102283452B1 (ko) 2019-09-05 2019-09-05 작물 이미지의 병해충 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210028966A true KR20210028966A (ko) 2021-03-15
KR102283452B1 KR102283452B1 (ko) 2021-07-30

Family

ID=75134741

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190110176A KR102283452B1 (ko) 2019-09-05 2019-09-05 작물 이미지의 병해충 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102283452B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100468A (zh) * 2022-06-22 2022-09-23 中北大学 基于Vision Transformer模型的植物叶片病害检测分类方法
WO2022215811A1 (ko) * 2021-04-06 2022-10-13 전북대학교산학협력단 농작물 병충해 자동 감지 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102485816B1 (ko) 2021-11-03 2023-01-09 아이티컨버젼스 주식회사 이미지 수집장치를 이용한 작물 생육 분석 시스템
KR102708117B1 (ko) * 2022-12-08 2024-09-20 농업회사법인 아이오크롭스 주식회사 원격 농업 플랫폼을 위한 병해충 관리 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110053762A (ko) * 2009-11-16 2011-05-24 디비비전(주) 과수재배 현장에서 촬영된 이미지로부터 해충의 종류 및 분포를 분석하는 병해충 관리 시스템
KR101702766B1 (ko) 2015-08-17 2017-02-03 한양대학교 에리카산학협력단 병충해 진단 방법 및 시스템
KR20190021049A (ko) * 2017-08-22 2019-03-05 삼성전자주식회사 전자 장치 및 이를 이용하여 관심 영역을 설정하여 오브젝트를 식별하는 방법
KR101933657B1 (ko) * 2016-11-11 2019-04-05 전북대학교산학협력단 딥 러닝을 이용한 작물 병충해 검출 및 진단 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110053762A (ko) * 2009-11-16 2011-05-24 디비비전(주) 과수재배 현장에서 촬영된 이미지로부터 해충의 종류 및 분포를 분석하는 병해충 관리 시스템
KR101702766B1 (ko) 2015-08-17 2017-02-03 한양대학교 에리카산학협력단 병충해 진단 방법 및 시스템
KR101933657B1 (ko) * 2016-11-11 2019-04-05 전북대학교산학협력단 딥 러닝을 이용한 작물 병충해 검출 및 진단 방법 및 장치
KR20190021049A (ko) * 2017-08-22 2019-03-05 삼성전자주식회사 전자 장치 및 이를 이용하여 관심 영역을 설정하여 오브젝트를 식별하는 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022215811A1 (ko) * 2021-04-06 2022-10-13 전북대학교산학협력단 농작물 병충해 자동 감지 시스템
CN115100468A (zh) * 2022-06-22 2022-09-23 中北大学 基于Vision Transformer模型的植物叶片病害检测分类方法

Also Published As

Publication number Publication date
KR102283452B1 (ko) 2021-07-30

Similar Documents

Publication Publication Date Title
Scharr et al. Leaf segmentation in plant phenotyping: a collation study
Kestur et al. MangoNet: A deep semantic segmentation architecture for a method to detect and count mangoes in an open orchard
US9483709B2 (en) Visual saliency estimation for images and video
KR102283452B1 (ko) 작물 이미지의 병해충 검출 방법 및 장치
García et al. A Distributed K‐Means Segmentation Algorithm Applied to Lobesia botrana Recognition
US10216979B2 (en) Image processing apparatus, image processing method, and storage medium to detect parts of an object
Bereciartua-Pérez et al. Insect counting through deep learning-based density maps estimation
CN109154978A (zh) 用于检测植物疾病的系统和方法
Alharbi et al. Automatic counting of wheat spikes from wheat growth images
Wilber et al. Animal recognition in the mojave desert: Vision tools for field biologists
KR20180071947A (ko) 영상 처리 장치 및 방법
Zhao et al. Automatic blur region segmentation approach using image matting
Galdran et al. A no-reference quality metric for retinal vessel tree segmentation
Nugroho et al. Comparison of deep learning-based object classification methods for detecting tomato ripeness
WO2019043162A1 (en) DETECTION OF BIOLOGICAL CELLS AND CELL LINE TRACING
EP2406755A1 (en) Method for performing automatic classification of image information
CN111476156A (zh) 一种老鼠及其它小型动物实时智能监测算法
Castelo et al. Video based live tracking of fishes in tanks
Spoorthy et al. Performance analysis of bird counting techniques using digital photograph
KR20230069396A (ko) 인공신경망을 이용하여 영상으로부터 식물 잎을 검출하는 방법 및 이를 수행하기 위한 컴퓨팅 장치
Vatsa et al. Enumeration of Birds using Video Segmentation for a Better Understanding of Bird Behaviors
Khan et al. Real-time crop row detection using computer vision-application in agricultural robots
Osadebey et al. Plant leaves region segmentation in cluttered and occluded images using perceptual color space and k-means-derived threshold with set theory
Anuntachai et al. An Image-based Sea Turtle Identification using Postorbital Facial Feature Points Matching Technique
Angayarkanni et al. LEAF DISEASE RECOGNITION USING SEGMENTATION WITH VISUAL FEATURE DESCRIPTOR.

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190905

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210114

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210722

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210723

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210726

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240626

Start annual number: 4

End annual number: 4