KR20180058049A - 작물의 병해충 진단 장치 및 방법 - Google Patents

작물의 병해충 진단 장치 및 방법 Download PDF

Info

Publication number
KR20180058049A
KR20180058049A KR1020160156674A KR20160156674A KR20180058049A KR 20180058049 A KR20180058049 A KR 20180058049A KR 1020160156674 A KR1020160156674 A KR 1020160156674A KR 20160156674 A KR20160156674 A KR 20160156674A KR 20180058049 A KR20180058049 A KR 20180058049A
Authority
KR
South Korea
Prior art keywords
layer
image
feature
pest
classification result
Prior art date
Application number
KR1020160156674A
Other languages
English (en)
Other versions
KR101876397B1 (ko
Inventor
한동일
유성준
조주연
이주선
우현준
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020160156674A priority Critical patent/KR101876397B1/ko
Publication of KR20180058049A publication Critical patent/KR20180058049A/ko
Application granted granted Critical
Publication of KR101876397B1 publication Critical patent/KR101876397B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0098—Plants or trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Food Science & Technology (AREA)
  • Botany (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

작물의 병해충 진단 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 작물의 병해충 진단 방법은 병해충 분류 대상 이미지를 입력받는 단계, 합성곱 신경망(convolutional neural network)을 이용하여 입력된 상기 이미지에 대한 1차 분류 결과를 산출하는 단계, 및 상기 1차 분류 결과 및 기 설정된 병해충 그룹 정보를 이용하여 상기 이미지에 대한 2차 분류 결과를 산출하는 단계를 포함한다.

Description

작물의 병해충 진단 장치 및 방법{APPARATUS AND METHOD FOR DIAGONISING DISEASE AND INSECT PEST OF CROPS}
본 발명의 실시예들은 작물의 병해충을 정확하게 진단하기 위한 기술과 관련된다.
작물의 재배에 있어 병해나 충해를 효과적으로 방제하기 위해서는 병충해의 병징을 정확하게 진단하는 것이 필요하다. 병징에 따라 방제 방법과 피해의 정도가 크게 달라지기 때문이다. 예를 들어, 2015년 4월경 국내에서 최초로 배 작물에 발생한 화상병의 경우 기존에 자주 발생했던 검은별 무늬병과 유사한 양상을 띠지만, 그 피해의 정도는 기존의 검은별 무늬병과 비교하여 훨씬 더 극심하다. 검은별 무늬병에 감염되었을 경우 병해가 있는 작물만 처리하면 되지만, 화상병이 발생하여 다른 작물로 점염될 경우 해당 과수원 전체가 폐기 처분되어야 하기 때문이다. 하지만 두 질병은 그 병징의 크기가 매우 작고 그 특징이 유사하여, 그 차이점을 농가에서 육안으로 확인하는 것은 한계가 있다.
기존에는 병해나 충해 피해가 발생되면 농촌진흥청 등의 진단 전문가가 농가를 일일이 방문하여 문제를 진단하고 방제에 대한 조언을 하는 방식으로 대응하였는 바, 병충해에 대한 신속한 대응에 한계가 존재하였다. 따라서 농가에서 신속하고 정확하게 병충해를 진단하기 위한 방법이 필요하게 되었다.
본 발명의 실시예들은 병해나 충해 피해를 입은 작물들의 정확한 병징을 진단하기 위한 기술적인 수단을 제공하기 위한 것이다.
예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 병해충 분류 대상 이미지를 입력받는 단계; 합성곱 신경망(convolutional neural network)을 이용하여 입력된 상기 이미지에 대한 1차 분류 결과를 산출하는 단계; 및 상기 1차 분류 결과 및 기 설정된 병해충 그룹 정보를 이용하여 상기 이미지에 대한 2차 분류 결과를 산출하는 단계를 포함하며, 상기 합성곱 신경망은 상기 이미지와 기 설정된 필터 간의 합성곱 연산을 통해 피처맵(feature map)을 생성하는 합성곱 레이어(convolutional layer) 및 상기 피처맵의 각 픽셀에 기 설정된 크기의 마스크를 적용하고, 상기 마스크 내의 픽셀 값을 이용하여 상기 피처맵에 대한 서브 샘플링(sub sampling)을 수행하는 풀링 레이어(pulling layer)의 쌍이 복수 개 반복되도록 구성되는 특징 추출 레이어 그룹; 및 상기 특징 추출 레이어 그룹에서 출력되는 복수 개의 피처맵의 각 픽셀 값으로부터 상기 1차 분류 결과를 계산하는 복수 개의 전결합 레이어(fully-connected layer)를 포함하는 특징 분류 레이어 그룹을 포함하여 구성되는 방법이 제공된다.
상기 방법은, 상기 1차 분류 결과를 산출하는 단계의 수행 전, 상기 입력된 이미지를 전처리하는 단계를 더 포함할 수 있다.
상기 전처리하는 단계는, 상기 입력된 이미지를 기 설정된 크기로 리사이징하는 단계; 및 리사이징된 이미지에 호모모픽 필터를 적용하는 단계를 포함하여 구성될 수 있다.
상기 합성곱 레이어는, ReLU(Rectified Linear Hidden Unit) 함수를 이용하여 상기 합성곱 연산을 수행할 수 있다.
상기 풀링 레이어는, 상기 마스크 내의 픽셀 중 최대값을 출력하는 맥스 풀링 레이어(max pooling layer)일 수 있다.
상기 특징 추출 레이어 그룹은, 상기 이미지에 상기 합성곱 레이어 및 상기 풀링 레이어의 쌍을 복수 회 반복하여 적용함으로써, 상기 전결합 레이어에 입력 가능한 크기를 가지는 복수 개의 피처맵을 생성하도록 구성될 수 있다.
상기 특징 추출 레이어 그룹에 포함되는 복수 개의 풀링 레이어 중 제1 단계의 풀링 레이어의 마스크 사이즈는 나머지 풀링 레이어의 마스크 사이즈보다 크도록 설정될 수 있다.
상기 특징 분류 레이어 그룹은, 상기 특징 추출 레이어 그룹에서 출력되는 복수 개의 피처맵의 각 픽셀 값을 입력으로 하는 제1 전결합 레이어; 상기 제1 전결합 레이어와 연결되는 제2 전결합 레이어; 및 상기 제2 전결합 레이어와 연결되는 출력 레이어를 포함할 수 있다.
상기 방법은, 상기 특징 분류 레이어 그룹 중 상기 제2 전결합 레이어에만 기 설정된 드롭아웃 파라미터를 적용하도록 구성될 수 있다.
상기 출력 레이어는 하이퍼볼릭 탄젠트 활성화 함수를 이용하여 상기 출력 레이어의 각 노드 별 출력값을 계산하도록 구성될 수 있다.
상기 2차 분류 결과를 산출하는 단계는, 상기 1차 분류 결과를 포함하는 병해충 그룹 정보가 존재하는 경우, 해당 병해충 그룹 정보에 대응되는 병해충 분류값을 상기 2차 분류 결과로 설정하도록 구성될 수 있다.
다른 예시적인 실시예에 따르면, 병해충 분류 대상 이미지를 입력받는 입력부; 합성곱 신경망(convolutional neural network)을 이용하여 입력된 상기 이미지에 대한 1차 분류 결과를 산출하는 제1 계산부; 및 상기 1차 분류 결과 및 기 설정된 병해충 그룹 정보를 이용하여 상기 이미지에 대한 2차 분류 결과를 산출하는 제2 계산부를 포함하며, 상기 합성곱 신경망은, 상기 이미지와 기 설정된 필터 간의 합성곱 연산을 통해 피처맵(feature map)을 생성하는 합성곱 레이어(convolutional layer) 및 상기 피처맵의 각 픽셀에 기 설정된 크기의 마스크를 적용하고, 상기 마스크 내의 픽셀 값을 이용하여 상기 피처맵에 대한 서브 샘플링(sub sampling)을 수행하는 풀링 레이어(pulling layer)의 쌍이 복수 개 반복되도록 구성되는 특징 추출 레이어 그룹; 및 상기 특징 추출 레이어 그룹에서 출력되는 복수 개의 피처맵의 각 픽셀 값으로부터 상기 1차 분류 결과를 계산하는 복수 개의 전결합 레이어(fully-connected layer)를 포함하는 특징 분류 레이어 그룹을 포함하여 구성되는, 작물의 병해충 진단 장치가 제공된다.
상기 장치는, 상기 입력부를 통하여 입력된 이미지를 전처리하는 전처리부를 더 포함할 수 있다.
상기 전처리부는, 상기 입력된 이미지를 기 설정된 크기로 리사이징하고, 리사이징된 이미지에 호모모픽 필터를 적용할 수 있다.
상기 합성곱 레이어는, ReLU(Rectified Linear Hidden Unit) 함수를 이용하여 상기 합성곱 연산을 수행할 수 있다.
상기 풀링 레이어는, 상기 마스크 내의 픽셀 중 최대값을 출력하는 맥스 풀링 레이어(max pooling layer)일 수 있다.
상기 특징 추출 레이어 그룹은, 상기 이미지에 상기 합성곱 레이어 및 상기 풀링 레이어의 쌍을 복수 회 반복하여 적용함으로써, 상기 전결합 레이어에 입력 가능한 크기를 가지는 복수 개의 피처맵을 생성하도록 구성될 수 있다.
상기 특징 추출 레이어 그룹에 포함되는 복수 개의 풀링 레이어 중 제1 차 풀링 레이어의 마스크 사이즈는 나머지 풀링 레이어의 마스크 사이즈보다 크도록 설정될 수 있다.
상기 특징 분류 레이어 그룹은, 상기 특징 추출 레이어 그룹에서 출력되는 복수 개의 피처맵의 각 픽셀 값을 입력으로 하는 제1 전결합 레이어; 상기 제1 전결합 레이어와 연결되는 제2 전결합 레이어; 및 상기 제2 전결합 레이어와 연결되는 출력 레이어를 포함할 수 있다.
상기 제1 계산부는, 상기 특징 분류 레이어 그룹 중 상기 제2 전결합 레이어에만 기 설정된 드롭아웃 파라미터를 적용할 수 있다.
상기 출력 레이어는 하이퍼볼릭 탄젠트 활성화 함수를 이용하여 상기 출력 레이어의 각 노드 별 출력값을 계산하도록 구성될 수 있다.
상기 제2 계산부는, 상기 1차 분류 결과를 포함하는 병해충 그룹 정보가 존재하는 경우, 해당 병해충 그룹 정보에 대응되는 병해충 분류값을 상기 2차 분류 결과로 설정할 수 있다.
본 발명의 실시예들에 따르면, 병해나 충해 피해를 입은 작물들에 대한 영상 데이터를 이용하여 해당 작물들의 정확한 병징을 진단함으로써 병해충 방제를 효과적으로 지원할 수 있다.
도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 작물의 병해충 진단을 위한 학습 과정(200)을 설명하기 위한 흐름도
도 3은 본 발명의 일 실시예에 따른 이미지 분석 단계(208)를 상세히 설명하기 위한 흐름도
도 4는 본 발명의 일 실시예에 따른 합성곱 레이어의 연산 과정을 설명하기 위한 예시도
도 5는 본 발명의 일 실시예에 따른 풀링 레이어의 연산 과정을 설명하기 위한 예시도
도 6은 본 발명의 일 실시예에 따른 전결합 레이어를 설명하기 위한 예시도
도 7은 본 발명의 일 실시예에 따른 작물의 병해충 진단 과정(700)을 설명하기 위한 흐름도
도 8은 본 발명의 일 실시예에 따른 작물의 병해충 진단 장치(800)를 설명하기 위한 블록도
도 9는 본 발명의 일 실시예에 따른 작물의 병해충 진단 시스템(900)을 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 본 발명의 실시예들에 따른 작물의 병해충 진단 장치일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 구현되어 컴퓨팅 장치(12)와 연결될 수도 있다.
본 발명의 실시예들은 병해충과 관련된 병해나 충해 피해를 입은 작물들에 대한 영상 데이터를 입력받고, 상기 영상에 대한 분석을 통하여 해당 작물들의 정확한 병징을 진단하기 위한 것이다. 상기 영상 데이터는, 예를 들어 병해를 입은 작물의 잎, 줄기 또는 열매 부분에 나타난 병징 상태를 촬영한 사진 데이터이거나, 또는 해충의 윗모습 또는 옆모습을 촬영한 사진 데이터일 수 있다. 본 발명의 실시예들에서는 상기 영상 데이터를 딥 러닝 방법을 통하여 분석하고, 상기 분석 결과를 통해 영상 데이터가 어떠한 병해충과 관련되는지의 여부를 판별하도록 구성된다. 구체적으로, 본 발명의 실시예들에서는 지도학습(supervised learning)을 이용하여 다양한 병해 및 충해와 관련된 사진 이미지들을 학습하고, 이를 바탕으로 병해충을 진단하게 된다.
도 2는 본 발명의 일 실시예에 따른 작물의 병해충 진단을 위한 학습 과정(200)을 설명하기 위한 흐름도이다. 도 2에 도시된 방법은 예를 들어, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 202에서, 컴퓨팅 장치(12)는 병해충 분류 학습 대상 이미지를 입력받는다. 전술한 바와 같이, 상기 병해충 분류 대상 이미지는 병해를 입은 작물의 잎, 줄기 또는 열매 부분에 나타난 병징 상태를 촬영한 사진 데이터, 또는 해충의 윗모습 또는 옆모습을 촬영한 사진 데이터일 수 있다.
단계 204에서, 컴퓨팅 장치(12)는 입력된 이미지에 대한 전처리 작업을 수행한다. 먼저, 컴퓨팅 장치(12)는 입력된 이미지의 크기를 기 설정된 크기로 리사이징할 수 있다. 예를 들어, 컴퓨팅 장치(12)는 입력된 이미지의 크기를 128x128 픽셀 사이즈로 리사이징하도록 구성될 수 있다. 다만, 이는 예시적인 것으로서, 리사이징되는 이미지의 크기는 분류하고자 하는 원본 이미지의 특성, 컴퓨팅 장치(12)의 처리 성능, 또는 분류하고자 하는 병충해의 개수 등의 다양한 요소를 고려하여 적절하게 정해질 수 있다.
이후, 컴퓨팅 장치(12)는 리사이징된 이미지에 호모모픽(homomorphic) 필터 등의 전처리 필터를 적용하여 원본 이미지에서 태양광의 영향력 정도를 감소시킨다.
단계 206에서, 컴퓨팅 장치(12)는 전처리된 이미지를 라벨링한다. 전술한 바와 같이 본 발명의 실시예에 따른 작물의 병해충 진단 방법은 지도학습(supervised learning) 기반으로 구성되는 바, 이미지의 학습을 위해서는 먼저 라벨링 과정을 통해 해당 이미지에 대한 정답을 입력하여야 한다.
일 실시예에서, 상기 라벨은 0 또는 1부터 시작하는 양의 정수로 구성될 수 있으며, 각각의 라벨은 각각 학습하고자 하는 병충해의 종류와 연관될 수 있다. 또한, 본 발명의 실시예들에서, 컴퓨팅 장치(12)는 동일한 병해 또는 충해일 경우에도 작물의 서로 다른 부위를 촬영하였거나, 또는 다른 각도에서 촬영된 것일 경우 서로 다른 라벨을 부여할 수 있다. 예를 들어, 동일한 종류의 병해라고 할지라도 잎, 줄기 및 열매에서 나타나는 양상은 모두 상이하며, 이를 동일한 라벨로 분류할 경우 이미지의 학습이 매우 어렵거나 불가능해지게 된다. 마찬가지로, 해충의 경우에도 위에서 본 해충, 및 옆에서 본 해충의 모습은 그 형태가 매우 달라 동일한 해충으로 판단하기 쉽지 않다. 따라서, 본 발명의 실시예에서는 병해가 발생한 작물의 잎, 줄기, 열매, 해충의 옆모습, 윗모습 등에 각각 서로 다른 라벨을 부여하도록 구성된다. 또한, 동일한 병해 또는 해충에 대응되는 복수 개의 라벨에 대해서는 이를 각각 하나의 병해충 그룹으로 그룹화하여 관리함으로써, 이후 병해충 진단 과정에서 잎, 줄기, 또는 열매를 촬영한 각각의 이미지들을 동일한 병해로 판단할 수 있도록 구성하였다. 마찬가지로, 해충의 경우에도 해충의 윗모습 및 옆모습에 대응되는 라벨을 동일한 해충 그룹으로 그룹화함으로써 해충의 윗모습 및 옆모습을 촬영한 이미지들을 동일한 해충으로 판단할 수 있도록 하였다.
다음으로, 단계 208에서, 컴퓨팅 장치(12)는 라벨링된 이미지에 대한 분석을 수행한다. 일 실시예에서, 컴퓨팅 장치(12)는 합성곱 신경망(convolutional neural network)을 이용하여 상기 라벨링된 이미지에 대한 분석을 수행하도록 구성된다. 상기 합성곱 신경망은 크게 특징 추출 레이어 그룹 및 특징 분류 레이어 그룹으로 구성된다. 구체적으로 특징 추출 레이어 그룹은 입력된 이미지와 기 설정된 필터(또는 마스크) 간의 합성곱 연산을 통해 피처맵(feature map)을 생성하는 합성곱 레이어(convolutional layer) 및 상기 피처맵의 각 픽셀에 기 설정된 크기의 마스크를 적용하고, 상기 마스크 내의 픽셀 값을 이용하여 상기 피처맵에 대한 서브 샘플링(sub sampling)을 수행하는 풀링 레이어(pulling layer)의 쌍이 복수 개 반복되도록 구성된다. 또한 특징 분류 레이어 그룹은 상기 특징 추출 레이어 그룹에서 출력되는 복수 개의 피처맵의 각 픽셀 값으로부터 분류 결과를 계산하는 복수 개의 전결합 레이어(fully-connected layer)를 포함하도록 구성된다. 이하에서는 이와 같이 구성되는 본 발명의 일 실시예에 따른 이미지 분석 과정을 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 이미지 분석 단계(208)를 상세히 설명하기 위한 흐름도이다. 전술한 바와 같이, 본 발명의 일 실시예에 따른 이미지 분석 단계(208)는 특징 추출 레이어 그룹(302) 및 특징 분류 레이어 그룹(304)을 포함하여 구성될 수 있다.
특징 추출 레이어 그룹(302)은 합성곱 레이어(convolutional layer) 및 풀링 레이어(pulling layer)의 쌍이 복수 개 반복되도록 구성된다. 예를 들어, 도 3에 도시된 바와 같이 특징 추출 레이어 그룹(302)은 합성곱 레이어 및 풀링 레이어의 쌍이 4번 반복되도록, 다시 말해 제1 합성곱 레이어(306), 제1 풀링 레이어(308), 제2 합성곱 레이어(310), 제2 풀링 레이어(312), 제3 합성곱 레이어(314), 제3 풀링 레이어(316), 제4 합성곱 레이어(318), 제4 풀링 레이어(320)를 포함하도록 구성될 수 있다. 다만 도시된 실시예는 단지 예시적인 것으로서, 합성곱 레이어 및 풀링 레이어의 반복 횟수는 특징 추출 레이어 그룹(302)으로 입력되는 이미지의 크기, 연산에 적용되는 마스크의 사이즈, 또는 출력되는 피처맵의 크기 등에 따라 달라질 수 있다. 즉, 본 발명의 권리범위는 특정 반복 횟수에 한정되는 것은 아님을 유의한다.
합성곱 레이어는 입력 영상의 화소 값을 3x3, 5x5 등의 사이즈를 가지는 같은 필터를 곱하여 새로운 화소 값을 출력하는 과정을 영상 전체에 대해 반복적으로 수행하는 레이어(layer)이다.
도 4는 본 발명의 일 실시예에 따른 합성곱 레이어의 연산 과정을 설명하기 위한 예시도이다. 도시된 실시예에서, 예를 들어 입력 영상(402)의 (1, 1) 위치에 있는 화소(404)에 대한 합성곱 연산을 도시된 필터(406)를 이용하여 수행한다고 가정하자. 그러면 컴퓨팅 장치(12)는 필터의 사이즈(3x3)를 고려하여, 계산 대상 화소(404)를 중심으로 필터 사이즈에 대응되는 9개의 화소들을 필터의 계수 값과 곱하여 더한 값은 해당 위치의 새로운 값으로 결정된다. 즉, 합성곱 연산의 결과로 도출되는 피처맵(feature map, 408)의 (1, 1) 픽셀의 값은
(0*4)+(0*0)+(0*0)+(0*0)+(1*0)+(1*0)+(0*0)+(1*0)+(2*(-4))=-8
과 같이 계산될 수 있다. 본 발명의 실시예의 경우, 합성곱 레이어에 활성화 함수로 ReLU(Rectified Linear Hidden Unit) 함수를 적용하는 바, 실제 피처맵의 (1, 1) 픽셀의 값은 ReLU(-8) = 0이 된다. 컴퓨팅 장치(12)는 이러한 과정을 모든 화소에 대해서 반복함으로써 합성곱 연산을 수행한다.
한편, 본 발명의 실시예들에서 합성곱 레이어는 합성곱 연산을 위해 제로 패딩(zero-padding)을 적용하도록 구성될 수 있다. 제로 패딩이란 가장자리의 화소의 경우 필터와의 합성곱 연산을 위한 주변 화소가 부재하는 현상을 해결하기 위하여, 가장 자리에 값이 0인 화소가 존재하는 것으로 가정하여 합성곱 연산을 수행하는 것을 의미한다. 이와 같이 제로 패딩을 적용할 경우 입력 이미지와 합성곱 연산을 거쳐 생성되는 피처맵은 그 크기가 동일하게 된다. 이와 같은 합성곱 연산을 수행하여 생성되는 결과물인 피처맵(feature map)은 입력 영상의 주된 특징만을 포함하게 된다. 상기 피처맵은 다음 레이어인 풀링 레이어로 전달된다.
도 5는 본 발명의 일 실시예에 따른 풀링 레이어의 연산 과정을 설명하기 위한 예시도이다. 도시된 바와 같이, 풀링 레이어에서는 합성곱 레이어에서 생성된 피처맵의 각 픽셀에 마스크(mask)를 적용하고, 해당 마스크 내의 값 중 가장 큰 값 또는 평균값을 결과값으로 설정한다. 이는 피처맵의 크기를 줄이면서 여러 자극 중 가장 강한 자극만 선택하여 다음 레이어로 전달하기 위한 것이다. 풀링 레이어의 풀링 방법으로는, 마스크 내 값 중 가장 큰 값을 출력으로 정하는 맥스 풀링(Max pooling) 방법과 해당 값들의 평균값을 출력하는 에버리지 풀링(Average pooling)방법이 있다. 일 실시예에서, 컴퓨팅 장치(12)는 풀링 레이어에 맥스 풀링(Max pooling) 방법을 적용하도록 구성될 수 있다. 이와 같이 맥스 풀링을 적용할 경우 에버리지 풀링에 비해 연산 시간을 단축할 수 있는 효과가 있다.
도 5의 실시예에서, 마스크(mask)의 크기가 2x2이고 맥스 풀링이 적용될 경우, 입력 이미지(502)의 (0, 0), (0, 1), (1, 0), (1, 1) 픽셀의 최대값은 6이므로, 출력 이미지(504)의 (0, 0) 값은 6이 된다. 마찬가지로, 입력 이미지(502)의 (0, 2), (0, 3), (1, 2), (1, 3) 픽셀의 최대값은 8이므로, 출력 이미지(504)의 (0, 1) 값은 8로 설정된다. 나머지 픽셀들에 대해서도 이와 동일한 과정을 거쳐 풀링 연산이 수행된다.
특징 추출 레이어 그룹(302)에서는 상기 이미지에 상기 합성곱 레이어 및 상기 풀링 레이어의 쌍을 복수 회 반복하여 적용함으로써 복수 개의 피처맵을 생성하게 된다. 이때, 각각의 합성곱 레이어 및 풀링 레이어 적용되는 필터 또는 마스크의 개수는 분류 대상 이미지의 특성 등을 고려하여 적절하게 설정될 수 있다. 예를 들어, 제1 합성곱 레이어(306)에서는 7x7x6 필터를, 제2 합성곱 레이어(310)에서는 5x5x16 필터를, 제3 합성곱 레이어(314)에서는 3x3x32 필터를, 제4 합성곱 레이어(318)에서는 3x3x120 필터를 이용하여 합성곱 연산을 수행할 수 있다.
또한, 풀링 레이어의 경우, 특징 추출 레이어 그룹(302)에 포함되는 복수 개의 풀링 레이어 중 제1 단계의 풀링 레이어의 마스크 사이즈는 나머지 풀링 레이어의 마스크 사이즈보다 크도록 설정될 수 있다. 예를 들어, 제1 풀링 레이어(308)에는 4x4 사이즈의 마스크가 적용되고, 제2 풀링 레이어(312), 제3 풀링 레이어(316) 및 제4 풀링 레이어(320)에는 2x2 사이즈의 마스크가 적용될 수 있다. 이와 같이 1단계의 마스크 사이즈를 다른 레이어들보다 크게 설정할 경우, 이미지 분석의 초기 단계에서 연산량을 효과적으로 감소시킬 수 있다.
이와 같이 이미지에 상기 합성곱 레이어 및 상기 풀링 레이어의 쌍을 복수 회 반복하여 적용하는 과정을 거치게 되면, 피처맵의 크기는 감소됨과 동시에 전체를 대표할 수 있는 강한 특징인 포괄적인 특징만 남게 된다. 구체적으로, 이미지가 특징 추출 레이어 그룹(302)의 복수 개의 레이어를 거치게 되면, 특징 분류 레이어 그룹(304) 내의 전결합 레이어에 입력 가능한 크기를 가지는 복수 개의 피처맵이 생성된다. 예를 들어, 특징 추출 레이어 그룹(302)은 상기 복수 개의 레이어를 통하여 4x4 이하의 픽셀 크기(예를 들어, 4x4 또는 1x1 등)를 갖는 복수 개의 피처맵을 생성하도록 구성될 수 있다.
다음으로, 특징 분류 레이어 그룹(304)은 특징 추출 레이어 그룹(302)에서 출력되는 복수 개의 피처맵의 각 픽셀 값으로부터 입력 이미지에 대한 분류 결과를 계산하는 복수 개의 전결합 레이어(fully-connected layer)를 포함한다. 구체적으로, 특징 분류 레이어 그룹(304)은 특징 추출 레이어 그룹(302)에서 출력되는 복수 개의 피처맵의 각 픽셀 값을 입력으로 하는 제1 전결합 레이어(322), 상기 제1 전결합 레이어와 연결되며, 제1 전결합 레이어(322)와 동일한 노드 수를 가지는 제2 전결합 레이어(324) 및 상기 제2 전결합 레이어와 연결되는 출력 레이어(326)를 포함한다.
본 발명의 실시예들에서, 전결합 레이어(Fully-connected layer)는 이전 단계의 모든 노드와 다음 레이어의 모든 노드를 서로 전결합한 상태로 이미지의 분류를 수행하기 위한 노드를 의미한다. 도 6은 본 발명의 일 실시예에 따른 전결합 레이어를 설명하기 위한 예시도이다. 도시된 실시예에서는 좌측에 3개의 노드와 우측에 2개의 노드가 있을 경우, 각 노드들이 전결합된 상태를 나타낸 것이다. 이때 w11, w12, w13, w21, w22, w23은 연결된 노드 사이의 가중치이다. 학습 과정에서는 이미지의 학습 결과와 정답을 비교하는 과정을 통해 각 노드 사이의 가중치 및 각 노드 별 바이어스를 조정하게 되며, 이는 이하에서 상세히 설명한다. 도 6과 같은 전결합 레이어에서 출력 노드 y1 및 y2의 값은 다음의 수학식 1과 같이 결정된다.
[수학식 1]
Figure pat00001
제1 전결합 레이어(322)는 제4 풀링 레이어(320)에서 출력되는 피처맵의 각 픽셀 값을 입력 노드로 가지며, 상기 수학식 1과 같은 방식으로 입력값에 가중치를 적용하여 제2 전결합 레이어(324)로 전달한다. 제2 전결합 레이어(322)는 제1 전결합 레이어(322)와 동일한 개수의 노드를 가지나, 제1 전결합 레이어(322)와는 달리 기 설정된 드롭아웃(drop out) 파라미터가 적용된다. 즉, 본 발명의 실시예에서는 2단계의 전결합 레이어를 포함하되, 드롭아웃은 후단의 전결합 레이어에만 적용된다. 드롭아웃이란 일부 노드를 무작위로 생략하여 학습을 수행함으로써 학습 과정에서 발생할 수 있는 과적합(overfitting)을 막기 위한 학습 방법을 의미한다. 본 발명의 실시예들에서는 2단계의 전결합 레이어에 드롭아웃을 적용함으로써 상술한 과적합 문제를 해결함과 동시에, 1단계의 전결합 레이어에서는 드롭아웃을 적용하지 않고 모든 노드의 가중치를 연산에 포함시킴으로써 드롭아웃에 의하여 학습의 정확도가 낮아지는 것을 방지하도록 구성된다. 상기 드롭아웃 파라미터는 분류하고자 하는 이미지의 특성 등을 고려하여 적절하게 설정될 수 있으며, 예컨대 0.3 내지 0.7 사이의 드롭아웃 파라미터가 설정될 수 있다.
제2 전결합 레이어(324)의 후단에는 출력 레이어(326, output layer)가 위치한다. 본 발명의 실시예에서 출력 레이어(326)의 각 노드(클래스)는 단계 206에서 설정된 라벨과 대응되도록 구성된다. 또한, 출력 레이어의 활성화 함수로는 하이퍼볼릭 탄젠트(tanh) 함수가 적용된다.
하이퍼볼릭 탄젠트 함수는 -1에서 1의 범위를 가지며, 입력 영상이 해당 클래스일 확률이 높을수록 1에 가까워지고, 그 반대일 경우 -1에 가까워진다. Softmax 함수 등의 일반적인 분류 함수의 경우 각각의 클래스 중 확률이 가장 높게 나온 클래스를 결과값으로 설정한다. 그러나 이러한 분류 함수의 경우 각 클래스 별 확률값의 순위만을 고려할 뿐, 각 클래스 별 절대적인 확률값을 고려하지 않는다. 따라서 만약 전체 클래스에 대하여 낮은 확률값이 도출되는 경우에도 일률적으로 그 중 가장 높은 값을 가지는 클래스를 결과값으로 반환하게 된다. 또한, 병해충의 경우 그 종류가 다르더라도 질감, 색정보 등 공통된 특징이 있으나, 그러나 병해충이 아닌 경우 그 범위는 포괄적이기 때문에 공통된 특징이 없다. 따라서 병해충 여부를 판단할 시 Softmax를 분류 함수로 사용할 경우 오검출의 확률이 높아진다. Softmax는 검출 대상이 비병해충인 경우를 가장 확률이 높은 클래스로 판단하기 때문이다.
이와 같은 문제를 개선하기 위하여, 본 발명의 실시예에서는 출력 레이어에서의 활성화 함수로서 하이퍼볼릭 탄젠트 함수를 적용하도록 구성된다. 이 경우, 컴퓨팅 장치(12)는 소프트맥스 함수 등과 마찬가지로 출력 레이어의 각 클래스 중 가장 높은 하이퍼볼릭 탄젠트 값을 가지는 클래스에 대응하는 병해충을 해당 이미지와 매칭되는 병해충으로 판단할 수 있다. 또한, 컴퓨팅 장치(12)는 모든 클래스의 하이퍼볼릭 탄젠트 값이 일정 수준 이하인 경우 해당 이미지는 병해충과 관련된 것이 아닌 것으로 판단할 수 있다. 이는 확률이 낮아도 가장 높은 경우를 무조건 반환하는 softmax와 가장 큰 차이점이다.
다시, 도 2로 돌아가서, 컴퓨팅 장치(12)는 상술한 바와 같이 라벨링된 이미지에 대한 분석을 수행함으로써 입력된 학습 이미지에 대한 분류 결과를 도출할 수 있다. 이후 단계 210에서, 컴퓨팅 장치(12)는 206 단계에서 부여된 라벨(정답)과 208 단계에서 계산된 분류 결과를 서로 비교하여 분석 파라미터를 조정한다. 구체적으로, 컴퓨팅 장치(12)는 학습 이미지에 대한 기대 출력(정답)과 실제 출력(분류 결과)에 대한 비용함수(cost function)가 최소값을 가지도록 특징 분류 레이어 그룹(304)의 각 노드 별 가중치(weight)와 바이어스(bias)를 조정하는 과정을 반복하게 된다. 전술한 바와 같이 비용함수란 입력을 넣었을 때 기대 출력과 실제 출력의 차이를 구하는 것이며 이 차이가 점점 작아질수록 학습이 잘 된다고 볼 수 있다. 일 실시예에서, 컴퓨팅 장치(120)는 출력에서 생긴 오차신호를 반대 방향인 입력 쪽으로 전파시키면서 가중치와 바이어스를 갱신해 나가는 방법인 역전파(backpropagation)를 통해 훈련 데이터에 최적화된 파라미터를 얻을 수 있다.
도 7은 본 발명의 일 실시예에 따른 작물의 병해충 진단 과정(700)을 설명하기 위한 흐름도이다. 작물의 병해충 진단 과정(700)에서는 전술한 학습 과정을 거친 컴퓨팅 장치(12)를 이용하여 작물의 이미지로부터 병해충의 종류를 진단하게 된다. 도 7에 도시된 방법은 예를 들어, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 702에서, 컴퓨팅 장치(12)는 병해충 진단 대상 이미지를 입력받는다. 상기 병해충 진단 대상 이미지는 병해를 입은 작물의 잎, 줄기 또는 열매 부분에 나타난 병징 상태를 촬영한 사진 데이터, 또는 해충의 윗모습 또는 옆모습을 촬영한 사진 데이터일 수 있다.
단계 704에서, 컴퓨팅 장치(12)는 입력된 이미지에 대한 전처리 작업을 수행한다. 먼저, 컴퓨팅 장치(12)는 입력된 이미지의 크기를 기 설정된 크기로 리사이징할 수 있다. 예를 들어, 컴퓨팅 장치(12)는 입력된 이미지의 크기를 128x128 픽셀 사이즈로 리사이징하도록 구성될 수 있다. 다만, 이는 예시적인 것으로서, 리사이징되는 이미지의 크기는 분류하고자 하는 원본 이미지의 특성, 컴퓨팅 장치(12)의 처리 성능, 또는 분류하고자 하는 병충해의 개수 등의 다양한 요소를 고려하여 적절하게 정해질 수 있다.
이후, 컴퓨팅 장치(12)는 리사이징된 이미지에 호모모픽(homomorphic) 필터 등의 전처리 필터를 적용하여 원본 이미지에서 태양광의 영향력 정도를 감소시킨다.
단계 706에서, 컴퓨팅 장치(12)는 합성곱 신경망(convolutional neural network)을 이용하여 입력된 상기 이미지에 대한 1차 분류 결과를 산출한다. 구체적으로, 단계 706에서 컴퓨팅 장치(12)는 전술한 208 단계와 이미지 분석 과정과 동일한 과정을 거쳐 입력 이미지에 대한 1차 분류 결과를 산출하도록 구성된다. 상기 이미지 분석 과정에 대해서는 앞서 상세히 설명하였는 바, 여기서는 반복되는 설명을 생략하기로 한다.
단계 708에서, 컴퓨팅 장치(12)는 상기 706 단계의 1차 분류 결과로부터 2차 분류 결과를 산출한다. 앞서 설명한 바와 같이, 본 발명의 실시예에서는 병해가 발생한 작물의 잎, 줄기, 열매, 해충의 옆모습, 윗모습 등에 각각 다른 라벨을 부여하며, 동일한 병해 또는 해충에 대응되는 복수 개의 라벨에 대해서는 이를 각각 하나의 병해충 그룹으로 그룹화하여 관리하도록 구성된다. 이에 따라 상기 1차 분류 결과는 동일한 병해충이라고 할지라도 해당 이미지가 잎을 촬영한 것인지, 또는 열매를 촬영한 것인지 등에 따라 다른 분류 결과가 발생한다. 따라서 본 단계에서는 상기 1차 분류 결과를 포함하는 병해충 그룹 정보가 존재하는 경우, 해당 병해충 그룹 정보에 대응되는 병해충 분류값을 상기 2차 분류 결과로 설정하도록 구성하게 된다.
도 8은 본 발명의 일 실시예에 따른 작물의 병해충 진단 장치(800)를 설명하기 위한 블록도이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 작물의 병해충 진단 장치(800)는 입력부(802), 제1 계산부(804) 및 제2 계산부(806)를 포함한다.
입력부(802)는 병해충 분류 대상 이미지를 입력받는다.
제1 계산부(804)는 합성곱 신경망(convolutional neural network)을 이용하여 입력된 상기 이미지에 대한 1차 분류 결과를 산출한다. 전술한 바와 같이, 상기 합성곱 신경망은 특징 추출 레이어 그룹 및 특징 분류 레이어 그룹을 포함할 수 있다. 이때 상기 특징 추출 레이어 그룹은 상기 이미지와 기 설정된 필터 간의 합성곱 연산을 통해 피처맵(feature map)을 생성하는 합성곱 레이어(convolutional layer) 및 상기 피처맵의 각 픽셀에 기 설정된 크기의 마스크를 적용하고, 상기 마스크 내의 픽셀 값을 이용하여 상기 피처맵에 대한 서브 샘플링(sub sampling)을 수행하는 풀링 레이어(pulling layer)의 쌍이 복수 개 반복되도록 구성될 수 있다. 또한 상기 특징 분류 레이어 그룹은, 상기 특징 추출 레이어 그룹에서 출력되는 복수 개의 피처맵의 각 픽셀 값으로부터 상기 1차 분류 결과를 계산하는 복수 개의 전결합 레이어(fully-connected layer)를 포함할 수 있다. 상기 합성곱 신경망 및 이를 이용한 이미지의 1차 분류 과정에 대해서는 앞서 설명하였다.
제2 계산부(806)는 상기 1차 분류 결과 및 기 설정된 병해충 그룹 정보를 이용하여 상기 이미지에 대한 2차 분류 결과를 산출한다. 구체적으로, 제2 계산부(806)는 상기 1차 분류 결과를 포함하는 병해충 그룹 정보가 존재하는 경우, 해당 병해충 그룹 정보에 대응되는 병해충 분류값을 상기 2차 분류 결과로 설정할 수 있다.
한편, 본 발명의 일 실시예에 따른 작물의 병해충 진단 장치(800)는 입력부(802)를 통하여 입력된 이미지를 전처리하는 전처리부(미도시)를 더 포함할 수 있다. 상기 전처리부는 상기 입력된 이미지를 기 설정된 크기로 리사이징하고, 리사이징된 이미지에 호모모픽 필터를 적용하도록 구성될 수 있다.
일 실시예에서, 작물의 병해충 진단 장치(800)는 하나 이상의 프로세서 및 그 프로세서와 연결된 컴퓨터 판독 가능 기록 매체를 포함하는 컴퓨팅 장치 상에서 구현될 수 있다. 컴퓨터 판독 가능 기록 매체는 프로세서의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 컴퓨팅 장치 내의 프로세서는 각 컴퓨팅 장치로 하여금 본 명세서에서 기술되는 예시적인 실시예에 따라 동작하도록 할 수 있다. 예를 들어, 프로세서는 컴퓨터 판독 가능 기록 매체에 저장된 명령어를 실행할 수 있고, 컴퓨터 판독 가능 기록 매체에 저장된 명령어는 프로세서에 의해 실행되는 경우 컴퓨팅 장치로 하여금 본 명세서에 기술되는 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
도 9는 본 발명의 일 실시예에 따른 작물의 병해충 진단 시스템(900)을 설명하기 위한 블록도이다. 본 발명의 일 실시예에 따른 작물의 병해충 진단 시스템(900)은 클라이언트로부터 원격으로 수신한 작물의 병해충 관련 이미지를 분석하여 병해충의 종류를 판별하고, 판별 정보를 클라이언트로 제공하기 위한 시스템이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 작물의 병해충 진단 시스템(900)은 클라이언트(902) 및 병해충 진단 서버(904)를 포함하며, 클라이언트(902) 및 병해충 진단 서버(904)는 네트워크(906)를 통해 서로 정보를 송수신하도록 구성될 수 있다. 몇몇 실시예들에서, 네트워크(906)는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.
클라이언트(902)는 병해충 진단에 필요한 이미지를 병해충 진단 서버(904)로 송신하고, 병해충 진단 서버(904)로부터 상기 이미지에 대응되는 진단 결과를 수신한다. 이를 위하여, 클라이언트(902)는 이미지를 촬영하기 위한 이미지 촬영 수단 및 상기 진단 결과를 디스플레이하기 위한 출력 수단을 구비할 수 있다. 구체적으로, 클라이언트(902)는 병해 피해를 입은 작물의 잎, 줄기, 또는 열매 부분을 촬영하거나, 또는 해충의 윗모습 또는 옆모습을 촬영하고, 촬영된 영상에서 병해충 진단에 불필요한 배경 영역 등을 잘라낸 뒤(crop) 병해충 진단 서버(904)로 송신할 수 있다.
병해충 진단 서버(904)는 클라이언트(902)로부터 상기 이미지를 수신하고, 이로부터 병해충의 종류를 진단한 뒤 진단 결과를 클라이언트(902)로 송신한다. 병해충의 종류를 진단 과정에 대해서는 앞서 상세히 설명하였는 바, 여기서는 반복되는 설명을 생략하기로 한다. 상기 진단 결과를 수신한 클라이언트(902)는 이를 화면상에 디스플레이하여 사용자가 이미지에 대응되는 병해충의 종류를 인식할 수 있도록 한다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
302: 특징 추출 레이어 그룹
304: 특징 분류 레이어 그룹
306: 제1 합성곱 레이어
308: 제1 풀링 레이어
310: 제2 합성곱 레이어
312: 제2 풀링 레이어
314: 제3 합성곱 레이어
316: 제3 풀링 레이어
318: 제4 합성곱 레이어
320: 제4 풀링 레이어
322: 제1 전결합 레이어
324: 제2 전결합 레이어
326: 출력 레이어
800: 작물의 병해충 진단 장치
802: 입력부
804: 제1 계산부
806: 제2 계산부
900: 작물의 병해충 진단 시스템
902: 클라이언트
904: 병해충 진단 서버
906: 네트워크

Claims (22)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    병해충 분류 대상 이미지를 입력받는 단계;
    합성곱 신경망(convolutional neural network)을 이용하여 입력된 상기 이미지에 대한 1차 분류 결과를 산출하는 단계; 및
    상기 1차 분류 결과 및 기 설정된 병해충 그룹 정보를 이용하여 상기 이미지에 대한 2차 분류 결과를 산출하는 단계를 포함하며,
    상기 합성곱 신경망은,
    상기 이미지와 기 설정된 필터 간의 합성곱 연산을 통해 피처맵(feature map)을 생성하는 합성곱 레이어(convolutional layer) 및 상기 피처맵의 각 픽셀에 기 설정된 크기의 마스크를 적용하고, 상기 마스크 내의 픽셀 값을 이용하여 상기 피처맵에 대한 서브 샘플링(sub sampling)을 수행하는 풀링 레이어(pulling layer)의 쌍이 복수 개 반복되도록 구성되는 특징 추출 레이어 그룹; 및
    상기 특징 추출 레이어 그룹에서 출력되는 복수 개의 피처맵의 각 픽셀 값으로부터 상기 1차 분류 결과를 계산하는 복수 개의 전결합 레이어(fully-connected layer)를 포함하는 특징 분류 레이어 그룹을 포함하여 구성되는, 방법.
  2. 청구항 1에 있어서,
    상기 1차 분류 결과를 산출하는 단계의 수행 전, 상기 입력된 이미지를 전처리하는 단계를 더 포함하는, 방법.
  3. 청구항 2에 있어서,
    상기 전처리하는 단계는,
    상기 입력된 이미지를 기 설정된 크기로 리사이징하는 단계; 및
    리사이징된 이미지에 호모모픽 필터를 적용하는 단계를 포함하여 구성되는, 방법.
  4. 청구항 1에 있어서,
    상기 합성곱 레이어는, ReLU(Rectified Linear Hidden Unit) 함수를 이용하여 상기 합성곱 연산을 수행하는, 방법.
  5. 청구항 1에 있어서,
    상기 풀링 레이어는, 상기 마스크 내의 픽셀 중 최대값을 출력하는 맥스 풀링 레이어(max pooling layer)인, 방법.
  6. 청구항 1에 있어서,
    상기 특징 추출 레이어 그룹은,
    상기 이미지에 상기 합성곱 레이어 및 상기 풀링 레이어의 쌍을 복수 회 반복하여 적용함으로써, 상기 전결합 레이어에 입력 가능한 픽셀 크기를 가지는 복수 개의 피처맵을 생성하도록 구성되는, 방법.
  7. 청구항 6에 있어서,
    상기 특징 추출 레이어 그룹에 포함되는 복수 개의 풀링 레이어 중 제1 단계의 풀링 레이어의 마스크 사이즈는 나머지 풀링 레이어의 마스크 사이즈보다 크도록 설정되는, 방법.
  8. 청구항 1에 있어서,
    상기 특징 분류 레이어 그룹은,
    상기 특징 추출 레이어 그룹에서 출력되는 복수 개의 피처맵의 각 픽셀 값을 입력으로 하는 제1 전결합 레이어;
    상기 제1 전결합 레이어와 연결되는 제2 전결합 레이어; 및
    상기 제2 전결합 레이어와 연결되는 출력 레이어를 포함하는, 방법.
  9. 청구항 8에 있어서,
    상기 특징 분류 레이어 그룹 중 상기 제2 전결합 레이어에만 기 설정된 드롭아웃 파라미터를 적용하도록 구성되는, 방법.
  10. 청구항 8에 있어서,
    상기 출력 레이어는 하이퍼볼릭 탄젠트 활성화 함수를 이용하여 상기 출력 레이어의 각 노드 별 출력값을 계산하도록 구성되는, 방법.
  11. 청구항 1에 있어서,
    상기 2차 분류 결과를 산출하는 단계는, 상기 1차 분류 결과를 포함하는 병해충 그룹 정보가 존재하는 경우, 해당 병해충 그룹 정보에 대응되는 병해충 분류값을 상기 2차 분류 결과로 설정하도록 구성되는, 방법.
  12. 병해충 분류 대상 이미지를 입력받는 입력부;
    합성곱 신경망(convolutional neural network)을 이용하여 입력된 상기 이미지에 대한 1차 분류 결과를 산출하는 제1 계산부; 및
    상기 1차 분류 결과 및 기 설정된 병해충 그룹 정보를 이용하여 상기 이미지에 대한 2차 분류 결과를 산출하는 제2 계산부를 포함하며,
    상기 합성곱 신경망은,
    상기 이미지와 기 설정된 필터 간의 합성곱 연산을 통해 피처맵(feature map)을 생성하는 합성곱 레이어(convolutional layer) 및 상기 피처맵의 각 픽셀에 기 설정된 크기의 마스크를 적용하고, 상기 마스크 내의 픽셀 값을 이용하여 상기 피처맵에 대한 서브 샘플링(sub sampling)을 수행하는 풀링 레이어(pulling layer)의 쌍이 복수 개 반복되도록 구성되는 특징 추출 레이어 그룹; 및
    상기 특징 추출 레이어 그룹에서 출력되는 복수 개의 피처맵의 각 픽셀 값으로부터 상기 1차 분류 결과를 계산하는 복수 개의 전결합 레이어(fully-connected layer)를 포함하는 특징 분류 레이어 그룹을 포함하여 구성되는, 작물의 병해충 진단 장치.
  13. 청구항 12에 있어서,
    상기 입력부를 통하여 입력된 이미지를 전처리하는 전처리부를 더 포함하는, 작물의 병해충 진단 장치.
  14. 청구항 13에 있어서,
    상기 전처리부는,
    상기 입력된 이미지를 기 설정된 크기로 리사이징하고, 리사이징된 이미지에 호모모픽 필터를 적용하는, 작물의 병해충 진단 장치.
  15. 청구항 12에 있어서,
    상기 합성곱 레이어는, ReLU(Rectified Linear Hidden Unit) 함수를 이용하여 상기 합성곱 연산을 수행하는, 작물의 병해충 진단 장치.
  16. 청구항 12에 있어서,
    상기 풀링 레이어는, 상기 마스크 내의 픽셀 중 최대값을 출력하는 맥스 풀링 레이어(max pooling layer)인, 작물의 병해충 진단 장치.
  17. 청구항 12에 있어서,
    상기 특징 추출 레이어 그룹은,
    상기 이미지에 상기 합성곱 레이어 및 상기 풀링 레이어의 쌍을 복수 회 반복하여 적용함으로써, 상기 전결합 레이어에 입력 가능한 크기를 가지는 복수 개의 피처맵을 생성하도록 구성되는, 작물의 병해충 진단 장치.
  18. 청구항 17에 있어서,
    상기 특징 추출 레이어 그룹에 포함되는 복수 개의 풀링 레이어 중 제1 차 풀링 레이어의 마스크 사이즈는 나머지 풀링 레이어의 마스크 사이즈보다 크도록 설정되는, 작물의 병해충 진단 장치.
  19. 청구항 12에 있어서,
    상기 특징 분류 레이어 그룹은,
    상기 특징 추출 레이어 그룹에서 출력되는 복수 개의 피처맵의 각 픽셀 값을 입력으로 하는 제1 전결합 레이어;
    상기 제1 전결합 레이어와 연결되는 제2 전결합 레이어; 및
    상기 제2 전결합 레이어와 연결되는 출력 레이어를 포함하는, 작물의 병해충 진단 장치.
  20. 청구항 19에 있어서,
    상기 특징 분류 레이어 그룹 중 상기 제2 전결합 레이어에만 기 설정된 드롭아웃 파라미터를 적용하도록 구성되는, 작물의 병해충 진단 장치.
  21. 청구항 19에 있어서,
    상기 출력 레이어는 하이퍼볼릭 탄젠트 활성화 함수를 이용하여 상기 출력 레이어의 각 노드 별 출력값을 계산하도록 구성되는, 작물의 병해충 진단 장치.
  22. 청구항 12에 있어서,
    상기 제2 계산부는, 상기 1차 분류 결과를 포함하는 병해충 그룹 정보가 존재하는 경우, 해당 병해충 그룹 정보에 대응되는 병해충 분류값을 상기 2차 분류 결과로 설정하는, 작물의 병해충 진단 장치.
KR1020160156674A 2016-11-23 2016-11-23 작물의 병해충 진단 장치 및 방법 KR101876397B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160156674A KR101876397B1 (ko) 2016-11-23 2016-11-23 작물의 병해충 진단 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160156674A KR101876397B1 (ko) 2016-11-23 2016-11-23 작물의 병해충 진단 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180058049A true KR20180058049A (ko) 2018-05-31
KR101876397B1 KR101876397B1 (ko) 2018-07-09

Family

ID=62454442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160156674A KR101876397B1 (ko) 2016-11-23 2016-11-23 작물의 병해충 진단 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101876397B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165623A (zh) * 2018-09-07 2019-01-08 北京麦飞科技有限公司 基于深度学习的水稻病斑检测方法及系统
CN110659659A (zh) * 2018-07-19 2020-01-07 清华珠三角研究院 一种智能识别和预警害虫的方法及系统
KR20200052411A (ko) * 2018-10-24 2020-05-15 삼성에스디에스 주식회사 영상 분류 장치 및 방법
CN111898680A (zh) * 2020-07-31 2020-11-06 陈艳 一种基于检材多视角形态图像和深度学习的生物鉴别方法
CN111986149A (zh) * 2020-07-16 2020-11-24 江西斯源科技有限公司 一种基于卷积神经网络的植物病虫害检测方法
CN112461828A (zh) * 2019-09-09 2021-03-09 云南天质弘耕科技有限公司 一种基于卷积神经网络的病虫害智能测报预警系统
KR20210047230A (ko) * 2019-10-21 2021-04-29 배재대학교 산학협력단 생성적 적대 신경망을 이용한 과수 병충해 분류 시스템 및 방법
KR20210080055A (ko) * 2019-12-20 2021-06-30 순천대학교 산학협력단 버섯 병해충 검출 시스템
KR20210086754A (ko) * 2019-12-30 2021-07-09 전북대학교산학협력단 딥러닝 기반 병충해 진단 방법
CN113141940A (zh) * 2021-06-01 2021-07-23 中国农业科学院蔬菜花卉研究所 一种用于日光温室果菜栽培的智能水分精准灌溉控制系统及方法
KR102297913B1 (ko) * 2021-01-25 2021-09-06 (주)스마트링스 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템 및 그 방법
CN115291541A (zh) * 2022-01-18 2022-11-04 聊城市农业技术推广服务中心(聊城市绿色农业发展服务中心) 一种农作物病虫害监测系统与方法
KR20220147756A (ko) * 2021-04-27 2022-11-04 (주)에프에이솔루션 영상을 분석하는 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220071586A (ko) 2020-11-24 2022-05-31 손정혁 빅 데이터 기반의 온라인을 이용한 농작물의 병충해 확인방법
KR102543893B1 (ko) 2020-11-24 2023-06-20 손정혁 모바일기기를 이용한 농작물의 단계별 장애요인 확인시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6539901B2 (ja) * 2015-03-09 2019-07-10 学校法人法政大学 植物病診断システム、植物病診断方法、及びプログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659659A (zh) * 2018-07-19 2020-01-07 清华珠三角研究院 一种智能识别和预警害虫的方法及系统
CN109165623A (zh) * 2018-09-07 2019-01-08 北京麦飞科技有限公司 基于深度学习的水稻病斑检测方法及系统
CN109165623B (zh) * 2018-09-07 2020-08-04 北京麦飞科技有限公司 基于深度学习的水稻病斑检测方法及系统
KR20200052411A (ko) * 2018-10-24 2020-05-15 삼성에스디에스 주식회사 영상 분류 장치 및 방법
CN112461828A (zh) * 2019-09-09 2021-03-09 云南天质弘耕科技有限公司 一种基于卷积神经网络的病虫害智能测报预警系统
KR20210047230A (ko) * 2019-10-21 2021-04-29 배재대학교 산학협력단 생성적 적대 신경망을 이용한 과수 병충해 분류 시스템 및 방법
KR20210080055A (ko) * 2019-12-20 2021-06-30 순천대학교 산학협력단 버섯 병해충 검출 시스템
KR20210086754A (ko) * 2019-12-30 2021-07-09 전북대학교산학협력단 딥러닝 기반 병충해 진단 방법
CN111986149A (zh) * 2020-07-16 2020-11-24 江西斯源科技有限公司 一种基于卷积神经网络的植物病虫害检测方法
CN111898680A (zh) * 2020-07-31 2020-11-06 陈艳 一种基于检材多视角形态图像和深度学习的生物鉴别方法
KR102297913B1 (ko) * 2021-01-25 2021-09-06 (주)스마트링스 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템 및 그 방법
KR20220147756A (ko) * 2021-04-27 2022-11-04 (주)에프에이솔루션 영상을 분석하는 방법
CN113141940A (zh) * 2021-06-01 2021-07-23 中国农业科学院蔬菜花卉研究所 一种用于日光温室果菜栽培的智能水分精准灌溉控制系统及方法
CN115291541A (zh) * 2022-01-18 2022-11-04 聊城市农业技术推广服务中心(聊城市绿色农业发展服务中心) 一种农作物病虫害监测系统与方法

Also Published As

Publication number Publication date
KR101876397B1 (ko) 2018-07-09

Similar Documents

Publication Publication Date Title
KR101876397B1 (ko) 작물의 병해충 진단 장치 및 방법
CN109300121B (zh) 一种心血管疾病诊断模型的构建方法、系统及该诊断装置
CN109858461B (zh) 一种密集人群计数的方法、装置、设备以及存储介质
Sevastopolsky Optic disc and cup segmentation methods for glaucoma detection with modification of U-Net convolutional neural network
Wu et al. Cascaded fully convolutional networks for automatic prenatal ultrasound image segmentation
US9779492B1 (en) Retinal image quality assessment, error identification and automatic quality correction
CN109345538A (zh) 一种基于卷积神经网络的视网膜血管分割方法
CN109345456B (zh) 生成对抗网络训练方法、图像处理方法、设备及存储介质
CN114766041A (zh) 用于确定作物损害的系统和方法
CN109919915A (zh) 基于深度学习的视网膜眼底图像异常区域检测方法及设备
US11830187B2 (en) Automatic condition diagnosis using a segmentation-guided framework
CN110879982A (zh) 一种人群计数系统及方法
JP7305046B2 (ja) 画像分類方法及び装置並びに機器
CN111985374A (zh) 人脸定位方法、装置、电子设备及存储介质
CN109344851A (zh) 图像分类显示方法和装置、分析仪器和存储介质
CN112330684A (zh) 对象分割方法、装置、计算机设备及存储介质
Wang et al. An efficient attention module for instance segmentation network in pest monitoring
Mahbub et al. Detect bangladeshi mango leaf diseases using lightweight convolutional neural network
CN115131503A (zh) 一种虹膜三维识别的健康监测方法及其系统
KR102301013B1 (ko) 딥러닝 기반 병충해 진단 방법
Hossain et al. A convolutional neural network approach to recognize the insect: A perspective in Bangladesh
Vieira et al. A method for the detection and reconstruction of foliar damage caused by predatory insects
CN116385717A (zh) 叶面病害识别方法、装置、电子设备、存储介质及产品
US20220384035A1 (en) Automatic condition diagnosis using an attention-guided framework
Atique et al. Identification of plant species through leaf vein morphometric and deep learning

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant