KR102393265B1

KR102393265B1 - 버섯 병해충 검출 시스템

Info

Publication number: KR102393265B1
Application number: KR1020190172431A
Authority: KR
Inventors: 심춘보; 정세훈; 조경호; 박준; 김준영
Original assignee: 순천대학교 산학협력단
Priority date: 2019-12-20
Filing date: 2019-12-20
Publication date: 2022-05-02
Also published as: KR20210080055A

Abstract

개시된 본 발명에 따른 버섯 병해충 검출 시스템은, CNN(Convolutional Neural Networks) 알고리즘 기반으로 버섯 이미지에서 병해충을 검출하는 시스템에 관한 것으로서, 버섯 재배지에서 버섯을 촬영하는 영상 촬영 장치; 상기 영상 촬영 장치에서 획득한 버섯 이미지와 다른 경로로 획득한 버섯 이미지 데이터가 저장되는 빅 데이터 서버(Big Data Server); 및 상기 영상 촬영 장치에서 획득된 버섯 이미지 파일을 전송받아, 상기 빅 데이터 서버의 버섯 이미지 데이터를 학습 데이터로 이용하여 학습이 완료된 CNN 알고리즘 기반으로 분석하여 병해충 여부를 검출하여 사용자 단말기로 분석 결과를 보내는 분석 서버(Analysis Server);를 포함한다. 분석 서버는 상기 입력된 버섯 이미지 데이터를 전처리하는 전처리 모듈과, ResNET 56층(Layer) 기반으로 하여 입력된 버섯 이미지가 병해충 여부인지를 판단하는 이미지 분석 모듈을 포함한다.

Description

버섯 병해충 검출 시스템{SYSTEM FOR DETECTING PESTS OF SHIITAKE MUSHROOMS}

본 발명은 버섯 병해충 검출 시스템에 관한 것으로서, 보다 상세하게는 Residual Block 기반의 재구조화된 CNN 알고리즘을 적용하여 대상 버섯 이미지 파일로부터 병해충 여부를 검출하는 시스템에 관한 것이다.

식품으로서의 버섯은 영양가 측면뿐만 아니라, 식물성 및 동물성 식품에서는 얻을 수 없는 물질이 버섯을 비롯한 균류에 함유되어 있다.

식용버섯은 단백질, 지방 외에 조섬유, 칼륨, 인산, 비타민B와 D, 효소 등이 풍부한 알칼리식품이며, 대표적으로는 목이, 송이, 표고, 느타리, 능이, 싸리버섯, 꾀꼬리버섯, 팽나무버섯, 맛버섯, 젖버섯 등이 있다.

이와 같은 식용버섯을 재배하기 위해서는 여러 가지 조건을 만족시켜야 양질의 버섯을 재배할 수 있고, 농가에서 버섯을 재배하는 일반적인 방법으로는 대부분 비닐하우스에 의존하고 있는데, 여름에는 고온에 의해 버섯재배가 불가능하거나 또는 버섯 전부가 폐사하는 사례가 속출하고 있는 실정이며, 겨울에는 영하의 온도에 의해 버섯의 성장 저해와 수확이 현저하게 감소되고 있는 실정이다. 또한, 습도 조절이 어렵고, 환기장치가 미흡하므로, 이로 인한 이산화탄소의 영향으로 버섯의 생장과 발육이 저해되고 있는 실정이다.

한편, 양질의 식용버섯을 재배하기 위해서는, 적절한 산소의 공급이 필수적이고, 버섯의 생장으로부터 발생하는 시설 하우스 내부의 유해 가스를 외부로 원활하게 배출시켜야 하며, 버섯이 생장하는 재배실 내부의 온도, 습도, 조도, 이산화탄소 등이 적절히 맞춰져야 한다.

최근 정보통신 기술의 발달로 원격으로 하기의 특허문헌 1, 2와 같이 버섯 재배 환경을 원격으로 제어하는 식물공장, 스마트팜 등이 소개되고 있다. 그런데, 종래의 선행기술들은 버섯 재배 환경을 조절하는 것에 주요 초점이 맞추어져 있고, 병해충을 탐지하는 것은 개시되어 있지 않다.

한편 최근에는 컴퓨터 하드웨어 성능의 비약적인 발전과 더불어 인공지능 관련 연구가 전세계 IT학자들에게 주목받고 있다. 인공지능은 인간이 보유한 지각, 학습, 추론 등의 행동을 컴퓨터가 실행할 수 있도록 구현하는 기술로, 머신러닝, 딥러닝 등 첨단기술을 연구하는 방향으로 발전하고 있다. 최근 인공지능은 안전, 의료, 국방, 금융 등 산업 모든 분야에 적용하고 있으며, 특히 이미지 인식 및 분류 분야에 딥러닝을 적용하는 연구가 활발하게 진행되고 있다. 이미지 인식 및 분류는 이미지에서 의미 있는 정보를 추출하여 내용을 파악하는 컴퓨터 비전기술이다. 이러한 컴퓨터 비전 기술은 사용자 목적에 부합하는 결과물을 제공하기 위해 높은 수준의 인식 정확률을 요구한다.

머신러닝과 딥러닝 관련해서 최근에는 합성곱 신경망(Convolution Neural Network, 이하 'CNN') 기반의 이미지 인식 알고리즘이 사람의 시각능력을 넘어서는 성능을 보여주며 컴퓨터 비전 연구자들에게 주목받고 있다. 이후 CNN의 성능 향상을 위한 다양한 연구들이 진행되었고, 신경망의 깊이가 깊어질 때 과적합(Overfitting)과 그라디언트 소실(Vanishing Gradient) 두 가지 문제가 발생하여 모델의 성능하락에 영향을 주는 것을 확인하였다.

이를 구체적으로 설명하면, 과적합은 소량의 데이터 집합을 사용했을 때 학습데이터는 잘 맞추지만, 테스트 데이터를 잘 맞추지 못하는 상태를 말한다. 과적합을 해결하기 위해서 드랍아웃(Dropout), 교차 검증(Cross Validation) 등의 방법을 활용할 수 있으나 근본적인 데이터의 부족이 원인일 경우에는 이와 같은 방법으로도 해결할 수 없다.

그리고, 그라디언트 소실은 심층 신경망 연구가 진행되며 발견되었다. 2012년 AlexNet 이후 CNN 관련 연구에서 네트워크의 깊이가 깊어질수록 정확도가 높아지는 것을 확인하고 깊은 신경망을 구성하는데 주목하였다. 그러나 연구가 진행되며 CNN의 네트워크가 일정 깊이 이상으로 구성되면 오히려 정확도가 떨어진다는 결과를 도출하게 되었는데, 이는 네트워크 깊이가 깊어지며 컨볼루션 계층의 학습 내용이 사라지며 발생한 문제였다. 이를 그라디언트 소실이라 하며 깊은 네트워크 기반 신경망, 즉 심층 신경망에서 해결해야 할 큰 문제점으로 구분되었다. 그라디언트 소실 문제의 해결 방법으로 피드백 구조, LSTM, 활성화 함수 등 여러 관련 연구가 진행되고 있으며 CNN에서는 주로 활성화 함수를 활용하여 해결하는 연구가 꾸준히 진행되고 있다.

대한민국 등록특허공보 제10-1861071호(2018.05.18. 등록) 대한민국 등록특허공보 제10-1852987호(2018.04.23. 등록)

본 발명은 상기와 같은 점을 감안하여 안출된 것으로써, 첫째로 재배지에서 획득한 버섯 이미지를 딥러닝 모델을 이용하여 병해충 여부를 검출하도록 하고, 둘째로 상기 딥러닝 모델을 심층신경망의 그라디언트 소실 문제를 개선하기 위해 Residual Block 기반의 재구조화된 CNN 알고리즘을 제공하도록 하는 버섯 병해충 검출 시스템을 제공하는 것을 해결 과제로 하고 있다.

상기 목적을 달성하기 위한 본 발명에 따른 버섯 병해충 검출 시스템은, CNN(Convolutional Neural Networks) 알고리즘 기반으로 버섯 이미지에서 병해충을 검출하는 시스템에 관한 것으로서, 버섯 재배지에서 버섯을 촬영하는 영상 촬영 장치; 상기 영상 촬영 장치에서 획득한 버섯 이미지와 다른 경로로 획득한 버섯 이미지 데이터가 저장되는 빅 데이터 서버(Big Data Server); 및 상기 영상 촬영 장치에서 획득된 버섯 이미지 파일을 전송받아, 상기 빅 데이터 서버의 버섯 이미지 데이터를 학습 데이터로 이용하여 학습이 완료된 CNN 알고리즘 기반으로 분석하여 병해충 여부를 검출하여 사용자 단말기로 분석 결과를 보내는 분석 서버(Analysis Server);를 포함한다.

여기서 상기 분석 서버는, 상기 입력된 버섯 이미지 데이터를 전처리하는 것으로서, 상기 수집된 원본 버섯 이미지의 크기를 가로 세로 최소 256×256 픽셀 이상으로 크기를 변환하고, 상기 크기 변환된 데이터를 다양한 변형을 통해 데이터의 양을 확장하는 데이터 전처리 모듈; 및 상기 전처리된 이미지의 특징점을 추출하는 컨볼루션 계층(Convolution Layer), 상기 컨볼류션 계층에서 추출된 특징점들의 차원을 줄이는 샘플링 과정을 수행하는 풀링 계층(Pooling Layer), 반복되는 풀링 계층의 뒤에 배치되어 도출된 특징점을 인공신경망을 통해 분류하는 완전 연결 계층(Fully-connected Layer)으로 구성되는 ResNET 56층(Layer) 기반으로 하여 입력된 버섯 이미지가 병해충 여부인지를 판단하는 이미지 분석 모듈;을 포함한다.

상기 이미지 분석 모듈에 존재하는 Residual Block은, Conv.(Weight), Batch Norm.(BN), ReLU, Conv., Batch Norm. ReLU 순서로 연산한 후 단축경로를 더해준다.

상기 이미지 분석 모듈의 풀링 계층에서는 입력단에 Max Pooling 을 적용하고 출력단에 Global average Pooling 을 적용한다.

본 발명에 의하면 이상에서 살펴본 바와 같이 본 발명에 의하면, 데이터 전처리 모듈에서 이미지의 크기변환과 확장을 통해 딥러닝 알고리즘이 보다 용이하게 학습할 수 있는 이점이 있다. 또한 이미지 분석 모듈의 Residual Block을 재구조화하고 풀링 계층에서는 Max Pooling과 Global average Pooling을 추가로 적용함으로써, 심층 신경망에서 발생하는 그라디언트 소실 개선과 버섯 병해충 검출의 정확성을 높이는 효과가 있다.

도 1은 본 발명의 실시예에 따른 버섯 병해충 검출 시스템의 개념도,
도 2는 도 1의 분석 서버의 데이터 전처리 모듈의 처리 흐름도,
도 3은 도 1의 분석 서버의 이미지 분석 모듈의 심층 신경망 구조도,
도 4는 도 3의 세부 사항을 나타낸 표,
도 5는 기존의 Max Pooling 활용 방법을 설명하는 도면,
도 6은 본 발명의 Global Average Pooling 활용 방법을 설명하는 도면,
도 7은 기존의 ResNET과 본 발명의 Residual Block 구성도,
도 8은 기존의 ResNET과 본 발명의 Layer간 입출력간 관계를 나타낸 도면,
도 9는 수집된 표고버섯 이미지를 나타낸 도면,
도 10는 원본 이미지와 크기 변환된 이미지를 나타낸 도면,
도 11은 크기 변환된 이미지(Before)와 Data Augmentation(After)한 이미지를 나타낸 도면,
도 12는 AlexNet과 ResNET-44의 정확률 그래프
도 13은 DenseNet과 본 발명의 모델의 정확률 그래프
도 14는 본 발명에 따라 표고버섯 병해충 이미지 판단 결과가 모바일 단말기에 전송된 화면을 나타낸 도면이다.

본 발명의 상기와 같은 목적, 특징 및 다른 장점들은 첨부도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명함으로써 더욱 명백해질 것이다. 이하 첨부된 도면을 참조하여 본 발명의 실시예에 따른 대해 상세히 설명하기로 한다.

도 1을 참조하면 본 발명의 실시예에 따른 버섯 병해충 검출 시스템은, 생장실에서 버섯을 촬영하는 영상 촬영 장치(10)와, 영상 촬영 장치(10)에서 획득한 버섯 이미지와 다른 경로로 획득한 버섯 이미지 데이터가 저장되는 빅 데이터 서버(Big Data Server)(20)와, 영상 촬영 장치(10)에서 획득된 버섯 이미지 파일을 전송받아, 빅 데이터 서버(20)의 버섯 이미지 데이터를 학습 데이터로 이용하여 학습이 완료된 CNN 알고리즘 기반으로 분석하여 병해충 여부를 검출하여 사용자의 모바일 단말기(40)로 분석 결과를 보내는 분석 서버(Analysis Server)(30)을 포함한다.

버섯은 생장 관리 형태로 다음 순서를 따른다. 첫째, 배지를 만들어 병에 넣고 살균을 한다. 둘재 배지에 종균을 하고 배양을 한다. 셋째, 배양이 진행되어 완료된 배지는 생장실에서 자라 버섯으로 생산되게 된다. 마지막으로 배지는 버섯을 생산해낼 때 3번 이상의 주기로 수확과 침봉 및 충격 작업을 반복하게 된다. 이하 본 발명에서는 배지를 버섯으로 칭하기로 한다.

영상 촬영 장치(10)는 상기 생장실에 고정 설치된 카메라 이거나, 또는 관리자 소지의 카메라를 구비하는 모바일 단말기일 수 있으며, 영상 촬영 장치(10)을 이용해 생장실에 있는 버섯의 이미지를 획득할 수 있다.

본 발명에 의한 시스템은 어플리캐이션으로 구현될 수 있는데, 버섯 생장실 관리자는 모바일 단말기(40)의 어플리케이션을 통해 질병, 곰팡이 등의 이상이 발생한 배지의 사진을 찍으면 이는 빅 데이터 서버(20)에 저장된다. 또한 생장실 내부의 카메라를 이용해 단일 버섯 배지를 촬영해 스냅샷 형태의 버섯 배지 이미지파일을 획득하고 이 역시 빅 데이터 서버(20)에 저장된다.

빅 데이터 서버(20)는 상기 영상 촬영 장치(10)에서 지속적으로 획득한 버섯 이미지와, 또한 영상 촬영 장치(10) 이외의 다른 경로로 획득한 버섯 이미지 데이터가 저장되고, 이렇게 수집된 데이터는 머신러닝 기반의 분석 모듈(30)의 학습 데이터와 테스트 데이터로 사용된다.

딥러닝 모델을 학습시키기 위해서는 대용량의 데이터가 필요한데, 여기서 다른 경로로 획득한 학습에 필요한 데이터는 공개 라이브러리 데이터 집합(이하, 공개 데이터 집합)과 인터넷 크롤링 및 수작업으로 수집할 수 있다. 공개 데이터 집합은 딥러닝 모델의 학습을 위해 UCI(University of California Irvine), Kaggle, Data Portals, Open Data Monitor 등의 여러 기관에서 제공하는 데이터 집합으로 텍스트, 이미지, 동영상, 사운드 등 다양한 종류의 데이터 집합이다. 공개적으로 활용할 수 있고 방대한 양 때문에 딥러닝 모델의 학습데이터로 많이 사용되고 있다. 인터넷을 통한 데이터 크롤링의 경우 목적에 맞는 데이터를 찾기 어렵고, 목적에 맞더라도 분류 클래스 및 데이터의 양이 적다. 그 결과 신뢰도가 떨어져 학습 모델의 신뢰도가 떨어진다. 따라서 딥러닝 모델의 목적과 부합하는 데이터를 직접 수집하는 것이 모델의 신뢰도를 높일 수 있다.

분석 서버(30)는 빅 데이터 서버(20)의 버섯 이미지 데이터를 학습 데이터로 이용하여 학습을 완료하여 CNN 알고리즘 기반으로 분석하여 병해충 여부를 검출하게 된다. 생장실 관리자가 모바일 단말기(40)로 어플리케이션을 통해 버섯 배지의 이미지를 찍었을 때, 학습이 완료된 분석 서버(30)는 버섯 배지의 병해충 여부를 분석하고, 이 분석 결과를 모바일 단말기(40)로 전송하게 된다.

도 2 및 도 3을 참조하면, 분석 서버(30)는 데이터 전처리 모듈(32)과 이미지 분석 모듈(34)를 포함한다.

수집한 버섯 병해충 데이터를 딥러닝 학습데이터로 활용하려면 모델에 맞는 적절한 전처리 과정이 필요하다. 과거 이미지 인식에 사용되는 데이터 전처리 기술은 배경 제거, 그레이스케일, 색변환, 필터 적용, 엣지 검출 등을 사용하였다. 그러나 기존 전처리 과정을 거친 데이터를 딥러닝에 적용할 경우 제한된 특징으로 실험 정확도가 종속되어 딥러닝 학습 시 과적합이 발생할 가능성이 있다. 이에 본 발명에서는 딥러닝 모델에 적합한 표고버섯 병해충 이미지 전처리 모듈을 설계한다.

도 2는 본 발명에 따른 데이터 전처리 모듈(32)의 과정을 설명하는 것으로써, 크기변환, 데이터 확장 2가지 단계로 진행된다.

크기변환은 저장된 병해충 이미지를 로드하여 256×256 픽셀 이상 크기로 변환하여, 딥러닝 모델의 입력 층과 동일하게 만들어 준다. 256×256 픽셀 이하일 경우 이미지 특성이 작을 수 있어 적합하지 않게 된다.

데이터 확장 과정에서는 변환된 이미지에 회전, 플립, 왜곡 등 Data Augmentation 기법으로 딥러닝 모델의 학습에 적합하도록 데이터의 양을 확장하는 역할을 한다.

도 3을 참조하면, 본 발명에 따른 이미지 분석 모듈(34)는 ResNet 56을 기반으로 전처리된 이미지의 특징점을 추출하는 컨볼루션 계층(Convolution Layer), 상기 컨볼류션 계층에서 추출된 특징점들의 차원을 줄이는 샘플링 과정을 수행하는 풀링 계층(Pooling Layer), 반복되는 풀링 계층의 뒤에 배치되어 도출된 특징점을 인공신경망을 통해 분류하는 완전 연결 계층(Fully-connected Layer)을 포함하며 이들을 심층적으로 구축하며 총 56-Layer로 구성한다. ResNet 56이란 컨볼루션 계층, 풀링 계층, 완전 연결 계층의 수만 계산 했을 때, 총 계층의 수가 56개가 되는 ResNet 모델을 뜻한다.

컨볼루션 계층에서 병해충 이미지의 특징점 추출 시 활성화 함수로 ReLU를 사용한다. 풀링 계층에서는 Global Average Pool 기법을 활용하여 추출된 특징들의 차원 줄이는 샘플링(sampling) 과정을 진행한다. 완전 연결 계층은 반복되는 풀링 계층의 뒤에 배치하여 도출된 특징점을 인공신경망을 통해 분류한다. Residual block은 깊은 네트워크에서 발생하는 그라디언트 소실 문제를 해결하기 위해 이전 컨볼루션 계층의 학습치를 2단계 진행한 이후 컨볼루션 계층에 전달하여 이전 학습치 소실을 방지한다.

도 4는 본 발명에 따른 이미지 분석 모듈의 세부 사항을 나타낸 표이다. 이미지 분석 모듈은 입력 이미지를 256×256로 적용하고 입력 영상의 크기와 비교하여 컨볼루션 계층만 5×5의 가중치 필터 크기와 2의 간격으로 설정한다. 첫 번째 계층(7×7)을 제외하고는 모든 컨볼루션 연산에 3×3 이하 크기의 커널이 사용되었고, 특징맵의 크기가 같은 레이어는 출력 특징맵 개수가 동일하다. 그리고 특징맵의 크기가 절반으로 작아지는 경우 출력 특징맵의 개수가 2배가 된다. 풀링은 거의 사용되지 않고 컨볼루션 연산의 보폭을 2로 하여 특징맵의 크기를 줄였다. 이미지가 절반으로 작아진 경우, Identity Block이 사용되며, 입력값을 바로 더하지 않고, 1×1 컨볼루션 연산의 보폭을 2로 설정하여 특징맵의 크기와 개수를 맞추어준 다음 더해준다.

풀링 계층은 신경망의 차원을 축소시키는 역할을 한다. 기존 연구에서는 데이터의 크기를 줄이기 위해 컨볼루션 계층과 풀링 계층을 연속해서 배치하고, 풀링 계층은 최대값 연산을 주로 사용하였다. 도 5는 기존 연구의 풀링 계층의 활용법을 나타낸다. 기존 연구에서 풀링 계층은 컨볼루션 연산 결과를 입력으로 활용하고, 풀링 연산 결과를 다시 컨볼루션 계층의 입력으로 활용하는 것을 반복적으로 스택처럼 쌓아두어 활용한다. 풀링 계층은 2×2(Window×Stride) 크기의 필터로 특징맵의 픽셀들 중 가장 큰값을 추출하는 최대값 연산(Max-Pooling)을 활용한다.

본 발명에서의 풀링 계층는 Global Average Pooling 연산을 활용하였다. Global Average Pooling 연산은 이전 계층의 특징맵을 연결하여 1차원 벡터로 변환하는 역할을 한다. 최종적으로 변환된 1차원 벡터와 소프트맥스를 연결하여 분류를 가능하게 할 수 있다. 도 7은 본 발명에서 활용된 Global Average Pooling 연산 활용법이다. 7×7×1024 차원을 1×1×1024 차원으로 줄일 수 있다. 즉, 각 피처맵의 평균값을 추출하여 50,176차원을 1024차원으로 줄여준다.

도 7은 기존 ResNet(Original) 본 발명에서 제안하는(Proposed) Residual Block의 구성도이다. 기존 ResNet의 Residual Block는 Conv.(Weight), Batch Norm.(BN), ReLU, Conv., Batch Norm. 이 순서로 연산한 후, 단축경로 값을 더해 마지막으로 ReLU연산을 처리한다. 본 발명에서 제안하는 Residual Block은 단축경로를 더해주기 전 Batch Norm.이후에 ReLU 연산을 추가하고, 단축경로 추가 이후 ReLU연산을 제외시켰다. 이후 단축경로의 차원을 줄여줄 때 풀링과 Padding을 추가하는 것 이외에는 동일하게 구성한다. 이 구성으로 네트워크를 깊게 쌓았을 때 그라디언트가 소실되는 것을 방지하고 학습파라미터의 수를 줄일 수 있는 장점이 있다.

도 8은 기본 CNN 모델인 기존 ResNet(Original)과 본 발명에서 제안하는(Proposed) 딥러닝 모델의 Layer간 입출력 관계를 나타낸다. 기본 CNN 모델은 이전 계층의 출력값에 단순히 ReLU를 수행하는 형태이다. ResNet은 첫 번째 Layer의 출력에 ReLU를 수행하고 두 번째 Layer의 출력에는 Residual 연산 수행 이후 ReLU를 수행하도록 구성된다. 마지막으로 본 발명에서 제안하는 딥러닝 모델은 첫 번째 Layer에 ReLU를 수행한 값이 입력되고, 두 번째 Layer의 출력값에 대한 Residual 연산이 수행되기 이전에 ReLU를 수행하도록 배치한다.

성능평가

이하 본 발명에 따른 분석 서버의 딥러닝 알고리즘에 대한 성능평가를 위해 표고버섯병해충 데이터 셋을 활용하여 기존 딥러닝 알고리즘과 비교한다.

학습 및 테스트 데이터 : 표고버섯 병해충 이미지

표고버섯 병해충 이미지는 표고버섯배지에서 발생하는 푸른곰팡이 이미지이다. 해당 이미지는 실제 표고버섯 농가의 버섯 재배실에서 획득하여 표고버섯 푸른곰팡이 발생 유무에 따라 분류한다. 도 9는 버섯 재배실에서 직접 수집한 표고버섯 병해충 이미지이다. 버섯 병해충 이미지에는 푸른곰팡이의 특성상 일정 크기로 발병하여야 정상 배지와 구분되는 특성이 존재한다. 이 특성은 푸른곰팡이가 발생한 배지 이미지 데이터 간의 유사점이 높으며, 한 이미지 내에서도 특정 부분만 색깔이 유사한 점이 있다. 표고버섯 병해충 이미지의 원본은 총 8,000개로 구성되어있다.

데이터 전처리

본 발명에서는 버섯 생장실 내부의 표고버섯 병해충 데이터를 실제로 촬영하여 데이터 집합을 확보하고 레이블링, 크기변환, 데이터 확장을 위한 전처리를 수행한다. 표고버섯 병해충 데이터는 2018년 3월 12일부터 2019년 9월 8일까지 총 8,000개의 이미지가 수집되었다. 수집된 데이터는 딥러닝 모델의 학습에 필요한 레이블이 없기 때문에 레이블링을 해주는 작업이 필요하다. 레이블링을 위해 표고버섯 이미지를 병해충 유무에 따라 분류하여야 한다. 8,000개의 이미지는 사람의 육안으로 병해충 유무에 따라 정상 버섯 이미지 5,000개 푸른곰팡이가 발생한 버섯 이미지 3,000개로 분류하고 레이블링하였다. 도 10은 원본 이미지의 크기를 변환하는 과정이며, 변환되는 크기는 256×256이다. 본 발명에서 구현하고자 하는 딥러닝 모델의 경우 깊은 계층을 활용하는 모델로써, 큰 해상도의 이미지를 사용할 때 연산 속도의 문제가 발생할 수 있고 작은 해상도의 이미지를 사용할 경우 이미지 특성이 나타나지 않을 수 있다.

본 발명에서 제안하는 모델은 학습을 지도학습 방식으로 진행하기 때문에 입력 이미지에 대한 레이블과 대용량의 데이터가 필요하다. 수집한 표고버섯 병해충 이미지를 병해충 감염 유무에 따라 Abnormal, Normal로 레이블링을 구분한다. 수작업으로 데이터를 수집할 때 대량의 데이터를 확보하는 것은 시간과 비용적으로 한계가 있다. 따라서 이미 소유하고 있는 데이터를 변형해서 추가적인 데이터를 만드는 작업이 필요하고, 본 발명에서는 레이블링된 표고버섯 병해충 데이터에 DA를 활용하여 원본 8,000개의 데이터를 24,000개로 확장한다. 도 11은 원본 이미지와 DA로 생성된 확장 이미지이다.

성능평가결과

수집된 표고버섯 병해충 데이터를 활용해 본 발명에서 제안하는 딥러닝 모델과 기존 딥러닝 모델과의 비교 및 분석을 통한 정성적인 평가를 진행하였으며, 하기 표 1은 각 모델에 대한 학습 환경을 나타낸 것이다.

모델	데이터 셋	이미지 크기	네트워크 깊이	레이블 수
AlexNet	표고버섯 병해충 데이터	256×256	8	2
ResNET-44		256×256	21	2
DenseNet		256×256	121	2
본 발명		256×256	56	2

본 성능평가에서는 256x256 크기의 표고버섯 병해충 데이터 집합을 입력하여 기존 AlexNet, ResNet-44, DenseNet과 비교하였다. 4가지 모델 모두 1000 Epoch의 학습을 반복하였고, 0.001%의 학습률, 200의 Batch를 적용한다.

도 12의 x축은 Epoch, y축은 정확률(accuracy), 파란선은 학습데이터(train), 주황선은 검증데이터(test)를 나타낸다.

도 12의 (a)는 AlexNet의 Epoch 진행상황에 따른 정확률을 그래프로 나타낸 것이다. 검증 데이터를 활용해 측정한 정확률로 67.35%를 나타내 비교적 낮은 정확률을 보였는데, 얕은 네트워크 형태의 한계인 가중치가 제대로 학습되지 않은 문제로 확인되었다. 도 12의 (b)는 ResNet-44의 정확률 그래프이다. 약 80.87%의 정확률로 AlexNet에 비해 13% 향상된 것을 확인하였다. AlexNet에 비해 깊은 네트워크로 구성되어 충분한 학습을 하고 후속 계층에 정확한 가중치를 전달한 것이 정확률 향상의 요인으로 분석된다.

도 13의 (a)는 DenseNet의 검증데이터 정확률이며, 약 73.67%의 정확률을 보였다. AlexNet의 67.35%에 비해 높지만 ResNet-44의 80.87%에 비해 낮은 결과를 도출하였다. ResNet-44보다 깊은 네트워크를 구성하고 있는 DenseNet의 정확도가 높게 나와야 한다는 연구가 있지만, 최근 연구에 따르면 네트워크의 깊이가 깊어질 때 그라디언트 소실 문제가 발생하며 정확도가 떨어진다는 연구결과처럼 본 성능평가에서도 비교적 네트워크가 깊은 DenseNet에서 정확률이 오히려 떨어지는 것을 확인하였다. 마지막으로 도 13의 (b)는 본 발명에서 제안하는 딥러닝 모델의 정확률이다. 약 81.21%의 정확률을 보여주어 AlexNet(67.35%), ResNet-44(80.87%), DenseNet(73.67%)보다 향상된 성능을 확인할 수 있다.

도 14의 (a)와 (b)는 본 발명의 모델을 활용하여 정상 표고버섯 이미지와 푸른곰팡이가 발생한 표고버섯 이미지를 판단한 결과이다. 도 14의 (a)는 정상적인 표고버섯 이미지를 입력하였고, 도 14의 (b)는 푸른곰팡이에 감염된 표고버섯 이미지를 입력하였다. 그 결과 (a)는 입력이미지를 정상, (b)는 푸른곰팡이에 감염된 이미지로 판단하였다.

이와 같이 본 발명에서 제아하는 딥러닝 모델이 기존 연구에 비해 정확도 측면에서 최대 14%의 개선된 성능을 보여주었고, 반환속도에서는 약 5초 빠른 것을 확인하였다.

이상에서 살펴본 바와 같이 본 발명에 의하면, 데이터 전처리 모듈에서 이미지의 크기변환과 확장을 통해 딥러닝 알고리즘이 보다 용이하게 학습할 수 있는 이점이 있다. 또한 이미지 분석 모듈의 Residual Block을 재구조화하고 풀링 계층에서는 Max Pooling과 Global average Pooling을 추가로 적용함으로써, 심층 신경망에서 발생하는 그라디언트 소실 개선과 버섯 병해충 검출의 정확성을 높이는 효과가 있다.

이상에서 본 발명의 바람직한 실시예에 대하여 설명하였으나 본 발명은 상술한 특정의 실시예에 한정되지 아니한다. 즉, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 첨부된 특허청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능하며, 그러한 모든 적절한 변경 및 수정의 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

10. 영상 촬영 장치 20. 빅 데이터 서버
30. 분석 모듈 32. 데이터 전처리 모듈
34. 이미지 분석 모듈 40. 모바일 단말기

Claims

CNN(Convolutional Neural Networks) 알고리즘 기반으로 버섯 이미지에서 병해충을 검출하는 시스템에 관한 것으로서,
버섯 재배지에서 버섯을 촬영하는 영상 촬영 장치;
상기 영상 촬영 장치에서 획득한 버섯 이미지와 다른 경로로 획득한 버섯 이미지 데이터가 저장되는 빅 데이터 서버(Big Data Server); 및,
상기 영상 촬영 장치에서 획득된 버섯 이미지 파일을 전송받아, 상기 빅 데이터 서버의 버섯 이미지 데이터를 학습 데이터로 이용하여 학습이 완료된 CNN 알고리즘 기반으로 분석하여 병해충 여부를 검출하여 사용자 단말기로 분석 결과를 보내는 분석 서버(Analysis Server);를 포함하며,
상기 분석 서버는,
상기 입력된 버섯 이미지 데이터를 전처리하는 것으로서, 상기 수집된 원본 버섯 이미지의 크기를 가로 세로 최소 256×256 픽셀 이상으로 크기를 변환하고, 상기 크기 변환된 데이터를 다양한 변형을 통해 데이터의 양을 확장하는 데이터 전처리 모듈; 및,
상기 전처리된 이미지의 특징점을 추출하는 컨볼루션 계층(Convolution Layer), 상기 컨볼류션 계층에서 추출된 특징점들의 차원을 줄이는 샘플링 과정을 수행하는 풀링 계층(Pooling Layer), 반복되는 풀링 계층의 뒤에 배치되어 도출된 특징점을 인공신경망을 통해 분류하는 완전 연결 계층(Fully-connected Layer)으로 구성되는 ResNET 56층(Layer) 기반으로 하여 입력된 버섯 이미지가 병해충 여부인지를 판단하는 이미지 분석 모듈;을 포함하며,
상기 이미지 분석 모듈에 존재하는 Residual Block은, Conv.(Weight), Batch Norm.(BN), ReLU, Conv., Batch Norm. ReLU 순서로 연산한 후 단축경로를 더해주며,
Layer간 입출력 관계는 첫 번째 Layer에 ReLU를 수행한 값이 입력되고, 두 번째 Layer의 출력값에 대한 Residual 연산이 수행되기 이전에 ReLU를 수행하도록 배치하는 것을 특징으로 하는 표고버섯 병해충 검출 시스템.
삭제
제 1 항에 있어서,
상기 이미지 분석 모듈의 풀링 계층에서는 입력단에 Max Pooling 을 적용하고 출력단에 Global average Pooling 적용하는 것을 특징으로 하는 표고버섯 병해충 검출 시스템.