KR20200084940A - Cnn 기반 병해 및 손상 과일 분류 장치 및 방법 - Google Patents

Abstract

본 발명은 CNN 기반 병해 및 손상 과일을 분류 장치 및 방법으로, 농장 내 복수로 설치된 카메라를 통해 과일을 촬영하고 이를 바탕으로 딥러닝 기술 중 하나인 합성곱 신경망(Convolutional Neural Network)을 이용하여 색상에 따라 병해충으로 인한 피해과일이나 외부 요인에 의해 외형이 손상된 과일을 분류한다. 이를 통해 수동 검사자의 노력이 가장 많이 필요한 1차적인 분류작업을 도울 수 있다.

Description

CNN 기반 병해 및 손상 과일 분류 장치 및 방법{CNN(Convolutional Neural Network) based pest and damage fruit classification device and method}

정보산업

과일의 선별은 생산된 과일을 상품화시키는 공정이다. 수확된 과일을 신선하고 균일하게 선별하여 농산물의 상품적 가치를 향상시킴으로서 부가가치를 높일 수 있는 특성을 지니고 있다. 특히 과일의 선별은 과일 각각 개체의 크기, 무게, 형상, 색깔, 상처 유무 등 과일의 품위를 결정지을 수 있는 요인이 다양하여 선별 기준은 과일의 종류뿐만 아니라 품종 간에도 차이가 있어 이에 따른 등급별 분류가 요구된다. 따라서 상품성을 높이기 위해서는 균일한 선별과 포장을 진행하여야한다.

농산물 수입 확대 등으로 국내 농산물 생산규모 감소 추세에 따라 고가의 농산물 선별기의 수요 또한 감소 추세가 이어지고 있다. 실제로 국내 농산물 선별기 공급량은 2014년 443개, 2015년 420개, 2016년 348개, 2017년 225개로 감소하는 추세를 보인다. 이처럼 국내 농업 총생산의 감소, 배기가스 규제로 인한 원가 상승, 농협의 임대농기계 입찰로 인한 잠재 수요의 감소, 농산물 시장 개방 등의 영향으로 전망은 더욱 어려울 것으로 예측된다.

위와 같은 시장 현황과 기존 영상처리식 선별기의 고가의 영상처리 카메라, 수입 선별기 사용과 같은 국내 과일 선별 문제를 해결하기 위해 최근 인공지능 기술의 발전에 따라 이미지 인식 분야 중 가장 주목받고 있는 기술인 딥러닝(Deep Learning) 기술을 활용하여 병해 과일 및 손상된 과일을 분류하는 장치 및 방법을 제안한다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 농장 내 복수의 카메라를 이용해 과일을 촬영하고 촬영된 이미지를 딥러닝을 이용한 손상 과일 분류 장치 및 방법을 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명에서 다루는 CNN 기반 병해 및 손상 과일을 분류 장치 및 방법은 농장 내 복수로 분산 배치된 카메라를 통해 촬영된 과일 이미지 데이터를 얻는 이미지 수집부에서 이미지를 과일의 특성에 맞게 분류하는 이미지 결함 판단부를 통해 CNN 기반 색상에 따라 병해충으로 인한 피해과일이나 외부 요인에 의해 외형이 손상된 과일을 분류한다. 분류된 결과값은 제어부로 전달되어 각 클래스에 해당하는 공간으로 해당 과일은 1차적인 분류작업을 진행한다.

본 발명의 CNN 기반 병해 및 손상 과일을 분류 장치 및 방법에 따르면, 병해충으로 인한 피해과일이나 외부 요인에 의해 손상된 과일을 선별할 수 있으므로 과일 선별에 있어 1차적인 분류작업을 효과적으로 지원할 수 있다.

도 1은, 본 발명에 따른 CNN 기반 병해 및 손상 과일을 분류 장치의 주요 구성을 도시한 것이다.
도 2는, 본 발명에 따른 농장 내 분산되어있는 카메라가 과일을 촬영하는 측면도를 나타낸다.
도 3은, 본 발명에 따른 과일 결함 검출 과정을 나타낸 흐름도이다.

이하에서는 본 발명을 실시하기 위한 구체적인 내용을 첨부된 도면을 참조하여 설명하도록 한다. 본 발명의 구체적인 실시 예를 설명함에 있어서, 관련된 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 구체적인 설명은 생략하도록 한다.

도 1은, 본 발명에 따른 CNN 기반 병해 및 손상 과일을 분류 장치의 주요 구성을 도시한 것이고, 도 2는 농장 내 분산되어있는 카메라가 과일을 촬영하는 측면도, 도 3은 과일 결함 검출 과정을 나타낸 흐름도이다.

도 1 및 도 2를 참조하면, 본 발명의 실시 예에 의한 CNN 기반 병해 및 손상 과일을 분류 장치는 크게 이미지 수집부(100), 이미지 결함 판단부(200), 제어부(300)를 포함한다. 이미지 수집부(100)는 조명 및 카메라를 포함하는 광학모듈을 포함할 수 있으며 구체적으로 농장 내 분산 배치되어 있는 카메라(101), 획득 과일(110)을 포함하며 카메라(101)를 통해 촬영된 과일에 대한 분산된 이미지는 각각 이미지 결함 판단부(200)로 전송된다. 카메라(101)는 일반적인 소형 카메라로 다양한 각도의 이미지 분석을 위해 복수로 분산 배치된다.

이미지 결함 판단부(200)는 결함을 사용자가 확인할 수 있는 모니터 또는 향후 결함 분석 및 작업에 활용할 수 있는 서버 등이 될 수 있다. 이미지 결함 판단부(200)는 CNN기반 미리 학습된 모델을 기반으로 촬영된 이미지를 분석하고 해당하는 클래스별로 과일 이미지를 분류한 후 제어부(300)에 전송한다.

제어부(300)는 과일을 분류할 수 있는 하드웨어, 소프트웨어 모듈 또는 하드웨어와 소프트웨어 모듈의 결합된 모듈 등 다양한 형태로 구현될 수 있다. 제어부(300)는 이미지 결함 판단부(200)의 분류된 결과를 토대로 과일을 분류하며 사용자가 최종 출력 영상을 볼 수 있게 한다.

도 3은 과일 결함 검출 과정을 나타낸 흐름도이다. 도시된 흐름도는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행될 수 있다.

단계 201에서, 과일 이미지 분류를 위해 미리 학습할 데이터를 준비한다. 이때 상기 대상 이미지는 일반적인 과일, 병해를 입은 과일, 손상된 과일의 다양한 방향에서 촬영된 데이터일 수 있다.

단계 202에서, 과일 이미지 분류를 위해 합성곱 신경망(Convolutional Neural Network)을 이용해서 기계학습 시킨다. 구체적으로 수집된 이미지는 각 특징에 해당하는 클래스에 저장해 데이터셋으로 구축하고 합성곱 레이어(Convolution layer)와 풀링 레이어(Pooling layer)를 통해 특징 맵(Feature map)을 추출한 뒤, 지속적인 서브샘플링(Subsampling)을 수행하여 입력 이미지 Resize를 진행한다. 그리고 합성곱과 서브샘플링을 반복적으로 거치면서 불변하는 특징을 찾고, 추출된 특징 맵을 기반으로 미리 학습되어있는 Classifier와 비교하여 그 특징을 입력데이터로 전결합 레이어(Fully connected layer)를 거쳐 분류결과를 계산한다.

단계 203, 204에서 이미지 수집부(100)를 통해 수집된 과일 이미지를 단계 202의 마리 학습된 CNN 기반 이미지 학습모델에 적용시켜 병해충으로 인한 피해과일과 외부 요인에 의해 손상된 과일을 분류한다.

단계 205에서, 분류된 결과를 사용자가 확인할 수 있게끔 제어부로 전달해 각 해당하는 클래스에 따라 과일이 분류된다.

100 : 이미지 수집부
101 : 분산 배치된 카메라
110 : 획득 과일
200 : 이미지 결함 판단부

Claims (4)

1. 농장 내 복수로 설치된 카메라를 통해 과일을 촬영하고 이를 바탕으로 딥러닝 기술을 이용하여 색상에 따라 병해충으로 인한 피해과일이나 외부 요인에 의해 외형이 손상된 과일을 분류하는 방법
2. 제 1 항에 있어서,
   이미지 수집 장치에 있어 카메라를 분산 배치시켜 과일의 전체 표면 영상을 획득할 수 있도록 배치시키는 방법
3. 제 1 항에 있어서,
   과일 이미지 분류를 위해 학습 모델을 설계하는데 있어 합성곱 신경망(Convolutional Neural Network)을 이용해서 기계학습을 하는 방법
4. 제 1 항에 있어서,
   제어부의 모니터를 통해 사용자가 실시간으로 특징에 따라 분류된 과일의 결과값을 모니터링 할 수 있도록 하는 방법
   

Images