KR20090049933A - 해충 인지 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 해충 인지 시스템 및 그 방법에 관한 것으로, 특히 해충의 영상 정보로부터 해충을 정확히 인지하여 계수할 수 있는 시스템 및 그 방법에 관한 것이다.

본 명세서에서 개시하는 해충 인지 시스템은 해충이 촬영된 원본영상에서 진딧물 개체를 추출하기 위해 상기 원본영상의 그레이 레벨 영상의 반전 영상을 추출하는 반전영상 추출부; 상기 반전 영상을 소정의 임계치를 기준으로 이진화시킨 제1 이진화 영상을 추출하여 상기 진딧물 개체만을 상기 원본영상의 배경으로부터 분리시키는 제1 이진화 영상 추출부; 상기 제1 이진화 영상에 상기 원본영상에서 상기 진딧물 개체로 추정되는 부분의 색상 정보를 더하여 진딧물 추출 영상을 도출하는 진딧물 추출 영상 도출부; 및 상기 원본영상에서의 상기 추정되는 부분의 각 화소의 색상 정보의 평균값을 근거로 상기 진딧물 개체의 존부를 최종 판단하는 진딧물 존부 판단부를 포함하여 본 발명의 과제를 해결한다.

Description

해충 인지 시스템 및 그 방법{System for recognizing vermin and Method thereof}

본 발명은 해충 인지 시스템 및 그 방법에 관한 것으로, 특히 해충의 영상 정보로부터 해충을 정확히 인지하여 계수할 수 있는 시스템 및 그 방법에 관한 것이다.

각종 작물의 재배에 있어서는 해충의 예방 및 방지가 절대적으로 필요하며, 해충이 발생했을 경우 이로 인한 피해의 최소화가 절실히 요구된다. 이를 위해서는 해충에 대한 정확한 인지가 요구된다. 그러나 현재에는 현장에서 육안으로 해충을 인지하여 계수(count)하고 있는데, 이는 시간이 많이 소요될 뿐더러 오차가 큰 문제점이 있어 해충의 예방 및 방지의 실효성을 크게 보지 못하고 있는 실정이다.

본 발명은 상기와 같은 실정을 극복하고자 하기 위해 창안된 것으로, 본 발명이 해결하고자 하는 과제는 해충 인지의 정확성을 획기적으로 향상시키고 객관성을 확보할 수 있는 해충 인지 시스템 및 그 방법을 제공하는 것에 있다.

상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 해충 인지 시스템은 해충이 촬영된 원본영상에서 진딧물 개체를 추출하기 위해 상기 원본영상의 그레이 레벨 영상의 반전 영상을 추출하는 반전영상 추출부; 상기 반전 영상을 소정의 임계치를 기준으로 이진화시킨 제1 이진화 영상을 추출하여 상기 진딧물 개체만을 상기 원본영상의 배경으로부터 분리시키는 제1 이진화 영상 추출부; 상기 제1 이진화 영상에 상기 원본영상에서 상기 진딧물 개체로 추정되는 부분의 색상 정보를 더하여 진딧물 추출 영상을 도출하는 진딧물 추출 영상 도출부; 상기 원본영상에서의 상기 추정되는 부분의 각 화소의 색상 정보의 평균값을 근거로 상기 진딧물 개체의 존부를 최종 판단하는 진딧물 존부 판단부; 상기 도출된 진딧물 추출 영상을 참조하여 상기 원본영상으로부터 상기 진딧물 개체를 제거하는 진딧물 개체 제거부; 상기 진딧물 개체가 제거된 영상을 YUV 형식의 컬러 영상으로 변환하는 컬러 영상 변환부; 상기 Y, U, V 각각의 성분으로부터 가루이 개체와 총채벌레 개체의 윤곽선을 추출하는 윤곽선 추출부; 상기 윤곽선이 추출된 영상을 소정의 임계치를 기준으로 이진화시킨 제2 이진화 영상을 추출하는 제2 이진화 영상 추출부; 상기 제2 이진화 영상에 상기 원본영상에서의 가루이 개체와 총채벌레 개체로 추정되는 부분의 색상 정보를 추출한 후 상기 제2 이진화 영상에 더하여 가루이/총채벌레 추출 영상을 도출하는 가루이/총채벌레 추출 영상 도출부; 및 상기 도출된 진딧물 추출 영상과 가루이/총채벌레 추출 영상을 합성하여 이들 해충을 인지하기 위한 최종 영상을 도출하는 최종 영상 도출부를 포함하여 본 발명의 과제를 해결한다.

상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 해충 인지 방법은 (a)해충이 촬영된 원본영상에서 진딧물 개체를 추출하기 위해 상기 원본영상의 그레이 레벨 영상의 반전 영상을 추출하는 단계; (b)상기 반전 영상을 소정의 임계치를 기준으로 이진화시킨 제1 이진화 영상을 추출하여 상기 진딧물 개체만을 상기 원본영상의 배경으로부터 분리시키는 단계; (c)상기 제1 이진화 영상에 상기 원본영상에서 상기 진딧물 개체로 추정되는 부분의 색상 정보를 더하여 진딧물 추출 영상을 도출하는 단계; (d)상기 원본영상에서의 상기 추정되는 부분의 각 화소의 색상 정보의 평균값을 근거로 상기 진딧물 개체의 존부를 최종 판단하는 단계; (e)상기 도출된 진딧물 추출 영상을 참조하여 상기 원본영상으로부터 상기 진딧물 개체를 제거하는 단계; (f)상기 진딧물 개체가 제거된 영상을 YUV 형식의 컬러 영상으로 변환하는 단계; (g)상기 Y, U, V 각각의 성분으로부터 가루이 개체와 총채벌레 개체의 윤곽선을 추출하는 단계; (h)상기 윤곽선이 추출된 영상을 소정의 임계치를 기준으로 이진화시킨 제2 이진화 영상을 추출하는 단계; (i)상기 제2 이진화 영상에 상기 원본영상에서의 가루이 개체와 총채벌레 개체로 추정되는 부분의 색상 정보를 추출한 후 상기 제2 이진화 영상에 더하여 가루이/총채벌레 추출 영상을 도출 하는 단게; 및 (j)상기 도출된 진딧물 추출 영상과 가루이/총채벌레 추출 영상을 합성하여 이들 해충을 인지하기 위한 최종 영상을 도출하는 단계를 포함하여 본 발명의 과제를 해결한다.

해충인지의 자동화를 통해 병해충 예방 및 방지의 실효성을 거둘 수 있으며 생산비 절감 및 자연친화적 영농기법 실현의 부수적 효과를 볼 수 있다. 아울러 상업화를 통해 생물 인지와 관련된 제분야(예, 농업, 축산, 자연보전, 의학 등)에 종사하는 중소기업의 산업성 제고 및 수출 증대에 이바지하는 효과도 볼 수 있다.

이하, 본 발명의 기술적 과제의 해결 방안을 명확화하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다.

본 발명의 실시예에서는 온실의 주요 해충을 인지 대상 해충으로 하였는데, 그 주요 해충으로 온실가루이(Trialeurodes vaporariorum), 꽃노랑 총채벌레(Frankliniella occidentalis) 및 목화진딧물(Aphis gossypii)을 대상으로 하였다. 이 해충들은 온실에서 많이 서식하여 작물을 해치는 주범에 해당하는 해충으로, 형태적으로 서로 구분이 용이하고 형태적 여건이 뚜렷하다.

그러나 종(species) 수준에서의 구분은 전문가로서도 어려우기 때문에 일반 적인 상기종이 속한 과나 목 수준에서 구분이 되도록 함이 바람직하다. 이를테면 진딧물은 목화진딧물을 주요 대상으로 하나 세부적인 종 구분이 어려우므로 일반적으로 진딧물 류가 같이 분류되도록 한다.

인지 대상 해충에 대한 영상을 얻기 위해 우선 해충을 수집해야 하는데, 수집은 끈끈이 트랩을 이용하여 수집한다. 도 2a에 끈끈이 트랩의 단면도가 제시되어 있으며, 도 2b에 끈끈이 트랩이 설치된 일 태양이 제시되어 있다. 수집된 해충에 대한 영상은 끈끈이 트랩 그대로 스캐너 또는 디지털 카메라 등을 통해 촬영하여 획득된다. 이때 해충 수집에 사용된 끈끈이 트랩의 바탕색은 노란 색 계열(적색 성분: 약 220/255, 녹색 성분: 190/255, 청색 성분: 20/255로 구성)의 색상 성분을 가진다. 스캐너 등에 의해 획득된 영상은 실제 야외장소에서 사용하여 곤충과 이물질이 함께 부착된 끈끈이 트랩 영상 즉, 인지(계수) 대상 해충의 영상(원본영상)에 해당한다(도 3a 참조).

인지 대상인 세 가지 해충(가루이, 총채벌레 및 진딧물)의 인지를 위해 대표적으로 사용될 수 있는 요소들에 대한 평균값을 아래 표에 나타내었다. 이들 가운데 크기와 색상 성분은 세 가지 해충에 공통으로 적용될 수 있으나 해충들이 끈끈이 트랩에 달라붙는 윤곽선의 형태가 판이하게 달라지므로 기하학적 윤곽선의 형태는 인지를 위해 사용하기에는 부적합하다.

개체별 영상 처리 기준 정보	가루이	총채 벌레	진딧물
성충 개체의 크기 (600 dpi로 스캔했을 때의 화소 수 평균값)	346	241	244
성충 개체의 적색 색상 성분 (255가 최고치)	228	195	80
성충 개체의 녹색 색상 성분 (255가 최고치)	214	163	67
성충 개체의 청색 색상 성분 (255가 최고치)	176	90	47
기하학적 윤곽선의 형태	실험 결과 적용할 수 없음

상기 인지 대상 해충 중 진딧물의 경우에는, 상기 표에서 제시된 바와 같이, 다른 두 종류(가루이, 총채벌레)들과 확연이 구분 가능한 색상 정보를 가진다. 본 발명의 실시예에서는 따라서 우선 진딧물을 원본영상에서 추출한다. 그러나 진딧물의 날개는 투명하여 색상의 대표 값을 추출할 수 있을 정도로 뚜렷하지 않으며, 다른 개체의 색상 성분과 유사하기 때문에 배제하는 것이 바람직하다. 따라서 본 발명의 실시예에서는 진딧물의 몸통 부분에 해당하는 영상만을 추출하여 이에 대한 색상 성분을 분석하고 진딧물의 유무를 판별한다.

도 1은 본 시스템 발명의 바람직한 실시예의 구성을 제시한 도면이다.

원본영상에서 진딧물 개체를 추출하기 위해 반전영상 추출부(11)는 우선 원본영상을 8비트 그레이 레벨(gray level) 영상으로 변환시키고, 이 그레이 레벨 영상을 반전시킨 영상을 추출한다. 반전시킨 영상이 도 3b에 제시되어 있다. 그레이 레벨 영상을 반전시키는 이유는 그레이 레벨로 변환된 영상에서는 진딧물 개체가 어둡게 나타나고 배경과 그 밖의 곤충들이 밝게 나타나므로 진딧물을 효과적으로 쉽게 추출하기 위해서이다.

반전시킨 그레이 영상도 256단계의 레벨을 가진 영상이다. 제1 이진화 영상 추출부(12)는 반전시킨 영상을 소정의 임계치(threshold value)를 기준으로 이진화시킨 제1 이진화 영상을 추출하여 진딧물의 몸통 부분에 해당하는 영역만을 추출할 수 있다. 이때 이진화된 영상의 몸통 부분에 해당하는 영역을 레이블링하여 진딧물 개체만을 배경으로부터 분리시키며, 일정 범위 이상의 크기(일정 이상의 화소 수)를 갖는 개체만을 인지 후보 즉 진딧물 후보로 선택하고 나머지 개체는 버린다.

진딧물 추출 영상 도출부(13)는 레이블링이 완료된 개체 후보들이 포함된 제1 이진화 영상에 원본영상에서 진딧물 개체로 추정되는 부분의 색상 정보를 더하여 진딧물 추출 영상을 도출한다(도 3c 참조). 진딧물 존부 판단부(14)는 원본영상의 색상 정보를 근거로 한 개체 내 각 픽셀의 색상 정보의 평균값을 구하여 진딧물 개체의 존부를 최종 판단하고 원본영상의 진딧물 추정 위치에 진딧물의 보색 색상으로 ┼ 도형(인지 도형)을 덧씌워 사용자가 원본영상에서의 개체와 인지된 개체를 비교, 확인 할 수 있도록 한다.

원본영상에서 진딧물이 추출되면 가루이와 총채벌레의 추출이 이루어진다.

진딧물 개체 제거부(15)는 상기 도출된 진딧물 추출 영상을 참조하여 원본영상의 녹색 그리드(grid) 및 진딧물 개체에 배경 색상 성분과 유사한 노란 계열의 색상을 덧입혀 진딧물 개체를 제거한다. 진딧물과 인접한 가루이 및 총채벌레로 인하여 개체 추출이 어려워 오차가 발생할 수 있으므로 오차의 차단을 위해 이러한 제거 과정을 거치도록 하는 것이다.

원본영상에서 녹색 그리드 및 진딧물 개체가 제거되면, 컬러 영상 변환부(16)는 녹색 그리드 및 진딧물 개체가 제거된 영상을 YUV 형식의 컬러 영상으로 변환한다. 이는 단순 색상 정보만으로는 구분하기 힘든 가루이와 총채벌레의 윤곽선을 효과적으로 추출하기 위한 방안으로써, 색상 정보(UV)와 함께 영상의 밝기 정보(Y)까지 비교할 수 있어 가루이와 총채벌레의 추출에 효과적인 방안이다.

변환된 YUV 형식의 컬러 영상을 구성하는 Y, U, V 성분은 각각 한 화소당 8 bit로 구성되어 있는데, 윤곽선 추출부(17)는 각각의 성분에 대해 검출기(예를 들어 Prewitt Edge Detector)를 이용하여 가루이와 총채벌레의 윤곽선을 검출한다. 윤곽선이 뚜렷해진 영상은 여전히 8 비트 그레이 영상이므로 이후에 이루어질 레이블링 과정을 위해 제2 이진화 영상 추출부(18)는 윤곽선이 도출된 영상을 소정의 임계치를 기준으로 이진화시킨 제2 이진화 영상을 추출한다(도 3d 참조). 본 이진화된 영상에 포함된 각 개체는 윤곽선만을 나타내게 되며, 내부 공간만의 영상을 조합하면 개체의 윤곽선과 내부가 채워진 제2 이진화 영상을 얻을 수 있다(도 3d 참조). 이는 가루이와 총채벌레의 개체 계수를 보다 쉽게 이루어지게 하기 위함이다.

윤곽선이 추출되고 레이블링 과정을 거친 각 개체들은 두 번의 침식 과정을 거친다. 이는 곤충 각 개체들간 또는 개체와 녹색 그리드와의 인접 또는 접촉으로 인한 오류를 줄이기 위함인데 침식 과정을 통해 인접한 두 개체는 서로 떨어지게 되어 개체 계수 시 정확도를 증가시킬 수 있다.

가루이/총채벌레 추출 영상 도출부(19)는 레이블링이 완료된 개체 후보들이 포함된 제2 이진화 영상에 원본영상에서의 가루이와 총채벌레로 추정되는 부분의 색상 정보를 추출하여(도 3e 참조) 이 색상 정보를 제2 이진화 영상에 더하여 가루 이/총채벌레 추출 영상을 도출한다.

최종 영상 도출부(20)는 상기 도출된 진딧물 추출 영상과 가루이/총채벌레 추출 영상을 합성하여 이들 해충을 인지하기 위한 최종 영상을 도출한다(도 3f 참조). 진딧물, 가루이 및 총채벌레 추출 영상 도출의 전 과정이 완료되면 원본영상에 인지된 각 개체들의 위치에 ┼ 도형(인식 도형)이 표기된다(도 3f 참조). 이때 각 개체간의 구분을 위하여 가루이는 빨간색, 총채벌레는 초록색을 사용하여 표시하며, 진딧물은 색상이 어두우므로 개체 색성분의 보색을 적용하여 위치를 표시한다.

개체 수 계수부(21)는 상기 도출된 최종 영상으로부터 상기 세 해충의 개체수를 계수하는 부분으로 각 개체들의 위치에 표기된 ┼ 도형(인식 도형)의 개수를 세어 세 해충의 개체수를 계수한다. 상기에서 언급한 바와 같이 각 해충마다 다른 색의 인식 도형으로 표기되므로 인식 도형의 색을 기준으로 계수하면 세 해충의 개체수를 간단히 계수할 수 있다.

본 방법발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.

그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 균등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 본 시스템 발명의 바람직한 일실시예를 제시한 도면이다.

도 2a는 끈끈이 트랩의 단면이 제시된 도면이다.

도 2b는 끈끈이 트랩이 설치된 일 태양이 제시된 도면이다.

도 3a 내지 도 3f는 본 발명이 구현되는 과정의 중간 결과 영상들을 제시한 도면이다.

Claims (7)

1. 해충이 촬영된 원본영상에서 진딧물 개체를 추출하기 위해 상기 원본영상의 그레이 레벨 영상의 반전 영상을 추출하는 반전영상 추출부;

   상기 반전 영상을 소정의 임계치를 기준으로 이진화시킨 제1 이진화 영상을 추출하여 상기 진딧물 개체만을 상기 원본영상의 배경으로부터 분리시키는 제1 이진화 영상 추출부;

   상기 제1 이진화 영상에 상기 원본영상에서 상기 진딧물 개체로 추정되는 부분의 색상 정보를 더하여 진딧물 추출 영상을 도출하는 진딧물 추출 영상 도출부;

   상기 원본영상에서의 상기 추정되는 부분의 각 화소의 색상 정보의 평균값을 근거로 상기 진딧물 추출 영상으로부터 상기 진딧물 개체의 존부를 최종 판단하는 진딧물 존부 판단부;

   상기 도출된 진딧물 추출 영상을 참조하여 상기 원본영상으로부터 상기 진딧물 개체를 제거하는 진딧물 개체 제거부;

   상기 진딧물 개체가 제거된 영상을 YUV 형식의 컬러 영상으로 변환하는 컬러 영상 변환부;

   상기 Y, U, V 각각의 성분으로부터 가루이 개체와 총채벌레 개체의 윤곽선을 추출하는 윤곽선 추출부;

   상기 윤곽선이 추출된 영상을 소정의 임계치를 기준으로 이진화시킨 제2 이진화 영상을 추출하는 제2 이진화 영상 추출부;

   상기 제2 이진화 영상에 상기 원본영상에서의 가루이 개체와 총채벌레 개체로 추정되는 부분의 색상 정보를 추출한 후 상기 제2 이진화 영상에 더하여 가루이/총채벌레 추출 영상을 도출하는 가루이/총채벌레 추출 영상 도출부; 및

   상기 도출된 진딧물 추출 영상과 가루이/총채벌레 추출 영상을 합성하여 이들 해충을 인지하기 위한 최종 영상을 도출하는 최종 영상 도출부를 포함하는 해충 인지 시스템.
2. 제 1 항에 있어서,

   상기 도출된 최종 영상으로부터 상기 세 해충의 개체수를 계수하는 개체 수 계수부를 더 포함하는 해충 인지 시스템.
3. 제 2 항에 있어서,

   상기 최종 영상 도출부는 상기 각 개체의 구분을 위하여 상기 각 개체에 서로 다른 색을 사용한 인식 도형을 표시하며,

   상기 계수부는 상기 서로 다른 인식 도형의 색을 기준으로 상기 각 개체의 수를 계수하는 것을 특징으로 하는 해충 인지 시스템.
4. (a)해충이 촬영된 원본영상에서 진딧물 개체를 추출하기 위해 상기 원본영상의 그레이 레벨 영상의 반전 영상을 추출하는 단계;

   (b)상기 반전 영상을 소정의 임계치를 기준으로 이진화시킨 제1 이진화 영상 을 추출하여 상기 진딧물 개체만을 상기 원본영상의 배경으로부터 분리시키는 단계;

   (c)상기 제1 이진화 영상에 상기 원본영상에서 상기 진딧물 개체로 추정되는 부분의 색상 정보를 더하여 진딧물 추출 영상을 도출하는 단계;

   (d)상기 원본영상에서의 상기 추정되는 부분의 각 화소의 색상 정보의 평균값을 근거로 상기 진딧물 개체의 존부를 최종 판단하는 단계;

   (e)상기 도출된 진딧물 추출 영상을 참조하여 상기 원본영상으로부터 상기 진딧물 개체를 제거하는 단계;

   (f)상기 진딧물 개체가 제거된 영상을 YUV 형식의 컬러 영상으로 변환하는 단계;

   (g)상기 Y, U, V 각각의 성분으로부터 가루이 개체와 총채벌레 개체의 윤곽선을 추출하는 단계;

   (h)상기 윤곽선이 추출된 영상을 소정의 임계치를 기준으로 이진화시킨 제2 이진화 영상을 추출하는 단계;

   (i)상기 제2 이진화 영상에 상기 원본영상에서의 가루이 개체와 총채벌레 개체로 추정되는 부분의 색상 정보를 추출한 후 상기 제2 이진화 영상에 더하여 가루이/총채벌레 추출 영상을 도출하는 단계; 및

   (j)상기 도출된 진딧물 추출 영상과 가루이/총채벌레 추출 영상을 합성하여 이들 해충을 인지하기 위한 최종 영상을 도출하는 단계를 포함하는 해충 인지 방법.
5. 제 4 항에 있어서,

   (k)상기 도출된 최종 영상으로부터 상기 세 해충의 개체수를 계수하는 단계를 더 포함하는 해충 인지 방법.
6. 제 5 항에 있어서,

   상기 (j)단계에 의한 최종 영상의 도출시에 상기 각 개체의 구분을 위하여 상기 각 개체에 서로 다른 색의 인식 도형을 표시하며,

   상기 (k)단계에 의한 계수는 상기 서로 다른 인식 도형의 색을 기준으로 이루어지는 것을 특징으로 하는 해충 인지 방법.
7. 제 4 항 내지 제 6 항의 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.

Images