KR101271074B1 - 온실 작물 모니터링 방법 및 영상 감지형 온실 작물 모니터링 시스템 - Google Patents

Abstract

본 발명은 온실 작물 모니터링 방법 및 영상 감지형 온실 작물 모니터링 시스템에 관한 것이다. 이와 같은 본 발명에 따른 온실 작물 모니터링 방법은 작물이 재배되는 온실 내부를 촬영하여 영상정보를 획득하는 정보 획득단계와; 영상정보를 분석하여 작물 상태를 판단하는 정보 판단단계를 포함하되, 정보 판단단계는 영상정보로부터 작물 개체를 개별적으로 인지하고, 인지된 작물 개체의 잎 특성을 개별적으로 검출하여 작물 개체의 상태를 개별적으로 판단하는 것을 특징으로 한다. 또한, 본 발명에 따른 영상 감지형 온실 작물 모니터링 시스템은 정해진 위치에 설치되는 촬영기구를 구비하고, 촬영기구를 통해 작물이 재배되는 온실 내부를 촬영하여 영상정보를 획득하는 영상정보획득 유니트와; 영상정보획득 유니트와 연결되어 영상정보를 입력받고, 정보판단 알고리즘을 갖는 컨트롤러가 구비되어 입력된 영상정보로부터 작물 상태를 판단하여 상태정보를 산출하는 영상정보판단 유니트를 포함하되, 정보판단 알고리즘은 영상정보로부터 작물 개체를 개별적으로 인지하는 개체 인지 서브 알고리즘과; 인지된 작물 개체의 잎 특성을 개별적으로 검출하는 잎 특성 검출 서브 알고리즘과; 작물 개체의 상태를 개별적으로 판단하여 상태정보를 산출하는 상태판단 서브 알고리즘을 포함하는 것을 특징으로 한다.
본 발명에 따른 온실 작물 모니터링 방법 및 영상 감지형 온실 작물 모니터링 시스템은 작물이 재배되는 온실 내부를 촬영한 영상정보를 통한 작물 개체의 잎 특성 검출, 작물 개체의 상태 판단이 개별적으로 이루어지도록 하여 온실 작물에 대한 모니터링이 정확하고 원활하게 수행되도록 하고, 작물 상태(생장 상태, 병해 유무 등)가 개체별로 실시간으로 감시되어 작물 개체별 상태 변동에 신속하고 적절하게 대응할 수 있도록 하며, 이로써 작물 재배효율이 증대되도록 한다.

Description

온실 작물 모니터링 방법 및 영상 감지형 온실 작물 모니터링 시스템{Monitering method for greenhouse crops and monitoring system for greenhouse crops by photographing}

본 발명은 온실 작물 모니터링 방법 및 영상 감지형 온실 작물 모니터링 시스템에 관한 것으로, 좀더 구체적으로는 작물이 재배되는 온실 내부를 촬영한 영상정보를 통한 작물 개체의 인지, 작물 개체의 잎특성 검출, 작물 개체의 상태 판단이 개별적으로 이루어지도록 하여 온실 작물에 대한 모니터링이 정확하고 원활하게 수행되고, 작물 상태(생장 상태, 병해 유무 등)가 개체별로 실시간으로 감지되어 작물 개체별 상태 변동에 적절하게 대응할 수 있는 온실 작물 모니터링 방법 및 영상 감지형 온실 작물 모니터링 시스템에 관한 것이다.

각종 작물의 온실재배는 내부 온습도조절을 통해 작물 생장에 요구되는 온습도 환경을 상시적으로 제공할 수 있어 현재 널리 활용되고 있다. 또한, 온실에서는 계절에 상관없이 작물을 재배할 수 있음에 따라, 높은 경제성으로 농가의 중요한 소득원이 된다. 따라서, 농가의 소득 구조를 향상시키기 위해서 온실 내 작물의 재배 효율을 증대시킬 필요가 있었다.

작물의 병충해를 방지하는 한편, 해당 작물의 생장조건에 맞추어 최적화된 환경조건에서 작물을 재배함으로써 온실 내 작물의 재배 효율을 향상시킬 수 있는데, 이를 위해서는 온실 내에서 재배되는 작물의 생장상태나 병충해 유무를 수시로 점검하는 것이 바람직하다. 그러나, 온실에서 재배되는 작물 개체를 일일이 점검할 시 작업인원과 작업시간의 소모가 많아 점검 작업에 따르는 불편함과 번거로움이 상당하였고, 작물 개체 점검의 정확도는 작업인원의 전문성과 숙련도에 의존함에 따라 작물 개체에 대한 부정확한 점검이 이루어질 소지가 많았다.

따라서, 이를 개선하여 온실에서 재배되는 작물 개체에 대한 점검 작업이 최소한의 인원으로 이루어지는 한편, 작물 개체의 점검이 정확하게 이루어질 수 있는 시스템의 개발이 현재 요구되는 실정이라 하겠다.

본 발명은 이와 같은 기술 개발의 일환으로 창출한 것으로서, 온실 내부의 작물을 촬영한 영상정보로부터 작물 개체의 잎 특성과 상태를 판단하도록 하여 작물의 생장 상태나 병해 유무를 감시하기 위한 온실 작물의 모니터링이 정확하고 원활하게 수행될 수 있는 새로운 형태의 온실 작물 모니터링 방법 및 영상 감지형 온실 작물 모니터링 시스템을 제공함에 목적이 있다.

또한, 본 발명은 작물의 영상정보와 상태정보가 모니터링 시스템에 의해 자동으로 실시간으로 획득되고, 온실과 온실 관리자 간 통신을 통해 작물의 영상정보와 상태정보가 온실 관리자에게 실시간으로 전달되어 작물 개체별 상태 변동에 적절하게 대응할 수 있어 작물 재배가 원활하게 수행될 수 있도록 하는 새로운 형태의 온실 작물 모니터링 방법 및 영상 감지형 온실 작물 모니터링 시스템을 제공함에 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 온실 작물 모니터링 방법은, 작물이 재배되는 온실 내부를 촬영하여 영상정보를 획득하는 정보 획득단계와; 상기 영상정보를 분석하여 작물 상태를 판단하는 정보 판단단계를 포함하되, 상기 정보 판단단계는 영상정보로부터 작물 개체의 잎 특성을 개별적으로 검출하여 작물 개체의 상태를 개별적으로 판단하는 것을 특징으로 한다.

이와 같은 본 발명에 따른 온실 작물 모니터링 방법에서 상기 작물 개체의 잎 특성은 색깔, 모양, 반점의 존재 유무, 반점의 모양을 포함하는 것을 특징으로 한다.

이와 같은 본 발명에 따른 온실 작물 모니터링 방법에서 상기 정보 획득단계는 촬영기구를 온실 상부에 배치하여 부감 촬영을 통해 영상정보를 획득하고, 촬영기구를 상하방향으로 이동시키면서 영상정보를 획득하는 것을 특징으로 한다.

이와 같은 본 발명에 따른 온실 작물 모니터링 방법에서 상기 정보 획득단계는 온실 상부에 배치되는 촬영기구를 통해 수평면으로 투영된 수평면 영상정보를 획득하되, 상기 정보 판단단계는 오버랩 분석 알고리즘을 통해 각 작물 개체가 서로 겹쳐지는 부위를 분석하여 각 작물 개체의 고유한 부위를 분리하여 검출할 수 있도록 하는 것을 특징으로 한다.

이와 같은 본 발명에 따른 온실 작물 모니터링 방법에서 상기 온실 상부에 복수 개의 촬영기구를 정해진 간격으로 배열하여 상기 온실에 수용된 작물 전체가 수평면으로 투영된 수평면 영상정보를 획득하는 것을 특징으로 한다.

이와 같은 본 발명에 따른 온실 작물 모니터링 방법에서 상기 정보 획득단계는 상하방향으로 이동하는 촬영기구를 통해 수직면으로 투영된 수직면 영상정보를 획득하되, 상기 정보 판단단계는 상기 수직면 영상정보로부터 각 작물 개체의 크기를 검출하는 것을 특징으로 한다.

이와 같은 본 발명에 따른 온실 작물 모니터링 방법에서 온실 관리자는 상기 정보 획득단계에서 획득된 영상정보와, 상기 정보 판단단계에서 판단된 작물 상태를 유무선 통신을 통해 전달받게 되는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 영상 감지형 온실 작물 모니터링 시스템은, 정해진 위치에 설치되는 촬영기구를 구비하고, 상기 촬영기구를 통해 작물이 재배되는 온실 내부를 촬영하여 영상정보를 획득하는 영상정보획득 유니트와; 상기 영상정보획득 유니트와 연결되어 영상정보를 입력받고, 정보판단 알고리즘을 갖는 컨트롤러가 구비되어 입력된 영상정보로부터 작물 상태를 판단하여 상태정보를 산출하는 영상정보판단 유니트를 포함하되, 상기 정보판단 알고리즘은 작물 개체의 잎 특성을 개별적으로 검출하는 잎 특성 검출 서브 알고리즘과; 작물 개체의 상태를 개별적으로 판단하여 상태정보를 산출하는 잎 상태판단 서브 알고리즘을 포함하는 것을 특징으로 한다.

이와 같은 본 발명에 따른 영상 감지형 온실 작물 모니터링 시스템에서 상기 영상정보판단 유니트는 상기 온실과 온실 관리자 간 통신을 수행하는 통신모듈을 구비하여 상기 영상정보와 상태정보가 상기 온실 관리자에게 전달될 수 있도록 하는 것을 특징으로 한다.

이와 같은 본 발명에 따른 영상 감지형 온실 작물 모니터링 시스템에서 상기 통신모듈은 상기 온실과, 상기 온실 관리자의 주거지 간 무선통신을 수행하는 무선 네트워크망인 것을 특징으로 한다.

이와 같은 본 발명에 따른 영상 감지형 온실 작물 모니터링 시스템에서 상기 영상정보획득 유니트는 상기 온실 내측 상부에 다수열과 다수행을 이루며 배열되어 망구조를 이루는 복수 개의 촬영기구를 구비하여, 상기 온실에 수용된 작물 전체가 수평면으로 투영된 수평면 영상정보를 획득되는 것을 특징으로 한다.

상기와 같이 이루어지는 본 발명의 온실 작물 모니터링 방법 및 영상 감지형 온실 작물 모니터링 시스템은 온실 내부에 위치한 작물의 영상정보와 상태정보가 자동으로 실시간으로 획득되어 작물 관리에 요구되는 인원과 시간의 절감을 도모할 수 있고, 작물 개체의 잎 특성 검출, 작물 개체의 상태 판단이 개별적으로 이루어져 온실 작물의 모니터링이 빠짐없이 정확하고 정밀하게 수행될 수 있으며, 온실과 온실 관리자 간 통신을 통해 작물의 영상정보와 상태정보가 온실 관리자에게 실시간으로 전달되어 작물 개체별 상태 변동에 적절하게 대응할 수 있게 된다. 이로써, 본 발명은 작물의 병해를 방지하면서 작물 재배를 원활하게 수행할 수 있도록 한다.

도 1은 본 발명의 실시 예에 따른 온실 작물 모니터링 방법을 보여주기 위한 순서도;
도 2는 본 발명의 실시 예에 따른 온실 작물 모니터링 방법에서 작물 개체의 잎을 인지하기 위한 잎 인지 알고리즘을 보여주기 위한 블록도;
도 3은 Bezier 곡선에 의해 제시되는 잎의 가장자리 이미지;
도 4는 MLP에 기반하여 확인된 잎 경계들을 보여주기 위한 이미지;
도 5는 랜드마크들로 표시된 훈련 집합에서의 잎 이미지;
도 6은 부분적인 가장자리 유형의 정의와 잎의 근사적인 무게중심를 구하는 것을 보여주기 위한 이미지;
도 7은 변형가능 모델을 사용하여 잎 이미지를 검색하고 수렴하는 단계에서 최적 점들을 검색하는 과정을 보여주기 위한 이미지;
도 8은 변형가능 모델을 사용하여 잎 이미지를 검색하고 수렴하는 단계에서 이미지 데이터에 수렴한 잎 모델을 보여주기 위한 이미지;
도 9는 랜드마크를 관통하는 수선을 따라서 국소적인 모양을 검사함으로써 잎 이미지를 검색하는 과정을 보여주기 위한 도면;
도 10은 MLP ASM 프로세스에 의해 인지되는 고추 잎을 보여주기 위한 이미지;
도 11은 MLP ASM 프로세스에 의해 인지되는 손상된 파프리카 잎을 보여주기 위한 이미지;
도 12는 세가지 유형의 ASM 프로세스에 의한 고추 잎 인지의 ROC 분석 그래프;
도 13은 세가지 유형의 ASM 프로세스에 의한 파프리카 잎 인지의 ROC 분석 그래프;
도 14는 Otsu의 문턱값 방법을 보여주기 위한 그래프;
도 15는 반점을 가진 잎의 이미지;
도 16은 Otsu의 문턱값 방법을 적용한 잎 반점 검출 알고리즘을 통해 도 15의 이미지로부터 잎 반점을 검출한 이미지;
도 17은 본 발명의 실시 예에 따른 영상 감지형 온실 작물 모니터링 시스템을 보여주기 위한 블록도;
도 18의 (a)는 본 발명의 실시 예에 따른 영상정보획득 유니트를 이루는 촬영기구를 보여주기 위한 도면;
도 18의 (b)는 본 발명의 다른 실시 예에 따른 영상정보획득 유니트를 이루는 촬영기구를 보여주기 위한 도면이다.

이하, 본 발명의 실시 예를 첨부된 도면 도 1 내지 도 18에 의거하여 상세히 설명한다. 한편, 도면과 상세한 설명에서 일반적인 온실, 작물, 작물 재배, 모니터링 시스템 등으로부터 이 분야의 종사자들이 용이하게 알 수 있는 구성 및 작용에 대한 도시 및 언급은 간략히 하거나 생략하였다. 특히 도면의 도시 및 상세한 설명에 있어서 본 발명의 기술적 특징과 직접적으로 연관되지 않는 요소의 구체적인 기술적 구성 및 작용에 대한 상세한 설명 및 도시는 생략하고, 본 발명과 관련되는 기술적 구성만을 간략하게 도시하거나 설명하였다.

도 1은 본 발명의 실시 예에 따른 온실 작물 모니터링 방법을 보여주기 위한 순서도이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 온실 작물 모니터링 방법은 정보 획득단계와 정보 판단단계를 거쳐 온실(1) 내부에서 재배되는 작물이 모니터링될 수 있도록 한다.

정보 획득단계는 작물이 재배되는 온실 내부를 촬영하여 영상정보를 획득하는 단계이다. 이와 같은 정보 획득단계는 촬영기구(22)를 온실(1) 상부에 배치하여 부감 촬영을 통해 영상정보를 획득하는데, 이를 위하여 온실(1) 상부에 복수개의 촬영기구(22)를 정해진 간격으로 배열하여 복수 개의 촬영기구(22)를 통해 영상정보를 획득할 수 있다. 이와 같은 복수 개의 촬영기구(22)에 의한 부감 촬영을 통해 온실(1)에 수용된 작물 전체가 수평면으로 투영된 수평면 영상정보가 획득되도록 하는 것이 바람직하다.

또한, 정보 획득단계는 촬영기구(22)를 상하방향으로 이동시키면서 영상정보를 획득한다. 여기서, 상하방향으로 이동하는 촬영기구(22)를 통해 수직면으로 투영된 수직면 영상정보가 획득되도록 하는 것이 바람직하다. 이와 같이 획득되는 수직면 영상정보를 통해 정보 판단단계는 각 작물 개체의 크기를 검출하게 된다.

정보 판단단계는 영상정보를 분석하여 작물 상태를 판단하는 단계이다.

온실내에서 각 작물은 일정한 간격으로 배치되어 있고, 영상촬영 장치는 상하방향으로만 움직일 수 있으므로 각 영상촬영 장치에 대하여 작물의 개체의 위치가 파악될 수 있어 작물 개체 각각에 대하여 영상인식을 할 수 있다.

이와 같이 작물 개체가 인지되면, 인지된 작물 개체의 잎 특성을 개별적으로 검출하는데, 작물 개체의 잎은 표본으로 설정된 잎 이미지모형을 이용하여 영상정보로부터 인지된다. 여기서, 본 발명의 실시 예에 따른 정보 판단단계는 오버랩 분석 알고리즘을 통해 각 작물 개체가 서로 겹쳐지는 부위를 분석하여 각 작물 개체의 고유한 부위를 분리하여 검출할 수 있도록 한다. 이로써, 본 발명의 실시 예에 따른 온실 작물 모니터링 방법에서는 작물 개체의 잎 특성이 작물 개체별로 정확하게 검출될 수 있다

작물 개체의 잎을 인지하기 위한 잎 인지 알고리즘을 도 2를 참조하여 상세히 설명하면 다음과 같다.

먼저, 획득된 영상정보에서 배경을 제거하고, Bezier 곡선 맞추기 방법에 따라 잎 가장자리와 잎맥을 포함하는 이미지 경계들을 잘라낸다.

다음으로, MLP(Multi-Layer Perception)을 사용하여 Bezier 곡선에 의하여 주어지는 입력데이터에 기반한 잎 경계들을 인지해 잎의 경계를 명확하게 한다. 여기서, 도 3에서와 같이 제2차 Bezier 곡선을 적용하여 부분적인 잎 경계들을 검출하고, 최소 자승법에 의한 평탄화를 수행하게 된다. 잎 이미지의 가장자리는 잎맥 가장자리, 하나의 잎 경계 가장자리, 서로 중첩된 잎들 가장자리의 세가지 유형으로 정의될 수 있다. Bezier 곡선에 의해 분할된 잎 경계들은 MLP(Multi-Layer Perception)을 이용한 훈련에 요청되는 입력데이터로 사용된다. 그리고, 이미지의 가장자리를 수직으로 관통하는 표본 직선으로부터 획득되는 1차원 이미지가 이미지의 가장자리 점 주위의 국소 정보를 나타내는데 사용되며 MLP를 훈련시키기 위한 입력데이터로 사용된다. 여기서, 잎 경계들 중 100개의 잎 경계와 잎맥들 중 100개의 잎맥을 이용하여 MLP 네트워크를 훈련한다. MLP 네트워크는 입력층, 숨겨진 층과 출력층 등 3개의 층으로 구성되는데, MLP의 출력 노드는 2진수로서 정의된다. 즉, 한 잎의 경계와 포개지거나 덮혀진 잎의 경계를 포함하는 잎의 경계는 1로 정의되고, 잎맥은 -1로 정의된다. 여기서, 잎의 가장자리 점의 60% 이상이 잎 경계점으로 인정될 경우에는 해당 가장자리는 잎 경계 또는 잎맥으로 분류되는데, 도 4는 잎 이미지로부터 인식된 잎 경계를 보여준다.

그리고, 온실에서 재배되고 있는 작물로부터 설정되는 잎 이미지모형으로부터 축적된 정보를 이용해서 학습과정을 진행하여 변형가능 모델인 ASM(Active Shape Model)이 점차 개선되도록 하는데, 부분적인 잎 경계들에서 획득되는 정보를 종합하여 전체적인 잎 이미지를 나타내도록 하는 변형가능 모델이 형성되도록 한다. 마지막으로 온실에서 획득한 잎 이미지를 최적화하여 훈련된 모델들에 맞추어 잎을 인지하도록 한다.

여기서, ASM에서 목표 형체는 n개의 랜드마크들로 된 형체 벡터

로 나타낸다.

상기 수식에서

들은 훈련 집합에서 i번째 형체의 j번째 랜드마크의 좌표이고, N은 훈련 집합에 속한 이미지들의 개수이며, T는 전치행렬 연산자이다.

변형가능 잎 모델을 생성하기 위해 도 5에서와 같이 온실 작물 중에서 전형적인 잎을 선택하여 표본 잎으로 설정하고, 표본 잎들에 잎 외형을 따라 수작업으로 랜드마크를 표시한다.

한편, 형체 변이들을 분석하기 전에 훈련 집합에서 해당되는 점들 사이에 가중치가 부여된 거리 제곱의 최소화를 통해 평행이동, 회전, 늘이기 등에 의해 형체들을 정렬한다. 훈련 이후에는 훈련 집합 안에 있는 각종 형체들은 다음과 같이 근사적으로 평균 형체와 가중치가 부여된 변이 모드들로 표현될 수 있게 된다.

여기서,

는 첫 t개의 고유치-벡터들로 된 행렬이고, b는 가중치 벡터이다. 잎 모델은 평균 형체에서 변형되어 가중치 벡터 b를 바꿈으로써 새로운 데이터에 맞추도록 한다.

한편, Bezier 곡선들에 의해 구분된 부분적인 경계들은 잎 모델의 중심 위치를 찾는데 이용된다. 곡률에 기반하여 도 6에서와 같이 잎 경계들은 두 개의 서로 다른 유형(A, B)로 나누어진다. 유형A는 잎의 끝 부분에 가까운 경계를 나타내고, 그것의 형체는 직선에 근접한다. 유형B는 앞의 측면 경계 부분에 위치하며 경계를 따라 곡률값을 가진다. Bezier 곡선의 조정 점들은 곡선 모양을 기술하는데 사용된다. 예를 들어, 측면 경계인 경우, 조정 점 P1에서 각도 α는 경계 곡률을 기술하도록 정의되고, 이에 반하여 곡선 길이는 P0-P1의 직선길이로 근사된다. 중심 점들이 정의된 후, 모델들은 차례로 잎 이미지 근처에 정렬되고, 모델의 초기 위치를 정하는데 있어서 모델의 근사적인 중심 Pc점은 잎 이미지 근처에서 계산된다.

그리고, 도 7과 도 8에서와 같이 다음의 세 단계를 반복하여 모델이 최적 위치에 수렴되거나, 최대의 단계에 도달할 때까지 이미지 데이터를 일치시킨다.

제1단계는 형체 외형에서의 각 랜드마크에 대하여 랜드마크에 대한 수직 각도방향으로 최적 위치들을 찾는다. 모델은 각 랜드마크 주위에서 이미지의 최적 일치 위치인 잎 경계를 검색하고, 현재 위치에서부터 선호하는 위치로의 이동을 계산한다. 제2단계에서 상기 제1단계에서부터 얻은 이동에 따라, 최적의 형체가 평행이동, 회전, 늘이기, 가중치 벡터 b와 같은 변이 매개변수에 의해 조정되도록 한다. 제3단계는 모델의 변이와 위치 매개변수들을 갱신하게 된다.

식물의 잎 인지 알고리즘에서 원래의 ASM에 기반한 모양 일치를 위한 Mahalanobis 거리는 예비 테스트에 따라 잎의 경계와 잎맥을 구분할 수 없으나, 본 발명에 따른 식물의 잎 인지 알고리즘의 ASM은 다음과 같은 프로세스를 도입하여 잎의 경계와 잎맥을 구분하게 된다. ASM에 도입될 수 있는 하나의 프로세스는 경계 ASM으로 명명되는 것으로, 도 4에 적용된 MLP 분류자에 의해 분류된 잎 경계들만을 일치시키는 프로세스이다. ASM에 도입될 수 있는 또하나의 프로세스는 MLP ASM으로 명명되는 것으로, 도 9에서와 같이 랜드마크들이 위치한 지점에서 곡선의 수선을 따라 가장자리 양측 정보를 사용하는 프로세스이다. 상기 경계 ASM의 MLP 분류자는 MLP ASM에 병합될 수 있다. 여기서 MLP 분류자는 각 랜드마크에서 검색 방향에 따라 각 픽셀을 검사하고, 변형에 대한 경계 픽셀들을 확인하게 된다.

도 10의 고추 잎과 도 11의 손상된 파프리카 잎에 대하여 일반적 ASM 프로세스, 상기에서 개시된 경계 ASM 프로세스, 상기에서 개시된 MLP ASM 프로세스를 적용하여 잎을 인지하는 실험을 수행한 결과는 다음의 [표 1], [표 2] 및 도 12, 도 13에 도시된 바와 같다. 여기서, 잎 인지 실험은 105개의 잎을 가진 고추와 59개의 잎을 가진 파프리카에 대한 24개의 영상 이미지로부터 수행되었다.

	일반적 ASM	경계 ASM	MLP ASM
단독 잎	85.7%(18)	85.7%(18)	85.7%(18)
겹쳐진 잎	23.3%(10))	76.7%(33)	76.7%(33)
가려진 잎	29.3%(12)	63.4%(26)	87.8%(36)
평균	46.1%	75.3%	83.4%

	일반적 ASM	경계 ASM	MLP ASM
단독 잎	66.7%(6)	66.7%(6)	77.8%(7)
겹쳐진 잎	30.0%(9))	63.3%(19)	76.7%(23)
가려진 잎	25.0%(5)	60.0%(12)	70.0%(14)
평균	40.6%	63.3%	74.8%

고추 잎의 인지율은 [표 1]에서와 같이, 단독 잎의 경우 85.7% 의 가장 높은 인지율을 보였으며 MLP ASM 프로세스와 일반적 ASM 프로세스가 큰 차이를 보이지 않는다. 가려진 잎의 인지율은 특히 MLP-ASM 프로세스에서 87.8%로 높게 나타나며, 다음으로 경계-ASM 프로세스에서 63.4%의 인지율로 나타나는 반면, 일반적 ASM 프로세스에서 29.3%의 가장 낮은 인지율로 나타난다.

고추와 같은 과이면서 종이 다른 파프리카 잎의 인지율도 [표 2]에서 확인되는 바와 같이 고추 잎과 동일한 패턴의 인지율을 보이고 있으나, 파프리카는 고추와 달리 줄기에서 많은 잎이 겹쳐 자라기 때문에 많은 단독 잎을 사용하기에는 제한이 있음을 확인할 수 있다.

도 12와 도 13에는 고추 잎과 파프리카 잎에 대한 ROC 분석 결과가 그래프로 도시되어 있다. 이와 같은 ROC 분석은 잎 인지 알고리즘의 성능을 평가하는데 유용한데, 전체 105개 고추 잎이 648개의 변형 가능한 모델로 시험되는 한편, 59개의 파프리카 잎이 824개의 변형 가능한 모델로 시험되었다. 두 종의 식물 모두에서 MLP ASM 프로세스의 성능이 가장 좋음을 확인할 수 잇으며, 다음으로 경계 ASM 프로세스, 일반적 ASM 프로세스의 순서로 성능이 좋음을 확인할 수 있다. 한편, ROC에서 TPR(True positive rate)는 실제 제시된 모델 사이에서는 서로 다르게 나타났으며, FPR(False positive rate)는 두 종에 대한 각 방법에서 큰 차이를 보이지 않았다.

상기 실험에서 MLP-ASM 프로세스가 잎 인지 알고리즘에 적용될 경우, 다수개의 잎이 서로 겹쳐져 있거나 서로 맞물려 있을 경우의 잎 인지율이 개선됨을 확인할 수 있다.

본 발명의 실시 예에 따른 정보 판단단계는 인지된 작물 개체의 잎을 분석하여 잎 특성을 검출하게 되는데, 작물 개체의 잎 특성에는 잎의 색깔, 잎의 모양, 반점의 존재 유무, 반점의 모양 등이 포함될 수 있다. 여기서, 검출되는 잎 특성은 온실 작물의 특성이나 온실 작물의 재배 특성, 기타 각종 재배 조건에 따라 잎의 색깔, 잎의 모양, 반점의 존재 유무, 반점의 모양 등에서 하나 이상 선택될 수 있다.

상기와 같이 검출되는 작물 개체의 잎 특성에 따라, 작물 개체의 상태를 개별적으로 판단하게 된다. 즉, 잎의 색깔을 통해 병해의 발현 유무와 병해의 진행정도를 판단할 수 있다. 예를 들어, 특정 작물 개체의 잎 색깔이 자주색, 빨간색, 흰색일 경우 병해가 발현된 것으로 판단할 수 있고, 특정 작물 개체의 잎 색깔이 노란색일 경우 병해가 발현되기 직전 상태로 판단할 수 있다. 또한, 특정 작물 개체의 잎에 나타나는 반점 존재 유무를 통해 병해의 발현 유무를 판단할 수 있고, 작물 개체의 잎에 나타나는 반점의 개수나 반점의 크기를 통해 병해의 진행정도를 판단할 수 있다. 이와 더불어 반점의 모양을 통해서 병해의 진행정도나 병해의 종류를 판단할 수 있다. 그리고, 특정 작물 개체의 잎 모양을 통해서 병해의 발현 유무나 병해의 진행정도를 판단할 수도 있다. 예를 들어, 특정 작물 개체가 수축된 상태의 잎 모양, 시들한 상태의 잎 모양, 구겨진 상태의 잎 모양, 흐물해 진 상태의 잎 모양을 가지는지를 패턴 인식을 통해 판별하여 특정 작물 개체의 병해의 발현 유무와 병해의 진행정도를 판단할 수 있다.

여기서, 작물 개체의 잎에 형성된 반점을 검출하는 알고리즘은 도 14에 도시된 바와 같이 Otsu의 문턱값 방법을 적용하여 수행된다. 이와 같은 잎에 형성된 반점을 검출하는 것은 병든 잎의 징후는 잎 표면의 반점이나 구멍을 통해 드러나기 때문이다.

상기와 같이 Otsu의 문턱값 방법을 적용한 잎 반점 검출 알고리즘은 특정 영상에서 특정 픽셀의 명도값 x가 0인지 1인지 판별함으로써 잎의 반점이나 구멍을 검출하게 된다. 이는 전체 영상이나 국소 영상에 대한 임계값(threshold) T를 설정하여 해당 픽셀의 명도값 x가 T보다 작을 경우는 0으로 판정하고, 클 경우는 1로 판정하는 프로세스로 이루어지는데, Otsu의 문턱값 방법은 영상의 히스토그램 형태를 쌍봉형(bimodal으로 가정하여 계곡점(valley)을 찾아 그 점을 임계값(T)으로 하는 것이다.

도 15의 잎 이미지에 대하여 상기의 Otsu의 문턱값 방법을 적용한 잎 반점 검출 알고리즘을 적용하여 잎의 반점을 검출한 이미지가 도 16에 도시되어 있다.

한편, 상기와 같은 Otsu의 문턱값 방법을 적용한 잎 반점 검출 알고리즘에 의해 큰 반점이나 반점의 개수가 설정값을 초과하게 되면 모니터링 시스템을 통해 질병 경고를 발생시킬 수 있다.

이와 같은 잎 특성을 통한 작물 개체의 상태 판단은 작물 개체의 종류에 한정되므로, 잎 특성을 통한 작물 개체의 상태 판단은 작물 개체의 종류별로 달라진다.

한편, 정보 판단단계는 인지된 작물 개체의 폭과 키를 영상정보를 통해 검출하여 이를 통해 작물 개체의 생장 상태/재배 상태를 판단할 수 있다.

그리고, 본 발명의 실시 예에 따른 온실 작물 모니터링 방법에서는 온실 관리자가 정보 획득단계에서 획득된 영상정보와, 정보 판단단계에서 판단된 작물 상태를 유무선 통신을 통해 전달받도록 하는데, 이에 따라, 온실 관리자는 온실 작물에 대한 영상정보와 작물 상태 정보를 실시간으로 전달받으며 작물 개체별 상태 변동에 적절하게 대응할 수 있게 된다. 이로써, 온실 관리자는 최소한의 인원으로 작물의 병해를 방지하면서 작물 재배를 원활하게 수행할 수 있게 된다. 즉, 본 발명의 실시 예에 따른 온실 작물 모니터링 방법을 온실 작물 재배에 적용할 시 온실 작물의 모니터링이 자동으로 수행됨에 따라, 온실 작물 관리에 최소한의 인원이 소모될 뿐만 아니라, 작물 병해 예방 및 작물 병해 대처나 작물 재배 관리와 같은 온실 작물 관리 작업에 소요되는 작업시간도 최소화되는 이점이 있다.

도 17은 본 발명의 실시 예에 따른 영상 감지형 온실 작물 모니터링 시스템을 보여주기 위한 블록도이다.

도 17을 참조하면, 본 발명의 실시 예에 따른 영상 감지형 온실 작물 모니터링 시스템(100)은 온실(1) 내부에서 재배되는 작물을 영상정보를 통해 모니터링하기 위한 것으로, 영상정보획득 유니트(20)와 영상정보판단 유니트(40)를 포함하여 이루어진다.

영상정보획득 유니트(20)는 온실(1)의 정해진 위치에 설치되는 촬영기구(22)를 구비하는 것으로, 이와 같은 촬영기구(22)를 통해 작물이 재배되는 온실(1) 내부를 촬영하여 영상정보를 획득하게 된다. 여기서, 영상정보획득 유니트(20)는 복수 개의 촬영기구(22)를 구비할 수 있다. 그리고, 영상정보획득 유니트(20)는 복수 개로 구비되는 촬영기구(22)를 온실(1)의 상부에 배치하여 부감 촬영을 통해 영상정보를 획득할 수 있다. 또한, 영상정보획득 유니트(20)는 복수 개로 구비되는 촬영기구(22)를 온실(1)의 측면부에 배치하여 촬영기구(22)를 상하방향으로 이동시키면서 영상정보를 획득할 수 있다.

영상정보판단 유니트(40)는 영상정보획득 유니트(20)와 연결되어 영상정보를 입력받는 것으로, 이와 같은 영상정보판단 유니트(40)는 정보판단 알고리즘을 갖는 컨트롤러(42)를 구비하여 입력된 영상정보로부터 작물 상태를 판단하여 상태정보를 산출하게 된다. 여기서, 본 발명의 실시 예에 따른 컨트롤러(42)에 구비되는 정보판단 알고리즘은 잎 특성 검출 서브 알고리즘, 잎 상태 판단 서브 알고리즘을 포함하는데, 잎 특성 검출 서브 알고리즘은 인지된 작물 개체의 잎 특성을 개별적으로 검출하는 알고리즘이며, 잎 상태판단 서브 알고리즘은 작물 개체의 상태를 개별적으로 판단하여 상태정보를 산출하는 알고리즘이다.

잎 특성 검출 서브 알고리즘은 작물 개체의 잎 특성을 개별적으로 검출하는데, 작물 개체의 잎은 표본으로 설정된 잎 형상모델을 이용하여 영상정보로부터 인지된다. 여기서, 잎 특성 검출 서브 알고리즘에 의해 검출되는 작물 개체의 잎 특성에는 잎의 색깔, 잎의 모양, 반점의 존재 유무, 반점의 모양 등이 포함될 수 있다. 여기서, 검출되는 잎 특성은 온실 작물의 특성이나 온실 작물의 재배 특성, 기타 각종 재배 조건에 따라 잎의 색깔, 잎의 모양, 반점의 존재 유무, 반점의 모양 등에서 하나 이상 선택될 수 있다.

이와 더불어, 본 발명의 실시 예에 따른 컨트롤러(42)에 구비되는 정보판단 알고리즘은 오버랩 분석 알고리즘을 구비하는데, 이와 같은 오버랩 분석 알고리즘은 영상정보에서 각 작물 개체가 서로 겹쳐지는 부위를 분석하여 각 작물 개체의 고유한 부위를 분리하여 검출할 수 있도록 한다. 이로써, 작물 개체의 잎 특성이 작물 개체별로 정확하게 검출될 수 있게 된다.

한편, 본 발명의 실시 예에 따른 영상정보판단 유니트(40)는 온실(1)과 온실 관리자 간 통신을 수행하는 통신모듈(44)을 구비하여 온실(1) 내 작물에 대한 영상정보와 각 작물 개체의 상태 정보가 온실 관리자에게 전달될 수 있도록 한다. 여기서, 통신모듈(44)로는 온실(1)과 온실 관리자의 주거지 간 무선통신을 수행하는 무선 네트워크망이 사용될 수 있다.

도 18의 (a)는 본 발명의 실시 예에 따른 영상정보획득 유니트를 이루는 촬영기구를 보여주기 위한 도면이다.

도 18의 (a)를 참조하면, 본 발명의 실시 예에 따른 영상정보획득 유니트(20)를 이루는 복수개의 촬영기구(22)는 온실(1) 내측 상부에 다수 열과 다수 행을 이루며 배열되어 망구조를 이룬다. 이에 따라, 온실(1)에 수용된 작물 전체가 수평면으로 투영된 수평면 영상정보가 복수 개의 촬영기구(22)를 통해 획득될 수 있게 된다.

도 18의 (b)는 본 발명의 다른 실시 예에 따른 영상정보획득 유니트를 이루는 촬영기구를 보여주기 위한 도면이다.

도 18의 (b)를 참조하면, 본 발명의 다른 실시 예에 따른 영상정보획득 유니트(20)를 이루는 복수개의 촬영기구(22)는 온실(1) 내측 상부에 일렬로 배열되어 촬영기구 고정바(24)에 일체로 연결된 후, 촬영기구 이동레일(26)을 통해 직선이동하면서 온실(1)에 수용된 작물을 촬영할 수 있다. 이를 통해서도 온실(1)에 수용된 작물 전체가 수평면으로 투영된 수평면 영상정보가 복수개의 촬영기구(22)에 의해 획득될 수 있게 된다.

여기서, 온실(1)의 측면부에 배치되는 촬영기구(22)도 도 18의 (b)에서와 같이 온실(1)의 측면부에 일렬로 배열되어 촬영기구 고정바(24)에 일체로 연결된 후, 촬영기구 이동레일(26)을 통해 상하방향으로 직선 이동하면서 온실(1)에 수용된 작물을 촬영할 수 있다.

이상, 본 발명을 구체적인 실시 예를 통하여 상세하게 설명하였으나, 본 발명은 상기 실시 예에 한정하지 않고, 본 발명의 기술적 사상의 범위 내에서 통상의 지식을 가진 자에 의하여 여러 가지 변형이 가능하다.

1 : 온실 20 : 영상정보획득 유니트
22 : 촬영기구 24 : 촬영기구 고정바
26 : 촬영기구 이동레일 40 : 영상정보판단 유니트
42 : 컨트롤러 44 : 통신모듈
100 : 영상 감지형 온실 작물 모니터링 시스템

Claims (11)

1. 작물이 재배되는 온실 내부를 촬영하여 영상정보를 획득하는 정보 획득단계와;
   개체 인지 서브 알고리즘, 잎특성 검출 서브 알고리즘 및 잎 상태판단 서브 알고리즘을 구비하는 정보판단 알고리즘으로 상기 영상정보를 분석하여 작물 상태를 판단하는 정보 판단단계를 포함하되;
   상기 정보 판단단계는 상기 정보판단 알고리즘의 개체 인지 서브 알고리즘으로 영상정보로부터 작물 개체를 개별적으로 인지하고, 상기 잎특성 검출 서브 알고리즘으로 인지된 작물 개체의 잎 특성을 개별적으로 검출하며, 상기 잎 상태판단 서브 알고리즘으로 작물 개체의 상태를 개별적으로 판단하는 것을 특징으로 하는 온실 작물 모니터링 방법.
2. 제 1항에 있어서,
   상기 작물 개체의 잎 특성은 색깔, 모양, 반점의 존재 유무, 반점의 모양을 포함하는 것을 특징으로 하는 온실 작물 모니터링 방법.
3. 제 1항에 있어서,
   상기 정보 획득단계는 촬영기구를 온실 상부에 배치하여 부감 촬영을 통해 영상정보를 획득하고, 촬영기구를 상하방향으로 이동시키면서 영상정보를 획득하는 것을 특징으로 하는 온실 작물 모니터링 방법.
4. 제 3항에 있어서,
   상기 정보 획득단계는 온실 상부에 배치되는 촬영기구를 통해 수평면으로 투영된 수평면 영상정보를 획득하되,
   상기 정보 판단단계는 오버랩 분석 알고리즘을 통해 각 작물 개체가 서로 겹쳐지는 부위를 분석하여 각 작물 개체의 고유한 부위를 분리하여 검출할 수 있도록 하는 것을 특징으로 하는 온실 작물 모니터링 방법.
5. 제 3항에 있어서,
   상기 온실 상부에 복수개의 촬영기구를 정해진 간격으로 배열하여 상기 온실에 수용된 작물 전체가 수평면으로 투영된 수평면 영상정보를 획득하는 것을 특징으로 하는 온실 작물 모니터링 방법.
6. 제 3항에 있어서,
   상기 정보 획득단계는 상하방향으로 이동하는 촬영기구를 통해 수직면으로 투영된 수직면 영상정보를 획득하되,
   상기 정보 판단단계는 상기 수직면 영상정보로부터 각 작물 개체의 크기를 검출하는 것을 특징으로 하는 온실 작물 모니터링 방법.
7. 제 1항에 있어서,
   온실 관리자는 상기 정보 획득단계에서 획득된 영상정보와, 상기 정보 판단단계에서 판단된 작물 상태를 유무선 통신을 통해 전달받게 되는 것을 특징으로 하는 온실 작물 모니터링 방법.
8. 정해진 위치에 설치되는 촬영기구를 구비하고, 상기 촬영기구를 통해 작물이 재배되는 온실 내부를 촬영하여 영상정보를 획득하는 영상정보획득 유니트와;
   상기 영상정보획득 유니트와 연결되어 영상정보를 입력받고, 정보판단 알고리즘을 갖는 컨트롤러가 구비되어 입력된 영상정보로부터 작물 상태를 판단하여 상태정보를 산출하는 영상정보판단 유니트를 포함하되,
   상기 정보판단 알고리즘은 영상정보로부터 작물 개체를 개별적으로 인지하는 개체 인지 서브 알고리즘과;
   인지된 작물 개체의 잎 특성을 개별적으로 검출하는 잎특성 검출 서브 알고리즘과;
   작물 개체의 상태를 개별적으로 판단하여 상태정보를 산출하는 잎 상태판단 서브 알고리즘을 포함하는 것을 특징으로 하는 영상 감지형 온실 작물 모니터링 시스템.
9. 제 8항에 있어서,
   상기 영상정보판단 유니트는 상기 온실과 온실 관리자 간 통신을 수행하는 통신모듈을 구비하여 상기 영상정보와 상태정보가 상기 온실 관리자에게 전달될 수 있도록 하는 것을 특징으로 하는 영상 감지형 온실 작물 모니터링 시스템.
10. 제 9항에 있어서,
    상기 통신모듈은 상기 온실과, 상기 온실 관리자의 주거지 간 무선통신을 수행하는 무선 네트워크망인 것을 특징으로 하는 영상 감지형 온실 작물 모니터링 시스템.
11. 제 9항에 있어서,
    상기 영상정보획득 유니트는 상기 온실 내측 상부에 다수열과 다수행을 이루며 배열되어 망구조를 이루는 복수개의 촬영기구를 구비하여, 상기 온실에 수용된 작물 전체가 수평면으로 투영된 수평면 영상정보를 획득되는 것을 특징으로 하는 영상 감지형 온실 작물 모니터링 시스템.

Images