KR20230069396A

KR20230069396A - 인공신경망을 이용하여 영상으로부터 식물 잎을 검출하는 방법 및 이를 수행하기 위한 컴퓨팅 장치

Info

Publication number: KR20230069396A
Application number: KR1020210155379A
Authority: KR
Inventors: 신영성; 이재민; 양종현; 전세희
Original assignee: 라온피플 주식회사
Priority date: 2021-11-12
Filing date: 2021-11-12
Publication date: 2023-05-19

Abstract

인공신경망을 이용하여 영상으로부터 식물 잎을 검출하는 방법은, 식물을 촬영한 영상을 수신하는 단계, 상기 수신한 영상에 모양 기반 잎 검출 모델을 적용하여 제1 검출 후보군을 추출하는 단계, 상기 수신한 영상에 색상 기반 잎 검출 모델을 적용하여 제2 검출 후보군을 추출하는 단계 및 상기 제1 검출 후보군과 상기 제2 검출 후보군을 비교하여 최종 검출 결과를 출력하는 단계를 포함한다.

Description

인공신경망을 이용하여 영상으로부터 식물 잎을 검출하는 방법 및 이를 수행하기 위한 컴퓨팅 장치 {METHOD FOR DETECTING PLANT LEAF FROM IMAGE, AND COMPUTING APPARATUS FOR PERFORMING THE SAME}

본 명세서에서 개시되는 실시예들은 인공신경망을 이용하여 영상으로부터 식물 잎을 검출하는 방법에 관한 것이다.

'스마트 팜(smart farm)'이란 정보통신기술(ICT)을 접목하여 지능화된 농업 시스템을 의미하며, 자세하게는 사물인터넷 및 인공지능 등을 통해 수집한 빅데이터를 기반으로 최적의 생육 환경을 자동으로 제어하는 시스템을 의미한다.

스마트 팜을 이용하면 최적화된 생육 환경이 유지되므로 단위 면적당 생산량이 높아질 수 있을 뿐만 아니라, 사람이 직접 하던 일 중 상당 부분을 자동화할 수 있고, 관리자는 PC나 스마트폰으로 원격에서 자동으로 관리할 수 있어, 생산성, 효율성 및 편리성을 모두 향상시킬 수 있다.

한편, 딥러닝 기술은 최근 비약적인 발전으로 인해 영상으로부터 객체를 검출하거나, 객체의 종류를 분류하는 등의 작업을 수행함에 있어서 처리 속도 및 정확도가 향상되어 다양한 분야에 널리 사용되고 있으며, 스마트 팜 구축 시에도 활용될 수 있을 것이다.

스마트 팜 구축에 필요한 기술 중 한 가지로서 식물을 촬영한 영상을 분석하여 식물의 생육단계를 판단하고, 그에 따라 적절한 재배 관련 조치를 취하는 기술이 있다.

식물의 생육단계를 판단하는 방법은 다양하게 구현될 수 있는데, 예를 들어 식물을 촬영한 영상을 분석하여 식물의 잎을 검출하고, 생육단계별로 잎을 촬영한 영상으로 학습시킨 인공신경망 모델에 위에서 검출된 잎 이미지를 입력함으로써 생육단계를 판단할 수 있다. 이와 같은 방식에서는 영상으로부터 식물 잎을 정확하게 검출하는 것이 중요한데, 보통 식물을 촬영한 영상에는 많은 수의 잎이 서로 겹쳐있고, 색상도 유사하여 검출 정확도가 떨어지는 문제가 있다. 특히, 기존의 에지(edge) 검출 방식에 따를 경우 서로 다른 두 개체(잎) 간 색상이 유사할 경우 하나의 개체로 잘못 인식하는 경우가 자주 발생하였다. 식물을 촬영한 영상으로부터 잎을 정확하게 검출할 수 있는 기술이 개발된다면 스마트 팜의 관리 품질을 향상시킬 수 있을 것이다.

관련하여 선행기술 문헌인 한국공개특허 제10-2020-0043801호에는 식물을 촬영한 영상을 인공신경망을 통해 분석함으로써 식물의 생장단계를 파악하거나 병충해 발생 시에 병충해의 종류 등을 판단하는 내용이 개시되어 있다.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 명세서에서 개시되는 실시예들은, 스마트 팜 구축을 위해 필요한 기술로서, 인공신경망을 이용하여 영상으로부터 식물 잎을 검출하기 위한 기술을 제공하고자 한다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 인공신경망을 이용하여 영상으로부터 식물 잎을 검출하는 방법은, 식물을 촬영한 영상을 수신하는 단계, 상기 수신한 영상에 모양 기반 잎 검출 모델을 적용하여 제1 검출 후보군을 추출하는 단계, 상기 수신한 영상에 색상 기반 잎 검출 모델을 적용하여 제2 검출 후보군을 추출하는 단계 및 상기 제1 검출 후보군과 상기 제2 검출 후보군을 비교하여 최종 검출 결과를 출력하는 단계를 포함할 수 있다.

다른 실시예에 따르면, 인공신경망을 이용하여 영상으로부터 식물 잎을 검출하는 방법을 수행하기 위한 컴퓨터 프로그램으로서, 인공신경망을 이용하여 영상으로부터 식물 잎을 검출하는 방법은, 식물을 촬영한 영상을 수신하는 단계, 상기 수신한 영상에 모양 기반 잎 검출 모델을 적용하여 제1 검출 후보군을 추출하는 단계, 상기 수신한 영상에 색상 기반 잎 검출 모델을 적용하여 제2 검출 후보군을 추출하는 단계 및 상기 제1 검출 후보군과 상기 제2 검출 후보군을 비교하여 최종 검출 결과를 출력하는 단계를 포함할 수 있다.

또 다른 실시예에 따르면, 인공신경망을 이용하여 영상으로부터 식물 잎을 검출하는 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체로서, 인공신경망을 이용하여 영상으로부터 식물 잎을 검출하는 방법은, 식물을 촬영한 영상을 수신하는 단계, 상기 수신한 영상에 모양 기반 잎 검출 모델을 적용하여 제1 검출 후보군을 추출하는 단계, 상기 수신한 영상에 색상 기반 잎 검출 모델을 적용하여 제2 검출 후보군을 추출하는 단계 및 상기 제1 검출 후보군과 상기 제2 검출 후보군을 비교하여 최종 검출 결과를 출력하는 단계를 포함할 수 있다.

또 다른 실시예에 따르면, 인공신경망을 이용하여 영상으로부터 식물 잎을 검출하기 위한 컴퓨팅 장치는, 데이터 또는 커맨드를 입력받거나 출력하기 위한 입출력부, 식물을 촬영한 영상으로부터 식물 잎을 검출하기 위한 프로그램이 저장되는 저장부 및 상기 저장부에 저장된 프로그램을 실행함으로써 인공신경망 모델을 구현하고, 상기 인공신경망 모델을 이용하여 상기 영상으로부터 식물 잎을 검출하는 제어부를 포함하며, 상기 제어부는, 상기 영상에 모양 기반 잎 검출 모델을 적용하여 제1 검출 후보군을 추출하고, 상기 영상에 색상 기반 잎 검출 모델을 적용하여 제2 검출 후보군을 추출하며, 상기 제1 검출 후보군과 상기 제2 검출 후보군을 비교하여 최종 검출 결과를 출력할 수 있다.

전술한 과제 해결 수단 중 어느 하나에 의하면, 인공신경망 모델을 이용하여 식물을 촬영한 영상으로부터 잎을 검출함에 있어서, 모양에 기반하여 잎을 검출하는 모델과 색상에 기반하여 잎을 검출하는 모델을 조합하여 사용함으로써 잎 검출 정확도를 높이는 효과를 기대할 수 있다.

개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시예에 따른 인공신경망을 이용한 식물 잎 검출 시스템을 도시한 도면이다.
도 2는 도 1에 도시된 서버(100)에 포함된 구성을 도시한 도면이다.
도 3 및 도 4는 실시예들에 따른 식물 잎 검출 방법을 수행하기 위한 인공신경망 모델을 도시한 도면이다.
도 5 내지 도 7은 실시예들에 따른 인공신경망을 이용한 식물 잎 검출 방법을 설명하기 위한 순서도를 도시한 도면들이다.

아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.

이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.

도 1은 일 실시예에 따른 인공신경망을 이용한 식물 잎 검출 시스템(이하, '잎 검출 시스템'이라 함)을 도시한 도면이다. 도 1을 참고하면, 일 실시예에 따른 잎 검출 시스템은 촬영장치(10) 및 서버(100)를 포함할 수 있으며, 촬영장치(10)는 식물에 대한 영상(1)을 촬영하여 서버(100)에 전송할 수 있다.

촬영장치(10)는 식물의 재배와 관련된 정보를 얻기 위해 주기적으로 식물을 촬영하여 그 영상을 서버(100)에 전송할 수 있으며, 촬영장치(10)의 촬영 동작은 서버(100)에 의해 제어될 수 있다.

서버(100)는 촬영장치로부터 수신한 영상(1)을 분석하여 식물의 재배와 관련된 정보를 획득하고, 획득한 정보에 기초하여 식물의 재배를 관리하기 위한 다양한 동작들을 수행할 수 있다. 일 실시예에 따르면, 서버(100)는 영상(1)으로부터 식물 잎을 검출하고, 검출된 식물 잎에 기초하여 생육단계를 판단하거나, 병충해 여부를 판단하여 필요한 조치를 취할 수 있다.

본 명세서에서 설명할 실시예들은 그 중 영상(1)으로부터 식물 잎을 검출하는 과정에 관한 것이다. 이하에서 설명되는 실시예들에서 서버(100)는 인공신경망 모델을 이용하여 영상(1)으로부터 식물 잎을 검출하되, '모양'에 기반하여 잎을 검출하는 모델과 '색상'에 기반하여 잎을 검출하는 모델을 조합하여 사용함으로써 검출 정확도를 높일 수 있다. 두 모델을 조합하여 검출을 수행하는 구체적인 방법에 대해서는 아래에서 자세히 설명한다.

도 2는 도 1에 도시된 서버(100)에 포함된 구성을 도시한 도면이다. 도 1의 서버(100)는 연산 및 통신 기능을 갖는 컴퓨팅 장치이며, 도 2에 도시된 바와 같이 입출력부(110), 제어부(120) 및 저장부(130)를 포함할 수 있다.

입출력부(110)는 데이터 또는 커맨드의 입출력을 위한 구성이다. 서버(100)는 입출력부(110)를 통해 촬영장치(10)로부터 영상(1)을 수신하고, 영상(1)으로부터 획득한 데이터를 분석한 결과를 영상 등을 통해 출력할 수도 있다. 또한, 서버(100)는 입출력부(110)를 통해 촬영장치(10)에 촬영 수행을 위한 제어명령을 전송할 수도 있다. 입출력부(110)는 키보드, 하드 버튼 및 터치스크린 등과 같은 입력을 수신하기 위한 구성과, LCD 패널 등과 같은 출력을 위한 구성, 그리고 유무선 통신 포트와 같은 입출력을 위한 구성을 포함할 수 있다.

제어부(120)는 CPU 등과 같은 적어도 하나의 프로세서를 포함하는 구성으로서, 서버(100)의 전반적인 동작을 제어할 수 있다. 특히, 제어부(120)는 후술할 저장부(130)에 저장된 프로그램을 실행함으로써, 인공신경망 모델을 이용해 영상(1)으로부터 식물의 잎을 검출할 수 있다. 제어부(120)가 인공신경망 모델을 이용해 영상(1)으로부터 식물의 잎을 검출하는 구체적인 방법에 대해서는 아래에서 다른 도면들을 참조하여 자세히 설명한다.

저장부(130)는 데이터 및 프로그램 등이 저장될 수 있는 구성으로서, RAM, HDD 및 SSD 등과 같이 다양한 종류의 메모리 중 적어도 하나를 포함하도록 구성될 수 있다. 저장부(130)에는 식물을 촬영한 영상(1)으로부터 식물의 잎을 검출하는데 사용되는 인공신경망 모델을 실행하기 위한 프로그램이 저장될 수 있다.

이하에서는 도 3 내지 도 7을 참조하여, 제어부(120)가 인공신경망 모델을 이용해 영상(1)으로부터 식물의 잎을 검출하는 구체적인 방법에 대해서 설명한다.

도 3 및 도 4는 실시예들에 따른 식물 잎 검출 방법을 수행하기 위한 인공신경망 모델을 도시한 도면이다. 도 3 및 도 4에서는 인공신경망 모델이 수행하는 기능을 중심으로 구성들(310, 320, 330, 410, 420, 430)을 분리하여 도시하였는데, 각 구성은 실제로 서로 분리된 하드웨어 구성은 아니며, 제어부(120)가 저장부(130)에 저장된 프로그램을 실행함으로써 수행되는 동작들을 기능별로 분류하고 매칭시킨 소프트웨어 모듈이라고 할 수 있다. 따라서, 이하에서 인공신경망 모델(300, 400)에 포함된 각 구성들(310, 320, 330, 410, 420, 430)이 수행하는 것으로 설명되는 동작들은, 실제로는 제어부(120)에 의해 수행되는 것으로 볼 수 있다.

도 3에 도시된 모델과 도 4에 도시된 모델의 차이는 모양 기반 잎 검출 모델(310, 410)과 색상 기반 잎 검출 모델(320, 420)이 병렬적으로 작업을 수행하는지 여부에 있다. 이하에서는 설명의 편의를 위해 도 3에 도시된 인공신경망 모델(300)을 '제1 인공신경망 모델'이라고 하고, 도 4에 도시된 인공신경망 모델(400)을 '제2 인공신경망 모델'이라고 한다.

먼저 도 3을 참고하면, 제1 인공신경망 모델(300)에 촬영 영상이 입력되면, 모양 기반 잎 검출 모듈(310)은 촬영 영상에 대해서 인스턴스 세그멘테이션(instance segmentation)을 수행하여 잎을 검출한다. 이를 위해 모양 기반 잎 검출 모듈(310)은 모양에 기반하여 잎을 검출할 수 있도록 미리 학습되는데, 이는 도 4의 제2 인공신경망 모델(400)에 포함된 모양 기반 잎 검출 모델(410)도 동일하다. 여기서 잠시 모양 기반 잎 검출 모델(310, 410)을 학습시키는 방법에 대해서 간략하게 설명하도록 한다.

먼저 식물을 촬영한 영상들을 수집하고, 주기별로 분류한다. 이때 주기는 필요에 따라 적절하게 설정될 수 있으며, 예를 들어 월별로 식물을 촬영한 영상들을 수집할 수 있다. 주기별로 촬영한 영상들을 수집하는 이유는, 식물 잎은 생육단계에 따라서 크기나 모양에 변화가 생기므로 생육단계별로 잎의 모양을 적절하게 학습하기 위함이다. 영상들을 주기별로 분류하기 위해 영상 데이터에는 촬영시점을 판별하기 위한 데이터가 포함될 수 있다.

주기별로 분류된 영상들에 대해서 잎을 대상으로 하는 인스턴스 세그멘테이션 어노테이션(instance segmentation annotation)을 수행하여, 즉 영상들에서 잎 영역을 개체별로 분할 후 레이블링함으로써 훈련데이터를 생성하고, 이렇게 생성된 훈련데이터를 이용하여 콘볼루션(convolution) 신경망을 학습시킴으로써 모양 기반 잎 검출 모델(310, 410)을 얻을 수 있다. 이때, 사용되는 콘볼루션 신경망은 이미지 분석 등의 분야에서 이미 그 성능이 검증된 피라미드 CNN(Pyramid Convolution Neural Network)일 수 있다.

이와 같은 과정을 통해 학습된 모양 기반 잎 검출 모델(310)은 주기별(e.g. 월별) 잎의 모양에 기초하여 촬영 영상으로부터 잎을 검출할 수 있다. 도 3에는 모양 기반 잎 검출 모델(310)에서 출력된 결과인 제1 모양 기반 검출 영상(31)을 도시하였다. 제1 모양 기반 검출 영상(31)에서 잎으로 검출된 객체들을 제1 검출 후보군이라고 한다.

한편, 제1 인공신경망 모델(300)에 포함된 색상 기반 잎 검출 모델(320)은 촬영 영상에 포함된 픽셀들의 색상 유사도를 기반으로 잎을 검출하기 위한 모델이다. 색상 기반 잎 검출 모델(320)은 델타-E(Delta-E) 계산법을 이용하여 각 픽셀들의 유사도를 산출한 결과에 기초하여 잎을 검출할 수 있다. 본 실시예에서는 색상 유사도 판단을 위해 델타-E 계산법을 사용하는데, 이렇게 하는 것이 RGB 기반의 유클리디안 거리(Euclidean distance)를 이용하는 것보다 정확한 결과를 얻을 수 있기 때문이다.

색상 기반 잎 검출 모델(320)이 색상 유사도를 기반으로 촬영 영상으로부터 잎을 검출한 결과 영상인 제1 색상 기반 검출 영상(32)을 도 3에 도시하였다. 제1 색상 기반 검출 영상(32)에서 잎으로 검출된 객체들을 제2 검출 후보군이라고 한다.

필터링 모듈(330)은 제1 모양 기반 검출 영상(31) 및 제1 색상 기반 검출 영상(32)을 수신하고, 각 영상에서 확인할 수 있는 제1 검출 후보군과 제2 검출 후보군을 비교하여 최종 검출 결과를 출력할 수 있다.

필터링 모듈(330)이 제1 검출 후보군과 제2 검출 후보군을 비교하여 최종 검출 결과를 출력하는 방법은 다양하게 구현될 수 있는데, 두 후보군에 공통적으로 포함되는 후보들만을 통과시키고 나머지 후보들은 필터링하여 최종 검출 결과를 출력할 수도 있고, 두 후보군에 서로 다른 가중치를 적용하여 최종 검출 결과를 출력할 수도 있다. 두 번째 방법에 대해서 조금 더 자세히 설명하면, 필터링 모듈(330)은 제1 검출 후보군에 포함된 후보들 각각에 대해서 미리 설정된 제1 가중치를 적용하고, 제2 검출 후보군에 포함된 후보들 각각에 대해서 미리 설정된 제2 가중치를 적용한 후, 제1 및 제2 가중치가 반영된 결과가 미리 설정된 임계값보다 큰 후보들을 최종 검출 결과로서 출력할 수 있다.

필터링 모듈(330)은 제1 검출 후보군과 제2 검출 후보군에 서로 상이한 가중치를 적용함으로써 전체적인 검출 정확도를 높일 수 있는데, 이를 위해 모양 기반 잎 검출 모델(310)의 검출 정확도와 색상 기반 잎 검출 모델(320)의 검출 정확도를 비교하여 더 높은 정확도를 갖는 모델로부터 검출된 후보군에 더 높은 가중치를 적용할 수 있다.

이러한 가중치 적용 방식은 특히 모양을 기반으로 한 검출과 색상을 기반으로 한 검출을 조합하는, 본 실시예에 따른 제1 인공신경망 모델(300)의 장점을 더욱 극대화할 수 있다. 왜냐하면, 제1 인공신경망 모델(300)은 모양 기반 잎 검출 모델(310)을 어떤 종류의 식물에 대해서 학습시키는지에 따라서 검출 가능한 식물의 종류가 결정되므로 다양한 종류의 식물 잎 검출에 적용할 수 있는 확장성을 갖는데, 식물의 종류에 따라서 잎의 모양에 기반한 검출 정확도에 차이가 있으므로(예를 들어, 잎의 모양이 독특한 식물일수록 모양에 기반한 검출 정확도가 높을 수 있음), 가중치 조절을 통해 전체적인 검출 정확도를 높일 수 있기 때문이다. 따라서, 필터링 모듈(330)은 모양 기반 잎 검출 모델(310) 및 색상 기반 잎 검출 모델(320)의 검출 정확도에 기초하여 제1 및 제2 검출 후보군에 각각 적용될 가중치를 결정할 수 있다.

이번에는 도 4를 참고하여 제2 인공신경망 모델(400)에 대해서 설명하면, 모양 기반 잎 검출 모델(410)은 촬영 영상에 대해서 인스턴스 세그멘테이션을 수행하여 잎을 검출한 제2 모양 기반 검출 영상(41)을 출력할 수 있다. 모양 기반 잎 검출 모델(410)을 학습시키는 방법은 위에서 도 3 부분에서 설명한 바와 같다. 제2 모양 기반 검출 영상(41)에서 잎으로 검출된 객체들을 제1 검출 후보군이라고 한다.

색상 기반 잎 검출 모델(420)은 촬영 영상에 포함된 픽셀들의 색상 유사도를 기반으로 잎을 검출하는데, 이때 제1 검출 후보군에 포함된 후보들 각각에 포함된 픽셀들의 RGB 값의 평균을 산출하고, 산출된 평균값을 기준으로 후보들 간 유사도를 판단하여 잎을 검출할 수 있다. 이때, 평균값을 이용하는 대신 후보들 각각에 포함된 픽셀들의 RGB 값 중에서 빈도가 가장 높은 값(최빈도값)을 이용하거나, 또는 중간값을 이용하는 등 다양한 통계적 기준을 활용할 수도 있음은 당연하다. 색상 기반 잎 검출 모델(420)이 색상 유사도 판단 시 델타-E 계산법을 이용하는 점은 앞서 설명한 제1 인공신경망 모델(300)에 포함된 색상 기반 잎 검출 모델(320)과 동일하다.

이와 같은 과정을 통해서 색상 기반 잎 검출 모델(420)은 제2 색상 기반 검출 영상(42)을 출력할 수 있으며, 제2 색상 기반 검출 영상(42)에서 잎으로 검출된 객체들을 제2 검출 후보군이라고 한다.

필터링 모듈(430)은 제1 모양 기반 검출 영상(41) 및 제1 색상 기반 검출 영상(42)을 수신하고, 각 영상에서 확인할 수 있는 제1 검출 후보군과 제2 검출 후보군을 비교하여 최종 검출 결과를 출력할 수 있다. 필터링 모듈(330)이 제1 검출 후보군과 제2 검출 후보군을 비교하여 최종 검출 결과를 출력하는 방법은, 앞서 도 3 부분에서 설명한 바와 같다.

도 5 내지 도 7은 실시예들에 따른 인공신경망을 이용한 식물 잎 검출 방법을 설명하기 위한 순서도를 도시한 도면들이다. 도 5 내지 도 7에 도시된 순서도에 포함된 단계들은 도 1 및 2의 서버(100)에 의해 수행된다. 따라서, 이하에서 생략된 내용이라고 할지라도 앞서 도 1 내지 4를 참조하여 설명된 자세한 특징들은 이하의 순서도에 따른 방법에도 동일하게 적용된다고 할 것이다.

도 5를 참고하면, 501 단계에서 제어부(120)는 입출력부(110)를 통해 식물 잎을 촬영한 이미지를 수신한다.

502 단계에서 제어부(120)는 수신한 이미지에 모양 기반 잎 검출 모델을 적용하여 제1 검출 후보군을 추출하고, 503 단계에서 제어부(120)는 수신한 이미지에 색상 기반 잎 검출 모델을 적용하여 제2 검출 후보군을 추출한다.

504 단계에서 제어부(120)는 제1 검출 후보군과 제2 검출 후보군을 비교하여 최종 검출 결과를 출력한다.

도 6에는 도 5의 503 단계에 포함되는 세부 단계들을 도시하였다. 도 6을 참고하면, 601 단계에서 제어부(120)는 제1 검출 후보군에 포함된 후보들 각각에 포함된 픽셀들의 RGB 값의 평균을 산출한다. 602 단계에서 제어부(120)는 산출된 평균값을 기준으로 후보들 간 색상 유사도를 판단한 결과에 기초하여 검출된 잎을 제2 검출 후보군으로 출력한다.

도 7에는 도 5의 504 단계에 포함되는 세부 단계들을 도시하였다. 도 7을 참고하면, 701 단계에서 제어부(120)는 제1 검출 후보군에 포함된 후보들 각각에 대해서 제1 가중치를 적용한다. 702 단계에서 제어부(120)는 제2 검출 후보군에 포함된 후보들 각각에 대해서 제2 가중치를 적용한다. 703 단계에서 제어부(120)는 제1 및 제2 가중치가 반영된 결과가 미리 설정된 임계값보다 큰 후보들을 최종 검출 결과로서 출력한다.

이때, 제어부(120)는 모양 기반 잎 검출 모델 및 색상 기반 잎 검출 모델의 검출 정확도를 비교한 결과에 따라 제1 가중치 및 제2 가중치를 결정할 수 있다.

이상 설명한 실시예들에 따르면, 인공신경망 모델을 이용하여 식물을 촬영한 영상으로부터 잎을 검출함에 있어서, 모양에 기반하여 잎을 검출하는 모델과 색상에 기반하여 잎을 검출하는 모델을 조합하여 사용함으로써 잎 검출 정확도를 높이는 효과를 기대할 수 있다.

이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.

구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.

뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.

도 3 내지 도 7을 통해 설명된 실시예들에 따른 인공신경망을 이용하여 영상으로부터 식물 잎을 검출하는 방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다.

또한 도 3 내지 도 7을 통해 설명된 실시예들에 따른 인공신경망을 이용하여 영상으로부터 식물 잎을 검출하는 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.

따라서 도 3 내지 도 7을 통해 설명된 실시예들에 따른 인공신경망을 이용하여 영상으로부터 식물 잎을 검출하는 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.

여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.

또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.

그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.

상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 명세서를 통해 보호 받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.

1: 영상 10: 촬영장치
100: 서버 110: 입출력부
120: 제어부 130: 저장부
300, 400: 인공신경망 모델

Claims

인공신경망을 이용하여 영상으로부터 식물 잎을 검출하는 방법에 있어서,
식물을 촬영한 영상을 수신하는 단계;
상기 수신한 영상에 모양 기반 잎 검출 모델을 적용하여 제1 검출 후보군을 추출하는 단계;
상기 수신한 영상에 색상 기반 잎 검출 모델을 적용하여 제2 검출 후보군을 추출하는 단계; 및
상기 제1 검출 후보군과 상기 제2 검출 후보군을 비교하여 최종 검출 결과를 출력하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 제2 검출 후보군을 추출하는 단계는,
상기 제1 검출 후보군에 포함된 후보들 각각에 포함된 픽셀들의 RGB 값의 평균을 산출하는 단계; 및
상기 산출된 평균값을 기준으로 상기 후보들 간 색상 유사도를 판단하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 제2 검출 후보군을 추출하는 단계는,
델타-E(Delta-E) 계산법을 이용하여 상기 수신한 영상에 포함된 픽셀들의 색상 유사도를 비교함으로써 상기 제2 검출 후보군을 추출하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 최종 검출 결과를 출력하는 단계는,
상기 제1 검출 후보군에 포함된 후보들과 상기 제2 검출 후보군에 포함된 후보들 중에서 서로 일치하는 후보들만 통과시키고 나머지 후보들은 필터링하여 최종 검출 결과를 출력하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 최종 검출 결과를 출력하는 단계는,
상기 제1 검출 후보군에 포함된 후보들 각각에 대해서 미리 설정된 제1 가중치를 적용하고, 상기 제2 검출 후보군에 포함된 후보들 각각에 대해서 미리 설정된 제2 가중치를 적용하는 단계; 및
상기 제1 및 제2 가중치가 반영된 결과가 미리 설정된 임계값보다 큰 후보들을 최종 검출 결과로서 출력하는 단계를 포함하는 것을 특징으로 하는 방법.
제5항에 있어서,
상기 제1 가중치 및 제2 가중치는 상기 모양 기반 잎 검출 모델 및 상기 색상 기반 잎 검출 모델의 검출 정확도를 비교한 결과에 따라 결정되는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 모양 기반 잎 검출 모델은,
미리 설정된 주기별로 상기 식물을 촬영한 영상들에 포함된 잎을 대상으로 인스턴스 세그멘테이션 어노테이션(instance segmentation annotation)을 수행하여 생성된 훈련데이터를 이용하여 학습된 콘볼루션 신경망(CNN)인 것을 특징으로 하는 방법.
컴퓨터에 제1항에 기재된 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
컴퓨팅 장치에 의해 수행되며, 제1항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램.
인공신경망을 이용하여 영상으로부터 식물 잎을 검출하기 위한 컴퓨팅 장치에 있어서,
데이터 또는 커맨드를 입력받거나 출력하기 위한 입출력부;
식물을 촬영한 영상으로부터 식물 잎을 검출하기 위한 프로그램이 저장되는 저장부; 및
상기 저장부에 저장된 프로그램을 실행함으로써 인공신경망 모델을 구현하고, 상기 인공신경망 모델을 이용하여 상기 영상으로부터 식물 잎을 검출하는 제어부를 포함하며,
상기 제어부는,
상기 영상에 모양 기반 잎 검출 모델을 적용하여 제1 검출 후보군을 추출하고, 상기 영상에 색상 기반 잎 검출 모델을 적용하여 제2 검출 후보군을 추출하며, 상기 제1 검출 후보군과 상기 제2 검출 후보군을 비교하여 최종 검출 결과를 출력하는, 장치.
제10항에 있어서,
상기 제어부는 상기 제2 검출 후보군을 추출함에 있어서,
상기 제1 검출 후보군에 포함된 후보들 각각에 포함된 픽셀들의 RGB 값의 평균을 산출하고, 상기 산출된 평균값을 기준으로 상기 후보들 간 색상 유사도를 판단하는 것을 특징으로 하는 장치.
제10항에 있어서,
상기 제어부는 상기 제2 검출 후보군을 추출함에 있어서,
델타-E(Delta-E) 계산법을 이용하여 상기 영상에 포함된 픽셀들의 색상 유사도를 비교함으로써 상기 제2 검출 후보군을 추출하는 것을 특징으로 하는 장치.
제10항에 있어서,
상기 제어부는,
상기 최종 검출 결과를 출력함에 있어서,
상기 제1 검출 후보군에 포함된 후보들과 상기 제2 검출 후보군에 포함된 후보들 중에서 서로 일치하는 후보들만 통과시키고 나머지 후보들은 필터링하여 최종 검출 결과를 출력하는 것을 특징으로 하는 장치.
제10항에 있어서,
상기 제어부는,
상기 최종 검출 결과를 출력함에 있어서,
상기 제1 검출 후보군에 포함된 후보들 각각에 대해서 미리 설정된 제1 가중치를 적용하고, 상기 제2 검출 후보군에 포함된 후보들 각각에 대해서 미리 설정된 제2 가중치를 적용하며, 상기 제1 및 제2 가중치가 반영된 결과가 미리 설정된 임계값보다 큰 후보들을 최종 검출 결과로서 출력하는 것을 특징으로 하는 장치.
제14항에 있어서,
상기 제어부는,
상기 모양 기반 잎 검출 모델 및 상기 색상 기반 잎 검출 모델의 검출 정확도를 비교한 결과에 따라 상기 제1 가중치 및 제2 가중치를 결정하는 것을 특징으로 하는 장치.
제10항에 있어서,
상기 모양 기반 잎 검출 모델은,
미리 설정된 주기별로 상기 식물을 촬영한 영상들에 포함된 잎을 대상으로 인스턴스 세그멘테이션 어노테이션(instance segmentation annotation)을 수행하여 생성된 훈련데이터를 이용하여 학습된 콘볼루션 신경망(CNN)인 것을 특징으로 하는 장치.