KR20220168913A

KR20220168913A - 작물의 식별 장치 및 방법

Info

Publication number: KR20220168913A
Application number: KR1020210078990A
Authority: KR
Inventors: 김연중; 추연학; 전세희
Original assignee: 라온피플 주식회사
Priority date: 2021-06-17
Filing date: 2021-06-17
Publication date: 2022-12-26
Also published as: KR102545632B1

Abstract

작물의 식별 장치 및 방법을 개시한다. 작물의 식별 장치는 작물을 촬영하여 원본 이미지를 생성하는 촬영부; 상기 생성된 원본 이미지를 저장하는 저장부; 및 상기 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성하고, 상기 에지 이미지에서 딥러닝을 기초로 인스턴스를 분할하여 결정하며, 상기 인스턴스를 미리 설정된 생육 상태 정보에 기초하여 작물의 잎으로 식별하는 제어부; 를 포함한다.

Description

작물의 식별 장치 및 방법{Apparatus and method for crop}

본 명세서에서 개시되는 실시예들은 작물의 식별 장치 및 방법에 관한 것으로, 더욱 상세하게는, 인스턴스 세그멘테이션(instance segmentation)을 이용하여 작물의 잎(leaf)을 식별하고, 작물의 잎의 크기와 모양, 색의 변화 및 겹쳐진 잎의 개수를 보다 정확하게 측정하여 생육 성장 추이를 추정할 수 있는 작물의 식별 장치 및 방법에 관한 것이다.

작물의 잎을 식별하기 위한 종래의 기술은, 측정하고자 하는 작물의 잎 사진을 촬영하고, 촬영된 사진을 딥러닝(deep learning)하여 객체 검출(object detection)하여 식별하여, 작물의 잎의 크기와 개수를 측정하였다.

하지만, 상술한 바에 따른 객체 검출은 측정하고자 하는 작물의 잎을 바운딩 박스(bounding box) 형식으로 처리하여 정확한 잎의 면적을 측정할 수 없고, 측정하고자 하는 작물의 잎은 대부분 겹쳐져 있어, 겹쳐진 부분에 대한 검출이 제대로 이루어지지 않아 정확한 식별 및 정확한 면적, 크기를 측정하지 못한다는 문제점이 발생하였다.

한국공개특허 제10-2018-0027778호(2018.03.15 공개)

본 명세서에서 개시되는 실시예들은, 인스턴스 세그멘테이션(instance segmentation)을 이용하여 작물의 잎(leaf)을 식별하고, 작물의 잎의 크기와 모양, 색의 변화 및 겹쳐진 잎의 개수를 보다 정확하게 측정하여 생육 성장 추이를 추정할 수 있는 작물의 식별 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 일 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 작물의 식별 장치는, 작물을 촬영하여 원본 이미지를 생성하는 촬영부; 상기 생성된 원본 이미지를 저장하는 저장부; 및 상기 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성하고, 상기 에지 이미지에서 딥러닝을 기초로 인스턴스를 분할하여 결정하며, 상기 인스턴스를 미리 설정된 생육 상태 정보에 기초하여 작물의 잎으로 식별하는 제어부; 를 포함한다

다른 실시예에 따르면, 작물의 식별 장치에서의 작물의 식별 방법은, 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성하는 단계; 상기 에지 이미지에서 딥러닝을 기초로 인스턴스를 분할하여 결정하는 단계; 및 상기 인스턴스를 미리 설정된 상태 정보에 기초하여 작물의 잎으로 식별하는 단계;를 포함한다.

또 다른 실시예에 따르면, 기록매체는, 작물의 식별 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체이다.

또 다른 실시예에 따르면, 컴퓨터 프로그램은, 작물의 식별 장치에 의해 수행되며, 작물의 식별 방법을 수행하기 위해 기록 매체에 저장된 컴퓨터 프로그램이다.

전술한 과제 해결 수단 중 어느 하나에 의하면, 작물의 잎이 겹쳐진 경우에도 정확하게 식별할 수 있다는 효과가 있다.

또한, 전술한 과제 해결 수단 중 어느 하나에 의하면, 작물의 잎의 크기, 모양, 색상의 변화 등을 추적할 수 있어, 작물의 생육 성장 추이를 추정할 수 있음에 따라 작물의 자동 관리를 가능하게 할 수 있다.

또한, 전술한 과제 해결 수단 중 어느 하나에 의하면, 작물의 자동 관리가 가능함에 따라 스마트 팜을 구현할 수 있어 작물의 관리를 위한 인건비를 절감할 수 있는 효과가 있다.

개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

이하, 첨부되는 도면들은 본 명세서에 개시되는 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용들과 함께 본 명세서에 개시되는 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 명세서에 개시되는 내용은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 작물의 식별 장치의 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 작물의 식별 장치에서의 작물의 식별 방법의 일 예에 따른 순서도이다.
도 3은 본 발명의 다른 실시예에 따른 작물의 식별 장치에서의 작물의 식별 방법의 일 예에 따른 순서도이다.
도 4는 본 발명의 일 실시예에 따른 작물의 식별 방법을 설명하기 위한 도면의 일 예이다.

아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.

이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 작물의 식별 장치의 기능 블록도이다.

본 실시예에 따른 작물의 식별 장치(100)는 사용자와 인터랙션할 수 있는 애플리케이션이 설치된 전자단말기로 구현되거나 서버로 구현되거나 또는 서버-클라이언트 시스템으로 구현될 수 있으며, 서버-클라이언트 시스템으로 구현되는 경우 사용자와의 인터랙션을 위한 온라인 서비스용 애플리케이션이 설치된 전자단말기를 포함할 수 있다.

이때 전자단말기는 네트워크를 통해 원격지의 서버에 접속하거나, 타 디바이스 및 서버와 연결 가능한 컴퓨터나 휴대용 단말기, 텔레비전, 웨어러블 디바이스(Wearable Device) 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), GSM(Global System for Mobile communications), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), 스마트폰(Smart Phone), 모바일 WiMAX(Mobile Worldwide Interoperability for Microwave Access) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 텔레비전은 IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함할 수 있다. 나아가 웨어러블 디바이스는 예를 들어, 시계, 안경, 액세서리, 의복, 신발 등 인체에 직접 착용 가능한 타입의 정보처리장치로서, 직접 또는 다른 정보처리장치를 통해 네트워크를 경유하여 원격지의 서버에 접속하거나 타 디바이스와 연결될 수 있다.

그리고 서버는 작물의 식별 장치(100)의 사용자와의 인터랙션을 위한 애플리케이션이나 웹브라우저가 설치된 전자단말기와 네트워크를 통해 통신이 가능한 컴퓨터로 구현되거나 클라우드 컴퓨팅 서버로 구현될 수 있다. 또한, 서버는 데이터를 저장할 수 있는 저장장치를 포함하거나 제 3의 서버를 통해 데이터를 저장할 수 있다.

상술된 바와 같이 작물의 식별 장치(100)는 전자단말기, 서버 또는 서버-클라이언트 시스템 중 어느 하나의 형태로 구현될 수 있으며, 서버로 구현될 경우, 작물의 식별 장치(100)를 구성하는 구성부는 물리적으로 분리된 복수의 서버에서 수행되거나 하나의 서버에서 수행될 수 있다.

도 1일 참조하면, 본 실시예에 따른 작물의 식별 장치(100)는 촬영부(110), 입출력부(120), 통신부(130), 저장부(140) 및 제어부(150)를 포함한다.

촬영부(110)는 작물을 촬영하여 원본 이미지를 생성한다. 예컨대, 촬영부(110)는 카메라일 수 있다. 이때, 카메라는 일반 카메라, 적외선 카메라 등 일 수 있으며, 작물을 촬영할 수 있는 것이라면 어느 것이나 관계없다. 예컨대, 카메라는 IP(Internet Protocol) 카메라, CCTV 등으로 구현될 수도 있다. 한편, 본 실시예에 따르면 카메라는, PTZ(Pan, Tilt, Zoom) 기능을 지원할 수 있으며, 원격지의 원격 서버와 네트워크를 통해 연동되어, 원격에서 상술한 기능이 제어될 수도 있다. 한편, 본 실시예를 설명함에 있어서, 촬영부(110)는 작물의 식별 장치(100)에 포함되는 것으로 설명하지만 이에 한하지 않으며, 작물의 식별 장치(100)와 별도로 구성되어 미리 설정된 위치에 설치된 후 작물을 촬영할 수도 있다. 이때, 촬영부(110)는 후술하는 통신부(130)를 통해 생성된 이미지를 전송할 수 있다.

또한, 촬영부(110)는 하나 이상 구비되어, 작물을 촬영할 수 있다. 예컨대, 어느 하나의 작물을 촬영하여 원본 이미지를 생성하되, 다양한 위치에서 작물을 촬영하여 다양한 각도에서의 원본 이미지를 생성할 수도 있다.

또한, 촬영부(110)는 미리 설정된 시간 간격에 따라 작물을 촬영할 수 있다. 이에 따라 작물의 원본 이미지는, 서로 다른 시간에 촬영되어 하나 이상의 이미지를 생성할 수 있으며, 그 크기 또한 상이할 수 있다.

한편, 본 실시예를 설명함에 있어서, 촬영부를 별도의 구성으로 설명하지만 이에 한하지 않으며, 본 실시예에 따른 촬영부는 후술하는 입출력부(120)에 포함되어, 입력부의 기능을 수행할 수도 있다.

입출력부(120)는 사용자로부터 입력을 수신하기 위한 입력부와 작업의 수행결과 또는 작물의 식별 장치(100)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 입출력부(120)는 사용자 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.

구체적으로 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(120)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.

통신부(130)는 다른 디바이스(장치) 및/또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(130)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예컨대, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.

한편, 통신부(130)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), 저전력블루투스(BLE; Bluetooth Low Energy), UWB(Ultra Wide Band), NFC(Near Field Communication), LTE, LTE-Advanced 등의 무선 이동통신 등일 수 있다. 또한, 통신부(130)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다.

저장부(140)는 파일, 어플리케이션 및 프로그램 등과 같은 다양한 종류의 데이터를 설치 및 저장할 수 있으며, RAM, HDD 및 SSD 등과 같이 다양한 종류의 메모리 중 적어도 하나를 포함하도록 구성될 수 있다. 후술하는 제어부(150)는 저장부(140)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 저장부(140)에 저장할 수도 있다. 또한, 제어부(150)는 저장부(140)에 설치된 프로그램을 실행할 수도 있다. 한편, 저장부(140)에는 상술한 촬영부(110)가 촬영한 작물에 대한 이미지를 저장할 수도 있으며, 딥러닝 모델을 수행하기 위한 프로그램이 설치 및 구동될 수도 있다. 또한, 본 발명의 일 실시예에 따른 작물의 식별 방법을 수행하기 위한 프로그램이 설치될 수 있다.

제어부(150)는 CPU, 아두이노 등과 같은 적어도 하나의 프로세서를 포함하는 구성으로, 작물의 식별 장치(100)의 전체적인 동작을 제어할 수 있다. 즉, 제어부(150)는 작물의 식별을 위한 동작을 수행하도록 작물의 식별 장치(100)에 포함된 다른 구성들을 제어할 수 있다. 또한, 제어부(150)는 저장부(140)에 저장된 프로그램을 실행하거나, 저장부(140)에 저장된 파일 및/또는 이미지를 읽어오거나 또는 새로운 파일 및/또는 이미지를 저장부(140)에 저장할 수도 있다.

본 실시예에 따르면 제어부(150)는 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성하고, 에지 이미지에서 딥러닝을 기초로 인스턴스를 분할하여 결정하며, 결정된 인스턴스를 미리 설정된 생육 상태 정보에 기초하여 작물의 잎(leaf)으로 식별한다. 이때, 본 실시예를 설명함에 있어서 인스턴스는 원본 이미지에서 작물의 잎이라고 판별해낸 각각의 덩어리를 의미할 수 있다.

또한, 제어부(150)는 작물의 잎으로 식별된 인스턴스의 정보에 기초하여 잎의 성장상태를 모니터링할 수 있다. 이에 따르면, 잎의 크기, 모양, 색상의 변화 등을 추적할 수 있어, 작물의 생육 성장 추이를 추정할 수 있음에 따라 작물의 자동 관리가 가능해져 스마트 팜을 구현할 수 있다.

한편, 상술한 제어부(150)의 동작에 따른 식물의 식별 방법과 관련한 보다 상세한 설명은 후술하는 도 2 내지 도 4를 참조하여 보다 상세하게 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 작물의 식별 장치에서의 작물의 식별 방법의 일 예에 따른 순서도이다.

도 2에 도시된 실시예에 따른 작물의 식별 방법은 도 1에 도시된 작물의 식별 장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도, 도 1에 도시된 작물의 식별 장치(100)에 관하여 이상에서 기술한 내용은 도 2에 도시된 실시예에 따른 작물의 식별 방법에도 적용될 수 있다.

도 2를 참조하면, 본 실시예에 따른 작물의 식별 방법은, 에지 이미지 생성 단계(S210), 인스턴스 결정 단계(S220) 및 인스턴스 식별 단계(S230)를 포함한다.

S210 단계에서 제어부(150)는, 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성할 수 있다. 이때, 에지 이미지를 생성하는 것은, 원본 이미지에서 인스턴스로 추정되는 잎의 경계선(윤곽선)을 검출하는 것일 수 있다. 이와 같이, 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성하는 것은 공지된 다양한 경계선 검출 기법(예컨대, 소벨(sobel), 캐니(canny), 프리위트(prewitt) 알고리즘 등)을 통해 이루어질 수 있다.

한편, 본 실시예에 따르면 제어부(150)는 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성하되, 피라미드 컨볼루션 신경망(pyramid CNN(Convolutional Neural Network))을 이용하여 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성할 수 있다. 이때, 상술한 피라미드 컨볼루션 신경망은 밀집한 인스턴스, 즉, 촬영된 이미지 내에 밀집한 다수의 작물의 잎이 존재하는 경우, 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성하기 위한 것이며, 이는 공지된 기술이므로 상세한 설명은 생략하기로 한다.

예컨대, 도 4의 (a)에 도시된 바와 같이, 인스턴스(예컨대, 잎)로 추정되는 형상의 에지 이미지는 인스턴스의 면적에 대응하는 부분이 검은색으로 표시되고, 인스턴스의 테두리에 대응하는 부분이 흰색으로 표시되어 생성될 수 있다.

S220 단계에서 제어부(150)는, S210 단계에서 생성된 에지 이미지에서 딥러닝을 기초로 인스턴스를 분할하여 결정할 수 있다. 이때, 딥러닝은 사전에 에지 이미지에서 인스턴스를 분할하는 학습이 이루어진 것일 수 있으며, 예컨대, CNN(convolutional neural network), RNN(recurrent neural network) 등의 네트워크 모델로 구현될 수 있다. 예컨대, 도 4의 (b)에 도시된 바와 같이, 인스턴스(예컨대, 잎)로 결정된 영역은 서로 다른 색으로 표시될 수 있으며, 상술한 인스턴스를 제외한 영역은 검은색으로 표시될 수 있다.

S230 단계에서 제어부(150)는, S220 단계에서 결정된 인스턴스를 미리 설정된 생육 상태 정보에 기초하여 작물의 잎으로 식별할 수 있다. 이때, 생육 상태 정보는 잎의 크기, 모양, 색상 등일 수 있다. 즉, 제어부(150)는 S220 단계에서 결정된 인스턴스가 크기, 모양, 색상 등과 같이 미리 설정된 조건을 만족하는지 여부를 판단하고, 그에 따라 인스턴스를 잎으로 식별할 수 있다. 이에 따라 잎으로 식별된 인스턴스는 도 4의 (c)에 도시된 바와 같이 식별되어 표시될 수 있다.

한편, 본 실시예에 따른 작물의 식별 방법은 상술한 S230 단계 이후에, 모니터링 단계(S240)를 더 포함할 수 있다.

S240 단계에서 제어부(150)는, S230 단계에서 잎으로 식별된 인스턴스의 정보를 저장하고, 저장된 인스턴스의 정보에 기초하여 잎의 성장상태를 모니터링할 수 있다. 한편, 제어부(150)는 잎으로 식별된 인스턴스의 정보를 저장하고, 인스턴스의 정보에 기초하여 잎의 성장상태를 모니터링하되, SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 각각의 인스턴스를 매칭시킬 수 있다. 이때, SIFT 알고리즘은 이미지의 크기 및 회전에 영향을 받지 않는 특징점을 추출하는 알고리즘으로 이미지의 유사도 평가나 이미지 정합에 사용될 수 있다. 본 실시예에서는 작물을 촬영할 때, 매번 같은 위치에서 촬영되지 않을 수도 있다는 점을 고려하여, 약간의 위치 변화가 발생되어 촬영된 이미지더라도 상술한 SIFT 알고리즘을 이용해 하나 이상의 이미지에서 특징점을 추출하여 각 인스턴스를 매칭시킬 수 있다. 한편, 본 실시예를 설명함에 있어서, SIFT 알고리즘은 공지된 기술이므로, 그 구체적인 동작에 대한 설명은 생략하기로 한다.

보다 구체적으로, 제어부(150)는, 잎으로 식별된 인스턴스의 정보를 저장하고, 인스턴스의 정보에 기초하여 잎의 성장상태를 모니터링하되, 잎으로 식별된 인스턴스를 포함하는 이미지를 SIFT 알고리즘을 통해 매칭시켜 유사한 이미지를 추출하여 하나의 집단으로 분류하고, 분류된 집단 내에 포함된 이미지의 인스턴스의 생육 상태 정보 변화를 추적할 수 있다. 예컨대, 제어부(150)는 n-1시간에 촬영된 이미지, n시간에 촬영된 이미지, n+1시간에 촬영된 이미지 등에서 SIFT 알고리즘을 이용하여 동일한 잎으로 추정되는 인스턴스를 매칭시켜 유사한 이미지를 추출하여 하나의 집단으로 분류하고, 분류된 집단 내에 포함된 이미지의 인스턴스의 생육 상태 정보 변화를 확인하고 추적할 수 있다. 이때, 생육 상태 정보는 잎의 크기, 모양, 색상 등일 수 있다. 이러한 상술한 S240 단계에서의 모니터링 과정을 통해 작물의 성장 추이에 대한 추정이 가능하므로, 작물의 자동 관리가 가능해져 스마트 팜을 구현할 수 있다. 이에 따르면, 작물의 자동 관리를 위한 인건비를 절감할 수 있는 효과가 있다.

한편, 제어부(150)는 분류된 집단 내에 포함된 이미지의 인스턴스의 생육 상태 정보 변화를 추적함에 있어서, 생육 상태 정보가 미리 설정된 조건 범위를 벗어나는 경우, 인스턴스의 식별이 잘못된 것으로 판단하여 상술한 인스턴스를 포함하는 이미지가 포함된 집단은 배제할 수 있다. 예컨대, 상술한 생육 상태 정보가 크기이고, 미리 설정된 조건이 평균 성장속도라고 하는 경우, 제어부(150)는 분류된 집단 내에 포함된 이미지의 크기 변화가 미리 설정된 조건인 평균 성장속도 미만이거나 또는 초과하는 경우, 해당 인스턴스의 식별이 잘못된 것(즉, 잎이 아님)으로 판단하여 해당 인스턴스를 포함하는 이미지가 포함된 집단은 배제하고 모니터링할 수 있다. 한편, 보다 정확한 판별을 위해, 상술한 평균 성장속도에 미리 설정된 가중치를 곱한 값을 미리 설정된 조건으로 설정할 수도 있다. 이에 따라, 제어부(150)는 잎의 크기가 급격하게 커지거나 또는 너무 자라지 않는 경우를 보다 정확하게 판별할 수 있다.

또한, 제어부(150)는 분류된 집단 내에 포함된 이미지의 크기 변화가 미리 설정된 조건인 평균 성장속도 미만이거나 또는 초과하는 경우, 해당 인스턴스의 식별이 잘못된 것(즉, 잎이 아님)으로 판단하여 해당 인스턴스를 포함하는 이미지가 포함된 집단은 배제하되, 상술한 집단 내에 포함된 이미지 중 시간 순서에서 가장 먼저 촬영된 이미지 내의 인스턴스의 크기와 가장 나중에 촬영된 이미지 내의 인스턴스의 크기의 산술 평균값이 미리 설정된 조건을 만족하는 경우에는 상술한 인스턴스를 포함하는 이미지가 포함된 집단을 배제하지 않을 수도 있다. 즉, 작물의 성장 속도는 일정치가 않을 수 있지만, 일정 시간이 지났을 경우에 작물의 크기는 평균 크기가 될 수도 있으므로, 집단 내에 포함된 이미지 중 시간 순서에서 가장 먼저 촬영된 이미지 내의 인스턴스의 크기와 가장 나중에 촬영된 이미지 내의 인스턴스의 크기를 산술 평균하고 이를 미리 설정된 조건과 비교하여, 해당 작물이 성장의 속도에는 차이가 있지만, 최종적으로 자란 크기가 일반적인 경우에는 해당 인스턴스의 식별이 올바른 것으로 재판단할 수도 있다.

도 3은 본 발명의 다른 실시예에 따른 작물의 식별 장치에서의 작물의 식별 방법의 일 예에 따른 순서도이다.

도 3에 도시된 실시예에 따른 작물의 식별 방법은 도 1에 도시된 작물의 식별 장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도, 도 1에 도시된 작물의 식별 장치(100)에 관하여 이상에서 기술한 내용은 도 3에 도시된 실시예에 따른 작물의 식별 방법에도 적용될 수 있다.

도 3을 참조하면, 제어부(150)는 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성할 수 있다(S310).

이때, 제어부(150)는 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성하되, 피라미드 컨볼루션 신경망(pyramid CNN(Convolutional Neural Network))을 이용하여 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성할 수 있다. 이때, 상술한 피라미드 컨볼루션 신경망은 밀집한 인스턴스, 즉, 촬영된 이미지 내에 밀집한 다수의 작물의 잎이 존재하는 경우, 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성하기 위한 것이며, 이는 공지된 기술이므로 상세한 설명은 생략하기로 한다.

다음으로, 제어부(150)는 S310 단계에서 생성된 에지 이미지에서 딥러닝을 기초로 인스턴스를 분할하여 결정할 수 있다(S320). 예컨대, 도 4의 (b)에 도시된 바와 같이, 인스턴스(예컨대, 잎)로 결정된 영역은 서로 다른 색으로 표시될 수 있으며, 상술한 인스턴스를 제외한 영역은 검은색으로 표시될 수 있다.

다음으로, 제어부(150)는 S320 단계에서 결정된 인스턴스가 미리 설정된 조건을 만족하는지 여부를 판별하고, 그 결과에 따라 상술한 인스턴스를 작물의 잎으로 식별할 수 있다(S330)(S340)(S350). 이때, 미리 설정된 조건은 생육 상태 정보일 수 있으며, 생육 상태 정보는 잎의 크기, 모양, 색상 등일 수 있다.

보다 구체적으로, 제어부(150)는 S320 단계에서 결정된 인스턴스가 미리 설정된 조건을 만족하는 경우, 2 단계를 거쳐 인스턴스를 잎으로 식별할 수 있다.

먼저, 제어부(150)는 인스턴스를 미리 설정된 생육 상태 정보에 기초하여 작물의 잎으로 식별하되, 상술한 인스턴스가 미리 설정된 조건을 만족하는 경우, 해당 인스턴스를 잎으로 임시 식별할 수 있다(S340). 이때, 미리 설정된 조건은 크기 및/또는 모양일 수 있다.

보다 구체적으로, 제어부(150)는 인스턴스가 미리 설정된 조건을 만족하는 경우, 해당 인스턴스를 잎으로 식별함에 있어서, 상술한 미리 설정된 조건이 크기인 경우에 인스턴스의 크기가 미리 설정된 임계값 미만인 경우에 해당 인스턴스를 잎으로 임시 식별할 수 있다. 예컨대, 미리 설정된 조건인 크기가 10mm이고, S310 단계에서 결정된 인스턴스의 크기가 8mm인 경우, 해당 인스턴스를 잎으로 임시 식별할 수 있다.

또한, 제어부(150)는 인스턴스가 미리 설정된 조건을 만족하는 경우, 해당 인스턴스를 잎으로 식별함에 있어서, 상술한 미리 설정된 조건이 모양인 경우에 인스턴스의 모양이 미리 설정된 모양에 대응하는 경우에 해당 인스턴스를 잎으로 임시 식별할 수 있다. 예컨대, 상기 미리 설정된 조건이 타원형의 모양인 경우, 제어부(150)는 인스턴스의 모양이 타원형이면, 해당 인스턴스를 잎으로 임시 식별할 수 있다.

다음으로, 제어부(150)는 S340 단계에서 임시 식별된 인스턴스를 확정하여 최종 인스턴스로 식별할 수 있다(S350). 보다 구체적으로 S350 단계에서 제어부(150)는, S340 단계에서 잎으로 임시 식별된 인스턴스의 중심부로부터 미리 설정된 기준점까지의 RGB 색상값의 평균을 계산하고, 계산된 값이 미리 설정된 색상의 계열인 경우에만, 임시 식별된 인스턴스를 잎으로 확정하여 최종 인스턴스로 식별할 수 있다. 이때, 미리 설정된 색상의 계열은 측정하는 작물의 잎 색 계열일 수 있으며, 본 실시예에서는 녹색일 수 있다. 예컨대, 제어부(150)는 잎으로 임시 식별된 인스턴스의 중심부로부터 미리 설정된 기준점(예컨대, 잎의 테두리 부분)까지의 RGB 색상값의 평균을 계산하고, 계산된 값이 녹색인 경우, 임시 식별된 인스턴스를 잎으로 확정하여 최종 인스턴스로 식별할 수 있다.

상술한 단계(S330 내지 S350)를 거침에 따라 잎으로 식별된 인스턴스는 도 4의 (c)에 도시된 바와 같이 식별되어 표시될 수 있다.

한편, 본 실시예에 따른 작물의 식별 방법은 상술한 S350 단계 이후에, 모니터링 단계(S360)를 더 포함할 수 있다.

S360 단계에서 제어부(150)는, S350 단계에서 잎으로 식별된 인스턴스의 정보를 저장하고, 저장된 인스턴스의 정보에 기초하여 잎의 성장상태를 모니터링할 수 있다. 한편, 제어부(150)는 잎으로 식별된 인스턴스의 정보를 저장하고, 인스턴스의 정보에 기초하여 잎의 성장상태를 모니터링하되, SIFT 알고리즘을 이용하여 각각의 인스턴스를 매칭시킬 수 있다. SIFT 알고리즘은 이미지의 크기 및 회전에 영향을 받지 않는 특징점을 추출하는 알고리즘으로 이미지의 유사도 평가나 이미지 정합에 사용될 수 있다. 본 실시예에서는 작물을 촬영할 때, 매번 같은 위치에서 촬영되지 않을 수도 있다는 점을 고려하여, 약간의 위치 변화가 발생되어 촬영된 이미지더라도 상술한 SIFT 알고리즘을 이용해 하나 이상의 이미지에서 특징점을 추출하여 각 인스턴스를 매칭시킬 수 있다. 한편, 본 실시예를 설명함에 있어서, SIFT 알고리즘은 공지된 기술이므로, 그 구체적인 동작에 대한 설명은 생략하기로 한다.

보다 구체적으로, 제어부(150)는, 잎으로 식별된 인스턴스의 정보를 저장하고, 인스턴스의 정보에 기초하여 잎의 성장상태를 모니터링하되, 잎으로 식별된 인스턴스를 포함하는 이미지를 SIFT 알고리즘을 통해 매칭시켜 유사한 이미지를 추출하여 하나의 집단으로 분류하고, 분류된 집단 내에 포함된 이미지의 인스턴스의 생육 상태 정보 변화를 추적할 수 있다. 이때, 생육 상태 정보는 잎의 크기, 모양, 색상 등일 수 있다. 이러한 상술한 S360 단계에서의 모니터링 과정을 통해 작물의 성장 추이에 대한 추정이 가능하므로, 작물의 자동 관리가 가능해져 스마트 팜을 구현할 수 있다. 이에 따르면, 작물의 자동 관리를 위한 인건비를 절감할 수 있는 효과가 있다.

이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.

구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.

뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.

한편, 본 명세서를 통해 설명된 일실시예에 따른 작물의 식별 방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다.

또한, 본 명세서를 통해 설명된 일실시예에 따른 작물의 식별 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.

따라서, 본 명세서를 통해 설명된 일실시예에 따른 작물의 식별 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 마더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.

여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.

또한, 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.

그리고, 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.

상술한 실시예들은 예시를 위한 것이며, 상술한 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술한 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 명세서를 통해 보호받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 식물의 식별 장치
110 : 촬영부
120 : 입출력부
130 : 통신부
140 : 저장부
150 : 제어부

Claims

작물을 촬영하여 원본 이미지를 생성하는 촬영부;
상기 생성된 원본 이미지를 저장하는 저장부; 및
상기 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성하고, 상기 에지 이미지에서 딥러닝을 기초로 인스턴스를 분할하여 결정하며, 상기 인스턴스를 미리 설정된 생육 상태 정보에 기초하여 작물의 잎으로 식별하는 제어부;를 포함하는 작물의 식별 장치.
제 1 항에 있어서,
상기 제어부는,
상기 인스턴스를 미리 설정된 생육 상태 정보에 기초하여 작물의 잎으로 식별하되,
상기 인스턴스가 미리 설정된 조건을 만족하는 경우, 해당 인스턴스를 잎으로 임시 식별하고,
상기 잎으로 임시 식별된 인스턴스의 중심부로부터 미리 설정된 기준점까지 RGB 색상값의 평균을 계산하고, 해당값이 미리 설정된 색상의 계열인 경우에만, 상기 임시 식별된 인스턴스를 잎으로 최종 식별하는 것을 특징으로 하는 작물의 식별 장치.
제 2 항에 있어서,
상기 제어부는,
상기 인스턴스가 미리 설정된 조건을 만족하는 경우, 해당 인스턴스를 잎으로 임시 식별하되,
상기 미리 설정된 조건이 크기인 경우, 상기 인스턴스의 크기가 미리 설정된 임계값 미만인 경우 해당 인스턴스를 잎으로 임시 식별하는 것을 특징으로 하는 작물의 식별 장치.
제 2 항에 있어서,
상기 제어부는,
상기 인스턴스가 미리 설정된 조건을 만족하는 경우, 해당 인스턴스를 잎으로 임시 식별하되,
상기 미리 설정된 조건이 모양인 경우, 상기 인스턴스의 모양이 미리 설정된 모양인 경우 해당 인스턴스를 잎으로 임시 식별하는 것을 특징으로 하는 작물의 식별 장치.
제 1 항에 있어서,
상기 제어부는,
상기 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성하되,
피라미드 컨볼루션 신경망을 이용하여 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성하는 것을 특징으로 하는 작물의 식별 장치.
제 1 항에 있어서,
상기 제어부는,
상기 잎으로 식별된 인스턴스의 정보를 저장하고, 상기 인스턴스의 정보에 기초하여 잎의 성장상태를 모니터링하는 것을 특징으로 하는 작물의 식별 장치.
제 6 항에 있어서,
상기 작물의 원본 이미지는, 서로 다른 시간에 촬영된 크기가 상이한 하나 이상의 이미지일 수 있으며,
상기 제어부는,
상기 잎으로 식별된 인스턴스의 정보를 저장하고, 상기 인스턴스의 정보에 기초하여 잎의 성장상태를 모니터링하되,
상기 잎으로 식별된 인스턴스를 포함하는 이미지를 SIFT 알고리즘을 통해 매칭시켜 유사한 이미지를 추출하여 하나의 집단으로 분류하고, 상기 분류된 집단 내에 포함된 이미지의 인스턴스의 생육 상태 정보 변화를 추적하여 작물의 성장 추이를 추정하는 작물의 식별 장치.
제 7 항에 있어서,
상기 생육 상태 정보는,
잎의 크기, 모양, 색상 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 작물의 식별 장치.
작물의 식별 장치에서의 작물의 식별 방법에 있어서,
작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성하는 단계;
상기 에지 이미지에서 딥러닝을 기초로 인스턴스를 분할하여 결정하는 단계; 및
상기 인스턴스를 미리 설정된 생육 상태 정보에 기초하여 작물의 잎으로 식별하는 단계;를 포함하는 작물의 식별 방법.
제 9 항에 있어서,
상기 인스턴스를 미리 설정된 생육 상태 정보에 기초하여 작물의 잎으로 식별하는 단계는,
상기 인스턴스가 미리 설정된 조건을 만족하는 경우, 해당 인스턴스를 잎으로 임시 식별하는 단계; 및
상기 잎으로 임시 식별된 인스턴스의 중심부로부터 미리 설정된 기준점까지 RGB 색상값의 평균을 계산하고, 해당값이 미리 설정된 색상의 계열인 경우에만, 상기 임시 식별된 인스턴스를 잎으로 최종 식별하는 단계;를 포함하는 것을 특징으로 하는 작물의 식별 방법.
제 10 항에 있어서,
상기 인스턴스가 미리 설정된 조건을 만족하는 경우, 해당 인스턴스를 잎으로 임시 식별하는 단계는,
상기 미리 설정된 조건이 크기인 경우, 상기 인스턴스의 크기가 미리 설정된 임계값 미만인 경우 해당 인스턴스를 잎으로 임시 식별하는 단계를 포함하는 것을 특징으로 하는 작물의 식별 방법.
제 10 항에 있어서,
상기 인스턴스가 미리 설정된 조건을 만족하는 경우, 해당 인스턴스를 잎으로 임시 식별하는 단계는,
상기 미리 설정된 조건이 모양인 경우, 상기 인스턴스의 모양이 미리 설정된 모양인 경우 해당 인스턴스를 잎으로 임시 식별하는 단계를 포함하는 것을 특징으로 하는 작물의 식별 방법.
제 9 항에 있어서,
상기 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성하는 단계는,
피라미드 컨볼루션 신경망을 이용하여 작물의 원본 이미지에서 인스턴스로 추정되는 형상의 에지 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 작물의 식별 방법.
제 9 항에 있어서,
상기 작물의 식별 방법은,
상기 잎으로 최종 식별된 인스턴스의 정보를 저장하고, 상기 인스턴스의 정보에 기초하여 잎의 성장상태를 모니터링하는 단계를 더 포함하는 것을 특징으로 하는 작물의 식별 방법.
14 항에 있어서,
상기 작물의 원본 이미지는, 서로 다른 시간에 촬영된 크기가 상이한 하나 이상의 이미지일 수 있으며,
상기 인스턴스의 정보에 기초하여 잎의 성장상태를 모니터링하는 단계는,
상기 잎으로 식별된 인스턴스를 포함하는 이미지를 SIFT 알고리즘을 통해 매칭시켜 유사한 이미지를 추출하여 하나의 집단으로 분류하고, 상기 분류된 집단 내에 포함된 이미지의 인스턴스의 생육 상태 정보 변화를 추적하여 작물의 성장 추이를 추정하는 단계를 포함하는 것을 특징으로 하는 작물의 식별 방법.
제 15 항에 있어서,
상기 생육 상태 정보는,
잎의 크기, 모양, 색상 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 작물의 식별 방법.
제 9 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
작물의 식별 장치에 의해 수행되며, 제 9 항에 기재된 방법을 수행하기 위해 기록 매체에 저장된 컴퓨터 프로그램.