KR20240126596A

KR20240126596A - 학습을 통한 곤충 개체 식별 장치 및 방법

Info

Publication number: KR20240126596A
Application number: KR1020230019251A
Authority: KR
Inventors: 김무현; 정인석
Original assignee: 팜커넥트주식회사
Priority date: 2023-02-14
Filing date: 2023-02-14
Publication date: 2024-08-21
Also published as: JP7384506B1; JP2024115497A; US20240273864A1; CN118506044A; EP4417046A1

Abstract

본 발명은 곤충 개체 식별 장치 및 방법에 관한 것으로서, 특히 꿀벌, 수정벌, 말벌, 개미 등 곤충의 신체적 구조와 색상 등의 특징을 딥러닝 모델을 통해 학습시켜 얻은 학습 데이터를 이용하여 곤충 개체를 식별하는 장치와 방법에 관한 것이다.

Description

학습을 통한 곤충 개체 식별 장치 및 방법 {Apparatus and method for identifying insect objects through learning}

꿀벌(honey bee)은 꿀을 저장하고 생산하기 위한 목적으로 사용되는 벌이고, 수정벌(bumble bee, 뒤영벌 또는 호박벌로 불리기도 함)는 식물의 수정을 목적으로 사용되는 벌로서 진동수분(buzz pollination)을 통해 꽃의 수분을 수행한다.

진동수분이란 꽃가루를 모으기 위해서 가슴 근육을 진동시켜 몸에 난 털뭉치에 꽃가루를 묻히는 행동을 일컫는 것으로서 이러한 진동작용에 의해 꽃가루가 암술의 주두에 떨어지는 수분이 이루어지게 된다.

국내 특허 공개 제10-2016-0141224호 "수정벌 관리장치 및 관리 시스템"은 수정벌통의 출입구를 통해 출입하는 수정벌의 출입횟수를 감지하는 센서를 이용하여 수정벌 교체시기를 알려주는 기술을 개시하고 있으며, 국내 특허 제10-1963648호 "온실 수정벌 관리 시스템 및 방법, 수정벌 상자"는 복수의 센서를 사용하여수정벌 상자에 출입하는 벌의 출입방향과 출입횟수를 감지하여 출입문의 개폐를 제어하는 기술을 개시하고 있다.

그러나, 상기 종래기술들은 수정벌의 출입을 감지하기 위한 센서를 벌통에 설치해야 하는 등 벌에게 영향을 줄 수 있는 환경 구축이 필요하며, 그 효과 또한 벌의 개체 수를 계수하는 수준에 머무르고 있어 벌의 궤적을 추적하거나 수정벌의 움직임을 분석하여 환경 변화 또는 벌의 수분 활동의 적정성에 대한 정보를 제공해 주거나 벌통 및 온실 관리에 필요한 정보를 제공해 주는데 까지는 미치지 못하는 문제점이 있었다.

또한, 벌통에 근접하는 말벌, 개미, 메뚜기 등 원하지 않는 기타 곤충들을 식별하고 이를 알려주어 농가에서 적절한 수정 환경을 갖출 수 있도록 도와줄 필요가 있으나, 상기 종래기술들은 이러한 상황에 대한 문제점의 인식이나 해결책을 제시하지 않고 있다.

국내 특허 공개 제10-2016-0141224호 (2016. 12. 08. 공개) 국내 특허 제10-1963648호 (2019.04. 01. 공고)

상기 문제점을 해결하기 위해, 본 발명은 벌통 근처에서 촬영된 벌의 움직임을 학습데이터와 비교하여 벌의 궤적을 추적하고, 벌의 출입 여부를 결정하고, 출입하는 벌의 수를 계수하며, 벌의 궤적과 화분의 상태를 분석하여 벌의 수분 활동의 적정성을 판별하는 장치 및 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 미리 학습된 데이터를 토대로 꿀벌과 수정벌 등 추적 대상인 목적 개체와 말벌, 개미, 메뚜기 등 이상 개체를 식별하여 예측하고, 이상 개체의 접근시 이를 알려주는 개선된 알고리즘을 구비한 장치 및 방법을 제공하는 것을 목적으로 한다.

상기 목적을 당성하기 위한 본 발명의 일 실시예에 따른 학습을 통한 곤충 개체 식별 장치는, 목적 개체인 곤충의 형태학적 특징을 딥러닝 모델을 통해 학습시켜 얻은 학습데이터를 저장하는 저장부; 및 촬영된 영상과 상기 저장부에 저장된 학습데이터를 이용하여 촬영된 영상에서 상기 목적 개체를 식별하고 식별된 목적 개체의 궤적을 추적하는 제어부를 포함한다.

또한, 상기 딥러닝 모델은 상기 목적 개체의 형태적 특성을 적어도 하나 이상의 클래스로 분류하고, 각 클래스의 특징을 학습한다.

또한, 상기 제어부는 상기 목적 개체인 곤충의 형태학적 정보를 이용한 3차원 거리 측정법에 의거하여 상기 목적 개체를 식별한다.

또한, 상기 제어부는 상기 목적 개체의 복수의 클래스 간의 거리 측정 결과와 상기 저장부에 저장된 곤충의 형태학적 정보를 이용하여 상기 목적 개체를 식별한다.

또한, 상기 목적 개체가 꿀벌과 수정벌일 때, 상기 딥러닝 모델은 상기 꿀벌의 배 부분과 상기 수정벌의 배 부분을 각기 해당 개체의 클래스로 정의하며, 상기 꿀벌과 상기 수정벌의 배 부분의 무늬와 색상의 분포를 해당 클래스를 나타내는 특징으로 학습한다.

또한, 상기 목적 개체가 말벌일 때, 상기 딥러닝 모델은 상기 말벌의 머리 부분과 배 부분을 포함하도록 해당 개체의 클래스를 복수개로 정의하며, 상기 말벌의 배 부분의 무늬와 색상 분포 및 상기 머리 부분과 상기 배 부분 사이의 거리를 해당 클래스를 나타내는 특징으로 학습한다.

또한, 상기 목적 개체가 개미일 때, 상기 딥러닝 모델은 상기 개미의 머리 부분과 배 부분을 포함하도록 해당 개체의 클래스를 복수개로 정의하며, 상기 개미의 배 부분의 형태와 색상 분포 및 상기 머리 부분과 상기 배 부분 사이의 거리를 해당 클래스를 나타내는 특징으로 학습한다.

또한, 상기 목적 개체가 메뚜기일 때, 상기 딥러닝 모델은 상기 메뚜기의 머리 부분과 꼬리 부분을 포함하도록 해당 개체의 클래스를 복수개로 정의하며, 상기 메뚜기의 꼬리 부분의 형태 및 상기 머리 부분과 상기 꼬리 부분 사이의 거리를 해당 클래스를 나타내는 특징으로 학습한다.

또한, 상기 제어부는 상기 영상에 공간정보에 의한 이미지 왜곡이 존재할 경우 상기 공간정보와 상기 개체의 형태학적 정보를 이용하여 왜곡을 보정한다.

또한, 상기 제어부는 상기 영상에서 상기 곤충의 출입구를 중심으로 하는 서로 다른 크기의 복수의 영역을 정의하고, 상기 영상에서 곤충 개체가 식별될 경우 그 주의로 곤충 상자를 정의한다.

또한, 상기 제어부는 상기 영역 중 적어도 하나와 상기 곤충 상자가 중첩되는 순서를 기록 또는 추적하는 방법으로 상기 곤충의 출입 여부를 구분한다.

또한, 상기 학습데이터는 화분의 형태적 특징에 관한 데이터를 더 포함하며, 상기 제어부는 상기 영상에 포함된 화분 영상과 상기 학습 데이터에 포함된 화분의 형태적 특징을 이용하여 화분의 양을 분석한다.

또한, 상기 제어부는 상기 촬영한 영상에 화분이 식별될 경우 그 주위로 화분 상자를 정의하되, 상기 화분 상자는 벌 상자 내에서만 정의된다.

또한, 상기 학습데이터는 이상 개체의 형태적 특징에 관한 데이터를 더 포함하며, 상기 제어부는 상기 영상에 포함된 이상 개체의 영상과 상기 학습 데이터에 포함된 이상 개체의 형태적 특징을 이용하여 이상 개체의 존부를 분석한다.

또한, 상기 영상을 촬영하는 카메라부; 및 상기 영상을 디스플레이 하기 위한 디스플레이부를 더 포함하며, 상기 제어부는 상기 목적 개체의 클래스가 식별될 경우 그 주위로 식별 상자를 정의하여 상기 디스플레이부에 표시한다.

또한, 상기 제어부는 상기 목적 개체의 복수의 클래스 사이를 잇는 표시선을 상기 디스플레이부에 표시한다.

또한, 상기 곤충이 출입하는 하이브의 상기 곤충의 출입구를 개폐하는 개폐수단을 더 포함하며, 상기 제어부는 상기 이상 개체의 식별시 상기 개폐수단을 구동한다.

또한, 상기 제어부는 상기 이상 개체의 식별시 소정의 신호를 발생시킨다.

본 발명에 따르면, 벌통 근처에서 촬영된 벌의 움직임을 학습데이터와 비교하여 벌의 궤적을 추적하고, 벌의 출입 여부를 결정하고, 출입하는 벌의 수를 계수하며, 벌의 궤적과 화분의 상태를 분석하여 벌의 수분 활동의 적정성을 판별하는 장치 및 방법이 제공된다.

또한, 본 발명에 따르면, 미리 학습된 데이터를 토대로 꿀벌과 수정벌 등 추적 대상인 목적 개체와 말벌, 개미, 메뚜기 등 이상 개체를 식별하여 예측하고, 이상 개체의 접근시 이를 알려주는 개선된 알고리즘을 구비한 장치 및 방법이 제공된다.

도 1은 본 발명의 일 실시예에 따른 학습을 통한 곤충 개체 식별 장치의 구성도 이다.
도 2는 본 발명의 일 실시예에 따른 학습을 통한 곤충 개체 식별 장치의 화면 예시도이다.
도 3은 본 발명의 일 실시예에 따른 장치에서의 곤충의 이동거리 및 출현 횟수 분석도이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 장치를 이용한 벌의 상태 분석 예시도이다.
도 7a 및 7b는 본 발명의 일 실시예에 따른 장치에서의 꿀벌 식별 방법을 설명하기 위한 도면이다.
도 8a 및 8b는 본 발명의 일 실시예에 따른 장치에서의 수정벌 식별 방법을 설명하기 위한 도면이다.
도 9a 및 9b는 본 발명의 일 실시예에 따른 장치에서의 말벌 식별 방법을 설명하기 위한 도면이다.
도 10a, 10b, 11a 및 11b는 본 발명의 일 실시예에 따른 장치에서 사용되는 곤충의 형태학적 정보를 이용한 3차원 거리 측정법을 설명하기 위한 도면이다.
도 12와 13은 본 발명의 일 실시예에 따른 곤충의 형태학적 정보를 이용한 곤충 개체 식별 방법을 다양한 개체에 적용한 결과를 나타내는 도면이다.
도 14은 본 발명의 일 실시예에 따른 곤충의 형태학적 정보를 이용한 3차원 거리 측정법의 성능을 설명하기 위한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 "부", "모듈", "장치", "단말기", "서버" 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

이하에서는, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 학습을 통한 곤충 개체 식별 장치의 구성도이다.

장치(100)는 궤적 추적 모듈(120)과 개체 식별 모듈(125)과 화분 분석 모듈(130)을 통해 벌을 식별하여 그 궤적을 추적하고 채집된 화분량을 분석하는 제어부(110) 및 벌과 화분에 대한 다양한 정보를 딥러닝 모델을 통해 학습시켜 얻은 학습데이터를 저장하는 저장부(150)를 포함하도록 구성된다.

그 외에 벌통 근처에서의 벌의 움직임을 촬영하기 위한 카메라부(140), 촬영된 영상을 표시하기 위한 디스플레이(160), 외부 기기와 유무선 통신을 수행하기 위한 통신부(170) 등을 포함할 수 있다.

카메라부(140)를 내장하는 대신에 외부 카메라(미도시)를 사용하는 경우 장치(100)는 통신부(170)를 통해 외부 카메라와 데이터 송수신을 수행할 수 있으며, 장치(100)에 내장된 디스플레이부(160) 대신에 외부 디스플레이 장치(미도시)를 이용하거나 디스플레이부(160)와 병행하여 외부 디스플레이 장치를 활용할 수도 있다.

본 발명의 장치는 벌과 같은 곤충의 특징 즉, 신체 구조나 색상 분포 및 패턴 등을 딥러닝 모델로 학습하여 학습 데이터로 저장부(150)에 저장하고, 카메라부(140)에서 수신되어 저장부에 저장된 동영상 내지 카메라부(140)로부터의 스트리밍 영상 데이터를 프레임(frame) 마다 저장된 학습 데이터와 비교하여 영상에서 목적하는 곤충을 찾고 이동 경로를 추적하며 화분을 찾고 화분의 양을 분석할 수 있다.

도 2는 본 발명의 일 실시예에 따른 학습을 통한 곤충 개체 식별, 궤적 추적 및 분석 장치의 화면 예시도이다.

본 발명의 장치에 의해 제공되는 디스플레이 화면은 도 2와 같은 구성을 가질 수 있다.

기본적으로 곤충의 인식은 곤충을 수용하기 위한 하이브(hive)의 출입구 근처에 가상으로 그려 넣은 복수의 사각형(이하, '게이트'라 함)와 곤충을 인식할 때 자동으로 그려지는 사각형(이하, 곤충 상자'라 함)와의 교집합을 계산하는 방법으로 이뤄진다.

도 2에서는 하이브의 출입구를 중심으로 바깥쪽으로 영역 1(Area 1, 적색 게이트 내부), 영역 2(Area 2, 청색 게이트 내부), 영역 3(Area 3, 청색 게이트 외부)을 구분하도록 게이트가 정의되며, 곤충으로 식별된 개체 주위로 곤충 상자(녹색 박스)가 정의된다.

본 발명의 장치는 게이트 내부 영역과 곤충 상자 사이에 교집합이 발생하는 순서를 기록 또는 추적하는 방법으로 곤충이 하이브로 들어가는지 하이브에서 나가는지를 구분해 낸다.

예를 들어, 곤충 상자의 움직임(또는 곤충 상자와 게이트의 교집합 부분)이 영역 1 -> 영역 2 -> 영역 3의 순서로 기록될 경우 하이브에서 나가는 것이고, 영역 3 -> 영역 2 -> 영역 1의 순서로 기록될 경우 하이브로 들어가는 것이며, 영역 1에서 한동안 머무르다 사라지면 하이브로 들어간 것으로 간주하는 것이다.

도 2에서, 'Hive'는 하이브에 들어 있는 곤충의 수를 나타내며, 이는 곤충들의 출입 횟수를 계산하여 얻어지는 값이다.

'Pollination'은 곤충이 벌일 경우, 벌이 채집한 화분의 양을 나타내는 것으로, 'heavy'는 화분 채집이 우량한 상태를 'light'는 화분 채집이 상대적으로 부족한 상태를 나타낸다.

'LoC'는 곤충(또는 곤충 상자)의 위치가 어떤 영역에 있는지를 나타낸다.

한편, 본 발명에서 객체 검출(objection detection)의 정확도를 평가하는 지표로 사용하는 IoU(intersection over union)의 정의는 다음과 같다.

계산된 교집합 값은 도 2의 화면에 표시되는데, 우상단에 있는 'pIoU1', 'pIoU2', 'cIoU1', 'cIoU2'가 그것으로 접두사 p는 이전(past)의 값을 의미하고 접두사 c는 현재(current)의 값을 의미한다.

'pIoU1'은 영역 1(적색 게이트)에서 측정된 이전 프레임에서의 값을 나타내고, 'pIoU2'는 영역 2(파란색 게이트)에서 측정된 이전 프레임에서의 값을 나타내며, 'cIoU1'은 영역 1에서 측정된 현재 프레임에서의 값을 나타내고, 'cIoU2'는 영역 2에서 측정된 현재 프레임에서의 값을 각각 나타낸다.

'IoU' 뿐만 아니라 'Hive', 'Pollination' 등의 값들도 영상의 매 프레임마다 갱신되는 값이다.

한편, 곤충과 화분의 인식은 저장된 학습데이터와 촬영 영상의 비교를 통해 수행된다. 곤충, 화분과 같은 개체를 학습시킨 데이터를 촬영된 영상에 적용했을 때 임의의 시간대에 획득한 영상의 개체가 곤충이거나 화분일 확률은 곤충 상자 또는 화분 상자 근처에 수치로 나타낼 수 있다. 예를 들어 곤충 상자 옆에 '0.99'라고 표시된 경우, 그 개체가 목적하는 '곤충'일 확률이 99%라는 의미이다.

화분 상자는 곤충 상자 내에 생성되며, 화분 상자 옆에 표시되는 수치는 곤충 상자와 교집합이 있는 즉, 중첩되는 화분 이미지가 화분으로 예측될 확률을 나타낸다.

본 발명의 장치는 도 2에서의 영상을 분석하여 도 3 내지 6과 같이 곤충의 궤적을 분석한 도표를 생성할 수 있다.

먼저, 도 3은 본 발명의 일 실시예에 따른 장치에서의 곤충의 이동거리 및 출현 횟수 분석도이다.

도 3은 곤충의 궤적(travelling distance, 이동 거리)과 출현 횟수(number of appearances)를 함께 나타낸 궤적 도표로서, 곤충 하이브의 출입구로부터 곤충 상자의 거리를 나타내는 곤충의 궤적선(청색)과 곤충 상자의 출현 횟수를 나타내는 출현 횟수선(적색)을 복합적으로 분석함에 의해 곤충의 움직임과 상태를 파악할 수 있도록 해 준다.

도 4 내지 도 6은 본 발명의 일 실시예에 따른 장치를 이용한 벌의 상태 분석 예시도이다.

3개의 도면을 비교하면, 벌통으로 들어가는 정상적인 벌의 궤적(도 4)과, 벌통에서 나오는 정상적인 벌의 궤적(도 5)에 비해서, 도 6과 같이 출입구 주변에서 움직임을 종료함에 따라 벌이 떨어져 죽는 경우를 확실하게 구별할 수 있다.

도시하지는 않았지만, 이외에도 다양한 형태의 벌의 상태 분석도를 제공할 수 있다. 예를 들어, X-Y 좌표계 상에서 벌의 비행 궤적을 나타내는 벌의 궤적(Flight Trajectory of Bee) 그래프와 영상 내에서의 벌의 누적 출현 빈도를 나타내는 벌의 출현 상태(Observation of Bee's Staying) 그래프, 및 기준점으로부터의 벌의 이동 거리(Travelling Distance of Bee)와 벌의 출현 상태 그래프 등을 포함하도록 구성할 수 있다.

그 외에도 벌이 벌통으로 들어가고 나오는데 걸리는 시간을 측정하여 벌의 노화, 활동성 등을 파악할 수 있으며, 화분의 형태와 색상 등의 데이터를 학습할 수 있다. 따라서, 쵤영된 영상에서 화분의 색상을 구별할 수 있어서 벌이 목적하는 식물과 다른 종류의 식물을 방문하는지를 확인할 수 있고, 벌의 움직임이 정상인지 비정상인지 여부를 판단할 수 있다. 이를 통해, 벌의 움직임을 분석하여 환경 변화 또는 벌의 수분 활동의 적정성에 대한 정보를 제공해 주거나 벌통 및 온실 관리에 필요한 정보를 제공해 줄 수 있다.

이제 각각의 개체를 식별하는 구체적인 방법에 대해 설명하기로 한다.

도 7a 및 7b는 본 발명의 일 실시예에 따른 장치에서의 꿀벌(honeybee) 식별 방법을 설명하기 위한 도면이며, 도 8a 및 8b는 본 발명의 일 실시예에 따른 장치에서의 수정벌 식별 방법을 설명하기 위한 도면이다.

딥러닝으로 학습된 데이터를 통해 분류작업은 매우 다양한 분야에 사용이 가능하다. 학습이 가능할 정도의 품질을 갖춘 데이터만 있다면 가능하다. 그렇지만 본 발명의 핵심은 단순 학습/예측이 아니라 알고리즘을 통한 개체의 분류에 있다.

이는 예측모델의 개선과 향상이라는 측면에서 새로운 방법론을 제시한다. 꿀벌, 수정벌 등 각종 곤충의 학습 시 입력되는 이미지는 딥러닝 모델에 의해 이미지의 주석(annotation)(클래스 종류: 꿀벌, 수정벌, 말벌, 화분, 기타 객체) 또는 특징(형태, 색상 분포)을 함께 학습한다. 학습된 이미지에 대한 클래스별 특징을 바탕으로 모델의 정확도를 계산할 수 있다.

촬영된 영상 전체에 대해 정확한 학습과 예측이 된다면 가장 우수한 품질의 결과를 도출하겠지만 방대한 데이터를 다루어야 한다는 점에서 컴퓨터의 성능과 작업의 효율성에 대한 고려가 필요하다. 이러한 문제를 해결하기 위해 식별을 요하는 개체만을 주석처리(annotation)하는 방법을 사용한다. 본 발명은 각 개체에 대한 전체적인 학습을 배제하고 각 개체 또는 클래스를 대표하는 특징만을 학습시킴으로써 낮은 컴퓨팅 성능으로 높은 효율성을 보이도록 설계되었다.

도 7a는 촬영된 꿀벌의 영상이며, 도 8a는 촬영된 수정벌의 영상이다.

두 벌의 기본 구조는 유사하나 배 부분의 형태와 무늬 색상의 분포가 상이하다. 꿀벌의 경우 배가 잘록하면서 복잡한 무늬 색상을 가지고 있으며 수정벌의 경우 배가 두툼하면서 단순한 무늬 색상을 갖는다. 이러한 특징은 두 개체를 분류하기에 충분한 조건이 되며, 색상 분석을 통해서 도 7b 및 도 8b와 같은 결과를 얻을 수 있다.

도 7b와 도 8b는 각각 꿀벌과 뒤영벌의 배 부분의 무늬 색상표이다.

두 개체는 매우 비슷하여 일반적인 구분법을 사용하기에 적당하지 않다. 형태학적으로 수정벌이 꿀벌에 비해 상대적으로 크지만 서식지역에 따라 특징(형태, 색상 분포)이 바뀌기 때문에 기준이 될 수 없다. 즉, 수정벌과 꿀벌의 경우 형태적으로 구분이 어렵기 때문에 무늬의(특히, 배의 무늬) 색상 분포를 조사함으로써 분류하는 기법이 필요하다. 도 7b와 도 8b를 비교하면, 수정벌의 경우 색상이 고르게 분포하여 단순하게 나타나며(도 8b), 꿀벌의 경우 복잡/세밀한 무늬의 표현을 위해 10% 미만의 낮은 점유율을 갖는 구간에 다수의 색들이 세분화되어 있음(도 7b)을 알 수 있다. 따라서, 꿀벌과 수정벌은 형태와 함께 배 부분 무늬의 특징적인 색상 분포를 함께 학습함으로써 모델의 정확도를 개선할 수 있다.

한편, 꿀벌과 수정벌을 포함하는 일반적인 벌의 크기는 15mm~20mm 정도로 작으며 복잡하고 세밀한 구조로 인해 인식이 매우 어렵다. 특히 수정벌의 몸 전체를 덮고 있는 털로 인해 생기는 그림자는 인식을 더욱 어렵게 만든다. 본 발명은 이러한 문제를 해결하기 위해 상기한 바와 같이 개체의 궤적을 추적/조사하여 관련 데이터를 획득한 후 이를 개체의 특징과 결합하여 다양한 예측작업을 수행하는 과정을 더 포함한다. 이러한 궤적 추적 기술을 이상 개체의 판별 알고리즘에 적용함으로써 개체 인식(object recognition)의 정확도를 높이는 것이다.

도 9a 및 9b는 본 발명의 일 실시예에 따른 장치에서의 말벌 식별 방법을 설명하기 위한 도면이다.

서로 다른 두 개체가 형태에 있어서 큰 차이를 보일 경우에는 새로운 접근법이 필요하다. 말벌(hornet)은 일반 벌(즉, 꿀벌, 뒤영벌)들과 구조적인 차이를 보인다. 말벌의 크고 뚜렷한 형태와 색상은 다른 개체와 분류하기에 적당하다. 말벌은 크기가 크고 각 부분의 구분이 명확하며 배 부분은 진한 노란색과 검은색의 깔끔한 무늬를 갖는다는 것이 일반적인 특징이다. 이러한 특징을 활용하기 위해 말벌의 머리와 배를 따로 학습시키고 머리와 배의 거리를 조사하는 방법으로 말벌을 분류하는 기술을 적용했다.

도 9a 및 도 9b는 꿀벌(honey_bee)과 말벌의 머리(hornet_head), 그리고 말벌의 배(hornet_abdomen)를 특징으로 학습시킨 데이터로 예측한 결과이다.

상기한 바와 같이, 꿀벌은 배 무늬의 색상분포가 특징이다. 그래서 꿀벌을 예측한 상자(청색)는 도 9a 및 도 9에서 모두 꿀벌의 배 부분에 나타난다. 그러나, 이는 예시적인 것이며 꿀벌 전체 형태에 걸쳐 꿀벌 상자가 형성되도록 하는 것도 물론 가능하다.

도 9a에서, 말벌의 머리와 배 부분이 별도로 예측되어 상자와 함께 표시되었다. 말벌의 머리 상자와 말벌의 배 상자가 함께 검출되면 두 상자의 유클리드 거리를 계산한 뒤 실제 말벌 데이터와의 유사성을 검사한다. 상자 간의 거리를 계산하고 상자를 잇는 선을 하늘색으로 나타냈으며 축적된 값의 통계치를 분석하는 방법으로 개체 식별의 정확도를 높였다.

주의할 점은, 같은 사물이라도 카메라와 물체의 떨어진 거리와 촬영 각도에 따라 실물의 크기가 다르게 보일 수 있다는 것이다. 따라서, 이를 보정하기 위해 이러한 요소를 고려한 보정이 필요하다. 본 발명에서는 촬영장소 주변의 실사물의 직접측량 값과 실사물의 평균적인 값을 모두 사용하여 통계치를 구하는 방법이 적용되었다.

한편, 이러한 계산을 위해서는 말벌의 부위별 예측결과로 말벌의 머리 및 말벌의 배 상자가 모두 나타나야 한다. 즉, 입력 데이터의 낮은 품질로 인하여 말벌의 머리만 식별되거나 말벌의 배만 식별한 결과로는 말벌로 예측하지 않는다.

도 9b는 말벌의 배만 식별되었고 말벌의 머리는 식별하지 못한 경우이다. 말벌이 날갯짓할 때 말벌의 머리와 날개가 겹쳐 올바로 인식하지 못한 것이다. 돌발상황으로 인식되지 않은 경우이지만 결과의 유의미성을 조사하기 위해 이전결과와 대조하여 가능성을 계산해 낼 수 있다.

도 10a, 10b, 11a 및 11b는 본 발명의 일 실시예에 따른 장치에서 사용되는 곤충의 형태학적 정보를 이용한 3차원 거리 측정법을 설명하기 위한 도면이다.

'3차원 거리 측정법'은 곤충의 생태학적 행동특성과 잘 맞물려 있으며 매우 이상적인 결과를 제공한다. 동식물을 포함하여 곤충의 대부분은 관절을 가지고 있어 움직임에 제한을 받아 각기 특별한 행동특성을 보인다.

벌과 같은 곤충은 각부의 구분이 형태적으로 확실하고 관절이 있어 제한된 행동반경이 결정되어 범위 밖의 운동을 바로 찾아낼 수 있다. 이 원리를 예측모델에 적용하면 이상치(singularity)를 검사/제거할 수 있어 예측의 정확도가 높아진다. 물론, 지렁이와 같은 연체 동물의 경우에도 다관절로 구성되어 있다면 역시 행동특성을 찾을 수 있으며 본 기술의 적용이 가능할 것이다.

도 10a는 '3차원 거리 측정법'을 적용하지 않은 결과이다. 개체 식별 과정을 개체 검출과 개체 인식으로 구별하자면 개체 검출(object detection)에는 성공했으나 개체 인식(object recognition)에는 실패한 경우라 할 수 있다. 개미의 머리와 개미의 배를 찾아 개미 개체를 검출하는 기본적인 알고리즘은 제대로 작동했다. 하지만 또 다른 개미 개체가 검출됨에 따라 두 개체를 연결하여 실제하지 않는 새로운 개체를 인식하게 되었다. 이러한 경우를 방지하기 위해 '3차원 거리 측정법'으로 계산한 개체의 크기를 사용하여 잘못된 예측을 제거하는 알고리즘이 필요하다.

도 10b는 '3차원 거리 측정법'을 적용한 결과이다. 도 10b에서 뒤쪽에 있는 두 개미를 살펴보면, 가운데 개미는 배만 검출되었고 오른쪽 개미는 몸통 전체가 머리로 오인식되어 예측이 불완전함을 알 수 있다. 따라서, 이 두 개체(즉, 가운데 개미와 오른쪽 개미)는 개미의 형태학적 관점에서 존재 불가능한 개체이므로 예측에서 배제시킬 필요가 있다. 결국, 앞쪽의 개미와 같이 머리와 배가 함께 검출되고 계산된 거리가 통계적인 개미의 크기와 비슷할 경우에만 성공적인 식별로 간주하고 이를 개미로 예측해야 한다.

도 11a는 근거리에 다수의 개체가 밀집되어 있는 경우로서, '3차원 거리 측정법'을 적용하지 않은 경우를 도시한 것이다.

총 4마리의 개미가 영상에 있는데 가운데 부분에 상하로 배치된 두 개미의 거리가 가까워 상부 개미의 배와 하부 개미의 머리가 보라색 선으로 연결되며 이를 하나의 개미 개체라고 잘못된 예측을 한 상태이다.

도 11b는 도 11a와 동일한 영상에 '3차원 거리 측정법'을 적용한 경우이다.

'3차원 거리 측정법'으로 계산된 결과는 화면의 픽셀 값으로 나타나기 때문에 이를 거리로 환산한 후 통계적 개체의 크기와 비교하여 정상 개체인지 이상 개체인지를 탐지하게 된다. 디지털 이미지의 해상도를 말하는 DPI(dots per inch)는 1인치 안에 들어있는 픽셀의 수를 나타내는 단위이다. 예를 들어, DPI96의 경우 1cm/2.54 x 96=37.79 픽셀이 된다. 이 값으로 1픽셀의 거리를 역으로 환산하면 0.0263cm임을 알 수 있다. 도 11b의 개미 머리에서 개미 배까지의 픽셀 수를 구하면 평균 138(~3.6cm)픽셀을 얻을 수 있다. 개미의 평균적 크기(일개미 3mm, 여왕개미 7mm)를 분류기준(criteria)으로 사용하여, 하부 개미만을 정상 개체로 예측하게 되고, 상부 개미의 배와 하부 개미의 머리를 이어서 인식한 개체는 예측에서 제거하게 된다.

도 12와 13은 본 발명의 일 실시예에 따른 곤충의 형태학적 정보를 이용한 곤충 개체 식별 방법을 다양한 개체에 적용한 결과를 나타내는 도면이다.

도 12에서, 메뚜기(grasshopper)는 머리와 꼬리를 해당 개체의 클래스로 특정하여 그 특징을 학습하고, 개미는 머리와 배를 클래스로 하여 그 특징을 학습시켰으며, 벌(bee)는 다른 개체와 구별되는 특성인 날개를 클래스로 하여 그 특징을 학습시켰다. 특징의 학습은 매우 주관적이기 때문에 효율적인 분류를 위해서는 많은 기술과 경험이 필요하다.

예를 들어, 도 7, 8에서는 꿀벌과 뒤영을 구별하기 위해서 벌의 배 부분의 무늬를 클래스 특징으로 학습시키지만, 도 9에서는 꿀벌, 뒤영벌과 구분되는 말벌의 신체적 특징을 이용하여 말벌의 머리와 배를 각기 클래스로 하여 특징을 학습하고 그 사이의 거리를 계산하는 방식을 적용하며, 도 12에서는 개미나 메뚜기와 구분하기에 용이한 벌의 날개를 클래스로 하여 그 특징을 학습시키는 것이다. 이와 같이, 상황에 맞추어 동일 개체에 서로 다른 클래스와 특징을 도입할 수 있다.

한편, 도 12에서는 메뚜기의 머리와 개미의 머리가 유사성이 높기 때문에 영상 촬영 방향에 따라 양자의 구분이 어려워 질 수 있다. 다시 말해, 개미와 메뚜기가 동일 방향으로 놓인다면 구분하기 어렵게 되는 것이다. 따라서, 본 발명에서와 같이 '3차원 거리 측정법'과 곤충의 형태학적 정보를 동시에 활용하여 개체를 예측할 필요가 있다.

개체 분류를 위해 개발된 '3차원 거리 측정법'은 단순히 점과 점 사이의 유클리드 거리를 계산하는 것이 아니다. 3차원 데이터가 아니라 2차원 데이터를 사용하여 3차원적 거리를 계산하는 방법으로 낮은 성능으로 검출효율을 높일 수 있다는 장점이 있다.

도 13은 지렁이를 포함하는 더욱 다양한 개체에 본 발명의 '3차원 거리 측정법'과 곤충의 생태학적 데이터를 동시에 활용하여 개체를 식별하고 예측한 결과를 도시한 것이다.

목적하는 각 클래스의 특징을 식별하여 각 개체를 예측하고 있으며, 식별 대상이 아닌 개체인 지렁이와 같은 경우에는 만약 그것이 식별가능하다면 기타 개체(unkown)로 분류할 수 있다.

한편, 도 13의 2차원 영상을 3차원적으로 이해하면 공간을 쪼개어 동일 평면이 아닌 경우 즉, 상부의 개체들과 하부의 개체들 간에 공간의 기울어짐과 같은 공간정보에 의한 이미지의 왜곡, 다시 말해 원근에 의한 왜곡이 발생함을 알 수있다. 이와 같이, 다중 평면에 여러 개체가 위치할 경우 공간정보와 개체의 형태학적 정보를 이용하여 왜곡을 보정하여 개체를 식별해야 한다.

도 14는 본 발명의 일 실시예에 따른 곤충의 형태학적 정보를 이용한 3차원 거리 측정법의 성능을 설명하기 위한 도면이다.

도 14는 말벌을 대상으로 하여 실험한 결과를 나타낸 것으로서, 신뢰도(confidence level)는 학습시킨 데이터가 말벌이라고 추정하는 수준을 의미하며, 정확도(percentage accuracy)는 실제 말벌인지 여부에 대한 정답을 비교하여 전체 프레임수로 나눈 값을 의미한다.

말벌의 예측시 말벌의 전체 형태를 하나의 특징으로 학습시킨 경우(hornet_all)와 말벌의 머리와 배 부분을 구분하고 형태학적 특징 즉, 머리와 배 사이의 거리 정보를 이용하여 말벌의 각부 형태를 특징으로 학습시킨 경우(hornet_part)를 비교한 결과, 말벌의 각부 형태를 특징으로 학습한 경우의 정확도가 훨씬 높다는 것을 확인할 수 있다.

말벌의 전체 형태를 학습시킨 경우에는 이미지의 화질이나 배경의 노이즈 등으로 인하여 신뢰도를 높일 경우 정확도가 현저하게 감소하는데 비해서, 말벌의 머리와 배를 각기 학습한 후 형태학적 특징 즉, 머리와 배 사이의 거리 정보를 고려하는 알고리즘으로 분석을 하게 되면 정확도가 유지되며 그에 따라 90%의 신뢰도에서 85% 이상의 정확도를 갖는 것을 확인 할 수 있다.

도시하지는 않았지만, 개체의 전체 형태를 학습시킨 경우에 비해 본 발명에 따라 개체의 각 특징부를 학습하고 곤충의 형태학적 특징을 고려한 경우가 90%의 신뢰도 구간에서 대략 8배 이상의 성능 향상이 확인되었고, 저해상도에서 테스트를 한 경우에도 두 기법의 차이가 40% 이상의 정확도 차이를 보였으며, 70%의 신뢰도 구간에서도 곤충을 비교적 정확하게 탐지할 수 있었다.

도시하지는 않았지만, 상기 곤충이 출입하는 하이브(예를 들어, 곤충이 벌인 경우의 벌통)에 상기 곤충의 출입구를 개폐하는 개폐수단을 더 포함하고, 꿀벌이나 수정벌이 아닌 말벌, 메뚜기, 개미 등 지정된 이상 개체의 식별시 상기 개폐수단을 구동하는 메커니즘을 추가할 수 있다.

또한, 이상 개체 식별시 상기 개폐수단의 구동과 별도로 또는 상기 개폐수단의 구동과 함께 사용자에게 상황을 알리기 위한 음향의 발생, 램프의 점등, 통신수단을 이용한 사용자 단말기로의 정보전송과 같은 소정의 신호를 발생시킬 수 있다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

목적 개체인 곤충의 형태학적 특징을 딥러닝 모델을 통해 학습시켜 얻은 학습데이터를 저장하는 저장부; 및
촬영된 영상과 상기 저장부에 저장된 학습데이터를 이용하여 촬영된 영상에서 상기 목적 개체를 식별하고 식별된 목적 개체의 궤적을 추적하는 제어부를 포함하는,
학습을 통한 곤충 개체 식별 장치.
청구항 1에 있어서,
상기 딥러닝 모델은 상기 목적 개체의 형태적 특성을 적어도 하나 이상의 클래스로 분류하고, 각 클래스의 특징을 학습하는,
학습을 통한 곤충 개체 식별 장치.
청구항 2에 있어서,
상기 제어부는 상기 목적 개체인 곤충의 형태학적 정보를 이용한 3차원 거리 측정법에 의거하여 상기 목적 개체를 식별하는,
학습을 통한 곤충 개체 식별 장치.
청구항 3에 있어서,
상기 제어부는 상기 목적 개체의 복수의 클래스 간의 거리 측정 결과와 상기 저장부에 저장된 곤충의 형태학적 정보를 이용하여 상기 목적 개체를 식별하는,
학습을 통한 곤충 개체 식별 장치.
청구항 4에 있어서,
상기 목적 개체가 꿀벌과 수정벌일 때, 상기 딥러닝 모델은 상기 꿀벌의 배 부분과 상기 수정벌의 배 부분을 각기 해당 개체의 클래스로 정의하며, 상기 꿀벌과 상기 수정벌의 배 부분의 무늬와 색상의 분포를 해당 클래스를 나타내는 특징으로 학습하는,
학습을 통한 곤충 개체 식별 장치.
청구항 4에 있어서,
상기 목적 개체가 말벌일 때, 상기 딥러닝 모델은 상기 말벌의 머리 부분과 배 부분을 포함하도록 해당 개체의 클래스를 복수개로 정의하며, 상기 말벌의 배 부분의 무늬와 색상 분포 및 상기 머리 부분과 상기 배 부분 사이의 거리를 해당 클래스를 나타내는 특징으로 학습하는,
학습을 통한 곤충 개체 식별 장치.
청구항 4에 있어서,
상기 목적 개체가 개미일 때, 상기 딥러닝 모델은 상기 개미의 머리 부분과 배 부분을 포함하도록 해당 개체의 클래스를 복수개로 정의하며, 상기 개미의 배 부분의 형태와 색상 분포 및 상기 머리 부분과 상기 배 부분 사이의 거리를 해당 클래스를 나타내는 특징으로 학습하는,
학습을 통한 곤충 개체 식별 장치.
청구항 4에 있어서,
상기 목적 개체가 메뚜기일 때, 상기 딥러닝 모델은 상기 메뚜기의 머리 부분과 꼬리 부분을 포함하도록 해당 개체의 클래스를 복수개로 정의하며, 상기 메뚜기의 꼬리 부분의 형태 및 상기 머리 부분과 상기 꼬리 부분 사이의 거리를 해당 클래스를 나타내는 특징으로 학습하는,
학습을 통한 곤충 개체 식별 장치.
청구항 4에 있어서,
상기 제어부는 상기 영상에 공간정보에 의한 이미지 왜곡이 존재할 경우 상기 공간정보와 상기 개체의 형태학적 정보를 이용하여 왜곡을 보정하는,
학습을 통한 곤충 개체 식별 장치.
청구항 4에 있어서,
상기 제어부는 상기 영상에서 상기 곤충이 출입하는 하이브에서 상기 곤충의 출입구를 중심으로 하는 서로 다른 크기의 복수의 영역을 정의하고, 상기 영상에서 곤충 개체가 식별될 경우 그 주의로 곤충 상자를 정의하는,
학습을 통한 곤충 개체 식별 장치.
청구항 10에 있어서,
상기 제어부는 상기 영역 중 적어도 하나와 상기 곤충 상자가 중첩되는 순서를 기록 또는 추적하는 방법으로 상기 곤충의 출입 여부를 구분하는,
학습을 통한 곤충 개체 식별 장치.
청구항 2에 있어서,
상기 학습데이터는 화분의 형태적 특징에 관한 데이터를 더 포함하며, 상기 제어부는 상기 영상에 포함된 화분 영상과 상기 학습 데이터에 포함된 화분의 형태적 특징을 이용하여 화분의 양을 분석하는,
학습을 통한 곤충 개체 식별 장치.
청구항 12에 있어서,
상기 제어부는 상기 촬영한 영상에 화분이 식별될 경우 그 주위로 화분 상자를 정의하되, 상기 화분 상자는 벌 상자 내에서만 정의되는,
학습을 통한 곤충 개체 식별 장치.
청구항 4에 있어서,
상기 학습데이터는 이상 개체의 형태적 특징에 관한 데이터를 더 포함하며, 상기 제어부는 상기 영상에 포함된 이상 개체의 영상과 상기 학습 데이터에 포함된 이상 개체의 형태적 특징을 이용하여 이상 개체의 존부를 분석하는,
학습을 통한 곤충 개체 식별 장치.
청구항 4에 있어서,
상기 영상을 촬영하는 카메라부; 및
상기 영상을 디스플레이 하기 위한 디스플레이부를 더 포함하며,
상기 제어부는 상기 목적 개체의 클래스가 식별될 경우 그 주위로 식별 상자를 정의하여 상기 디스플레이부에 표시하는,
학습을 통한 곤충 개체 식별 장치.
청구항 15에 있어서,
상기 제어부는 상기 목적 개체의 복수의 클래스 사이를 잇는 표시선을 상기 디스플레이부에 표시하는,
학습을 통한 곤충 개체 식별 장치.
청구항 14에 있어서,
상기 곤충이 출입하는 하이브의 상기 곤충의 출입구를 개폐하는 개폐수단을 더 포함하며,
상기 제어부는 상기 이상 개체의 식별시 상기 개폐수단을 구동하는,
학습을 통한 곤충 개체 식별 장치.
청구항 14에 있어서,
상기 제어부는 상기 이상 개체의 식별시 소정의 신호를 발생시키는,
학습을 통한 곤충 개체 식별 장치.