KR102675185B1

KR102675185B1 - Apparatus and method for measuring activity of bee

Info

Publication number: KR102675185B1
Application number: KR1020210171672A
Authority: KR
Inventors: 이경용; 이재수; 윤형주; 이영보
Original assignee: 대한민국
Filing date: 2021-12-03
Publication date: 2024-06-18

Abstract

본 발명은 벌통의 출입구를 포함한 영역을 위에서 바라본 화면으로 촬영하되 벌통을 출입하는 벌의 종류에 기초하여 기결정된 초당 프레임 수로 영상을 촬영하고, 촬영된 영상의 정지 이미지에 존재하는 벌의 개체수 변화에 기초하여 벌통에서 나가는 벌과 벌통으로 들어가는 벌을 감지하고, 감지 결과에 기초하여 벌의 활동량을 측정하도록 구성된 장치 및 방법에 관한 것이다.The present invention captures the area including the entrance of the beehive as viewed from above, captures the image at a predetermined number of frames per second based on the type of bees entering and exiting the hive, and determines the change in the number of bees present in the still image of the captured image. It relates to an apparatus and method configured to detect bees leaving a hive and bees entering the hive, and measure the amount of activity of the bees based on the detection results.

Description

Apparatus and method for measuring activity of bee}

본 발명은 벌의 활동량 측정 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for measuring bee activity.

벌은 인류가 섭취하는 작물의 수분(pollnation)을 도와주는 중요한 곤충이다. 기후변화, 농약의 무분별한 사용 등으로 야생의 벌을 통한 자연수분(natural pollination) 이 어려워지고 있기 때문에 꿀벌과 뒤영벌 같은 상업적으로 사육되고 있는 벌 류가 농작물의 수정에 이용되고 있다. 벌의 활동량은 벌의 건강, 꿀의 생산 등 양봉에 있어 벌의 력을 판단하는데 중요한 지표중 하나이다. 특히 작물의 화분매개 측면에서도 벌의 활동량은 작물의 착과에 직결되는 요소이기도 하다. 따라서 작물을 재배환경, 재배방식을 디지털화 하여 농작물의 생산을 예측하는 스마트농업에서벌의 활동량을 정량적으로 측정하는 기술의 확보는 매우 중요하다. 벌의 활동량은 벌이 벌통주변을 출입하는 소문출입활동 (Bee traffic)을 통하여 확인할 수 있다. 이를 정량적으로 측정하기 위하여 기존에는 사람이 직접 벌통의 출입구에서 각각의 개체의 출입수를 세는 방법을 통해 측정을 진행하고 있다. 그러나 기존 방법은 장기간 측정이 어렵고, 정확한 데이터 수집이 불가능한 문제를 가지고 있다.Bees are important insects that help pollinate crops consumed by humans. Because natural pollination through wild bees is becoming difficult due to climate change and indiscriminate use of pesticides, commercially farmed bees such as honey bees and young bees are being used to fertilize crops. The amount of activity of bees is one of the important indicators in determining the power of bees in beekeeping, including their health and honey production. In particular, in terms of crop pollination, the amount of bee activity is also a factor directly related to crop fruit set. Therefore, it is very important to secure technology to quantitatively measure bee activity in smart agriculture, which predicts crop production by digitizing crop cultivation environments and cultivation methods. The amount of bee activity can be confirmed through bee traffic, which involves bees coming and going around the hive. In order to measure this quantitatively, measurement is currently carried out by manually counting the number of entries and exits of each individual at the entrance of the beehive. However, existing methods have problems such as difficulty in long-term measurement and inability to collect accurate data.

KRKR 10-2021-0046934 10-2021-0046934 AA 특허문헌 1은 적외선 센서 등을 통한 센싱 정보와 카메라 등을 통한 영상 정보를 조합하여, 벌통에서 나가는 뒤영벌과 벌통으로 들어가는 뒤영벌을 감지하고, 감지결과를 기반으로 뒤영벌의 활동량을 측정하는 장치 및 방법에 관한 것이다. 특허문헌 1은 촬영 모듈이 벌통 출입구의 정면을 향해 설치되어 화면의 중앙에 벌통의 출입구가 위치하므로, 벌통 위를 기어다니는 벌들이나 여름철 벌통 출입구에 많은 벌들이 붙어있을 경우에도 벌통을 출입하는 것으로 감지하여 벌의 정확한 활동량을 측정하지 못하는 문제점이 있었다.Patent Document 1 describes a device and method for detecting bees leaving a hive and bees entering the hive by combining sensing information through an infrared sensor and image information through a camera, and measuring the activity of bees based on the detection results. It's about. In Patent Document 1, the photography module is installed facing the front of the beehive entrance and the entrance of the beehive is located in the center of the screen, so even bees crawling on the beehive or many bees attached to the entrance of the beehive in the summer are detected as entering the beehive. Therefore, there was a problem of not being able to measure the exact amount of activity of the bees.

본 발명은, 벌통의 출입구를 드나들면서 실제로 비행하는 벌만을 감지하여 활동량을 정확하게 측정할 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다. The purpose of the present invention is to provide a device and method that can accurately measure the amount of activity by detecting only bees that actually fly while entering and exiting the entrance of a beehive.

본 발명에 따른 벌의 활동량 측정장치가 제공될 수 있으며 상기 측정장치는, 벌통의 출입구를 포함한 영역을 위에서 바라본 화면(top view)으로 촬영하도록 설치된 촬영모듈을 포함하고, 상기 벌통을 출입하는 벌의 종류에 기초하여 기결정된 초당 프레임 수로 영상을 촬영하는 촬영부; 및 상기 쵤영부에서 획득한 영상의 정지 이미지에 존재하는 벌의 개체수 변화에 기초하여 벌통에서 나가는 벌과 벌통으로 들어가는 벌을 감지하고, 감지 결과에 기초하여 벌의 활동량을 측정하는 컨트롤러를 포함한다.A device for measuring the activity of bees according to the present invention may be provided, and the measuring device includes a photographing module installed to photograph an area including the entrance of the beehive in a top view, and the measurement device includes a photographing module installed to photograph the area including the entrance of the beehive in a top view, a photographing unit that captures an image at a predetermined number of frames per second based on the type; And a controller that detects bees leaving the hive and bees entering the hive based on changes in the population of bees present in the still image of the video acquired from the recording unit, and measures the amount of activity of the bees based on the detection result.

일 실시예로서, 상기 벌이 벌통의 출입구에서 밖으로 날아가는 비행속도에 기초하여 기결정된 초당 프레임 수로 영상을 촬영할 수 있다. As an example, an image may be captured at a predetermined number of frames per second based on the flight speed at which the bee flies out of the entrance of the beehive.

일 실시예로서, 화면상에서 벌통의 출입구는 화면의 제 1 가장자리에 접하고, In one embodiment, the entrance of the beehive on the screen is in contact with the first edge of the screen,

상기 출입구에서 밖으로 날아가는 벌이 상기 화면에 잡히도록 상기 영역의 위치가 결정될 수 있다.The location of the area may be determined so that a bee flying out of the doorway is caught on the screen.

일 실시예로서, 화면상의 출입구의 중심으로부터, 상기 제 1 가장자리의 맞은편에 있는 화면의 제 2 가장자리의 한쪽 모서리까지의 대각선의 길이가, 상기 벌의 비행속도를 상기 초당 프레임 수로 나눈 값과 동일하거나 더 크도록 상기 영역의 크기가 결정될 수 있다. In one embodiment, the length of the diagonal from the center of the entrance on the screen to one corner of the second edge of the screen opposite the first edge is equal to the flight speed of the bee divided by the number of frames per second. The size of the area may be determined to be larger or larger.

일 실시예로서, 상기 화면은, 상기 출입구에 대응하는 출입구 구역을 포함할 수 있다. 그리고 상기 컨트롤러는, 각 정지 이미지에서 상기 출입구 구역에 존재하는 벌의 제1개체수와, 각 정지 이미지의 화면 전체에서 상기 출입구 구역을 제외한 나머지 구역에 존재하는 벌의 제2개체수를 각각 계산하고, 현재의 정지 이미지의 제1개체수와 제2개체수의 합이 그 전의 정지 이미지의 제1개체수와 제2개체수의 합보다 작으면, 상기 제1개체수와 상기 제2개체수의 변화에 기초하여 벌통에서 나가는 벌과 벌통으로 들어가는 벌을 감지할 수 있다.As an example, the screen may include an entrance area corresponding to the entrance. And the controller calculates the first population of bees present in the entrance area in each still image and the second population of bees present in the remaining areas excluding the entrance area on the entire screen of each still image, respectively, and calculates the current number of bees present in the entrance area. If the sum of the first and second populations of the still image is less than the sum of the first and second populations of the previous still image, the bees leave the hive based on the change in the first and second populations. It can detect bees entering the hive.

일 실시예로서 상기 컨트롤러는, 현재의 정지 이미지의 제1개체수가 그 전의 정지 이미지의 제1개체수보다 크고, 현재의 정지 이미지의 제2개체수가 그 전의 정지 이미지의 제2개체수보다 작으면, 그 전의 정지 이미지에 존재하는 총 개체수에서 현재의 정지 이미지의 제1개체수를 뺀 만큼의 벌이 벌통 밖으로 나간 것으로 감지하고, 현재의 정지 이미지의 제1개체수와 그 전의 정지 이미지의 제1개체수의 차이만큼의 벌이 벌통으로 들어간 것으로 감지할 수 있다.In one embodiment, the controller, if the first number of objects in the current still image is greater than the first number of objects in the previous still image, and the second number of objects in the current still image is smaller than the second number of objects in the previous still image, It detects that as many bees as the total number of bees in the previous still image minus the first number of the current still image have left the hive, and the number of bees equal to the difference between the first number of the current still image and the first number of the previous still image is detected. It can be detected that a bee has entered the hive.

일 실시예로서 상기 컨트롤러는, 현재의 정지 이미지의 제2개체수가 그 전의 정지 이미지의 제2개체수보다 크면, 그 전의 정지 이미지에 존재하는 총 개체수에서 현재의 정지 이미지의 제2개체수를 뺀 만큼의 벌이 벌통으로 들어간 것으로 감지할 수 있다.In one embodiment, if the second number of objects in the current still image is greater than the second number of objects in the previous still image, the controller calculates the number by subtracting the second number of objects in the current still image from the total number of objects in the previous still image. It can be detected that a bee has entered the hive.

일 실시예로서 상기 컨트롤러는, 벌 이미지 모델을 기초로, 상기 쵤영부에서 획득한 영상의 정지 이미지에 존재하는 벌의 종류 및 개체수를 판독하는 벌 모델부를 포함하고, 상기 벌 모델부에 의해 판독된 벌의 종류에 기초하여 상기 초당 프레임 수를 결정할 수 있다.In one embodiment, the controller includes a bee model unit that reads the type and number of bees present in a still image of the image acquired from the photography unit, based on a bee image model, and the bee model unit reads the number of bees present in the still image. The number of frames per second can be determined based on the type of bee.

한편 본 발명에 따른 벌의 활동량 측정방법이 제공될 수 있으며 상기 측정방법은, 벌통의 출입구를 포함한 영역을 위에서 바라본 화면(top view)으로 촬영하도록 설치된 촬영모듈을 포함하는 촬영부로부터 벌의 종류에 기초하여 기결정된 초당 프레임 수로 촬영된 영상을 획득하는 단계; 상기 영상의 정지 이미지에 존재하는 벌의 개체수 변화에 기초하여 벌통에서 나가는 벌과 벌통으로 들어가는 벌을 감지하고, 감지 결과에 기초하여 벌의 활동량을 측정하는 단계를 포함한다. Meanwhile, a method for measuring the activity of bees according to the present invention can be provided, and the measurement method includes determining the type of bee from a photographing unit including a photographing module installed to photograph the area including the entrance of the beehive as a top view. acquiring an image captured at a predetermined number of frames per second based on a predetermined number of frames per second; It includes the step of detecting bees leaving the hive and bees entering the hive based on changes in the population of bees present in the still image of the video, and measuring the amount of activity of the bees based on the detection result.

일 실시예로서, 상기 영상은 벌이 벌통의 출입구에서 밖으로 날아가는 비행속도에 기초하여 기결정된 초당 프레임 수로 촬영된 것일 수 있다. As an example, the image may be captured at a predetermined number of frames per second based on the flight speed of bees flying out of the entrance of the beehive.

일 실시예로서 상기 영상을 획득하는 단계는, 화면상에서 벌통의 출입구가 화면의 제 1 가장자리에 접하고, 상기 출입구에서 밖으로 날아가는 벌이 상기 화면에 잡히도록 위치결정된 영역에 대한 영상을 획득할 수 있다. As an example, the step of acquiring the image may acquire an image of an area on the screen positioned so that the entrance of the beehive is in contact with the first edge of the screen and bees flying out of the entrance are caught on the screen.

일 실시예로서 상기 영역의 크기는, 화면상의 출입구의 중심으로부터 상기 제 1 가장자리의 맞은편에 있는 화면의 제 2 가장자리의 한쪽 모서리까지의 대각선의 길이가 벌의 비행속도를 상기 초당 프레임 수로 나눈 값과 동일하거나 더 크도록 결정된 것일 수 있다. In one embodiment, the size of the area is the diagonal length from the center of the entrance on the screen to one corner of the second edge of the screen opposite the first edge, which is the bee's flight speed divided by the number of frames per second. It may be determined to be equal to or greater than .

일 실시예로서 상기 화면은, 상기 출입구에 대응하는 출입구 구역을 포함할 수 있다. 그리고 벌을 감지하고 감지결과에 기초하여 벌의 활동량을 측정하는 단계는, 각 정지 이미지에서 상기 출입구 구역에 존재하는 벌의 제1개체수와, 각 정지 이미지의 화면 전체에서 상기 출입구 구역을 제외한 나머지 구역에 존재하는 벌의 제2개체수를 각각 계산하는 단계; 및 현재의 정지 이미지의 제1개체수와 제2개체수의 합이 그 전의 정지 이미지의 제1개체수와 제2개체수의 합보다 작으면, 상기 제1개체수와 상기 제2개체수의 변화에 기초하여 벌통에서 나가는 벌과 벌통으로 들어가는 벌을 감지하는 단계를 포함할 수 있다. In one embodiment, the screen may include an entrance area corresponding to the entrance. And the step of detecting bees and measuring the activity of bees based on the detection results includes the first population of bees present in the entrance area in each still image, and the remaining area excluding the entrance area in the entire screen of each still image. Calculating the second population of bees present in each; And if the sum of the first and second populations of the current still image is less than the sum of the first and second populations of the previous still image, the beehive is selected based on the change in the first and second populations. It may include detecting bees leaving and entering the hive.

일 실시예로서 상기 제1개체수와 상기 제2개체수의 변화에 기초하여 벌을 감지하는 단계는, 현재의 정지 이미지의 제1개체수가 그 전의 정지 이미지의 제1개체수보다 크고, 현재의 정지 이미지의 제2개체수가 그 전의 정지 이미지의 제2개체수보다 작으면, 그 전의 정지 이미지에 존재하는 총 개체수에서 현재의 정지 이미지의 제1개체수를 뺀 만큼의 벌이 벌통 밖으로 나간 것으로 감지하고, 현재의 정지 이미지의 제1개체수와 그 전의 정지 이미지의 제1개체수의 차이만큼의 벌이 벌통으로 들어간 것으로 감지할 수 있다. As an example, the step of detecting a bee based on a change in the first number of objects and the second number of objects is that the first number of objects in the current still image is larger than the first number of objects in the previous still image, and the number of bees in the current still image is larger than the first number of objects in the previous still image. If the second population is smaller than the second population of the previous still image, it is detected that as many bees as the total number of bees present in the previous still image minus the first population of the current still image have left the hive, and the current still image is detected as having left the bee. It can be detected that as many bees as the difference between the first population of and the first population of the previous still image have entered the hive.

일 실시예로서 상기 제1개체수와 상기 제2개체수의 변화에 기초하여 벌을 감지하는 단계는, 현재의 정지 이미지의 제2개체수가 그 전의 정지 이미지의 제2개체수보다 크면, 그 전의 정지 이미지에 존재하는 총 개체수에서 현재의 정지 이미지의 제2개체수를 뺀 만큼의 벌이 벌통으로 들어간 것으로 감지할 수 있다.As an example, the step of detecting a bee based on a change in the first number of objects and the second number of objects is that, if the second number of objects in the current still image is greater than the second number of objects in the previous still image, the bee is detected in the previous still image. It can be detected that as many bees as the total number of bees present minus the second number of individuals in the current still image have entered the hive.

일 실시예로서 측정방법은 벌 이미지 모델을 기초로, 촬영부에서 획득한 영상의 정지 이미지에 존재하는 벌의 종류 및 개체수를 판독하는 단계를 더 포함할 수 있다.As an example, the measurement method may further include reading the type and number of bees present in a still image of the image acquired by the photographing unit, based on the bee image model.

본 발명에 따르면, 벌통의 출입구를 드나드는 벌을 위에서 촬영한 이미지에서 벌을 감지하고 감지결과에 기초하여 벌통으로 들어가는 벌의 수와 나오는 벌의 수를 계산하므로, 실제로 비행하여 벌통을 출입하는 벌만을 정확하게 감지하여 그 수를 계산할 수 있고, 정확한 벌의 활동량 측정이 가능하다. According to the present invention, bees are detected from an image taken from above of bees entering and leaving the entrance of a beehive, and the number of bees entering and exiting the hive is calculated based on the detection results, so that bees actually fly and enter and exit the hive. It is possible to accurately detect bees and calculate their number, and accurately measure the activity of bees.

또한 본 발명에 따르면, 벌의 종류에 따라 기결정된 초당 프레임 수로 벌을 촬영하여 벌을 감지하기 위한 정지 이미지를 획득하므로, 이미지의 저장에 필요한 저장용량이 감소하고 이미지의 처리에 필요한 속도가 향상된다.In addition, according to the present invention, still images for detecting bees are obtained by photographing bees at a predetermined number of frames per second depending on the type of bee, thereby reducing the storage capacity required to store images and improving the speed required for image processing. .

또한 본 발명에 따르면 벌의 활동량을 실시간으로 정확하게 파악할 수 있으므로 봉군(벌무리)의 건강상태, 봉군의 연령, 꿀의 흐름, 기후, 화분매개 능력과 관련한 정보를 실시간으로 정확하게 파악할 수 있다. 이에 따라, 본 발명을 바탕으로 스마트팜에서 벌의 활동량을 디지털 정보화함으로써 작물의 생산량 예측이 가능하며 작물수정용 벌의 종류에 따른 적용작물과의 상관관계를 정확하게 분석할 수 있다. 한편 본 발명을 바탕으로 양봉업계에서도 스마트양봉으로의 산업확장이 가능하다.In addition, according to the present invention, since the amount of activity of bees can be accurately determined in real time, information related to the health status of the bee colony, age of the bee colony, honey flow, climate, and pollinating ability can be accurately determined in real time. Accordingly, based on the present invention, by digitizing the activity of bees in a smart farm, it is possible to predict crop production and accurately analyze the correlation with applied crops depending on the type of bee for crop fertilization. Meanwhile, based on the present invention, the beekeeping industry can also expand its industry to smart beekeeping.

도 1은 본 발명의 일 실시예에 따른 벌의 활동량 측정 장치를 설명하기 위한 블록도이다.
도 2는 뒤영벌용 벌통에 도 1의 장치가 설치된 모습을 설명하기 위한 개략적인 측면도이다.
도 3은 꿀벌용 벌통에 도 1의 장치가 설치된 모습을 설명하기 위한 개략적인 측면도이다.
도 4는 도 2 및 도 3과 같이 배치된 촬영모듈이 촬영하는 영역을 도시한 상면도이다.
도 5는 도 4의 화면을 복수의 구역으로 나눈 모습을 도시한 상면도로서, 도 5(a)는 전체 화면에 해당하는 영역을 빗금 표시한 것이고, 도 5(b)는 전체 화면에서 출입구 구역에 해당하는 영역을 빗금 표시한 것이고, 도 5(c)는 전체 화면에서 출입구 구역을 제외한 나머지 영역을 빗금 표시한 것이다.
도 6은 벌통의 출입구를 포함한 영역을 5FPS의 영상으로 촬영하여 획득한 연속하는 2개의 정지 이미지(1차 이미지와 2차 이미지) 상의 벌의 개체수를 도시한 것이다.
도 7은 도 6의 1차 및 2차 이미지 상의 총 개체수, 출입구 구역의 제1개체수, 나머지 구역의 제2개체수를 계산하여 벌통으로 들어가거나 벌통에서 나오는 벌을 감지하는 과정을 설명하기 위한 도면이다.
도 8은 1차 이미지의 예시로서, 벌통을 나가는 꿀벌과 벌통으로 들어오는 꿀벌이 모두 나머지 구역(F)에 있는것으로 촬영된 이미지이다.
도 9는 2차 이미지의 예시로서, 벌통으로 들어오는 꿀벌이 모두 출입구 구역(E)에 있는 것으로 촬영된 이미지이다.
도 10은 본 발명의 일 실시예에 따른 벌의 활동량 측정방법의 순서도이다.
도 11은 도 10의 활동량 측정방법에서 벌을 감지하고 감지결과에 기초하여 벌의 활동량을 측정하는 단계의 일 예를 도시한 순서도이다.Figure 1 is a block diagram for explaining a device for measuring the activity level of bees according to an embodiment of the present invention.
Figure 2 is a schematic side view to explain how the device of Figure 1 is installed in a beehive for rear beekeeping.
Figure 3 is a schematic side view to explain how the device of Figure 1 is installed in a bee hive.
Figure 4 is a top view showing the area photographed by the photographing module arranged as in Figures 2 and 3.
FIG. 5 is a top view showing the screen of FIG. 4 divided into a plurality of zones. FIG. 5(a) shows the area corresponding to the entire screen with hatching, and FIG. 5(b) shows the entrance area in the entire screen. The area corresponding to is indicated with hatching, and Figure 5(c) shows the remaining area excluding the entrance area in the entire screen with hatching.
Figure 6 shows the number of bees in two consecutive still images (first and second images) obtained by shooting the area including the entrance of the beehive at 5 FPS.
FIG. 7 is a diagram illustrating the process of detecting bees entering or leaving the hive by calculating the total number of individuals in the first and second images of FIG. 6, the first number of individuals in the entrance area, and the second number of individuals in the remaining areas. .
Figure 8 is an example of the first image, which is an image taken with both bees leaving the hive and bees entering the hive in the remaining area (F).
Figure 9 is an example of a secondary image, which is an image taken in which all bees entering the hive are in the entrance area (E).
Figure 10 is a flowchart of a method for measuring the activity of bees according to an embodiment of the present invention.
Figure 11 is a flowchart showing an example of the steps of detecting a bee and measuring the activity level of the bee based on the detection result in the activity level measurement method of Figure 10.

이하, 본 발명의 여러 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 첨가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 실시될 수 있음은 물론이다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the attached drawings. First, when adding reference signs to components in each drawing, it should be noted that the same components are given the same reference numerals as much as possible even if they are shown in different drawings. Additionally, if it is judged that it may obscure the gist of the present invention, the detailed description will be omitted. In addition, embodiments of the present invention will be described below, but of course, the technical idea of the present invention is not limited or limited thereto and can be practiced by those skilled in the art.

도 1은 본 발명의 일 실시예에 따른 벌의 활동량 측정장치(100)의 구성을 도시한 블록도이고, 도 2는 도 1의 장치가 뒤영벌용 벌통(10)에 설치된 모습을 도시한 측면도이고, 도 3은 도 1의 장치가 꿀벌용 벌통(20)에 설치된 모습을 도시한 측면도이다. Figure 1 is a block diagram showing the configuration of a bee activity measuring device 100 according to an embodiment of the present invention, and Figure 2 is a side view showing the device of Figure 1 installed in a bee hive 10 for rear young bees. , FIG. 3 is a side view showing the device of FIG. 1 installed in a beehive 20 for bees.

효과적인 작물생산을 위해서 꿀벌이나 뒤영벌과 같은 작물수정용 벌의 활동량을 정량적으로 측정할 필요가 있으며, 벌통에서 날아가 작물로 향하는 벌의 수와 날아간 벌이 벌통으로 되돌아오는 수를 계산함으로써 벌의 활동량을 측정할 수 있다. 작물생산에 영향을 미치는 실질적인 벌의 활동량 측정을 위해서는 벌통 주변을 맴도는 벌의 수는 제외하고 벌통에서 날아가거나 날아들어오는 벌만을 정확하게 감지하는 것이 중요하다. For effective crop production, it is necessary to quantitatively measure the activity of crop fertilization bees such as honey bees and young bees. The activity of bees is measured by calculating the number of bees flying out of the hive toward the crop and the number of bees returning to the hive. can do. In order to measure the actual amount of bee activity that affects crop production, it is important to accurately detect only the bees flying or entering the hive, excluding the number of bees hovering around the hive.

본 발명의 일 실시예에 따른 벌의 활동량 측정장치(이하 '활동량 측정장치'라 한다)는 벌통의 출입구를 드나들면서 실제로 비행하는 벌만을 감지하고 감지결과에 기초하여 벌의 활동량을 정량적으로 측정하도록 구성된다. 구체적으로, 활동량 측정장치(100)는 벌통(10, 20)의 상부에 설치되어 벌통의 출입구를 드나드는 벌(1, 2)을 벌의 종류에 기초하여 기결정된 초당 프레임 수(frame per second, FPS)의 영상으로 촬영하는 촬영부(130), 상기 활동량 측정장치(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 저장부(150), 및 제어부(170)를 포함한다. The bee activity measuring device (hereinafter referred to as 'activity measuring device') according to an embodiment of the present invention is configured to detect only bees that actually fly while entering and exiting the entrance of the beehive and quantitatively measure the activity of the bees based on the detection results. do. Specifically, the activity measuring device 100 is installed at the top of the beehive 10, 20 and measures the bees 1 and 2 entering and leaving the entrance of the hive at a predetermined number of frames per second based on the type of bee. It includes a photographing unit 130 that captures FPS images, a storage unit 150 that stores programs and data necessary for the operation of the activity measurement device 100, and a control unit 170.

촬영부(130)는, 벌통의 출입구를 포함한 영역을 위에서 바라본 모습(top view)으로 화면에 잡도록 설치된 촬영모듈(131)을 포함한다. 촬영부(130)는 도 2 및 도 3에 도시된 바와 같이, 지지대(135)를 통해 벌통(10, 20)의 상부에 고정될 수 있으나 본 발명이 이에 한정되는 것은 아니다. 다른 실시예로서, 벌통(10, 20)이 위치한 작물재배시설의 천장에 설치되거나 바닥에 고정된 스탠드에 설치될 수도 있다. The photographing unit 130 includes a photographing module 131 installed to capture the area including the entrance of the beehive on the screen as seen from above (top view). As shown in FIGS. 2 and 3, the imaging unit 130 may be fixed to the upper part of the beehives 10 and 20 through the support 135, but the present invention is not limited thereto. As another example, the beehives 10 and 20 may be installed on the ceiling of a crop cultivation facility where the beehives 10 and 20 are located, or may be installed on a stand fixed to the floor.

도 2는 뒤영벌용 벌통(10)에 촬영부(130)가 설치된 모습을 도시한 것이다. 뒤영벌용 벌통(10)은 뒤영벌(1)이 드나드는 출입구(11)가 바닥에서 일정 높이로 떨어져서 위치한다. 따라서, 촬영모듈(131)이 벌통의 출입구(11)를 포함한 일정 영역을 화면(200a)에 잡을 수 있도록 촬영모듈(131)의 설치 높이가 결정된다. 추가적인 실시예로서, 설치장소가 협소한 경우 촬영모듈(131)은 광각렌즈를 포함하여 설치에 필요한 부피를 소형화할 수도 있다.Figure 2 shows the photographing unit 130 installed in the hive 10 for beekeeping. In the bee hive 10 for rear young bees, the entrance 11 through which the rear bees 1 enter and exit is located at a certain height from the floor. Accordingly, the installation height of the photographing module 131 is determined so that the photographing module 131 can capture a certain area including the entrance 11 of the beehive on the screen 200a. As an additional example, when the installation location is narrow, the photographing module 131 may include a wide-angle lens to miniaturize the volume required for installation.

도 3은 꿀벌용 벌통(20)에 촬영부(130)가 설치된 모습을 도시한 것이다. 꿀벌용 벌통(20)은 꿀벌(2)이 드나드는 출입구(21)가 벌통의 하단부에 위치한다. 따라서, 도 2의 경우에 비해서, 벌통에 대한 촬영모듈(131)의 상대적인 높이가 더 낮아도 벌통의 출입구(21)를 포함한 일정 영역을 화면(200b)에 잡을 수 있다.Figure 3 shows the photographing unit 130 installed in the beehive 20 for bees. In the beehive 20 for bees, an entrance 21 through which bees 2 enter and exit is located at the lower end of the hive. Therefore, compared to the case of FIG. 2, even if the relative height of the photographing module 131 with respect to the beehive is lower, a certain area including the entrance 21 of the beehive can be captured on the screen 200b.

도 2 및 도 3과 같이 설치된 촬영모듈(131)에 잡힌 화면(200a, 200b), 즉 촬영모듈(131)로 촬영되는 벌통의 출입구(11, 21)를 포함한 영역을 도 4를 참조하여 설명한다. The screens 200a and 200b captured by the photographing module 131 installed as shown in FIGS. 2 and 3, that is, the area including the entrances 11 and 21 of the beehive photographed by the photographing module 131, will be described with reference to FIG. 4. .

촬영부(130)는 벌의 종류에 따라 기결정된 초당 프레임 수(FPS)로 영상을 촬영함으로써, 벌통 주변을 맴도는 등 작물생산과 관계없는 행동패턴을 보이는 벌에 대해서는 벌통을 출입하는 벌로 인식하지 않도록 하여 벌의 활동량을 정확하게 측정할 수 있다. 일 실시예로서, 촬영부(130)는 벌통의 출입구(11, 21)에서 밖으로 날아가거나 날아들어오는 벌의 비행속도에 기초하여 기결정된 초당 프레임 수로 영상을 촬영한다. The recording unit 130 captures images at a predetermined number of frames per second (FPS) depending on the type of bee, so that bees that show behavior patterns unrelated to crop production, such as hovering around the hive, are not recognized as bees entering the hive. The activity of bees can be accurately measured. In one embodiment, the photographing unit 130 captures images at a predetermined number of frames per second based on the flight speed of bees flying out or in from the entrances 11 and 21 of the beehive.

꿀벌(2)의 경우 벌통의 출입구(21)에서 밖으로 날아가는 벌의 비행속도는 0.87±0.24(m/s)이고, 벌통의 출입구(21)로 들어오는 벌의 비행속도는 0.29±0.12(m/s)이다. 따라서, 벌통을 출입하는 꿀벌을 모두 정확하게 계수하기 위해서는, 적어도 벌통의 출입구(21)에서 밖으로 날아가는 꿀벌의 비행속도에 기초하여 초당 프레임 수(FPS)를 결정하는 것이 바람직하다. In the case of bees (2), the flight speed of bees flying out from the entrance (21) of the hive is 0.87 ± 0.24 (m/s), and the flight speed of bees entering the entrance (21) of the hive is 0.29 ± 0.12 (m/s) )am. Therefore, in order to accurately count all the bees entering and leaving the hive, it is desirable to determine the number of frames per second (FPS) based at least on the flight speed of the bees flying out of the entrance 21 of the beehive.

뒤영벌(1)의 경우 꿀벌보다 느린 속도로 벌통 밖으로 날아간다. 따라서 뒤영벌의 경우 더 적은 초당 프레임 수로도 정확하게 벌통을 출입하는 벌의 수를 계수할 수 있다. 140여개의 샘플 측정 결과, 뒤영벌의 평균 비행속도는 0.38±0.25(m/s)이고, 벌통의 출입구(11)에서 밖으로 날아가는 벌의 비행속도는 0.43±0.29(m/s)이고, 벌통의 출입구(11)로 들어오는 벌의 비행속도는 0.33±0.19(m/s)이다. 뒤영벌의 경우에도 벌통으로 날아 들어오는 벌의 비행속도보다 벌통을 나가는 벌의 비행속도가 더 빠르므로 벌통 밖으로 날아가는 뒤영벌의 비행속도에 기초하여 촬영 영상의 초당 프레임 수(FPS)를 결정한다.In the case of bees (1), they fly out of the hive at a slower speed than honey bees. Therefore, in the case of bees, the number of bees entering and leaving the hive can be accurately counted even with fewer frames per second. As a result of measuring about 140 samples, the average flight speed of duyoung bees is 0.38 ± 0.25 (m/s), and the flight speed of bees flying out from the entrance (11) of the hive is 0.43 ± 0.29 (m/s), The flight speed of the bee entering (11) is 0.33±0.19 (m/s). In the case of bees leaving the hive, the flight speed of bees leaving the hive is faster than that of bees flying into the hive, so the frames per second (FPS) of the captured video are determined based on the flight speed of the bees flying out of the hive.

도 4를 참조하면, 화면(200a, 200b)의 한쪽 가장자리에 벌통의 출입구(11, 21)가 걸치도록 촬영 영역이 결정된다. 또한 출입구(11, 21)에서 밖으로 날아가는 벌이 화면(200a, 200b) 안에 잡히도록 촬영 영역이 결정된다. 출입구를 나온 벌은 대각선 방향으로 날아가는 경향이 있으므로 날아가는 꿀벌이 화면에 적어도 한번 잡히기 위해서는 비행속도가 0.87±0.24(m/s)임을 감안할 때 5FPS로 영상을 촬영한다면 대각선(c)의 길이는 적어도 22.2㎝가 되어야 한다. 이렇게 대각선(c)의 길이가 결정되면 촬영모듈(131)의 화면 비율(aspect ratio)과, 화면상에 걸쳐지는 출입구(11,21)의 크기에 따라, 폭(w)과 높이(h)가 결정된다. 화면의 높이(h)는 2b이며, 대각선(c)의 길이는 다음 수학식 1과 같다.Referring to FIG. 4, the capturing area is determined so that the entrances 11 and 21 of the beehive span one edge of the screens 200a and 200b. Additionally, the shooting area is determined so that bees flying out from the entrances 11 and 21 are caught within the screens 200a and 200b. Bees that leave the doorway tend to fly diagonally, so considering that the flight speed is 0.87 ± 0.24 (m/s) for a flying bee to be caught on the screen at least once, if video is shot at 5FPS, the length of the diagonal line (c) is at least 22.2 It should be cm. Once the length of the diagonal line (c) is determined in this way, the width (w) and height (h) are determined according to the aspect ratio of the photographing module 131 and the size of the entrances 11 and 21 spanning the screen. It is decided. The height (h) of the screen is 2b, and the length of the diagonal line (c) is as follows:

실제로는 촬영모듈(131)이 촬영할 수 있는 영역의 물리적인 크기 및 화면비율이 제한적이므로 벌이 출입구(11, 21)에서 밖으로 날아가는 비행속도에 기초하여, 꿀벌의 경우 5FPS 내지 7FPS의 범위에서 초당 프레임 수를 결정하고 뒤영벌의 경우 3FPS 내지 5FPS의 범위에서 초당 프레임 수를 결정할 수 있다. 다만, 초당 프레임 수를 증가시키면 대각선(c)의 길이를 줄일 수 있지만 영상의 저장에 필요한 용량이나 정지 이미지를 처리하는 속도 역시 증가하게 되므로, 이를 모두 감안하여 초당 프레임 수를 결정하게 된다.In reality, the physical size and screen ratio of the area that the shooting module 131 can shoot are limited, so based on the flight speed at which the bee flies out of the entrance (11, 21), the number of frames per second in the range of 5FPS to 7FPS for bees and in the case of rear shooting, the number of frames per second can be determined in the range of 3FPS to 5FPS. However, increasing the number of frames per second can reduce the length of the diagonal line (c), but the capacity required to store video and the speed of processing still images also increase, so the number of frames per second is determined by taking all of this into consideration.

이렇게 벌의 종류 및 벌의 비행속도에 기초하여 촬영 영상의 초당 프레임 수를 결정하면, 벌의 활동량을 측정하는데 필요한 최소한의 영상 정보량만으로 신속하고 정확하게 벌의 활동량을 측정할 수 있으며, 실제로 비행하는 벌만을 정확하게 계수할 수 있다. By determining the number of frames per second of the captured video based on the type of bee and the bee's flight speed, the amount of bee activity can be measured quickly and accurately with only the minimum amount of image information required to measure the amount of bee activity, and the actual flying bee can be counted accurately.

컨트롤러(170)는 상기 촬영부(130)에서 획득한 영상의 정지 이미지에 존재하는 벌의 개체수 변화에 기초하여 벌통에서 나가는 벌과 벌통으로 들어가는 벌을 감지하고, 감지 결과에 기초하여 벌의 활동량을 측정한다. 구체적으로, 도 5와 같이 복수의 구역(E, F)으로 나뉜 화면에서, 각 구역에 존재하는 벌(동그라미로 표시됨)의 개체수를 정지 이미지마다 계산하여 벌통에서 나가는 벌과 벌통으로 들어가는 벌을 감지하고, 감지 결과에 기초하여 벌의 활동량의 변화량을 측정할 수 있다. The controller 170 detects bees leaving the hive and bees entering the hive based on changes in the number of bees present in the still image of the image acquired by the photographing unit 130, and adjusts the activity level of the bees based on the detection result. Measure. Specifically, on a screen divided into a plurality of zones (E, F) as shown in Figure 5, the number of bees (indicated by circles) existing in each zone is calculated for each still image to detect bees leaving the hive and bees entering the hive. And, based on the detection results, the amount of change in the bee's activity can be measured.

도 5에 도시한 바와 같이, 도 4의 화면(200a, 200b)은 출입구(11,21)에 대응하는 출입구 구역(E)과 화면 전체에서 출입구 구역을 제외한 나머지 구역(F)으로 나눌 수 있다. 출입구 구역(E)은 출입구(11, 21)의 적어도 일부를 포함하며, 출입구(11,21)로 들어가거나 나가는 벌이 출입구에 있다고 식별될 수 있는 출입구 주변 영역을 더 포함할 수 있다. 출입구 주변 영역은 벌의 종류에 따라 다르게 설정될 수 있으며, 예를 들어 벌의 크기와 출입구(11, 21)의 구조를 고려하여 결정될 수 있다. 나머지 구역(F)은 출입구(11, 21)로 날아들어가거나 출입구에서 밖으로 날아가는 벌의 비행경로가 있는 구역이다. As shown in FIG. 5 , the screens 200a and 200b of FIG. 4 can be divided into an entrance area (E) corresponding to the entrances 11 and 21 and a remaining area (F) of the entire screen excluding the entrance area. The entrance area E comprises at least a portion of the entrance 11, 21 and may further comprise an area surrounding the entrance where bees entering or exiting the entrance 11, 21 can be identified as being at the entrance. The area around the entrance may be set differently depending on the type of bee. For example, it may be determined by considering the size of the bee and the structure of the entrance (11, 21). The remaining area (F) is an area with a flight path for bees flying into or out of the entrance (11, 21).

도 5의 (a)는 도 4의 화면 전체(A)를 빗금으로 표시한 것이고, 도 5의 (b)는 도 4의 화면에서 출입구에 대응하는 출입구 구역(E)을 빗금으로 표시한 것이고, 도 5의 (c)는 도 4의 화면에서 출입구 구역을 제외한 나머지 구역(F)을 빗금으로 표시한 것이다. 여기서, 화면 전체에 존재하는 벌의 총 개체수가 6이고, 이 중 출입구 구역(E)에 존재하는 벌의 개체수(이하, '제1개체수'라고 한다)는 2이고, 나머지 구역(F)에 존재하는 벌의 개체수(이하, '제2개체수'라고 한다)는 4이다. Figure 5 (a) shows the entire screen (A) of Figure 4 with hatching, and Figure 5 (b) shows the entrance area (E) corresponding to the entrance on the screen of Figure 4 with hatching. (c) in FIG. 5 shows the remaining area (F) excluding the entrance area on the screen of FIG. 4 with hatching. Here, the total number of bees present in the entire screen is 6, of which the number of bees present in the entrance area (E) (hereinafter referred to as the 'first population') is 2, and the number of bees present in the remaining area (F) is 2. The population of bees (hereinafter referred to as the ‘second population’) is 4.

이렇게 정지 이미지마다 출입구 구역(E)의 제1개체수와 나머지 구역(F)의 제2개체수를 각각 계산하고 해당 구역에서의 개체수의 변화에 기초하여 벌통에서 나가는 벌과 벌통으로 들어가는 벌을 감지할 수 있다.In this way, for each still image, the first population in the entrance area (E) and the second population in the remaining area (F) are calculated, and bees leaving the hive and bees entering the hive can be detected based on the change in the population in the corresponding area. there is.

예시적으로, 5FPS의 영상으로 벌통의 출입구를 포함한 영역을 촬영하여 획득한 연속하는 2개의 정지 이미지 상의 벌의 개체수 변화를 도 6에 도시하였다. 설명의 편의상, 5FPS로 영상 촬영을 시작한 시점부터 0.4초 경과한 시점에서의 정지 이미지를 현재의 정지 이미지(이하, '2차 이미지'라고 한다)로 가정하고 그 바로 전인 0.2초 경과한 시점을 그 전의 정지 이미지(이하, '1차 이미지'라고 한다)라고 가정한다. 1차 이미지에 존재하는 벌의 총 개체수는 7이며, 2차 이미지에 존재하는 벌의 총 개체수는 4이다. 따라서 0.2초 동안 3마리의 벌이 화면에서 사라진 것을 알 수 있다. 본 발명에서는 화면에서 사라진 벌의 개체수를 판별하여 간편하게 벌의 활동량 변화량을 측정할 수 있다. 다시 말해, 화면 전체(A)의 벌의 개체수가 감소한 경우 사라진 벌이 벌통으로 들어가거나 벌통에서 나온 것으로 감지하여 활동량의 변화량을 측정 가능하다. 도 7 내지 도 9를 참조하여 더욱 상세하게 설명한다. As an example, the change in the number of bees in two consecutive still images obtained by photographing the area including the entrance of the bee hive at 5 FPS is shown in Figure 6. For convenience of explanation, it is assumed that the still image 0.4 seconds after the start of video shooting at 5FPS is the current still image (hereinafter referred to as the 'secondary image'), and the time 0.2 seconds immediately before that is considered the current still image. Assume that it is the previous still image (hereinafter referred to as the 'primary image'). The total number of bees in the first image is 7, and the total number of bees in the second image is 4. Therefore, you can see that 3 bees disappeared from the screen for 0.2 seconds. In the present invention, the amount of change in bee activity can be easily measured by determining the number of bees that have disappeared from the screen. In other words, if the number of bees in the entire screen (A) decreases, the change in activity can be measured by detecting that the missing bees have entered or left the hive. This will be described in more detail with reference to FIGS. 7 to 9.

도 7은 도 6의 1차 이미지와 2차 이미지 각각에서 화면 전체(A)에 존재하는 총 개체수, 출입구 구역(E)의 제1개체수, 나머지 구역(F)의 제2개체수를 계산하는 과정을 도시한 것이다. 1차 이미지에서 총 개체수(A_bef)는 7이고, 제1개체수(E_bef)는 1이고, 제2개체수(F_bef)는 6이다. 2차 이미지에서 총 개체수(A_after)는 4이고, 제1개체수(E_after)는 0이고, 제2개체수(F_after)는 4이다. ΔA는 1차 이미지와 2차 이미지의 총 개체수의 변화량, ΔE는 1차 이미지와 2차 이미지의 제1개체수의 변화량, ΔF는 1차 이미지와 2차 이미지의 제2개체수의 변화량이라고 정의하고, 벌통으로 들어가는 벌은 반드시 출입구 구역(E)에서 인식된다고 가정하면, 벌통으로 들어간 벌의 개체수(N_i)는 다음의 수학식 2와 3로 감지할 수 있고, 벌통에서 나온 벌의 개체수(N_o)는 다음의 수학식 4와 5로 감지할 수 있다. Figure 7 shows the process of calculating the total number of objects present in the entire screen (A), the first number of objects in the entrance area (E), and the second number of objects in the remaining area (F) in each of the first and second images of Figure 6. It is shown. In the first image, the total number of objects (A _bef ) is 7, the first number of objects (E _bef ) is 1, and the second number of objects (F _bef ) is 6. In the second image, the total number of objects (A _after ) is 4, the first number of objects (E _after ) is 0, and the second number of objects (F _after ) is 4. ΔA is the amount of change in the total number of objects between the first image and the second image, ΔE is the amount of change in the first number of objects between the first image and the second image, and ΔF is the amount of change in the number of second objects between the first image and the second image, Assuming that bees entering the hive are always recognized at the entrance area (E), the number of bees entering the hive (N _i ) can be detected using the following equations 2 and 3, and the number of bees leaving the hive (N _o ) can be detected using the following equations 4 and 5.

수학식 3은 한 이미지의 출입구 구역(E)에서 인식된 두 마리 이상의 벌이 그 다음 이미지에서 벌통 안으로 들어가거나 벌통 밖으로 나간 경우의 벌의 출입을 판별하는 식이고, 수학식 5는 한 이미지의 나머지 구역(F)에서 인식된 두 마리 이상의 벌이 그 다음 이미지에서 벌통 안으로 들어가거나 벌통 밖으로 나간 경우의 벌의 출입을 판별하는 식이다.Equation 3 is an equation that determines the entry and exit of bees when two or more bees recognized in the entrance area (E) of one image enter or leave the hive in the next image, and Equation 5 is the remaining area of one image If two or more bees recognized in (F) enter or leave the hive in the next image, the entry and exit of the bees is determined.

도 7을 참조하면, 2차 이미지에 존재하는 총 개체수(A_after)가 1차 이미지에 존재하는 총 개체수(A_bef)보다 3마리 감소(ΔA)하였으므로 활동하는 벌의 변화량은 세마리인 것을 알 수 있다. 또한, 1차 이미지의 제2개체수(F_bef)가 2차 이미지의 제2개체수(F_after)보다 두 마리 감소(ΔF)하였으므로, 수학식 4에 따라 두 마리의 벌은 벌통 밖으로 나간 것을 알 수 있다.Referring to Figure 7, since the total number of bees (A _after ) present in the second image is 3 fewer (ΔA) than the total number of bees (A _bef ) present in the first image, it can be seen that the change in active bees is three. You can. In addition, since the second population (F _bef ) of the first image decreased by two (ΔF) compared to the second population (F _after ) of the second image, it can be seen that two bees went out of the hive according to Equation 4. there is.

도 8은 1차 이미지의 다른 예시이고, 도 9는 2차 이미지의 다른 예시이다. 도 8의 1차 이미지는 벌통을 나가는 두 마리의 꿀벌(25, 26)과 벌통으로 들어가는 두 마리의 꿀벌(27, 28)이 모두 나머지 구역(F)에 있고, 출입구 구역(E)에는 꿀벌이 없는 모습이 촬영된 것이다. 그리고 도 9의 2차 이미지는 벌통으로 들어가는 두 마리의 꿀벌(27, 28)이 모두 출입구 구역(E)에 있고, 나머지 구역(F)에는 꿀벌이 없는 모습이 촬영된 것이다. Figure 8 is another example of a primary image, and Figure 9 is another example of a secondary image. The first image in Figure 8 shows two bees (25, 26) leaving the hive and two bees (27, 28) entering the hive, all in the remaining area (F), and no bees in the entrance area (E). It was filmed without being there. And the second image in FIG. 9 shows that both bees (27 and 28) entering the beehive are in the entrance area (E), and there are no bees in the remaining area (F).

도 9의 2차 이미지에 존재하는 총 개체수(A_after)가 도 8의 1차 이미지에 존재하는 총 개체수(A_bef)보다 두 마리 감소(ΔA)하였고, 1차 이미지의 제1개체수(E_bef)가 2차 이미지의 제1개체수(E_after)보다 두 마리 증가하였고, 1차 이미지의 제2개체수(F_bef)가 2차 이미지의 제2개체수(F_after)보다 네 마리 감소하였으므로, 수학식 5에 따라 두 마리의 벌은 벌통 밖으로 나간 것을 알 수 있고, 수학식 2에 따라 두 마리의 벌은 벌통으로 들어간 것을 알 수 있다. The total number of individuals (A _after ) present in the second image of FIG. 9 decreased by two (ΔA) compared to the total number of individuals (A _bef ) present in the first image of FIG. 8, and the first number of individuals (E _{bef )} of the first image was ) increased by two more than the first population of the second image (E _after ), and the second population of the first image (F _bef ) decreased by four than the second population of the second image (F _after ), so the equation According to 5, it can be seen that two bees have gone out of the hive, and according to Equation 2, it can be seen that two bees have entered the beehive.

이러한 방식으로 컨트롤러(170)는 현재의 정지 이미지에 존재하는 총 개체수가 그 전의 정지 이미지에 존재하는 총 개체수보다 줄었을 때 화면에서 사라진 벌이 벌통을 나가는 벌인지 벌통으로 들어간 벌인지를 개별 구역(E, F)의 개체수 변화를 계산함으로써 감지할 수 있고, 그 감지결과에 기초하여 벌의 활동량의 변화를 정량적으로 측정할 수 있다. In this way, when the total number of individuals present in the current still image decreases than the total number of individuals present in the previous still image, the controller 170 determines whether the bee that disappeared from the screen is a bee leaving the hive or a bee entering the hive in an individual zone (E, F) can be detected by calculating the population change, and based on the detection results, the change in bee activity can be quantitatively measured.

컨트롤러(170)는 실시간으로 계산한 벌통으로 들어오는 벌의 개체수와 벌통에서 나가는 벌의 개체수를 분당 합산하여 저장부(150)에 저장하고, 저장된 데이터에 기초하여 벌의 활동량의 변화를 측정할 수 있다. 또는 컨트롤러(170)는 분당 합산한 데이터를 별도의 서버로 전송할 수 있다. The controller 170 calculates in real time the number of bees entering the hive and the number of bees leaving the hive per minute, stores the total in the storage unit 150, and measures changes in the activity of the bees based on the stored data. . Alternatively, the controller 170 may transmit the aggregated data per minute to a separate server.

추가적인 실시예로서, 컨트롤러(170)는 상기 촬영부(130)에서 획득한 영상의 정지 이미지에 존재하는 벌을 학습모델 기반으로 식별하기 위한 구성을 더 포함할 수 있다. 이를 위해서 컨트롤러(170)는 벌 모델부(110)를 더 포함할 수 있다. 벌 모델부(110)는 추가적인 실시예에 따른 것으로 도 1에서 컨트롤러(170)와는 별개로 도시하였으나 이는 설명의 편의를 위한 것으로, 벌 모델부(110)는 별도의 서버로 구현되거나, 또는 실질적으로 컨트롤러(170)가 벌 모델부(110)로서 추가로 동작하고 벌 이미지 데이터(111)는 저장부(150)에 저장되거나 별도의 서버 등 외부장치에 저장될 수도 있다.As an additional embodiment, the controller 170 may further include a configuration for identifying bees present in a still image of the image acquired by the photographing unit 130 based on a learning model. To this end, the controller 170 may further include a bee model unit 110. The bee model unit 110 is according to an additional embodiment and is shown separately from the controller 170 in FIG. 1, but this is for convenience of explanation. The bee model unit 110 is implemented as a separate server, or is substantially The controller 170 additionally operates as the bee model unit 110, and the bee image data 111 may be stored in the storage unit 150 or in an external device such as a separate server.

벌 모델부(110)는 벌 이미지 모델을 기초로, 상기 쵤영부(130)에서 획득한 영상의 정지 이미지에 존재하는 벌의 종류 및 개체수를 판독할 수 있다. 벌 모델부(110)는 벌 이미지 데이터(111)를 이용한 벌 이미지 모델을 구축할 수 있다. 벌 이미지 데이터(111)는 꿀벌과 뒤영벌을 포함한 벌의 종류별로 단일 개체 이미지와 헤당 개체에 대한 레이블을 포함할 수 있다. 벌 모델부(110)는 벌 이미지 데이터(111)의 데이터를 기초로 복수의 벌 개체 이미지에 대한 대량의 데이터를 기계학습하여 벌 이미지 모델을 구축할 수 있다. The bee model unit 110 can read the type and number of bees present in the still image of the image acquired by the photography unit 130, based on the bee image model. The bee model unit 110 can build a bee image model using the bee image data 111. The bee image data 111 may include a single object image and a label for each individual bee for each type of bee, including honey bees and young bees. The bee model unit 110 can build a bee image model by machine learning a large amount of data about a plurality of bee individual images based on the data of the bee image data 111.

기계학습을 위해서, 일 실시예로서 벌의 종류에 따라 달라지는 벌통의 출입구(11, 21)가 벌과 함께 촬영된 이미지 데이터를 확보하고 오그멘테이션(augmentation)을 통해 데이터를 다양화한 후 패턴 학습하여 벌 이미지 모델을 구축할 수 있다. 기계학습 알고리즘으로는 라즈베리파이와 같은 모바일 CPU에 적합한 모바일넷(Mobilenet) V2 등의 신경망모델을 사용할 수 있으며, 구글 오픈소스인 텐서플로 라이트(TensorFlow Lite)로 학습 및 실행할 수 있다. For machine learning, as an example, the entrances 11 and 21 of the bee hive, which vary depending on the type of bee, secure image data taken with the bees, diversify the data through augmentation, and learn patterns. Thus, a bee image model can be built. As a machine learning algorithm, neural network models such as Mobilenet V2 suitable for mobile CPUs such as Raspberry Pi can be used, and can be learned and executed with TensorFlow Lite, Google's open source.

이렇게 모바일용 기계학습 알고리즘과 학습 프로그램을 사용하는 경우 별도의 서버를 두지 않고 활동량 측정장치(100)를 하나의 소형 장치(임베디드 시스템)로서 벌통(10, 20)에 설치 가능하며, USB 카메라로 간편하게 촬영부(130)를 구현할 수 있다. When using mobile machine learning algorithms and learning programs like this, the activity measurement device 100 can be installed in the beehives 10 and 20 as a small device (embedded system) without having a separate server, and can be easily installed with a USB camera. The photographing unit 130 can be implemented.

저장부(150)는 활동량 측정장치(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다.The storage unit 150 serves to store programs and data necessary for the operation of the activity measurement device 100, and can be divided into a program area and a data area.

프로그램 영역은 활동량 측정장치(100)를 부팅시키는 운영체제(Operating System, OS), 촬영 동작, 벌 활동 감지 동작, 벌 활동량 측정 동작, 그리고 선택적으로 벌 이미지 학습동작 등과 같은 활동량 측정장치(100)의 동작에 필요한 응용프로그램 등을 저장할 수 있다.The program area includes operations of the activity measurement device 100, such as an operating system (OS) that boots the activity measurement device 100, a shooting operation, a bee activity detection operation, a bee activity measurement operation, and, optionally, a bee image learning operation. You can store necessary applications, etc.

데이터 영역은 활동량 측정장치(100)의 사용에 따라 발생하는 데이터가 저장되는 영역으로서, 영상 정보, 감지 결과, 벌 활동량 측정 결과, 그리고 선택적으로 벌 이미지 데이터 등을 저장할 수 있다.The data area is an area where data generated according to the use of the activity measurement device 100 is stored, and can store image information, detection results, bee activity measurement results, and optionally bee image data.

도 10은 본 발명의 일 실시예에 따른 벌의 활동량 측정방법(이하, '활동량 측정방법'이라 한다)의 순서도이고, 도 11은 도 10의 활동량 측정방법에서 벌을 감지하고 감지결과에 기초하여 벌의 활동량을 측정하는 단계의 일 예를 도시한 순서도이다. 본 발명의 일 실시예에 따른 활동량 측정방법은, 전술한 활동량 측정장치(100)에 의해 벌의 활동량을 측정하는 방법으로, 중복되는 설명은 생략한다. Figure 10 is a flowchart of a method for measuring the activity level of bees (hereinafter referred to as 'activity measurement method') according to an embodiment of the present invention, and Figure 11 is a method for detecting bees in the activity level measurement method of Figure 10 and based on the detection results. This is a flowchart showing an example of the steps for measuring the activity of bees. The activity level measurement method according to an embodiment of the present invention is a method of measuring the activity level of bees using the activity level measuring device 100 described above, and redundant descriptions will be omitted.

본 발명의 일 실시예에 따른 활동량 측정방법은, 촬영부(130)로부터 영상을 획득하는 단계(S110)와, 영상의 정지 이미지에 존재하는 벌의 개체수 변화에 기초하여 벌통에서 나가는 벌과 벌통으로 들어가는 벌을 감지하고, 감지 결과에 기초하여 벌의 활동량을 측정하는 단계(S130)를 포함한다. The activity measurement method according to an embodiment of the present invention includes the step of acquiring an image from the photographing unit 130 (S110), and the bees leaving the hive and the hive based on the change in the number of bees present in the still image of the video. It includes a step (S130) of detecting an entering bee and measuring the activity of the bee based on the detection result.

또한 본 발명의 일 실시예에 따른 활동량 측정방법은, 전술한 활동량 측정장치(100)가 추가적인 실시예로서 벌 모델부(110)를 더 포함하는 경우, 영상을 획득하는 단계(S110) 다음에 벌 이미지 모델을 기초로 촬영부(130)에서 획득한 영상의 정지 이미지에 존재하는 벌의 종류 및 개체수를 판독하는 단계(S120)를 선택적으로 더 포함할 수 있다. In addition, the method of measuring activity level according to an embodiment of the present invention includes, when the above-described activity measuring device 100 further includes a bee model unit 110 as an additional embodiment, a bee model unit 110 followed by the step of acquiring an image (S110). A step (S120) of reading the type and number of bees present in the still image of the image acquired by the photographing unit 130 based on the image model (S120) may be optionally further included.

도 11을 참조하면, 벌을 감지하고 감지 결과에 기초하여 벌의 활동량을 측정하는 단계(S130)는, 각 정지 이미지에서 출입구 구역(E)에 존재하는 벌의 제1개체수와 나머지 구역(F)에 존재하는 벌의 제2개체수를 각각 계산하는 단계(S131)와, 제1개체수와 제2개체수의 변화에 기초하여 벌통에서 나가는 벌과 벌통으로 들어가는 벌을 감지하는 단계(S133)를 포함할 수 있다. Referring to FIG. 11, the step (S130) of detecting bees and measuring the activity of the bees based on the detection results involves calculating the first population of bees present in the entrance area (E) and the remaining area (F) in each still image. It may include a step of calculating the second population of bees present (S131), and a step of detecting bees leaving the hive and bees entering the hive based on changes in the first population and the second population (S133). there is.

각 단계는 도 1 내지 도 9를 참조하여 전술한 바와 동일하므로 중복되는 설명을 생략한다. Since each step is the same as described above with reference to FIGS. 1 to 9, redundant description will be omitted.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 다음의 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the specific preferred embodiments described above, and the technical field to which the invention pertains without departing from the gist of the present invention as claimed in the following claims. Anyone skilled in the art can make various modifications, and such modifications are within the scope of the claims.

Claims

a photographing unit that includes a photographing module installed to photograph an area including the entrance of the beehive as a top view, and captures an image at a predetermined number of frames per second based on the type of bees entering and leaving the beehive; and
A controller that detects bees leaving the hive and bees entering the hive based on changes in the number of bees present in the still image of the image acquired by the photographing unit, and measures the amount of activity of the bees based on the detection result,
A device for measuring bee activity.

According to claim 1,
The filming department,
Taking images at a predetermined number of frames per second based on the flight speed at which the bees fly out from the entrance of the hive,
A device for measuring bee activity.

The method of claim 1 or 2,
The entrance of the beehive on the screen is in contact with the first edge of the screen,
The location of the area is determined so that a bee flying out of the doorway is caught on the screen,
A device for measuring bee activity.

According to claim 3,
The diagonal length from the center of the entrance on the screen to one corner of the second edge of the screen opposite the first edge is equal to or greater than the flight speed of the bee divided by the number of frames per second. The size of the area is determined,
A device for measuring bee activity.

According to claim 3,
The screen includes an entrance area corresponding to the entrance,
The controller is,
In each still image, calculate the first number of bees present in the entrance area and the second number of bees present in the entire screen of each still image except for the entrance area,
If the sum of the first and second populations of the current still image is less than the sum of the first and second populations of the previous still image, the bee will exit the hive based on the change in the first and second populations. Detecting bees and bees entering the hive,
A device for measuring bee activity.

According to claim 5,
The controller is,
If the first number of objects in the current still image is greater than the first number of objects in the previous still image, and the second number of objects in the current still image is smaller than the second number of objects in the previous still image, the total number of objects present in the previous still image Detects that as many bees as the number of bees in the current still image have left the hive minus the number of the first number in the current still image, and detects that as many bees as the difference between the number of the first number in the current still image and the number of the first number in the previous still image have entered the hive.
A device for measuring bee activity.

According to claim 5,
The controller is,
If the second number of objects in the current still image is greater than the second number of objects in the previous still image, it is detected that as many bees as the number of bees in the previous still image minus the second number of objects in the current still image have entered the hive.
A device for measuring bee activity.

According to claim 1,
The controller is,
Based on the bee image model, it includes a bee model unit that reads the type and number of bees present in the still image of the image acquired by the photographing unit,
Determining the number of frames per second based on the type of bee read by the bee model unit,
A device for measuring bee activity.

Obtaining an image captured at a predetermined number of frames per second based on the type of bee from a photographing unit including a photographing module installed to photograph an area including the entrance of the beehive as a top view;
Detecting bees leaving the hive and bees entering the hive based on changes in the number of bees present in the still image of the video, and measuring the activity of the bees based on the detection result,
Method of measuring bee activity.

According to clause 9,
The video is filmed at a predetermined number of frames per second based on the flight speed of the bees flying out from the entrance of the hive.
Method of measuring bee activity.

According to claim 9 or 10,
The step of acquiring the image is,
On the screen, the entrance of the beehive is in contact with the first edge of the screen, and acquiring an image of an area positioned so that bees flying out of the entrance are caught on the screen,
Method of measuring bee activity.

According to claim 11,
The size of the area is such that the diagonal length from the center of the entrance on the screen to one corner of the second edge of the screen opposite the first edge is equal to or greater than the bee's flight speed divided by the number of frames per second. It was decided to be big,
Method of measuring bee activity.

According to claim 11,
The screen includes an entrance area corresponding to the entrance,
The step of detecting bees and measuring the amount of bee activity based on the detection results is:
Calculating a first number of bees present in the entrance area in each still image and a second number of bees present in the entire screen of each still image excluding the entrance area; and
If the sum of the first and second populations of the current still image is less than the sum of the first and second populations of the previous still image, the bee will exit the hive based on the change in the first and second populations. Detecting bees and bees entering the hive,
Method of measuring bee activity.

According to claim 13,
The step of detecting bees based on changes in the first population and the second population,
If the first number of objects in the current still image is greater than the first number of objects in the previous still image, and the second number of objects in the current still image is smaller than the second number of objects in the previous still image, the total number of objects present in the previous still image Detects that as many bees as the number of bees in the current still image have left the hive minus the number of the first number in the current still image, and detects that as many bees as the difference between the number of the first number in the current still image and the number of the first number in the previous still image have entered the hive.
Method of measuring bee activity.

According to claim 13,
The step of detecting bees based on changes in the first population and the second population,
If the second number of objects in the current still image is greater than the second number of objects in the previous still image, it is detected that as many bees as the number of bees in the previous still image minus the second number of objects in the current still image have entered the hive.
Method of measuring bee activity.

According to clause 9,
Based on the bee image model, it further includes the step of reading the type and number of bees present in the still image of the image acquired by the photographing unit,
Method of measuring bee activity.