KR20220064712A - Apparatus and method for monitoring growing progress of livestock individual based on image - Google Patents

Apparatus and method for monitoring growing progress of livestock individual based on image Download PDF

Info

Publication number
KR20220064712A
KR20220064712A KR1020200151104A KR20200151104A KR20220064712A KR 20220064712 A KR20220064712 A KR 20220064712A KR 1020200151104 A KR1020200151104 A KR 1020200151104A KR 20200151104 A KR20200151104 A KR 20200151104A KR 20220064712 A KR20220064712 A KR 20220064712A
Authority
KR
South Korea
Prior art keywords
livestock
size
individual
image
growth trend
Prior art date
Application number
KR1020200151104A
Other languages
Korean (ko)
Other versions
KR102506029B1 (en
KR102506029B9 (en
Inventor
전광명
Original Assignee
인트플로우 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인트플로우 주식회사 filed Critical 인트플로우 주식회사
Priority to KR1020200151104A priority Critical patent/KR102506029B1/en
Publication of KR20220064712A publication Critical patent/KR20220064712A/en
Application granted granted Critical
Publication of KR102506029B1 publication Critical patent/KR102506029B1/en
Publication of KR102506029B9 publication Critical patent/KR102506029B9/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Abstract

The present invention relates to an apparatus and method for monitoring a growth trend of a livestock entity based on images to measure the growth rate of each livestock group. According to one embodiment of the present invention, the apparatus comprises: a data transmission and reception module; a memory in which an image-based livestock entity growth trend monitoring program is stored; and a processor executing the program stored in the memory. The program inputs images collected through at least one camera assigned to each livestock room into a livestock entity detection model to detect the size of each livestock entity, clusters the size of entities for each livestock room, and generates growth trend information on the basis of size information of each livestock entity. The livestock entity detection model is a model learned using training data which is labeled by an outline arranged adjacent to the body area of each livestock entity in an image taken in the bird view direction of each livestock from the top of the livestock room and the rotation angle, behavioral state, and size of each livestock entity, and outputs the size value of each livestock entity in a standing state with respect to the input image.

Description

영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법{APPARATUS AND METHOD FOR MONITORING GROWING PROGRESS OF LIVESTOCK INDIVIDUAL BASED ON IMAGE}Image-based livestock individual growth trend monitoring device and method

본 발명은 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법에 대한 것이다.The present invention relates to an image-based livestock individual growth trend monitoring apparatus and method.

농장의 규모화에 따라 가축 수가 늘면서 가축 집단의 성장주기를 미세관리하는 것이 어려운 문제가 되고 있다. 이와 같은 가축 관리의 전산화를 위한 종래의 방법으로는 RFID 방식의 이표를 가축의 귀, 목 등에 부착하여 카운팅 하는 방법이 있다. As the number of livestock increases according to the scale of the farm, it is becoming a difficult problem to micromanage the growth cycle of the livestock group. As a conventional method for computerizing such livestock management, there is a method of counting by attaching RFID tags to the ears and necks of livestock.

하지만 이표 부착 방식은 이표와 이표 판독장치간의 통신거리가 짧아 개체 수를 자동으로 카운팅 하는데 한계가 있고, 가축 개체마다 일일이 직접 부착시켜줘야 하므로 개체 수 증가에 따른 비용과 노력이 선형적으로 늘어난다. 이러한 연유로 상대적으로 개체 수가 적은 한우의 관리에는 이표가 활발히 활용되고 있지만, 돼지나 닭 등 개체수가 많은 축종의 경우 이표를 통한 개체관리는 매우 어렵다고 할 수 있다. However, the tag attachment method has a limitation in automatically counting the number of individuals due to the short communication distance between the coupon and the tag reading device. For this reason, the coupon is actively used for the management of Korean cattle with a relatively small number of individuals, but in the case of livestock with a large number of animals such as pigs and chickens, individual management through this tag is very difficult.

근래에는 영상처리 기술의 발달로 영상분석을 통한 가축 개체 탐지 방법도 제안되고 있으나, 복잡한 축사환경에서의 정확한 개체검출 및 카운팅이 어려워 확산되지 않은 실정이다. 또한 이 방법은 개체별 크기정보의 추출 및 활용이 누락되어 있어 가축의 성장속도 분석을 파악할 수 없다는 단점이 있다.In recent years, with the development of image processing technology, a method of detecting livestock through image analysis has been proposed, but it is difficult to accurately detect and count animals in a complex livestock environment, so it has not spread. In addition, this method has the disadvantage that the analysis of the growth rate of livestock cannot be grasped because the extraction and utilization of size information for each individual is omitted.

이와 관련하여, 기존의 영상분석을 통한 가축 개체 탐지 방법으로서, 한국 특허등록 제10-1720708호(발명의 명칭: 축사내 개체 탐지 장치 및 방법)는 축사의 천장에서 바닥 방향으로 복수의 개체를 촬영한 영상을 획득하는 영상획득부, 획득된 영상이 저장되는 저장부, 저장부에 저장된 영상에서, 노이즈를 제거하고 이진화된 영상 프레임을 생성하는 영상 처리부, 및 이진화 영상 프레임을 비교하여, 움직이는 개체들 중 서로 인접한 개체들을 탐색하고, 인접한 개체를 개별적으로 분리하여 탐지하는 개체 탐지부를 포함한다. 이때, 개체 탐지부는 인접한 개체가 탐색된 현재 프레임의 각각의 개체에 대한 위치 정보 및 현재 프레임 바로 이전 프레임의 각각의 위치 정보의 교집합을 현재 프레임의 위치 정보에 합산하여 합성 프레임을 생성하고, 합성 프레임에 영역 확장 기법을 사용하여 서로 인접한 개체들을 개별적으로 분리한다. In this regard, as a method for detecting livestock objects through existing image analysis, Korean Patent Registration No. 10-1720708 (Title of the Invention: Apparatus and method for detecting objects in a barn) records a plurality of objects from the ceiling of the barn to the floor. An image acquisition unit that acquires an image, a storage unit that stores the acquired image, an image processing unit that removes noise from the image stored in the storage unit and generates a binarized image frame, and compares the binarized image frame to move objects and an object detection unit that searches for objects adjacent to each other, and separately separates and detects adjacent objects. In this case, the object detection unit generates a composite frame by adding the intersection of the location information of each object of the current frame in which the adjacent object is detected and the location information of the frame immediately preceding the current frame to the location information of the current frame, Separately separate objects adjacent to each other using a region extension technique.

본 발명은 전술한 문제점을 해결하기 위한 것으로, 축산 농가에 설치된 카메라에서 취득한 영상정보를 활용하여 가축 집단의 성장 속도를 측정하는 방법에 관한 것으로, 축사 내 설치된 카메라에 촬영된 가축을 개체 별로 검출하고 추적하며, 이 정보로부터 매일의 크기 변화를 측정하여 가축집단 별 성장속도를 측정하는 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법을 제공하는데 목적이 있다.The present invention relates to a method for measuring the growth rate of a livestock group by using image information acquired from a camera installed in a livestock farm, in order to solve the above-mentioned problems. The purpose of this is to provide an image-based livestock individual growth trend monitoring device and method for tracking and measuring the daily size change from this information to measure the growth rate for each livestock group.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical task to be achieved by the present embodiment is not limited to the technical task as described above, and other technical tasks may exist.

상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 영상 기반 가축 개체 성장 추이 모니터링 장치는 데이터 송수신 모듈; 영상 기반 가축 개체 성장 추이 모니터링 프로그램이 저장된 메모리; 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 각 가축방에 할당된 적어도 하나 이상의 카메라를 통해 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체의 크기를 검출하고, 각 가축방별로 가축 개체의 크기를 군집화하고, 각 가축 개체의 크기 정보를 기초로 성장 추이 정보를 생성하되, 가축 개체 검출 모델은 가축방의 상부에서 각 가축을 조감(bird view)하는 방향으로 촬영한 영상에 각 가축의 몸통 영역에 인접하도록 배치되는 외곽선, 각 가축의 회전 각도 및 각 가축의 행동 상태와 각 가축 개체의 크기를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 입력된 영상에 대하여 각 가축 개체가 기립한 상태에서의 각 가축 개체의 크기 값을 출력한다.As a technical means for solving the above technical problem, an image-based livestock individual growth trend monitoring apparatus according to an embodiment of the present invention includes a data transmission/reception module; a memory in which an image-based livestock growth trend monitoring program is stored; and a processor executing the program stored in the memory, wherein the program inputs the images collected through at least one or more cameras allocated to each livestock room into the livestock entity detection model to detect the size of each livestock entity, and each livestock The size of each livestock is grouped by room, and growth trend information is generated based on the size information of each livestock. It is a model learned using training data that labels the outline arranged adjacent to the body region of each livestock, the rotation angle of each livestock, the behavioral state of each livestock, and the size of each livestock object. Outputs the size value of each livestock in the standing state.

가축 개체 검출 모델은 각 가축방 중 가축 개체의 급이를 위해 특정된 장소에서 촬영된 영상을 기준으로 각 가축 개체의 크기 값을 출력한다.The livestock entity detection model outputs the size value of each livestock entity based on the image taken at a place specified for feeding the livestock entity in each livestock room.

가축 개체 검출 모델은 훈련 데이터에서 외곽선은 중심점, 장축의 길이 및 단축의 길이로 정의되는 타원으로 설정되는 것이고, 가축 개체 검출 모델은 사각형의 외곽선으로 출력되는 출력 데이터를 타원형 데이터에 맞게 변환한다.In the livestock object detection model, the outline in the training data is set as an ellipse defined by the central point, the length of the major axis, and the length of the minor axis.

프로그램은 가축 개체의 급이를 위해 특정된 장소에서 각 시점별로 촬영된 영상을 기반으로 출력된 개체 크기 값과 타 위치에서 각 시점별로 촬영된 영상을 기반으로 출력된 각 시점별 개체 크기 값의 비율을 나타내는 크기 측정 보정비를 산출하고, 각 시점별로 여러 위치의 크기 측정 보정비를 평균한 평균 크기 측정 보정비를 산출하고, 각 가축개체의 특정 시점에서의 크기 정보는 평균 크기 측정 보정비와 크기 측정 보정비를 곱한 값에 기초하여 특정하고, 각 시점에서의 가축 개체의 크기 정보를 군집화한 결과를 포함하는 가축의 성장 추이 정보를 생성한다.The program is the ratio of the object size value output based on the image taken at each time point at a specific place for feeding livestock and the object size value at each time point output based on the image taken at each time point at other locations. Calculates the size measurement correction ratio representing It is specified based on the value multiplied by the measurement correction ratio, and growth trend information of livestock including the result of clustering the size information of the livestock at each time point is generated.

프로그램은 사용자 인터페이스를 통해 군집화된 각 가축 개체의 크기에 대한 통계 정보를 생성하여 제공하거나, 가축방 별로 가축 개체의 크기 정보를 시계열적으로 나열하여 표시한다.The program generates and provides statistical information on the size of each livestock individual clustered through the user interface, or lists and displays information on the size of each livestock individual in time series for each livestock room.

프로그램은 각 가축 개체의 크기가 미리 설정된 임계치에 도달하여 각 가축 개체의 이동 또는 출하 작업이 필요한 경우, 이동 또는 출하 작업에 대한 알림을 표시한다.When the size of each livestock object reaches a preset threshold and each animal object needs to be moved or shipped, it will display a notification for the movement or shipping operation.

본 발명의 다른 실시예에 따른 영상 기반 가축 개체 성장 추이 모니터링 방법은 (a) 각 가축방에 할당된 적어도 하나 이상의 카메라를 통해 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체의 크기를 검출하는 단계; 및 (b) 각 가축방별로 가축 개체의 크기를 군집화하고, 각 가축 개체의 크기 정보를 기초로 성장 추이 정보를 생성하는 단계를 포함하되, 가축 개체 검출 모델은 가축방의 상부에서 각 가축을 조감(bird view)하는 방향으로 촬영한 영상에 각 가축의 몸통 영역에 인접하도록 배치되는 외곽선, 각 가축의 회전 각도 및 각 가축의 행동 상태와 각 가축 개체의 크기를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 입력된 영상에 대하여 각 가축 개체가 기립한 상태에서의 각 가축 개체의 크기 값을 출력한다.An image-based livestock individual growth trend monitoring method according to another embodiment of the present invention (a) detects the size of each livestock entity by inputting images collected through at least one camera assigned to each livestock room into a livestock entity detection model to do; And (b) clustering the size of each livestock individual for each livestock room, and generating growth trend information based on the size information of each livestock individual, wherein the livestock individual detection model provides a bird's eye view of each livestock from the upper part of the livestock room ( A model learned using training data that labels the outline placed adjacent to the body region of each livestock, the rotation angle of each livestock, the behavioral state of each livestock, and the size of each livestock on the image taken in the direction of bird view) As , the size value of each livestock in a state where each livestock is standing is output with respect to the input image.

가축 개체 검출 모델은 각 가축방 중 가축 개체의 급이를 위해 특정된 장소에서 촬영된 영상을 기준으로 각 가축 개체의 크기 값을 출력한다.The livestock entity detection model outputs the size value of each livestock entity based on the image taken at a place specified for feeding the livestock entity in each livestock room.

가축 개체 검출 모델은 훈련 데이터에서 외곽선은 중심점, 장축의 길이 및 단축의 길이로 정의되는 타원으로 설정되는 것이고, 가축 개체 검출 모델은 사각형의 외곽선으로 출력되는 출력 데이터를 타원형 데이터에 맞게 변환한다.In the livestock object detection model, the outline in the training data is set as an ellipse defined by the central point, the length of the major axis, and the length of the minor axis.

(b) 단계는 가축 개체의 급이를 위해 특정된 장소에서 각 시점별로 촬영된 영상을 기반으로 출력된 개체 크기 값과 타 위치에서 각 시점별로 촬영된 영상을 기반으로 출력된 각 시점별 개체 크기 값의 비율을 나타내는 크기 측정 보정비를 산출하는 단계; 각 시점별로 여러 위치의 크기 측정 보정비를 평균한 평균 크기 측정 보정비를 산출하는 단계; 각 가축개체의 특정 시점에서의 크기 정보는 평균 크기 측정 보정비와 크기 측정 보정비를 곱한 값에 기초하여 특정하는 단계; 및 각 시점에서의 가축 개체의 크기 정보를 군집화한 결과를 포함하는 가축의 성장 추이 정보를 생성하는 단계를 포함한다.Step (b) is the object size value output based on the image taken at each time point at the place specified for feeding livestock objects, and the object size for each time point output based on the image taken at each time point at other locations. calculating a size measurement correction ratio representing a ratio of values; calculating an average size measurement correction ratio by averaging the size measurement correction ratios of several locations for each time point; specifying the size information at a specific time of each livestock individual based on a value obtained by multiplying the average size measurement correction ratio and the size measurement correction ratio; and generating growth trend information of livestock including a result of clustering size information of livestock individuals at each time point.

사용자 인터페이스를 통해 군집화된 각 가축 개체의 크기에 대한 통계 정보를 생성하여 제공하거나, 가축방 별로 가축 개체의 크기 정보를 시계열적으로 나열하여 표시하는 단계를 더 포함한다.The method further includes generating and providing statistical information on the size of each livestock individual clustered through the user interface, or listing and displaying the size information of the livestock individual in a time series for each livestock room.

각 가축 개체의 크기가 미리 설정된 임계치에 도달하여 각 가축 개체의 이동 또는 출하 작업이 필요한 경우, 이동 또는 출하 작업에 대한 알림을 표시하는 단계를 더 포함한다.When the size of each livestock object reaches a preset threshold and a movement or shipment operation of each livestock object is required, the method further includes displaying a notification for the movement or shipment operation.

전술한 본원의 과제 해결 수단 중 어느 하나에 의하면, 종래의 RFID 방식이나 단순 영상분석 기술로는 얻기 어려웠던 농장 내 가축 자산의 생장 단계별 재고를 실시간으로 파악할 수 있다.According to any one of the above-described problem solving means of the present application, it is possible to grasp in real time the stock of livestock assets in the farm by growth stage, which was difficult to obtain with the conventional RFID method or simple image analysis technology.

특히 농가당 가축의 수가 매우 많은 낙농, 양돈, 양계 등 주요 축산업 분야에서 가축 집단의 성장 단계별 개체수와 성장 추이를 파악하고 출하 일정을 예측할 수 있다는 장점이 있다.In particular, in major livestock industries such as dairy farming, pig farming, and poultry, where the number of livestock per farm is very high, it has the advantage of being able to identify the number and growth trend of livestock groups at each growth stage and predict the shipment schedule.

더불어, 향후, 본 발명을 활용하여 축산농가의 재고 두수 관리 및 농장 경영 최적화를 위한 비용 산출, 실시간 재고 증빙을 통한 보험금 및 대출금 산출 등 축산 농가 경영에 현실적인 도움이 되는 가축 성장 배경 정보 생성에 활용될 것으로 기대된다.In addition, in the future, by utilizing the present invention, livestock growth background information that is realistically helpful for livestock farm management, such as cost calculation for managing the number of stocks of livestock farms and farm management optimization, and calculating insurance payments and loans through real-time inventory proof. is expected to

도 1은 본 발명의 일 실시예에 따른 영상 기반 가축 개체 성장 추이 모니터링 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 가축 집단의 생애주기별 분류 및 카운팅 방법을 설명하기 위한 영상 기반 가축 개체 성장 추이 모니터링 장치의 구조도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 가축 개체 검출 모델을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 카메라가 배치된 복수의 가축방으로 구성된 축사의 평면을 개략적으로 도시한 것으로서, 가축 개체 별 크기 측정 및 군집을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 기반 가축 개체 성장 추이 모니터링 방법을 도시한 순서도이다.1 is a block diagram showing the configuration of an image-based livestock individual growth trend monitoring apparatus according to an embodiment of the present invention.
2 is a structural diagram of an image-based livestock individual growth trend monitoring apparatus for explaining a method for classifying and counting livestock groups by life cycle according to an embodiment of the present invention.
3 and 4 are diagrams for explaining a livestock individual detection model according to an embodiment of the present invention.
5 schematically shows a plan view of a livestock house including a plurality of livestock rooms in which cameras are disposed according to an embodiment of the present invention, and is a view for explaining size measurement and grouping of individual livestock.
6 is a flowchart illustrating an image-based livestock individual growth trend monitoring method according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present application will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art to which the present application pertains can easily carry out. However, the present application may be implemented in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present application in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. Throughout this specification, when a part is "connected" with another part, this includes not only the case where it is "directly connected" but also the case where it is "electrically connected" with another element interposed therebetween. do.

본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout this specification, when a member is said to be located “on” another member, this includes not only a case in which a member is in contact with another member but also a case in which another member is present between the two members.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 영상 기반 가축 개체 성장 추이 모니터링 장치의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of an image-based livestock individual growth trend monitoring apparatus according to an embodiment of the present invention.

도1에 도시된 바와 같이 영상 기반 가축 개체 성장 추이 모니터링 장치(100)는 복수의 카메라(10), 데이터 송수신 모듈(120), 프로세서(130), 메모리(140) 및 데이터베이스(150)를 포함할 수 있다.As shown in FIG. 1 , the image-based livestock individual growth trend monitoring apparatus 100 may include a plurality of cameras 10 , a data transmission/reception module 120 , a processor 130 , a memory 140 , and a database 150 . can

카메라(10)는 축사 내에 구비된 복수의 가축방(1)을 모니터링 하도록 각 가축방(1)에 적어도 하나가 할당될 수 있다. 또한 카메라(10)는 탐색 영역 내에서 소정의 화각으로 촬영한 영상을 데이터 송수신 모듈(120)에 송신할 수 있다.At least one camera 10 may be assigned to each livestock room 1 to monitor a plurality of livestock rooms 1 provided in the livestock barn. Also, the camera 10 may transmit an image captured at a predetermined angle of view within the search area to the data transmission/reception module 120 .

데이터 송수신 모듈(120)은 카메라(10)가 소정의 화각으로 촬영한 영상을 수신하여 프로세서(130)로 전송할 수 있다. The data transmission/reception module 120 may receive an image captured by the camera 10 at a predetermined angle of view and transmit it to the processor 130 .

데이터 송수신 모듈(120)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.The data transmission/reception module 120 may be a device including hardware and software necessary for transmitting and receiving signals such as control signals or data signals through wired/wireless connection with other network devices.

프로세서(130)는 메모리(140)에 저장된 프로그램을 실행하되, 영상 기반 가축 개체 성장 추이 모니터링 프로그램의 실행에 따라 다음과 같은 처리를 수행한다.The processor 130 executes the program stored in the memory 140 , and performs the following processing according to the execution of the image-based livestock individual growth trend monitoring program.

프로그램은, 각 가축방에 할당된 적어도 하나 이상의 카메라(10)를 통해 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체의 크기를 검출하고, 각 가축방별로 가축 개체의 크기를 군집화하고, 각 가축 개체의 크기 정보를 기초로 성장 추이 정보를 생성한다. 가축 개체 검출 모델은 가축방의 상부에서 각 가축을 조감(bird view)하는 방향으로 촬영한 영상에 각 가축의 몸통 영역에 인접하도록 배치되는 외곽선, 각 가축의 회전 각도 및 각 가축의 행동 상태와 각 가축 개체의 크기를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 입력된 영상에 대하여 각 가축 개체가 기립한 상태에서의 각 가축 개체의 크기 값을 출력할 수 있다. 여기서, 가축 집단의 생애주기별 분류 및 개체수 카운팅을 위한 구체적인 과정은 도 2를 참조하여 후술하도록 한다.The program detects the size of each livestock object by inputting the image collected through at least one camera 10 allocated to each livestock room into the livestock object detection model, and clusters the size of the livestock object for each livestock room, Growth trend information is generated based on the size information of each livestock individual. The livestock object detection model is based on the image taken from the upper part of the livestock room in the direction of bird view of each livestock, the outline arranged adjacent to the body area of each livestock, the rotation angle of each livestock, the behavioral state of each livestock, and each livestock As a model learned using training data labeled with the size of the individual, it is possible to output the size value of each livestock in a standing state with respect to the input image. Here, a detailed process for classification and population counting by life cycle of a livestock group will be described later with reference to FIG. 2 .

이러한 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이 크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The processor 130 may include all kinds of devices capable of processing data. For example, it may refer to a data processing device embedded in hardware having a physically structured circuit to perform a function expressed as code or instructions included in a program. As an example of the data processing device embedded in the hardware as described above, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific (ASIC) An integrated circuit) and a processing device such as a field programmable gate array (FPGA) may be included, but the scope of the present invention is not limited thereto.

메모리(140)에는 영상 기반 가축 개체 성장 추이 모니터링 프로그램이 저장된다. 이러한 메모리(140)에는 영상 기반 가축 개체 성장 추이 모니터링 장치(100)의 구동을 위한 운영 체제나 영상 기반 가축 개체 성장 추이 모니터링 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다. The memory 140 stores an image-based livestock individual growth trend monitoring program. Various types of data generated during the execution of an operating system for driving the image-based livestock individual growth trend monitoring apparatus 100 or an image-based livestock individual growth trend monitoring program are stored in the memory 140 .

이때, 메모리(140)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다. In this case, the memory 140 collectively refers to a non-volatile storage device that continuously maintains stored information even when power is not supplied, and a volatile storage device that requires power to maintain the stored information.

또한, 메모리(140)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(140)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.In addition, the memory 140 may perform a function of temporarily or permanently storing data processed by the processor 130 . Here, the memory 140 may include magnetic storage media or flash storage media in addition to the volatile storage device that requires power to maintain stored information, but the scope of the present invention is limited thereto. it is not going to be

데이터베이스(150)는 프로세서(130)의 제어에 따라, 영상 기반 가축 개체 성장 추이 모니터링 장치(100)에 필요한 데이터를 저장 또는 제공한다. 예시적으로, 데이터베이스(150)는 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 검출한 각 가축 개체의 크기 정보를 저장할 수 있다. 이러한 데이터베이스(150)는 메모리(140)와는 별도의 구성 요소로서 포함되거나, 또는 메모리(140)의 일부 영역에 구축될 수도 있다.The database 150 stores or provides data necessary for the image-based livestock individual growth trend monitoring apparatus 100 under the control of the processor 130 . For example, the database 150 may store the size information of each livestock entity detected by inputting the image collected from the camera 10 into the livestock entity detection model. The database 150 may be included as a component separate from the memory 140 , or may be built in a partial area of the memory 140 .

도 2는 본 발명의 일 실시예에 따른 가축 집단의 생애주기별 분류 및 카운팅 방법을 설명하기 위한 영상 기반 가축 개체 성장 추이 모니터링 장치의 구조도이다.2 is a structural diagram of an image-based livestock individual growth trend monitoring device for explaining a method for classifying and counting livestock groups by life cycle according to an embodiment of the present invention.

도2에 도시된 바와 같이, 영상 기반 가축 개체 성장 추이 모니터링 장치(100)는 영상획득부(131), 축산개체 검출부(132), 축산개체 추적부(133), 촬영구간별 크기 측정보정비 계산부(134) 및 가축크기 별 군집부(135)로 구성된 프로그램을 실행할 수 있다.As shown in FIG. 2 , the image-based livestock individual growth trend monitoring apparatus 100 includes an image acquisition unit 131 , a livestock entity detection unit 132 , a livestock entity tracking unit 133 , and calculates the size measurement and correction ratio for each shooting section. It is possible to execute a program composed of the unit 134 and the flock unit 135 for each size of livestock.

영상획득부(131)는 각 가축방(1a)에 할당된 적어도 하나 이상의 카메라(10)를 통해 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체의 크기를 검출할 수 있다. 예시적으로, 카메라(10)는 가축방(1a)의 상부에서 각 가축을 조감(bird view)하는 방향으로 촬영한 영상을 수집할 수 있다.The image acquisition unit 131 may detect the size of each livestock entity by inputting images collected through at least one or more cameras 10 allocated to each livestock room 1a into the livestock entity detection model. For example, the camera 10 may collect images taken in a bird view direction of each livestock from the upper part of the livestock room 1a.

축산개체 검출부(132)는 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축방(1a) 별로 가축 개체의 크기를 군집화하고, 각 가축 개체의 크기 정보를 기초로 성장 추이 정보를 생성할 수 있다.The livestock object detection unit 132 inputs the image collected from the camera 10 into the livestock individual detection model to cluster the size of the livestock for each livestock room 1a, and growth trend information based on the size information of each livestock. can create

예시적으로, 축산개체 검출부(132)의 구동을 위해서는 축종별로 맞춤 훈련이 진행된 딥러닝 기반의 가축 개체 검출 모델을 활용할 수 있다. For example, in order to drive the livestock entity detection unit 132 , a deep learning-based livestock entity detection model customized for each type of livestock may be used.

여기서, 가축은 일반 사물과 달리 계속 움직이며 다양한 행동 양상을 띤다. 따라서, 가축 개체 검출 모델은 몸통 표면 크기를 일정하게 측정하기 위해서 가축의 몸통이 향하는 방향을 추정하는 구성과 가축 행동에 따른 크기측정 오차를 방지하는 구성을 포함할 수 있다. Here, livestock, unlike general objects, continues to move and exhibits various behavioral patterns. Accordingly, the livestock individual detection model may include a configuration for estimating the direction in which the body of the livestock faces in order to constantly measure the size of the body surface, and a configuration for preventing a size measurement error according to the behavior of the livestock.

이하, 가축 개체 검출 모델에 대하여 구체적으로 설명하도록 한다.Hereinafter, the livestock individual detection model will be described in detail.

도 3 및 도 4는 본 발명의 일 실시예에 따른 가축 개체 검출 모델을 설명하기 위한 도면이다. 도 5는 본 발명의 일 실시예에 따른 카메라가 배치된 복수의 가축방으로 구성된 축사의 평면을 개략적으로 도시한 것으로서, 가축 개체 별 크기 측정 및 군집을 설명하기 위한 도면이다.3 and 4 are diagrams for explaining a livestock individual detection model according to an embodiment of the present invention. 5 schematically shows a plan view of a livestock house including a plurality of livestock rooms in which cameras are disposed according to an embodiment of the present invention, and is a view for explaining size measurement and grouping of individual livestock.

도 3 내지 도5를 참조하면, 가축 개체 검출 모델은 가축방(1a)의 상부에서 각 가축을 조감하는 방향으로 촬영한 영상에 각 가축의 몸통 영역에 인접하도록 배치되는 외곽선, 각 가축의 회전 각도 및 각 가축의 행동 상태와 각 가축 개체의 크기를 라벨링한 훈련 데이터를 이용하여 학습된 모델이며, 입력된 영상에 대하여 각 가축 개체가 기립한 상태에서의 각 가축 개체의 크기 값을 출력할 수 있다.3 to 5 , the livestock individual detection model is an image taken in a bird's eye view direction from the upper part of the livestock room 1a, an outline arranged adjacent to the body area of each livestock, and the rotation angle of each livestock And it is a model learned using training data that labels the behavioral state of each livestock and the size of each livestock, and it is possible to output the size value of each livestock in a standing state with respect to the input image. .

구체적으로, 가축 개체 검출 모델은 각 가축방(1a) 중 가축 개체의 급이를 위해 특정된 장소(급이영역)에서 촬영된 영상을 기준으로 각 가축 개체의 크기 값을 출력할 수 있다. Specifically, the livestock entity detection model may output the size value of each livestock entity based on an image captured at a place (feeding area) specified for feeding the livestock entity in each livestock room 1a.

도4에 도시된 바와 같이, 가축 개체 검출 모델은 훈련 데이터에서 외곽선은 중심점, 장축의 길이 및 단축의 길이로 정의되는 타원으로 설정되는 것이고, 가축 개체 검출 모델은 사각형의 외곽선으로 출력되는 출력 데이터를 타원형 데이터에 맞게 변환할 수 있다. 예를 들어, 외곽선은 타원으로 설정될 수 있으나, 이에 한정된 것은 아니며 외곽선 자체가 사각형 일 수도 있다.As shown in Figure 4, in the livestock individual detection model, in the training data, the outline is set as an ellipse defined by the central point, the length of the long axis, and the length of the short axis, and the livestock individual detection model is the output data output as a rectangular outline. It can be transformed to fit elliptical data. For example, the outline may be set as an ellipse, but the present invention is not limited thereto, and the outline itself may be a rectangle.

예시적으로, 타원형 개체 검출 시에 카메라의 화각 기준과 가축의 몸통이 향하는 방향을 추정함에 따라, 가축이 향하는 방향에 강건하게 몸통의 표면 크기를 일정하게 측정할 수 있다. 또한, 가축의 행동 상태를 서있음, 앉아있음, 옆으로 누워있음 등 다양하게 정의 한 후, 한 가지 행동상태를 보일 시에만 그 크기를 측정함에 따라, 가축 행동에 따른 크기측정 오차를 방지할 수 있다. For example, when the oval object is detected, the standard of the angle of view of the camera and the direction in which the body of the livestock faces are estimated, so that the surface size of the body can be constantly measured in the direction the livestock faces. In addition, by defining the behavioral state of livestock in various ways, such as standing, sitting, or lying on its side, and measuring the size only when one behavioral state is shown, it is possible to prevent size measurement errors according to the behavior of the livestock. .

일 예로, 도3을 참조하면 가축의 몸통 퍼짐이 없고 다리영역을 과하게 잡지 않는 서있음(Standing) 상태인 경우에 대해서만 그 검출 영역을 개체의 크기로 인지하여 측정에 활용할 수 있다. 이는 마치 사람이 키를 측정하는데 있어 반듯한 자세에서 측정한 결과만이 유의미한 것과 같은 것을 의미한다. 또한, 가축 개체의 측정 크기 값은 회전 직사각형(회전 객체)의 면적을 계산하여 산출할 수 있다.For example, referring to FIG. 3 , the detection area may be recognized as the size of the object and used for measurement only in the case of a standing state where the body of the livestock does not spread and the leg area is not held excessively. This means that only the results measured in an upright posture are meaningful when measuring height. In addition, the measured size value of the livestock individual may be calculated by calculating the area of the rotating rectangle (rotating object).

일 예로, 도 4를 참조하면, 가축 개체 검출 모델은 소나 돼지 등 축종 별로 어노테이션(annotation)된 이미지 데이터로 학습할 수 있다. 각 가축방에 설치된 카메라(10)로부터 각 축종의 다양한 각도에서의 모습을 영상으로 수집하고, 프레임 단위로 추출하여 이미지화 한 후, 해당 이미지 내의 가축 개체의 영역을 표현하는 타원 범위 및 행동 상태를 (cx, cy, rw, rh, Θ, s) 로 표현할 수 있다.For example, referring to FIG. 4 , the livestock individual detection model may learn from image data annotated for each livestock species such as cattle or pigs. After collecting images from various angles of each livestock species from the camera 10 installed in each livestock room, extracting them in frame units and imaging them, the elliptical range and behavioral state ( It can be expressed as c x , c y , r w , r h , Θ, s).

예를 들어, 타원의 장축이 3시 방향을 향할 때를 0도로 기준잡고, 반시계방향으로 돌리며, 가축의 목덜미(경추)가 향하는 방향을 기준으로 잡아 각도(Θ)를 지정할 수 있다.For example, when the long axis of the ellipse is pointing to the 3 o'clock direction as the reference 0 degree, turning it counterclockwise, the angle (Θ) can be specified by holding the neck (cervical vertebrae) of the livestock as a reference.

일 예로, 가축 개체의 행동 상태(s)는 기본적으로 서있음(stand), 앉아있음(sitting), 옆으로 누움(lateral lying), 앞으로 누움(sternal lying), 승가(mounting)의 5종의 행동 단계로 구분될 수 있다. As an example, the behavioral state (s) of a livestock individual is basically five types of behavioral steps: standing, sitting, lateral lying, forward lying, and mounting. can be divided into

다른 예로, 행동 상태는 상술한 5종의 행동 단계에 한정되는 것은 아니며, 가축의 종류 및 추적 목적에 따라 축산 전문가의 지도하에 더 세분화하여 어노테이션을 진행할 수 있다. As another example, the behavioral state is not limited to the above-described five kinds of behavioral steps, and the annotation may be further subdivided under the guidance of a livestock expert according to the type of livestock and the purpose of tracking.

상술한 가축 객체의 다중 포즈(행동 상태) 구분 및 회전객체 검출을 위해서는 알려진 RetinaNet이나 YoLo, SSD 등 one-stage 객체검출 신경망의 출력 노드 부분을 수정하는 형태로 개발이 가능하다.For the above-described multi-pose (action state) classification and rotation object detection of livestock objects, it can be developed in the form of modifying the output node part of a known one-stage object detection neural network such as RetinaNet, YoLo, or SSD.

예를 들어, RetinaNet, YoLo, SSD 등 객체검출 신경망들은 보통 백본(Backbone) 과 헤드(head)로 구성되며, 백본은 특징을 추출하는 부분이고 헤드는 출력값을 도출하는 부분이다. 여기서, 일반적인 객체검출 신경망들은 주로 직사각형 형태의 경계박스(bounding box)을 뽑기 때문에 (x1, y1, x2 ,y2, s) 의 형태로 데이터를 표현한다.For example, object detection neural networks such as RetinaNet, YoLo, and SSD are usually composed of a backbone and a head. Here, general object detection neural networks express data in the form of (x 1 , y 1 , x 2 , y 2 , s) because they mainly select a rectangular bounding box.

하지만 본 발명은 가축 개체의 행동 상태 검출에 최적화된 타원 형태를 검출 하므로 (cx, cy, rw, rh, Θ, s) 의 형태로 데이터를 표현하고, 이를 신경망에 반영하기 위해서는 객체검출 신경망의 헤드의 출력노드를 타원형 데이터 표현식에 맞게 수정한다.However, since the present invention detects an elliptical shape optimized for detecting the behavioral state of a livestock individual, the data is expressed in the form of (c x , c y , r w , r h , Θ, s), and the object is to be reflected in the neural network. Modify the output node of the head of the detection neural network to fit the elliptical data expression.

상기 언급된 모델 구조 외에 본 발명의 포즈 구분(가축 행동 분류) 및 객체 검출 목적을 위한 새로운 구조를 제시하여 훈련하는 것 역시 가능하다.In addition to the above-mentioned model structure, it is also possible to present and train a new structure for pose classification (livestock behavior classification) and object detection purposes of the present invention.

다만, 개체 검출이 구분하는 행동 분류의 종류 및 크기를 측정하기 위한 기준행동은 축종 및 성장 단계마다 크기를 측정하는 기준에 따라 다르게 설정될 수 있다.However, the standard behavior for measuring the type and size of the behavior classification classified by individual detection may be set differently according to the criteria for measuring the size for each livestock species and growth stage.

다시 도2를 참조하면 카메라(10)의 설치위치 및 렌즈의 굴절 특성 등으로 인해 동일한 가축도 화각 내 위치에 따라 검출 크기가 달라질 수 있다. 이를 보완하기 위해, 축산개체 추적부(133)는 한번 상태가 검출된 개체의 움직임을 화각 내에서 최대한 추적하며 해당 위치에서의 측정 크기를 인지할 수 있다. Referring back to FIG. 2 , the detection size may vary depending on the position within the angle of view of the same livestock due to the installation position of the camera 10 and the refractive characteristics of the lens. To compensate for this, the livestock object tracking unit 133 tracks the movement of an object whose state has been detected as much as possible within the angle of view, and recognizes the measurement size at the corresponding location.

일 예로, 축산개체 추적부(133)는 통상적으로 널리 알려진 SORT(simple online and realtime tracking algorithm)을 이용하여, 매 프레임마다 검출된 축산 개체의 영역간 겹침 정도를 칼만 필터(Kalman filter)로 추적하여 양 프레임 간의 검출 결과가 동일 개체의 것인지 아닌지 판단할 수 있다.As an example, the livestock object tracking unit 133 uses a commonly known simple online and realtime tracking algorithm (SORT) to track the degree of overlap between regions of livestock objects detected in every frame with a Kalman filter. It can be determined whether or not the detection results between frames are of the same entity.

촬영구간별 크기 측정보정비 계산부(134)는 가축 개체의 급이를 위해 특정된 장소에서 각 시점별로 촬영된 영상을 기반으로 출력된 개체 크기 값과 타 위치에서 각 시점별로 촬영된 영상을 기반으로 출력된 각 시점별 개체 크기 값의 비율을 나타내는 크기 측정 보정비를 산출하고, 각 시점별로 여러 위치의 크기 측정 보정비를 평균한 평균 크기 측정 보정비를 산출할 수 있다. 이때, 각 가축개체의 특정 시점에서의 크기 정보는 평균 크기 측정 보정비와 크기 측정 보정비를 곱한 값에 기초하여 특정할 수 있다.The size measurement correction ratio calculation unit 134 for each shooting section is based on the object size value output based on the image taken at each time point at a place specified for feeding the livestock and the image taken at each time point at another location. It is possible to calculate a size measurement correction ratio indicating the ratio of the individual size values for each time point output as , and calculate an average size measurement correction ratio by averaging the size measurement correction ratios at various locations for each time point. In this case, the size information of each livestock individual at a specific time may be specified based on a value obtained by multiplying the average size measurement correction ratio and the size measurement correction ratio.

예시적으로, 촬영구간별 크기 측정보정비 계산부(134)는 모든 가축이 24시간 중 적어도 1회 이상 방문하는 급이영역에서 측정된 크기를 해당 개체의 기준 크기로 하며 동일 개체의 이동에 따른 크기 변화는 하기의 <수식1>에 의해 산출할 수 있다.Illustratively, the size measurement correction ratio calculation unit 134 for each shooting section uses the size measured in the feeding area visited at least once in 24 hours as the reference size of the subject, and The size change can be calculated by the following <Equation 1>.

<수식1><Formula 1>

Figure pat00001
Figure pat00001

여기서,

Figure pat00002
는 i 번째 가축개체가 t번째 시점에서 개체검출부(132)로부터 급이영역에서 각각 인지된 기준 측정 크기와 w, h를 중심점으로 지니는 영역에서 각각 인지된 측정 크기를 의미한다. 또한,
Figure pat00003
는 i번째 개체가 t번째 시점에서 (w, h) 위치에 있을때의 크기 측정 보정비를 의미한다. 이때 (w, h)는 검출된 가축개체의 센터(center)값 (cx, cy)를 의미한다.here,
Figure pat00002
is the reference measurement size recognized by the individual detection unit 132 in the feeding area at the t-th time point of the i-th livestock individual, and the measured size recognized in the area having w and h as the center points. In addition,
Figure pat00003
is the size measurement correction ratio when the i-th object is at the (w, h) position at the t-th time point. In this case, (w, h) means the center value (c x , c y ) of the detected livestock.

하나의 가축방 방 안에서 다수의 개체가 움직이며 측정된 다수의 가축개체에 대한 평균을 통해 해당 화각 내에서의 위치별 측정 보정비 배열은 하기의 <수식2>와 같이 정의된다.Multiple objects move in one livestock room and the arrangement of measurement correction ratios for each position within the corresponding angle of view is defined as in <Equation 2> below.

<수식2><Formula 2>

Figure pat00004
Figure pat00004

여기서, Cw,h는

Figure pat00005
이 측정된 총 횟수를 의미한다.where C w , h is
Figure pat00005
This means the total number of times measured.

각 가축방별 i 번째 가축개체의 t 시점에서의 크기 정보는 하기의 <수식3>으로 표현될 수 있다.The size information at time t of the i-th livestock individual for each livestock room can be expressed by the following <Equation 3>.

<수식3><Formula 3>

Figure pat00006
Figure pat00006

다수의 가축방에서 각각 검출된 가축개체 크기정보는 데이터베이스(150)에 실시간으로 취합 기록될 수 있다. 즉, 가축크기 별 군집부(135)는 각 가축방별로 모인

Figure pat00007
는 군집 알고리즘을 통해 크기 별로 자동 분류될 수 있다.Livestock individual size information detected in each of a plurality of livestock rooms may be collected and recorded in the database 150 in real time. That is, the clustering unit 135 for each livestock size is collected for each livestock room.
Figure pat00007
can be automatically classified by size through a clustering algorithm.

이때, 사용 가능한 분류 알고리즘으로는 K-평균 클러스터링, DBSCAN 및 이들의 변형 형태의 알고리즘을 활용할 수 있다. 군집 포인트의 수는 농장의 필요에 따라 성장단계의 수를 설정할 수 있다.In this case, as available classification algorithms, K-means clustering, DBSCAN, and a variant thereof may be used. The number of cluster points can set the number of growth stages according to the needs of the farm.

도5를 참조하면 가축크기 별 군집부(135)에 의해, 각 시점에서의 가축 개체의 크기 정보를 군집화한 결과를 포함하는 가축의 성장 추이 정보를 생성할 수 있다.Referring to FIG. 5 , the livestock growth trend information including the result of clustering the size information of the livestock at each time point may be generated by the clustering unit 135 for each size of the livestock.

예시적으로, 가축크기 별 군집부(135)는 가축 개체 검출 모델을 통해 제1 가축방(1a) 및 제2가축방(1b)에 각각 할당된 카메라(10)로부터 수집된 영상을 기초로 각 가축 개체의 크기를 측정하고, 이에 기초하여 가축 개체 별 크기 정보를 군집화할 수 있다.Illustratively, the cluster unit 135 for each livestock size is based on the images collected from the cameras 10 allocated to the first livestock rooms 1a and the second livestock rooms 1b through the livestock individual detection model, respectively. The size of each livestock may be measured, and size information for each livestock may be clustered based on this.

이를 통해, 도2 및 도5에 도시된 바와 같이, 프로그램은 사용자 인터페이스를 통해 군집화된 각 가축 개체의 크기에 대한 통계 정보를 생성하여 제공하거나, 가축방 별로 가축 개체의 크기 정보를 시계열적으로 나열하여 표시할 수 있다. 따라서, 사용자는 상술한 가축 개체 검출 모델을 통해 군집화된 가축 개체 별 크기 정보 및 이를 기초로 생성된 후술하는 성장 단계별 알림 정보 및 성장 추이 정보를 사용자 인터페이스를 통해 제공받을 수 있다.Through this, as shown in FIGS. 2 and 5, the program generates and provides statistical information on the size of each livestock individual clustered through the user interface, or lists the size information of livestock individuals for each livestock room in time series can be displayed. Accordingly, the user may be provided with size information for each livestock individual clustered through the above-described livestock individual detection model, and notification information for each growth stage and growth trend information generated based thereon through the user interface.

또한, 프로그램은 각 가축 개체의 크기가 미리 설정된 임계치에 도달하여 각 가축 개체의 이동 또는 출하 작업이 필요한 경우, 이동 또는 출하 작업에 대한 알림을 표시할 수 있다.In addition, the program may display a notification of the movement or shipment operation when the size of each livestock object reaches a preset threshold and the movement or shipment operation of each livestock object is required.

예시적으로, 프로그램은 가축 개체의 크기별 군집 정보를 통해 성장단계별 재고관리, 성장 추이 분석, 그리고 성장단계별 작업 알림 (이동/출하) 등의 응용 기능을 제공할 수 있다.For example, the program may provide application functions such as inventory management by growth stage, growth trend analysis, and job notification (movement/shipment) by growth stage through cluster information by size of livestock individuals.

여기서, 성장 단계별 재고관리는 크기별 군집정보를 바탕으로 현재 농가의 성장 단계별 가축 두수를 실시간으로 표출해 주는 기능을 의미하며, 사용자 인터페이스를 통해 표시될 수 있다.Here, the inventory management for each growth stage refers to a function of displaying the number of livestock heads for each growth stage of the current farmhouse in real time based on group information by size, and may be displayed through the user interface.

또한, 사용자 인터페이스는 성장추이 분석 기능을 통해, 매일 측정되는 각 가축방별 가축 개체의 크기 정보를 연속적으로 기록하여 각 가축방별로 가축 개체들의 성장 추이를 표시할 수 있으며, 목표 성장추이와의 비교를 통해 각 가축방별 운영 상황을 안내할 수 있다.In addition, the user interface can display the growth trend of livestock individuals for each livestock room by continuously recording the size information of each livestock individual measured daily through the growth trend analysis function, and compare with the target growth trend. It is possible to guide the operation status of each livestock room.

또한, 사용자 인터페이스는 성장단계별 작업 알림 기능을 통해 이동 또는 출하 작업에 해당하는 목표 성장치를 달성할 것으로 예측되는 가축방의 작업 일정을 미리 안내할 수 있으며, 작업일지 등과 연계관리 기능을 제공할 수 있다.In addition, the user interface can inform in advance the work schedule of the livestock room predicted to achieve the target growth value corresponding to the movement or shipment work through the work notification function for each growth stage, and can provide a link management function such as a work log.

이하에서는 상술한 도 1 내지 도5에 도시된 구성 중 동일한 구성의 설명은 생략하도록 한다.Hereinafter, descriptions of the same components among the components shown in FIGS. 1 to 5 will be omitted.

도 6은 본 발명의 일 실시예에 따른 영상 기반 가축 개체 성장 추이 모니터링 방법을 도시한 순서도이다.6 is a flowchart illustrating an image-based livestock individual growth trend monitoring method according to an embodiment of the present invention.

도시된 바와 같이 본 발명의 다른 실시예에 따른 영상 기반 가축 개체 성장 추이 모니터링 방법은 각 가축방에 할당된 적어도 하나 이상의 카메라(10)를 통해 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체의 크기를 검출하는 단계(S110) 및 각 가축방별로 가축 개체의 크기를 군집화하고, 각 가축 개체의 크기 정보를 기초로 성장 추이 정보를 생성하는 단계(S120)를 포함한다.As shown, the image-based livestock individual growth trend monitoring method according to another embodiment of the present invention inputs images collected through at least one camera 10 assigned to each livestock room into a livestock entity detection model to input each livestock entity. detecting the size of (S110) and clustering the sizes of livestock for each livestock room, and generating growth trend information based on the size information of each livestock (S120).

이때, 가축 개체 검출 모델은 가축방의 상부에서 각 가축을 조감하는 방향으로 촬영한 영상에 각 가축의 몸통 영역에 인접하도록 배치되는 외곽선, 각 가축의 회전 각도 및 각 가축의 행동 상태와 각 가축 개체의 크기를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 입력된 영상에 대하여 각 가축 개체가 기립한 상태에서의 각 가축 개체의 크기 값을 출력할 수 있다.At this time, the livestock object detection model is an image taken from the upper part of the livestock room in the direction of looking down each livestock, the outlines arranged to be adjacent to the body area of each livestock, the rotation angle of each livestock, the behavioral state of each livestock, and the As a model learned using size-labeled training data, it is possible to output the size value of each livestock in a state in which each livestock stands with respect to the input image.

또한 가축 개체 검출 모델은 각 가축방 중 가축 개체의 급이를 위해 특정된 장소에서 촬영된 영상을 기준으로 각 가축 개체의 크기 값을 출력할 수 있다.In addition, the livestock entity detection model may output the size value of each livestock entity based on an image captured at a location specified for feeding livestock entities in each livestock room.

그리고 가축 개체 검출 모델은 훈련 데이터에서 외곽선은 중심점, 장축의 길이 및 단축의 길이로 정의되는 타원으로 설정되는 것이고, 가축 개체 검출 모델은 사각형의 외곽선으로 출력되는 출력 데이터를 타원형 데이터에 맞게 변환할 수 있다.And in the livestock object detection model, the outline in the training data is set as an ellipse defined by the central point, the length of the major axis, and the length of the minor axis. there is.

S120단계는 가축 개체의 급이를 위해 특정된 장소에서 각 시점별로 촬영된 영상을 기반으로 출력된 개체 크기 값과 타 위치에서 각 시점별로 촬영된 영상을 기반으로 출력된 각 시점별 개체 크기 값의 비율을 나타내는 크기 측정 보정비를 산출하는 단계; 각 시점별로 여러 위치의 크기 측정 보정비를 평균한 평균 크기 측정 보정비를 산출하는 단계; 각 가축개체의 특정 시점에서의 크기 정보는 평균 크기 측정 보정비와 크기 측정 보정비를 곱한 값에 기초하여 특정하는 단계; 및 각 시점에서의 가축 개체의 크기 정보를 군집화한 결과를 포함하는 가축의 성장 추이 정보를 생성하는 단계를 포함할 수 있다.In step S120, the object size value outputted based on the image captured at each time point at the place specified for feeding the livestock and the object size value for each time point output based on the image captured at each time point at another location. calculating a size measurement correction ratio representing the ratio; calculating an average size measurement correction ratio by averaging the size measurement correction ratios of several locations for each time point; specifying size information at a specific time of each livestock individual based on a value obtained by multiplying an average size measurement correction ratio and a size measurement correction ratio; And it may include the step of generating the growth trend information of the livestock including the result of clustering the size information of the livestock individual at each time point.

본 발명의 영상 기반 가축 개체 성장 추이 모니터링 방법은 사용자 인터페이스를 통해 군집화된 각 가축 개체의 크기에 대한 통계 정보를 생성하여 제공하거나, 가축방 별로 가축 개체의 크기 정보를 시계열적으로 나열하여 표시하는 단계 및 각 가축 개체의 크기가 미리 설정된 임계치에 도달하여 각 가축 개체의 이동 또는 출하 작업이 필요한 경우, 이동 또는 출하 작업에 대한 알림을 표시하는 단계를 더 포함할 수 있다.The image-based livestock individual growth trend monitoring method of the present invention comprises the steps of generating and providing statistical information on the size of each livestock individual clustered through a user interface, or listing and displaying the size information of each livestock individual in a time series for each livestock room and when the size of each livestock entity reaches a preset threshold and thus movement or shipment operation of each livestock entity is required, displaying a notification for the movement or shipment operation may further include.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. An embodiment of the present invention may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module to be executed by a computer. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.Although the methods and systems of the present invention have been described with reference to specific embodiments, some or all of their components or operations may be implemented using a computer system having a general purpose hardware architecture.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The foregoing description of the present application is for illustration, and those of ordinary skill in the art to which the present application pertains will understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present application. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may be implemented in a combined form.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present application is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present application.

100: 영상 기반 가축 개체 성장 추이 모니터링 장치
10: 카메라
120: 데이터 송수신 모듈
130: 프로세서
140: 메모리
150: 데이터베이스 100: image-based livestock individual growth trend monitoring device
10: camera
120: data transmission/reception module
130: processor
140: memory
150: database

Claims (12)

영상 기반 가축 개체 성장 추이 모니터링 장치에 있어서,
데이터 송수신 모듈;
영상 기반 가축 개체 성장 추이 모니터링 프로그램이 저장된 메모리; 및
상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
상기 프로그램은, 각 가축방에 할당된 적어도 하나 이상의 카메라를 통해 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체의 크기를 검출하고, 각 가축방별로 가축 개체의 크기를 군집화하고, 각 가축 개체의 크기 정보를 기초로 성장 추이 정보를 생성하되,
상기 가축 개체 검출 모델은 가축방의 상부에서 각 가축을 조감(bird view)하는 방향으로 촬영한 영상에 각 가축의 몸통 영역에 인접하도록 배치되는 외곽선, 각 가축의 회전 각도 및 각 가축의 행동 상태와 각 가축 개체의 크기를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 상기 입력된 영상에 대하여 각 가축 개체가 기립한 상태에서의 각 가축 개체의 크기 값을 출력하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 장치.
In the image-based livestock individual growth trend monitoring device,
data transmission/reception module;
a memory in which an image-based livestock growth trend monitoring program is stored; and
A processor for executing the program stored in the memory;
The program detects the size of each livestock by inputting images collected through at least one camera assigned to each livestock into a livestock individual detection model, and clusters the size of each livestock for each livestock, and each livestock Generate growth trend information based on the size information of the object,
The livestock individual detection model includes an outline arranged adjacent to the body region of each livestock in an image taken in a bird view direction from the upper part of the livestock room, the rotation angle of each livestock, and the behavioral state and angle of each livestock As a model learned using training data labeled with the size of a livestock individual, the image-based livestock individual growth trend is to output the size value of each livestock individual in a standing state with respect to the input image monitoring device.
 제1항에 있어서,
상기 가축 개체 검출 모델은 각 가축방 중 가축 개체의 급이를 위해 특정된 장소에서 촬영된 영상을 기준으로 각 가축 개체의 크기 값을 출력하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 장치.
According to claim 1,
The livestock individual detection model outputs a size value of each livestock entity based on an image taken at a place specified for feeding livestock entities in each livestock room, an image-based livestock individual growth trend monitoring device.
 제1항에 있어서,
상기 가축 개체 검출 모델은 상기 훈련 데이터에서 상기 외곽선은 중심점, 장축의 길이 및 단축의 길이로 정의되는 타원으로 설정되는 것이고,
상기 가축 개체 검출 모델은 사각형의 외곽선으로 출력되는 출력 데이터를 타원형 데이터에 맞게 변환하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 장치.
According to claim 1,
In the livestock individual detection model, in the training data, the outline is set as an ellipse defined by a central point, a length of a major axis, and a length of a minor axis,
The livestock individual detection model is to convert the output data output as a rectangular outline to fit the elliptical data, an image-based livestock individual growth trend monitoring device.
 제1항에 있어서,
상기 프로그램은 가축 개체의 급이를 위해 특정된 장소에서 각 시점별로 촬영된 영상을 기반으로 출력된 개체 크기 값과 타 위치에서 각 시점별로 촬영된 영상을 기반으로 출력된 각 시점별 개체 크기 값의 비율을 나타내는 크기 측정 보정비를 산출하고,
각 시점별로 여러 위치의 크기 측정 보정비를 평균한 평균 크기 측정 보정비를 산출하고,
각 가축개체의 특정 시점에서의 크기 정보는 상기 평균 크기 측정 보정비와 상기 크기 측정 보정비를 곱한 값에 기초하여 특정하고,
상기 각 시점에서의 가축 개체의 크기 정보를 군집화한 결과를 포함하는 가축의 성장 추이 정보를 생성하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 장치.
According to claim 1,
The program calculates the individual size value for each time output based on the image captured at each time point at a specific place for feeding livestock and the object size value for each time point output based on the image captured at each time point at another location. Calculate a size measurement correction ratio representing the ratio,
Calculate the average size measurement correction ratio by averaging the size measurement correction ratios of several locations for each time point,
Size information at a specific time of each livestock individual is specified based on a value obtained by multiplying the average size measurement correction ratio and the size measurement correction ratio,
An image-based livestock individual growth trend monitoring device for generating growth trend information of livestock including the result of clustering the size information of the livestock individual at each time point.
 제1항에 있어서,
상기 프로그램은 사용자 인터페이스를 통해 군집화된 각 가축 개체의 크기에 대한 통계 정보를 생성하여 제공하거나,
가축방 별로 가축 개체의 크기 정보를 시계열적으로 나열하여 표시하는 것인, 상 기반 가축 개체 성장 추이 모니터링 장치.
According to claim 1,
The program generates and provides statistical information on the size of each livestock individual clustered through the user interface, or
A phase-based livestock individual growth trend monitoring device that lists and displays information on the size of individual livestock by livestock room in a time series.
 제1항에 있어서,
상기 프로그램은 각 가축 개체의 크기가 미리 설정된 임계치에 도달하여 각 가축 개체의 이동 또는 출하 작업이 필요한 경우, 이동 또는 출하 작업에 대한 알림을 표시하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 장치.
According to claim 1,
When the size of each livestock individual reaches a preset threshold and a movement or shipment operation of each livestock individual is required, the program displays a notification for the movement or shipment operation, an image-based livestock individual growth trend monitoring device.
 영상 기반 가축 개체 성장 추이 모니터링 방법에 있어서,
(a) 각 가축방에 할당된 적어도 하나 이상의 카메라를 통해 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체의 크기를 검출하는 단계; 및
(b) 각 가축방별로 가축 개체의 크기를 군집화하고, 각 가축 개체의 크기 정보를 기초로 성장 추이 정보를 생성하는 단계를 포함하되,
상기 가축 개체 검출 모델은 가축방의 상부에서 각 가축을 조감(bird view)하는 방향으로 촬영한 영상에 각 가축의 몸통 영역에 인접하도록 배치되는 외곽선, 각 가축의 회전 각도 및 각 가축의 행동 상태와 각 가축 개체의 크기를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 상기 입력된 영상에 대하여 각 가축 개체가 기립한 상태에서의 각 가축 개체의 크기 값을 출력하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 방법.
In the image-based livestock individual growth trend monitoring method,
(a) detecting the size of each livestock entity by inputting images collected through at least one camera assigned to each livestock room into a livestock entity detection model; and
(b) clustering the size of each livestock individual for each livestock room, and generating growth trend information based on the size information of each livestock individual,
The livestock individual detection model includes an outline arranged adjacent to the body region of each livestock in an image taken in a bird view direction from the upper part of the livestock room, the rotation angle of each livestock, and the behavioral state and angle of each livestock As a model learned using training data labeled with the size of a livestock individual, the image-based livestock individual growth trend is to output the size value of each livestock individual in a standing state with respect to the input image monitoring method.
 제7항에 있어서,
상기 가축 개체 검출 모델은 각 가축방 중 가축 개체의 급이를 위해 특정된 장소에서 촬영된 영상을 기준으로 각 가축 개체의 크기 값을 출력하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 방법.
8. The method of claim 7,
The livestock individual detection model outputs a size value of each livestock individual based on an image taken at a place specified for feeding the livestock in each livestock room, an image-based livestock individual growth trend monitoring method.
 제7항에 있어서,
상기 가축 개체 검출 모델은 상기 훈련 데이터에서 상기 외곽선은 중심점, 장축의 길이 및 단축의 길이로 정의되는 타원으로 설정되는 것이고,
상기 가축 개체 검출 모델은 사각형의 외곽선으로 출력되는 출력 데이터를 타원형 데이터에 맞게 변환하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 방법.
8. The method of claim 7,
In the livestock individual detection model, in the training data, the outline is set as an ellipse defined by a central point, a length of a major axis, and a length of a minor axis,
The livestock individual detection model is to convert the output data output as a rectangular outline to fit the oval data, an image-based livestock individual growth trend monitoring method.
 제7항에 있어서,
상기 (b) 단계는
가축 개체의 급이를 위해 특정된 장소에서 각 시점별로 촬영된 영상을 기반으로 출력된 개체 크기 값과 타 위치에서 각 시점별로 촬영된 영상을 기반으로 출력된 각 시점별 개체 크기 값의 비율을 나타내는 크기 측정 보정비를 산출하는 단계;
각 시점별로 여러 위치의 크기 측정 보정비를 평균한 평균 크기 측정 보정비를 산출하는 단계;
각 가축개체의 특정 시점에서의 크기 정보는 상기 평균 크기 측정 보정비와 상기 크기 측정 보정비를 곱한 값에 기초하여 특정하는 단계; 및
상기 각 시점에서의 가축 개체의 크기 정보를 군집화한 결과를 포함하는 가축의 성장 추이 정보를 생성하는 단계를 포함하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 방법.
8. The method of claim 7,
Step (b) is
It represents the ratio of the object size value output based on the image captured at each time point at a specific place for feeding livestock and the object size value at each time point output based on the image captured at each time point at another location. calculating a size measurement correction ratio;
calculating an average size measurement correction ratio by averaging the size measurement correction ratios of several locations for each time point;
specifying size information at a specific time of each livestock individual based on a value obtained by multiplying the average size measurement correction ratio and the size measurement correction ratio; and
An image-based livestock individual growth trend monitoring method comprising the step of generating growth trend information of livestock including a result of clustering the size information of the livestock individual at each time point.
 제7항에 있어서,
사용자 인터페이스를 통해 군집화된 각 가축 개체의 크기에 대한 통계 정보를 생성하여 제공하거나,
가축방 별로 가축 개체의 크기 정보를 시계열적으로 나열하여 표시하는 단계를 더 포함하는 것인, 상 기반 가축 개체 성장 추이 모니터링 방법.
8. The method of claim 7,
Generate and provide statistical information about the size of each livestock population clustered through the user interface, or
The phase-based livestock individual growth trend monitoring method further comprising the step of listing and displaying the size information of the livestock for each livestock room in a time-series manner.
 제7항에 있어서,
각 가축 개체의 크기가 미리 설정된 임계치에 도달하여 각 가축 개체의 이동 또는 출하 작업이 필요한 경우, 이동 또는 출하 작업에 대한 알림을 표시하는 단계를 더 포함하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 방법.8. The method of claim 7,
When the size of each livestock object reaches a preset threshold and a movement or shipment operation of each livestock object is required, the method further comprising the step of displaying a notification for the movement or shipment operation .
KR1020200151104A 2020-11-12 2020-11-12 Apparatus and method for monitoring growing progress of livestock individual based on image KR102506029B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200151104A KR102506029B1 (en) 2020-11-12 2020-11-12 Apparatus and method for monitoring growing progress of livestock individual based on image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200151104A KR102506029B1 (en) 2020-11-12 2020-11-12 Apparatus and method for monitoring growing progress of livestock individual based on image

Publications (3)

Publication Number Publication Date
KR20220064712A true KR20220064712A (en) 2022-05-19
KR102506029B1 KR102506029B1 (en) 2023-03-07
KR102506029B9 KR102506029B9 (en) 2023-06-09

Family

ID=81801127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200151104A KR102506029B1 (en) 2020-11-12 2020-11-12 Apparatus and method for monitoring growing progress of livestock individual based on image

Country Status (1)

Country Link
KR (1) KR102506029B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102470326B1 (en) 2022-08-09 2022-11-25 주식회사 안심엘피씨 Method, device and system for analyzing and monitoring growth status of livestock to improve breeding effect
CN116843085A (en) * 2023-08-29 2023-10-03 深圳市明心数智科技有限公司 Freshwater fish growth monitoring method, device, equipment and storage medium
WO2023229327A1 (en) * 2022-05-23 2023-11-30 서울대학교산학협력단 Image-based apparatus and method for analyzing herding behavior pattern of herding individuals

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019058752A1 (en) * 2017-09-22 2019-03-28 パナソニックＩｐマネジメント株式会社 Livestock information management system, livestock barn, livestock information management program, and livestock information management method
KR102014353B1 (en) * 2018-12-11 2019-08-26 에이비주식회사 Smart farm livestock management system based on machine learning
KR20200084467A (en) * 2018-12-27 2020-07-13 건국대학교 산학협력단 Device and method for tracking object in image based on deep learning using rotatable elliptical model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019058752A1 (en) * 2017-09-22 2019-03-28 パナソニックＩｐマネジメント株式会社 Livestock information management system, livestock barn, livestock information management program, and livestock information management method
KR102014353B1 (en) * 2018-12-11 2019-08-26 에이비주식회사 Smart farm livestock management system based on machine learning
KR20200084467A (en) * 2018-12-27 2020-07-13 건국대학교 산학협력단 Device and method for tracking object in image based on deep learning using rotatable elliptical model

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023229327A1 (en) * 2022-05-23 2023-11-30 서울대학교산학협력단 Image-based apparatus and method for analyzing herding behavior pattern of herding individuals
KR102470326B1 (en) 2022-08-09 2022-11-25 주식회사 안심엘피씨 Method, device and system for analyzing and monitoring growth status of livestock to improve breeding effect
CN116843085A (en) * 2023-08-29 2023-10-03 深圳市明心数智科技有限公司 Freshwater fish growth monitoring method, device, equipment and storage medium
CN116843085B (en) * 2023-08-29 2023-12-01 深圳市明心数智科技有限公司 Freshwater fish growth monitoring method, device, equipment and storage medium

Also Published As

Publication number Publication date
KR102506029B1 (en) 2023-03-07
KR102506029B9 (en) 2023-06-09

Similar Documents

Publication Publication Date Title
KR102506029B1 (en) Apparatus and method for monitoring growing progress of livestock individual based on image
Mortensen et al. Weight prediction of broiler chickens using 3D computer vision
US10058076B2 (en) Method of monitoring infectious disease, system using the same, and recording medium for performing the same
KR102522239B1 (en) Apparatus and method for analyzing feeding behavior of livestock based on image
US11910784B2 (en) Animal visual identification, tracking, monitoring and assessment systems and methods thereof
US11516992B2 (en) System, client terminal, control method for system, and storage medium
Lodkaew et al. CowXNet: An automated cow estrus detection system
CA3230401A1 (en) Systems and methods for the automated monitoring of animal physiological conditions and for the prediction of animal phenotypes and health outcomes
JP7092624B2 (en) Behavior identification device, behavior identification method and program
Hahn‐Klimroth et al. Deep learning‐based pose estimation for African ungulates in zoos
KR20210004184A (en) Domestic Animal Managing Method Based on Identifying Marking Information of And Computing Apparatus and Server of Thereof
Yaseer et al. A review of sensors and Machine Learning in animal farming
KR102624927B1 (en) System and method for diarrhea signs dection of animals and diarrhea risk prediction
KR102486761B1 (en) System for abnornal signs dection of individual animals and method thereof
KR102584357B1 (en) Apparatus for identifying a livestock using a pattern, and system for classifying livestock behavior pattern based on images using the apparatus and method thereof
Witte et al. Evaluation of deep learning instance segmentation models for pig precision livestock farming
JP2011135786A (en) Automatic weight selector and program
KR102341715B1 (en) Apparatus and method for livestock monitoring
Smink et al. Computer Vision on the Edge: Individual Cattle Identification in Real-Time With ReadMyCow System
Alon et al. Machine vision-based automatic lamb identification and drinking activity in a commercial farm
Molapo et al. Management and monitoring of livestock in the farm using deep learning
US20240095670A1 (en) Device and method for inventory management of livestock based on image
KR20240038329A (en) Apparatus and method for inventory management of livestock based on image
Schofield et al. Image analysis for estimating the weight of live animals
EP4187505A1 (en) A method and system for the identification of animals

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]