KR102396999B1 - Cattle behavior automatic recognition and the monitoring system using the deep learning and method thereof - Google Patents
Cattle behavior automatic recognition and the monitoring system using the deep learning and method thereof Download PDFInfo
- Publication number
- KR102396999B1 KR102396999B1 KR1020210007173A KR20210007173A KR102396999B1 KR 102396999 B1 KR102396999 B1 KR 102396999B1 KR 1020210007173 A KR1020210007173 A KR 1020210007173A KR 20210007173 A KR20210007173 A KR 20210007173A KR 102396999 B1 KR102396999 B1 KR 102396999B1
- Authority
- KR
- South Korea
- Prior art keywords
- behavior
- livestock
- dangerous situation
- livestock behavior
- monitoring
- Prior art date
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 329
- 238000012544 monitoring process Methods 0.000 title claims abstract description 69
- 238000013135 deep learning Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 14
- 241000283690 Bos taurus Species 0.000 title description 18
- 244000144972 livestock Species 0.000 claims abstract description 262
- 238000004458 analytical method Methods 0.000 claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 230000007774 longterm Effects 0.000 claims abstract description 29
- 238000002372 labelling Methods 0.000 claims abstract description 18
- 238000013500 data storage Methods 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims abstract description 4
- 230000033001 locomotion Effects 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 241001465754 Metazoa Species 0.000 abstract description 14
- 230000009471 action Effects 0.000 description 46
- 238000010586 diagram Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 230000000284 resting effect Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000003542 behavioural effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 230000003370 grooming effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009304 pastoral farming Methods 0.000 description 1
- 230000022676 rumination Effects 0.000 description 1
- 208000015212 rumination disease Diseases 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Environmental Sciences (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biodiversity & Conservation Biology (AREA)
- Animal Husbandry (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Human Computer Interaction (AREA)
Abstract
Description
본 발명은 가축행동 인식 기술에 관한 것으로, 특히, 가축행동 어노테이션(annotation)을 이용하여 사전 학습된 딥러닝을 이용하여 동영상에서 가축의 행동을 자동으로 인식 및 검출하고, 이를 저장 및 단기행동분석/장기행동분석을 수행하여 위험상황 발생시 경보를 수행함으로써 가축 행동을 자동으로 실시간 모니터링할 수 있는 딥러닝(deep learning)을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법에 관한 것이다.The present invention relates to livestock behavior recognition technology, and in particular, automatically recognizes and detects the behavior of livestock in a video using deep learning pre-learned using livestock behavior annotation, and stores it and performs short-term behavior analysis/ To a system and method for automatic recognition and monitoring of livestock behavior using deep learning that can automatically monitor livestock behavior in real time by performing long-term behavioral analysis and performing an alarm when a dangerous situation occurs.
우리나라에서 한우와 같은 가축의 사육 형태는 일반적으로 축사를 이용한다. 그러나 국내 축산 농가가 60세 이상의 고연령층이 40%이상 차지하며, 장기적으로 농촌의 노동력 부족이 심각해짐에 따라 스마트한 축사 환경 개발이 필요해졌다. 스마트 축사 환경 개발은 동물의 높은 수준의 복지를 보장하고, 불필요한 스트레스를 유발하지 않으며, 주변과 환경으로부터 독립된 일련의 솔루션이 필요하다. 이러한 솔루션의 방법 중 한 가지가 모니터링 시스템이다.In Korea, livestock such as Korean cattle are generally kept in a livestock barn. However, as domestic livestock farming households account for more than 40% of the elderly over 60 years old, and as the labor shortage in rural areas becomes serious in the long run, it is necessary to develop a smart livestock environment. The development of a smart barn environment requires a set of solutions that ensure a high level of well-being of animals, do not cause unnecessary stress, and are independent of their surroundings and the environment. One of these solutions is a monitoring system.
기존 접촉형 모니터링 시스템은 센서를 사용하였다. 대표적인 방법은 귀 태깅, 가속도계, 모션 칼라 등 다양한 센서를 이용한 시스템이 있다. 그러나 이러한 장치를 사용하면 가축 외부 표피에 설치해야 하고, 이로 인해 가축에게 스트레스를 유발할 가능성이 있으며, 또한, 가축의 급격한 움직임으로 손실되거나 물리적 손상을 입을 수 있어 센서의 재구매 및 주기적인 배터리 교체 등 유지보수를 위한 추가적인 비용 문제가 있으며, 동물의 움직임을 방해하여 정상적인 행동에도 영향을 미칠 수 있다.Existing contact-type monitoring systems used sensors. A representative method is a system using various sensors such as ear tagging, an accelerometer, and a motion color. However, if such a device is used, it must be installed on the outer epidermis of the livestock, which may cause stress to the livestock, and may also be lost or physically damaged due to the sudden movement of the livestock. There is an additional cost issue for maintenance, which can interfere with animal movement and affect normal behavior.
최근에는 비접촉 형태의 모니터링 솔루션 형태로, 원격으로 축사 내 가축의 움직임을 관찰하기 위해 CCTV가 설치되어 일정 기간 동영상으로 저장하는 시스템이 많이 보급되었다. 이를 통해 사육자는 가축의 움직임을 실시간으로 관찰할 수 있다. 그러나 CCTV 시스템은 가축 사육자가 실시간 모니터링이 가능하지만, 계속 모니터를 지켜봐야 하므로 실질적으로 실시간 모니터링이 불가능하며, 가축의 급격한 움직임, 위험 상황 등 실시간 조치가 필요한 부분 또는 병증 발현 등 오랜 기간 지속적인 모니터링을 통해 통계적으로 움직임을 파악해야 하는 부분 등의 파악이 힘들 뿐만 아니라, 정량화하기 어려운 가변적이고 복잡한 동물 행동을 파악하기도 힘들다는 문제점이 있다.Recently, in the form of a non-contact monitoring solution, CCTV has been installed to remotely observe the movement of livestock in the shed, and a system that stores video for a certain period of time has been widely used. Through this, breeders can observe the movements of livestock in real time. However, the CCTV system allows livestock breeders to monitor in real time, but it is practically impossible to monitor in real time because they have to watch the monitor continuously. There is a problem in that it is difficult to grasp the part where the movement is to be grasped, and it is also difficult to grasp the variable and complex animal behavior that is difficult to quantify.
본 발명은 상기의 문제점들을 해결하기 위하여 안출된 것으로서, 가축 행동 양식을 구조화하여 어노테이션(annotation)하고, 가축행동 어노테이션을 딥러닝(deep learning) 기반의 가축행동 자동검출 모듈을 통해 가축행동을 검출, 및 저장하고, 위험상황 파악을 위한 단기행동 모니터링과 복잡한 동물행동 파악을 통계 분석을 통해 수행하기 위한 장기행동 모니터링으로 구분하여 그 결과를 사육사 단말로 전달함으로써 가축행동을 자동으로 실시간 모니터링 할 수 있는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템 그 방법을 제공하는 데 그 목적이 있다.The present invention has been devised to solve the above problems, and the livestock behavior is structured and annotated, and the livestock behavior annotation is detected through an automatic livestock behavior detection module based on deep learning, A deep system that can automatically monitor livestock behavior in real time by dividing short-term behavior monitoring to identify dangerous situations and long-term behavior monitoring to perform complex animal behavior identification through statistical analysis and delivering the results to the breeder terminal The purpose is to provide a method for automatic recognition and monitoring of livestock behavior using running.
상기 목적을 달성하기 위하여, 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템은, 가축행동의 유형에 대한 계층적 레이블링을 수행하여 가축행동 어노테이션을 정의하는 가축행동 어노테이션 정의 모듈; 실시간 입력되는 동영상을 상기 가축행동 어노테이션에 기반한 딥러닝을 이용하여 가축행동을 검출하는 가축행동 자동검출 모듈; 검출된 가축행동 데이터와 상기 동영상이 입력된 시간정보를 함께 저장하는 가축행동 데이터 저장 모듈; 저장된 가축행동 데이터의 현재 위험상황 여부를 분석하는 단기행동 모니터링을 수행하고, 단기행동 모니터링 결과 위험상황 발생으로 확인되면 등록된 사육사 단말로 위험상황 발생 경보를 전달하도록 요청하는 가축행동 제1 분석 모듈; 설정된 일정 기간의 시간 동안의 저장된 가축행동 데이터에 대한 통계 정보를 분석하는 장기행동 모니터링을 수행하고, 장기행동 모니터링 결과 위험상황 발생으로 확인되면 등록된 사육사 단말로 위험상황 발생 경보를 전달하도록 요청하는 가축행동 제2 분석 모듈; 상기 위험상황 발생 경보의 전달 요청이 수신되면, 등록된 사육사 단말로 위험상황 발생 경보 메시지를 생성하여 전달하는 가축행동 경보 모듈; 및 생성된 위험상황 발생 경보 메시지가 상기 등록된 사육사 단말로 전송되도록 하는 통신 모듈;을 포함한다.In order to achieve the above object, the livestock behavior automatic recognition and monitoring system using deep learning according to an embodiment of the present invention defines livestock behavior annotations by performing hierarchical labeling on the types of livestock behavior module; An automatic livestock behavior detection module for detecting livestock behavior using deep learning based on the livestock behavior annotation on a video input in real time; a livestock behavior data storage module for storing the detected livestock behavior data and time information at which the video is input; A first analysis module for livestock behavior that performs short-term behavior monitoring to analyze the current dangerous situation of the stored livestock behavior data, and requests to transmit a dangerous situation occurrence alert to the registered breeder terminal when it is confirmed that a dangerous situation occurs as a result of short-term behavior monitoring; Long-term behavior monitoring that analyzes statistical information on stored livestock behavior data for a set period of time is performed, and if it is confirmed that a dangerous situation has occurred as a result of long-term behavior monitoring, livestock requesting to deliver a dangerous situation warning to the registered breeder terminal behavior second analysis module; a livestock behavior warning module for generating and delivering a dangerous situation occurrence warning message to a registered breeder terminal when the transmission request of the dangerous situation occurrence warning is received; and a communication module configured to transmit the generated dangerous situation occurrence warning message to the registered zookeeper terminal.
상기 가축행동 어노테이션 정의 모듈은, 객체의 행동을 특정 부위만 검출하는 부위별 행동 수준(object part action), 개별 객체의 행동을 검출하는 단순 행동 수준(individual obuect action), 객체와 객체 사이, 또는 일정 그룹의 객체들이 상호 연관된 행동을 수행하는 복합 행동(그룹/상호작용 행동, group/interacion activity)으로 행동 유형을 계층화한 계층적 이해 수준 구조를 정의하고, 정의된 계층적 이해 수준 구조에 따라 수준별로 가축행동 유형에 대한 어노테이션을 도출하는 것을 특징으로 한다.The livestock behavior annotation definition module includes an object part action for detecting only a specific part of an object's behavior, a simple action level for detecting an individual object's action (individual obuect action), between an object and an object, or a constant Define a hierarchical understanding level structure that hierarchizes behavior types as complex actions (group/interacion activity, group/interacion activity) in which group objects perform interrelated actions, and according to the defined hierarchical level of understanding structure, It is characterized by deriving annotations on livestock behavior types.
상기 가축행동 어노테이션 정의 모듈은, 상기 계층적 이해 수준 구조를 정의하기 위해, 가축의 행동 도메인 정보를 그래프 구조로 전환하되, 가축행동과 관련된 상황정보 또는 검출대상을 그래프의 기본 노드들로 정의하고, 각 노드들 간 상호 연관 관계를 정의하여 그래프 노드 구조를 구조화하고, 구조화된 노드 구조를 사용하여 카테고리로 정리하며, 상기 가축 행동 도메인 정보를 수준별로 구분하여 부위별 행동(part action), 단순 행동(individual action), 그룹행동(group action)으로 하위에서 상위로 계층적 이해 수준으로 매핑하여 계층적 레이블링 구조를 설계하며, 설계된 계층적 레이블링 구조를 통해 행동 유형 계층화를 수행하는 것을 특징으로 한다.The livestock behavior annotation definition module converts the behavior domain information of livestock into a graph structure to define the hierarchical understanding level structure, and defines situational information or detection targets related to livestock behavior as basic nodes of the graph, The graph node structure is structured by defining the correlation between each node, organized into categories using the structured node structure, and the livestock behavior domain information is classified by level to perform part action, simple action ( It is characterized by designing a hierarchical labeling structure by mapping from lower to upper hierarchical understanding levels to individual action) and group action, and performing action type stratification through the designed hierarchical labeling structure.
상기 부위별 행동(part action)은 반추(Ruminating), 꼬리 흔들기(Moving tail), 머리 흔들기(Moving head)를 적어도 포함하며, 상기 단순 행동(individual action)은 걷기(Walking), 서기(Standing), 휴식(Resting), 잠자기(Sleeping), 먹기(Eating), 일어서기(Standing up), 눕기(Lying down), 자기손질(Self-grooming)을 적어도 포함하며, 상기 그룹행동(group action)은 싸움(Fighting), 사회적 핥기(Social licking), 올라타기(Mounting), 젖먹이기(Feeding)를 적어도 포함하는 것을 특징으로 한다.The part action includes at least Ruminating, Moving tail, and Moving head, and the individual action is Walking, Standing, Resting, Sleeping, Eating, Standing up, Lying down, Self-grooming includes at least, wherein the group action includes fighting ( Fighting), social licking (Social licking), riding (Mounting), characterized in that it includes at least feeding (Feeding).
상기 가축행동 자동검출 모듈은, 상기 입력된 동영상의 현재 프레임과 직전 프레임을 비교하여 움직임이 있는 영역을 표시한 플로우 동영상을 생성하고, 상기 입력된 동영상으로부터 외형 특징을 추출하는 동시에 객체를 추출하여 해당 객체의 ROI를 검출하고, 생성된 플로우 동영상으로부터 움직임 특징을 추출하며, 추출된 외형 특징 및 움직임 특징에 각각 ROI 풀링을 수행한 후 평균 풀링을 수행하여 종합하고 종합된 영상에 경계상자(bounding box) 및 클래스를 표출하는 것을 특징으로 한다.The livestock behavior automatic detection module compares the current frame and the immediately preceding frame of the input video to generate a flow video indicating a moving area, extracts appearance features from the input video, and simultaneously extracts an object Detect the ROI of an object, extract motion features from the generated flow video, perform ROI pooling on the extracted external features and motion features, respectively, and then perform average pooling to synthesize and create a bounding box on the synthesized image And it is characterized by expressing a class.
상기 가축행동 자동검출 모듈은, 정의된 가축행동 어노테이션을 이용하여 사전 훈련을 수행한 딥러닝(CNN)을 사용하여 가축행동을 검출하며, 사전 훈련된 딥러닝 특징 추출에 따른 가축행동 검출결과의 훈련손실을 최소화하기 위한 손실함수는 위치정보 손실함수와 클래스정보 손실함수의 합으로 산출되며, 위치정보 손실 함수는 수학식 (1)을 통해 산출되며, 클래스 정보 손실함수는 수학식 (2)을 통해 산출되는 것을 특징으로 한다.The livestock behavior automatic detection module detects livestock behavior using deep learning (CNN) that has been pre-trained using the defined livestock behavior annotation, and training of the livestock behavior detection result according to the pre-trained deep learning feature extraction The loss function for minimizing the loss is calculated as the sum of the location information loss function and the class information loss function, the location information loss function is calculated through Equation (1), and the class information loss function is calculated through Equation (2) It is characterized in that it is calculated.
(여기서, x는 영상 영역에서 실제 위치를, 
상기 가축행동 제1 분석 모듈은, 단기행동 모니터링 결과를 상기 가축행동 데이터 저장 모듈로 전달하여 저장을 요청하고, 상기 가축행동 제2 분석 모듈은, 장기행동 모니터링 결과를 상기 가축행동 데이터 저장 모듈로 전달하여 저장을 요청하는 것을 특징으로 한다.The first livestock behavior analysis module transmits the short-term behavior monitoring result to the livestock behavior data storage module to request storage, and the second livestock behavior analysis module transmits the long-term behavior monitoring result to the livestock behavior data storage module to request storage.
상기 목적을 달성하기 위하여, 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 방법은, 가축행동의 유형에 대한 계층적 레이블링을 수행하여 가축행동 어노테이션을 정의하는 단계; 정의된 가축행동 어노테이션을 기반으로 사전 학습된 딥러닝을 이용하여 입력되는 동영상으로부터 가축행동을 자동 검출하여 저장하는 단계; 저장된 가축행동 데이터에 대한 현재 위험상황 발생 여부를 분석하는 단기행동 모니터링을 수행하거나, 저장된 가축행동 데이터 중 설정된 일정 기간의 시간 동안 저장된 가축행동 데이터를 추출하고, 상기 설정된 일정 기간의 시간 동안 저장된 가축행동 데이터에 대한 통계 정보를 추출하여 위험상황 발생 여부를 분석하는 장기행동 모니터링을 수행하는 단계; 상기 단기행동 모니터링 수행 결과, 현재 위험상황 발생이 확인되면 등록된 사육사 단말로 상기 위험상황 발생 정보를 적어도 포함하는 경보 메시지를 생성하여 전달하는 단계; 및 상기 장기행동 모니터링 수행 결과, 위험상황 발생이 확인되면, 등록된 사육사 단말로 상기 위험상황 발생 정보를 적어도 포함하는 경보 메시지를 생성하여 전달하는 단계;를 포함한다.In order to achieve the above object, a method for automatic recognition and monitoring of livestock behavior using deep learning according to an embodiment of the present invention includes: defining livestock behavior annotations by performing hierarchical labeling on the types of livestock behavior; automatically detecting and storing livestock behavior from an input video using pre-learned deep learning based on the defined livestock behavior annotation; Short-term behavior monitoring is performed to analyze whether a current dangerous situation occurs on the stored livestock behavior data, or livestock behavior data stored for a set period of time is extracted from the stored livestock behavior data, and the livestock behavior stored for the set period of time performing long-term behavior monitoring to analyze whether a dangerous situation has occurred by extracting statistical information about the data; generating and transmitting an alarm message including at least the dangerous situation occurrence information to a registered zookeeper terminal when it is confirmed that a current dangerous situation has occurred as a result of the short-term behavior monitoring; and generating and transmitting an alarm message including at least information on the occurrence of the dangerous situation to a registered zookeeper terminal when the occurrence of a dangerous situation is confirmed as a result of the long-term behavior monitoring.
상기 가축행동 어노테이션을 정의하는 단계는, 가축의 행동 도메인 정보를 그래프 구조로 전환하되, 가축행동과 관련된 상황정보 또는 검출대상을 그래프의 기본 노드들로 정의하는 단계; 각 노드들 간 상호 연관 관계를 정의하여 그래프 노드 구조를 구조화하고, 구조화된 노드 구조를 사용하여 카테고리로 정리하는 단계; 상기 가축의 행동 도메인 정보를 수준별로 구분하여 부위별 행동(part action), 단순 행동(individual action), 그룹행동(group action)으로 하위에서 상위로 계층적 이해 수준으로 매핑하여 계층적 레이블링 구조를 설계하는 단계; 설계된 계층적 레이블링 구조를 통해 객체의 행동을 특정 부위만 검출하는 부위별 행동 수준(object part action), 개별 객체의 행동을 검출하는 단순 행동 수준(individual obuect action), 객체와 객체 사이, 또는 일정 그룹의 객체들이 상호 연관된 행동을 수행하는 복합 행동(그룹/상호작용 행동, group/interacion activity)으로 행동 유형을 계층화한 계층적 이해 수준 구조를 정의하고, 정의된 계층적 이해 수준 구조에 따라 수준별로 가축행동 유형에 대한 어노테이션을 도출하는 단계;를 포함한다.The step of defining the livestock behavior annotation includes: converting the behavior domain information of livestock into a graph structure, and defining situational information or detection targets related to livestock behavior as basic nodes of the graph; structuring a graph node structure by defining a correlation relationship between each node, and arranging the graph node structure into categories using the structured node structure; Design a hierarchical labeling structure by classifying the behavior domain information of the livestock by level and mapping from lower to upper hierarchical understanding levels as part action, individual action, and group action. to do; Through the designed hierarchical labeling structure, the object part action detects only a specific part of the object's behavior, the individual object action detects the behavior of an individual object, and the object-to-object or certain group. Define a hierarchical understanding level structure in which behavior types are stratified into complex behaviors (group/interaction behavior, group/interacion activity) in which objects of Including; deriving an annotation for the behavior type.
상기 입력되는 동영상으로부터 가축행동을 자동 검출하여 저장하는 단계는, 상기 입력되는 동영상의 현재 프레임과 직전 프레임을 비교하여 움직임이 있는 영역을 표시한 플로우 동영상을 생성하는 단계; 상기 입력되는 동영상으로부터 외형 특징을 추출하는 단계; 생성된 플로우 동영상으로부터 움직임 특징을 추출하는 단계; 상기 입력되는 동영상으로부터 객체를 추출하여 해당 객체의 ROI를 검출하는 단계; 상기 추출된 외형 특징 및 움직임 특징에 각각 검출된 ROI 풀링을 수행한 후 평균 풀링을 수행하여 종합하는 단계; 및 종합된 영상에 경계상자(bounding box) 및 클래스를 표출하는 단계;를 포함한다.The step of automatically detecting and storing livestock behavior from the inputted video may include: generating a flow video in which a movement area is displayed by comparing a current frame and a previous frame of the input video; extracting an appearance feature from the input video; extracting motion features from the generated flow video; extracting an object from the input video and detecting an ROI of the object; synthesizing by performing average pooling after performing each detected ROI pooling on the extracted appearance features and motion features; and expressing a bounding box and a class on the synthesized image.
본 발명에 따르면, 가축의 행동을 구조적으로 어노테이션(annotation)하고, 이를 딥러닝 기술에 적용함으로써 가축행동의 효과적인 인식 및 실시간 모니터링이 가능하게 하여 사육사의 관리 작업을 용이하게 하는 효과가 있다.According to the present invention, by structurally annotating the behavior of livestock and applying it to the deep learning technology, effective recognition and real-time monitoring of the behavior of the livestock is possible, thereby facilitating the management work of the breeder.
또한, 본 발명에 따르면, 기존 카메라가 설치된 축사 환경에 그대로 적용되므로 적은 비용으로 가축행동 자동 인식 및 모니터링 서비스 구현이 가능한 효과가 있다. In addition, according to the present invention, since it is applied to the livestock barn environment in which the existing camera is installed, there is an effect that automatic recognition of livestock behavior and monitoring service can be implemented at a low cost.
또한, 본 발명에 따르면, 딥러닝 기술을 이용하여 축사 내 가축의 행동을 이해하는 스마트 모니터링을 통해 가축의 위험 상황 및 이상 행동의 발생시 경고가 가능하여 지능적인 축사 자동화 시스템 개발의 기반으로 활용 가능한 효과가 있다.In addition, according to the present invention, through smart monitoring to understand the behavior of livestock in the livestock using deep learning technology, it is possible to warn when dangerous situations and abnormal behaviors of livestock occur, so that it can be used as a basis for the development of an intelligent livestock barn automation system. there is
또한, 본 발명에 따르면, AI를 활용한 가축관리서비스인 팜스플랜의 기반 기술로 적용함으로써 지속적으로 축적한 가축의 건강상태 데이터를 기반으로 관리/분석하여 가축의 건강을 관리하는 시스템을 구현할 수 있는 효과가 있다.In addition, according to the present invention, it is possible to implement a system for managing the health of livestock by managing/analyzing it based on the continuously accumulated livestock health status data by applying it as the base technology of Farmsplan, which is a livestock management service using AI. It works.
또한, 본 발명에 따르면, 별도의 가속도 센서, 자이로 센서 등 설비 없이 카메라로부터 취득한 영상만을 이용해 가축행동 인식 및 모니터링을 수행함으로써 적은 비용으로 낙후된 축사설비 시스템 개선이 가능하여 수출입 환경 변화에 대응하는 축산물 가격 경쟁력 강화에 활용 가능한 효과가 있다.In addition, according to the present invention, livestock behavior recognition and monitoring are performed using only the images acquired from the camera without facilities such as a separate acceleration sensor and gyro sensor, so that the outdated livestock facility system can be improved at a low cost, so livestock products responding to changes in the import and export environment There is an effect that can be used to strengthen price competitiveness.
도 1은 본 발명의 일 실시 형태에 따른 딥러닝(deep learning)을 이용한 가축행동 자동인식 및 모니터링 시스템이 적용된 전체 시스템 구성을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템의 상세 구성을 개략적으로 나타낸 블록도이다.
도 3은 도 2에 도시된 가축행동 어노테이션(annotation) 정의 모듈에 있어서 가축행동 어노테이션을 도출하기 위한 도메인 정보 전환을 위한 그래프 노드 카테고리를 예시한 도면이다.
도 4는 도 2에 도시된 가축행동 어노테이션 정의 모듈에 있어서 가축행동 어노테이션을 도출하기 위한 가축행동 도메인의 수준별 그룹핑을 예시한 도면이다.
도 5는 도 4에 도시된 계층적 레이블링 구조에 있어서 "행동" 도메인에 대해 수준별로 그룹핑한 각 활동 어노테이션을 예시한 도면이다.
도 6은 도 2에 도시된 가축행동 어노테이션 정의 모듈에 있어서 가축행동 어노테이션을 도출하기 위한 도메인 정보 계층화를 위해 정의된 계층전 이해수준 구조(Hierarchical structure of Understanding level)을 예시한 도면이다.
도 7은 도 2에 도시된 가축행동 자동 검출 모듈의 기능적 구성을 개략적으로 나타낸 도면이다.
도 8은 도 2에 도시된 가축행동 자동 검출 모듈에 따라 동영상으로부터 가축행동을 인식한 결과를 예시한 도면이다.
도 9는 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템에서 모니터링 기간 동안 동영상에 나타난 한우 행동에 대한 통계를 예시한 도면이다.
도 10은 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템의 동작 과정을 설명하기 위한 흐름도이다.1 is a block diagram schematically showing the configuration of the entire system to which the automatic recognition and monitoring system for animal behavior using deep learning according to an embodiment of the present invention is applied.
2 is a block diagram schematically showing the detailed configuration of a system for automatic recognition and monitoring of livestock behavior using deep learning according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a graph node category for domain information conversion for deriving livestock behavior annotations in the livestock behavior annotation definition module shown in FIG. 2 .
FIG. 4 is a diagram illustrating grouping by level of livestock behavior domains for deriving livestock behavior annotations in the livestock behavior annotation definition module shown in FIG. 2 .
FIG. 5 is a diagram illustrating each activity annotation grouped by level with respect to the "action" domain in the hierarchical labeling structure shown in FIG. 4 .
6 is a diagram illustrating a hierarchical structure of Understanding level defined for hierarchical domain information for deriving livestock behavior annotations in the livestock behavior annotation definition module shown in FIG. 2 .
7 is a diagram schematically showing the functional configuration of the automatic animal behavior detection module shown in FIG. 2 .
8 is a diagram illustrating a result of recognizing a livestock behavior from a video according to the automatic livestock behavior detection module shown in FIG. 2 .
9 is a view illustrating statistics on the behavior of Korean cattle displayed in the video during the monitoring period in the automatic recognition and monitoring system for livestock behavior using deep learning according to an embodiment of the present invention.
10 is a flowchart for explaining the operation process of the automatic recognition and monitoring system for animal behavior using deep learning according to an embodiment of the present invention.
이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In this case, the same components in each drawing are denoted by the same reference numerals as much as possible. In addition, detailed descriptions of already known functions and/or configurations will be omitted. The content disclosed below will focus on parts necessary to understand operations according to various embodiments, and descriptions of elements that may obscure the gist of the description will be omitted. Also, some components in the drawings may be exaggerated, omitted, or schematically illustrated. The size of each component does not fully reflect the actual size, so the contents described herein are not limited by the relative size or spacing of the components drawn in each drawing.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다. In describing the embodiments of the present invention, if it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. And, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification. The terminology used in the detailed description is for the purpose of describing embodiments of the present invention only, and should not be limiting in any way. Unless explicitly used otherwise, expressions in the singular include the meaning of the plural. In this description, expressions such as “comprising” or “comprising” are intended to indicate certain features, numbers, steps, acts, elements, some or a combination thereof, one or more other than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, acts, elements, or any part or combination thereof.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.In addition, terms such as first, second, etc. may be used to describe various components, but the components are not limited by the terms, and the terms are for the purpose of distinguishing one component from other components. is used only as
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예에 대하여 보다 상세하게 설명하고자 한다.Hereinafter, an embodiment of the present invention will be described in more detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시 형태에 따른 딥러닝 기술을 이용한 가축행동 자동인식 및 모니터링 시스템이 적용된 전체 시스템 구성을 개략적으로 나타낸 블록도이다.1 is a block diagram schematically showing the configuration of the entire system to which the automatic recognition and monitoring system for animal behavior using deep learning technology according to an embodiment of the present invention is applied.
도 1을 참조하면, 본 발명의 일 실시 형태에 따른 딥러닝 기술을 이용한 가축행동 자동인식 및 모니터링 시스템이 적용된 전체 시스템은, CCTV 시스템(10) 및 카메라(20)와, 가축행동 자동인식 및 모니터링 시스템(30)과, 사육사 단말(40) 등을 포함하여 구성될 수 있다. 여기서, 가축행동 자동인식 및 모니터링 시스템(30)과 사육사 단말(40)은 통신망을 통해 상호 연결될 수 있다.1, the entire system to which the automatic recognition and monitoring system for livestock behavior using deep learning technology according to an embodiment of the present invention is applied, a
CCTV 시스템(10)은 가축을 촬영하여 동영상을 획득하도록 축사에 설치되며 카메라(11), 영상수집기(12) 및 데이터베이스(13)을 포함하여 구성될 수 있다. 여기서, 카메라(11)는 다수 개일 수 있다. 카메라(11)가 축사를 촬영한 영상을 실시간 영상수집기(12)로 전달하고 영상 수집기(12)는 데이터베이스(13)에 전달된 영상을 저장한다. 이때, 가축행동 자동인식 및 모니터링 시스템(30)은 데이터베이스(13)에 저장된 영상을 실시간으로 획득하여 가축행동 인식 및 모니터링을 수행할 수 있다. The
그리고, 카메라(20)는 축사 내 가축을 촬영할 수 있도록 적절한 위치에 분산 설치되며 다수 개일 수 있다. 이러한 카메라(20)는 설치된 방향의 축사를 촬영하고 촬영된 영상을 실시간으로 가축행동 자동인식 및 모니터링 시스템(30)으로 전달한다. In addition, the
한편, 본 발명에서 카메라(11, 20)는 종류, 명칭, 촬영 방식 등에 한정되지 않으며, RGB 카메라, 적외선 카메라, 열영상 카메라, 뎁스(depth) 카메라 등 영상 촬영이 가능한 장치라면 본 발명에 따른 카메라(11, 20)로 해석되어야 할 것이다.On the other hand, in the present invention, the
그리고, 가축행동 자동인식 및 모니터링 시스템(30)은 CCTV 시스템(10)의 데이터베이스(13)로부터 실시간 획득한 영상 또는 카메라(20)로부터 실시간 전달되는 영상에서 가축의 행동을 자동으로 인식 및 검출하여 저장하고, 저장된 가축행동 데이터에 대한 단기행동 분석 및 장기행동 분석을 수행하여 위험상황 발생 여부를 모니터링하고, 위험상황 발생시 사육사 단말(40)로 경보를 통지할 수 있다. 이로써 사육사로 하여금 위험상황에 대한 실시간 조치가 가능하도록 할 수 있다.And, the livestock behavior automatic recognition and
그리고, 사육사 단말(40)은 위험상황 발생 경보 메시지를 수신하여 표출할 수 있는 단말로, 스마트폰, 음성/영상 전화 통화 가능한 웨어러블 디바이스, 테블릿 PC, 노트북 PC 등 무선 단말을 포함하며, 경우에 따라 데스크탑 PC 기타 통신 전용 단말기 등 유선 단말을 포함할 수 있다. In addition, the
그리고, 통신망은 유/무선 네트워크일 수 있으며, 여기서, 무선 네트워크는 무선 통신을 구축하기 위한 것으로서, 무선랜(Wireless LAN:WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTEA(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등을 적용할 수 있다. 그러나 이에 한정되는 것은 아니며, 무선 통신 기술의 발전에 따라 다양하게 응용 실시할 수 있다. In addition, the communication network may be a wired/wireless network, where the wireless network is for establishing wireless communication, and includes a wireless LAN (WLAN), a Digital Living Network Alliance (DLNA), a Wibro (Wireless Broadband: Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTEA) ), a broadband wireless mobile communication service (Wireless Mobile Broadband Service: WMBS), etc. may be applied. However, the present invention is not limited thereto, and various applications may be made according to the development of wireless communication technology.
상술한 바와 같이, 본 발명의 일 실시 형태에 따른 딥러닝 기술을 이용한 가축행동 자동인식 및 모니터링 시스템을 축사에 적용함으로써 가축행동을 자동으로 모니터링할 수 있다.As described above, livestock behavior can be automatically monitored by applying the automatic recognition and monitoring system for livestock behavior using deep learning technology according to an embodiment of the present invention to a livestock barn.
도 2는 본 발명의 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템의 상세 구성을 개략적으로 나타낸 블록도이다.2 is a block diagram schematically showing a detailed configuration of a system for automatic recognition and monitoring of livestock behavior using deep learning according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템(30)은, 가축행동 어노테이션 정의 모듈(31), 가축행동 자동검출 모듈(32), 가축행동 데이터자장 모듈(33), 가축행동 제1 분석 모듈(34), 가축행동 제2 분석 모듈(35), 가축행동 경보 모듈(36), 통신 모듈(37) 등을 포함하여 구현될 수 있다.2, the automatic livestock behavior recognition and
먼저, 가축행동 어노테이션(annotation) 정의 모듈(31)은 가축행동을 검출하기 위해 사전에 구조적으로 가축행동 어노테이션을 정의하고, 정의된 가축행동 어노테이션 정보를 구비한다. 정의된 가축행동 어노테이션 정보는 이후 영상으로부터 가축행동 자동 검출에 활용된다.First, the livestock behavior
이러한 가축행동 어노테이션 정의 모듈(31)은, 딥러닝에 필요한 가축행동의 유형을 계층적 레이블링(labeling)을 수행하여 가축행동 어노테이션을 정의하되, 이를 위해 먼저, 계층적 이해 수준으로 구조를 정의하고, 정의에 따라 수준별로 어노테이션을 수행하여 가축행동 어노테이션을 도출한다. This livestock behavior
그리고, 가축행동 자동검출 모듈(32)은 가축행동 어노테이션으로 사전 훈련된 딥러닝(Deep Learning) 객체 검출 기술을 이용하여 동영상에서 가축의 행동을 자동으로 검출한다. 즉, 가축행동 자동검출 모듈(32)은 입력받은 가축 영상에 가축행동 어노테이션 기반 딥러닝 특징 추출을 수행하여 가축행동을 검출하고, 검출된 가축행동 데이터를 가축행동 데이터자장 모듈(33)로 전달하여 저장한다.And, the livestock behavior
그리고, 가축행동 데이터저장 모듈(33)은 전달된 가축행동 데이터를 저장한다. 이때 검출된 각 가축행동별로 촬영 시간 정보가 같이 저장된다. 또한, 가축행동 데이터저장 모듈(33)은 가축행동 제1 분석 모듈(34)로부터 전달되는 단기행동 분석 정보 및 가축행동 제2 분석 모듈(35)로부터 전달되는 장기행동 분석 정보를 각각 저장할 수 있다. 이러한 가축행동 데이터저장 모듈(33)은 도시하지는 않았지만, 각 데이터를 저장하기 위한 데이터베이스를 구비할 수 있다.And, the livestock behavior data storage module 33 stores the transmitted livestock behavior data. At this time, information about the shooting time for each detected livestock behavior is stored together. In addition, the livestock behavior data storage module 33 may store short-term behavior analysis information transmitted from the first livestock
그리고, 가축행동 제1 분석 모듈(34)은 가축행동 데이터저장 모듈(33)에 저장된 가축행동 데이터로부터 현재 급박한 위험상황 발생 여부를 실시간으로 분석하는 단기행동 분석을 수행한다. In addition, the first livestock
또한, 가축행동 제1 분석 모듈(34)은 단기행동 분석 결과 위험상황으로 확인되면 사육사에게 경보할 수 있도록 가축행동 경보 모듈(36)에게 경보 요청을 수행한다. 여기서, 경보 요청은 위험상황으로 확인된 단기행동 분석 결과 정보를 적어도 포함할 수 있다.In addition, the first livestock
또한, 가축행동 제1 분석 모듈(33)은 단기행동 분석 후 단기행동 분석 정보를 가축행동 데이터저장 모듈(34)로 전달하여 저장하도록 요청한다.In addition, the first livestock behavior analysis module 33 transmits the short-term behavior analysis information after the short-term behavior analysis to the livestock behavior
그리고, 가축행동 제2 분석 모듈(35)은 장기적으로 저장된 가축행동 데이터를 이용하여 설정된 일정 기간의 시간에 대한 통계 정보를 추출하여 위험상황 발생 여부에 대한 장기행동 분석을 수행하고, 장기행동 분석 결과 위험상황 발생으로 확인되면 사육사 단말로 경보를 수행하도록 가축행동 경보 모듈(36)로 요청할 수 있다. 이때, 가축행동 제2 분석 모듈(35)은 장기행동 분석 결과를 가축행동 데이터저장 모듈(33)로 전달하여 저장하도록 요청한다. Then, the livestock behavior second analysis module 35 extracts statistical information for a set period of time using the livestock behavior data stored in the long term to perform long-term behavior analysis on whether a dangerous situation occurs, and the long-term behavior analysis result If it is confirmed that a dangerous situation has occurred, it may be requested to the livestock behavior alarm module 36 to perform an alarm to the breeder terminal. At this time, the livestock behavior second analysis module 35 transmits the long-term behavior analysis result to the livestock behavior data storage module 33 and requests to be stored.
따라서, 본 발명의 가축행동 제1 분석 모듈(34)은 현재 상황에 대한 단기행동 분석을 통한 단기행동 모니터링을, 가축행동 제2 분석 모듈(35)은 일정 시간 동안의 상황에 대한 장기행동 분석을 통한 장기행동 모니터링을 각각 수행하며, 그 모니터링 결과를 사육자에게 보고할 수 있다. 이때, 가축행동 제1 분석 모듈(34)은 단기행동 모니터링 중 위험상황이 발생하면 이를 바로 사육사에게 경보하도록 요청한다. Therefore, the first livestock
그리고, 가축행동 경보 모듈(36)은 위험상황에 대한 경보 요청이 전달되면, 등록된 사육사 단말(40)로 위험상황으로 확인된 단기행동 분석 결과 정보 또는 장기행동 분석 결과를 적어도 포함하는 경보 메시지를 생성하여 통신 모듈(37)을 통해 전달한다.Then, the livestock behavior alert module 36 sends an alert message including at least short-term behavior analysis result information or long-term behavior analysis result identified as a dangerous situation to the registered
그리고, 통신 모듈(37)은, 유/무선 네트워크를 통해 사육사의 단말(40)로 위험상황 발생 경보 메시지를 송신하며, 장거리의 전송을 위한 중계기를 포함할 수 있다. In addition, the
한편, 도시하지는 않았지만, 출력 모듈을 더 구비할 수 있으며, 사육사의 요청시 가축행동 자동검출 모듈(32)의 검출 결과, 가축행동 제1 분석 모듈(34)의 분석 결과, 가축행동 제2 분석 모듈(35)의 분석 결과 등을 가축행동 데이터저장 모듈(33)로부터 호출하여 표출할 수 있다. On the other hand, although not shown, it may further include an output module, and at the request of the breeder, the detection result of the livestock behavior
상술한 바와 같이 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템은, 가축행동을 계층적 구조의 가축행동 어노테이션으로 정의하고, 정의된 가축행동 어노테이션 기반으로 사전 학습된 딥러닝(CNN)을 이용하여 촬영된 영상으로부터 가축행동을 실시간 인식/검출하고 이에 대한 단기행동/장기행동 분석을 수행함으로써 가축행동을 자동으로 모니터링할 수 있다. As described above, the system for automatic recognition and monitoring of livestock behavior using deep learning according to an embodiment of the present invention defines livestock behavior as a hierarchical structure of livestock behavior annotation, and deep learning based on the defined livestock behavior annotation. Livestock behavior can be automatically monitored by real-time recognition/detection of livestock behavior from images captured using learning (CNN) and short-term behavior/long-term behavior analysis.
다음으로, 도 3 내지 도 6을 참조하여 본 발명의 일 실시 형태에 따른 가축행동 어노테이션 정의 과정에 대해 상세하게 설명하도록 한다.Next, with reference to FIGS. 3 to 6, a process for defining livestock behavior annotations according to an embodiment of the present invention will be described in detail.
먼저, 도 3은 도 2에 도시된 가축행동 어노테이션(annotation) 정의 모듈에 있어서 가축행동 어노테이션을 도출하기 위한 도메인 정보 전환을 위한 그래프 노드 카테고리를 예시한 도면이다. First, FIG. 3 is a diagram illustrating a graph node category for domain information conversion for deriving livestock behavior annotation in the livestock behavior annotation definition module shown in FIG. 2 .
먼저, 가축의 행동을 보다 계층적이고 상하관계적으로 이해하기 위해서는 "행동" 도메인을 정보로 변경하는 구조가 필요하다. 이를 위해 그래프 구조를 사용하여 카테고리로 정리하여 구조화할 수 있다.First, in order to understand the behavior of livestock more hierarchically and hierarchically, a structure that changes the "behavior" domain into information is needed. For this, it can be structured by organizing it into categories using a graph structure.
도 3에 도시된 바와 같이, 본 발명의 일 실시 형태에 따른 가축행동 어노테이션 정의 모듈(31)은, 가축행동 어노테이션 도출하기 위해, "행동"도메인 정보 전환을 위한 그래프 노드 카테고리를 구조화한다. 즉, 가축행동을 동일 수준으로 묶어 서로 그래프로 구조화될 수 있는 상호 연관 구조를 정리할 수 있다. 이러한 방법을 사용하여 가축의 "행동" 도메인 정보를 그래프로 전화하여 이를 구조화할 수 있다.As shown in FIG. 3 , the livestock behavior
도 3의 예시와 같이, 가축 행동 이해를 표현하기 위한 그래프에서는 필요한 상황정보 또는 검출대상을 그래프의 기본 노드 카테고리들로 정의하고 이들의 관계를 정의할 수 있다. 정의된 그래프의 전체 또는 부분의 그래프 요소들이 정해진 수준별 이해 목표 달성을 위해 선택적으로 사용될 수 있다.As in the example of FIG. 3 , in a graph for expressing understanding of livestock behavior, necessary context information or detection targets may be defined as basic node categories of the graph, and their relationship may be defined. All or part of the graph elements of the defined graph may be selectively used to achieve the understanding goal for each level determined.
본 발명의 실시예에 있어서, 그래프의 기본 노드 카테고리는 상호작용, 농장위치, 조명, 증상, 부분행동, 행동, 활동, 비디오장면 등을 포함할 수 있다. 상호작용은 인가-가축, 가축-가축, 가축-객체 등을 동일 수준으로 묶으며, 농장위치는 우리, 사료, 음료수, 벽 등을 동일 수준으로 묶으며, 조명은 낮, 밤, 밝음, 어두움 등을 동일 수준으로 묶으며, 증상은 조용함, 스트레스를 받음, 피곤함, 불규칙적임, 시끄러움, 공격적임 등을 동일 수준으로 묶고, 부분행동은 머리움직임, 꼬리움직임 등을 동일 수준으로 묶고, 행동은 걷기, 잠자기, 휴식, 서기, 먹기 등을 동일 수준으로 묶고, 활동은 싸움, 먹이주기(feeding), 걷기, 휴식, 서기, 먹기, 꼬리움직임 등을 동일 수준으로 묶고, 비디오 장면은 정상, 비정상, 응급, 경보 등을 동일 수준으로 묶어 카테고리를 형성할 수 있다. In an embodiment of the present invention, the basic node categories of the graph may include interaction, farm location, lighting, symptom, partial action, action, activity, video scene, and the like. Interaction groups human-livestock, livestock-livestock, livestock-object, etc. at the same level, farm location groups cages, feed, drink, and walls at the same level, and lighting is day, night, bright, dark, etc. are grouped at the same level, symptoms are grouped at the same level as quiet, stressed, tired, irregular, noisy, aggressive, etc., and partial actions include head and tail movements at the same level, and behaviors include walking, Sleeping, resting, standing, eating, etc. are grouped at the same level, and activities are grouped at the same level as fighting, feeding, walking, resting, standing, eating, tail motion, etc., and the video scene is normal, abnormal, emergency, A category can be formed by grouping alarms and the like at the same level.
도 4는 도 2에 도시된 가축행동 어노테이션 정의 모듈에 있어서 가축행동 어노테이션을 도출하기 위한 가축행동 도메인의 수준별 그룹핑을 예시한 도면이다.FIG. 4 is a diagram illustrating grouping by level of livestock behavior domains for deriving livestock behavior annotations in the livestock behavior annotation definition module shown in FIG. 2 .
본 발명의 실시예에 따른 가축행동 어노테이션 정의 모듈(31)에서, 도 3에 도시된 그래프와 같이 구조화된 상호 연관 정보와 함께 "행동" 도메인을 수준별로 구분하여 "부위별 행동(part action)", "단순 행동(individual action)", "그룹 행동(group action)"으로, 하위에서 상위로 계층적 이해 수준으로 매핑하여 이에 대응하는 계층적 레이블링 구조를 도 4와 같이 설계한다. In the livestock behavior
도 4에 도시된 바와 같이, 반추(ruminating), 꼬리 흔들기(moving tail), 머리 흔들기(moving head)의 하위 수준을 묶어 "부위별 행동(part action)"의 상위 수준에 매핑하고, 걷기(walking), 서기(standing), 휴식(resting), 잠자기(sleeping), 먹기(eating), 일어서기(standing up), 눕기(lying down), 자기손질(self-grooming)의 하위 수준을 묶어 "단순 행동(individual action)"의 상위 수준에 매핑하고, 싸움(fighting), 사회적 핥기(social licking), 올라타기(mounting), 젖먹이기(feeding)의 하위 수준을 묶어 "그룹 행동(group action)"의 상위 수준에 매핑하여 가축(소)행동에 대한 계층적 레이블링 구조를 설계한다. As shown in FIG. 4 , the lower levels of ruminating, moving tail, and moving head are bundled and mapped to the upper level of “part action”, and walking ), standing, resting, sleeping, eating, standing up, lying down, and self-grooming Mapping to a higher level of “individual action” and grouping the lower levels of fighting, social licking, mounting, and feeding together to a higher level of “group action” Design a hierarchical labeling structure for livestock (cow) behavior by mapping to levels.
도 5는 도 4에 도시된 계층적 레이블링 구조에 있어서 "행동" 도메인에 대해 수준별로 그룹핑한 각 행동 어노테이션을 예시한 도면이다.FIG. 5 is a diagram illustrating each behavior annotation grouped by level with respect to the "behavior" domain in the hierarchical labeling structure shown in FIG. 4 .
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 가축행동 어노테이션 정의 모듈(31)에서, 도 4와 같이 설계된 계층적 레이블링 구조에 해당하는 소의 행동을 동영상으로부터 검출하여 각 동작에 어노테이션을 수행한다. As shown in FIG. 5 , in the livestock behavior
도 6은 도 2에 도시된 가축행동 어노테이션 정의 모듈에 있어서 가축행동 어노테이션을 도출하기 위한 도메인 정보 계층화를 위해 정의된 계층전 이해수준 구조(Hierarchical structure of Understanding level)를 예시한 도면이다.FIG. 6 is a diagram illustrating a hierarchical structure of Understanding level defined for hierarchical domain information for deriving livestock behavior annotations in the livestock behavior annotation definition module shown in FIG. 2 .
도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 가축행동 어노테이션 정의 모듈(31)에서, 그래프로 전환된 도메인 정보의 계층화를 위해 "계층적 이해수준 구조(Hierarchical structure of Understanding level)"를 정의한다.As shown in FIG. 6 , in the livestock behavior
도 6을 참조하면, 계층적 레이블링(labeling)을 통한 이해수준 구조는 행동을 특정 부위만 검출하는 "부위별 행동 수준(Object Part Action)", 개별 객체의 행동을 검출하는 "단순 행동 수준(Individual Object Action)", 객체와 객체끼리, 또는 일정 그룹의 객체들이 상호 연관된 행동을 수행하는 "복합행동(그룹/상호작용 행동, Group/Interaction Activity)"으로 계층화되고, 상위 수준으로 동영상 전반을 이해하는 계층을 포함한다.Referring to FIG. 6 , the understanding level structure through hierarchical labeling includes “Object Part Action” that detects only a specific part of the behavior, and “Individual” that detects the behavior of an individual object. Object Action)”, “composite action (group/interaction action, Group/Interaction Activity)” in which objects and objects, or a group of objects, perform interrelated actions includes layers.
도 7은 도 2에 도시된 가축행동 자동 검출 모듈의 기능적 구성을 개략적으로 나타낸 도면이다.7 is a diagram schematically showing the functional configuration of the automatic animal behavior detection module shown in FIG. 2 .
도 7을 참조하면, 본 발명의 일 실시예에 따른 가축행동 자동 검출 모듈(32)은, CNN(Convolutional Neural Network) 기반 딥러닝(deep learning)을 이용해 사전에 정의된 어노테이션으로 학습한 가축행동을 동영상으로부터 검출한다. Referring to Figure 7, the livestock behavior
이러한 가축행동 자동 검출 모듈(32)은, 플로우 동영상 생성기(321), 외형 특징 추출기(322), ROI 프레임 레벨 검출기(323), 움직임 특징 추출기(324), 최종 프레임 생성기(325) 등을 포함하여 구현될 수 있다. 여기서, 가축행동 검출을 위한 입력 영상으로 실시간 촬영된 동영상과, 동영상의 현재 프레임과 직전 프레임을 사용하여 만들어진 플로우(flow) 동영상이 함께 사용되며, 동영상은 외형 특징 추출기(322)와 ROI 프레임 레벨 검출기(323)로, 플로우 동영상은 움직임 특징 추출기(324)로 입력된다. This automatic livestock
먼저, 동영상이 입력되면, 플로우 동영상 생성기(321)는 입력된 동영상의 현재 프레임과 직전 프레임의 2개 프레임을 비교하여 움직임이 있는 영역을 표시하여 플로우 동영상을 생성하고, 생성된 플로우 동영상을 움직임 특징 추출기(324)로 전달한다.First, when a video is input, the
그리고, 외형 특징 추출기(322)는 객체의 외형 특징을 추출하고, 이후, ROI 프레임 레벨 검출기(323)로부터 전달되는 객체 정보(ROI 정보)와 객체의 외형 특징을 결합하는 ROI 풀링(ROI Pooling)을 수행한다. 또한, 외형 특징 추출기(322)는 ROI 풀링 후 T'×H'×W'×C의 3차원 특징 맵을 추출하고 평균 풀링(Avg. Pooling)을 수행하여 H'×W'×C의 2차원 특징 맵을 추출한다. Then, the
그리고, ROI 프레임 레벨 검출기(323)는 가축행동 어노테이션으로 사전 학습된 딥 CNN(deep CNN)을 기반으로 객체 탐지를 수행하며, 예를 들면, YOLOv3 등이 사용되도록 구현될 수 있으며, 입력된 동영상에서 YOLOv3를 적용하여 소의 시각적 모습을 바탕으로 특정 행동을 포함하는 ROI를 검출하며, 검출된 객체의 ROI를 외형 특징 추출기(322)와 움직임 특징 추출기(324)에 각각 전달하여 각 특징 추출기(322, 324)가 검출된 객체 ROI와 추출된 객체의 외형 및 움직임 특징과 결합하도록 한다. 여기서, 객체 ROI는 비디오에서 추출한 키프레임을 사용하여 획득된다. And, the ROI
이러한 ROI 프레임 레벨 검출기(323)는 가축행동 어노테이션에 기반한 딥러닝 훈련을 수행하여 객체 검출에 있어서 분류 및 위치화를 위한 학습 훈련은 손실 함수를 최소화하는 것을 목표로 한다. 훈련 손실은 위치정보 손실함수와 클래스정보 손실함수로 구성된다.The ROI
위치함수 손실함수는 수학식 1과 같다. The position function loss function is as in Equation 1.
[수학식1][Equation 1]
위치함수 손실함수는 각 프레임의 전체 영상 영역에서 실제 x 위치와 예측된 x의 위치(
또한, 클래스정보의 손실함수는 수학식 2와 같다. In addition, the loss function of the class information is as shown in Equation (2).
[수학식 2][Equation 2]
여기서, 
클래스정보 손실함수의 셀(cell)은 딥러닝 결과인 특징(Feature)을 몇 개의 경계상자(bounding box)로 나눈 것을 말한다. 클래스정보 손실함수는 3개의 부분식으로 이루어지는데, 첫번째 식은 객체에 포함된 셀(i)에서의 원래와 예측된 객체의 신뢰도(confidence score)를 나타내며, 두번째 식은 해당 셀(i)이 객체를 포함하지 않을 경우의 원래와 예측된 객체의 신뢰도(confidence score)를 나타내고, 세번째 식은 객체별 원래의 클래스 확률값과 예측 클래스의 확률값 차이를 나타낸다. The cell of the class information loss function refers to a feature that is a result of deep learning divided into several bounding boxes. The class information loss function consists of three sub-expressions. The first expression indicates the confidence score of the original and predicted object in the cell (i) included in the object, and the second expression is the cell (i) contains the object. In the case of not doing so, the confidence score of the original and predicted object is shown, and the third expression represents the difference between the original class probability value and the predicted class probability value for each object.
결론적으로, 딥러닝 훈련은 총 손실을 최소화하기 위한 것이며, 최종 손실함수는 수학식 3과 같이 위 두 수학식의 합이 된다.In conclusion, deep learning training is to minimize the total loss, and the final loss function is the sum of the above two equations as in Equation 3.
[수학식3][Equation 3]
그리고, 움직임 특징 추출기(324)는 객체의 움직임 특징을 추출하고, 이후, ROI 프레임 레벨 검출기(323)로부터 전달되는 객체 정보(ROI)와 객체의 움직임 특징을 결합(ROI Pooling)한다. 또한, 움직임 특징 추출기(324)는 ROI 풀링 후 T'×H'×W'×C의 3차원 특징 맵을 추출하고 평균 풀링(Avg. Pooling)을 수행하여 H'×W'×C의 2차원 특징 맵을 추출한다. Then, the
그리고, 최종 프레임 생성기(325)는, 외형 특징 추출기(322)의 영상과 움직임 특징 추출기(324)의 영상을 종합하고, 영상에 클래스 신뢰점수(class confidence score)를 고려하여 경계상자(Bounding Box)가 표시되도록 출력한다. Then, the
이와 같이 각 특징 추출기(322, 324)는 2개의 풀링(Pooling)을 사용하여 정보를 종합하고 이후, 최종 프레임 생성기(325)에서 해당 영상에 경계상자(Bounding Box)(좌표), Class 정보(행동 유형) 등의 정보가 표시되도록 가축행동 어노테이션을 수행하여 출력하게 된다.In this way, each
이하, 도 8 및 도 9를 참조하여 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템을 동영상에 실제 적용하여 가축행동을 인식 및 검출한 결과를 살펴보도록 한다.Hereinafter, with reference to FIGS. 8 and 9, the results of recognizing and detecting livestock behavior by actually applying the system for automatic recognition and monitoring of livestock behavior using deep learning according to an embodiment of the present invention to a video will be described.
먼저, 도 8은 도 2에 도시된 가축행동 자동 검출 모듈에 따라 동영상으로부터 가축행동을 인식한 결과를 예시한 도면으로, (a), (b), (c) 및 (d)는 주간 환경을, (c), (f) 및 (g)는 야간 환경을 각각 나타낸다. 여기서, 실험 영상은 한우를 대상으로 다른 축산농가에서 하루 중 다른 시간대에 수집된 비디오이며, 수집된 비디오에서 다양한 유형의 환경(낮, 밤), 즉, 하루 중 다른 시간대에 한우의 행동이 어떻게 다른지에 대한 가축행동 인식을 수행하였고, 각 색상 라벨은 서로 다른 활동을 의미한다. First, FIG. 8 is a view illustrating the result of recognizing livestock behavior from a video according to the automatic livestock behavior detection module shown in FIG. 2 , (a), (b), (c) and (d) are the daytime environment , (c), (f) and (g) represent the nighttime environment, respectively. Here, the experimental video is a video collected from different livestock farms at different times of the day for Korean cattle, and the collected videos show how the behavior of Korean cattle is different in various types of environments (day and night), that is, at different times of the day. Livestock behavior recognition was performed on the animals, and each color label means a different activity.
도 8의 (a) 내지 (g)를 참조하면, 비디오의 연속적인 프레임에서 소 행동 인식의 몇 가지 예를 보여준다. Referring to (a) to (g) of FIG. 8 , some examples of cow behavior recognition in successive frames of a video are shown.
즉, 낮에는 도 8의 (a), (b), (d) 및 (e)에 도시된 바와 같이, 소는 주로 서 있고, 걷고, 먹고, 자기 손질하는 등 더 많은 동작이 필요한 행동을 한다. 또한, 어떤 경우에는 싸움, 사회적 핥기, 먹이기 등의 집단 행동도 감지된다.That is, during the day, as shown in (a), (b), (d) and (e) of FIG. 8 , the cow mainly stands, walks, eats, and takes actions that require more motion, such as grooming themselves. . In some cases, group behaviors such as fighting, social licking, and feeding are also detected.
반면에, 밤에는 도 8의 (c), (f) 및 (g)에 도시된 바와 같이, 소는 일반적으로 휴식, 수면, 반추, 그리고 때때로 밤에 서 있는 것과 같은 더 차분한 행동을 보인다. On the other hand, at night, as shown in Figs. 8(c), (f) and (g), cows generally show more calm behavior such as resting, sleeping, rumination, and sometimes standing at night.
다음으로, 도 9는 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템에서 모니터링 기간 동안 동영상에 나타난 한우 행동에 대한 통계를 예시한 도면으로, 도 8에 활용된 동영상의 통계이며, (a), (b), (c) 및 (d)는 주간 환경에서, (c), (f) 및 (g)는 야간 환경에서 해당 동영상에서 발견된 가장 많이 수행된 활동에 대한 통계를 각각 제시한다.Next, FIG. 9 is a view illustrating statistics on the behavior of Korean cattle displayed in the video during the monitoring period in the automatic recognition and monitoring system for livestock behavior using deep learning according to an embodiment of the present invention. statistics, where (a), (b), (c) and (d) are in the daytime environment, and (c), (f) and (g) are the most performed activities found in the video in the night environment. Each statistic is presented.
따라서, 도 8 및 도 9에 도시된 바와 같이, 소의 행동은 특정 기간(시간대)과 강하게 관련이 있는 것을 확인할 수 있다. 즉, 소가 낮에는 더 활발한 활동을 하고 밤에는 대부분 수동적인 활동을 한다는 것이다. Accordingly, as shown in FIGS. 8 and 9 , it can be confirmed that the behavior of cattle is strongly related to a specific period (time zone). This means that cows are more active during the day and mostly passive at night.
또한, 소는 서 있거나 걷거나 쉬는 등의 독립적인 활동을 하는데, 특정 상황에서 소는 장면의 조건에 따라 몇 가지 일반적인 반응을 보일 수 있다. 예를 들어, 먹이를 먹을 때 모든 소들은 먹이를 얻기 위해 먹이 근처에 줄을 서고 인간이나 어떤 특정한 소리가 있을 때 경계를 늦추지 않는다. Cows also engage in independent activities such as standing, walking, and resting, and in certain situations they may exhibit some general reactions depending on the conditions of the scene. For example, when feeding, all cows line up near the prey to get it and remain alert when there is a human or certain specific sound.
반면, 야간에는 대부분 소들이 주로 쉬고 자면서 수동적인 행동을 보인다. 이러한 표현을 통해 특정 시간 동안 현장에서 발생하는 소의 특정 행동을 모니터링할 수 있을 뿐만 아니라 농민들이 상황을 통제할 수 있도록 할 수 있다. On the other hand, at night, most cows show passive behavior while resting and sleeping. Such representations allow not only to monitor specific behaviors of cattle occurring on the site during specific times, but also to give farmers control over the situation.
도 10은 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템의 동작 과정을 설명하기 위한 흐름도이다.10 is a flowchart for explaining the operation process of the automatic recognition and monitoring system for animal behavior using deep learning according to an embodiment of the present invention.
도 10을 참조하면, 먼저, 본 발명의 일 실시 형태에 따른 가축행동 자동인식 및 모니터링 시스템은 가축행동 어노테이션 정의를 미리 수행한다(S100). 가축행동 어노테이션은, 가축행동의 유형에 대한 계층적 레이블링 구조화를 통해 수준별로 가축행동이 정의된 것으로, 부위별 행동(part action)은 반추(Ruminating), 꼬리 흔들기(Moving tail), 머리 흔들기(Moving head)를 적어도 포함하며, 단순 행동(individual action)은 걷기(Walking), 서기(Standing), 휴식(Resting), 잠자기(Sleeping), 먹기(Eating), 일어서기(Standing up), 눕기(Lying down), 자기손질(Self-grooming)을 적어도 포함하며, 그룹행동(group action)은 싸움(Fighting), 사회적 핥기(Social licking), 올라타기(Mounting), 젖먹이기(Feeding)를 적어도 포함한다.Referring to FIG. 10 , first, the livestock behavior automatic recognition and monitoring system according to an embodiment of the present invention performs the livestock behavior annotation definition in advance (S100). Livestock behavior annotation defines livestock behavior by level through hierarchical labeling structure for types of livestock behavior. Part actions include Ruminating, Moving tail, and Moving head. head), and individual actions are Walking, Standing, Resting, Sleeping, Eating, Standing up, Lying down. ), at least self-grooming, and group action includes at least fighting, social licking, mounting, and feeding.
여기서, 가축행동 어노테이션을 정의하는 단계(S100)는, 가축의 행동 도메인 정보를 그래프 구조로 전환하되, 가축행동과 관련된 상황정보 또는 검출대상을 그래프의 기본 노드들로 정의하는 단계, 각 노드들 간 상호 연관 관계를 정의하여 그래프 노드 구조를 구조화하고, 구조화된 노드 구조를 사용하여 카테고리로 정리하는 단계, 가축의 행동 도메인 정보를 수준별로 구분하여 부위별 행동(part action), 단순 행동(individual action), 그룹행동(group action)으로 하위에서 상위로 계층적 이해 수준으로 매핑하여 계층적 레이블링 구조를 설계하는 단계, 설계된 계층적 레이블링 구조를 통해 객체의 행동을 특정 부위만 검출하는 부위별 행동 수준(object part action), 개별 객체의 행동을 검출하는 단순 행동 수준(individual obuect action), 객체와 객체 사이, 또는 일정 그룹의 객체들이 상호 연관된 행동을 수행하는 복합 행동(그룹/상호작용 행동, group/interacion activity)으로 행동 유형을 계층화한 계층적 이해 수준 구조를 정의하고, 정의된 계층적 이해 수준 구조에 따라 수준별로 가축행동 유형에 대한 어노테이션을 도출하는 단계를 포함하도록 구현될 수 있다.Here, the step of defining the livestock behavior annotation (S100) is a step of converting the behavior domain information of the livestock into a graph structure, but defining the situation information or detection target related to the livestock behavior as basic nodes of the graph, between each node Structuring the graph node structure by defining the interrelationship, arranging it into categories using the structured node structure, classifying the behavior domain information of livestock by level to perform part action, individual action , designing a hierarchical labeling structure by mapping from lower to upper hierarchical level of understanding as a group action part action), a simple action level that detects the behavior of an individual object (individual obuect action), or a complex action (group/interac ) can be implemented to define a hierarchical understanding level structure in which behavior types are layered, and to include the step of deriving annotations for livestock behavior types by level according to the defined hierarchical understanding level structure.
이후, 동영상이 입력되면, 가축행동 어노테이션을 기반으로 학습된 딥러닝을 이용하여 입력된 동영상으로부터 가축행동을 자동으로 검출한다(S110).Thereafter, when a video is input, livestock behavior is automatically detected from the input video using deep learning learned based on the livestock behavior annotation (S110).
여기서, 입력되는 동영상으로부터 가축행동을 자동으로 검출하는 단계(S110)는, 입력되는 동영상의 현재 프레임과 직전 프레임을 비교하여 움직임이 있는 영역을 표시한 플로우 동영상을 생성하는 단계, 입력되는 동영상으로부터 외형 특징을 추출하는 단계, 생성된 플로우 동영상으로부터 움직임 특징을 추출하는 단계, 입력되는 동영상으로부터 객체를 추출하여 해당 객체의 ROI를 검출하는 단계, 추출된 외형 특징 및 움직임 특징에 각각 검출된 ROI 풀링(pooling)을 수행한 후 평균 풀링(pooling)을 수행하여 종합하는 단계 및 종합된 영상에 경계상자(bounding box) 및 클래스를 표출하는 단계를 포함하도록 구현될 수 있다.Here, the step of automatically detecting livestock behavior from the input video (S110) is a step of comparing the current frame of the input video with the previous frame to generate a flow video indicating the area in which there is movement, and the appearance from the input video Extracting features, extracting motion features from the generated flow video, extracting an object from an input video to detect an ROI of the object, pooling the ROIs detected on the extracted appearance features and motion features, respectively ), and then performing average pooling to synthesize it, and to express a bounding box and class in the synthesized image.
그런 다음, 검출된 가축행동 데이터를 저장하고(S120), 저장된 가축행동 데이터의 단기행동 분석을 수행하고, 단기행동 분석 결과를 이용해 위험상황 발생 여부를 확인한다(S130).Then, the detected livestock behavior data is stored (S120), short-term behavior analysis of the stored livestock behavior data is performed, and the occurrence of a dangerous situation is checked using the short-term behavior analysis result (S130).
이어서, 단기행동 분석 결과, 위험상황 발생으로 확인되면 사육사 단말로 경보 요청을 수행하고(S150), 단기행동 분석 결과를 저장한다(S170).Next, if it is confirmed that a dangerous situation has occurred as a result of the short-term behavior analysis, an alert request is made to the zookeeper terminal (S150), and the short-term behavior analysis result is stored (S170).
이후, 위험상황 발생 정보가 적어도 포함된 위험상황 발생 경보 메시지를 생성하여 사육사 단말로 경보를 수행한다(S160). Thereafter, a dangerous situation occurrence warning message including at least dangerous situation occurrence information is generated and an alarm is performed to the zookeeper terminal (S160).
한편, 설정된 일정 기간의 시간 동안 저장된 가축행동 데이터를 요청하고, 일정 기간의 시간 동안 저장된 가축행동 데이터에 대한 통계 정보를 추출하는 장기행동 분석을 수행하고, 장기행동 분석 결과를 이용해 위험상황 발생 여부를 확인한다(S140). On the other hand, it requests livestock behavior data stored for a set period of time, performs long-term behavior analysis to extract statistical information about livestock behavior data stored for a period of time, and uses the results of long-term behavior analysis to determine whether a dangerous situation occurs. Confirm (S140).
그런 다음, 장기행동 분석 결과, 위험상황 발생으로 확인되면, 사육사 단말로 경보 요청을 수행하고(S150), 장기행동 분석 결과를 저장한다(S170). Then, as a result of the long-term behavior analysis, if it is confirmed that a dangerous situation occurs, an alarm request is made to the zookeeper terminal (S150), and the long-term behavior analysis result is stored (S170).
이어서, 위험상황 발생 정보가 적어도 포함된 위험상황 발생 경보 메시지를 생성하여 사육사 단말로 경보를 수행한다(S160). Next, a dangerous situation occurrence warning message including at least dangerous situation occurrence information is generated and an alarm is performed to the zookeeper terminal (S160).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
10. CCTV 시스템 20. 카메라
30. 가축행동 자동인식 모니터링 시스템
31. 가축행동 어노테이션 정의 모듈 32. 가축행동 자동검출 모듈
33. 가축행동 데이터저장 모듈 34. 가축행동 제1 분석 모듈
35. 가축행동 제2 분석 모듈 36. 가축행동 경보 모듈
37. 통신 모듈 40. 사육사 단말10.
30. Livestock behavior automatic recognition monitoring system
31. Livestock behavior
33. Livestock behavior
35. Livestock behavior second analysis module 36. Livestock behavior alert module
37.
Claims (10)
실시간 입력되는 동영상을, 상기 가축행동 어노테이션에 기반으로 사전 학습된 딥러닝을 이용하여 가축행동을 검출하는 가축행동 자동검출 모듈;
검출된 가축행동 데이터와 상기 동영상이 입력된 시간정보를 함께 저장하는 가축행동 데이터 저장 모듈;
저장된 가축행동 데이터의 현재 위험상황 여부를 분석하는 단기행동 모니터링을 수행하고, 단기행동 모니터링 결과 위험상황 발생으로 확인되면 등록된 사육사 단말로 위험상황 발생 경보를 전달하도록 요청하는 가축행동 제1 분석 모듈;
설정된 일정 기간의 시간 동안의 저장된 가축행동 데이터에 대한 통계 정보를 분석하는 장기행동 모니터링을 수행하고, 장기행동 모니터링 결과 위험상황 발생으로 확인되면 등록된 사육사 단말로 위험상황 발생 경보를 전달하도록 요청하는 가축행동 제2 분석 모듈;
상기 위험상황 발생 경보의 전달 요청이 수신되면, 등록된 사육사 단말로 위험상황 발생 경보 메시지를 생성하여 전달하는 가축행동 경보 모듈; 및
생성된 위험상황 발생 경보 메시지가 상기 등록된 사육사 단말로 전송되도록 하는 통신 모듈;을 포함하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템.Livestock behavior annotation definition module for defining livestock behavior annotations by performing hierarchical labeling on types of livestock behavior;
An automatic livestock behavior detection module for detecting livestock behavior using deep learning pre-learned based on the livestock behavior annotation based on the video input in real time;
a livestock behavior data storage module for storing the detected livestock behavior data and time information at which the video is input;
a first analysis module for livestock behavior that performs short-term behavior monitoring to analyze the current dangerous situation of the stored livestock behavior data, and requests to transmit a dangerous situation occurrence alert to the registered breeder terminal when it is confirmed that a dangerous situation occurs as a result of the short-term behavior monitoring;
Long-term behavior monitoring that analyzes statistical information on stored livestock behavior data for a set period of time is performed, and if it is confirmed that a dangerous situation has occurred as a result of long-term behavior monitoring, livestock requesting to deliver a dangerous situation occurrence alert to the registered breeder terminal behavior second analysis module;
a livestock behavior warning module for generating and delivering a dangerous situation occurrence warning message to a registered breeder terminal when the transmission request of the dangerous situation occurrence warning is received; and
A system for automatic recognition and monitoring of livestock behavior using deep learning, including a communication module that transmits the generated dangerous situation occurrence warning message to the registered breeder terminal.
상기 가축행동 자동검출 모듈은, 상기 입력된 동영상의 현재 프레임과 직전 프레임을 비교하여 움직임이 있는 영역을 표시한 플로우 동영상을 생성하고, 상기 입력된 동영상으로부터 외형 특징을 추출하는 동시에 객체를 추출하여 해당 객체의 ROI를 검출하고, 생성된 플로우 동영상으로부터 움직임 특징을 추출하며, 추출된 외형 특징 및 움직임 특징에 각각 ROI 풀링을 수행한 후 평균 풀링을 수행하여 종합하고 종합된 영상에 경계상자(bounding box) 및 클래스를 표출하는 것을 특징으로 하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템. The method of claim 1,
The livestock behavior automatic detection module compares the current frame and the previous frame of the input video to generate a flow video indicating a movement area, extracts appearance features from the input video, and simultaneously extracts an object Detect the ROI of an object, extract motion features from the generated flow video, perform ROI pooling on the extracted external features and motion features, respectively, and then perform average pooling to synthesize and create a bounding box on the synthesized image And livestock behavior automatic recognition and monitoring system using deep learning, characterized in that for expressing the class.
상기 가축행동 자동검출 모듈은, 정의된 가축행동 어노테이션을 이용하여 사전 훈련을 수행한 딥러닝(CNN)을 사용하여 가축행동을 검출하며, 사전 훈련된 딥러닝 특징 추출에 따른 가축행동 검출결과의 훈련손실을 최소화하기 위한 손실함수는 위치정보 손실함수와 클래스정보 손실함수의 합으로 산출되며, 위치정보 손실 함수는 수학식 (1)을 통해 산출되며, 클래스 정보 손실함수는 수학식 (2)을 통해 산출되는 것을 특징으로 하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템.
(여기서, x는 영상 영역에서 실제 위치를,
The livestock behavior automatic detection module detects livestock behavior using deep learning (CNN) that has been pre-trained using the defined livestock behavior annotation, and training of the livestock behavior detection result according to the pre-trained deep learning feature extraction The loss function for minimizing the loss is calculated as the sum of the location information loss function and the class information loss function, the location information loss function is calculated through Equation (1), and the class information loss function is calculated through Equation (2) Livestock behavior automatic recognition and monitoring system using deep learning, characterized in that calculated.
(where x is the actual position in the image area,
상기 가축행동 제1 분석 모듈은, 단기행동 모니터링 결과를 상기 가축행동 데이터 저장 모듈로 전달하여 저장을 요청하고,
상기 가축행동 제2 분석 모듈은, 장기행동 모니터링 결과를 상기 가축행동 데이터 저장 모듈로 전달하여 저장을 요청하는 것을 특징으로 하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템. The method of claim 1,
The first livestock behavior analysis module transmits the short-term behavior monitoring result to the livestock behavior data storage module to request storage,
The livestock behavior second analysis module transmits the long-term behavior monitoring result to the livestock behavior data storage module to request storage.
정의된 가축행동 어노테이션을 기반으로 사전 학습된 딥러닝을 이용하여 입력되는 동영상으로부터 가축행동을 자동 검출하여 저장하는 단계;
저장된 가축행동 데이터에 대한 현재 위험상황 발생 여부를 분석하는 단기행동 모니터링을 수행하거나, 저장된 가축행동 데이터 중 설정된 일정 기간의 시간 동안 저장된 가축행동 데이터를 추출하고, 상기 설정된 일정 기간의 시간 동안 저장된 가축행동 데이터에 대한 통계 정보를 추출하여 위험상황 발생 여부를 분석하는 장기행동 모니터링을 수행하는 단계;
상기 단기행동 모니터링 수행 결과, 현재 위험상황 발생이 확인되면 등록된 사육사 단말로 상기 위험상황 발생 정보를 적어도 포함하는 경보 메시지를 생성하여 전달하는 단계; 및
상기 장기행동 모니터링 수행 결과, 위험상황 발생이 확인되면, 등록된 사육사 단말로 상기 위험상황 발생 정보를 적어도 포함하는 경보 메시지를 생성하여 전달하는 단계;를 포함하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 방법.defining livestock behavior annotations by performing hierarchical labeling on the types of livestock behavior;
automatically detecting and storing livestock behavior from an input video using pre-learned deep learning based on the defined livestock behavior annotation;
Short-term behavior monitoring is performed to analyze whether a current dangerous situation occurs on the stored livestock behavior data, or livestock behavior data stored for a set period of time is extracted from the stored livestock behavior data, and the livestock behavior stored for the set period of time performing long-term behavior monitoring to analyze whether a dangerous situation has occurred by extracting statistical information about the data;
generating and delivering an alarm message including at least the dangerous situation occurrence information to a registered zookeeper terminal when it is confirmed that a current dangerous situation has occurred as a result of the short-term behavior monitoring; and
Automatic recognition and monitoring of livestock behavior using deep learning including; as a result of performing the long-term behavior monitoring, when it is confirmed that a dangerous situation occurs, generating and delivering an alarm message including at least the dangerous situation occurrence information to a registered breeder terminal Way.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210007173A KR102396999B1 (en) | 2021-01-19 | 2021-01-19 | Cattle behavior automatic recognition and the monitoring system using the deep learning and method thereof |
| PCT/KR2021/011439 WO2022158674A1 (en) | 2021-01-19 | 2021-08-26 | System and method for automatically recognizing and monitoring livestock behavior by using deep learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210007173A KR102396999B1 (en) | 2021-01-19 | 2021-01-19 | Cattle behavior automatic recognition and the monitoring system using the deep learning and method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102396999B1 true KR102396999B1 (en) | 2022-05-16 |
Family
ID=81799395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210007173A KR102396999B1 (en) | 2021-01-19 | 2021-01-19 | Cattle behavior automatic recognition and the monitoring system using the deep learning and method thereof |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102396999B1 (en) |
| WO (1) | WO2022158674A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102584357B1 (en) | 2022-12-12 | 2023-10-12 | 주식회사 리얼팜 | Apparatus for identifying a livestock using a pattern, and system for classifying livestock behavior pattern based on images using the apparatus and method thereof |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116013502A (en) * | 2022-12-16 | 2023-04-25 | 河北农业大学 | Initial detection method for sheep diseases |
| CN116596167B (en) * | 2023-07-17 | 2023-09-19 | 湖南华牧全安数字科技有限公司 | Livestock breeding scheme optimization method based on data deep fusion processing |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120012069A1 (en) * | 2007-06-22 | 2012-01-19 | Southfork Solutions, Inc. | Method and apparatus for improved monitoring and managing of livestock |
| KR101595764B1 (en) | 2014-04-14 | 2016-02-22 | 재단법인대구경북과학기술원 | Method for tracking animal and apparatus thereof |
| JP2018099098A (en) * | 2016-12-21 | 2018-06-28 | 株式会社エイビット | Grazing system of livestock |
| KR20190046163A (en) * | 2017-10-25 | 2019-05-07 | 엘지이노텍 주식회사 | Farm management apparatus and method |
| KR20190139808A (en) * | 2019-12-04 | 2019-12-18 | 주식회사 블루비즈 | A behavior pattern abnormality discrimination system and method for providing the same |
| KR20200057405A (en) * | 2018-11-16 | 2020-05-26 | 주식회사 드림테크 | Cow's Signs Detection System based on the Internet of Things |
| JP2021144631A (en) * | 2020-03-13 | 2021-09-24 | エヌ・ティ・ティ・ビズリンク株式会社 | Animal behavior estimation system, animal behavior estimation support device, animal behavior estimation method, and program |
-
2021
- 2021-01-19 KR KR1020210007173A patent/KR102396999B1/en active IP Right Grant
- 2021-08-26 WO PCT/KR2021/011439 patent/WO2022158674A1/en active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120012069A1 (en) * | 2007-06-22 | 2012-01-19 | Southfork Solutions, Inc. | Method and apparatus for improved monitoring and managing of livestock |
| KR101595764B1 (en) | 2014-04-14 | 2016-02-22 | 재단법인대구경북과학기술원 | Method for tracking animal and apparatus thereof |
| JP2018099098A (en) * | 2016-12-21 | 2018-06-28 | 株式会社エイビット | Grazing system of livestock |
| KR20190046163A (en) * | 2017-10-25 | 2019-05-07 | 엘지이노텍 주식회사 | Farm management apparatus and method |
| KR20200057405A (en) * | 2018-11-16 | 2020-05-26 | 주식회사 드림테크 | Cow's Signs Detection System based on the Internet of Things |
| KR20190139808A (en) * | 2019-12-04 | 2019-12-18 | 주식회사 블루비즈 | A behavior pattern abnormality discrimination system and method for providing the same |
| JP2021144631A (en) * | 2020-03-13 | 2021-09-24 | エヌ・ティ・ティ・ビズリンク株式会社 | Animal behavior estimation system, animal behavior estimation support device, animal behavior estimation method, and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102584357B1 (en) | 2022-12-12 | 2023-10-12 | 주식회사 리얼팜 | Apparatus for identifying a livestock using a pattern, and system for classifying livestock behavior pattern based on images using the apparatus and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022158674A1 (en) | 2022-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102396999B1 (en) | Cattle behavior automatic recognition and the monitoring system using the deep learning and method thereof | |
| Wu et al. | Using a CNN-LSTM for basic behaviors detection of a single dairy cow in a complex environment | |
| KR102396172B1 (en) | System and method for managing livestock based on artificial intelligence | |
| Yang et al. | Classification of broiler behaviours using triaxial accelerometer and machine learning | |
| US11910784B2 (en) | Animal visual identification, tracking, monitoring and assessment systems and methods thereof | |
| KR20150130803A (en) | The method for monitoring communicable disease and system using the method, recording medium for performing the method | |
| AU2021359652A9 (en) | Animal visual identification, tracking, monitoring and assessment systems and methods thereof | |
| CN111310596A (en) | Animal diseased state monitoring system and method | |
| KR102307478B1 (en) | A Computer Vision for the Prediction System of Livestock Diseases and Their Methods | |
| KR102584357B1 (en) | Apparatus for identifying a livestock using a pattern, and system for classifying livestock behavior pattern based on images using the apparatus and method thereof | |
| Chen et al. | Monitoring the behaviours of pet cat based on YOLO model and raspberry Pi | |
| KR20220053272A (en) | Method and device for managing livestock through object recognition based on deep learning | |
| CN115457468A (en) | Intelligent livestock monitoring method and system for large grassland | |
| CA3230401A1 (en) | Systems and methods for the automated monitoring of animal physiological conditions and for the prediction of animal phenotypes and health outcomes | |
| KR20210067602A (en) | Method for Establishing Prevention Boundary of Epidemics of Livestock Based On Image Information Analysis | |
| KR102341715B1 (en) | Apparatus and method for livestock monitoring | |
| Eagan et al. | Behaviour Real-Time spatial tracking identification (BeRSTID) used for cat behaviour monitoring in an animal shelter | |
| KR102469301B1 (en) | Behavioral anomaly detection system | |
| KR102332252B1 (en) | Apparatus and method for analyzing oestrus behavior pattern of ruminant animal based on image analysis | |
| KR20210062238A (en) | Method for Image Information Analysis Based Prevention System and Method thereof | |
| US20240196867A1 (en) | Animal visual identification, tracking, monitoring and assessment systems and methods thereof | |
| CN114500960B (en) | Inspection and alarm management system and method for livestock and poultry farm | |
| Eagan et al. | BeRSTID: A Behaviour Real-Time Spatial Tracking Identification System used for Cat Behaviour Monitoring in an Animal Shelter | |
| US20230316726A1 (en) | Using guard feedback to train ai models | |
| CN113221776B (en) | Method for identifying general behaviors of ruminants based on artificial intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |