WO2023054822A1 - 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치 - Google Patents

인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치 Download PDF

Info

Publication number
WO2023054822A1
WO2023054822A1 PCT/KR2022/003928 KR2022003928W WO2023054822A1 WO 2023054822 A1 WO2023054822 A1 WO 2023054822A1 KR 2022003928 W KR2022003928 W KR 2022003928W WO 2023054822 A1 WO2023054822 A1 WO 2023054822A1
Authority
WO
WIPO (PCT)
Prior art keywords
livestock
artificial intelligence
abnormal behavior
model
images
Prior art date
Application number
PCT/KR2022/003928
Other languages
English (en)
French (fr)
Inventor
경노겸
송신애
송도영
Original Assignee
한국축산데이터 주식회사 농업회사법인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국축산데이터 주식회사 농업회사법인 filed Critical 한국축산데이터 주식회사 농업회사법인
Publication of WO2023054822A1 publication Critical patent/WO2023054822A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a method and apparatus for extracting abnormal behavior patterns of livestock based on artificial intelligence, and more particularly, to a method and apparatus for extracting abnormal behavior patterns of individual livestock by analyzing a CCTV camera installed in a barn based on artificial intelligence.
  • the livestock industry is an industry that is directly connected to human food, and the health of livestock, which are raw materials for livestock products, determines the quality of the food you eat.
  • meat consumption has exploded due to the increase in income levels in countries such as China and India, which account for a significant portion of the world's population, 'Protein Crisis: Anxiety over supply) is becoming a hot topic.
  • livestock management technology in the livestock industry mainly consists of a technology for monitoring livestock using a camera or sensor (Registration Patent No. 10-1768450, Patent Publication No. 10-2018-0113763, etc.).
  • Most of these technologies are technologies for improving management efficiency and automation of farms. In existing farms, even if these monitoring technologies are used, it takes an average of 2 weeks from the time livestock actually show abnormal behavior to the time farm managers discover abnormal objects. do.
  • the present invention is proposed to solve the above problems of the previously proposed methods, and analyzes CCTV cameras installed in barns based on artificial intelligence to extract abnormal behavior patterns of individual livestock, so that human managers in livestock farms can use individual livestock.
  • step (3) a data learning step of learning an artificial intelligence-based livestock detection model and motion tracking model using the image labeled in step (2) as learning data;
  • step (3) Using the livestock detection model and motion tracking model learned in step (3), the movement of livestock individuals is tracked from the livestock image, and clustering and classification are performed according to the speed and direction of the movement of the livestock individuals.
  • step (4) a model creation step of configuring the data labeled in step (4) as a learning dataset and learning an artificial intelligence model for extracting abnormal behavior patterns using the learning dataset;
  • step (5) Using the artificial intelligence model learned in step (5), it is characterized in that it includes an abnormal behavior detection step of detecting abnormal behavior patterns of livestock from livestock images of CCTV cameras installed in the barn.
  • Livestock images of a top-view in which the back of the livestock is seen and/or a side-view in which the side of the livestock is seen may be collected.
  • the step (3) is,
  • step (3) learning an artificial intelligence-based multiple livestock detection model for detecting a plurality of livestock individuals in an image using the image labeled in step (2) as learning data;
  • the step (4) is,
  • (4-2) extracting speed and direction characteristics of movement from the path of each livestock individual converted into the coordinates
  • step (4-4) Based on the classification result of step (4-3), a plurality of groups representing livestock behavior are set by combining classification by speed and classification by direction, and labels of livestock behavior are set for each group. steps may be included.
  • K-means clustering can be used to classify the movement of each livestock individual according to speed and direction.
  • the method may further include setting health conditions corresponding to behaviors of livestock labeled for each group.
  • An artificial intelligence-based livestock abnormal behavior pattern extraction device for achieving the above object,
  • a data collection unit that collects livestock images including livestock movements from CCTV cameras installed in the barn;
  • a livestock labeling unit that divides the livestock images collected by the data collection unit into frame units and converts them into a plurality of images, and performs livestock labeling by displaying livestock locations in the images as bounding boxes;
  • a data learning unit for learning an artificial intelligence-based livestock detection model and motion tracking model using the images labeled by the livestock labeling unit as learning data
  • the movement of livestock entities is tracked from the livestock images, and each is classified according to the speed and direction of the movement of the livestock entities tracked by a clustering technique, and the livestock are classified according to the classification result.
  • a behavioral labeling unit that sets a behavioral label
  • a model generator configured to configure the data labeled by the behavior labeling unit as a learning dataset and to learn an artificial intelligence model for extracting abnormal behavior patterns using the learning dataset;
  • It is characterized in that it includes an abnormal behavior detection unit that detects an abnormal behavior pattern of livestock from a livestock image of a CCTV camera installed in a barn using the artificial intelligence model learned in the model generation unit.
  • the behavior labeling unit Preferably, the behavior labeling unit,
  • a motion conversion module for tracking movements of livestock individuals from the livestock images using the livestock detection model and motion tracking model learned in the data learning unit, and converting and storing the tracked path for each livestock entity into coordinates;
  • a feature extraction module for extracting features of movement speed and direction from the path of each livestock individual converted into the coordinates
  • a classification module for classifying the extracted speed and direction using a clustering technique
  • a label setting module for setting a plurality of groups representing livestock behavior by combining classification by speed and classification by direction, and setting labels of livestock behavior for each group.
  • human managers in livestock farms extract abnormal behavior patterns of individual livestock by analyzing CCTV cameras installed in livestock sheds based on artificial intelligence.
  • predicting diseases of each livestock from the behavior patterns of individual livestock in the barn improving the barn environment, setting feeding and watering amounts, etc.
  • optimal breeding management for the current state of individual livestock can do.
  • FIG. 1 is a diagram showing the configuration of an artificial intelligence-based livestock abnormal behavior pattern extraction apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a detailed configuration of a behavior labeling unit in an apparatus for extracting an abnormal behavior pattern of livestock based on artificial intelligence according to an embodiment of the present invention.
  • FIG. 3 is a diagram showing the flow of an artificial intelligence-based livestock abnormal behavior pattern extraction method according to an embodiment of the present invention.
  • step S300 is a diagram showing a detailed flow of step S300 in the artificial intelligence-based livestock abnormal behavior pattern extraction method according to an embodiment of the present invention.
  • step S400 is a diagram showing a detailed flow of step S400 in the artificial intelligence-based livestock abnormal behavior pattern extraction method according to an embodiment of the present invention.
  • FIG. 6 is a diagram for explaining step S410 in the artificial intelligence-based livestock abnormal behavior pattern extraction method according to an embodiment of the present invention.
  • step S420 is a diagram for explaining step S420 in the artificial intelligence-based livestock abnormal behavior pattern extraction method according to an embodiment of the present invention.
  • step S430 is a diagram for explaining step S430 in the artificial intelligence-based livestock abnormal behavior pattern extraction method according to an embodiment of the present invention.
  • step (3) a data learning step of learning an artificial intelligence-based livestock detection model and motion tracking model using the image labeled in step (2) as learning data;
  • step (3) Using the livestock detection model and motion tracking model learned in step (3), the movement of livestock individuals is tracked from the livestock image, and clustering and classification are performed according to the speed and direction of the movement of the livestock individuals.
  • step (4) a model creation step of configuring the data labeled in step (4) as a learning dataset and learning an artificial intelligence model for extracting abnormal behavior patterns using the learning dataset;
  • step (5) Using the artificial intelligence model learned in step (5), it is characterized in that it includes an abnormal behavior detection step of detecting abnormal behavior patterns of livestock from livestock images of CCTV cameras installed in the barn.
  • the artificial intelligence-based livestock abnormal behavior pattern extraction apparatus 10 is a data collection unit that collects livestock images including livestock movements from a CCTV camera installed in a barn.
  • a livestock labeling unit 200 that divides the livestock images collected by the data collection unit 100 into frames and converts them into a plurality of images, and performs livestock labeling by displaying livestock locations in the images as bounding boxes; a data learning unit 300 for learning an artificial intelligence-based livestock detection model and a movement tracking model using the images labeled by the livestock labeling unit 200 as learning data; Using the livestock detection model and motion tracking model learned in the data learning unit 300, the movement of livestock objects is tracked from the livestock image, and each is classified according to the speed and direction of the movement of the livestock objects tracked using a clustering technique, and the classification result is a behavioral labeling unit 400 that sets a livestock behavioral label; a model generator 500 that configures the data labeled by the behavior labeling unit 400 as a learning dataset and uses the training dataset to learn an artificial intelligence model for extracting abnormal behavior patterns; and an abnormal behavior detection unit 600 that detects abnormal behavior patterns of livestock from livestock images of CCTV cameras installed in the barn using the artificial intelligence model learned in the model generation unit 500.
  • FIG. 2 is a diagram showing a detailed configuration of a behavior labeling unit 400 in the apparatus 10 for extracting abnormal behavior patterns of livestock based on artificial intelligence according to an embodiment of the present invention.
  • the behavior labeling unit 400 of the apparatus 10 for extracting abnormal behavior patterns of livestock based on artificial intelligence according to an embodiment of the present invention includes the behavior labeling unit 400, the data learning unit 300 A motion conversion module 410 that tracks the movements of livestock objects from livestock images using the livestock detection model and motion tracking model learned in ), and converts and stores the tracked path for each livestock entity into coordinates; a feature extraction module 420 for extracting features of movement speed and direction from the path of each livestock individual converted into coordinates; a classification module 430 for classifying the extracted speed and direction using a clustering technique; and based on the classification result of the classification module 430, a label setting module 440 for setting a plurality of groups representing livestock behavior by combining classification by speed and classification by direction, and setting labels of livestock behavior for each group. ).
  • the artificial intelligence-based livestock abnormal behavior pattern extraction method is an artificial intelligence-based livestock abnormal behavior pattern extraction method in which each step is performed by a computer, and includes a data collection step ( S100), livestock labeling step S200, data learning step S300, behavior labeling step S400, model generation step S500, and abnormal behavior detection step S600.
  • the present invention relates to an artificial intelligence-based method for extracting abnormal behavior patterns of livestock, and the artificial intelligence-based method for extracting abnormal behavior patterns of livestock according to the features of the present invention may be composed of software recorded in hardware including a memory and a processor.
  • the artificial intelligence-based livestock abnormal behavior pattern extraction method of the present invention can be stored and implemented in a personal computer, a notebook computer, a server computer, a PDA, a smart phone, a tablet PC, and the like. In the following, for convenience of explanation, the subject performing each step may be omitted.
  • the data collection unit 100 may collect livestock images including movements of livestock from CCTV cameras installed in the barn. More specifically, in step S100, livestock images of a top-view view and/or a side-view view of a livestock back may be collected.
  • a CCTV camera may be installed in a livestock barn in units of rooms to acquire and use images containing livestock movements.
  • the CCTV camera is a general 2D camera and can collect high-definition images in real time, and one camera can record the entire room of the barn.
  • the installation angle of the camera may include a top view in which the back of the livestock is seen when it is vertically installed in the center of the barn ceiling and/or a side view in which the side of the livestock is seen when it is installed horizontally in the middle of the barn wall.
  • tilted-view which is an angle observed by tilting the barn, should be avoided as it may affect livestock detection performance.
  • step S200 the livestock labeling unit 200 divides the livestock image collected in step S100 into frame units and converts them into a plurality of images, and displays livestock locations in the image as a bounding box to perform livestock labeling.
  • the livestock image collected in step S100 may be in the form of a video, it may be divided into frames and converted into images.
  • Livestock labeling is to mark livestock photographed on an image as a bounding box. Since a plurality of livestock are raised together in a barn, all locations of a plurality of livestock can be labeled as bounding boxes in one image.
  • livestock labeling may be performed by receiving and storing an image displayed as a bounding box from a manager or a user terminal.
  • step S300 the data learning unit 300 may use the image labeled in step S200 as training data to learn an AI-based livestock detection model and motion tracking model.
  • step S300 of the artificial intelligence-based livestock abnormal behavior pattern extraction method according to an embodiment of the present invention includes a multiple livestock detection model learning step (S310) and a multiple livestock movement tracking model learning step (S320). It can be implemented including.
  • an AI-based multiple livestock detection model for detecting a plurality of livestock individuals in an image may be learned using the image labeled in step S200 as training data. More specifically, in step S310, a multiple object detection model based on RCNN, Faster-RCNN, etc. among computer vision artificial intelligence models is learned with the training data labeled in step S200, and a plurality of Multiple livestock detection models that detect individual livestock can be created.
  • an artificial intelligence-based multi-livestock movement tracking model may be learned that tracks livestock objects detected in the multi-livestock detection model according to frame progress of livestock images. That is, when the learning of the multiple livestock detection model is completed in step S310, an artificial intelligence-based object tracking model that tracks objects in the video is learned, and multiple livestock movement tracking that tracks the movement of individual livestock objects detected. model can be created.
  • the multi-livestock detection model and the multi-livestock movement tracking model of steps S310 and S320 may be integrated and learned to detect at least one livestock in the livestock image and track the movement of the detected livestock entity, respectively.
  • step S400 the behavior labeling unit 400 tracks the movements of livestock objects from the livestock image using the livestock detection model and motion tracking model learned in step S300, and performs clustering according to the speed and direction of the movement of the tracked livestock objects. It is classified by classification, and a label of livestock behavior can be set in the classification result.
  • step S400 of the artificial intelligence-based livestock abnormal behavior pattern extraction method is converted into coordinates and stored (S410), livestock individual Extracting movement features from star paths (S420), classifying them using a clustering technique (S430), and setting a plurality of groups representing livestock behaviors and setting livestock behavior labels for each group (S440). It may be implemented, and may be implemented by further including a step (S450) of setting a state of health corresponding to the livestock behavior.
  • the motion conversion module 410 may track the movement of livestock objects from the livestock image using the livestock detection model and the motion tracking model learned in step S300, and convert and store the tracked path for each livestock entity into coordinates. there is.
  • step S410 of the artificial intelligence-based livestock abnormal behavior pattern extraction method is a diagram for explaining step S410 in the artificial intelligence-based livestock abnormal behavior pattern extraction method according to an embodiment of the present invention.
  • step S410 of the artificial intelligence-based livestock abnormal behavior pattern extraction method a plurality of livestock individuals are detected and tracked in a livestock image, and each livestock individual is tracked. You can save a path by converting it to (x, y) coordinates on the x-y plane. In this case, the path may be converted to a predetermined length of time, such as 30 minutes or 1 hour, and stored.
  • the feature extraction module 420 may extract features of speed and direction of movement from the path of each livestock individual converted into coordinates. That is, in step S420, features are extracted from the data converted and stored in step S410, and the speed and direction of the path may be extracted as features.
  • step S420 of the artificial intelligence-based livestock abnormal behavior pattern extraction method according to an embodiment of the present invention is a diagram for explaining step S420 in the artificial intelligence-based livestock abnormal behavior pattern extraction method according to an embodiment of the present invention.
  • step S420 of the artificial intelligence-based livestock abnormal behavior pattern extraction method according to an embodiment of the present invention the speed and direction of each livestock individual movement path converted to (x, y) coordinates Each feature can be extracted.
  • the classification module 430 may classify the extracted speed and direction using a clustering technique. More specifically, in step S430, information such as coordinates, speed, and direction is obtained by utilizing models such as K-means clustering, Gaussian Mixture Model (GMM), and Density Based Spatial Clustering of Applications with Noise (DBSCAN). can be analyzed to categorize the movements of livestock.
  • GMM Gaussian Mixture Model
  • DBSCAN Density Based Spatial Clustering of Applications with Noise
  • step S430 of the artificial intelligence-based livestock abnormal behavior pattern extraction method according to an embodiment of the present invention is a diagram for explaining step S430 in the artificial intelligence-based livestock abnormal behavior pattern extraction method according to an embodiment of the present invention.
  • step S430 of the artificial intelligence-based livestock abnormal behavior pattern extraction method according to an embodiment of the present invention at least two or more clusters are classified according to speed, and at least two groups are classified according to direction.
  • Each of the above clusters can be classified.
  • the number of clusters may be set in advance, and the number of clusters may be determined in a classification process according to a clustering technique used.
  • step S440 based on the classification result of step S430, the label setting module 440 sets a plurality of groups representing livestock behavior by combining classification by speed and classification by direction, and labels of livestock behavior for each group. can be set. More specifically, in step S440, classification by speed and classification by direction are respectively labeled, and labeling may be performed again by combining speed and direction classification. At this time, labeling for each group may be performed by an expert such as a veterinarian, livestock specification expert, or animal behavior analyst, and the label setting module 440 may set a label for each group using label information received by the expert. there is.
  • an expert such as a veterinarian, livestock specification expert, or animal behavior analyst
  • the first cluster (group) by speed is “moving very slowly”
  • the second cluster ( Group) can be labeled as “moving at an irregular speed”
  • cluster 1 (group) by direction is “moving while continuously changing the direction”
  • cluster 2 (group) is “moving steadily in one direction” ” can be set as labeling.
  • the label setting module 440 may set health conditions corresponding to behaviors of livestock labeled for each group.
  • the health state may be set by receiving an input of an expected health state from experts such as a veterinarian, a livestock breeding expert, and an animal behavior analyst for the label set in step S440.
  • a group labeled as “limping and turning in a small circle” can be set as “abnormal behavior” or “needs observation” as a health condition.
  • step S500 the model generation unit 500 configures the data labeled in step S400 as a training dataset, and uses the training dataset to learn an artificial intelligence model for extracting abnormal behavior patterns. More specifically, in step S500, the characteristics of the speed and direction set as labels in step S400 may be configured as a learning dataset, and an artificial intelligence model may be generated by performing supervised learning on the configured training dataset. At this time, the artificial intelligence model may be trained to understand the correlation between the speed and direction characteristics and the label so as to output the label set in step S400 from the input speed and direction characteristics.
  • the abnormal behavior detection unit 600 may use the artificial intelligence model learned in step S500 to detect abnormal behavior patterns of livestock from livestock images of CCTV cameras installed in the barn. More specifically, in step S600, by using the livestock detection model and motion tracking model learned in step S300, livestock objects are detected and tracked in livestock images of CCTV cameras, and speed and direction of movement of livestock objects are extracted as features. By inputting the extracted speed and direction to the artificial intelligence model learned in the S500, the livestock behavior label can be obtained as an output.
  • the label of the output livestock behavior may be "walking slowly”, “limping and turning in a small circle”, etc., and may be “normal”, “abnormal behavior”, “requires observation”, etc., depending on the embodiment. Therefore, it is possible to identify abnormal behavior patterns of livestock according to the prediction result of the artificial intelligence model in step S600.
  • the artificial intelligence-based livestock abnormal behavior pattern extraction method and apparatus proposed in the present invention, by analyzing CCTV cameras installed in livestock sheds based on artificial intelligence and extracting abnormal behavior patterns of individual livestock, humans in livestock farms Overcome the limitations that managers cannot manage and observe individual livestock individually, and predict diseases of each livestock from the behavior patterns of individual livestock in the barn, improving the barn environment, setting feeding and watering amounts, etc. Optimized specification management is possible.
  • the present invention may include a computer-readable medium including program instructions for performing operations implemented in various communication terminals.
  • computer-readable media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD_ROMs and DVDs, and floptical disks. It may include hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, and the like.
  • Such computer-readable media may include program instructions, data files, data structures, etc. alone or in combination.
  • program instructions recorded on a computer-readable medium may be specially designed and configured to implement the present invention, or may be known and usable to those skilled in computer software.
  • it may include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes generated by a compiler.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Animal Husbandry (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 인공지능 기반 가축 이상행동 패턴 추출 방법으로서, 축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집하는 데이터 수집 단계; 수집한 가축 영상을 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스로 표시해 가축 라벨링을 수행하는 가축 라벨링 단계; 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습하는 데이터 학습 단계; 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링하여 분류하며, 분류 결과에 가축 행동의 라벨을 설정하는 행동 라벨링 단계; 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 상기 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습하는 모델 생성 단계; 및 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출하는 이상행동 검출 단계를 포함하는 것을 그 구성상의 특징으로 한다.

Description

인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치
본 발명은 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치에 관한 것으로서, 보다 구체적으로는 축사에 설치된 CCTV 카메라를 인공지능 기반으로 분석해 개별 가축의 이상행동 패턴을 추출하는 방법 및 장치에 관한 것이다.
축산업은 사람의 먹거리와 직접 연결되는 산업이며 축산물의 원자재가 되는 가축의 건강은 곧 내가 먹는 음식의 질을 결정한다. 최근에는, 중국, 인도 등 전 세계 인구의 상당 부분을 차지하는 국가의 소득 수준의 증대로 육류소비가 폭발적으로 증가함에 따라 ‘단백질 위기(Protein Crisis: 인구 증가와 육류 소비 증가로 인해 건강한 동물성 단백질의 안정적 공급에 대한 불안)’가 화두가 되고 있다.
이에 따라 건강한 동물성 단백질을 공급하기 위한 비즈니스가 큰 관심을 얻고 있다. 이미 2017년 중국에서는 ‘왕이웨이양’이라는 건강하게 기른 돼지의 마리당 경매 낙찰가격이 2,750만 원에 달한 바 있으며, 이는 육류 소비의 증대만큼이나 건강한 가축에 대한 고기 소비자들의 니즈 또한 확대되었다는 것을 보여준다.
현재 축산업에서 가축을 관리하는 기술은, 카메라나 센서를 사용해 가축을 모니터링하는 기술이 주를 이루고 있다(등록특허 제10-1768450호, 공개특허 제10-2018-0113763호 등). 이러한 기술은 농가의 관리 효율성을 높이고 자동화하기 위한 기술이 대부분으로, 기존 농장에서는 이러한 모니터링 기술을 사용하더라도 가축이 이상행동을 실제로 보이는 시점부터 농장 관리자가 이상 개체를 발견하는 시점까지 평균 2주 정도 소요된다.
돼지 농장의 경우 한 명의 관리자가 1,000마리의 돼지를 관리하기 때문에, 한 마리 한 마리 관찰할 수 없어서 군집 내 대부분의 개체가 이상행동을 보이거나 개체가 이상행동을 보이다가 폐사한 후에야 비로소 발견할 수 있다. 따라서 돼지 등을 키우는 가축 농장에서 사람 관리자가 24시간 가축을 한 마리 한 마리 관리하고 관찰할 수 없는 한계를 극복하기 위한 솔루션이 필요한 실정이다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 축사에 설치된 CCTV 카메라를 인공지능 기반으로 분석해 개별 가축의 이상행동 패턴을 추출함으로써, 가축 농장에서 사람 관리자가 개별 가축을 각각 관리하고 관찰할 수 없는 한계를 극복하고, 축사 내 개별 가축의 행동 패턴으로부터 각 가축의 질병 등을 예측하여, 축사 환경 개선, 급이 및 급수량 설정 등 개별 가축의 현재 상태에 최적화된 사양 관리를 할 수 있는, 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치를 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법은,
컴퓨터에 의해 각 단계가 수행되는 인공지능 기반 가축 이상행동 패턴 추출 방법으로서,
(1) 축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집하는 데이터 수집 단계;
(2) 상기 단계 (1)에서 수집한 가축 영상을 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스로 표시해 가축 라벨링을 수행하는 가축 라벨링 단계;
(3) 상기 단계 (2)에서 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습하는 데이터 학습 단계;
(4) 상기 단계 (3)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링하여 분류하며, 분류 결과에 가축 행동의 라벨을 설정하는 행동 라벨링 단계;
(5) 상기 단계 (4)에서 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 상기 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습하는 모델 생성 단계; 및
(6) 상기 단계 (5)에서 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출하는 이상행동 검출 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (1)에서는,
가축의 등이 보이는 탑 뷰(top-view) 및/또는 가축의 옆면이 보이는 사이드 뷰(side-view)의 가축 영상을 수집할 수 있다.
바람직하게는, 상기 단계 (3)은,
(3-1) 상기 단계 (2)에서 라벨링 된 이미지를 학습 데이터로 하여, 이미지에서 복수의 가축 개체를 검출하는 인공지능 기반의 다중 가축 검출 모델을 학습하는 단계; 및
(3-2) 상기 다중 가축 검출 모델에서 검출된 가축 개체를 상기 가축 영상의 프레임 진행에 따라 추적하는 인공지능 기반의 다중 가축 움직임 추적 모델을 학습하는 단계를 포함할 수 있다.
바람직하게는, 상기 단계 (4)는,
(4-1) 상기 단계 (3)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 가축 개체별로 추적한 경로를 좌표로 변환해 저장하는 단계;
(4-2) 상기 좌표로 변환된 가축 개체별 경로에서 움직임의 속력 및 방향의 특징을 추출하는 단계;
(4-3) 상기 추출한 속력 및 방향을 각각 클러스터링 기법으로 분류하는 단계; 및
(4-4) 상기 단계 (4-3)의 분류 결과에 기초하여, 속력에 의한 분류와 방향에 의한 분류를 조합해 가축 행동을 나타내는 복수의 그룹을 설정하고, 그룹별로 가축 행동의 라벨을 설정하는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (4-3)에서는,
K-평균 클러스터링(K-means clustering)을 사용해 속력 및 방향에 따른 가축 개체별 움직임을 각각 분류할 수 있다.
더욱 바람직하게는, 상기 단계 (4-4) 이후에는,
(4-5) 상기 그룹별로 라벨링 한 가축 행동에 대응되는 건강상태를 설정하는 단계를 더 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 인공지능 기반 가축 이상행동 패턴 추출 장치는,
인공지능 기반 가축 이상행동 패턴 추출 장치로서,
축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집하는 데이터 수집부;
상기 데이터 수집부에서 수집한 가축 영상을 프레임 단위로 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스로 표시해 가축 라벨링을 수행하는 가축 라벨링부;
상기 가축 라벨링부에서 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습하는 데이터 학습부;
상기 데이터 학습부에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링 기법으로 분류하며, 분류 결과에 가축 행동의 라벨을 설정하는 행동 라벨링부;
상기 행동 라벨링부에서 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 상기 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습하는 모델 생성부; 및
상기 모델 생성부에서 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출하는 이상행동 검출부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 행동 라벨링부는,
상기 데이터 학습부에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 가축 개체별로 추적한 경로를 좌표로 변환해 저장하는 움직임 변환 모듈;
상기 좌표로 변환된 가축 개체별 경로에서 움직임의 속력 및 방향의 특징을 추출하는 특징 추출 모듈;
상기 추출한 속력 및 방향을 각각 클러스터링 기법으로 분류하는 분류 모듈; 및
상기 분류 모듈의 분류 결과에 기초하여, 속력에 의한 분류와 방향에 의한 분류를 조합해 가축 행동을 나타내는 복수의 그룹을 설정하고, 그룹별로 가축 행동의 라벨을 설정하는 라벨 설정 모듈을 포함할 수 있다.
본 발명에서 제안하고 있는 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치에 따르면, 축사에 설치된 CCTV 카메라를 인공지능 기반으로 분석해 개별 가축의 이상행동 패턴을 추출함으로써, 가축 농장에서 사람 관리자가 개별 가축을 각각 관리하고 관찰할 수 없는 한계를 극복하고, 축사 내 개별 가축의 행동 패턴으로부터 각 가축의 질병 등을 예측하여, 축사 환경 개선, 급이 및 급수량 설정 등 개별 가축의 현재 상태에 최적화된 사양 관리를 할 수 있다.
도 1은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 장치에서, 행동 라벨링부의 세부적인 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법의 흐름을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S400의 세부적인 흐름을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S410을 설명하기 위해 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S420을 설명하기 위해 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S430을 설명하기 위해 도시한 도면이다.
본 발명의 특징에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법은,
컴퓨터에 의해 각 단계가 수행되는 인공지능 기반 가축 이상행동 패턴 추출 방법으로서,
(1) 축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집하는 데이터 수집 단계;
(2) 상기 단계 (1)에서 수집한 가축 영상을 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스로 표시해 가축 라벨링을 수행하는 가축 라벨링 단계;
(3) 상기 단계 (2)에서 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습하는 데이터 학습 단계;
(4) 상기 단계 (3)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링하여 분류하며, 분류 결과에 가축 행동의 라벨을 설정하는 행동 라벨링 단계;
(5) 상기 단계 (4)에서 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 상기 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습하는 모델 생성 단계; 및
(6) 상기 단계 (5)에서 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출하는 이상행동 검출 단계를 포함하는 것을 그 구성상의 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 장치(10)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 장치(10)는, 축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집하는 데이터 수집부(100); 데이터 수집부(100)에서 수집한 가축 영상을 프레임 단위로 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스로 표시해 가축 라벨링을 수행하는 가축 라벨링부(200); 가축 라벨링부(200)에서 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습하는 데이터 학습부(300); 데이터 학습부(300)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링 기법으로 분류하며, 분류 결과에 가축 행동의 라벨을 설정하는 행동 라벨링부(400); 행동 라벨링부(400)에서 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습하는 모델 생성부(500); 및 모델 생성부(500)에서 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출하는 이상행동 검출부(600)를 포함하여 구성될 수 있다.
도 2는 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 장치(10)에서, 행동 라벨링부(400)의 세부적인 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 장치(10)의 행동 라벨링부(400)는, 행동 라벨링부(400)는, 데이터 학습부(300)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 가축 영상으로부터 가축 개체의 움직임을 추적하고, 가축 개체별로 추적한 경로를 좌표로 변환해 저장하는 움직임 변환 모듈(410); 좌표로 변환된 가축 개체별 경로에서 움직임의 속력 및 방향의 특징을 추출하는 특징 추출 모듈(420); 추출한 속력 및 방향을 각각 클러스터링 기법으로 분류하는 분류 모듈(430); 및 분류 모듈(430)의 분류 결과에 기초하여, 속력에 의한 분류와 방향에 의한 분류를 조합해 가축 행동을 나타내는 복수의 그룹을 설정하고, 그룹별로 가축 행동의 라벨을 설정하는 라벨 설정 모듈(440)을 포함하여 구성될 수 있다.
도 3은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법은, 컴퓨터에 의해 각 단계가 수행되는 인공지능 기반 가축 이상행동 패턴 추출 방법으로서, 데이터 수집 단계(S100), 가축 라벨링 단계(S200), 데이터 학습 단계(S300), 행동 라벨링 단계(S400), 모델 생성 단계(S500) 및 이상행동 검출 단계(S600)를 포함하여 구현될 수 있다.
본 발명은 인공지능 기반 가축 이상행동 패턴 추출 방법에 관한 것으로서, 본 발명의 특징에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법은, 메모리 및 프로세서를 포함한 하드웨어에서 기록되는 소프트웨어로 구성될 수 있다. 예를 들어, 본 발명의 인공지능 기반 가축 이상행동 패턴 추출 방법은, 개인용 컴퓨터, 노트북 컴퓨터, 서버 컴퓨터, PDA, 스마트폰, 태블릿 PC 등에 저장 및 구현될 수 있다. 이하에서는 설명의 편의를 위해, 각 단계를 수행하는 주체는 생략될 수 있다.
단계 S100에서는, 데이터 수집부(100)가, 축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집할 수 있다. 보다 구체적으로, 단계 S100에서는, 가축의 등이 보이는 탑 뷰(top-view) 및/또는 가축의 옆면이 보이는 사이드 뷰(side-view)의 가축 영상을 수집할 수 있다.
즉, 본 발명에서는, 축사에 방 단위로 CCTV 카메라를 설치하여 가축의 움직임을 담은 영상을 취득하여 사용할 수 있다. 여기서, CCTV 카메라는 일반 2D 카메라로 고화질 영상을 실시간으로 수집할 수 있으며, 한 대의 카메라가 축사의 방 전체를 촬영하도록 할 수 있다. 카메라 설치 각도는 축사 천장 중앙에 수직으로 설치하여 가축의 등이 보이는 탑뷰 및/또는 축사 벽 중간에 수평으로 설치하여 가축의 옆면이 보이는 사이드 뷰를 포함할 수 있다. 다만, 축사를 기울여서 관측하는 각도인 틸티드 뷰(Tilted-View)는 가축 검출 성능에 영향을 미칠 수 있으므로 지양한다.
단계 S200에서는, 가축 라벨링부(200)가, 단계 S100에서 수집한 가축 영상을 프레임 단위로 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스(bounding box)로 표시해 가축 라벨링을 수행할 수 있다. 즉, 단계 S100에서 수집한 가축 영상은 동영상 형태일 수 있으므로, 이를 프레임 단위로 분할해 이미지로 변환할 수 있다. 가축 라벨링은 이미지 위에 촬영된 가축을 바운딩 박스로 표시한 것으로, 축사 내에는 복수의 가축이 함께 사육되므로 하나의 이미지에 복수의 가축 위치를 모두 바운딩 박스 라벨링 할 수 있다. 이때, 단계 S200에서는, 관리자나 사용자 단말기로부터 바운딩 박스로 표시된 이미지를 수신해 저장하여 가축 라벨링을 수행할 수 있다.
단계 S300에서는, 데이터 학습부(300)가, 단계 S200에서 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습할 수 있다.
도 4는 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법의 단계 S300은, 다중 가축 검출 모델 학습 단계(S310) 및 다중 가축 움직임 추적 모델 학습 단계(S320)를 포함하여 구현될 수 있다.
단계 S310에서는, 단계 S200에서 라벨링 된 이미지를 학습 데이터로 하여, 이미지에서 복수의 가축 개체를 검출하는 인공지능 기반의 다중 가축 검출 모델을 학습할 수 있다. 보다 구체적으로, 단계 S310에서는, 컴퓨터 비전 인공지능 모델 중 RCNN, Faster-RCNN 등을 기반으로 하는 다중 객체 검출(Multiple object detection) 모델을 단계 S200에서 라벨링 된 학습 데이터로 학습하여, 이미지 내에서 복수의 개별 가축을 검출하는 다중 가축 검출 모델을 생성할 수 있다.
단계 S320에서는, 다중 가축 검출 모델에서 검출된 가축 개체를 가축 영상의 프레임 진행에 따라 추적하는 인공지능 기반의 다중 가축 움직임 추적 모델을 학습할 수 있다. 즉, 단계 S310에서 다중 가축 검출 모델의 학습이 완료되면, 동영상에서 객체를 추적하는 인공지능 기반의 객체 추적(Object tracking) 모델을 학습하여, 검출된 개별 가축 개체의 이동을 추적하는 다중 가축 움직임 추적 모델을 생성할 수 있다.
여기서, 단계 S310 및 단계 S320의 다중 가축 검출 모델과 다중 가축 움직임 추적 모델은, 가축 영상에서 적어도 하나 이상의 가축을 검출하고 검출한 가축 개체의 움직임을 각각 추적하도록, 통합하여 학습할 수 있다.
단계 S400에서는, 행동 라벨링부(400)가, 단계 S300에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링하여 분류하며, 분류 결과에 가축 행동의 라벨을 설정할 수 있다.
도 5는 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S400의 세부적인 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법의 단계 S400은, 가축 개체별로 추적한 경로를 좌표로 변환해 저장하는 단계(S410), 가축 개체별 경로에서 움직임의 특징을 추출하는 단계(S420), 클러스터링 기법으로 분류하는 단계(S430) 및 가축 행동을 나타내는 복수의 그룹을 설정하고 그룹별로 가축 행동의 라벨을 설정하는 단계(S440)를 포함하여 구현될 수 있으며, 가축 행동에 대응되는 건강상태를 설정하는 단계(S450)를 더 포함하여 구현될 수 있다.
단계 S410에서는, 움직임 변환 모듈(410)이, 단계 S300에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 가축 영상으로부터 가축 개체의 움직임을 추적하고, 가축 개체별로 추적한 경로를 좌표로 변환해 저장할 수 있다.
도 6은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S410을 설명하기 위해 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법의 단계 S410에서는, 가축 영상에서 복수의 가축 개체를 검출 및 추적하고, 각각의 가축 개체별로 추적한 경로를 x-y 평면에 (x, y) 좌표로 변환해 저장할 수 있다. 이때, 30분, 1시간 등 미리 정해진 시간 길이로 경로를 변환해 저장할 수 있다.
단계 S420에서는, 특징 추출 모듈(420)이, 좌표로 변환된 가축 개체별 경로에서 움직임의 속력 및 방향의 특징을 추출할 수 있다. 즉, 단계 S420에서는 단계 S410에서 변환해 저장한 데이터로부터 특징을 추출하는데, 경로의 속력과 방향을 특징으로 추출할 수 있다.
도 7은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S420을 설명하기 위해 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법의 단계 S420에서는, (x, y) 좌표로 변환된 가축 개체별 움직임 경로에서, 속력과 방향을 특징으로 각각 추출할 수 있다.
단계 S430에서는, 분류 모듈(430)이, 추출한 속력 및 방향을 각각 클러스터링 기법으로 분류할 수 있다. 보다 구체적으로, 단계 S430에서는, K-평균 클러스터링(K-means clustering), GMM(Gaussian Mixture Model), DBSCAN(Density Based Spatial Clustering of Applications with Noise) 등 모델을 활용하여 좌표, 속력, 방향 등의 정보를 분석하여 가축의 움직임을 범주화할 수 있다.
도 8은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S430을 설명하기 위해 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법의 단계 S430에서는, 속력을 특징으로 하여 적어도 둘 이상의 군집으로 분류하고, 방향을 특징으로 하여 적어도 둘 이상의 군집으로 각각 분류할 수 있다. 여기서, 군집 개수는 미리 설정될 수 있으며, 사용하는 클러스터링 기법에 따라 분류 과정에서 군집 개수가 결정될 수도 있다.
단계 S440에서는, 라벨 설정 모듈(440)이, 단계 S430의 분류 결과에 기초하여, 속력에 의한 분류와 방향에 의한 분류를 조합해 가축 행동을 나타내는 복수의 그룹을 설정하고, 그룹별로 가축 행동의 라벨을 설정할 수 있다. 보다 구체적으로, 단계 S440에서는, 속력에 의한 분류와 방향에 의한 분류에 각각 라벨링을 하고, 속력과 방향 분류를 조합해서 다시 라벨링을 할 수 있다. 이때, 각 그룹에 대한 라벨링은 수의사, 가축 사양 전문가, 동물 행동 분석가 등의 전문가에 의해 수행될 수 있으며, 라벨 설정 모듈(440)은 전문가에 의해 수신한 라벨 정보를 사용해 각 그룹에 라벨을 설정할 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 속력과 방향에 따라 각각 3개의 군집(그룹)으로 분류된 예에서, 속력에 의한 1번 군집(그룹)은 “매우 느리게 움직임”, 2번 군집(그룹)은 “불규칙한 속력으로 움직임” 등으로 라벨링 설정될 수 있고, 방향에 의한 1번 군집(그룹)은 “방향을 지속적으로 바꿔가며 움직임”, 2번 군집(그룹)은 “한 방향으로 꾸준히 움직임” 등으로 라벨링 설정될 수 있다.
그 다음, 속력 분류에서 어떤 모습을 보이는지와, 방향 분류에서 어떤 모습을 보이는지를 조합해 가축의 행동을 라벨링 할 수 있다. 도 8에서는 속력과 방향에 대해 각각 3개의 군집이 있으므로 각각을 조합해 총 9개의 그룹이 구성되며, 9개의 그룹 각각의 속력과 방향에 따른 움직임 패턴에 따라 가축 행동 라벨링을 할 수 있다. 예를 들어, 속력에 의한 1번 군집과 방향에 의한 2번 군집을 조합하면, 매우 느리게 움직이며 한 방향으로 꾸준히 움직이므로 “천천히 걷고 있음”으로 라벨링할 수 있다. 또한, 속력에 의한 2번 군집과 방향에 의한 1번 군집을 조합하면, 불규칙한 속력으로 예각을 유지하며 움직이므로 “절뚝거리며 작은 원으로 돌고 있음”으로 라벨링 할 수 있다.
단계 S450에서는, 라벨 설정 모듈(440)이, 그룹별로 라벨링 한 가축 행동에 대응되는 건강상태를 설정할 수 있다. 건강상태는 단계 S440에서 설정된 라벨에 대해 수의사, 가축 사양 전문가, 동물 행동 분석가 등의 전문가로부터 예상되는 건강상태를 입력받아 설정할 수 있다. 예를 들어, “절뚝거리며 작은 원으로 돌고 있음”으로 라벨이 설정된 그룹은, “이상행동” 또는 “관찰 필요” 등으로 건강상태를 설정할 수 있다.
단계 S500에서는, 모델 생성부(500)가, 단계 S400에서 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습할 수 있다. 보다 구체적으로, 단계 S500에서는, 단계 S400에서 라벨이 설정된 속력 및 방향의 특징을 학습 데이터셋으로 구성하고, 구성한 학습 데이터셋을 지도 학습(Supervised learning)하여 인공지능 모델을 생성할 수 있다. 이때, 인공지능 모델은 입력이 되는 속력 및 방향 특징으로부터 단계 S400에서 설정한 라벨을 출력하도록, 속력 및 방향 특징과 라벨의 상관관계를 이해하도록 학습될 수 있다.
단계 S600에서는, 이상행동 검출부(600)가, 단계 S500에서 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출할 수 있다. 보다 구체적으로, 단계 S600에서는, 단계 S300에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해, CCTV 카메라의 가축 영상에서 가축 개체를 검출 및 추적하여 가축 개체 움직임의 속력 및 방향을 특징으로 추출하고, 단계 S500에서 학습된 인공지능 모델에 추출한 속력 및 방향을 입력해 가축 행동의 라벨을 출력으로 얻을 수 있다. 출력된 가축 행동의 라벨은 “천천히 걷고 있음”, “절뚝거리며 작은 원으로 돌고 있음” 등일 수 있으며, 실시예에 따라서는 “정상”, “이상행동”, “관찰 필요” 등일 수도 있다. 따라서 단계 S600의 인공지능 모델 예측 결과에 따라 가축의 이상행동 패턴을 파악할 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치에 따르면, 축사에 설치된 CCTV 카메라를 인공지능 기반으로 분석해 개별 가축의 이상행동 패턴을 추출함으로써, 가축 농장에서 사람 관리자가 개별 가축을 각각 관리하고 관찰할 수 없는 한계를 극복하고, 축사 내 개별 가축의 행동 패턴으로부터 각 가축의 질병 등을 예측하여, 축사 환경 개선, 급이 및 급수량 설정 등 개별 가축의 현재 상태에 최적화된 사양 관리를 할 수 있다.
한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

Claims (8)

  1. 컴퓨터에 의해 각 단계가 수행되는 인공지능 기반 가축 이상행동 패턴 추출 방법으로서,
    (1) 축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집하는 데이터 수집 단계;
    (2) 상기 단계 (1)에서 수집한 가축 영상을 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스로 표시해 가축 라벨링을 수행하는 가축 라벨링 단계;
    (3) 상기 단계 (2)에서 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습하는 데이터 학습 단계;
    (4) 상기 단계 (3)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링하여 분류하며, 분류 결과에 가축 행동의 라벨을 설정하는 행동 라벨링 단계;
    (5) 상기 단계 (4)에서 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 상기 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습하는 모델 생성 단계; 및
    (6) 상기 단계 (5)에서 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출하는 이상행동 검출 단계를 포함하는 것을 특징으로 하는, 인공지능 기반 가축 이상행동 패턴 추출 방법.
  2. 제1항에 있어서, 상기 단계 (1)에서는,
    가축의 등이 보이는 탑 뷰(top-view) 및/또는 가축의 옆면이 보이는 사이드 뷰(side-view)의 가축 영상을 수집하는 것을 특징으로 하는, 인공지능 기반 가축 이상행동 패턴 추출 방법.
  3. 제1항에 있어서, 상기 단계 (3)은,
    (3-1) 상기 단계 (2)에서 라벨링 된 이미지를 학습 데이터로 하여, 이미지에서 복수의 가축 개체를 검출하는 인공지능 기반의 다중 가축 검출 모델을 학습하는 단계; 및
    (3-2) 상기 다중 가축 검출 모델에서 검출된 가축 개체를 상기 가축 영상의 프레임 진행에 따라 추적하는 인공지능 기반의 다중 가축 움직임 추적 모델을 학습하는 단계를 포함하는 것을 특징으로 하는, 인공지능 기반 가축 이상행동 패턴 추출 방법.
  4. 제1항에 있어서, 상기 단계 (4)는,
    (4-1) 상기 단계 (3)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 가축 개체별로 추적한 경로를 좌표로 변환해 저장하는 단계;
    (4-2) 상기 좌표로 변환된 가축 개체별 경로에서 움직임의 속력 및 방향의 특징을 추출하는 단계;
    (4-3) 상기 추출한 속력 및 방향을 각각 클러스터링 기법으로 분류하는 단계; 및
    (4-4) 상기 단계 (4-3)의 분류 결과에 기초하여, 속력에 의한 분류와 방향에 의한 분류를 조합해 가축 행동을 나타내는 복수의 그룹을 설정하고, 그룹별로 가축 행동의 라벨을 설정하는 단계를 포함하는 것을 특징으로 하는, 인공지능 기반 가축 이상행동 패턴 추출 방법.
  5. 제4항에 있어서, 상기 단계 (4-3)에서는,
    K-평균 클러스터링(K-means clustering)을 사용해 속력 및 방향에 따른 가축 개체별 움직임을 각각 분류하는 것을 특징으로 하는, 인공지능 기반 가축 이상행동 패턴 추출 방법.
  6. 제4항에 있어서, 상기 단계 (4-4) 이후에는,
    (4-5) 상기 그룹별로 라벨링 한 가축 행동에 대응되는 건강상태를 설정하는 단계를 더 포함하는 것을 특징으로 하는, 인공지능 기반 가축 이상행동 패턴 추출 방법.
  7. 인공지능 기반 가축 이상행동 패턴 추출 장치(10)로서,
    축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집하는 데이터 수집부(100);
    상기 데이터 수집부(100)에서 수집한 가축 영상을 프레임 단위로 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스로 표시해 가축 라벨링을 수행하는 가축 라벨링부(200);
    상기 가축 라벨링부(200)에서 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습하는 데이터 학습부(300);
    상기 데이터 학습부(300)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링 기법으로 분류하며, 분류 결과에 가축 행동의 라벨을 설정하는 행동 라벨링부(400);
    상기 행동 라벨링부(400)에서 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 상기 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습하는 모델 생성부(500); 및
    상기 모델 생성부(500)에서 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출하는 이상행동 검출부(600)를 포함하는 것을 특징으로 하는, 인공지능 기반 가축 이상행동 패턴 추출 장치(10).
  8. 제7항에 있어서, 상기 행동 라벨링부(400)는,
    상기 데이터 학습부(300)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 가축 개체별로 추적한 경로를 좌표로 변환해 저장하는 움직임 변환 모듈(410);
    상기 좌표로 변환된 가축 개체별 경로에서 움직임의 속력 및 방향의 특징을 추출하는 특징 추출 모듈(420);
    상기 추출한 속력 및 방향을 각각 클러스터링 기법으로 분류하는 분류 모듈(430); 및
    상기 분류 모듈(430)의 분류 결과에 기초하여, 속력에 의한 분류와 방향에 의한 분류를 조합해 가축 행동을 나타내는 복수의 그룹을 설정하고, 그룹별로 가축 행동의 라벨을 설정하는 라벨 설정 모듈(440)을 포함하는 것을 특징으로 하는, 인공지능 기반 가축 이상행동 패턴 추출 장치(10).
PCT/KR2022/003928 2021-09-29 2022-03-21 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치 WO2023054822A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0129287 2021-09-29
KR1020210129287A KR102577121B1 (ko) 2021-09-29 2021-09-29 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2023054822A1 true WO2023054822A1 (ko) 2023-04-06

Family

ID=85783027

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/003928 WO2023054822A1 (ko) 2021-09-29 2022-03-21 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102577121B1 (ko)
WO (1) WO2023054822A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190088087A (ko) * 2017-12-26 2019-07-26 이노뎁 주식회사 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법
US20190307106A1 (en) * 2016-07-20 2019-10-10 Farm Robotics And Automation Sl Robot assisted surveillance of livestock
KR20190143701A (ko) * 2018-06-21 2019-12-31 엘지이노텍 주식회사 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
US20210153479A1 (en) * 2018-06-25 2021-05-27 Farmsee Ltd. Monitoring livestock in an agricultural pen
KR20210116183A (ko) * 2020-03-12 2021-09-27 (주)씽크포비엘 가축의 설사 탐지 및 설사 위험도 예측 시스템 및 그 이용 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102425523B1 (ko) * 2019-03-26 2022-07-27 (주)씽크포비엘 모돈 이상징후 포착 및 관리 클라우드 서비스 방법 및 장치
KR102282295B1 (ko) * 2019-11-28 2021-07-27 주식회사 핀텔 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190307106A1 (en) * 2016-07-20 2019-10-10 Farm Robotics And Automation Sl Robot assisted surveillance of livestock
KR20190088087A (ko) * 2017-12-26 2019-07-26 이노뎁 주식회사 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법
KR20190143701A (ko) * 2018-06-21 2019-12-31 엘지이노텍 주식회사 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
US20210153479A1 (en) * 2018-06-25 2021-05-27 Farmsee Ltd. Monitoring livestock in an agricultural pen
KR20210116183A (ko) * 2020-03-12 2021-09-27 (주)씽크포비엘 가축의 설사 탐지 및 설사 위험도 예측 시스템 및 그 이용 방법

Also Published As

Publication number Publication date
KR20230046156A (ko) 2023-04-05
KR102577121B1 (ko) 2023-09-12

Similar Documents

Publication Publication Date Title
Segalin et al. The Mouse Action Recognition System (MARS) software pipeline for automated analysis of social behaviors in mice
Wu et al. Using a CNN-LSTM for basic behaviors detection of a single dairy cow in a complex environment
Xiong et al. Recognize complex events from static images by fusing deep channels
Marks et al. Deep-learning-based identification, tracking, pose estimation and behaviour classification of interacting primates and mice in complex environments
Zhao et al. Modified motion influence map and recurrent neural network-based monitoring of the local unusual behaviors for fish school in intensive aquaculture
Civelek et al. Automated moving object classification in wireless multimedia sensor networks
Gan et al. Automated detection and analysis of social behaviors among preweaning piglets using key point-based spatial and temporal features
Wang et al. A PCA-based frame selection method for applying CNN and LSTM to classify postural behaviour in sows
Ter-Sarkisov et al. Beef cattle instance segmentation using fully convolutional neural network
Manaf et al. Computer vision-based survey on human activity recognition system, challenges and applications
CN109063790A (zh) 对象识别模型优化方法、装置和电子设备
Chen et al. Monitoring the behaviours of pet cat based on YOLO model and raspberry Pi
Zhu et al. Egoobjects: A large-scale egocentric dataset for fine-grained object understanding
CN101330606B (zh) 基于嵌入式智能监视系统的自动侦测运动目标的方法
WO2023054822A1 (ko) 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치
Vrigkas et al. Classifying behavioral attributes using conditional random fields
WO2021182684A1 (ko) 가축의 개체별 이상 징후 포착 시스템 및 그 이용 방법
CN112966780A (zh) 一种动物行为识别方法及系统
Marks et al. Deep-learning based identification, pose estimation and end-to-end behavior classification for interacting primates and mice in complex environments
CN116189076A (zh) 一种鸟类观测站的观测识别系统及其方法
CN113068657B (zh) 一种智能化高效养猪方法及系统
CN113361392B (zh) 无监督的基于相机和无线定位的多模态行人重识别方法
WO2017200333A2 (ko) 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법
WO2021002709A1 (ko) 동물과의 커뮤니케이션을 이용한 콘텐츠 제공 방법, 프로그램, 및 시스템
Lian et al. Automated recognition and discrimination of human–animal interactions using Fisher vector and hidden Markov model

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22876597

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE