WO2022158674A1 - 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법 - Google Patents

딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법 Download PDF

Info

Publication number
WO2022158674A1
WO2022158674A1 PCT/KR2021/011439 KR2021011439W WO2022158674A1 WO 2022158674 A1 WO2022158674 A1 WO 2022158674A1 KR 2021011439 W KR2021011439 W KR 2021011439W WO 2022158674 A1 WO2022158674 A1 WO 2022158674A1
Authority
WO
WIPO (PCT)
Prior art keywords
behavior
livestock
livestock behavior
monitoring
deep learning
Prior art date
Application number
PCT/KR2021/011439
Other languages
English (en)
French (fr)
Inventor
박동선
윤숙
김형석
푸엔테스알바로
박종빈
Original Assignee
전북대학교산학협력단
목포대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전북대학교산학협력단, 목포대학교산학협력단 filed Critical 전북대학교산학협력단
Publication of WO2022158674A1 publication Critical patent/WO2022158674A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to livestock behavior recognition technology, and in particular, automatically recognizes and detects the behavior of livestock in a video using deep learning pre-learned using livestock behavior annotation, and stores it and performs short-term behavior analysis /
  • livestock behavior recognition technology automatically recognizes and detects the behavior of livestock in a video using deep learning pre-learned using livestock behavior annotation, and stores it and performs short-term behavior analysis /
  • To a system and method for automatic recognition and monitoring of livestock behavior using deep learning that can automatically monitor livestock behavior in real time by performing long-term behavioral analysis and performing an alarm when a dangerous situation occurs.
  • the existing contact type monitoring system used a sensor.
  • a representative method is a system using various sensors such as ear tagging, an accelerometer, and a motion color.
  • sensors such as ear tagging, an accelerometer, and a motion color.
  • it must be installed on the outer epidermis of the livestock, which may cause stress to the livestock, and may also be lost or physically damaged due to the sudden movement of the livestock.
  • CCTVs have been installed to remotely observe the movement of livestock in the shed, and a system that stores videos for a certain period of time has become widespread. Through this, breeders can observe the movements of livestock in real time.
  • the CCTV system allows livestock breeders to monitor in real time, but it is practically impossible to monitor in real time because they have to watch the monitor continuously. There is a problem in that it is difficult to grasp the part where the movement needs to be grasped, and it is also difficult to grasp the variable and complex animal behavior that is difficult to quantify.
  • the present invention has been devised to solve the above problems, and the livestock behavior is structured and annotated, and the livestock behavior annotation is detected through the deep learning-based automatic livestock behavior detection module,
  • a deep system that can automatically monitor livestock behavior in real time by dividing the short-term behavior monitoring for identifying dangerous situations and long-term behavior monitoring for performing complex animal behavior identification through statistical analysis and delivering the results to the breeder terminal It aims to provide a method for automatic recognition and monitoring of livestock behavior using running.
  • the livestock behavior automatic recognition and monitoring system using deep learning defines livestock behavior annotations by performing hierarchical labeling on the types of livestock behavior module; a livestock behavior automatic detection module for detecting livestock behavior using deep learning based on the livestock behavior annotation on a video input in real time; a livestock behavior data storage module for storing the detected livestock behavior data and time information at which the video is input; a first analysis module for livestock behavior that performs short-term behavior monitoring to analyze whether the stored livestock behavior data is in a current dangerous situation, and requests that a dangerous situation occurrence alarm be transmitted to a registered breeder terminal when it is confirmed that a dangerous situation occurs as a result of the short-term behavior monitoring; Long-term behavior monitoring that analyzes statistical information on stored livestock behavior data for a set period of time is performed, and if it is confirmed that a dangerous situation has occurred as a result of long-term behavior monitoring, livestock requesting to deliver a dangerous situation occurrence alert to the registered breeder terminal behavior second analysis module; a livestock behavior alarm module for
  • the livestock behavior annotation definition module includes an object part action that detects only a specific part of the behavior of an object, an individual obuect action that detects the behavior of an individual object, between an object and an object, or a constant
  • an object part action that detects only a specific part of the behavior of an object
  • an individual obuect action that detects the behavior of an individual object, between an object and an object
  • a constant Define a hierarchical understanding level structure in which action types are hierarchized as complex actions (group/interaction action, group/interacion activity) in which group objects perform interrelated actions, and by level according to the defined hierarchical understanding level structure It is characterized by deriving annotations on livestock behavior types.
  • the livestock behavior annotation definition module converts the behavior domain information of livestock into a graph structure to define the hierarchical understanding level structure, and defines situational information or detection targets related to livestock behavior as basic nodes of the graph,
  • the graph node structure is structured by defining the correlation between each node, organized into categories using the structured node structure, and the livestock behavior domain information is classified by level to perform part action, simple action ( It is characterized in that the hierarchical labeling structure is designed by mapping from the lower to the upper hierarchical level of understanding as individual action) and group action, and the action type is stratified through the designed hierarchical labeling structure.
  • the part action includes at least Ruminating, Moving tail, and Moving head
  • the individual action is Walking, Standing, Resting, Sleeping, Eating, Standing up, Lying down
  • Self-grooming includes at least, wherein the group action includes fighting ( Fighting), social licking (Social licking), riding (Mounting), characterized in that it includes at least feeding (Feeding).
  • the livestock behavior automatic detection module compares the current frame and the previous frame of the input video to generate a flow video indicating a moving area, extracts appearance features from the input video, and simultaneously extracts an object. Detect the ROI of an object, extract motion features from the generated flow video, perform ROI pooling on the extracted external features and motion features, respectively, and then perform average pooling to synthesize and create a bounding box on the synthesized image And it is characterized by expressing a class.
  • the livestock behavior automatic detection module detects livestock behavior using deep learning (CNN) that has been pre-trained using the defined livestock behavior annotation, and training of the livestock behavior detection result according to the pre-trained deep learning feature extraction
  • the loss function for minimizing the loss is calculated as the sum of the location information loss function and the class information loss function, the location information loss function is calculated through Equation (1), and the class information loss function is calculated through Equation (2) It is characterized in that it is calculated.
  • the first livestock behavior analysis module transmits a short-term behavior monitoring result to the livestock behavior data storage module to request storage
  • the second livestock behavior analysis module transmits the long-term behavior monitoring result to the livestock behavior data storage module to request storage
  • a method for automatic recognition and monitoring of livestock behavior using deep learning includes: defining livestock behavior annotations by performing hierarchical labeling on the types of livestock behavior; automatically detecting and storing livestock behavior from an input video using pre-learned deep learning based on the defined livestock behavior annotation; Perform short-term behavior monitoring to analyze whether a current dangerous situation occurs on the stored livestock behavior data, or extract livestock behavior data stored for a set period of time from among the stored livestock behavior data, and livestock behavior stored for the set period of time performing long-term behavior monitoring to analyze whether a dangerous situation has occurred by extracting statistical information about the data; As a result of the short-term behavior monitoring, if it is confirmed that a current dangerous situation occurs, generating and delivering an alarm message including at least the dangerous situation occurrence information to a registered zookeeper terminal; and generating and delivering an alarm message including at least the dangerous situation occurrence information to a registered zookeeper terminal when the occurrence of a dangerous situation is confirmed as a result of the
  • the step of defining the livestock behavior annotation includes: converting the behavior domain information of the livestock into a graph structure, and defining situational information or detection target related to the livestock behavior as basic nodes of the graph; structuring a graph node structure by defining a correlation between each node, and arranging the graph node structure into categories using the structured node structure; Design a hierarchical labeling structure by classifying the behavior domain information of the livestock by level and mapping from lower to upper hierarchical understanding levels as part action, individual action, and group action. to do; Through the designed hierarchical labeling structure, the object part action detects only a specific part of the object's behavior, the individual object action detects the behavior of an individual object, the object and the object, or a certain group. Define a hierarchical understanding level structure in which behavior types are stratified into complex behaviors (group/interaction behavior, group/interacion activity) in which objects of Including; deriving an annotation for the behavior type.
  • the step of automatically detecting and storing livestock behavior from the inputted video includes: generating a flow video indicating a movement area by comparing a current frame and a previous frame of the input video; extracting an appearance feature from the input video; extracting motion features from the generated flow video; extracting an object from the input video and detecting an ROI of the object; synthesizing by performing average pooling after performing each detected ROI pooling on the extracted appearance features and motion features; and expressing a bounding box and a class on the synthesized image.
  • the present invention by structurally annotating the behavior of livestock and applying it to the deep learning technology, effective recognition and real-time monitoring of the behavior of the livestock is possible, thereby facilitating the management work of the breeder.
  • livestock behavior recognition and monitoring are performed using only the images acquired from the camera without facilities such as a separate acceleration sensor and gyro sensor, so that the outdated livestock facility system can be improved at a low cost, so livestock products responding to changes in the import and export environment There is an effect that can be used to strengthen price competitiveness.
  • FIG. 1 is a block diagram schematically showing the overall system configuration to which the automatic recognition and monitoring system for animal behavior using deep learning according to an embodiment of the present invention is applied.
  • FIG. 2 is a block diagram schematically showing the detailed configuration of a system for automatic recognition and monitoring of livestock behavior using deep learning according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a graph node category for domain information conversion for deriving livestock behavior annotation in the livestock behavior annotation definition module shown in FIG. 2 .
  • FIG. 4 is a diagram illustrating grouping by level of livestock behavior domains for deriving livestock behavior annotations in the livestock behavior annotation definition module shown in FIG. 2 .
  • FIG. 5 is a diagram illustrating each activity annotation grouped by level with respect to the "action" domain in the hierarchical labeling structure shown in FIG. 4 .
  • FIG. 6 is a diagram illustrating a hierarchical structure of Understanding level defined for hierarchical domain information for deriving livestock behavior annotations in the livestock behavior annotation definition module shown in FIG. 2 .
  • FIG. 7 is a diagram schematically showing the functional configuration of the automatic animal behavior detection module shown in FIG. 2 .
  • FIG. 8 is a view illustrating a result of recognizing a livestock behavior from a video according to the automatic livestock behavior detection module shown in FIG. 2 .
  • FIG. 9 is a diagram illustrating statistics on the behavior of Korean cattle displayed in the video during the monitoring period in the automatic recognition and monitoring system for livestock behavior using deep learning according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating an operation process of an automatic animal behavior recognition and monitoring system using deep learning according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components are not limited by the terms, and the terms are for the purpose of distinguishing one component from other components. used only as
  • FIG. 1 is a block diagram schematically showing the configuration of the entire system to which the automatic recognition and monitoring system for animal behavior using deep learning technology according to an embodiment of the present invention is applied.
  • the system 30 and the zookeeper terminal 40 may be included.
  • the livestock behavior automatic recognition and monitoring system 30 and the breeder terminal 40 may be interconnected through a communication network.
  • the CCTV system 10 is installed in a livestock barn to acquire a moving picture by photographing livestock, and may be configured to include a camera 11 , an image collector 12 and a database 13 .
  • the number of cameras 11 may be plural.
  • the camera 11 transmits the image of the congratulatory speech to the real-time image collector 12 , and the image collector 12 stores the transferred image in the database 13 .
  • the livestock behavior automatic recognition and monitoring system 30 may acquire the image stored in the database 13 in real time to perform livestock behavior recognition and monitoring.
  • the camera 20 is distributed and installed at an appropriate location so as to photograph the livestock in the barn, and there may be a plurality of cameras.
  • This camera 20 takes a picture of a livestock bar in the installed direction and delivers the captured image to the livestock behavior automatic recognition and monitoring system 30 in real time.
  • the cameras 11 and 20 are not limited to the type, name, and shooting method, and the camera according to the present invention is a device capable of capturing images, such as an RGB camera, an infrared camera, a thermal imaging camera, and a depth camera. (11, 20) should be interpreted.
  • the livestock behavior automatic recognition and monitoring system 30 automatically recognizes and detects and stores the behavior of livestock from the images acquired in real time from the database 13 of the CCTV system 10 or images transmitted in real time from the camera 20 . And, it is possible to monitor whether a dangerous situation occurs by performing short-term behavioral analysis and long-term behavioral analysis on the stored livestock behavior data, and notify an alarm to the breeder terminal 40 when a dangerous situation occurs. This enables the breeder to take real-time actions against dangerous situations.
  • the breeder terminal 40 is a terminal capable of receiving and expressing a dangerous situation occurrence warning message, and includes a smart phone, a wearable device capable of voice/video phone calls, a tablet PC, a notebook PC, and the like, and a wireless terminal, in case Accordingly, it may include a wired terminal such as a desktop PC or other communication-only terminal.
  • the communication network may be a wired/wireless network, where the wireless network is for establishing wireless communication, and includes a wireless LAN (WLAN), a digital living network alliance (DLNA), a wireless broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTEA) ), a broadband wireless mobile communication service (Wireless Mobile Broadband Service: WMBS), etc. may be applied.
  • WLAN wireless LAN
  • DLNA digital living network alliance
  • WiFi wireless broadband
  • WiFi Wireless Broadband Service
  • WMBS Wireless Mobile Broadband Service
  • livestock behavior can be automatically monitored by applying the automatic recognition and monitoring system for livestock behavior using deep learning technology according to an embodiment of the present invention to a livestock barn.
  • FIG. 2 is a block diagram schematically showing the detailed configuration of a system for automatic recognition and monitoring of livestock behavior using deep learning according to an embodiment of the present invention.
  • the livestock behavior automatic recognition and monitoring system 30 using deep learning includes a livestock behavior annotation definition module 31 , an automatic livestock behavior detection module 32 , and livestock behavior
  • the data magnetic field module 33 , the first livestock behavior analysis module 34 , the livestock behavior second analysis module 35 , the livestock behavior alert module 36 , the communication module 37 , and the like may be implemented.
  • the livestock behavior annotation definition module 31 structurally defines the livestock behavior annotation in advance to detect the livestock behavior, and includes the defined livestock behavior annotation information.
  • the defined livestock behavior annotation information is then used for automatic detection of livestock behavior from the image.
  • This livestock behavior annotation definition module 31 defines livestock behavior annotations by performing hierarchical labeling of the types of livestock behavior required for deep learning, but for this purpose, first, the structure is defined at a hierarchical level of understanding, According to the definition, annotations are performed for each level to derive livestock behavior annotations.
  • the livestock behavior automatic detection module 32 automatically detects the behavior of the livestock in the video using the deep learning object detection technology trained in advance with the livestock behavior annotation. That is, the livestock behavior automatic detection module 32 detects livestock behavior by performing deep learning feature extraction based on livestock behavior annotation on the input livestock image, and transmits the detected livestock behavior data to the livestock behavior data magnetic field module 33. Save.
  • the livestock behavior data storage module 33 stores the transmitted livestock behavior data. At this time, the photographing time information for each detected livestock behavior is stored together. Also, the livestock behavior data storage module 33 may store short-term behavior analysis information transmitted from the first livestock behavior analysis module 34 and long-term behavior analysis information transmitted from the second livestock behavior analysis module 35 , respectively. Although not shown, the livestock behavior data storage module 33 may include a database for storing each data.
  • the first livestock behavior analysis module 34 performs short-term behavior analysis to analyze in real time whether an imminent dangerous situation occurs from the livestock behavior data stored in the livestock behavior data storage module 33 .
  • the first livestock behavior analysis module 34 performs an alert request to the livestock behavior alert module 36 so as to alert the breeder if the short-term behavior analysis result is confirmed as a dangerous situation.
  • the alert request may include at least short-term behavior analysis result information identified as a dangerous situation.
  • the first livestock behavior analysis module 33 transmits the short-term behavior analysis information after the short-term behavior analysis to the livestock behavior data storage module 34 and requests to be stored.
  • the second livestock behavior analysis module 35 extracts statistical information for a set period of time using the livestock behavior data stored in the long term to perform long-term behavior analysis on whether a dangerous situation occurs, and the long-term behavior analysis result If it is confirmed that a dangerous situation has occurred, it may be requested to the livestock behavior alarm module 36 to perform an alarm to the breeder terminal. At this time, the livestock behavior second analysis module 35 transmits the long-term behavior analysis result to the livestock behavior data storage module 33 and requests to be stored.
  • the livestock behavior first analysis module 34 of the present invention performs short-term behavior monitoring through short-term behavior analysis for the current situation, and the livestock behavior second analysis module 35 performs long-term behavior analysis on the situation for a certain period of time. Long-term behavior monitoring is performed through each, and the monitoring results can be reported to the breeder. At this time, the livestock behavior first analysis module 34 requests to immediately alert the breeder when a dangerous situation occurs during short-term behavior monitoring.
  • the livestock behavior alert module 36 sends an alert message including at least short-term behavior analysis result information or long-term behavior analysis result identified as a dangerous situation to the registered breeder terminal 40 when a warning request for a dangerous situation is transmitted. It is generated and transmitted through the communication module 37 .
  • the communication module 37 transmits a dangerous situation occurrence warning message to the breeder's terminal 40 through a wired/wireless network, and may include a repeater for long-distance transmission.
  • an output module may be further provided, and at the request of the breeder, the detection result of the livestock behavior automatic detection module 32, the analysis result of the first livestock behavior analysis module 34, and the livestock behavior second analysis module
  • the analysis result of (35), etc. can be displayed by calling from the livestock behavior data storage module (33).
  • the system for automatic recognition and monitoring of livestock behavior using deep learning defines livestock behavior as a hierarchical structure of livestock behavior annotation, and a deep learning based on the defined livestock behavior annotation.
  • Livestock behavior can be automatically monitored by real-time recognition/detection of livestock behavior from images captured using learning (CNN) and short-term behavior/long-term behavior analysis.
  • CNN learning
  • FIG. 3 is a diagram illustrating a graph node category for domain information conversion for deriving livestock behavior annotation in the livestock behavior annotation definition module shown in FIG. 2 .
  • the livestock behavior annotation definition module 31 structures a graph node category for "behavior" domain information conversion in order to derive livestock behavior annotations.
  • a graph node category for "behavior" domain information conversion in order to derive livestock behavior annotations.
  • This method can be used to structure the "behavioral" domain information of livestock by calling it into a graph.
  • necessary context information or detection targets may be defined as basic node categories of the graph, and their relationship may be defined. All or part of the graph elements of the defined graph may be selectively used to achieve a set level-specific understanding goal.
  • the basic node categories of the graph may include interaction, farm location, lighting, symptom, partial action, action, activity, video scene, and the like. Interactions group human-livestock, livestock-livestock, livestock-object, etc. at the same level, farm location groups cages, feed, drink, and walls at the same level, and lighting is day, night, bright, dark, etc. are grouped at the same level, symptoms are grouped at the same level as quiet, stressed, tired, irregular, noisy, aggressive, etc., and partial actions group head and tail movements at the same level, and behaviors include walking, Sleeping, resting, standing, eating, etc.
  • a category can be formed by grouping alarms and the like at the same level.
  • FIG. 4 is a diagram illustrating grouping by level of livestock behavior domains for deriving livestock behavior annotations in the livestock behavior annotation definition module shown in FIG. 2 .
  • the "behavior" domain is divided by level along with the structured correlation information as shown in the graph shown in FIG. 3 to form “part action” , “individual action”, “group action”, and mapping from lower to upper hierarchical understanding levels to design a hierarchical labeling structure corresponding thereto as shown in FIG. 4 .
  • the lower levels of ruminating, moving tail, and moving head are bundled and mapped to the upper level of “part action”, and walking ), standing, resting, sleeping, eating, standing up, lying down, and self-grooming Mapping to a higher level of "individual action” and grouping the lower levels of fighting, social licking, mounting, and feeding together to a higher level of "group action”
  • FIG. 5 is a diagram illustrating each behavior annotation grouped by level with respect to the "behavior" domain in the hierarchical labeling structure shown in FIG. 4 .
  • the behavior of a cow corresponding to the hierarchical labeling structure designed as shown in FIG. 4 is detected from the video, and each motion is annotated. carry out
  • FIG. 6 is a diagram illustrating a hierarchical structure of Understanding level defined for hierarchical domain information for deriving livestock behavior annotations in the livestock behavior annotation definition module shown in FIG. 2 .
  • the understanding level structure through hierarchical labeling includes “Object Part Action” that detects only a specific part of the behavior, and “Individual” that detects the behavior of an individual object.
  • Object Action “composite action (group/interaction action, Group/Interaction Activity)” in which objects and objects, or a group of objects, perform interrelated actions, includes layers.
  • FIG. 7 is a diagram schematically showing the functional configuration of the automatic animal behavior detection module shown in FIG. 2 .
  • the livestock behavior automatic detection module 32 the livestock behavior learned with predefined annotations using CNN (Convolutional Neural Network) based deep learning Detect from video.
  • CNN Convolutional Neural Network
  • the livestock behavior automatic detection module 32 includes a flow video generator 321, an appearance feature extractor 322, an ROI frame level detector 323, a motion feature extractor 324, a final frame generator 325, etc. can be implemented.
  • a video recorded in real time as an input image for detecting livestock behavior and a flow video made using the current frame and the previous frame of the video are used together, and the video is an appearance feature extractor 322 and an ROI frame level detector.
  • the flow video is input to the motion feature extractor 324 .
  • the flow video generator 321 compares the current frame of the input video with two frames of the previous frame to display a motion region to generate a flow video, and move the generated flow video to the motion feature. It passes to the extractor 324 .
  • the external feature extractor 322 extracts the external features of the object, and thereafter, the object information (ROI information) transmitted from the ROI frame level detector 323 and the external features of the object are combined with ROI pooling (ROI Pooling).
  • ROI information object information
  • ROI Pooling ROI pooling
  • the appearance feature extractor 322 extracts a three-dimensional feature map of T' ⁇ H' ⁇ W' ⁇ C after ROI pooling and performs average pooling (Avg. Pooling) in a two-dimensional format of H' ⁇ W' ⁇ C Extract the feature map.
  • the ROI frame level detector 323 performs object detection based on a deep CNN pre-trained with livestock behavior annotation, for example, YOLOv3, etc. may be implemented to be used, and from the input video YOLOv3 is applied to detect an ROI including a specific behavior based on the visual appearance of a cow, and the ROI of the detected object is transmitted to the appearance feature extractor 322 and the motion feature extractor 324, respectively, and each feature extractor 322, 324 ) is combined with the detected object ROI and the appearance and motion characteristics of the extracted object.
  • the object ROI is obtained using keyframes extracted from the video.
  • the ROI frame level detector 323 performs deep learning training based on livestock behavior annotation, so that the learning training for classification and positioning in object detection aims to minimize the loss function.
  • the training loss consists of a position information loss function and a class information loss function.
  • Equation 1 The position function loss function is as shown in Equation 1.
  • the position function loss function is the actual x position and the predicted x position ( ), the actual y position and the predicted y position ( ) and the actual and predicted positions of width w and height h ( , ) to learn the difference.
  • Equation (2) the loss function of the class information is as shown in Equation (2).
  • cell (i) contains an object
  • C i is the confidence score
  • P i (c) is the conditional probability when cell (i) contains an object of class (c), denotes the conditional class probability, respectively.
  • the cell of the class information loss function refers to a feature that is a result of deep learning divided into several bounding boxes.
  • the class information loss function consists of three sub-expressions.
  • the first expression indicates the confidence score of the original and predicted object in the cell (i) included in the object, and the second expression is the cell (i) contains the object. In the case of not doing so, the confidence score of the original and predicted object is shown, and the third equation represents the difference between the original class probability value and the predicted class probability value for each object.
  • the motion feature extractor 324 extracts the motion feature of the object, and then combines the object information (ROI) transmitted from the ROI frame level detector 323 with the motion feature of the object (ROI Pooling).
  • the motion feature extractor 324 extracts a three-dimensional feature map of T' ⁇ H' ⁇ W' ⁇ C after ROI pooling and performs average pooling (Avg. Pooling) to obtain a two-dimensional H' ⁇ W' ⁇ C Extract the feature map.
  • the final frame generator 325 synthesizes the image of the appearance feature extractor 322 and the image of the motion feature extractor 324, and considers the class confidence score in the image to form a bounding box. output to be displayed.
  • each feature extractor 322, 324 synthesizes information using two pooling, and then, in the final frame generator 325, a bounding box (coordinate), class information (action type), etc., are outputted by performing livestock behavior annotation so that information such as information is displayed.
  • FIG. 8 is a view illustrating the result of recognizing livestock behavior from a video according to the automatic livestock behavior detection module shown in FIG. 2
  • (a), (b), (c) and (d) are the daytime
  • (c), (f) and (g) represent the nighttime environment, respectively.
  • the experimental video is a video collected from different livestock farms at different times of the day for Korean cattle, and the collected videos show how the behavior of Korean cattle is different in various types of environments (day and night), that is, at different times of the day. Livestock behavior recognition was performed on the animals, and each color label means a different activity.
  • the cow mainly stands, walks, eats, and takes actions that require more motion, such as grooming themselves. .
  • group behaviors such as fighting, social licking, and feeding are also detected.
  • cows at night, as shown in Figs. 8(c), (f) and (g), cows generally show more calm behavior such as resting, sleeping, rumination, and sometimes standing at night.
  • FIG. 9 is a view illustrating statistics on the behavior of Korean cattle displayed in the video during the monitoring period in the automatic recognition and monitoring system for livestock behavior using deep learning according to an embodiment of the present invention. statistics, where (a), (b), (c) and (d) are in the daytime environment, and (c), (f) and (g) are the most performed activities found in the video in the night environment. Each statistic is presented.
  • Cows also engage in independent activities such as standing, walking, and resting, and in certain situations they may exhibit some general reactions depending on the conditions of the scene. For example, when feeding, all cows line up near the food to get it and remain alert when there is a human or certain specific sound.
  • FIG. 10 is a flowchart illustrating an operation process of an automatic animal behavior recognition and monitoring system using deep learning according to an embodiment of the present invention.
  • the livestock behavior automatic recognition and monitoring system performs the livestock behavior annotation definition in advance (S100).
  • Livestock behavior annotation is defined by level of livestock behavior through hierarchical labeling structuring of types of livestock behavior. Part actions are Ruminating, Moving tail, and Moving head. head), and individual actions are Walking, Standing, Resting, Sleeping, Eating, Standing up, Lying down. ), at least self-grooming, and group action includes at least fighting, social licking, mounting, and feeding.
  • the step of defining the livestock behavior annotation is a step of converting the behavior domain information of the livestock into a graph structure, but defining the situation information or detection target related to the livestock behavior as basic nodes of the graph, between each node Structuring the graph node structure by defining the interrelationships, arranging them into categories using the structured node structure, classifying the behavior domain information of livestock by level to perform part action and individual action , designing a hierarchical labeling structure by mapping from lower to upper hierarchical level of understanding as group action part action), a simple action level that detects the action of an individual object (individual obuect action), a complex action (group/interac ) can be implemented to define a hierarchical understanding level structure in which the behavior types are hierarchical, and to include the step of deriving annotations for livestock behavior types by level according to the defined hierarchical understanding level structure.
  • livestock behavior is automatically detected from the input video using deep learning learned based on the livestock behavior annotation (S110).
  • the step of automatically detecting livestock behavior from the input video is a step of comparing the current frame of the input video with the previous frame to generate a flow video indicating the area in which there is movement, and the appearance from the input video Extracting features, extracting motion features from the generated flow video, extracting an object from an input video to detect an ROI of the object, pooling the ROIs detected in the extracted appearance features and motion features, respectively .
  • the detected livestock behavior data is stored (S120), short-term behavior analysis of the stored livestock behavior data is performed, and the occurrence of a dangerous situation is checked using the short-term behavior analysis result (S130).
  • a dangerous situation occurrence warning message including at least dangerous situation occurrence information is generated and an alarm is performed to the zookeeper terminal (S160).
  • a dangerous situation occurrence warning message including at least dangerous situation occurrence information is generated and an alarm is performed to the zookeeper terminal (S160).

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental Sciences (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Animal Husbandry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Human Computer Interaction (AREA)

Abstract

본 발명은 가축행동 어노테이션(annotation)을 이용하여 사전 학습된 딥러닝을 이용하여 동영상에서 가축의 행동을 자동으로 인식 및 검출하고, 이를 저장 및 단기행동분석/장기행동분석을 수행하여 위험상황 발생시 경보를 수행함으로써 가축 행동을 자동으로 실시간 모니터링할 수 있는 딥러닝(deep learning)을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법에 관한 것이다.

Description

딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법
본 발명은 가축행동 인식 기술에 관한 것으로, 특히, 가축행동 어노테이션(annotation)을 이용하여 사전 학습된 딥러닝을 이용하여 동영상에서 가축의 행동을 자동으로 인식 및 검출하고, 이를 저장 및 단기행동분석/장기행동분석을 수행하여 위험상황 발생시 경보를 수행함으로써 가축 행동을 자동으로 실시간 모니터링할 수 있는 딥러닝(deep learning)을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법에 관한 것이다.
우리나라에서 한우와 같은 가축의 사육 형태는 일반적으로 축사를 이용한다. 그러나 국내 축산 농가가 60세 이상의 고연령층이 40%이상 차지하며, 장기적으로 농촌의 노동력 부족이 심각해짐에 따라 스마트한 축사 환경 개발이 필요해졌다. 스마트 축사 환경 개발은 동물의 높은 수준의 복지를 보장하고, 불필요한 스트레스를 유발하지 않으며, 주변과 환경으로부터 독립된 일련의 솔루션이 필요하다. 이러한 솔루션의 방법 중 한 가지가 모니터링 시스템이다.
기존 접촉형 모니터링 시스템은 센서를 사용하였다. 대표적인 방법은 귀 태깅, 가속도계, 모션 칼라 등 다양한 센서를 이용한 시스템이 있다. 그러나 이러한 장치를 사용하면 가축 외부 표피에 설치해야 하고, 이로 인해 가축에게 스트레스를 유발할 가능성이 있으며, 또한, 가축의 급격한 움직임으로 손실되거나 물리적 손상을 입을 수 있어 센서의 재구매 및 주기적인 배터리 교체 등 유지보수를 위한 추가적인 비용 문제가 있으며, 동물의 움직임을 방해하여 정상적인 행동에도 영향을 미칠 수 있다.
최근에는 비접촉 형태의 모니터링 솔루션 형태로, 원격으로 축사 내 가축의 움직임을 관찰하기 위해 CCTV가 설치되어 일정 기간 동영상으로 저장하는 시스템이 많이 보급되었다. 이를 통해 사육자는 가축의 움직임을 실시간으로 관찰할 수 있다. 그러나 CCTV 시스템은 가축 사육자가 실시간 모니터링이 가능하지만, 계속 모니터를 지켜봐야 하므로 실질적으로 실시간 모니터링이 불가능하며, 가축의 급격한 움직임, 위험 상황 등 실시간 조치가 필요한 부분 또는 병증 발현 등 오랜 기간 지속적인 모니터링을 통해 통계적으로 움직임을 파악해야 하는 부분 등의 파악이 힘들 뿐만 아니라, 정량화하기 어려운 가변적이고 복잡한 동물 행동을 파악하기도 힘들다는 문제점이 있다.
본 발명은 상기의 문제점들을 해결하기 위하여 안출된 것으로서, 가축 행동 양식을 구조화하여 어노테이션(annotation)하고, 가축행동 어노테이션을 딥러닝(deep learning) 기반의 가축행동 자동검출 모듈을 통해 가축행동을 검출, 및 저장하고, 위험상황 파악을 위한 단기행동 모니터링과 복잡한 동물행동 파악을 통계 분석을 통해 수행하기 위한 장기행동 모니터링으로 구분하여 그 결과를 사육사 단말로 전달함으로써 가축행동을 자동으로 실시간 모니터링 할 수 있는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템 그 방법을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템은, 가축행동의 유형에 대한 계층적 레이블링을 수행하여 가축행동 어노테이션을 정의하는 가축행동 어노테이션 정의 모듈; 실시간 입력되는 동영상을 상기 가축행동 어노테이션에 기반한 딥러닝을 이용하여 가축행동을 검출하는 가축행동 자동검출 모듈; 검출된 가축행동 데이터와 상기 동영상이 입력된 시간정보를 함께 저장하는 가축행동 데이터 저장 모듈; 저장된 가축행동 데이터의 현재 위험상황 여부를 분석하는 단기행동 모니터링을 수행하고, 단기행동 모니터링 결과 위험상황 발생으로 확인되면 등록된 사육사 단말로 위험상황 발생 경보를 전달하도록 요청하는 가축행동 제1 분석 모듈; 설정된 일정 기간의 시간 동안의 저장된 가축행동 데이터에 대한 통계 정보를 분석하는 장기행동 모니터링을 수행하고, 장기행동 모니터링 결과 위험상황 발생으로 확인되면 등록된 사육사 단말로 위험상황 발생 경보를 전달하도록 요청하는 가축행동 제2 분석 모듈; 상기 위험상황 발생 경보의 전달 요청이 수신되면, 등록된 사육사 단말로 위험상황 발생 경보 메시지를 생성하여 전달하는 가축행동 경보 모듈; 및 생성된 위험상황 발생 경보 메시지가 상기 등록된 사육사 단말로 전송되도록 하는 통신 모듈;을 포함한다.
상기 가축행동 어노테이션 정의 모듈은, 객체의 행동을 특정 부위만 검출하는 부위별 행동 수준(object part action), 개별 객체의 행동을 검출하는 단순 행동 수준(individual obuect action), 객체와 객체 사이, 또는 일정 그룹의 객체들이 상호 연관된 행동을 수행하는 복합 행동(그룹/상호작용 행동, group/interacion activity)으로 행동 유형을 계층화한 계층적 이해 수준 구조를 정의하고, 정의된 계층적 이해 수준 구조에 따라 수준별로 가축행동 유형에 대한 어노테이션을 도출하는 것을 특징으로 한다.
상기 가축행동 어노테이션 정의 모듈은, 상기 계층적 이해 수준 구조를 정의하기 위해, 가축의 행동 도메인 정보를 그래프 구조로 전환하되, 가축행동과 관련된 상황정보 또는 검출대상을 그래프의 기본 노드들로 정의하고, 각 노드들 간 상호 연관 관계를 정의하여 그래프 노드 구조를 구조화하고, 구조화된 노드 구조를 사용하여 카테고리로 정리하며, 상기 가축 행동 도메인 정보를 수준별로 구분하여 부위별 행동(part action), 단순 행동(individual action), 그룹행동(group action)으로 하위에서 상위로 계층적 이해 수준으로 매핑하여 계층적 레이블링 구조를 설계하며, 설계된 계층적 레이블링 구조를 통해 행동 유형 계층화를 수행하는 것을 특징으로 한다.
상기 부위별 행동(part action)은 반추(Ruminating), 꼬리 흔들기(Moving tail), 머리 흔들기(Moving head)를 적어도 포함하며, 상기 단순 행동(individual action)은 걷기(Walking), 서기(Standing), 휴식(Resting), 잠자기(Sleeping), 먹기(Eating), 일어서기(Standing up), 눕기(Lying down), 자기손질(Self-grooming)을 적어도 포함하며, 상기 그룹행동(group action)은 싸움(Fighting), 사회적 핥기(Social licking), 올라타기(Mounting), 젖먹이기(Feeding)를 적어도 포함하는 것을 특징으로 한다.
상기 가축행동 자동검출 모듈은, 상기 입력된 동영상의 현재 프레임과 직전 프레임을 비교하여 움직임이 있는 영역을 표시한 플로우 동영상을 생성하고, 상기 입력된 동영상으로부터 외형 특징을 추출하는 동시에 객체를 추출하여 해당 객체의 ROI를 검출하고, 생성된 플로우 동영상으로부터 움직임 특징을 추출하며, 추출된 외형 특징 및 움직임 특징에 각각 ROI 풀링을 수행한 후 평균 풀링을 수행하여 종합하고 종합된 영상에 경계상자(bounding box) 및 클래스를 표출하는 것을 특징으로 한다.
상기 가축행동 자동검출 모듈은, 정의된 가축행동 어노테이션을 이용하여 사전 훈련을 수행한 딥러닝(CNN)을 사용하여 가축행동을 검출하며, 사전 훈련된 딥러닝 특징 추출에 따른 가축행동 검출결과의 훈련손실을 최소화하기 위한 손실함수는 위치정보 손실함수와 클래스정보 손실함수의 합으로 산출되며, 위치정보 손실 함수는 수학식 (1)을 통해 산출되며, 클래스 정보 손실함수는 수학식 (2)을 통해 산출되는 것을 특징으로 한다.
Figure PCTKR2021011439-appb-I000001
Figure PCTKR2021011439-appb-I000002
(여기서, x는 영상 영역에서 실제 위치를,
Figure PCTKR2021011439-appb-I000003
는 예측된 x의 위치를, y는 실제 위치를,
Figure PCTKR2021011439-appb-I000004
는 예측된 y의 위치를, w는 넓이의 실제 위치를,
Figure PCTKR2021011439-appb-I000005
는 넓이의 예측 위치를, h는 높이의 실제 위치를,
Figure PCTKR2021011439-appb-I000006
는 높이의 예측 위치를 각각 나타낸다. 또한,
Figure PCTKR2021011439-appb-I000007
은 셀(cell)(i)이 객체를 포함하는 경우를,
Figure PCTKR2021011439-appb-I000008
은 셀(i)의 j번째 경계상자(bounding box)가 예측과 관련된 경우를, Ci은 신뢰도(confidence score)를,
Figure PCTKR2021011439-appb-I000009
는 예측 신뢰도를, Pi(c)는 셀(i)이 클래스(c)의 객체를 포함하는 경우의 조건부 확률을,
Figure PCTKR2021011439-appb-I000010
는 조건부 클래스 확률을 각각 나타낸다.)
상기 가축행동 제1 분석 모듈은, 단기행동 모니터링 결과를 상기 가축행동 데이터 저장 모듈로 전달하여 저장을 요청하고, 상기 가축행동 제2 분석 모듈은, 장기행동 모니터링 결과를 상기 가축행동 데이터 저장 모듈로 전달하여 저장을 요청하는 것을 특징으로 한다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 방법은, 가축행동의 유형에 대한 계층적 레이블링을 수행하여 가축행동 어노테이션을 정의하는 단계; 정의된 가축행동 어노테이션을 기반으로 사전 학습된 딥러닝을 이용하여 입력되는 동영상으로부터 가축행동을 자동 검출하여 저장하는 단계; 저장된 가축행동 데이터에 대한 현재 위험상황 발생 여부를 분석하는 단기행동 모니터링을 수행하거나, 저장된 가축행동 데이터 중 설정된 일정 기간의 시간 동안 저장된 가축행동 데이터를 추출하고, 상기 설정된 일정 기간의 시간 동안 저장된 가축행동 데이터에 대한 통계 정보를 추출하여 위험상황 발생 여부를 분석하는 장기행동 모니터링을 수행하는 단계; 상기 단기행동 모니터링 수행 결과, 현재 위험상황 발생이 확인되면 등록된 사육사 단말로 상기 위험상황 발생 정보를 적어도 포함하는 경보 메시지를 생성하여 전달하는 단계; 및 상기 장기행동 모니터링 수행 결과, 위험상황 발생이 확인되면, 등록된 사육사 단말로 상기 위험상황 발생 정보를 적어도 포함하는 경보 메시지를 생성하여 전달하는 단계;를 포함한다.
상기 가축행동 어노테이션을 정의하는 단계는, 가축의 행동 도메인 정보를 그래프 구조로 전환하되, 가축행동과 관련된 상황정보 또는 검출대상을 그래프의 기본 노드들로 정의하는 단계; 각 노드들 간 상호 연관 관계를 정의하여 그래프 노드 구조를 구조화하고, 구조화된 노드 구조를 사용하여 카테고리로 정리하는 단계; 상기 가축의 행동 도메인 정보를 수준별로 구분하여 부위별 행동(part action), 단순 행동(individual action), 그룹행동(group action)으로 하위에서 상위로 계층적 이해 수준으로 매핑하여 계층적 레이블링 구조를 설계하는 단계; 설계된 계층적 레이블링 구조를 통해 객체의 행동을 특정 부위만 검출하는 부위별 행동 수준(object part action), 개별 객체의 행동을 검출하는 단순 행동 수준(individual obuect action), 객체와 객체 사이, 또는 일정 그룹의 객체들이 상호 연관된 행동을 수행하는 복합 행동(그룹/상호작용 행동, group/interacion activity)으로 행동 유형을 계층화한 계층적 이해 수준 구조를 정의하고, 정의된 계층적 이해 수준 구조에 따라 수준별로 가축행동 유형에 대한 어노테이션을 도출하는 단계;를 포함한다.
상기 입력되는 동영상으로부터 가축행동을 자동 검출하여 저장하는 단계는, 상기 입력되는 동영상의 현재 프레임과 직전 프레임을 비교하여 움직임이 있는 영역을 표시한 플로우 동영상을 생성하는 단계; 상기 입력되는 동영상으로부터 외형 특징을 추출하는 단계; 생성된 플로우 동영상으로부터 움직임 특징을 추출하는 단계; 상기 입력되는 동영상으로부터 객체를 추출하여 해당 객체의 ROI를 검출하는 단계; 상기 추출된 외형 특징 및 움직임 특징에 각각 검출된 ROI 풀링을 수행한 후 평균 풀링을 수행하여 종합하는 단계; 및 종합된 영상에 경계상자(bounding box) 및 클래스를 표출하는 단계;를 포함한다.
본 발명에 따르면, 가축의 행동을 구조적으로 어노테이션(annotation)하고, 이를 딥러닝 기술에 적용함으로써 가축행동의 효과적인 인식 및 실시간 모니터링이 가능하게 하여 사육사의 관리 작업을 용이하게 하는 효과가 있다.
또한, 본 발명에 따르면, 기존 카메라가 설치된 축사 환경에 그대로 적용되므로 적은 비용으로 가축행동 자동 인식 및 모니터링 서비스 구현이 가능한 효과가 있다.
또한, 본 발명에 따르면, 딥러닝 기술을 이용하여 축사 내 가축의 행동을 이해하는 스마트 모니터링을 통해 가축의 위험 상황 및 이상 행동의 발생시 경고가 가능하여 지능적인 축사 자동화 시스템 개발의 기반으로 활용 가능한 효과가 있다.
또한, 본 발명에 따르면, AI를 활용한 가축관리서비스인 팜스플랜의 기반 기술로 적용함으로써 지속적으로 축적한 가축의 건강상태 데이터를 기반으로 관리/분석하여 가축의 건강을 관리하는 시스템을 구현할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 별도의 가속도 센서, 자이로 센서 등 설비 없이 카메라로부터 취득한 영상만을 이용해 가축행동 인식 및 모니터링을 수행함으로써 적은 비용으로 낙후된 축사설비 시스템 개선이 가능하여 수출입 환경 변화에 대응하는 축산물 가격 경쟁력 강화에 활용 가능한 효과가 있다.
도 1은 본 발명의 일 실시 형태에 따른 딥러닝(deep learning)을 이용한 가축행동 자동인식 및 모니터링 시스템이 적용된 전체 시스템 구성을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템의 상세 구성을 개략적으로 나타낸 블록도이다.
도 3은 도 2에 도시된 가축행동 어노테이션(annotation) 정의 모듈에 있어서 가축행동 어노테이션을 도출하기 위한 도메인 정보 전환을 위한 그래프 노드 카테고리를 예시한 도면이다.
도 4는 도 2에 도시된 가축행동 어노테이션 정의 모듈에 있어서 가축행동 어노테이션을 도출하기 위한 가축행동 도메인의 수준별 그룹핑을 예시한 도면이다.
도 5는 도 4에 도시된 계층적 레이블링 구조에 있어서 "행동" 도메인에 대해 수준별로 그룹핑한 각 활동 어노테이션을 예시한 도면이다.
도 6은 도 2에 도시된 가축행동 어노테이션 정의 모듈에 있어서 가축행동 어노테이션을 도출하기 위한 도메인 정보 계층화를 위해 정의된 계층전 이해수준 구조(Hierarchical structure of Understanding level)을 예시한 도면이다.
도 7은 도 2에 도시된 가축행동 자동 검출 모듈의 기능적 구성을 개략적으로 나타낸 도면이다.
도 8은 도 2에 도시된 가축행동 자동 검출 모듈에 따라 동영상으로부터 가축행동을 인식한 결과를 예시한 도면이다.
도 9는 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템에서 모니터링 기간 동안 동영상에 나타난 한우 행동에 대한 통계를 예시한 도면이다.
도 10은 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템의 동작 과정을 설명하기 위한 흐름도이다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예에 대하여 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 일 실시 형태에 따른 딥러닝 기술을 이용한 가축행동 자동인식 및 모니터링 시스템이 적용된 전체 시스템 구성을 개략적으로 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 형태에 따른 딥러닝 기술을 이용한 가축행동 자동인식 및 모니터링 시스템이 적용된 전체 시스템은, CCTV 시스템(10) 및 카메라(20)와, 가축행동 자동인식 및 모니터링 시스템(30)과, 사육사 단말(40) 등을 포함하여 구성될 수 있다. 여기서, 가축행동 자동인식 및 모니터링 시스템(30)과 사육사 단말(40)은 통신망을 통해 상호 연결될 수 있다.
CCTV 시스템(10)은 가축을 촬영하여 동영상을 획득하도록 축사에 설치되며 카메라(11), 영상수집기(12) 및 데이터베이스(13)을 포함하여 구성될 수 있다. 여기서, 카메라(11)는 다수 개일 수 있다. 카메라(11)가 축사를 촬영한 영상을 실시간 영상수집기(12)로 전달하고 영상 수집기(12)는 데이터베이스(13)에 전달된 영상을 저장한다. 이때, 가축행동 자동인식 및 모니터링 시스템(30)은 데이터베이스(13)에 저장된 영상을 실시간으로 획득하여 가축행동 인식 및 모니터링을 수행할 수 있다.
그리고, 카메라(20)는 축사 내 가축을 촬영할 수 있도록 적절한 위치에 분산 설치되며 다수 개일 수 있다. 이러한 카메라(20)는 설치된 방향의 축사를 촬영하고 촬영된 영상을 실시간으로 가축행동 자동인식 및 모니터링 시스템(30)으로 전달한다.
한편, 본 발명에서 카메라(11, 20)는 종류, 명칭, 촬영 방식 등에 한정되지 않으며, RGB 카메라, 적외선 카메라, 열영상 카메라, 뎁스(depth) 카메라 등 영상 촬영이 가능한 장치라면 본 발명에 따른 카메라(11, 20)로 해석되어야 할 것이다.
그리고, 가축행동 자동인식 및 모니터링 시스템(30)은 CCTV 시스템(10)의 데이터베이스(13)로부터 실시간 획득한 영상 또는 카메라(20)로부터 실시간 전달되는 영상에서 가축의 행동을 자동으로 인식 및 검출하여 저장하고, 저장된 가축행동 데이터에 대한 단기행동 분석 및 장기행동 분석을 수행하여 위험상황 발생 여부를 모니터링하고, 위험상황 발생시 사육사 단말(40)로 경보를 통지할 수 있다. 이로써 사육사로 하여금 위험상황에 대한 실시간 조치가 가능하도록 할 수 있다.
그리고, 사육사 단말(40)은 위험상황 발생 경보 메시지를 수신하여 표출할 수 있는 단말로, 스마트폰, 음성/영상 전화 통화 가능한 웨어러블 디바이스, 테블릿 PC, 노트북 PC 등 무선 단말을 포함하며, 경우에 따라 데스크탑 PC 기타 통신 전용 단말기 등 유선 단말을 포함할 수 있다.
그리고, 통신망은 유/무선 네트워크일 수 있으며, 여기서, 무선 네트워크는 무선 통신을 구축하기 위한 것으로서, 무선랜(Wireless LAN:WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTEA(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등을 적용할 수 있다. 그러나 이에 한정되는 것은 아니며, 무선 통신 기술의 발전에 따라 다양하게 응용 실시할 수 있다.
상술한 바와 같이, 본 발명의 일 실시 형태에 따른 딥러닝 기술을 이용한 가축행동 자동인식 및 모니터링 시스템을 축사에 적용함으로써 가축행동을 자동으로 모니터링할 수 있다.
도 2는 본 발명의 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템의 상세 구성을 개략적으로 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템(30)은, 가축행동 어노테이션 정의 모듈(31), 가축행동 자동검출 모듈(32), 가축행동 데이터자장 모듈(33), 가축행동 제1 분석 모듈(34), 가축행동 제2 분석 모듈(35), 가축행동 경보 모듈(36), 통신 모듈(37) 등을 포함하여 구현될 수 있다.
먼저, 가축행동 어노테이션(annotation) 정의 모듈(31)은 가축행동을 검출하기 위해 사전에 구조적으로 가축행동 어노테이션을 정의하고, 정의된 가축행동 어노테이션 정보를 구비한다. 정의된 가축행동 어노테이션 정보는 이후 영상으로부터 가축행동 자동 검출에 활용된다.
이러한 가축행동 어노테이션 정의 모듈(31)은, 딥러닝에 필요한 가축행동의 유형을 계층적 레이블링(labeling)을 수행하여 가축행동 어노테이션을 정의하되, 이를 위해 먼저, 계층적 이해 수준으로 구조를 정의하고, 정의에 따라 수준별로 어노테이션을 수행하여 가축행동 어노테이션을 도출한다.
그리고, 가축행동 자동검출 모듈(32)은 가축행동 어노테이션으로 사전 훈련된 딥러닝(Deep Learning) 객체 검출 기술을 이용하여 동영상에서 가축의 행동을 자동으로 검출한다. 즉, 가축행동 자동검출 모듈(32)은 입력받은 가축 영상에 가축행동 어노테이션 기반 딥러닝 특징 추출을 수행하여 가축행동을 검출하고, 검출된 가축행동 데이터를 가축행동 데이터자장 모듈(33)로 전달하여 저장한다.
그리고, 가축행동 데이터저장 모듈(33)은 전달된 가축행동 데이터를 저장한다. 이때 검출된 각 가축행동별로 촬영 시간 정보가 같이 저장된다. 또한, 가축행동 데이터저장 모듈(33)은 가축행동 제1 분석 모듈(34)로부터 전달되는 단기행동 분석 정보 및 가축행동 제2 분석 모듈(35)로부터 전달되는 장기행동 분석 정보를 각각 저장할 수 있다. 이러한 가축행동 데이터저장 모듈(33)은 도시하지는 않았지만, 각 데이터를 저장하기 위한 데이터베이스를 구비할 수 있다.
그리고, 가축행동 제1 분석 모듈(34)은 가축행동 데이터저장 모듈(33)에 저장된 가축행동 데이터로부터 현재 급박한 위험상황 발생 여부를 실시간으로 분석하는 단기행동 분석을 수행한다.
또한, 가축행동 제1 분석 모듈(34)은 단기행동 분석 결과 위험상황으로 확인되면 사육사에게 경보할 수 있도록 가축행동 경보 모듈(36)에게 경보 요청을 수행한다. 여기서, 경보 요청은 위험상황으로 확인된 단기행동 분석 결과 정보를 적어도 포함할 수 있다.
또한, 가축행동 제1 분석 모듈(33)은 단기행동 분석 후 단기행동 분석 정보를 가축행동 데이터저장 모듈(34)로 전달하여 저장하도록 요청한다.
그리고, 가축행동 제2 분석 모듈(35)은 장기적으로 저장된 가축행동 데이터를 이용하여 설정된 일정 기간의 시간에 대한 통계 정보를 추출하여 위험상황 발생 여부에 대한 장기행동 분석을 수행하고, 장기행동 분석 결과 위험상황 발생으로 확인되면 사육사 단말로 경보를 수행하도록 가축행동 경보 모듈(36)로 요청할 수 있다. 이때, 가축행동 제2 분석 모듈(35)은 장기행동 분석 결과를 가축행동 데이터저장 모듈(33)로 전달하여 저장하도록 요청한다.
따라서, 본 발명의 가축행동 제1 분석 모듈(34)은 현재 상황에 대한 단기행동 분석을 통한 단기행동 모니터링을, 가축행동 제2 분석 모듈(35)은 일정 시간 동안의 상황에 대한 장기행동 분석을 통한 장기행동 모니터링을 각각 수행하며, 그 모니터링 결과를 사육자에게 보고할 수 있다. 이때, 가축행동 제1 분석 모듈(34)은 단기행동 모니터링 중 위험상황이 발생하면 이를 바로 사육사에게 경보하도록 요청한다.
그리고, 가축행동 경보 모듈(36)은 위험상황에 대한 경보 요청이 전달되면, 등록된 사육사 단말(40)로 위험상황으로 확인된 단기행동 분석 결과 정보 또는 장기행동 분석 결과를 적어도 포함하는 경보 메시지를 생성하여 통신 모듈(37)을 통해 전달한다.
그리고, 통신 모듈(37)은, 유/무선 네트워크를 통해 사육사의 단말(40)로 위험상황 발생 경보 메시지를 송신하며, 장거리의 전송을 위한 중계기를 포함할 수 있다.
한편, 도시하지는 않았지만, 출력 모듈을 더 구비할 수 있으며, 사육사의 요청시 가축행동 자동검출 모듈(32)의 검출 결과, 가축행동 제1 분석 모듈(34)의 분석 결과, 가축행동 제2 분석 모듈(35)의 분석 결과 등을 가축행동 데이터저장 모듈(33)로부터 호출하여 표출할 수 있다.
상술한 바와 같이 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템은, 가축행동을 계층적 구조의 가축행동 어노테이션으로 정의하고, 정의된 가축행동 어노테이션 기반으로 사전 학습된 딥러닝(CNN)을 이용하여 촬영된 영상으로부터 가축행동을 실시간 인식/검출하고 이에 대한 단기행동/장기행동 분석을 수행함으로써 가축행동을 자동으로 모니터링할 수 있다.
다음으로, 도 3 내지 도 6을 참조하여 본 발명의 일 실시 형태에 따른 가축행동 어노테이션 정의 과정에 대해 상세하게 설명하도록 한다.
먼저, 도 3은 도 2에 도시된 가축행동 어노테이션(annotation) 정의 모듈에 있어서 가축행동 어노테이션을 도출하기 위한 도메인 정보 전환을 위한 그래프 노드 카테고리를 예시한 도면이다.
먼저, 가축의 행동을 보다 계층적이고 상하관계적으로 이해하기 위해서는 "행동" 도메인을 정보로 변경하는 구조가 필요하다. 이를 위해 그래프 구조를 사용하여 카테고리로 정리하여 구조화할 수 있다.
도 3에 도시된 바와 같이, 본 발명의 일 실시 형태에 따른 가축행동 어노테이션 정의 모듈(31)은, 가축행동 어노테이션 도출하기 위해, "행동"도메인 정보 전환을 위한 그래프 노드 카테고리를 구조화한다. 즉, 가축행동을 동일 수준으로 묶어 서로 그래프로 구조화될 수 있는 상호 연관 구조를 정리할 수 있다. 이러한 방법을 사용하여 가축의 "행동" 도메인 정보를 그래프로 전화하여 이를 구조화할 수 있다.
도 3의 예시와 같이, 가축 행동 이해를 표현하기 위한 그래프에서는 필요한 상황정보 또는 검출대상을 그래프의 기본 노드 카테고리들로 정의하고 이들의 관계를 정의할 수 있다. 정의된 그래프의 전체 또는 부분의 그래프 요소들이 정해진 수준별 이해 목표 달성을 위해 선택적으로 사용될 수 있다.
본 발명의 실시예에 있어서, 그래프의 기본 노드 카테고리는 상호작용, 농장위치, 조명, 증상, 부분행동, 행동, 활동, 비디오장면 등을 포함할 수 있다. 상호작용은 인가-가축, 가축-가축, 가축-객체 등을 동일 수준으로 묶으며, 농장위치는 우리, 사료, 음료수, 벽 등을 동일 수준으로 묶으며, 조명은 낮, 밤, 밝음, 어두움 등을 동일 수준으로 묶으며, 증상은 조용함, 스트레스를 받음, 피곤함, 불규칙적임, 시끄러움, 공격적임 등을 동일 수준으로 묶고, 부분행동은 머리움직임, 꼬리움직임 등을 동일 수준으로 묶고, 행동은 걷기, 잠자기, 휴식, 서기, 먹기 등을 동일 수준으로 묶고, 활동은 싸움, 먹이주기(feeding), 걷기, 휴식, 서기, 먹기, 꼬리움직임 등을 동일 수준으로 묶고, 비디오 장면은 정상, 비정상, 응급, 경보 등을 동일 수준으로 묶어 카테고리를 형성할 수 있다.
도 4는 도 2에 도시된 가축행동 어노테이션 정의 모듈에 있어서 가축행동 어노테이션을 도출하기 위한 가축행동 도메인의 수준별 그룹핑을 예시한 도면이다.
본 발명의 실시예에 따른 가축행동 어노테이션 정의 모듈(31)에서, 도 3에 도시된 그래프와 같이 구조화된 상호 연관 정보와 함께 "행동" 도메인을 수준별로 구분하여 "부위별 행동(part action)", "단순 행동(individual action)", "그룹 행동(group action)"으로, 하위에서 상위로 계층적 이해 수준으로 매핑하여 이에 대응하는 계층적 레이블링 구조를 도 4와 같이 설계한다.
도 4에 도시된 바와 같이, 반추(ruminating), 꼬리 흔들기(moving tail), 머리 흔들기(moving head)의 하위 수준을 묶어 "부위별 행동(part action)"의 상위 수준에 매핑하고, 걷기(walking), 서기(standing), 휴식(resting), 잠자기(sleeping), 먹기(eating), 일어서기(standing up), 눕기(lying down), 자기손질(self-grooming)의 하위 수준을 묶어 "단순 행동(individual action)"의 상위 수준에 매핑하고, 싸움(fighting), 사회적 핥기(social licking), 올라타기(mounting), 젖먹이기(feeding)의 하위 수준을 묶어 "그룹 행동(group action)"의 상위 수준에 매핑하여 가축(소)행동에 대한 계층적 레이블링 구조를 설계한다.
도 5는 도 4에 도시된 계층적 레이블링 구조에 있어서 "행동" 도메인에 대해 수준별로 그룹핑한 각 행동 어노테이션을 예시한 도면이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 가축행동 어노테이션 정의 모듈(31)에서, 도 4와 같이 설계된 계층적 레이블링 구조에 해당하는 소의 행동을 동영상으로부터 검출하여 각 동작에 어노테이션을 수행한다.
도 6은 도 2에 도시된 가축행동 어노테이션 정의 모듈에 있어서 가축행동 어노테이션을 도출하기 위한 도메인 정보 계층화를 위해 정의된 계층전 이해수준 구조(Hierarchical structure of Understanding level)를 예시한 도면이다.
도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 가축행동 어노테이션 정의 모듈(31)에서, 그래프로 전환된 도메인 정보의 계층화를 위해 "계층적 이해수준 구조(Hierarchical structure of Understanding level)"를 정의한다.
도 6을 참조하면, 계층적 레이블링(labeling)을 통한 이해수준 구조는 행동을 특정 부위만 검출하는 "부위별 행동 수준(Object Part Action)", 개별 객체의 행동을 검출하는 "단순 행동 수준(Individual Object Action)", 객체와 객체끼리, 또는 일정 그룹의 객체들이 상호 연관된 행동을 수행하는 "복합행동(그룹/상호작용 행동, Group/Interaction Activity)"으로 계층화되고, 상위 수준으로 동영상 전반을 이해하는 계층을 포함한다.
도 7은 도 2에 도시된 가축행동 자동 검출 모듈의 기능적 구성을 개략적으로 나타낸 도면이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 가축행동 자동 검출 모듈(32)은, CNN(Convolutional Neural Network) 기반 딥러닝(deep learning)을 이용해 사전에 정의된 어노테이션으로 학습한 가축행동을 동영상으로부터 검출한다.
이러한 가축행동 자동 검출 모듈(32)은, 플로우 동영상 생성기(321), 외형 특징 추출기(322), ROI 프레임 레벨 검출기(323), 움직임 특징 추출기(324), 최종 프레임 생성기(325) 등을 포함하여 구현될 수 있다. 여기서, 가축행동 검출을 위한 입력 영상으로 실시간 촬영된 동영상과, 동영상의 현재 프레임과 직전 프레임을 사용하여 만들어진 플로우(flow) 동영상이 함께 사용되며, 동영상은 외형 특징 추출기(322)와 ROI 프레임 레벨 검출기(323)로, 플로우 동영상은 움직임 특징 추출기(324)로 입력된다.
먼저, 동영상이 입력되면, 플로우 동영상 생성기(321)는 입력된 동영상의 현재 프레임과 직전 프레임의 2개 프레임을 비교하여 움직임이 있는 영역을 표시하여 플로우 동영상을 생성하고, 생성된 플로우 동영상을 움직임 특징 추출기(324)로 전달한다.
그리고, 외형 특징 추출기(322)는 객체의 외형 특징을 추출하고, 이후, ROI 프레임 레벨 검출기(323)로부터 전달되는 객체 정보(ROI 정보)와 객체의 외형 특징을 결합하는 ROI 풀링(ROI Pooling)을 수행한다. 또한, 외형 특징 추출기(322)는 ROI 풀링 후 T'×H'×W'×C의 3차원 특징 맵을 추출하고 평균 풀링(Avg. Pooling)을 수행하여 H'×W'×C의 2차원 특징 맵을 추출한다.
그리고, ROI 프레임 레벨 검출기(323)는 가축행동 어노테이션으로 사전 학습된 딥 CNN(deep CNN)을 기반으로 객체 탐지를 수행하며, 예를 들면, YOLOv3 등이 사용되도록 구현될 수 있으며, 입력된 동영상에서 YOLOv3를 적용하여 소의 시각적 모습을 바탕으로 특정 행동을 포함하는 ROI를 검출하며, 검출된 객체의 ROI를 외형 특징 추출기(322)와 움직임 특징 추출기(324)에 각각 전달하여 각 특징 추출기(322, 324)가 검출된 객체 ROI와 추출된 객체의 외형 및 움직임 특징과 결합하도록 한다. 여기서, 객체 ROI는 비디오에서 추출한 키프레임을 사용하여 획득된다.
이러한 ROI 프레임 레벨 검출기(323)는 가축행동 어노테이션에 기반한 딥러닝 훈련을 수행하여 객체 검출에 있어서 분류 및 위치화를 위한 학습 훈련은 손실 함수를 최소화하는 것을 목표로 한다. 훈련 손실은 위치정보 손실함수와 클래스정보 손실함수로 구성된다.
위치함수 손실함수는 수학식 1과 같다.
[수학식1]
Figure PCTKR2021011439-appb-I000011
위치함수 손실함수는 각 프레임의 전체 영상 영역에서 실제 x 위치와 예측된 x의 위치(
Figure PCTKR2021011439-appb-I000012
)의 차이, 실제 y 위치와 예측된 y의 위치(
Figure PCTKR2021011439-appb-I000013
)의 차이 및 넓이 w와 높이 h의 실제 위치와 예측 위치(
Figure PCTKR2021011439-appb-I000014
,
Figure PCTKR2021011439-appb-I000015
)의 차이를 학습하게 된다.
또한, 클래스정보의 손실함수는 수학식 2와 같다.
[수학식 2]
Figure PCTKR2021011439-appb-I000016
여기서,
Figure PCTKR2021011439-appb-I000017
은 셀(cell)(i)이 객체를 포함하는 경우를,
Figure PCTKR2021011439-appb-I000018
은 셀(i)의 j번째 경계상자(bounding box)가 예측과 관련된 경우를, Ci은 신뢰도(confidence score)를,
Figure PCTKR2021011439-appb-I000019
는 예측 신뢰도를, Pi(c)는 셀(i)이 클래스(c)의 객체를 포함하는 경우의 조건부 확률을,
Figure PCTKR2021011439-appb-I000020
는 조건부 클래스 확률을 각각 나타낸다.
클래스정보 손실함수의 셀(cell)은 딥러닝 결과인 특징(Feature)을 몇 개의 경계상자(bounding box)로 나눈 것을 말한다. 클래스정보 손실함수는 3개의 부분식으로 이루어지는데, 첫번째 식은 객체에 포함된 셀(i)에서의 원래와 예측된 객체의 신뢰도(confidence score)를 나타내며, 두번째 식은 해당 셀(i)이 객체를 포함하지 않을 경우의 원래와 예측된 객체의 신뢰도(confidence score)를 나타내고, 세번째 식은 객체별 원래의 클래스 확률값과 예측 클래스의 확률값 차이를 나타낸다.
결론적으로, 딥러닝 훈련은 총 손실을 최소화하기 위한 것이며, 최종 손실함수는 수학식 3과 같이 위 두 수학식의 합이 된다.
[수학식3]
Figure PCTKR2021011439-appb-I000021
그리고, 움직임 특징 추출기(324)는 객체의 움직임 특징을 추출하고, 이후, ROI 프레임 레벨 검출기(323)로부터 전달되는 객체 정보(ROI)와 객체의 움직임 특징을 결합(ROI Pooling)한다. 또한, 움직임 특징 추출기(324)는 ROI 풀링 후 T'×H'×W'×C의 3차원 특징 맵을 추출하고 평균 풀링(Avg. Pooling)을 수행하여 H'×W'×C의 2차원 특징 맵을 추출한다.
그리고, 최종 프레임 생성기(325)는, 외형 특징 추출기(322)의 영상과 움직임 특징 추출기(324)의 영상을 종합하고, 영상에 클래스 신뢰점수(class confidence score)를 고려하여 경계상자(Bounding Box)가 표시되도록 출력한다.
이와 같이 각 특징 추출기(322, 324)는 2개의 풀링(Pooling)을 사용하여 정보를 종합하고 이후, 최종 프레임 생성기(325)에서 해당 영상에 경계상자(Bounding Box)(좌표), Class 정보(행동 유형) 등의 정보가 표시되도록 가축행동 어노테이션을 수행하여 출력하게 된다.
이하, 도 8 및 도 9를 참조하여 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템을 동영상에 실제 적용하여 가축행동을 인식 및 검출한 결과를 살펴보도록 한다.
먼저, 도 8은 도 2에 도시된 가축행동 자동 검출 모듈에 따라 동영상으로부터 가축행동을 인식한 결과를 예시한 도면으로, (a), (b), (c) 및 (d)는 주간 환경을, (c), (f) 및 (g)는 야간 환경을 각각 나타낸다. 여기서, 실험 영상은 한우를 대상으로 다른 축산농가에서 하루 중 다른 시간대에 수집된 비디오이며, 수집된 비디오에서 다양한 유형의 환경(낮, 밤), 즉, 하루 중 다른 시간대에 한우의 행동이 어떻게 다른지에 대한 가축행동 인식을 수행하였고, 각 색상 라벨은 서로 다른 활동을 의미한다.
도 8의 (a) 내지 (g)를 참조하면, 비디오의 연속적인 프레임에서 소 행동 인식의 몇 가지 예를 보여준다.
즉, 낮에는 도 8의 (a), (b), (d) 및 (e)에 도시된 바와 같이, 소는 주로 서 있고, 걷고, 먹고, 자기 손질하는 등 더 많은 동작이 필요한 행동을 한다. 또한, 어떤 경우에는 싸움, 사회적 핥기, 먹이기 등의 집단 행동도 감지된다.
반면에, 밤에는 도 8의 (c), (f) 및 (g)에 도시된 바와 같이, 소는 일반적으로 휴식, 수면, 반추, 그리고 때때로 밤에 서 있는 것과 같은 더 차분한 행동을 보인다.
다음으로, 도 9는 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템에서 모니터링 기간 동안 동영상에 나타난 한우 행동에 대한 통계를 예시한 도면으로, 도 8에 활용된 동영상의 통계이며, (a), (b), (c) 및 (d)는 주간 환경에서, (c), (f) 및 (g)는 야간 환경에서 해당 동영상에서 발견된 가장 많이 수행된 활동에 대한 통계를 각각 제시한다.
따라서, 도 8 및 도 9에 도시된 바와 같이, 소의 행동은 특정 기간(시간대)과 강하게 관련이 있는 것을 확인할 수 있다. 즉, 소가 낮에는 더 활발한 활동을 하고 밤에는 대부분 수동적인 활동을 한다는 것이다.
또한, 소는 서 있거나 걷거나 쉬는 등의 독립적인 활동을 하는데, 특정 상황에서 소는 장면의 조건에 따라 몇 가지 일반적인 반응을 보일 수 있다. 예를 들어, 먹이를 먹을 때 모든 소들은 먹이를 얻기 위해 먹이 근처에 줄을 서고 인간이나 어떤 특정한 소리가 있을 때 경계를 늦추지 않는다.
반면, 야간에는 대부분 소들이 주로 쉬고 자면서 수동적인 행동을 보인다. 이러한 표현을 통해 특정 시간 동안 현장에서 발생하는 소의 특정 행동을 모니터링할 수 있을 뿐만 아니라 농민들이 상황을 통제할 수 있도록 할 수 있다.
도 10은 본 발명의 일 실시 형태에 따른 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템의 동작 과정을 설명하기 위한 흐름도이다.
도 10을 참조하면, 먼저, 본 발명의 일 실시 형태에 따른 가축행동 자동인식 및 모니터링 시스템은 가축행동 어노테이션 정의를 미리 수행한다(S100). 가축행동 어노테이션은, 가축행동의 유형에 대한 계층적 레이블링 구조화를 통해 수준별로 가축행동이 정의된 것으로, 부위별 행동(part action)은 반추(Ruminating), 꼬리 흔들기(Moving tail), 머리 흔들기(Moving head)를 적어도 포함하며, 단순 행동(individual action)은 걷기(Walking), 서기(Standing), 휴식(Resting), 잠자기(Sleeping), 먹기(Eating), 일어서기(Standing up), 눕기(Lying down), 자기손질(Self-grooming)을 적어도 포함하며, 그룹행동(group action)은 싸움(Fighting), 사회적 핥기(Social licking), 올라타기(Mounting), 젖먹이기(Feeding)를 적어도 포함한다.
여기서, 가축행동 어노테이션을 정의하는 단계(S100)는, 가축의 행동 도메인 정보를 그래프 구조로 전환하되, 가축행동과 관련된 상황정보 또는 검출대상을 그래프의 기본 노드들로 정의하는 단계, 각 노드들 간 상호 연관 관계를 정의하여 그래프 노드 구조를 구조화하고, 구조화된 노드 구조를 사용하여 카테고리로 정리하는 단계, 가축의 행동 도메인 정보를 수준별로 구분하여 부위별 행동(part action), 단순 행동(individual action), 그룹행동(group action)으로 하위에서 상위로 계층적 이해 수준으로 매핑하여 계층적 레이블링 구조를 설계하는 단계, 설계된 계층적 레이블링 구조를 통해 객체의 행동을 특정 부위만 검출하는 부위별 행동 수준(object part action), 개별 객체의 행동을 검출하는 단순 행동 수준(individual obuect action), 객체와 객체 사이, 또는 일정 그룹의 객체들이 상호 연관된 행동을 수행하는 복합 행동(그룹/상호작용 행동, group/interacion activity)으로 행동 유형을 계층화한 계층적 이해 수준 구조를 정의하고, 정의된 계층적 이해 수준 구조에 따라 수준별로 가축행동 유형에 대한 어노테이션을 도출하는 단계를 포함하도록 구현될 수 있다.
이후, 동영상이 입력되면, 가축행동 어노테이션을 기반으로 학습된 딥러닝을 이용하여 입력된 동영상으로부터 가축행동을 자동으로 검출한다(S110).
여기서, 입력되는 동영상으로부터 가축행동을 자동으로 검출하는 단계(S110)는, 입력되는 동영상의 현재 프레임과 직전 프레임을 비교하여 움직임이 있는 영역을 표시한 플로우 동영상을 생성하는 단계, 입력되는 동영상으로부터 외형 특징을 추출하는 단계, 생성된 플로우 동영상으로부터 움직임 특징을 추출하는 단계, 입력되는 동영상으로부터 객체를 추출하여 해당 객체의 ROI를 검출하는 단계, 추출된 외형 특징 및 움직임 특징에 각각 검출된 ROI 풀링(pooling)을 수행한 후 평균 풀링(pooling)을 수행하여 종합하는 단계 및 종합된 영상에 경계상자(bounding box) 및 클래스를 표출하는 단계를 포함하도록 구현될 수 있다.
그런 다음, 검출된 가축행동 데이터를 저장하고(S120), 저장된 가축행동 데이터의 단기행동 분석을 수행하고, 단기행동 분석 결과를 이용해 위험상황 발생 여부를 확인한다(S130).
이어서, 단기행동 분석 결과, 위험상황 발생으로 확인되면 사육사 단말로 경보 요청을 수행하고(S150), 단기행동 분석 결과를 저장한다(S170).
이후, 위험상황 발생 정보가 적어도 포함된 위험상황 발생 경보 메시지를 생성하여 사육사 단말로 경보를 수행한다(S160).
한편, 설정된 일정 기간의 시간 동안 저장된 가축행동 데이터를 요청하고, 일정 기간의 시간 동안 저장된 가축행동 데이터에 대한 통계 정보를 추출하는 장기행동 분석을 수행하고, 장기행동 분석 결과를 이용해 위험상황 발생 여부를 확인한다(S140).
그런 다음, 장기행동 분석 결과, 위험상황 발생으로 확인되면, 사육사 단말로 경보 요청을 수행하고(S150), 장기행동 분석 결과를 저장한다(S170).
이어서, 위험상황 발생 정보가 적어도 포함된 위험상황 발생 경보 메시지를 생성하여 사육사 단말로 경보를 수행한다(S160).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 가축행동의 유형에 대한 계층적 레이블링을 수행하여 가축행동 어노테이션을 정의하는 가축행동 어노테이션 정의 모듈;
    실시간 입력되는 동영상을, 상기 가축행동 어노테이션에 기반으로 사전 학습된 딥러닝을 이용하여 가축행동을 검출하는 가축행동 자동검출 모듈;
    검출된 가축행동 데이터와 상기 동영상이 입력된 시간정보를 함께 저장하는 가축행동 데이터 저장 모듈;
    저장된 가축행동 데이터의 현재 위험상황 여부를 분석하는 단기행동 모니터링을 수행하고, 단기행동 모니터링 결과 위험상황 발생으로 확인되면 등록된 사육사 단말로 위험상황 발생 경보를 전달하도록 요청하는 가축행동 제1 분석 모듈;
    설정된 일정 기간의 시간 동안의 저장된 가축행동 데이터에 대한 통계 정보를 분석하는 장기행동 모니터링을 수행하고, 장기행동 모니터링 결과 위험상황 발생으로 확인되면 등록된 사육사 단말로 위험상황 발생 경보를 전달하도록 요청하는 가축행동 제2 분석 모듈;
    상기 위험상황 발생 경보의 전달 요청이 수신되면, 등록된 사육사 단말로 위험상황 발생 경보 메시지를 생성하여 전달하는 가축행동 경보 모듈; 및
    생성된 위험상황 발생 경보 메시지가 상기 등록된 사육사 단말로 전송되도록 하는 통신 모듈;을 포함하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템.
  2. 제1항에 있어서,
    상기 가축행동 어노테이션 정의 모듈은, 객체의 행동을 특정 부위만 검출하는 부위별 행동 수준(object part action), 개별 객체의 행동을 검출하는 단순 행동 수준(individual obuect action), 객체와 객체 사이, 또는 일정 그룹의 객체들이 상호 연관된 행동을 수행하는 복합 행동(그룹/상호작용 행동, group/interacion activity)으로 행동 유형을 계층화한 계층적 이해 수준 구조를 정의하고, 정의된 계층적 이해 수준 구조에 따라 수준별로 가축행동 유형에 대한 어노테이션을 도출하는 것을 특징으로 하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템.
  3. 제2항에 있어서,
    상기 가축행동 어노테이션 정의 모듈은, 상기 계층적 이해 수준 구조를 정의하기 위해, 가축의 행동 도메인 정보를 그래프 구조로 전환하되, 가축행동과 관련된 상황정보 또는 검출대상을 그래프의 기본 노드들로 정의하고, 각 노드들 간 상호 연관 관계를 정의하여 그래프 노드 구조를 구조화하고, 구조화된 노드 구조를 사용하여 카테고리로 정리하며, 상기 가축 행동 도메인 정보를 수준별로 구분하여 부위별 행동(part action), 단순 행동(individual action), 그룹행동(group action)으로 하위에서 상위로 계층적 이해 수준으로 매핑하여 계층적 레이블링 구조를 설계하며, 설계된 계층적 레이블링 구조를 통해 행동 유형 계층화를 수행하는 것을 특징으로 하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템.
  4. 제3항에 있어서,
    상기 부위별 행동(part action)은 반추(Ruminating), 꼬리 흔들기(Moving tail), 머리 흔들기(Moving head)를 적어도 포함하며, 상기 단순 행동(individual action)은 걷기(Walking), 서기(Standing), 휴식(Resting), 잠자기(Sleeping), 먹기(Eating), 일어서기(Standing up), 눕기(Lying down), 자기손질(Self-grooming)을 적어도 포함하며, 상기 그룹행동(group action)은 싸움(Fighting), 사회적 핥기(Social licking), 올라타기(Mounting), 젖먹이기(Feeding)를 적어도 포함하는 것을 특징으로 하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템.
  5. 제1항에 있어서,
    상기 가축행동 자동검출 모듈은, 상기 입력된 동영상의 현재 프레임과 직전 프레임을 비교하여 움직임이 있는 영역을 표시한 플로우 동영상을 생성하고, 상기 입력된 동영상으로부터 외형 특징을 추출하는 동시에 객체를 추출하여 해당 객체의 ROI를 검출하고, 생성된 플로우 동영상으로부터 움직임 특징을 추출하며, 추출된 외형 특징 및 움직임 특징에 각각 ROI 풀링을 수행한 후 평균 풀링을 수행하여 종합하고 종합된 영상에 경계상자(bounding box) 및 클래스를 표출하는 것을 특징으로 하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템.
  6. 제5항에 있어서,
    상기 가축행동 자동검출 모듈은, 정의된 가축행동 어노테이션을 이용하여 사전 훈련을 수행한 딥러닝(CNN)을 사용하여 가축행동을 검출하며, 사전 훈련된 딥러닝 특징 추출에 따른 가축행동 검출결과의 훈련손실을 최소화하기 위한 손실함수는 위치정보 손실함수와 클래스정보 손실함수의 합으로 산출되며, 위치정보 손실 함수는 수학식 (1)을 통해 산출되며, 클래스 정보 손실함수는 수학식 (2)을 통해 산출되는 것을 특징으로 하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템.
    Figure PCTKR2021011439-appb-I000022
    Figure PCTKR2021011439-appb-I000023
    (여기서, x는 영상 영역에서 실제 위치를,
    Figure PCTKR2021011439-appb-I000024
    는 예측된 x의 위치를, y는 실제 위치를,
    Figure PCTKR2021011439-appb-I000025
    는 예측된 y의 위치를, w는 넓이의 실제 위치를,
    Figure PCTKR2021011439-appb-I000026
    는 넓이의 예측 위치를, h는 높이의 실제 위치를,
    Figure PCTKR2021011439-appb-I000027
    는 높이의 예측 위치를 각각 나타낸다. 또한,
    Figure PCTKR2021011439-appb-I000028
    은 셀(cell)(i)이 객체를 포함하는 경우를,
    Figure PCTKR2021011439-appb-I000029
    은 셀(i)의 j번째 경계상자(bounding box)가 예측과 관련된 경우를, Ci은 신뢰도(confidence score)를,
    Figure PCTKR2021011439-appb-I000030
    는 예측 신뢰도를, Pi(c)는 셀(i)이 클래스(c)의 객체를 포함하는 경우의 조건부 확률을,
    Figure PCTKR2021011439-appb-I000031
    는 조건부 클래스 확률을 각각 나타낸다.)
  7. 제1항에 있어서,
    상기 가축행동 제1 분석 모듈은, 단기행동 모니터링 결과를 상기 가축행동 데이터 저장 모듈로 전달하여 저장을 요청하고,
    상기 가축행동 제2 분석 모듈은, 장기행동 모니터링 결과를 상기 가축행동 데이터 저장 모듈로 전달하여 저장을 요청하는 것을 특징으로 하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템.
  8. 가축행동의 유형에 대한 계층적 레이블링을 수행하여 가축행동 어노테이션을 정의하는 단계;
    정의된 가축행동 어노테이션을 기반으로 사전 학습된 딥러닝을 이용하여 입력되는 동영상으로부터 가축행동을 자동 검출하여 저장하는 단계;
    저장된 가축행동 데이터에 대한 현재 위험상황 발생 여부를 분석하는 단기행동 모니터링을 수행하거나, 저장된 가축행동 데이터 중 설정된 일정 기간의 시간 동안 저장된 가축행동 데이터를 추출하고, 상기 설정된 일정 기간의 시간 동안 저장된 가축행동 데이터에 대한 통계 정보를 추출하여 위험상황 발생 여부를 분석하는 장기행동 모니터링을 수행하는 단계;
    상기 단기행동 모니터링 수행 결과, 현재 위험상황 발생이 확인되면 등록된 사육사 단말로 상기 위험상황 발생 정보를 적어도 포함하는 경보 메시지를 생성하여 전달하는 단계; 및
    상기 장기행동 모니터링 수행 결과, 위험상황 발생이 확인되면, 등록된 사육사 단말로 상기 위험상황 발생 정보를 적어도 포함하는 경보 메시지를 생성하여 전달하는 단계;를 포함하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 방법.
  9. 제8항에 있어서,
    상기 가축행동 어노테이션을 정의하는 단계는, 가축의 행동 도메인 정보를 그래프 구조로 전환하되, 가축행동과 관련된 상황정보 또는 검출대상을 그래프의 기본 노드들로 정의하는 단계;
    각 노드들 간 상호 연관 관계를 정의하여 그래프 노드 구조를 구조화하고, 구조화된 노드 구조를 사용하여 카테고리로 정리하는 단계;
    상기 가축의 행동 도메인 정보를 수준별로 구분하여 부위별 행동(part action), 단순 행동(individual action), 그룹행동(group action)으로 하위에서 상위로 계층적 이해 수준으로 매핑하여 계층적 레이블링 구조를 설계하는 단계;
    설계된 계층적 레이블링 구조를 통해 객체의 행동을 특정 부위만 검출하는 부위별 행동 수준(object part action), 개별 객체의 행동을 검출하는 단순 행동 수준(individual obuect action), 객체와 객체 사이, 또는 일정 그룹의 객체들이 상호 연관된 행동을 수행하는 복합 행동(그룹/상호작용 행동, group/interacion activity)으로 행동 유형을 계층화한 계층적 이해 수준 구조를 정의하고, 정의된 계층적 이해 수준 구조에 따라 수준별로 가축행동 유형에 대한 어노테이션을 도출하는 단계;를 포함하는 것을 특징으로 하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 방법.
  10. 제8항에 있어서,
    상기 입력되는 동영상으로부터 가축행동을 자동 검출하여 저장하는 단계는, 상기 입력되는 동영상의 현재 프레임과 직전 프레임을 비교하여 움직임이 있는 영역을 표시한 플로우 동영상을 생성하는 단계;
    상기 입력되는 동영상으로부터 외형 특징을 추출하는 단계;
    생성된 플로우 동영상으로부터 움직임 특징을 추출하는 단계;
    상기 입력되는 동영상으로부터 객체를 추출하여 해당 객체의 ROI를 검출하는 단계;
    상기 추출된 외형 특징 및 움직임 특징에 각각 검출된 ROI 풀링을 수행한 후 평균 풀링을 수행하여 종합하는 단계; 및
    종합된 영상에 경계상자(bounding box) 및 클래스를 표출하는 단계;를 포함하는 것을 특징으로 하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 방법.
PCT/KR2021/011439 2021-01-19 2021-08-26 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법 WO2022158674A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0007173 2021-01-19
KR1020210007173A KR102396999B1 (ko) 2021-01-19 2021-01-19 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
WO2022158674A1 true WO2022158674A1 (ko) 2022-07-28

Family

ID=81799395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/011439 WO2022158674A1 (ko) 2021-01-19 2021-08-26 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR102396999B1 (ko)
WO (1) WO2022158674A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116013502A (zh) * 2022-12-16 2023-04-25 河北农业大学 一种羊只疾病初期检测方法
CN116596167A (zh) * 2023-07-17 2023-08-15 湖南华牧全安数字科技有限公司 一种基于数据深度融合处理的牲畜养殖方案优化方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102584357B1 (ko) 2022-12-12 2023-10-12 주식회사 리얼팜 반문 이미지를 기반으로 한 축산 동물의 개체 식별 장치 및 영상을 기반으로 한 가축 행동 패턴 분류 시스템 및 가축 행동 패턴 분류 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120012069A1 (en) * 2007-06-22 2012-01-19 Southfork Solutions, Inc. Method and apparatus for improved monitoring and managing of livestock
JP2018099098A (ja) * 2016-12-21 2018-06-28 株式会社エイビット 家畜の放牧管理システム
KR20190046163A (ko) * 2017-10-25 2019-05-07 엘지이노텍 주식회사 사육장 관리 장치 및 방법
KR20190139808A (ko) * 2019-12-04 2019-12-18 주식회사 블루비즈 행동패턴 이상 징후 판별 시스템 및 이의 제공방법
KR20200057405A (ko) * 2018-11-16 2020-05-26 주식회사 드림테크 사물인터넷 기반 소의 중요징후 탐지시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101595764B1 (ko) 2014-04-14 2016-02-22 재단법인대구경북과학기술원 카메라를 이용한 가축 추적 방법 및 그 장치
JP7012111B2 (ja) * 2020-03-13 2022-01-27 エヌ・ティ・ティ・ビズリンク株式会社 動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120012069A1 (en) * 2007-06-22 2012-01-19 Southfork Solutions, Inc. Method and apparatus for improved monitoring and managing of livestock
JP2018099098A (ja) * 2016-12-21 2018-06-28 株式会社エイビット 家畜の放牧管理システム
KR20190046163A (ko) * 2017-10-25 2019-05-07 엘지이노텍 주식회사 사육장 관리 장치 및 방법
KR20200057405A (ko) * 2018-11-16 2020-05-26 주식회사 드림테크 사물인터넷 기반 소의 중요징후 탐지시스템
KR20190139808A (ko) * 2019-12-04 2019-12-18 주식회사 블루비즈 행동패턴 이상 징후 판별 시스템 및 이의 제공방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116013502A (zh) * 2022-12-16 2023-04-25 河北农业大学 一种羊只疾病初期检测方法
CN116596167A (zh) * 2023-07-17 2023-08-15 湖南华牧全安数字科技有限公司 一种基于数据深度融合处理的牲畜养殖方案优化方法
CN116596167B (zh) * 2023-07-17 2023-09-19 湖南华牧全安数字科技有限公司 一种基于数据深度融合处理的牲畜养殖方案优化方法

Also Published As

Publication number Publication date
KR102396999B1 (ko) 2022-05-16

Similar Documents

Publication Publication Date Title
WO2022158674A1 (ko) 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법
Wu et al. Using a CNN-LSTM for basic behaviors detection of a single dairy cow in a complex environment
WO2021221249A1 (ko) 스마트 가축 관리 시스템 및 그 방법
US11910784B2 (en) Animal visual identification, tracking, monitoring and assessment systems and methods thereof
CN103475736B (zh) 一种传感器通信系统及其利用该系统进行监控的方法
KR102307478B1 (ko) 컴퓨터 비전을 이용한 가축 질병 예측 시스템 및 그 방법
JP2017112857A (ja) 畜産管理システム
WO2021194008A1 (ko) 모돈 이상징후 포착 및 관리 클라우드 서비스 방법 및 장치
WO2021182684A1 (ko) 가축의 개체별 이상 징후 포착 시스템 및 그 이용 방법
CN111310596A (zh) 一种动物患病状态监测系统及方法
KR102341715B1 (ko) 가축 모니터링 장치 및 방법
WO2024117665A1 (ko) 소의 승가 행위 검출 장치
KR102584357B1 (ko) 반문 이미지를 기반으로 한 축산 동물의 개체 식별 장치 및 영상을 기반으로 한 가축 행동 패턴 분류 시스템 및 가축 행동 패턴 분류 방법
CN115349459A (zh) 一种智能猪舍监控系统
KR20210102002A (ko) 영상인식 및 사육케이지 모듈기반 대량생산용 공장형 곤충사육시스템
WO2024034923A1 (ko) 인공지능을 이용한 영상 감시 기반 개체 인식 및 행동패턴 분석 방법 및 시스템
CN114067396A (zh) 基于视觉学习的居配工程现场试验数字化管理系统及方法
WO2021096136A1 (ko) 전자 장치 및 그 제어 방법
CN115423641A (zh) 一种生猪养殖远程检测与ai控制设备
CN208044381U (zh) 一种分布式室内环境监控系统
WO2022215811A1 (ko) 농작물 병충해 자동 감지 시스템
KR102253236B1 (ko) 빅데이터를 이용한 농장 질병 분석 장치
WO2021182695A1 (ko) 가축의 설사 탐지 및 설사 위험도 예측 시스템 및 그 이용 방법
CN207053671U (zh) 一种仓房智能视频监控系统
LU506455B1 (en) Internet-of-things alarm system capable of dispatching according to personnel status information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21921433

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21921433

Country of ref document: EP

Kind code of ref document: A1