WO2021194008A1 - 모돈 이상징후 포착 및 관리 클라우드 서비스 방법 및 장치 - Google Patents

모돈 이상징후 포착 및 관리 클라우드 서비스 방법 및 장치 Download PDF

Info

Publication number
WO2021194008A1
WO2021194008A1 PCT/KR2020/006882 KR2020006882W WO2021194008A1 WO 2021194008 A1 WO2021194008 A1 WO 2021194008A1 KR 2020006882 W KR2020006882 W KR 2020006882W WO 2021194008 A1 WO2021194008 A1 WO 2021194008A1
Authority
WO
WIPO (PCT)
Prior art keywords
sow
pig
cloud service
severity
image data
Prior art date
Application number
PCT/KR2020/006882
Other languages
English (en)
French (fr)
Inventor
박지환
천선일
김은정
Original Assignee
(주)씽크포비엘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)씽크포비엘 filed Critical (주)씽크포비엘
Publication of WO2021194008A1 publication Critical patent/WO2021194008A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a management cloud service system for capturing abnormal signs of livestock by analyzing image information and a method for using the same.
  • ICT information and communication technology
  • the introduction technology is still weak.
  • a manager goes around and directly observes it, or records the pregnancy period, the livestock's weight and food amount.
  • the current level of technology is to manage, analyze and manage the movement data of pigs in a contact type using wearable sensors, etc. am.
  • a method for capturing anomalies of a sow based on image data performed on a computer system.
  • the disclosed method includes receiving image data of a sow; analyzing the image data to analyze the behavior of at least one sow included in the image; and calculating the severity of abnormal symptoms of the sow based on the analysis result.
  • the step of analyzing the behavior of the sow includes the steps of generating time-series data including the behavior of a specific sow according to time, whether the behavior is continued, classification of the behavior, and the number of the camera from which the image was taken may include
  • the calculating of the severity of the anomaly of the sow includes a count, a duration, an interval, a trend, a count for a specific behavior based on the generated time-series data. and calculating a timing and calculating a severity in consideration of a predetermined weight.
  • the above-described method may further include transmitting the result of the severity calculation in real time when the result satisfies a predetermined criterion.
  • the above method may further include providing an anomaly severity calculation time, an image of sows of anomaly severity calculation time or an image for a predetermined time before and after, and a graph of anomaly severity of the sow over time. have.
  • the classification of the behavior of the sow is a standing pig (Standing_Pig), a lying pig (Lying_Pig), a sitting pig (Sitting_Pig), a vomiting pig (Vomiting_Pig), a diarrhea pig (Diarrhea_Pig), a coughing pig (Cough_Pig) ) can be classified as at least one of
  • receiving the image data may further include pre-processing the received image.
  • the step of receiving the image data includes receiving data according to an image data collection policy, and the image data collection policy collects 720p or more color video images to the server at a cycle of 1 minute as a basic policy,
  • the first exception policy if the behavior analysis result is a class to be monitored intensively, the collection period is shortened and collected more frequently.
  • the second exception policy when it is not the time for sows to act, the data is collected by lengthening the collection period, 3
  • it can be set to control the amount and period of data transmission according to the network transmission environment.
  • the analyzing of the image data includes collecting image data in advance, generating at least one anomaly symptom classification model through a learning process such as data labeling, and using a sow recognition image dataset to implement a machine learning algorithm. It may further include the step of applying.
  • a computer-readable medium containing one or more computer-readable instructions executable by a computer, wherein the one or more computer-readable instructions, when executed by the computer, cause the computer to:
  • a computer-readable recording medium for performing any one of the methods described above is provided.
  • sows without missing 24 hours by automatically determining abnormal signs of sows based on images, and to apply prescriptions necessary for sows in a timely manner.
  • FIG. 1 is a diagram schematically illustrating the overall configuration of a sow abnormal symptom capture and management cloud service system 100 according to an embodiment of the present disclosure.
  • FIG. 2 is a functional block diagram illustrating an exemplary functional configuration of the management cloud service server 140 of FIG. 1 .
  • FIG. 3 is a diagram exemplarily illustrating a method of collecting image data in the sow image data collecting unit 303 of FIG. 2 .
  • FIG. 4 is a diagram exemplarily illustrating a machine learning engine that analyzes image data in the sow image data collection unit 303 .
  • FIG. 5 is a diagram exemplarily illustrating a classification model engine that analyzes the behavior of sows in the sow image-based behavior analysis unit 305 of FIG. 2 .
  • FIG. 6 is a diagram exemplarily illustrating a method of storing data in the sow data management unit 309 of FIG. 2 .
  • FIG. 7 is a diagram exemplarily illustrating data obtained by calculating severity based on behavior analysis data accumulated over time by the sow anomaly symptom severity analysis unit of FIG. 2 .
  • FIG. 8 is a diagram illustrating an exemplary screen for inquiring an event of a sow sitting posture abnormal symptom event in a livestock farm terminal.
  • a 'block' or 'unit' means a functional part that performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software.
  • the plurality of 'blocks' or 'units' may be integrated into at least one software module and implemented with at least one processor, except for 'blocks' or 'units' that need to be implemented with specific hardware. .
  • FIG. 1 is a diagram schematically illustrating the overall configuration of a sow abnormal symptom capture and management cloud service system according to an embodiment of the present disclosure.
  • the sow abnormal symptom capture and management cloud service system livestock farmhouse terminal 110, a plurality of cameras (120a, 120b, ..., 120n), communication network 130, communication network 130 through It includes a plurality of cameras (120a, 120b, ..., 120n) and a management cloud service server 140 connected to the livestock farmhouse terminal (110).
  • the livestock farmhouse terminal 110 is a terminal for a livestock farmhouse manager, and may be any user electronic device having a wired or wireless communication function.
  • Livestock farmhouse terminal 110 for example, smart phone, tablet PC, desktop, laptop, PDA, digital TV, may be a variety of wired or wireless communication terminals, including set-top boxes, it should be understood that it is not limited to a specific form. In this figure, only one livestock farmhouse terminal 110 is shown, but the present disclosure is not limited thereto.
  • the farmhouse manager may input, store/manage, and store/manage information related to livestock managed by the farmhouse through the livestock farmhouse terminal 110 .
  • the farmhouse manager according to an embodiment of the present disclosure, the farmhouse manager, for example, on the livestock farmhouse terminal 110, a plurality of biometric data about the livestock managed by the farmhouse, for example, You can enter, but not limited to, the age, breed, pregnancy status, and gender information of the livestock.
  • the farmhouse manager for example, on the livestock farmhouse terminal 110, a plurality of genetic information data about the livestock managed by the farmhouse, for example, the negative genetic ability of the livestock, cold degree weight, the negative genetic ability of the host Longest muscle cross-sectional area, negative genetic ability, etc. fat thickness, negative genetic ability intramuscular fat degree, mother's genetic ability cold-dish weight, hereditary ability, the longest abdominal cross-sectional area, hair genetic ability, etc. fat thickness, and hereditary ability intramuscular fat degree, etc. (but not limited thereto) not) can be entered.
  • the livestock farmhouse terminal 110 from an external separate database (not specifically shown) through the communication network 130, biometric information and genetic information of livestock managed by the farmhouse etc can be obtained.
  • biometric information and genetic information of livestock managed by the farmhouse etc can be obtained.
  • the farmhouse manager using the livestock farmhouse terminal 110, his farm from an external database It can bring necessary information about the livestock of, but the present disclosure is not limited thereto.
  • the livestock farm terminal 110 may communicate with the management cloud service server 140 through the communication network 130 , ie, transmit and receive necessary information.
  • the livestock farmhouse terminal 110 through the communication network 130, information related to the livestock managed by the farmhouse, for example, various information such as biometric characteristic information, genetic information, management cloud service server 140 , and may receive information about the corresponding livestock from the management cloud service server 140 , for example, whether or not a disease has occurred.
  • the livestock farm terminal 110 may display various information received from the management cloud service server 140 through the display.
  • the cameras are for photographing the appearance of livestock managed by the livestock farm, an image photographing camera equipped with a wired or wireless communication function, a video recording camera , may be any electronic device such as a CCTV camera.
  • the cameras 120a, 120b, ..., 120n are an image of a livestock, a gait image of a livestock, an image of a posture of a livestock, a sleep image, a motion image, an amount of ingested feed, a shoulder seat It is possible to record posture images, excretion images, vomit images, and the cleaning status of the barn.
  • the sow anomaly detection and management cloud service system is illustrated as having two cameras 120a and 120b, but the present disclosure is not limited thereto.
  • the communication network 130 may include any wired or wireless communication network, for example, a TCP/IP communication network.
  • the communication network 130 may include, for example, a Wi-Fi network, a LAN network, a WAN network, an Internet network, and the like, but the present invention is not limited thereto.
  • the communication network 130 is, for example, Ethernet, GSM, EDGE (Enhanced Data GSM Environment), CDMA, TDMA, OFDM, Bluetooth, VoIP, Wi-MAX, Wibro and any other various wired or wireless It can be implemented using a communication protocol.
  • the management cloud service server 140 may receive image information from the cameras 120a, 120b, ..., 120n through the communication network 130 . According to an embodiment of the present disclosure, the management cloud service server 140 may transmit/receive necessary information to and from the livestock farm terminal 110 through the communication network 130 .
  • the management cloud service server 140 may receive image data, biometric characteristic information, etc. about livestock from the livestock farmhouse terminal 110 . According to an embodiment of the present disclosure, the management cloud service server 140 may determine the health state of the corresponding livestock based on the received image data, biometric characteristic information, and the like.
  • the management cloud service server 140 is the livestock through the image data, biometric data, and genetic information about the livestock received from the livestock farmer terminal 110, and the abnormal symptom determination model. disease can be determined. According to an embodiment of the present disclosure, the management cloud service server 140 is based on the data collected from the livestock farm terminal 110 or the cameras 120a, 120b, .. 120n using a time series prediction machine learning technique. It is possible to predict the occurrence of disease in livestock.
  • FIG. 2 is a functional block diagram illustrating an exemplary functional configuration of the management cloud service server 140 of FIG. 1 .
  • the management cloud service server 140 includes a communication unit 201 , a sow image data collection unit 203 , a sow image-based behavior analysis unit 205 , a sow abnormal symptom severity analysis unit 207 , sow data It may include a management unit 209, a sow abnormal symptom notification unit 211 and a sow abnormal symptom check unit 213.
  • the communication unit 201 may support the management cloud service server 140 to communicate with the outside through the communication network 130 .
  • the communication unit 201 may receive data from the communication network 130 according to a predetermined protocol, and data is transmitted from the management cloud service server 140 to the outside through the communication network 130 . You can perform the necessary procedures to be transmitted.
  • FIG. 3 is a diagram illustrating a method of collecting image data in the sow image data collecting unit 303 of FIG. 2 .
  • the sow image data collection unit 203 may collect data collected from the cameras 120a, 120b, .. 120n installed in the pig house.
  • the cameras 120a, 120b, .. 120n may generate and transmit a streaming image.
  • the sow image data collection unit 203 may perform frame-separated image processing on the images transmitted from the cameras 120a, 120b, ... 120n.
  • the sow image data collection unit 203 may collect image data according to a specified policy through the cameras 120a, 120b, .. 120n.
  • the data collection policy may collect 720p or more color video images at a cycle of 1 minute as a basic policy.
  • the sow image data collection unit 203 is a type to be intensively monitored as a result of the behavior analysis as the first exception policy (nut, diarrhea, vomiting, cough, etc.)
  • the collection period may be shortened and collected more frequently.
  • the sow image data collection unit 203 may collect data by lengthening the collection period, such as sleep time, if it is not a time period for pigs to act as the second exception policy.
  • the sow image data collection unit 203 may adjust the data transmission amount and period according to the network transmission environment as the third exception policy. For example, when the network transmission environment deteriorates, the data collection queue may be adjusted to collect data at a time when the transmission speed exceeds a certain value.
  • the sow image data collection unit 203 may perform pre-processing on the collected data. In one embodiment, the sow image data collection unit 203 may perform pre-processing on the original image data, such as black-and-white images of the collected image data, or acquire an edge image.
  • the sow image-based behavior analysis unit 205 classifies the behavioral state of the object to be monitored in the image using an artificial intelligence technique such as machine learning and image classification technique.
  • the anomaly classification model can generate a classification model through a learning process such as data labeling on previously collected data.
  • a candidate may be prepared by training a plurality of classification models and analyzing the recall probability.
  • the sow image-based behavior analysis unit 205 may analyze the behavior in the sow image by using the classifier with the best recall performance among classifiers trained based on each classification algorithm.
  • the sow image-based behavior analysis unit 205 may analyze the behavior in the sow image using a classification model engine.
  • the label (class) that the sow anomaly classifier can recognize is a standing pig (Standing_Pig), a lying pig (Lying_Pig), a stacked pig (Multiple_Pig), a sitting pig (Sitting_Pig), and a vomiting pig ( Vomiting_Pig), diarrhea pigs (Diarrhea_Pig), and cough pigs (Cough_Pig).
  • the classification label that can be determined as an abnormal symptom may be joint or respiratory abnormality in the case of a pig sitting in a sitting posture, digestive abnormality in a vomiting pig, digestive abnormality in a diarrhea pig, and respiratory abnormality in a coughing pig.
  • the sow data management unit 207 may store and manage the result of analyzing the behavior of each sow object in the image of the sow.
  • the sow data management unit 207 may store all the behavior analysis results, and the stored behavior analysis results may be used as evidence data for calculating the severity of abnormal symptoms later.
  • FIG. 6 is a diagram exemplarily illustrating a method of storing data in the sow data management unit 207 of FIG. 2 .
  • the sow data management unit 207 may store the location of the pig house, the camera number, the event time, and the type of event together with the image data in which the abnormal symptom is found.
  • the image data may include images monitored for a predetermined period of time.
  • the data format stored by the sow data management unit 207 includes a farm number, a breeding room number, a camera number, a PEN (area) number, a pig ID, an analysis (behavioral event) time, and an analysis (behavioral event) type. can do.
  • the sow data management unit 207 may include information on pigs managed offline by the farm, for example, pig ID, date of birth, first estrous date, purchase weight, purchase location, purchase date, pregnancy lactation, Pig breed and type (pregnancy, sow, piglet, etc.) information may be included.
  • the sow anomaly severity analysis unit 209 may calculate the sow anomaly severity at a predetermined period based on the behavior analysis data accumulated over time.
  • the frequency of calculating sow anomaly severity may be of various values, such as 30 minute intervals or 1 day intervals.
  • the sow abnormal symptom severity analysis unit 209 may calculate the severity for each abnormal symptom to be observed (shoulder posture, diarrhea, vomiting, cough, etc.). In one embodiment, the sow abnormal symptom severity analysis unit 209 may calculate the severity of the sitting posture based on five variables.
  • the five variables may be count, duration, interval, trend, and timing.
  • Count is 1 count for the same pig, means the same type of continuous recognition of the sitting posture
  • duration is the sum of the consecutive recognition types of sitting posture for the same pig
  • the interval is the previous shoulder posture recognition type. It is the time from the recognition type to the current shoulder posture recognition type time
  • the trend is the slope of the shoulder posture graph.
  • the count line graph it is the sum of the time of the 1-hour line graph
  • the timing is the ratio of the sow's sitting posture time for the specified time.
  • each of the five variables may be defined according to a predetermined criterion. For example, the risk count (High Count) in the last 3 days, if more than 30 means severe, the high duration (High Duration) in the last 3 days, if more than 24 hours may mean severe, the risk interval (High Interval) ) for the last 3 days, if the average interval is less than 30 minutes, it may mean severe, and high trend may mean serious if the slope of the graph is greater than 0.25 for the last 3 days, and the risk time High Timing may be defined as the ratio of sitting posture time within a specified time during the last 3 days.
  • the importance of the variable can be adjusted to match the actual event occurrence situation. For example, you could weight 50% for the severity average of counts and duration, 20% weight for interval severity, 20% weight for trend severity, and 10% severity for percentage of time. have.
  • the final severity value can be calculated as follows.
  • the final severity value can be calculated as follows.
  • Severity types can be classified according to the above-mentioned severity calculation result. For example, if the final severity value is 75 or higher, it is Danger, if the final severity value is 40 to less than 75, it is a warning, and the final severity value is 20. If it is less than 40, it can be classified as caution, and when the final severity value is less than 20, it can be classified as safe.
  • the method for calculating the severity of the sitting posture has been described, and the severity of other abnormal symptoms can be calculated similarly to the method of calculating the severity of the sitting posture.
  • FIG. 7 is a diagram exemplarily illustrating data obtained by calculating severity based on behavior analysis data accumulated over time by the sow anomaly symptom severity analysis unit of FIG. 2 .
  • the accumulated behavior analysis data may include ID, Pig ID, Recognition Time, Continuous, and Recognition Type.
  • the sow anomaly severity analysis unit 209 calculates and calculates five variables, count, duration, interval, trend, and timing. Severity can be calculated based on the results obtained.
  • the manager by monitoring the behavior of sows for 24 hours based on images, analyzing abnormal signs, and providing relevant data along with an alarm when abnormal signs are found, the manager provides the necessary measures to sows with abnormal symptoms in a timely manner You can provide enough information to do this.
  • the present disclosure is not limited to the examples described herein, and various modifications, reconstructions, and substitutions may be made without departing from the scope of the present disclosure.
  • the various techniques described herein may be implemented by hardware or software, or a combination of hardware and software.
  • certain aspects or parts of the analysis machine for software safety analysis according to the present disclosure may be implemented as one or more computer programs executable by a general-purpose or dedicated microprocessor, micro-controller, or the like.
  • a computer program includes a storage medium readable by a computer processor or the like, such as EPROM, EEPROM, non-volatile memory such as flash memory device, magnetic disk such as built-in hard disk and removable disk, magneto-optical disk, and It may be implemented in a form stored in various types of storage media including a CDROM disk.
  • the program code(s) may be implemented in assembly language or machine language, and may be implemented in a form transmitted through electric wiring, cabling, optical fiber, or any other type of transmission medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Environmental Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Animal Husbandry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Agronomy & Crop Science (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)

Abstract

컴퓨터 시스템 상에서 수행되는, 이미지 데이터 기반 모돈의 이상 징후 포착 방법이 제공된다. 개시된 방법은 모돈의 이미지 데이터를 수신하는 단계; 상기 이미지 데이터를 분석하여 이미지 내 포함된 적어도 하나의 모돈의 행동을 분석하는 단계; 및 상기 분석한 결과를 기초로 모돈의 이상징후 심각도를 산출하는 단계를 포함할 수 있다.

Description

모돈 이상징후 포착 및 관리 클라우드 서비스 방법 및 장치
본 개시는 영상정보를 분석하여 가축의 이상 징후를 포착하는 관리 클라우드 서비스 시스템 및 그 이용 방법에 관한 것이다.
정보통신기술(ICT)의 보급으로 가축 사양 정보, 환경 정보 등 농장의 데이터를 실시간으로 통합 관리하는 ‘스마트 축산 모델’이 제공되면서, 사육의 생산성 및 품질을 향상하고, 인력관리의 효율성을 높이며 노동력을 절감하는 방향으로 ICT 기술이 접목되어 축산 산업의 변화가 일어나고 있다.
가축의 질병 관리 분야에서는 아직 도입 기술이 미약한데, 가축의 건강상태 및 질병 이상 징후 등을 관리하기 위해서 통상 관리인이 돌아다니며 눈으로 직접 관찰하거나, 가축의 임신 시기, 가축의 체중 및 식사량을 기록하여 관리하거나, 웨어러블 센서 등을 사용하여 접촉식으로 돼지의 운동 데이터 등을 분석하여 관리하거나, 마이크 등을 이용하여 가축의 질병 징후, 예컨대 기침 소리를 인공지능으로 분석하여 탐지하는 등이 현재의 기술 수준이다.
상술한 현재의 기술에는 여러 문제점이 발생할 수 있다. 예컨대, 관리인이 주기적으로 모니터링하는 경우 관리인이 관찰하지 않는 사이 발생하는 돼지의 이상 행동이나 질병 징후를 발견하기 어렵고, 가축의 체중 및 식사량을 기록하여 관리하는 경우, 기록이 누락되거나 기록한 데이터를 적절하게 분석 및 데이터가 주는 의미를 도출하기 위한 데이터 분석 기술이 추가로 필요하다는 문제점이 있으며, 접촉식 센서를 사용하여 관리하는 경우 접촉식 센서를 설치하거나 교체할 때 가축에 질병 등의 감염이나 상해 위험 가능성이 있고, 마이크를 사용하는 경우 축사내 다수의 돼지를 대상으로 발생하는 소리를 분석하기 때문에 기침을 하거나 호흡에 문제가 있는 돼지를 특정하기 매우 어렵다는 문제점이 있다.
관리자의 직접 관찰 없이도 효율적이고 안전하게 가축질병 상황을 확인할 수 있는 가축의 질병 관리 방법 및 시스템이 요구되고 있다.
또한, 가축 관리에 따른 시간적 경제적 부담을 줄이고 돼지 사이의 감염 위험성을 줄이는 비접촉식 고정 설치 방법이 요구된다.
또한, 질병이 발생한 모돈에게 필요한 조치를 적시에 제공할 수 있도록 위험을 알리는 영상기반 모돈 행동 모니터링 및 이상징후 분석 방법이 요구된다.
본 개시의 일 특징에 따르면, 컴퓨터 시스템 상에서 수행되는, 이미지 데이터 기반 모돈의 이상 징후 포착 방법이 제공된다. 개시된 방법은 모돈의 이미지 데이터를 수신하는 단계; 상기 이미지 데이터를 분석하여 이미지 내 포함된 적어도 하나의 모돈의 행동을 분석하는 단계; 및 상기 분석한 결과를 기초로 모돈의 이상징후 심각도를 산출하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 모돈의 행동을 분석하는 단계는 시간에 따른 특정 모돈의 행동, 행동의 지속여부, 행동의 분류, 해당 이미지가 촬영된 카메라 번호를 포함하는 시계열적 데이터를 생성하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 모돈의 이상징후 심각도를 산출하는 단계는 상기 생성된 시계열적 데이터를 기초로 특정 행동에 대한 카운트(count), 시간(duration), 간격(interval), 경향성(trend), 및 시간비율(timing)을 산출하고, 소정의 가중치를 고려하여 심각도를 산출하는 단계를 포함할 수 있다.
일 실시예에 있어서, 전술한 방법은 심각도 산출된 결과가 소정의 기준을 만족하는 경우 실시간으로 그 결과를 전송하는 단계를 더 포함할 수 있다.
일 실시예에 있어서, 전술한 방법은 이상징후 심각도 계산 시간, 이상징후 심각도 계산 시간의 모돈 이미지 또는 전후 소정의 시간 동안의 이미지, 해당 모돈의 이상징후 심각도 시간별 그래프를 제공하는 단계를 더 포함할 수 있다.
일 실시예에 있어서, 모돈의 행동에 대한 분류는 서 있는 돼지(Standing_Pig), 누워 있는 돼지(Lying_Pig), 견좌자세 돼지(Sitting_Pig), 구토 돼지(Vomiting_Pig), 설사 돼지(Diarrhea_Pig), 기침 돼지(Cough_Pig) 중 적어도 하나로 분류될 수 있다.
일 실시예에 있어서, 상기 이미지 데이터를 수신하는 단계는 상기 수신된 이미지를 전처리하는 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 이미지 데이터를 수신하는 단계는 이미지 데이터 수집 정책에 따라 데이터가 수신되며, 상기 이미지 데이터 수집 정책은 기본 정책으로 1분 단위의 주기로 720p이상 컬러 영상 이미지를 서버로 수집하고, 제1 예외 정책으로 행동 분석 결과 집중 모니터링할 클래스인 경우 수집 주기를 짧게 하여 보다 빈번하게 수집하고, 제2 예외 정책으로 모돈이 행동할 시간대가 아닌 경우, 수집 주기를 길게 하여 데이터를 수집하며, 제3 예외 정책으로 네트워크 전송 환경에 따라 데이터 전송 양과 주기를 조절하도록 설정될 수 있다.
일 실시예에 있어서, 이미지 데이터를 분석하는 단계는 사전에 이미지 데이터를 수집하고 데이터 레이블링 등의 학습 과정을 통해 이상징후 분류 모델을 적어도 하나 생성하고, 모돈 인식 이미지 데이터셋을 활용하여 기계학습 알고리즘을 적용하는 단계를 더 포함할 수 있다.
본 개시의 다른 특징에 의하면, 컴퓨터에 의해 실행 가능한, 하나 이상의 컴퓨터 판독가능 명령이 수록된 컴퓨터 판독가능 기록매체로서 상기 하나 이상의 컴퓨터 판독가능 명령은, 상기 컴퓨터에 의해 실행되는 경우, 상기 컴퓨터로 하여금, 전술한 방법들 중 어느 하나의 방법을 수행하게 하는 컴퓨터 판독가능 기록매체가 제공된다.
본 개시의 실시예에 따르면, 효율적이고 안전하게 모돈 질병 상황을 확인할 수 있는 모돈의 질병 관리 방법 및 시스템을 제공할 수 있다.
본 개시의 실시예에 따르면, 영상을 기초로 자동으로 모돈의 이상 징후를 판별함으로써 24시간 누락 없이 모돈의 행동을 모니터링할 수 있고, 모돈에게 필요한 처방을 적시에 적용할 수 있다.
본 개시의 실시예에 따르면, 영상을 기초로 모돈의 행동을 모니터링하여 분석함으로써 위험상황의 요인을 추가적으로 더 도출하고 관리할 수 있다.
도 1은 본 개시의 일 실시예에 따른 모돈의 이상징후 포착 및 관리 클라우드 서비스 시스템(100)의 전체 구성을 개략적으로 도시한 도면이다.
도 2는 도 1의 관리 클라우드 서비스 서버(140)의 예식적 기능 구성을 도시한 기능 블록도이다.
도 3은 도 2의 모돈 이미지 데이터 수집부(303)에서 이미지 데이터를 수집하는 방법을 예시적으로 도시하는 도면이다.
도 4는 모돈 이미지 데이터 수집부(303)에서 이미지 데이터를 분석하는 기계학습 엔진을 예시적으로 도시하는 도면이다.
도 5는 도 2의 모돈 이미지 기반 행동 분석부(305)에서 모돈의 행동을 분석하는 분류 모델 엔진을 예시적으로 도시하는 도면이다.
도 6은 도 2의 모돈 데이터 관리부(309)에서 데이터를 저장하는 방법을 예시적으로 도시하는 도면이다.
도 7은 도 2의 모돈 이상징후 심각도 분석부에서 시간별로 누적된 행동 분석 데이터를 기반으로 심각도를 산출한 데이터를 예시적으로 도시하는 도면이다.
도 8은 축산 농가 단말에서 모돈의 견좌자세 이상징후 이벤트를 조회하는 화면을 예시적으로 도시하는 도면이다.
이하, 첨부 도면을 참조하여 본 개시의 실시예에 관하여 상세히 설명한다. 이하에서는, 본 개시의 요지를 불필요하게 흐릴 우려가 있다고 판단되는 경우, 이미 공지된 기능 및 구성에 관한 구체적인 설명을 생략한다. 또한, 이하에서 설명하는 내용은 어디까지나 본 개시의 일 실시예에 관한 것일 뿐 본 개시가 이로써 제한되는 것은 아님을 알아야 한다.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로 본 개시를 한정하려는 의도에서 사용된 것이 아니다. 예를 들면, 단수로 표현된 구성요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성요소를 포함하는 개념으로 이해되어야 한다. 또한, 본 개시의 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하려는 것은 아니다.
본 명세서에 기재된 실시예에 있어서 '블록' 또는 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '블록' 또는 '부'는, 특정한 하드웨어로 구현될 필요가 있는 '블록' 또는 '부'를 제외하고는, 적어도 하나의 소프트웨어 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
덧붙여, 달리 정의되지 않는 한 기술적 또는 과학적인 용어를 포함하여, 본 명세서에서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의된 용어들은, 관련 기술의 문맥상 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 개시의 명세서에서 명백하게 달리 정의하지 않는 한 과도하게 제한 또는 확장하여 해석되지 않는다는 점을 알아야 한다.
이하, 첨부된 도면을 참조하여, 본 개시의 실시예에 대해 구체적으로 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른, 모돈의 이상징후 포착 및 관리 클라우드 서비스 시스템의 전체 구성을 개략적으로 도시한 도면이다.
도시된 바에 의하면, 모돈의 이상징후 포착 및 관리 클라우드 서비스 시스템은, 축산 농가 단말(110), 복수 개의 카메라(120a, 120b, ..., 120n), 통신망(130), 통신망(130)을 통해 복수 개의 카메라(120a, 120b, ..., 120n) 및 축산 농가 단말(110)에 연결된 관리 클라우드 서비스 서버(140)를 포함한다.
본 개시의 일 실시예에 의하면, 축산 농가 단말(110)은, 축산 농가 관리자를 위한 단말로서, 유선 또는 무선 통신 기능을 구비한 임의의 사용자 전자 장치일 수 있다. 축산 농가 단말(110)은, 예컨대 스마트 폰, 태블릿 PC, 데스크탑, 랩탑, PDA, 디지털 TV, 셋탑박스 등을 포함한 다양한 유선 또는 무선 통신 단말일 수 있으며, 특정 형태로 제한되지 않음을 알아야 한다. 본 도면에서는, 하나의 축산 농가 단말(110) 만이 도시되어 있으나, 본 개시가 이로써 제한되는 것은 아니다.
본 개시의 일 실시예에 의하면, 농가 관리자는, 축산 농가 단말(110)을 통해, 해당 농가에서 관리하는 가축의 관련 정보를 입력 및 저장/관리할 수 있다. 본 개시의 일 실시예에 의하면, 농가 관리자는, 본 개시의 일 실시예에 의하면, 농가 관리자는, 예컨대 축산 농가 단말(110) 상에서, 해당 농가에서 관리하는 가축에 관한 복수의 생체 특징 데이터, 예컨대 가축의 월령, 품종, 임신 상태, 및 성별 정보 등(그러나 이로써 제한되는 것은 아님)을 입력할 수 있다. 본 개시의 일 실시예에 의하면, 농가 관리자는, 예컨대 축산 농가 단말(110) 상에서, 해당 농가에서 관리하는 가축에 관한 복수의 유전 정보 데이터, 예컨대 가축의 부 유전능력 냉도체중, 부 유전능력 배최장근단면적, 부 유전능력 등지방두께, 부 유전능력 근내지방도, 모 유전능력 냉도체중, 모 유전능력 배최장근단면적, 모 유전능력 등지방두께, 및 모 유전능력 근내지방도 등(그러나 이로써 제한되는 것은 아님)을 입력할 수 있다.
본 개시의 다른 실시예에 의하면, 축산 농가 단말(110)은, 통신망(130)을 통하여 외부의 별도 데이터베이스(구체적으로 도시되지 않았음)로부터, 해당 농가에서 관리하는 가축의 생체 특징 정보 및 유전 정보 등을 획득할 수 있다. 예컨대, 특정 가축의 경우, 정부나 지자체에서 관리하는 해당 가축의 데이터베이스가 있는데, 본 개시의 일 실시예에 의하면, 농가 관리자는, 축산 농가 단말(110)을 이용해서, 외부의 데이터베이스로부터 자신의 농가의 가축에 관한 필요한 정보를 가져올 수 있으나, 본 개시가 이로써 제한되는 것은 아니다.
본 개시의 일 실시예에 의하면, 축산 농가 단말(110)은, 통신망(130)을 통해서, 관리 클라우드 서비스 서버(140)와 통신, 즉 필요한 정보를 송수신할 수 있다. 본 개시의 일 실시예에 의하면, 축산 농가 단말(110)은, 통신망(130)을 통해, 해당 농가에서 관리하는 가축에 관련된 정보, 예컨대 생체 특징 정보, 유전 정보 등의 각종 정보를 관리 클라우드 서비스 서버(140)로 전송할 수 있고, 관리 클라우드 서비스 서버(140)로부터 해당 가축에 관한 정보, 예컨대 질병 발생 유무 등을 수신할 수 있다. 본 개시의 일 실시예에 의하면, 축산 농가 단말(110)은, 관리 클라우드 서비스 서버(140)로부터 수신된 각종 정보들을 디스플레이를 통해 표시할 수 있다.
본 개시의 일 실시예에 의하면, 카메라(120a, 120b, ..., 120n)는 축산 농가에서 관리하는 가축의 모습을 촬영하기 위한 것으로서 유선 또는 무선 통신 기능을 구비한 이미지 촬영 카메라, 동영상 촬영 카메라, CCTV 카메라 등 임의의 전자 장치일 수 있다.
본 개시의 일 실시예에 의하면, 카메라(120a, 120b, ..., 120n)는 가축의 이미지, 가축의 걸음 걸이 영상, 가축의 자세 영상, 수면 영상, 움직임 영상, 섭취한 사료의 양, 견좌 자세 영상, 배설 영상, 토사물 영상, 축사의 청소 상태 등을 촬영할 수 있다. 본 도면에 도시된 바에 의하면, 모돈의 이상징후 포착 및 관리 클라우드 서비스 시스템은, 두 개의 카메라(120a, 120b)를 갖는 것으로 도시되어 있으나 본 개시가 이로써 제한되는 것은 아니다.
본 개시의 일 실시예에 의하면, 통신망(130)은, 임의의 유선 또는 무선 통신망, 예컨대 TCP/IP 통신망을 포함할 수 있다. 본 개시의 일 실시예에 의하면, 통신망(130)은, 예컨대 Wi-Fi망, LAN망, WAN망, 인터넷망 등을 포함할 수 있으며, 본 발명이 이로써 제한되는 것은 아니다. 본 개시의 일 실시예에 의하면, 통신망(130)은, 예컨대 이더넷, GSM, EDGE(Enhanced Data GSM Environment), CDMA, TDMA, OFDM, 블루투스, VoIP, Wi-MAX, Wibro 기타 임의의 다양한 유선 또는 무선 통신 프로토콜을 이용하여 구현될 수 있다.
본 개시의 일 실시예에 의하면, 관리 클라우드 서비스 서버(140)는, 통신망(130)을 통하여 카메라(120a, 120b, ..., 120n)로부터 영상 정보를 수신할 수 있다. 본 개시의 일 실시예에 의하면, 관리 클라우드 서비스 서버(140)는, 통신망(130)을 통하여, 축산 농가 단말(110)과 필요한 정보를 송수신할 수 있다.
본 개시의 일 실시예에 의하면, 관리 클라우드 서비스 서버(140)는, 가축에 관한 이미지 데이터, 생체 특징 정보 등을 축산 농가 단말(110)로부터 수신할 수 있다. 본 개시의 일 실시예에 의하면, 관리 클라우드 서비스 서버(140)는, 수신된 이미지 데이터, 생체 특징 정보 등에 기초하여 해당 가축의 건강 상태를 판단할 수 있다.
본 개시의 일 실시예에 의하면, 관리 클라우드 서비스 서버(140)는, 축산 농가 단말(110)로부터 수신된 가축에 관한 이미지 데이터, 생체 특징 데이터, 및 유전 정보와, 이상징후 판단 모델을 통해 해당 가축의 질병 발생 여부을 판단할 수 있다. 본 개시의 일 실시예에 의하면, 관리 클라우드 서비스 서버(140)는, 축산 농가 단말(110) 또는 카메라(120a, 120b, .. 120n)로부터 수집된 데이터를 기초로 시계열 예측 기계학습 기법을 이용하여 가축의 질병 발생 여부을 예측할 수 있다.
도 2는 도 1의 관리 클라우드 서비스 서버(140)의 예시적 기능 구성을 도시한 기능 블록도이다.
도시된 바에 의하면, 관리 클라우드 서비스 서버(140)는, 통신부(201), 모돈 이미지 데이터 수집부(203), 모돈 이미지기반 행동 분석부(205), 모돈 이상징후 심각도 분석부(207), 모돈 데이터 관리부(209), 모돈 이상징후 알림부(211) 및 모돈 이상징후 확인부(213)를 포함할 수 있다.
본 개시의 일 실시예에 의하면, 통신부(201)는, 관리 클라우드 서비스 서버(140)가, 통신망(130)을 통해 외부와 통신할 수 있도록 지원할 수 있다. 본 개시의 일 실시예에 의하면, 통신부(201)는, 소정의 프로토콜에 따라 통신망(130)으로부터 데이터를 수신할 수 있고, 통신망(130)을 통하여 관리 클라우드 서비스 서버(140)로부터 외부로 데이터가 전송되도록 필요한 절차를 수행할 수 있다.
도 3은 도 2의 모돈 이미지 데이터 수집부(303)에서 이미지 데이터를 수집하는 방법을 도시하는 도면이다.
본 개시의 일 실시예에 의하면, 모돈 이미지 데이터 수집부(203)는 돈사내에 설치된 카메라(120a, 120b, .. 120n)로부터 수집된 데이터를 수집할 수 있다. 일 실시예에서, 카메라(120a, 120b, .. 120n)는 스트리밍 영상을 생성하여 전송할 수 있다. 일 실시예에서, 모돈 이미지 데이터 수집부(203)는 카메라(120a, 120b, .. 120n)에서 전송된 영상에 대해 프레임 구분 영상처리를 할 수 있다.
일 실시예에서, 모돈 이미지 데이터 수집부(203)는 카메라(120a, 120b, .. 120n)를 통해 지정한 정책에 따라 이미지 데이터를 수집할 수 있다. 일 실시예에서, 데이터 수집 정책은 기본 정책으로 1분 단위의 주기로 720p이상 컬러 영상 이미지를 수집할 수 있다. 일 실시예에서, 모돈 이미지 데이터 수집부(203)는 제1 예외 정책으로 행동 분석 결과 집중 모니터링할 타입(견과, 설사, 구토, 기침 등)이라면 수집 주기를 짧게 하여 보다 빈번하게 수집할 수 있다. 일 실시예에서, 모돈 이미지 데이터 수집부(203)는 제2 예외 정책으로 돼지가 행동할 시간대가 아니라면, 예컨대 수면시간 등과 같이, 수집 주기를 길게 하여 데이터를 수집할 수 있다. 일 실시예에서, 모돈 이미지 데이터 수집부(203)는 제3 예외 정책으로 네트워크 전송 환경에 따라 데이터 전송 양과 주기를 조절할 수 있다. 예컨대, 네트워크 전송 환경이 나빠지는 경우, 데이터 수집 큐를 조정하여 전송 속도가 일정값 이상이 나올 때 한번에 수집할 수 있다.
일 실시예에서, 모돈 이미지 데이터 수집부(203)는 수집한 데이터에 대해 전처리를 수행할 수 있다. 일 실시예에서, 모돈 이미지 데이터 수집부(203)는 수집한 이미지 데이터의 이미지를 흑백화하거나, 엣지 이미지를 획득하는 등 원본 이미지 데이터에 대해 전처리를 수행할 수 있다.
다시 도 2로 돌아가서, 본 개시의 일 실시예에 의하면, 모돈 이미지기반 행동 분석부(205)는 기계학습, 이미지 분류 기법 등의 인공지능 기법을 사용하여 이미지 내 모니터링할 객체의 행동 상태를 분류할 수 있다.
도 4는 모돈 이미지기반 행동 분석부에서 사용할 이상징후 분류 모델 후보를 준비하는 단계를 도시하는 도면이다. 이상징후 분류 모델은 사전에 수집된 데이터에 데이터 레이블링 등의 학습 과정을 통해 분류 모델을 생성할 수 있다. 도 4에 도시된 바와 같이 다수의 분류모델을 학습시키고 리콜(recall) 확률을 분석하여 후보를 준비할 수 있다.
도 5는 모돈 이미지기반 행동 분석부(205)에서 분류모델 엔진으로 모돈 이미지 기반 행동을 분석하는 방법을 도시하는 도면이다. 모돈 이미지기반 행동 분석부(205)는 각 분류 알고리즘을 기초로 학습시킨 분류기 중 가장 리콜 성능이 뛰어난 분류기를 이용하여 모돈 이미지 내 행동을 분석할 수 있다.
다시 도 2로 돌아가서, 본 개시의 일 실시예에 의하면, 모돈 이미지기반 행동 분석부(205)는 분류모델 엔진을 이용하여 모돈 이미지 내 행동을 분석할 수 있다.
일 실시예에서, 모돈 이상징후 분류기가 인식할 수 있는 레이블(클래스)은 서 있는 돼지(Standing_Pig), 누워 있는 돼지(Lying_Pig), 겹쳐있는 돼지(Multiple_Pig), 견좌자세 돼지(Sitting_Pig), 구토 돼지(Vomiting_Pig), 설사 돼지(Diarrhea_Pig), 기침 돼지(Cough_Pig)를 포함할 수 있다.
일 실시예에서, 이상징후로 판단할 수 있는 분류 레이블은 견좌자세 돼지의 경우 관절 또는 호흡기 이상, 구토 돼지의 경우 소화기 이상, 설사 돼지의 경우 소화기 이상, 기침 돼지의 경우 호흡기 이상일 수 있다.
본 개시의 일 실시예에 의하면, 모돈 데이터 관리부(207)는 모돈의 이미지에서 모돈 객체별 행동을 분석한 결과를 저장 및 관리할 수 있다. 일 실시예에서, 모돈 데이터 관리부(207)는 행동 분석 결과를 모두 저장할 수 있으며, 저장된 행동 분석 결과는 추후 이상징후 심각도를 계산하기 위한 근거 데이터로 사용될 수 있다.
도 6은 도 2의 모돈 데이터 관리부(207)에서 데이터를 저장하는 방법을 예시적으로 도시하는 도면이다.
도 6에 도시된 바와 같이, 일 실시예에서, 모돈 데이터 관리부(207)는 이상징후가 발견된 이미지 데이터와 함께 돈사 위치, 카메라 번호, 이벤트 시간, 이벤트 종류를 저장할 수 있다. 일 실시예에서, 이미지 데이터는 소정의 시간동안 모니터링된 영상을 포함할 수 있다.
일 실시예에서, 모돈 데이터 관리부(207)에서 저장하는 데이터 형식은 농장 번호, 사육실 번호, 카메라 번호, PEN(구역) 번호, 돼지 ID, 분석(행동 이벤트) 시간, 분석(행동 이벤트) 종류를 포함할 수 있다.
일 실시예에서, 모돈 데이터 관리부(207)는 농장에서 오프라인으로 관리하는 돼지의 정보를 포함할 수 있으며, 예컨대, 돼지 ID, 생년원일, 최초 발정일, 구매 무게, 구매처, 구매일, 임신 산차, 돼지 품정, 타입(임신, 숫돈, 자돈 등) 정보를 포함할 수 있다.
본 개시의 일 실시예에 의하면, 모돈 이상징후 심각도 분석부(209)는 시간별로 누적된 행동 분석 데이터를 기반으로 일정 주기로 모돈 이상징후 심각도를 계산할 수 있다. 일 실시예에서, 모돈 이상징후 심각도 계산 주기는 30분 간격 또는 1일 간격으로 다양한 값이 될 수 있다.
본 개시의 일 실시예에 의하면, 모돈 이상징후 심각도 분석부(209)는 심각도를 관찰 대상 이상징후(견좌자세, 설사, 구토, 기침 등)별로 계산할 수 있다. 일 실시예에서, 모돈 이상징후 심각도 분석부(209)는 견좌자세의 심각도를 5개의 변수를 기초로 계산할 수 있다.
여기서, 5개의 변수는 카운트(count), 시간(duration), 간격(interval), 경향성(trend), 및 시간비율(timing)일 수 있다. 카운트(count)는 동일한 돼지에 대해 1 카운트는 동일한 견좌자세 연속 인식 유형을 의미하고, 시간(duration)은 동일한 돼지에 대해 연속 견좌자세 인식 유형의 합산 시간이며, 간격(interval)은 이전의 견좌자세 인식 유형에서 현재 견좌자세 인식 유형 시간까지의 시간이고, 경향성(trend)은 견좌자세 그래프의 기울기. 카운트 라인 그래프 대신 1시간 라인 그래프의 시간 합이며 시간비율(timing)은 지정된 시간 동안 모돈의 견좌자세 시간 비율이다.
또한, 5개 변수 각각의 심각도를 소정의 기준에 따라 정의할 수 있다. 예컨대, 위험 카운트(High Count)는 최근 3일 동안, 30개가 넘으면 심각함을 의미하며, 위험 시간(High Duration)은 최근 3일 동안, 24시간이 넘으면 심각함을 의미할 수 있고, 위험 간격(High Interval)은 최근 3일 동안, 평균 간격이 30분보다 적으면 심각함을 의미할 수 있으며, 위험 경향성(High Trend)은 최근 3일 동안, 그래프의 기울기가 0.25보다 크면 심각함을 의미할 수 있고, 위험 시간 비율(High Timing)은 최근 3일 동안, 지정된 시간 내 견좌자세 시간의 비율로 정의할 수 있다.
또한, 각 변수에 대해 가중치를 설정하여 실제 이벤트 발생 상황에 맞도록 변수의 중요도를 조정할 수 있다. 예컨대, 카운트와 시간(duration)의 심각도 평균에 대한 가중치를 50%로 하고, 간격 심각도에 대한 가중치를 20%, 경향성 심각도에 대한 가중치를 20%, 그리고 시간 비율에 대한 심각도를 10%로 할 수 있다.
전술한 전제와 가정을 기초로, 최종 심각도 값은 다음과 같이 계산할 수 있다.
(1) 카운트 심각도 =
Figure PCTKR2020006882-appb-I000001
, 만약 1을 초과하면 1로 함
(2) 시간(duration) 심각도 =
Figure PCTKR2020006882-appb-I000002
, 만약 1을 초과하면 1로 함
(3) 간격 심각도 =
Figure PCTKR2020006882-appb-I000003
, 만약 1을 초과하면 1, 만약 0 미만이면 0으로 함
(4) 경향성 심각도 =
Figure PCTKR2020006882-appb-I000004
, 만약 1을 초과하면 1, 만약 0 미만이면 0으로 함
(5) 시간비율 심각도 =
Figure PCTKR2020006882-appb-I000005
따라서, 최종 심각도 값은 아래와 같이 계산될 수 있다.
(6) 최종 심각도 =
Figure PCTKR2020006882-appb-I000006
전술한 심각도 계산 결과에 따라 심각도 유형을 구분할 수 있는데, 예를 들어, 최종 심각도 값이 75 이상인 경우 위험(Danger), 최종 심각도 값이 40 이상 75 미만인 경우, 경고(warning), 최종 심각도 값이 20 이상 40 미만인 경우, 주의(caution), 최종 심각도 값이 20미만인 경우 안전(safe)로 구분할 수 있다.
이상 견좌자세 심각도를 계산하는 방법을 설명하였고, 다른 이상징후 심각도도 전술한 견좌자세 심각도를 계산하는 방법과 유사하게 계산할 수 있을 것이다.
도 7은 도 2의 모돈 이상징후 심각도 분석부에서 시간별로 누적된 행동 분석 데이터를 기반으로 심각도를 산출한 데이터를 예시적으로 도시하는 도면이다.
일 실시예에서, 누적된 행동 분석 데이터는 ID, Pig ID, Recognition Time, Continous, Recognition Type을 포함할 수 있다. 일 실시예에서, 모돈 이상징후 심각도 분석부(209)는 5개의 변수, 카운트(count), 시간(duration), 간격(interval), 경향성(trend), 및 시간비율(timing)을 계산하고, 계산된 결과값을 기초로 심각도를 계산할 수 있다.
본 개시에 따르면, 영상 기반으로 24시간 모돈의 행동을 모니터링하여 이상징후를 분석하고 이상징후가 발견되는 경우 알람과 함께 관련 데이터를 제공함으로써 관리자로 하여금 이상징후가 있는 모돈에게 필요한 조치를 적시에 제공할 수 있도록 충분한 정보를 제공할 수 있다.
당업자라면 알 수 있듯이 본 개시는 본 명세서에서 기술된 예시에 한정되는 것이 아니라 본 개시의 범주를 벗어나지 않는 범위 내에서 다양하게 변형, 재구성 및 대체될 수 있다. 예를 들어, 본원에 기술된 다양한 기술들은 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 따라서 본원에 따른 소프트웨어 안전성 분석을 위한 분석 머신의 특정한 양태나 부분은 범용 또는 전용 마이크로프로세서, 마이크로-컨트롤러 등에 의해 실행 가능한 하나 이상의 컴퓨터 프로그램으로 구현될 수 있다. 본 개시의 일 실시예에 따른 컴퓨터 프로그램은, 컴퓨터 프로세서 등에 의해 판독 가능한 저장 매체, 예컨대 EPROM, EEPROM, 플래시 메모리장치와 같은 비휘발성 메모리, 내장형 하드 디스크와 착탈식 디스크 같은 자기 디스크, 광자기 디스크, 및 CDROM 디스크 등을 포함한 다양한 유형의 저장 매체에 저장된 형태로 구현될 수 있다. 또한, 프로그램 코드(들)는 어셈블리어나 기계어로 구현될 수 있고, 전기 배선이나 케이블링, 광섬유, 또는 기타 임의의 다른 형태의 전송 매체를 통해 전송되는 형태로 구현될 수도 있다.
본 명세서에서는, 예시적인 실시예에 대해 다양한 도면을 참조하여 주로 기술했지만, 다른 유사한 실시예들이 이용될 수 있다. 본 개시의 진정한 사상 및 범주에 속하는 모든 변형 및 변경을 이하의 특허청구범위에 의해 모두 포괄하고자 한다.
110: 축산 농가 단말
120: 카메라
130: 통신망
140: 관리 클라우드 서비스 서버

Claims (10)

  1. 컴퓨터 시스템 상에서 수행되는, 이미지 데이터 기반 모돈의 이상 징후 포착 방법으로서,
    모돈의 이미지 데이터를 수신하는 단계;
    상기 이미지 데이터를 분석하여 이미지 내 포함된 적어도 하나의 모돈의 행동을 분석하는 단계; 및
    상기 분석한 결과를 기초로 모돈의 이상징후 심각도를 산출하는 단계
    를 포함하는 모돈 이상징후 포착 및 관리 클라우드 서비스 방법.
  2. 제1항에 있어서,
    상기 모돈의 행동을 분석하는 단계는 시간에 따른 특정 모돈의 행동, 행동의 지속여부, 행동의 분류, 해당 이미지가 촬영된 카메라 번호를 포함하는 시계열적 데이터를 생성하는 단계를 포함하는 모돈 이상징후 포착 및 관리 클라우드 서비스 방법.
  3. 제2항에 있어서,
    상기 모돈의 이상징후 심각도를 산출하는 단계는
    상기 생성된 시계열적 데이터를 기초로 특정 행동에 대한 카운트(count), 시간(duration), 간격(interval), 경향성(trend), 및 시간비율(timing)을 산출하고, 소정의 가중치를 고려하여 심각도를 산출하는 단계를 포함하는 모돈 이상징후 포착 및 관리 클라우드 서비스 방법.
  4. 제3항에 있어서,
    상기 방법은
    상기 심각도 산출된 결과가 소정의 기준을 만족하는 경우 실시간으로 그 결과를 전송하는 단계를 더 포함하는 모돈 이상징후 포착 및 관리 클라우드 서비스 방법.
  5. 제4항에 있어서,
    상기 방법은
    이상징후 심각도 계산 시간, 이상징후 심각도 계산 시간의 모돈 이미지 또는 전후 소정의 시간 동안의 이미지, 해당 모돈의 이상징후 심각도 시간별 그래프를 제공하는 단계를 더 포함하는 모돈 이상징후 포착 및 관리 클라우드 서비스 방법.
  6. 제1항에 있어서,
    모돈의 행동에 대한 분류는 서 있는 돼지(Standing_Pig), 누워 있는 돼지(Lying_Pig), 견좌자세 돼지(Sitting_Pig), 구토 돼지(Vomiting_Pig), 설사 돼지(Diarrhea_Pig), 기침 돼지(Cough_Pig) 중 적어도 하나로 분류되는 모돈 이상징후 포착 및 관리 클라우드 서비스 방법.
  7. 제1항에 있어서,
    상기 이미지 데이터를 수신하는 단계는
    상기 수신된 이미지를 전처리하는 단계를 더 포함하는 모돈 이상징후 포착 및 관리 클라우드 서비스 방법.
  8. 제1항에 있어서,
    상기 이미지 데이터를 수신하는 단계는 이미지 데이터 수집 정책에 따라 데이터가 수신되며, 상기 이미지 데이터 수집 정책은 기본 정책으로 1분 단위의 주기로 720p이상 컬러 영상 이미지를 서버로 수집하고, 제1 예외 정책으로 행동 분석 결과 집중 모니터링할 클래스인 경우 수집 주기를 짧게 하여 보다 빈번하게 수집하고, 제2 예외 정책으로 모돈이 행동할 시간대가 아닌 경우, 수집 주기를 길게 하여 데이터를 수집하며, 제3 예외 정책으로 네트워크 전송 환경에 따라 데이터 전송 양과 주기를 조절하도록 설정되는 모돈 이상징후 포착 및 관리 클라우드 서비스 방법.
  9. 제1항에 있어서,
    상기 이미지 데이터를 분석하는 단계는 사전에 이미지 데이터를 수집하고 데이터 레이블링 등의 학습 과정을 통해 이상징후 분류 모델을 적어도 하나 생성하고,
    모돈 인식 이미지 데이터셋을 활용하여 기계학습 알고리즘을 적용하는 단계를 더 포함하는 모돈 이상징후 포착 및 관리 클라우드 서비스 방법.
  10. 컴퓨터에 의해 실행 가능한, 하나 이상의 컴퓨터 판독가능 명령이 수록된 컴퓨터 판독가능 기록매체로서, 상기 하나 이상의 컴퓨터 판독가능 명령은, 상기 컴퓨터에 의해 실행되는 경우, 상기 컴퓨터로 하여금, 제1항 내지 제9항 중 어느 한 항에 따른 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.
PCT/KR2020/006882 2019-03-26 2020-05-28 모돈 이상징후 포착 및 관리 클라우드 서비스 방법 및 장치 WO2021194008A1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20190034690 2019-03-26
KR1020200036973A KR102425523B1 (ko) 2019-03-26 2020-03-26 모돈 이상징후 포착 및 관리 클라우드 서비스 방법 및 장치
KR10-2020-0036973 2020-03-26

Publications (1)

Publication Number Publication Date
WO2021194008A1 true WO2021194008A1 (ko) 2021-09-30

Family

ID=72884781

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/006882 WO2021194008A1 (ko) 2019-03-26 2020-05-28 모돈 이상징후 포착 및 관리 클라우드 서비스 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102425523B1 (ko)
WO (1) WO2021194008A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT524715A1 (de) * 2021-02-12 2022-08-15 Mechatronik Zehentner Eu Verfahren und Vorrichtung zur Nachverfolgung von Tieren
KR102577121B1 (ko) * 2021-09-29 2023-09-12 한국축산데이터 주식회사 농업회사법인 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치
KR102648259B1 (ko) * 2021-09-30 2024-03-14 한국화학연구원 동물 소리감지를 통한 야간 행동분석장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101122644B1 (ko) * 2009-11-04 2012-03-09 (주)농정사이버 가축의 생체변화 모니터링 시스템
KR20150130803A (ko) * 2014-05-14 2015-11-24 숭실대학교산학협력단 전염병 모니터링 방법 및 이를 이용한 시스템, 이를 수행하기 위한 기록매체
US20170202185A1 (en) * 2016-01-18 2017-07-20 Dinklage Feed Yards, Inc. Unmanned livestock monitoring system and methods of use
KR101931270B1 (ko) * 2018-04-25 2018-12-20 주식회사 근옥 영상 분석을 이용한 자돈 사육 시스템
KR20200030765A (ko) * 2018-09-13 2020-03-23 박상열 기계학습을 이용한 가축관리장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160078089A (ko) * 2014-12-24 2016-07-04 고려대학교 산학협력단 농장에서의 움직임 객체의 공격적 행동 탐지 및 관리시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101122644B1 (ko) * 2009-11-04 2012-03-09 (주)농정사이버 가축의 생체변화 모니터링 시스템
KR20150130803A (ko) * 2014-05-14 2015-11-24 숭실대학교산학협력단 전염병 모니터링 방법 및 이를 이용한 시스템, 이를 수행하기 위한 기록매체
US20170202185A1 (en) * 2016-01-18 2017-07-20 Dinklage Feed Yards, Inc. Unmanned livestock monitoring system and methods of use
KR101931270B1 (ko) * 2018-04-25 2018-12-20 주식회사 근옥 영상 분석을 이용한 자돈 사육 시스템
KR20200030765A (ko) * 2018-09-13 2020-03-23 박상열 기계학습을 이용한 가축관리장치 및 방법

Also Published As

Publication number Publication date
KR20200115317A (ko) 2020-10-07
KR102425523B1 (ko) 2022-07-27

Similar Documents

Publication Publication Date Title
WO2021194008A1 (ko) 모돈 이상징후 포착 및 관리 클라우드 서비스 방법 및 장치
WO2021182684A1 (ko) 가축의 개체별 이상 징후 포착 시스템 및 그 이용 방법
WO2017003113A1 (ko) 음향 및 영상분석을 통한 넙치 질병 예방 시스템
KR20150130803A (ko) 전염병 모니터링 방법 및 이를 이용한 시스템, 이를 수행하기 위한 기록매체
WO2022158674A1 (ko) 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법
CN113411542A (zh) 一种智能化的工作状况监测设备
CN111310596A (zh) 一种动物患病状态监测系统及方法
WO2021172677A1 (ko) 영상 인공지능 기반 반려동물 질병 예후 진단 방법
KR20210080226A (ko) 반려동물 모니터링 방법 및 그 장치
CN112580552A (zh) 一种鼠类行为分析方法及装置
KR20200105558A (ko) 컴퓨터 비전을 이용한 가축 질병 예측 시스템 및 그 방법
CN114980011B (zh) 穿戴式传感器与红外相机协同的畜禽体温监测方法
CN115349459A (zh) 一种智能猪舍监控系统
CN116824626A (zh) 一种动物异常状态人工智能识别的方法
CN115410304A (zh) 基于自学习的鸡舍养殖安全防控方法及系统
WO2024034923A1 (ko) 인공지능을 이용한 영상 감시 기반 개체 인식 및 행동패턴 분석 방법 및 시스템
KR102172347B1 (ko) 농장 가축 상태 평가 방법 및 시스템
KR20230065673A (ko) 양식 어류의 실시간 질병 감지시스템 및 그 방법
Gu et al. A two-stage recognition method based on deep learning for sheep behavior
WO2023128186A1 (ko) 멀티-모달 비디오 캡셔닝 기반 영상 보안 시스템 및 방법
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2021096136A1 (ko) 전자 장치 및 그 제어 방법
CN115937982A (zh) 一种猪只姿态和行为的识别方法及系统
KR102253236B1 (ko) 빅데이터를 이용한 농장 질병 분석 장치
CN116963595A (zh) 猪饲养辅助装置、猪饲养辅助方法以及猪饲养辅助程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20927852

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 23.01.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20927852

Country of ref document: EP

Kind code of ref document: A1