WO2022145614A1 - Livestock weight estimation system and method using livestock barn image - Google Patents

Livestock weight estimation system and method using livestock barn image Download PDF

Info

Publication number
WO2022145614A1
WO2022145614A1 PCT/KR2021/010024 KR2021010024W WO2022145614A1 WO 2022145614 A1 WO2022145614 A1 WO 2022145614A1 KR 2021010024 W KR2021010024 W KR 2021010024W WO 2022145614 A1 WO2022145614 A1 WO 2022145614A1
Authority
WO
WIPO (PCT)
Prior art keywords
livestock
weight
image
weight estimation
model
Prior art date
Application number
PCT/KR2021/010024
Other languages
French (fr)
Korean (ko)
Inventor
경노겸
송신애
송도영
Original Assignee
한국축산데이터 주식회사 농업회사법인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국축산데이터 주식회사 농업회사법인 filed Critical 한국축산데이터 주식회사 농업회사법인
Publication of WO2022145614A1 publication Critical patent/WO2022145614A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G17/00—Apparatus for or methods of weighing material of special form or property
    • G01G17/08—Apparatus for or methods of weighing material of special form or property for weighing livestock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually

Definitions

  • the present invention relates to a livestock weight estimation system and method, and more particularly, to a livestock weight estimation system and method using a livestock image.
  • the weight of pigs is measured by the chest positioning method and the pig breeding method.
  • the chest position measurement method is used to convert the weight by applying the value obtained by measuring the chest position of the money with a tape measure to the weight calculation formula.
  • the pig weighing machine directly measures the weight of pigs in an enclosed space after installing an accessory device on a scale that measures the weight of pigs. There is a problem of having to stop for a certain time within the sentence, and in this process, it takes about 10 minutes or more on a per worker basis to measure the weight of one animal. There were breakdowns and difficulties in maintenance.
  • Registered Patent No. 10-2180077 (Title of the invention: livestock weight estimation system using livestock weight estimation application based on 3D image, and livestock weight estimation method using the same, registration date: 2020 November 11), etc. have been disclosed.
  • the present invention has been proposed to solve the above problems of the previously proposed methods, and a livestock counting model and weight estimation generated by learning based on deep learning the images of the top and side livestock according to the angle of the camera installed in the livestock barn. Using the model, the number of livestock and the weight of livestock can be accurately estimated regardless of the shooting angle of the livestock video.
  • An object of the present invention is to provide a system and method for estimating the weight of livestock using livestock images, which can estimate and manage the weight of the animal.
  • a livestock weight estimation system comprising:
  • a database unit that collects and stores livestock images from a camera installed in the livestock house, and stores top-view and side-view livestock messages according to the angle of the camera;
  • an image collecting unit that collects livestock images captured by a camera installed in a farmhouse of a managed farmhouse in real time
  • a counting unit that detects a plurality of livestock from the livestock image of the managed farmhouse collected by the image collection unit using a deep learning-based livestock counting model, and estimates the number of detected livestock;
  • the key-point or segmentation of the livestock is extracted from the livestock area image of each livestock detected in the counting unit, and the weight of the livestock is estimated using the extracted key-point or segmentation. including wealth,
  • the livestock counting model and weight estimation model are,
  • the counting unit and the weight estimation unit are the counting unit and the weight estimation unit.
  • the number of livestock and the weight of the livestock are estimated regardless of the shooting angle of the livestock image of the farmhouse to be managed collected by the image collection unit.
  • the livestock counting model and the weight estimation model are,
  • the livestock counting model and the weight estimation model are,
  • It may be a neural network-based model including a plurality of convolutional layers.
  • the weight estimation unit Preferably, the weight estimation unit, the weight estimation unit, and
  • a shape extraction module for extracting a key-point or segmentation of livestock from each livestock region image detected by the counting unit
  • It may include a weight estimation module for measuring the body size of the livestock using the extracted key-point or segmentation, and estimating the weight of the livestock from the measured body size.
  • the shape extraction module More preferably, the shape extraction module,
  • a livestock region image may be generated by separating the livestock region detected from the livestock barn image of the farmhouse to be managed, and a predetermined number of key-points including the head and tail of the livestock may be extracted from the livestock region image.
  • Livestock image characterized in that it further comprises a monitoring unit that monitors the weight of the livestock estimated by the weight estimation unit, generates a monitoring report including the trend of the estimated weight of the livestock, and provides it to the management target farmhouse device.
  • Livestock weight estimation system using
  • a method for estimating livestock weight comprising:
  • (1) Collect and store livestock images from a camera installed in a livestock house, but use a database unit that stores top-view and side-view livestock images according to the angle of the camera, and top and side livestock houses generating a livestock counting model and a weight estimation model by learning the image based on deep learning;
  • livestock is detected from livestock images captured by a camera installed in the livestock barn of the managed farmhouse collected in real time, and the number of detected livestock and the weight of the livestock are estimated comprising the steps of
  • the step (2) is,
  • step (2-2) extracting the key-point or segmentation of livestock from the livestock area image of each livestock detected in step (2-1) using the weight estimation model, and using the extracted key-point or segmentation It is characterized in that it comprises the step of estimating the weight.
  • step (2) the ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • the number of livestock and the weight of the livestock can be estimated regardless of the shooting angle of the livestock barn image of the managed farmhouse.
  • the livestock counting model and weight estimation model generated by learning the top and side livestock images based on deep learning according to the angle of the camera installed in the livestock house
  • the number of livestock and the weight of livestock can be accurately estimated regardless of the shooting angle of the livestock image, and the weight of livestock in the livestock barn is automatically used by using the CCTV camera installed in the existing barn without relying on devices such as 3D cameras. can be estimated and managed.
  • FIG. 1 is a diagram showing the configuration of a livestock weight estimation system using a livestock livestock image according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating a weight estimation concept of a livestock weight estimation system using a livestock image according to an embodiment of the present invention.
  • 3 and 4 are diagrams for explaining a conventional weight estimation technique.
  • FIG. 5 is a diagram illustrating a process of estimating the number and weight of livestock in a livestock weight estimation system using a livestock image according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a detailed configuration of a weight estimation unit in a livestock weight estimation system using a livestock image according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating image segmentation used in a system for estimating livestock weight using livestock images according to an embodiment of the present invention.
  • FIG. 8 is a view illustrating, for example, a monitoring report provided by a monitoring unit in a system for estimating livestock weight using a livestock image according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a flow of a method for estimating the weight of livestock using an image of a barn according to an embodiment of the present invention.
  • step S200 is a view showing a detailed flow of step S200 in the method for estimating the weight of a livestock using a livestock image according to an embodiment of the present invention.
  • S100 A step of generating a livestock counting model and a weight estimation model by learning the upper and side livestock images based on deep learning using the database unit that stores the livestock images
  • S220 extracting the key-point or segmentation of the livestock from the livestock area image of each livestock detected using the weight estimation model, and estimating the weight of the livestock using the extracted key-point or segmentation
  • the livestock weight estimation system 100 using the livestock image according to an embodiment of the present invention includes a database unit 110 , an image collection unit 120 , a counting unit 130 , and a weight weight. It may be configured to include the government 140 , it may be configured to further include a monitoring unit 150 and a tracking unit 160 .
  • the livestock weight estimation system 100 using the livestock image according to an embodiment of the present invention detects and counts the livestock in the livestock house using the image collected from the camera installed in the farmhouse's livestock barn. , the weight of the livestock can be estimated from the detected shape of the livestock. In this case, by using the estimated weight of the livestock, it is possible to plan the shipment schedule of the livestock corresponding to the standard pig, and it is also possible to select an abnormal individual in the barn and take appropriate measures.
  • 3 and 4 are diagrams for explaining a conventional weight estimation technique.
  • 3 is a diagram illustrating weight calculation from the appearance of a pig photographed with a 3D camera by mounting a 3D camera on a tablet PC. The weight is calculated by simply applying the weight per unit area to the volume calculation method of the 3D camera.
  • 4 is a technology for selecting a pig close to 110 kg by measuring the border and length of the pig with a smartphone, and corresponds to an augmented reality-based technology. That is, the prior art as shown in FIGS. 3 and 4 is dependent on the device because it utilizes the AR function of a 3D camera or smartphone, and the farmhouse manager or the like must photograph the livestock one by one. Weight cannot be measured, it takes a long time, and continuous monitoring is difficult.
  • a camera is installed for each livestock house (a pig room or pig house). And by analyzing the images/videos taken of livestock (eg, pigs) in the barn through deep learning, the number of livestock and the weight of the livestock can be accurately estimated.
  • the present invention it is impossible to determine the number of pigs raised in the pig house and various losses resulting therefrom (unable to determine the number of dead heads, it is impossible to accurately determine the cost of feed, etc.) It can solve problems such as a decrease in sales price, administration of drugs suitable for the current state, inability to understand feed efficiency, etc.) and inability to identify main behaviors directly related to the health of pigs (real-time monitoring of abnormal behaviors and identification of suspected diseases, etc.).
  • each component of the livestock weight estimation system 100 using a livestock livestock image according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 and 2 .
  • the measurement of the pig weight with the pig farm will be described as an example, but the livestock that can be weighed in the present invention is not limited to pigs, and it can be applied to various livestock such as cattle, chickens, ducks, and sheep.
  • the database unit 110 collects and stores livestock images from a camera installed in the livestock house, but may store top-view and side-view livestock images according to the angle of the camera.
  • the database unit 110 may store a large amount of data by collecting images for each livestock farm of several livestock farms.
  • the camera installed in the livestock house may be a CCTV camera, and may collect images captured in real time and store them in the database unit 110 .
  • the angle and brightness of the livestock video may vary depending on the installation location, direction, angle, and livestock characteristics of the CCTV camera. It can be used for training livestock counting model and weight estimation model, which will be described in detail later.
  • the image collection unit 120 may collect livestock images captured by a camera installed in a livestock house of a managed farmhouse in real time. That is, a CCTV camera is installed for each livestock house of the farmhouse to be managed, and the image collecting unit 120 may collect livestock images from the CCTV camera in real time.
  • the collected livestock images are stored in the database unit 110 to additionally secure data, and can be used to improve or update the livestock counting model and the weight estimation model.
  • the counting unit 130 may use a deep learning-based livestock counting model to detect a plurality of livestock from the livestock images of the farmhouse to be managed collected by the image collection unit 120, and estimate the number of detected livestock. .
  • the weight estimator 140 uses a deep learning-based weight estimation model to extract a key-point or segmentation of livestock from each livestock region image detected by the counting unit 130, and the extracted key-point or segmentation can be used to estimate the animal's weight.
  • the shape of the livestock may be accurately predicted and the weight may be estimated using both the key-point and the segmentation.
  • the livestock counting model and the weight estimation model may be generated by learning the image of the top and side livestock animals stored in the database unit 110 based on deep learning, and the counting unit 130 and the weight estimation unit 140 include, Using the livestock counting model and the weight estimation model, the number of livestock and the weight of the livestock may be estimated regardless of the shooting angle of the livestock livestock image of the managed farmhouse collected by the image collection unit 120 .
  • the livestock counting model and weight estimation model generated by performing deep learning using a dataset configured to include both top and side livestock images it is possible to accurately detect livestock and estimate weight even in various angles and dark environments. can
  • the livestock counting model and the weight estimation model may be a neural network-based model including a plurality of convolutional layers. That is, the livestock counting model and the weight estimation model may be learned using HRNet including a plurality of convolutional layers. More specifically, the livestock counting model may use HRNet as a backbone network, and the weight estimation model may use HRNet as a key-point extraction model or a segmentation extraction model.
  • FIG. 5 is a diagram illustrating a process of estimating the number and weight of livestock in the livestock weight estimation system 100 using a livestock image according to an embodiment of the present invention.
  • the counting unit 130 and the weight estimating unit 140 of the livestock weight estimation system 100 using a livestock livestock image according to an embodiment of the present invention will be described in detail with reference to FIG. 5 .
  • the counting unit 130 may detect a plurality of livestock in the livestock image and use the livestock counting model to estimate the number of livestock.
  • the data set may be configured to include both the top and side images from the livestock images collected from the CCTV cameras stored in the database unit 110 .
  • a total of 3,048 learning datasets consisting of 1,648 images of top pens and 1,400 images of side pens were constructed using CCTV camera images installed in pig houses of various pig farms, and the learning dataset was tested The evaluation was performed using three sets as they are.
  • HRNet as a backbone network
  • Cascade R-CNN as a detection network
  • cattle are detected in the form of a bounding box from livestock images.
  • FPN Feature Pyramid Network
  • Balanced FPN to change the backbone feature and use it as an input for Cascade R-CNN, it is possible to obtain robust livestock detection performance even when the angle or brightness of a CCTV camera changes.
  • the livestock counting model created using the training dataset as described above has excellent experimental results of Average Recall 94.2, Average Precision 91.72, Average Recall 93.6, and Average Precision 90.5 for the side livestock image for the upper-view livestock barn image. Confirmed. In this way, even with a relatively small amount of training data, it is possible to generate a livestock counting model having robust livestock detection performance even in various angles and lighting environments.
  • the counting unit 130 may detect livestock in the barn from livestock images collected in real time from the management target farm using the generated livestock counting model, and count the detected number of livestock.
  • the weight estimation unit 140 may use a weight estimation model to estimate the weight of each livestock detected by the counting unit 130 .
  • the weight estimation model can be trained using the training dataset by integrating with the livestock counting model. That is, as shown in Figure 5, the image (livestock area image) of the cattle bounding box detected in the livestock image through the livestock counting model is input to the HRNet for key-point or segmentation extraction, respectively, and learning is performed, A weight estimation model that extracts a key-point or segmentation of a livestock from each livestock area image may be generated.
  • the weight estimation unit 140 of the livestock weight estimation system 100 using the livestock image according to an embodiment of the present invention includes a shape extraction module 141 and a weight estimation module 142 . may be included.
  • the shape extraction module 141 may extract a key-point or segmentation of a livestock from the livestock area image of each livestock detected by the counting unit 130 .
  • the shape extraction module 141 may use an HRNet-based weight estimation model as shown in FIG. 5 .
  • the shape extraction module 141 generates a livestock region image by separating the livestock region detected from the livestock barn image of the managed farmhouse, and a predetermined number of keys including the head and tail of the livestock in the livestock region image - Points can be extracted.
  • the livestock area image may be a part of a bounding box corresponding to the livestock detected by the livestock counting model, and a total of 8 key-points including the head, belly, back, tail, shoulder, etc. can be extracted.
  • the number and location of the key-points may be different depending on the type of livestock, and may be optimized according to the characteristics of each livestock.
  • the weight estimation model was created to extract 8 key-points optimized for pigs using a training dataset including images of a barn shot from the top and side. More specifically, the weight estimation model generated by applying a total of 3,048 training datasets as described above to HRNet showed high precision (training: 0.941, testing and validation: 0.848), and at least 1 in the pig house. Key-points could be detected for pigs greater than /4.
  • the shape extraction module 141 generates a livestock region image by separating the livestock region detected from the livestock livestock image of the management target farmhouse, and image segmentation using the livestock region image of the learning dataset (Image Segmentation) ), it is also possible to extract the segmentation of livestock using the trained weight estimation model.
  • the shape extraction module 141 uses an image segmentation technique such as semantic segmentation or instance segmentation to extract the shape of each livestock detected in the livestock image.
  • the weight estimation module 142 may measure the body size of the livestock using the extracted key-point or segmentation, and estimate the weight of the livestock from the measured body size. For example, the body size of livestock can be measured using the extracted 8 key-points, and the weight of each livestock and the average weight of the livestock in the barn can be estimated from this. In the experiment as described above, the weight estimation module 142 predicted the weight in the first-grade appearance section with an accuracy of 97% or more.
  • the weight estimator 140 may estimate the weight of the livestock at predetermined time intervals using the shape extraction module 141 and the weight estimation module 142 , and more specifically, a livestock congratulatory image at a preset time every day. It can be collected to estimate the weight of the livestock.
  • the weight of the livestock may be estimated at a plurality of preset times of the day, and the final weight of the day may be calculated by averaging the estimated weight of the livestock during the day.
  • the monitoring unit 150 may monitor the weight of the livestock estimated by the weight estimation unit 140 , generate a monitoring report including a trend of the estimated weight of the livestock, and provide it to the managed device of the farmhouse. That is, the monitoring unit 150 may continuously store the weight of the livestock estimated by the counting unit 130 and the weight estimation unit 140 , and analyze the change pattern. The analysis result may be provided to the device of the farmhouse through the network.
  • the device of the management target farmhouse may be various electronic devices used in the management target farmhouse.
  • Electronic devices include smartphones, tablet PCs (personal computers), mobile phones, video phones, e-book readers, desktop PCs, laptop PCs, netbook computers, workstations, It may include at least one of a server, a personal digital assistant (PDA), a media box, a game console, an electronic dictionary, or a wearable device, and the wearable device is an accessory type (eg, watch, ring, bracelet, Anklets, necklaces, glasses, contact lenses, or head-mounted-devices (HMDs), integrated fabrics or garments (such as electronic garments), body-mounted (such as skin pads or tattoos) , or at least one of an implantable circuit
  • the electronic device is not limited to the above-described devices, and may be a combination of two or more of the above-described various devices.
  • the monitoring report provided by the monitoring unit 150 of the livestock weight estimation system 100 using the livestock livestock image according to an embodiment of the present invention shows the It may include information such as a change trend graph, average weight gain and loss compared to the previous day, and may further include a livestock livestock detection image by a livestock counting model, a livestock livestock image, and a livestock livestock image captured by a CCTV camera installed in the livestock barn.
  • the tracking unit 160 may track and analyze the behavior of the livestock detected by the counting unit 130 . That is, the detected livestock may be tracked and analyzed using the livestock image sequence of the CCTV camera collected by the image collection unit 120 .
  • the analysis contents may include measuring the behavioral power of livestock, determining the health status by measuring the range of behavior, and the presence or absence of abnormalities.
  • the tracking unit 160 may select an abnormal entity in the corresponding livestock bar from the analysis contents, and may report the selected abnormal entity and analysis contents to the device of the management target farmhouse. The managed farmhouse can immediately identify the anomalous object and respond quickly according to the reporting contents.
  • the method for estimating livestock weight using an image of a livestock bar is a method for estimating the weight of livestock in which each step is performed by a computer, and a database unit 110 for storing the livestock image.
  • a livestock counting model and weight estimation model S100
  • S200 the created livestock counting model and weight estimation model
  • the present invention relates to a method for estimating livestock weight using a livestock image
  • the livestock weight estimation method using a livestock image according to a feature of the present invention may be composed of software recorded in hardware including a memory and a processor.
  • the livestock weight estimation method using the livestock image according to an embodiment of the present invention may be stored and implemented in a personal computer, a notebook computer, a server computer, a cloud server, and the like.
  • a subject performing each step may be omitted.
  • step S100 a livestock image is collected and stored from a camera installed in the livestock house, but using the database unit 110 that stores the livestock message image of top-view and side-view according to the angle of the camera, the top view And it is possible to generate a livestock counting model and a weight estimation model by learning the side barn images based on deep learning. That is, step S100 may be a learning step of constructing a learning dataset through the database unit 110 in which livestock images collected from livestock houses of several farms are stored, and generating a livestock counting model and a weight estimation model based on deep learning.
  • step S200 using the generated livestock counting model and weight estimation model, livestock is detected from the livestock image captured by the camera installed in the livestock barn of the managed farmhouse collected in real time, and the number of detected livestock and the weight of the livestock are estimated can do. That is, step S200 may be a prediction step of estimating the weight of the livestock from the livestock livestock image of the managed farmhouse. More specifically, in step S200 , the number of livestock and the weight of the livestock may be estimated using the livestock counting model and the weight estimation model regardless of the shooting angle of the livestock livestock image of the managed farmhouse.
  • step S200 of the method for estimating the weight of livestock using a livestock image according to an embodiment of the present invention livestock is detected from the livestock image of the farmhouse to be managed using a livestock counting model, and the number of detected livestock estimating (S210) and extracting the key-point or segmentation of the livestock from the livestock region image of each detected livestock using the weight estimation model, and estimating the weight of the livestock using the extracted key-point or segmentation (S220) ) can be implemented.
  • step S210 a plurality of livestock may be detected from the livestock livestock image of the management target farm using the livestock counting model, and the number of detected livestock may be estimated.
  • Step S210 may be processed by the counting unit 130 .
  • a key-point or segmentation of the livestock may be extracted from the livestock region image of each livestock detected in step S210 using the weight estimation model, and the weight of the livestock may be estimated using the extracted key-point or segmentation.
  • Step S220 may be processed by the weight estimation unit 140 .
  • the image of the top and side of the livestock is learned based on deep learning according to the angle of the camera installed in the livestock.
  • the livestock counting model and weight estimation model the number of livestock and the weight of livestock can be accurately estimated regardless of the shooting angle of the livestock image, and the CCTV camera installed in the existing barn is utilized without relying on devices such as 3D cameras. It is possible to automatically estimate and manage the weight of livestock in the barn.
  • the present invention may include a computer-readable medium including program instructions for performing operations implemented in various communication terminals.
  • the computer-readable medium includes magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD_ROM and DVD, and floppy disks. It may include magneto-optical media and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Such a computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the computer-readable medium may be specially designed and configured to implement the present invention, or may be known and available to those skilled in the art of computer software.
  • it may include not only machine language code such as generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Animal Husbandry (AREA)
  • Algebra (AREA)
  • Agronomy & Crop Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

According to a livestock weight estimation system and method using a livestock barn image, proposed in the present invention, by using a livestock counting model and a weight estimation model which have been generated by performing training based on deep learning by means of livestock barn images captured from a top view and a side view according to the angle of a camera installed in a livestock barn, the number of livestock and the weight of livestock may be accurately estimated regardless of the capturing angles of the livestock barn images, and the weight of livestock within the livestock barn may be automatically estimated and managed by using an existing CCTV camera installed in the livestock barn without relying on a device such as a 3D camera.

Description

축사 영상을 이용한 가축 체중 추정 시스템 및 방법Livestock weight estimation system and method using livestock images
본 발명은 가축 체중 추정 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 축사 영상을 이용한 가축 체중 추정 시스템 및 방법에 관한 것이다.The present invention relates to a livestock weight estimation system and method, and more particularly, to a livestock weight estimation system and method using a livestock image.
축산업의 경우, 사육 동물의 개체별 사양관리를 위해서는 정기적인 체중관리가 필요하다. 특히, 양돈 농가의 경우 출하 시 규격 기준이 매우 중요하며, 규격 기준 내에 맞는 돼지의 출하 여부에 따라 농장의 소득에 매우 큰 차이를 가져온다. 돼지는 체중과 지방 두께에 따른 양적 기준과 돼지고기의 지방분포와 고기의 육색에 따른 질적 기준에 따라 돼지의 등급이 결정되는데, 통상적으로 115㎏에서 120㎏까지의 돼지를 규격돈이라고 한다.In the case of the livestock industry, regular weight management is required for individual feeding of domesticated animals. In particular, in the case of pig farms, the standard for shipping is very important, and depending on whether pigs that meet the standard are shipped or not, the income of the farm is very different. Pigs are graded according to the quantitative criteria according to the weight and fat thickness and the qualitative criteria according to the fat distribution and meat color of pork. Generally, pigs weighing from 115 kg to 120 kg are called standard pigs.
규격돈의 체중을 만족할 경우 상위등급을 받을 수 있어서 체중을 정확히 측정하여 출하 돼지를 선별하는 것이 매우 중요하다. 이를 위해 주기적인 체중측정 또는 모니터링의 필요성이 현장에서 요구되고 있다.If the weight of standard pigs is satisfied, a higher grade can be obtained, so it is very important to measure the weight accurately and select the pigs for shipment. To this end, the need for periodic weight measurement or monitoring is required in the field.
현재 돼지의 체중은 흉위측위법 및 돈형기에 의하여 측정되고 있다. 흉위측위법은 돈의 흉위를 줄자로 측정하여 얻은 값을 체중 산출식에 적용하여 체중을 환산하는 것으로, 특별한 시설을 설치할 필요가 없다는 장점으로 사용되고 있으나 측정치의 오차가 매우 큰 문제점이 있다. 또한, 돈형기는 돼지의 체중을 측정하는 저울에 부대 장치를 설비한 후 밀폐된 공간에서 양돈의 무게를 직접 측정하는 것으로, 양돈의 체중을 계측하기 위해서는 모든 돼지를 돈형기로 유도한 후, 돈형기 내에 일정 시간을 정체시켜야 하는 번거로움이 따르며 이 과정에서 1마리의 체중을 측정하기 위해 1인 작업자 기준으로 약 10분 이상의 상당한 시간이 소요되는 문제점이 있고, 돼지의 분뇨로 인해 전자저울의 잦은 고장과 유지 보수에 어려움이 있었다.Currently, the weight of pigs is measured by the chest positioning method and the pig breeding method. The chest position measurement method is used to convert the weight by applying the value obtained by measuring the chest position of the money with a tape measure to the weight calculation formula. In addition, the pig weighing machine directly measures the weight of pigs in an enclosed space after installing an accessory device on a scale that measures the weight of pigs. There is a problem of having to stop for a certain time within the sentence, and in this process, it takes about 10 minutes or more on a per worker basis to measure the weight of one animal. There were breakdowns and difficulties in maintenance.
한편, 최근 농가 인구의 감소 및 고령화로 인한 인력 부족에 대한 대비, 가축의 체계적 관리 등을 위해, 스마트팜 기술에 큰 비용이 투자되고 있다. 그러나 IoT 위주의 스마트팜은, 외부 환경데이터 수집에 초점이 맞추어져 있어서 살아있는 가축 개체를 관리하기에는 한계가 있는바, 비용 투자 대비 효용성이 떨어지는 한계가 있다.On the other hand, in order to prepare for the shortage of manpower due to the recent decrease in the farm household population and aging, and for the systematic management of livestock, a large amount of money is being invested in smart farm technology. However, IoT-oriented smart farms are focused on collecting external environmental data, so there is a limit to managing live livestock objects.
따라서, 살아있는 가축 개체에 대한 관리 효율성을 높이고, 건강 관리 및 사양관리 효과를 높이기 위해, 축사에 설치된 이미지를 이용해 체중을 지속적이고 정확하게 측정하고 관리하기 위한 기술의 개발이 필요한 실정이다.Therefore, in order to increase the management efficiency of live livestock individuals, and to increase the effect of health management and breeding management, it is necessary to develop a technology for continuously and accurately measuring and managing the body weight using the image installed in the livestock barn.
본 발명과 관련된 선행기술로서, 등록특허 제10-2180077호(발명의 명칭: 3D 영상을 기반으로 한 가축 무게 추정 애플리케이션을 활용한 가축 무게 추정 시스템과, 이를 이용한 가축 무게 추정방법, 등록일자: 2020년 11월 11일) 등이 개시된 바 있다.As a prior art related to the present invention, Registered Patent No. 10-2180077 (Title of the invention: livestock weight estimation system using livestock weight estimation application based on 3D image, and livestock weight estimation method using the same, registration date: 2020 November 11), etc. have been disclosed.
그러나 선행기술은 3D 카메라에 의존적인 기술로서, 축사에 이미 설치된 CCTV 카메라를 활용할 수 없고, 개별 가축을 하나하나 촬영해야 하므로 적은 인원으로 농가를 관리하는 현실에서는 체중의 지속적인 모니터링이 불가능한 한계가 있다.However, as the prior art is a technology dependent on 3D cameras, it is impossible to utilize the CCTV cameras already installed in the livestock, and since individual livestock must be photographed one by one, continuous monitoring of the weight is impossible in the reality of managing a farm with a small number of people.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 축사에 설치된 카메라의 각도에 따라 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용하여, 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 정확하게 추정할 수 있고, 3D 카메라 등의 기기에 의존하지 않고 기존 축사에 설치된 CCTV 카메라를 활용해 자동으로 축사 내 가축의 체중을 추정하고 관리할 수 있는, 축사 영상을 이용한 가축 체중 추정 시스템 및 방법을 제공하는 것을 그 목적으로 한다.The present invention has been proposed to solve the above problems of the previously proposed methods, and a livestock counting model and weight estimation generated by learning based on deep learning the images of the top and side livestock according to the angle of the camera installed in the livestock barn. Using the model, the number of livestock and the weight of livestock can be accurately estimated regardless of the shooting angle of the livestock video. An object of the present invention is to provide a system and method for estimating the weight of livestock using livestock images, which can estimate and manage the weight of the animal.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 축사 영상을 이용한 가축 체중 추정 시스템은,A livestock weight estimation system using a livestock image according to a feature of the present invention for achieving the above object,
가축 체중 추정 시스템으로서,A livestock weight estimation system comprising:
축사에 설치된 카메라로부터 축사 영상을 수집해 저장하되, 상기 카메라의 각도에 따라 상면(top-view) 및 측면(side-view)의 축사 영상을 저장하는 데이터베이스부;a database unit that collects and stores livestock images from a camera installed in the livestock house, and stores top-view and side-view livestock messages according to the angle of the camera;
관리 대상 농가의 축사에 설치된 카메라에서 촬영한 축사 영상을 실시간으로 수집하는 영상 수집부;an image collecting unit that collects livestock images captured by a camera installed in a farmhouse of a managed farmhouse in real time;
딥러닝 기반의 가축 카운팅 모델을 이용해, 상기 영상 수집부가 수집한 상기 관리 대상 농가의 축사 영상으로부터 복수의 가축을 검출하고, 검출된 가축의 수를 추정하는 카운팅부; 및A counting unit that detects a plurality of livestock from the livestock image of the managed farmhouse collected by the image collection unit using a deep learning-based livestock counting model, and estimates the number of detected livestock; and
딥러닝 기반의 체중 추정 모델을 이용해, 상기 카운팅부에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 체중 추정부를 포함하되,Using a deep learning-based weight estimation model, the key-point or segmentation of the livestock is extracted from the livestock area image of each livestock detected in the counting unit, and the weight of the livestock is estimated using the extracted key-point or segmentation. including wealth,
상기 가축 카운팅 모델 및 체중 추정 모델은,The livestock counting model and weight estimation model are,
상기 데이터베이스부에 저장된 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 생성되며,It is generated by learning the image of the top and side congratulatory messages stored in the database unit based on deep learning,
상기 카운팅부 및 체중 추정부는,The counting unit and the weight estimation unit,
상기 가축 카운팅 모델 및 체중 추정 모델을 이용해, 상기 영상 수집부가 수집한 관리 대상 농가의 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 추정하는 것을 그 구성상의 특징으로 한다.It is characterized in that by using the livestock counting model and the weight estimation model, the number of livestock and the weight of the livestock are estimated regardless of the shooting angle of the livestock image of the farmhouse to be managed collected by the image collection unit.
바람직하게는, 상기 가축 카운팅 모델 및 상기 체중 추정 모델은,Preferably, the livestock counting model and the weight estimation model are,
HRNet을 사용해 학습될 수 있다.It can be trained using HRNet.
바람직하게는, 상기 가축 카운팅 모델 및 상기 체중 추정 모델은,Preferably, the livestock counting model and the weight estimation model are,
복수의 컨볼루셔널 레이어를 포함하는 신경망 기반의 모델일 수 있다.It may be a neural network-based model including a plurality of convolutional layers.
바람직하게는, 상기 체중 추정부는,Preferably, the weight estimation unit,
상기 카운팅부에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하는 형태 추출 모듈; 및a shape extraction module for extracting a key-point or segmentation of livestock from each livestock region image detected by the counting unit; and
상기 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 몸 치수를 측정하고, 측정한 몸 치수로부터 가축의 체중을 추정하는 체중 추정 모듈을 포함할 수 있다.It may include a weight estimation module for measuring the body size of the livestock using the extracted key-point or segmentation, and estimating the weight of the livestock from the measured body size.
더욱 바람직하게는, 상기 형태 추출 모듈은,More preferably, the shape extraction module,
상기 관리 대상 농가의 축사 영상에서 검출된 가축 영역을 분리하여 가축 영역 영상을 생성하고, 가축 영역 영상에서 가축의 머리 및 꼬리를 포함하는 미리 정해진 개수의 키-포인트를 추출할 수 있다.A livestock region image may be generated by separating the livestock region detected from the livestock barn image of the farmhouse to be managed, and a predetermined number of key-points including the head and tail of the livestock may be extracted from the livestock region image.
바람직하게는,Preferably,
상기 체중 추정부에서 추정한 가축의 체중을 모니터링하고, 추정된 가축의 체중의 트렌드를 포함하는 모니터링 리포트를 생성하여 상기 관리 대상 농가의 디바이스에 제공하는 모니터링부를 더 포함하는 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정 시스템.Livestock image, characterized in that it further comprises a monitoring unit that monitors the weight of the livestock estimated by the weight estimation unit, generates a monitoring report including the trend of the estimated weight of the livestock, and provides it to the management target farmhouse device. Livestock weight estimation system using
또한, 상기한 목적을 달성하기 위한 본 발명의 특징에 따른 축사 영상을 이용한 가축 체중 추정방법은,In addition, the livestock weight estimation method using the livestock image according to the features of the present invention for achieving the above object,
가축 체중 추정방법으로서,A method for estimating livestock weight, comprising:
(1) 축사에 설치된 카메라로부터 축사 영상을 수집해 저장하되, 상기 카메라의 각도에 따라 상면(top-view) 및 측면(side-view)의 축사 영상을 저장하는 데이터베이스부를 이용해, 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 가축 카운팅 모델 및 체중 추정 모델을 생성하는 단계; 및(1) Collect and store livestock images from a camera installed in a livestock house, but use a database unit that stores top-view and side-view livestock images according to the angle of the camera, and top and side livestock houses generating a livestock counting model and a weight estimation model by learning the image based on deep learning; and
(2) 상기 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용해, 실시간으로 수집한 관리 대상 농가의 축사에 설치된 카메라에서 촬영한 축사 영상으로부터 가축을 검출하고, 검출된 가축의 수 및 가축의 체중을 추정하는 단계를 포함하되,(2) Using the generated livestock counting model and weight estimation model, livestock is detected from livestock images captured by a camera installed in the livestock barn of the managed farmhouse collected in real time, and the number of detected livestock and the weight of the livestock are estimated comprising the steps of
상기 단계 (2)는,The step (2) is,
(2-1) 상기 가축 카운팅 모델을 이용해 상기 관리 대상 농가의 축사 영상으로부터 복수의 가축을 검출하고, 검출된 가축의 수를 추정하는 단계; 및(2-1) detecting a plurality of livestock from the livestock image of the farmhouse to be managed using the livestock counting model, and estimating the number of detected livestock; and
(2-2) 상기 체중 추정 모델을 이용해, 상기 단계 (2-1)에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.(2-2) extracting the key-point or segmentation of livestock from the livestock area image of each livestock detected in step (2-1) using the weight estimation model, and using the extracted key-point or segmentation It is characterized in that it comprises the step of estimating the weight.
바람직하게는, 상기 단계 (2)에서는,Preferably, in step (2),
상기 가축 카운팅 모델 및 체중 추정 모델을 이용해, 상기 관리 대상 농가의 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 추정할 수 있다.By using the livestock counting model and the weight estimation model, the number of livestock and the weight of the livestock can be estimated regardless of the shooting angle of the livestock barn image of the managed farmhouse.
본 발명에서 제안하고 있는 축사 영상을 이용한 가축 체중 추정 시스템 및 방법에 따르면, 축사에 설치된 카메라의 각도에 따라 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용하여, 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 정확하게 추정할 수 있고, 3D 카메라 등의 기기에 의존하지 않고 기존 축사에 설치된 CCTV 카메라를 활용해 자동으로 축사 내 가축의 체중을 추정하고 관리할 수 있다.According to the livestock weight estimation system and method using the livestock image proposed in the present invention, the livestock counting model and weight estimation model generated by learning the top and side livestock images based on deep learning according to the angle of the camera installed in the livestock house By using this, the number of livestock and the weight of livestock can be accurately estimated regardless of the shooting angle of the livestock image, and the weight of livestock in the livestock barn is automatically used by using the CCTV camera installed in the existing barn without relying on devices such as 3D cameras. can be estimated and managed.
도 1은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템의 구성을 도시한 도면.1 is a diagram showing the configuration of a livestock weight estimation system using a livestock livestock image according to an embodiment of the present invention.
도 2는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템의 체중 추정 개념을 개략적으로 도시한 도면.2 is a diagram schematically illustrating a weight estimation concept of a livestock weight estimation system using a livestock image according to an embodiment of the present invention.
도 3 및 도 4는 종래의 체중 추정 기술을 설명하기 위해 도시한 도면.3 and 4 are diagrams for explaining a conventional weight estimation technique.
도 5는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템에서 가축의 수 및 체중을 추정하는 과정을 도시한 도면.5 is a diagram illustrating a process of estimating the number and weight of livestock in a livestock weight estimation system using a livestock image according to an embodiment of the present invention.
도 6은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템에서, 체중 추정부의 세부적인 구성을 도시한 도면.6 is a diagram illustrating a detailed configuration of a weight estimation unit in a livestock weight estimation system using a livestock image according to an embodiment of the present invention.
도 7은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템에서 사용되는 이미지 세그멘테이션을 설명하기 위해 도시한 도면.7 is a diagram illustrating image segmentation used in a system for estimating livestock weight using livestock images according to an embodiment of the present invention.
도 8은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템에서, 모니터링부가 제공하는 모니터링 리포트를 예를 들어 도시한 도면.8 is a view illustrating, for example, a monitoring report provided by a monitoring unit in a system for estimating livestock weight using a livestock image according to an embodiment of the present invention.
도 9는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법의 흐름을 도시한 도면.9 is a diagram illustrating a flow of a method for estimating the weight of livestock using an image of a barn according to an embodiment of the present invention.
도 10은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법에서, 단계 S200의 세부적인 흐름을 도시한 도면.10 is a view showing a detailed flow of step S200 in the method for estimating the weight of a livestock using a livestock image according to an embodiment of the present invention.
<부호의 설명><Explanation of code>
100: 본 발명에 따른 가축 체중 추정 시스템100: livestock weight estimation system according to the present invention
110: 데이터베이스부110: database unit
120: 영상 수집부120: image collection unit
130: 카운팅부130: counting unit
140: 체중 추정부140: weight estimation unit
141: 형태 추출 모듈141: shape extraction module
142: 체중 추정 모듈142: weight estimation module
150: 모니터링부150: monitoring unit
160: 트래킹부160: tracking unit
S100: 축사 영상을 저장하는 데이터베이스부를 이용해 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 가축 카운팅 모델 및 체중 추정 모델을 생성하는 단계S100: A step of generating a livestock counting model and a weight estimation model by learning the upper and side livestock images based on deep learning using the database unit that stores the livestock images
S200: 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용해, 관리 대상 농가의 축사 영상으로부터 가축을 검출하고, 검출된 가축의 수 및 가축의 체중을 추정하는 단계S200: Using the generated livestock counting model and weight estimation model, detecting livestock from the livestock livestock image of the farmhouse to be managed, and estimating the number of detected livestock and the weight of the livestock
S210: 가축 카운팅 모델을 이용해 관리 대상 농가의 축사 영상으로부터 가축을 검출하고 검출된 가축의 수를 추정하는 단계S210: Detecting livestock from the livestock image of the farmhouse to be managed using the livestock counting model and estimating the number of detected livestock
S220: 체중 추정 모델을 이용해 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 단계S220: extracting the key-point or segmentation of the livestock from the livestock area image of each livestock detected using the weight estimation model, and estimating the weight of the livestock using the extracted key-point or segmentation
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail so that those of ordinary skill in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing the preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is 'connected' with another part, it is not only 'directly connected' but also 'indirectly connected' with another element interposed therebetween. include In addition, "including" a certain component means that other components may be further included, rather than excluding other components, unless otherwise stated.
도 1은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)은, 데이터베이스부(110), 영상 수집부(120), 카운팅부(130) 및 체중 추정부(140)를 포함하여 구성될 수 있으며, 모니터링부(150) 및 트래킹부(160)를 더 포함하여 구성될 수 있다.1 is a diagram illustrating the configuration of a livestock weight estimation system 100 using a livestock livestock image according to an embodiment of the present invention. As shown in FIG. 1 , the livestock weight estimation system 100 using the livestock image according to an embodiment of the present invention includes a database unit 110 , an image collection unit 120 , a counting unit 130 , and a weight weight. It may be configured to include the government 140 , it may be configured to further include a monitoring unit 150 and a tracking unit 160 .
도 2는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)의 체중 추정 개념을 개략적으로 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)은, 농가의 축사에 설치된 카메라에서 수집된 영상을 이용해, 축사 내의 가축을 검출해 카운팅하고, 검출한 가축의 형상으로부터 가축의 체중을 추정할 수 있다. 이때, 추정된 가축의 체중을 이용해 규격돈에 해당하는 가축의 출하 스케줄을 계획할 수 있고, 축사 내의 이상 개체를 선발하여 적절한 조치를 할 수도 있다.2 is a diagram schematically illustrating a weight estimation concept of the livestock weight estimation system 100 using a livestock livestock image according to an embodiment of the present invention. As shown in FIG. 2, the livestock weight estimation system 100 using the livestock image according to an embodiment of the present invention detects and counts the livestock in the livestock house using the image collected from the camera installed in the farmhouse's livestock barn. , the weight of the livestock can be estimated from the detected shape of the livestock. In this case, by using the estimated weight of the livestock, it is possible to plan the shipment schedule of the livestock corresponding to the standard pig, and it is also possible to select an abnormal individual in the barn and take appropriate measures.
기존의 양돈 환경에서는 입식/출하 기록에 의해서만 두수 확인이 가능하며 사육 중에는 체중측정을 하기가 어렵고 출하 시에만 측정하게 된다. 그러나 실질적으로 생산성을 높이기 위해서는 육성 중에 체중이 얼마나 늘어나는지 확인하고, 문제 발견 시 적절한 대응을 해주는 것이 중요하다. 현재 농가는 적은 인원으로 축사를 관리하고 있어서 개체의 체중을 원하는 때에 쉽게 확인할 수 없는 실정이다.In the existing pig environment, the number of sheep can be checked only by stocking/shipping records. However, in order to actually increase productivity, it is important to check how much weight is gained during fostering and to respond appropriately when problems are found. Currently, the farmhouse manages the livestock house with a small number of people, so it is not possible to easily check the weight of the individual at a desired time.
이러한 문제를 해결하기 위해 영상 기반으로 가축의 체중을 측정하는 기술의 개발이 시도되고 있다. 도 3 및 도 4는 종래의 체중 추정 기술을 설명하기 위해 도시한 도면이다. 도 3은 태블릿 PC에 3D 카메라를 탑재하여 3D 카메라로 촬영한 돼지의 모습으로부터 체중을 산출하는 것으로서, 3D 카메라의 부피 계산 방식에 단위면적당 무게를 단순히 적용해 체중을 산출한다. 도 4는 스마트폰으로 돼지의 테두리 및 길이를 측정해 110kg에 근접한 돼지를 선정하는 기술로서, 증강현실 기반 기술에 해당한다. 즉, 도 3 및 도 4에 도시된 바와 같은 종래기술은, 3D 카메라나 스마트폰의 AR 기능을 활용하므로 디바이스에 의존적이고, 농가의 관리자 등이 가축을 하나하나 촬영해야 하므로 한 번에 많은 가축의 체중을 측정할 수 없고, 시간이 오래 걸리며 지속적인 모니터링을 하기는 어려운 한계가 있다.In order to solve this problem, the development of a technology for measuring the weight of livestock based on an image is being attempted. 3 and 4 are diagrams for explaining a conventional weight estimation technique. 3 is a diagram illustrating weight calculation from the appearance of a pig photographed with a 3D camera by mounting a 3D camera on a tablet PC. The weight is calculated by simply applying the weight per unit area to the volume calculation method of the 3D camera. 4 is a technology for selecting a pig close to 110 kg by measuring the border and length of the pig with a smartphone, and corresponds to an augmented reality-based technology. That is, the prior art as shown in FIGS. 3 and 4 is dependent on the device because it utilizes the AR function of a 3D camera or smartphone, and the farmhouse manager or the like must photograph the livestock one by one. Weight cannot be measured, it takes a long time, and continuous monitoring is difficult.
전술한 바와 같은 종래의 체중 추정 기술의 한계를 극복할 수 있는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)에서는, 축사(돼지의 경우 돈방 또는 돈사) 별로 카메라를 설치하고 축사 내의 가축(예를 들어, 돼지)들을 촬영한 이미지/영상을 딥러닝을 통해 분석함으로써, 가축의 수 및 가축의 체중을 정확하게 추정할 수 있다. 따라서 본 발명에 따르면, 돈사 내 사육 두 수 파악 불가와 그로 인한 각종 손실 (폐사 두 수 파악 불가, 사료 급여량 등 비용에 대한 정확한 파악 불가 등), 돼지 체중측정 불가와 그로 인한 각종 손실 (출하 체중 미달로 인한 판매가 하락, 현재 상태에 적합한 약품 투여, 사료 효율 파악 불가 등), 돼지의 건강상태와 직결된 주된 행동 파악 불가 (실시간 이상행동 모니터링 및 의심 질병 도출 불가 등) 등의 문제를 해결할 수 있다.In the livestock weight estimation system 100 using a livestock image according to an embodiment of the present invention that can overcome the limitations of the conventional weight estimation technology as described above, a camera is installed for each livestock house (a pig room or pig house). And by analyzing the images/videos taken of livestock (eg, pigs) in the barn through deep learning, the number of livestock and the weight of the livestock can be accurately estimated. Therefore, according to the present invention, it is impossible to determine the number of pigs raised in the pig house and various losses resulting therefrom (unable to determine the number of dead heads, it is impossible to accurately determine the cost of feed, etc.) It can solve problems such as a decrease in sales price, administration of drugs suitable for the current state, inability to understand feed efficiency, etc.) and inability to identify main behaviors directly related to the health of pigs (real-time monitoring of abnormal behaviors and identification of suspected diseases, etc.).
이하에서는, 도 1 및 도 2를 참조하여 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)의 각 구성요소에 대해 상세히 설명하도록 한다. 양돈 농가와 돼지 체중의 측정을 예를 들어 설명할 것이나, 본 발명에서 체중측정을 할 수 있는 가축이 돼지로 한정되는 것은 아니고, 소, 닭, 오리, 양 등 다양한 가축에 적용될 수 있다.Hereinafter, each component of the livestock weight estimation system 100 using a livestock livestock image according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 and 2 . The measurement of the pig weight with the pig farm will be described as an example, but the livestock that can be weighed in the present invention is not limited to pigs, and it can be applied to various livestock such as cattle, chickens, ducks, and sheep.
데이터베이스부(110)는, 축사에 설치된 카메라로부터 축사 영상을 수집해 저장하되, 카메라의 각도에 따라 상면(top-view) 및 측면(side-view)의 축사 영상을 저장할 수 있다. 여기서, 데이터베이스부(110)는, 여러 축산농가의 축사별 영상을 수집해 대량의 데이터를 저장할 수 있다.The database unit 110 collects and stores livestock images from a camera installed in the livestock house, but may store top-view and side-view livestock images according to the angle of the camera. Here, the database unit 110 may store a large amount of data by collecting images for each livestock farm of several livestock farms.
축사에 설치된 카메라는 CCTV 카메라일 수 있으며, 실시간 촬영되는 영상을 수집하여 데이터베이스부(110)에 저장할 수 있다. 이때, CCTV 카메라의 설치 위치와 방향, 각도, 축사 특성 등에 따라 축사 영상의 각도와 밝기 등이 다양할 수 있는데, 다양한 각도와 밝기를 가진 상면 및 측면의 축사 영상을 모두 포함하도록 데이터셋을 구성하여 추후 상세히 설명할 가축 카운팅 모델 및 체중 추정 모델의 학습에 사용할 수 있다.The camera installed in the livestock house may be a CCTV camera, and may collect images captured in real time and store them in the database unit 110 . At this time, the angle and brightness of the livestock video may vary depending on the installation location, direction, angle, and livestock characteristics of the CCTV camera. It can be used for training livestock counting model and weight estimation model, which will be described in detail later.
영상 수집부(120)는, 관리 대상 농가의 축사에 설치된 카메라에서 촬영한 축사 영상을 실시간으로 수집할 수 있다. 즉, 관리 대상 농가의 축사마다 CCTV 카메라를 설치하고, 영상 수집부(120)는 CCTV 카메라로부터 축사 영상을 실시간으로 수집할 수 있다. 수집한 축사 영상은 데이터베이스부(110)에 저장해 데이터를 추가 확보하여, 가축 카운팅 모델 및 체중 추정 모델의 개량 또는 업데이트에 사용할 수 있다.The image collection unit 120 may collect livestock images captured by a camera installed in a livestock house of a managed farmhouse in real time. That is, a CCTV camera is installed for each livestock house of the farmhouse to be managed, and the image collecting unit 120 may collect livestock images from the CCTV camera in real time. The collected livestock images are stored in the database unit 110 to additionally secure data, and can be used to improve or update the livestock counting model and the weight estimation model.
카운팅부(130)는, 딥러닝 기반의 가축 카운팅 모델을 이용해, 영상 수집부(120)가 수집한 관리 대상 농가의 축사 영상으로부터 복수의 가축을 검출하고, 검출된 가축의 수를 추정할 수 있다.The counting unit 130 may use a deep learning-based livestock counting model to detect a plurality of livestock from the livestock images of the farmhouse to be managed collected by the image collection unit 120, and estimate the number of detected livestock. .
체중 추정부(140)는, 딥러닝 기반의 체중 추정 모델을 이용해, 카운팅부(130)에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정할 수 있다. 실시예에 따라서는, 키-포인트와 세그멘테이션을 모두 사용해 가축의 형태를 정확하게 예측하고 체중을 추정할 수도 있다.The weight estimator 140 uses a deep learning-based weight estimation model to extract a key-point or segmentation of livestock from each livestock region image detected by the counting unit 130, and the extracted key-point or segmentation can be used to estimate the animal's weight. In some embodiments, the shape of the livestock may be accurately predicted and the weight may be estimated using both the key-point and the segmentation.
여기서, 가축 카운팅 모델 및 체중 추정 모델은, 데이터베이스부(110)에 저장된 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 생성될 수 있으며, 카운팅부(130) 및 체중 추정부(140)는, 가축 카운팅 모델 및 체중 추정 모델을 이용해, 영상 수집부(120)가 수집한 관리 대상 농가의 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 추정할 수 있다. 즉, 상면 및 측면의 축사 영상을 모두 포함하도록 구성된 데이터셋을 사용해 딥러닝 학습을 수행하여 생성된 가축 카운팅 모델 및 체중 추정 모델을 이용해, 다양한 각도와 어두운 환경에서도 정확하게 가축을 검출하고 체중을 추정할 수 있다.Here, the livestock counting model and the weight estimation model may be generated by learning the image of the top and side livestock animals stored in the database unit 110 based on deep learning, and the counting unit 130 and the weight estimation unit 140 include, Using the livestock counting model and the weight estimation model, the number of livestock and the weight of the livestock may be estimated regardless of the shooting angle of the livestock livestock image of the managed farmhouse collected by the image collection unit 120 . In other words, using the livestock counting model and weight estimation model generated by performing deep learning using a dataset configured to include both top and side livestock images, it is possible to accurately detect livestock and estimate weight even in various angles and dark environments. can
한편, 가축 카운팅 모델 및 체중 추정 모델은, 복수의 컨볼루셔널 레이어를 포함하는 신경망 기반의 모델일 수 있다. 즉, 가축 카운팅 모델 및 체중 추정 모델은, 복수의 컨볼루셔널 레이어를 포함하는 HRNet을 사용해 학습된 것일 수 있다. 보다 구체적으로, 가축 카운팅 모델은 HRNet을 백본 네트워크로 사용할 수 있고, 체중 추정 모델은 HRNet을 키-포인트 추출 모델 또는 세그멘테이션 추출 모델로 사용할 수 있다.Meanwhile, the livestock counting model and the weight estimation model may be a neural network-based model including a plurality of convolutional layers. That is, the livestock counting model and the weight estimation model may be learned using HRNet including a plurality of convolutional layers. More specifically, the livestock counting model may use HRNet as a backbone network, and the weight estimation model may use HRNet as a key-point extraction model or a segmentation extraction model.
도 5는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)에서 가축의 수 및 체중을 추정하는 과정을 도시한 도면이다. 이하에서는, 도 5를 참조하여 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)의 카운팅부(130) 및 체중 추정부(140)에 대해 상세히 설명하도록 한다.5 is a diagram illustrating a process of estimating the number and weight of livestock in the livestock weight estimation system 100 using a livestock image according to an embodiment of the present invention. Hereinafter, the counting unit 130 and the weight estimating unit 140 of the livestock weight estimation system 100 using a livestock livestock image according to an embodiment of the present invention will be described in detail with reference to FIG. 5 .
카운팅부(130)는, 축사 영상에서 복수의 가축을 검출하고 가축의 수를 추정하기 위해 가축 카운팅 모델을 사용할 수 있다. 가축 카운팅 모델의 학습을 위해, 데이터베이스부(110)에 저장된 CCTV 카메라로부터 수집한 축사 영상으로부터, 상면 및 측면의 영상이 모두 포함되도록 데이터셋을 구성할 수 있다.The counting unit 130 may detect a plurality of livestock in the livestock image and use the livestock counting model to estimate the number of livestock. In order to learn the livestock counting model, the data set may be configured to include both the top and side images from the livestock images collected from the CCTV cameras stored in the database unit 110 .
가축 카운팅 모델의 구현을 위해, 여러 돼지 농가의 돈사에 설치된 CCTV 카메라 영상을 이용해, 상면 축사 영상 1,648장, 측면 축사 영상 1,400장으로 구성되는 총 3,048장의 학습 데이터셋을 구성하였으며, 학습 데이터셋을 테스트셋으로 그대로 사용하여 평가를 수행하였다. 도 5에 도시된 바와 같이, HRNet을 백본 네트워크로 하고, Cascade R-CNN을 검출 네트워크로 하는 검출 모델에 학습 데이터셋을 적용해 학습을 수행하여, 축사 영상으로부터 가축을 바운딩 박스 형태로 검출하는 가축 카운팅 모델을 생성할 수 있다. 이때, FPN(Feature Pyramid Network), 특히 Balanced FPN을 이용해 백본 특징을 변경하여 Cascade R-CNN의 입력으로 사용함으로써, CCTV 카메라의 각도나 밝기 변화에도 강인한 가축 검출 성능을 얻을 수 있다.For the implementation of the livestock counting model, a total of 3,048 learning datasets consisting of 1,648 images of top pens and 1,400 images of side pens were constructed using CCTV camera images installed in pig houses of various pig farms, and the learning dataset was tested The evaluation was performed using three sets as they are. As shown in FIG. 5, by applying a learning dataset to a detection model using HRNet as a backbone network and Cascade R-CNN as a detection network, learning is performed, and cattle are detected in the form of a bounding box from livestock images. You can create a counting model. At this time, by using FPN (Feature Pyramid Network), especially Balanced FPN, to change the backbone feature and use it as an input for Cascade R-CNN, it is possible to obtain robust livestock detection performance even when the angle or brightness of a CCTV camera changes.
전술한 바와 같은 학습 데이터셋을 이용해 생성된 가축 카운팅 모델은, 상면의 축사 영상에 대해 Average Recall 94.2, Average Precision 91.72, 측면의 축사 영상에 대해 Average Recall 93.6, Average Precision 90.5의 우수한 실험 결과를 가지는 것을 확인하였다. 이와 같이, 비교적 적은 양의 학습 데이터로도 다양한 각도와 조명 환경에서도 강인한 가축 검출 성능을 갖는 가축 카운팅 모델을 생성할 수 있다.The livestock counting model created using the training dataset as described above has excellent experimental results of Average Recall 94.2, Average Precision 91.72, Average Recall 93.6, and Average Precision 90.5 for the side livestock image for the upper-view livestock barn image. Confirmed. In this way, even with a relatively small amount of training data, it is possible to generate a livestock counting model having robust livestock detection performance even in various angles and lighting environments.
카운팅부(130)는, 생성된 가축 카운팅 모델을 이용해 관리 대상 농가로부터 실시간으로 수집되는 축사 영상으로부터 축사 내의 가축들을 검출하고, 검출된 가축의 수를 카운트할 수 있다.The counting unit 130 may detect livestock in the barn from livestock images collected in real time from the management target farm using the generated livestock counting model, and count the detected number of livestock.
체중 추정부(140)는, 카운팅부(130)에서 검출된 가축 각각의 체중을 추정하기 위해 체중 추정 모델을 사용할 수 있다. 체중 추정 모델은 가축 카운팅 모델과 통합하여 학습 데이터셋을 이용해 학습될 수 있다. 즉, 도 5에 도시된 바와 같이, 가축 카운팅 모델을 통해 축사 영상에서 검출된 가축의 바운딩 박스의 이미지(가축 영역 영상)를 각각 키-포인트 또는 세그멘테이션 추출을 위한 HRNet에 입력해 학습을 수행하여, 각각의 가축 영역 영상에서 가축의 키-포인트 또는 세그멘테이션을 추출하는 체중 추정 모델을 생성할 수 있다.The weight estimation unit 140 may use a weight estimation model to estimate the weight of each livestock detected by the counting unit 130 . The weight estimation model can be trained using the training dataset by integrating with the livestock counting model. That is, as shown in Figure 5, the image (livestock area image) of the cattle bounding box detected in the livestock image through the livestock counting model is input to the HRNet for key-point or segmentation extraction, respectively, and learning is performed, A weight estimation model that extracts a key-point or segmentation of a livestock from each livestock area image may be generated.
도 6은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)에서, 체중 추정부(140)의 세부적인 구성을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)의 체중 추정부(140)는, 형태 추출 모듈(141) 및 체중 추정 모듈(142)을 포함하여 구성될 수 있다.6 is a diagram illustrating a detailed configuration of the weight estimation unit 140 in the livestock weight estimation system 100 using a livestock image according to an embodiment of the present invention. As shown in FIG. 6 , the weight estimation unit 140 of the livestock weight estimation system 100 using the livestock image according to an embodiment of the present invention includes a shape extraction module 141 and a weight estimation module 142 . may be included.
형태 추출 모듈(141)은, 카운팅부(130)에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출할 수 있다. 여기서, 형태 추출 모듈(141)은, 도 5에 도시된 바와 같이 HRNet 기반의 체중 추정 모델을 이용할 수 있다.The shape extraction module 141 may extract a key-point or segmentation of a livestock from the livestock area image of each livestock detected by the counting unit 130 . Here, the shape extraction module 141 may use an HRNet-based weight estimation model as shown in FIG. 5 .
보다 구체적으로, 형태 추출 모듈(141)은, 관리 대상 농가의 축사 영상에서 검출된 가축 영역을 분리하여 가축 영역 영상을 생성하고, 가축 영역 영상에서 가축의 머리 및 꼬리를 포함하는 미리 정해진 개수의 키-포인트를 추출할 수 있다. 여기서, 가축 영역 영상은, 가축 카운팅 모델에 의해 검출된 가축에 해당하는 바운딩 박스 부분일 수 있으며, 가축 영역 영상을 분석해 머리, 배, 등, 꼬리, 어깨 등을 포함하는 총 8개의 키-포인트를 추출할 수 있다.More specifically, the shape extraction module 141 generates a livestock region image by separating the livestock region detected from the livestock barn image of the managed farmhouse, and a predetermined number of keys including the head and tail of the livestock in the livestock region image - Points can be extracted. Here, the livestock area image may be a part of a bounding box corresponding to the livestock detected by the livestock counting model, and a total of 8 key-points including the head, belly, back, tail, shoulder, etc. can be extracted.
여기서, 키-포인트의 개수와 위치는 가축의 종류에 따라 상이할 수 있으며, 각 가축 특성에 맞추어 최적화될 수 있다. 전술한 바와 같은 예에서, 체중 추정 모델은, 상면과 측면에서 촬영된 축사 영상을 포함하는 학습 데이터셋을 이용해, 돼지에 최적화된 8개의 키-포인트를 추출하도록 생성되었다. 보다 구체적으로, 전술한 바와 같은 총 3,048장의 학습 데이터셋을 HRNet에 적용해 생성한 체중 추정 모델은, 높은 정확도(precision)(학습: 0.941, 테스트 및 검증: 0.848)를 나타냈으며, 돈사 내 최소 1/4 이상의 돼지에 대해 키-포인트를 검출할 수 있었다.Here, the number and location of the key-points may be different depending on the type of livestock, and may be optimized according to the characteristics of each livestock. In the example as described above, the weight estimation model was created to extract 8 key-points optimized for pigs using a training dataset including images of a barn shot from the top and side. More specifically, the weight estimation model generated by applying a total of 3,048 training datasets as described above to HRNet showed high precision (training: 0.941, testing and validation: 0.848), and at least 1 in the pig house. Key-points could be detected for pigs greater than /4.
한편, 실시예에 따라서, 형태 추출 모듈(141)은, 관리 대상 농가의 축사 영상에서 검출된 가축 영역을 분리하여 가축 영역 영상을 생성하고, 학습 데이터셋의 가축 영역 영상을 이용해 이미지 세그멘테이션(Image Segmentation) 가능하도록 학습된 체중 추정 모델을 이용해, 가축의 세그멘테이션을 추출할 수도 있다.On the other hand, according to the embodiment, the shape extraction module 141 generates a livestock region image by separating the livestock region detected from the livestock livestock image of the management target farmhouse, and image segmentation using the livestock region image of the learning dataset (Image Segmentation) ), it is also possible to extract the segmentation of livestock using the trained weight estimation model.
도 7은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)에서 사용되는 이미지 세그멘테이션을 설명하기 위해 도시한 도면이다. 도 7에 도시된 바와 같이, 형태 추출 모듈(141)은, 시멘틱 세그멘테이션(Semantic segmentation) 또는 인스턴스 세그멘테이션(Instance segmentation) 등의 이미지 세그멘테이션 기술을 사용해, 축사 영상에서 검출된 각각의 가축의 형태를 추출할 수 있다.7 is a diagram illustrating image segmentation used in the system 100 for estimating livestock weight using livestock images according to an embodiment of the present invention. 7, the shape extraction module 141 uses an image segmentation technique such as semantic segmentation or instance segmentation to extract the shape of each livestock detected in the livestock image. can
체중 추정 모듈(142)은, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 몸 치수를 측정하고, 측정한 몸 치수로부터 가축의 체중을 추정할 수 있다. 예를 들어, 추출한 8개의 키-포인트를 이용해 가축의 몸 사이즈를 측정하고, 이로부터 개별 가축의 체중 및 해당 축사 내의 가축의 평균 체중을 추정할 수 있다. 전술한 바와 같은 실험에서, 체중 추정 모듈(142)은 1등급 출현 구간 체중을 97% 이상의 정확도로 예측하였다.The weight estimation module 142 may measure the body size of the livestock using the extracted key-point or segmentation, and estimate the weight of the livestock from the measured body size. For example, the body size of livestock can be measured using the extracted 8 key-points, and the weight of each livestock and the average weight of the livestock in the barn can be estimated from this. In the experiment as described above, the weight estimation module 142 predicted the weight in the first-grade appearance section with an accuracy of 97% or more.
한편, 체중 추정부(140)는, 형태 추출 모듈(141) 및 체중 추정 모듈(142)을 이용해 미리 정해진 시간 간격으로 가축의 체중을 추정할 수 있으며, 보다 구체적으로 매일 미리 설정된 시각에 축사 영상을 수집하여 가축의 체중을 추정할 수 있다. 실시예에 따라서는, 하루 중 미리 설정된 복수의 시각에 가축의 체중을 각각 추정하고, 하루 동안 추정된 가축의 체중을 평균하여 해당 일자의 최종 체중을 산출할 수도 있다.On the other hand, the weight estimator 140 may estimate the weight of the livestock at predetermined time intervals using the shape extraction module 141 and the weight estimation module 142 , and more specifically, a livestock congratulatory image at a preset time every day. It can be collected to estimate the weight of the livestock. According to an exemplary embodiment, the weight of the livestock may be estimated at a plurality of preset times of the day, and the final weight of the day may be calculated by averaging the estimated weight of the livestock during the day.
모니터링부(150)는, 체중 추정부(140)에서 추정한 가축의 체중을 모니터링하고, 추정된 가축의 체중의 트렌드를 포함하는 모니터링 리포트를 생성하여 관리 대상 농가의 디바이스에 제공할 수 있다. 즉, 모니터링부(150)는, 카운팅부(130) 및 체중 추정부(140)에 의해 추정되는 가축의 체중을 지속적으로 저장하고, 그 변화 패턴을 분석할 수 있다. 분석 결과는 네트워크를 통해 해당 농가의 디바이스에 제공될 수 있다.The monitoring unit 150 may monitor the weight of the livestock estimated by the weight estimation unit 140 , generate a monitoring report including a trend of the estimated weight of the livestock, and provide it to the managed device of the farmhouse. That is, the monitoring unit 150 may continuously store the weight of the livestock estimated by the counting unit 130 and the weight estimation unit 140 , and analyze the change pattern. The analysis result may be provided to the device of the farmhouse through the network.
여기서, 관리 대상 농가의 디바이스는, 관리 대상 농가에서 사용하는 각종 전자 장치일 수 있다. 전자 장치는 스마트폰, 태블릿(tablet) PC(personal computer), 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑(desktop) PC, 랩탑(laptop) PC, 넷북(netbook) 컴퓨터, 워크스테이션(workstation), 서버(server), PDA(personal digital assistant), 미디어 박스, 게임 콘솔, 전자사전 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있으며, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리착용형 장치(HMD, head-mounted-device), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 회로(implantable circuit) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 전술한 기기들에 한정되지는 않으며, 전술한 다양한 장치 중 둘 이상의 조합일 수 있다.Here, the device of the management target farmhouse may be various electronic devices used in the management target farmhouse. Electronic devices include smartphones, tablet PCs (personal computers), mobile phones, video phones, e-book readers, desktop PCs, laptop PCs, netbook computers, workstations, It may include at least one of a server, a personal digital assistant (PDA), a media box, a game console, an electronic dictionary, or a wearable device, and the wearable device is an accessory type (eg, watch, ring, bracelet, Anklets, necklaces, glasses, contact lenses, or head-mounted-devices (HMDs), integrated fabrics or garments (such as electronic garments), body-mounted (such as skin pads or tattoos) , or at least one of an implantable circuit In various embodiments, the electronic device is not limited to the above-described devices, and may be a combination of two or more of the above-described various devices.
도 8은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)에서, 모니터링부(150)가 제공하는 모니터링 리포트를 예를 들어 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)의 모니터링부(150)가 제공하는 모니터링 리포트는, 관리 대상 농가의 축사별로 가축 평균 체중의 변화 트렌드 그래프, 전일 대비 평균 체중 증감 등의 정보를 포함할 수 있으며, 해당 축사에 설치된 CCTV 카메라에서 촬영된 축사 영상, 실시간 축사 영상, 가축 카운팅 모델에 의한 가축 검출 이미지 등을 더 포함할 수 있다.8 is a diagram illustrating, for example, a monitoring report provided by the monitoring unit 150 in the livestock weight estimation system 100 using a livestock image according to an embodiment of the present invention. As shown in FIG. 8 , the monitoring report provided by the monitoring unit 150 of the livestock weight estimation system 100 using the livestock livestock image according to an embodiment of the present invention shows the It may include information such as a change trend graph, average weight gain and loss compared to the previous day, and may further include a livestock livestock detection image by a livestock counting model, a livestock livestock image, and a livestock livestock image captured by a CCTV camera installed in the livestock barn.
트래킹부(160)는, 카운팅부(130)에서 검출된 가축의 행동을 추적하여 분석할 수 있다. 즉, 영상 수집부(120)가 수집하는 CCTV 카메라의 축사 영상 시퀀스를 이용해, 검출된 가축을 추적하여 분석할 수 있다. 분석 내용으로는, 가축의 행동력 측정, 행동 범위 측정을 통한 건강상태 파악, 이상 현상 유무 등일 수 있다. 트래킹부(160)는, 분석 내용으로부터 해당 축사 내의 이상 개체를 선별할 수 있고, 선별된 이상 개체 및 분석 내용을 관리 대상 농가의 디바이스에 리포팅할 수 있다. 관리 대상 농가에서는 리포팅 내용에 따라 해당 이상 개체를 즉시 확인하고 신속하게 대응을 할 수 있다.The tracking unit 160 may track and analyze the behavior of the livestock detected by the counting unit 130 . That is, the detected livestock may be tracked and analyzed using the livestock image sequence of the CCTV camera collected by the image collection unit 120 . The analysis contents may include measuring the behavioral power of livestock, determining the health status by measuring the range of behavior, and the presence or absence of abnormalities. The tracking unit 160 may select an abnormal entity in the corresponding livestock bar from the analysis contents, and may report the selected abnormal entity and analysis contents to the device of the management target farmhouse. The managed farmhouse can immediately identify the anomalous object and respond quickly according to the reporting contents.
도 9는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법의 흐름을 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법은, 컴퓨터에 의해 각 단계가 수행되는 가축 체중 추정방법으로서, 축사 영상을 저장하는 데이터베이스부(110)를 이용해 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 가축 카운팅 모델 및 체중 추정 모델을 생성하는 단계(S100) 및 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용해, 관리 대상 농가의 축사 영상으로부터 가축을 검출하고, 검출된 가축의 수 및 가축의 체중을 추정하는 단계(S200)를 포함하여 구현될 수 있다.9 is a diagram illustrating a flow of a method for estimating livestock weight using an image of a livestock barn according to an embodiment of the present invention. As shown in FIG. 9 , the method for estimating livestock weight using an image of a livestock bar according to an embodiment of the present invention is a method for estimating the weight of livestock in which each step is performed by a computer, and a database unit 110 for storing the livestock image. Using the deep learning-based learning of the top and side livestock images to generate a livestock counting model and weight estimation model (S100), and using the created livestock counting model and weight estimation model, from the livestock , and estimating the number of detected livestock and the weight of the livestock (S200).
본 발명은 축사 영상을 이용한 가축 체중 추정방법에 관한 것으로서, 본 발명의 특징에 따른 축사 영상을 이용한 가축 체중 추정방법은, 메모리 및 프로세서를 포함한 하드웨어에서 기록되는 소프트웨어로 구성될 수 있다. 예를 들어, 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법은, 개인용 컴퓨터, 노트북 컴퓨터, 서버 컴퓨터, 클라우드 서버 등에 저장 및 구현될 수 있다. 이하에서는 설명의 편의를 위해, 각 단계를 수행하는 주체는 생략될 수 있다.The present invention relates to a method for estimating livestock weight using a livestock image, and the livestock weight estimation method using a livestock image according to a feature of the present invention may be composed of software recorded in hardware including a memory and a processor. For example, the livestock weight estimation method using the livestock image according to an embodiment of the present invention may be stored and implemented in a personal computer, a notebook computer, a server computer, a cloud server, and the like. Hereinafter, for convenience of description, a subject performing each step may be omitted.
단계 S100에서는, 축사에 설치된 카메라로부터 축사 영상을 수집해 저장하되, 카메라의 각도에 따라 상면(top-view) 및 측면(side-view)의 축사 영상을 저장하는 데이터베이스부(110)를 이용해, 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 가축 카운팅 모델 및 체중 추정 모델을 생성할 수 있다. 즉, 단계 S100은 여러 농가의 축사에서 수집된 축사 영상이 저장된 데이터베이스부(110)를 통해 학습 데이터셋을 구성하고, 딥러닝 기반으로 가축 카운팅 모델 및 체중 추정 모델을 생성하는 학습 단계일 수 있다.In step S100, a livestock image is collected and stored from a camera installed in the livestock house, but using the database unit 110 that stores the livestock message image of top-view and side-view according to the angle of the camera, the top view And it is possible to generate a livestock counting model and a weight estimation model by learning the side barn images based on deep learning. That is, step S100 may be a learning step of constructing a learning dataset through the database unit 110 in which livestock images collected from livestock houses of several farms are stored, and generating a livestock counting model and a weight estimation model based on deep learning.
단계 S200에서는, 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용해, 실시간으로 수집한 관리 대상 농가의 축사에 설치된 카메라에서 촬영한 축사 영상으로부터 가축을 검출하고, 검출된 가축의 수 및 가축의 체중을 추정할 수 있다. 즉, 단계 S200은 관리 대상 농가의 축사 영상으로부터 가축의 체중을 추정하는 예측 단계일 수 있다. 보다 구체적으로, 단계 S200에서는, 가축 카운팅 모델 및 체중 추정 모델을 이용해, 관리 대상 농가의 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 추정할 수 있다.In step S200, using the generated livestock counting model and weight estimation model, livestock is detected from the livestock image captured by the camera installed in the livestock barn of the managed farmhouse collected in real time, and the number of detected livestock and the weight of the livestock are estimated can do. That is, step S200 may be a prediction step of estimating the weight of the livestock from the livestock livestock image of the managed farmhouse. More specifically, in step S200 , the number of livestock and the weight of the livestock may be estimated using the livestock counting model and the weight estimation model regardless of the shooting angle of the livestock livestock image of the managed farmhouse.
도 10은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법에서, 단계 S200의 세부적인 흐름을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법의 단계 S200은, 가축 카운팅 모델을 이용해 관리 대상 농가의 축사 영상으로부터 가축을 검출하고 검출된 가축의 수를 추정하는 단계(S210) 및 체중 추정 모델을 이용해 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 단계(S220)를 포함하여 구현될 수 있다.10 is a diagram illustrating a detailed flow of step S200 in the method for estimating the weight of livestock using a livestock image according to an embodiment of the present invention. As shown in FIG. 10 , in step S200 of the method for estimating the weight of livestock using a livestock image according to an embodiment of the present invention, livestock is detected from the livestock image of the farmhouse to be managed using a livestock counting model, and the number of detected livestock estimating (S210) and extracting the key-point or segmentation of the livestock from the livestock region image of each detected livestock using the weight estimation model, and estimating the weight of the livestock using the extracted key-point or segmentation (S220) ) can be implemented.
단계 S210에서는, 가축 카운팅 모델을 이용해 관리 대상 농가의 축사 영상으로부터 복수의 가축을 검출하고, 검출된 가축의 수를 추정할 수 있다. 단계 S210은 카운팅부(130)에 의해 처리될 수 있다.In step S210, a plurality of livestock may be detected from the livestock livestock image of the management target farm using the livestock counting model, and the number of detected livestock may be estimated. Step S210 may be processed by the counting unit 130 .
단계 S220에서는, 체중 추정 모델을 이용해, 단계 S210에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정할 수 있다. 단계 S220은 체중 추정부(140)에 의해 처리될 수 있다.In step S220, a key-point or segmentation of the livestock may be extracted from the livestock region image of each livestock detected in step S210 using the weight estimation model, and the weight of the livestock may be estimated using the extracted key-point or segmentation. Step S220 may be processed by the weight estimation unit 140 .
각각의 단계들과 관련된 상세한 내용들은, 앞서 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)과 관련하여 충분히 설명되었으므로, 중복되는 설명은 생략하기로 한다.Detailed information related to each step has been sufficiently described in relation to the livestock weight estimation system 100 using the livestock image according to an embodiment of the present invention, and thus the redundant description will be omitted.
전술한 바와 같이, 본 발명에서 제안하고 있는 축사 영상을 이용한 가축 체중 추정 시스템(100) 및 방법에 따르면, 축사에 설치된 카메라의 각도에 따라 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용하여, 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 정확하게 추정할 수 있고, 3D 카메라 등의 기기에 의존하지 않고 기존 축사에 설치된 CCTV 카메라를 활용해 자동으로 축사 내 가축의 체중을 추정하고 관리할 수 있다.As described above, according to the livestock weight estimation system 100 and method using the livestock image proposed in the present invention, the image of the top and side of the livestock is learned based on deep learning according to the angle of the camera installed in the livestock. By using the livestock counting model and weight estimation model, the number of livestock and the weight of livestock can be accurately estimated regardless of the shooting angle of the livestock image, and the CCTV camera installed in the existing barn is utilized without relying on devices such as 3D cameras. It is possible to automatically estimate and manage the weight of livestock in the barn.
한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.Meanwhile, the present invention may include a computer-readable medium including program instructions for performing operations implemented in various communication terminals. For example, the computer-readable medium includes magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD_ROM and DVD, and floppy disks. It may include magneto-optical media and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Such a computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. In this case, the program instructions recorded on the computer-readable medium may be specially designed and configured to implement the present invention, or may be known and available to those skilled in the art of computer software. For example, it may include not only machine language code such as generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.Various modifications and applications of the present invention described above are possible by those skilled in the art to which the present invention pertains, and the scope of the technical idea according to the present invention should be defined by the following claims.

Claims (8)

  1. 가축 체중 추정 시스템(100)으로서,A livestock weight estimation system (100) comprising:
    축사에 설치된 카메라로부터 축사 영상을 수집해 저장하되, 상기 카메라의 각도에 따라 상면(top-view) 및 측면(side-view)의 축사 영상을 저장하는 데이터베이스부(110);a database unit 110 that collects and stores livestock images from a camera installed in the livestock house, and stores top-view and side-view livestock images according to the angle of the camera;
    관리 대상 농가의 축사에 설치된 카메라에서 촬영한 축사 영상을 실시간으로 수집하는 영상 수집부(120);an image collection unit 120 that collects livestock images captured by a camera installed in a livestock house of a managed farmhouse in real time;
    딥러닝 기반의 가축 카운팅 모델을 이용해, 상기 영상 수집부(120)가 수집한 상기 관리 대상 농가의 축사 영상으로부터 복수의 가축을 검출하고, 검출된 가축의 수를 추정하는 카운팅부(130); 및A counting unit 130 that detects a plurality of livestock from the livestock image of the managed farmhouse collected by the image collection unit 120 using a deep learning-based livestock counting model, and estimates the number of detected livestock; and
    딥러닝 기반의 체중 추정 모델을 이용해, 상기 카운팅부(130)에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 체중 추정부(140)를 포함하되,Using a deep learning-based weight estimation model, the key-point or segmentation of the livestock is extracted from the livestock area image of each livestock detected by the counting unit 130, and the weight of the livestock is estimated using the extracted key-point or segmentation including a weight estimation unit 140 to
    상기 가축 카운팅 모델 및 체중 추정 모델은,The livestock counting model and weight estimation model are,
    상기 데이터베이스부(110)에 저장된 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 생성되며,It is generated by learning the image of the top and side congratulatory messages stored in the database unit 110 based on deep learning,
    상기 카운팅부(130) 및 체중 추정부(140)는,The counting unit 130 and the weight estimation unit 140,
    상기 가축 카운팅 모델 및 체중 추정 모델을 이용해, 상기 영상 수집부(120)가 수집한 관리 대상 농가의 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 추정하는 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정 시스템(100).Using the livestock counting model and the weight estimation model, the number of livestock and the weight of livestock are estimated regardless of the shooting angle of the livestock image of the farmhouse to be managed collected by the image collection unit 120, Livestock weight estimation system 100 using
  2. 제1항에 있어서, 상기 가축 카운팅 모델 및 상기 체중 추정 모델은,According to claim 1, wherein the livestock counting model and the weight estimation model,
    HRNet을 사용해 학습된 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정 시스템(100).Livestock weight estimation system 100 using livestock images, characterized in that it was learned using HRNet.
  3. 제1항에 있어서, 상기 가축 카운팅 모델 및 상기 체중 추정 모델은,According to claim 1, wherein the livestock counting model and the weight estimation model,
    복수의 컨볼루셔널 레이어를 포함하는 신경망 기반의 모델인 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정 시스템(100).Livestock weight estimation system 100 using a livestock image, characterized in that it is a neural network-based model including a plurality of convolutional layers.
  4. 제1항에 있어서, 상기 체중 추정부(140)는,According to claim 1, wherein the weight estimation unit 140,
    상기 카운팅부(130)에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하는 형태 추출 모듈(141); 및a shape extraction module 141 for extracting key-points or segmentation of livestock from the livestock region image of each livestock detected by the counting unit 130; and
    상기 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 몸 치수를 측정하고, 측정한 몸 치수로부터 가축의 체중을 추정하는 체중 추정 모듈(142)을 포함하는 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정 시스템(100).Livestock weight estimation system using livestock image, characterized in that it includes a weight estimation module 142 for measuring the body size of the livestock using the extracted key-point or segmentation, and estimating the weight of the livestock from the measured body size (100).
  5. 제4항에 있어서, 상기 형태 추출 모듈(141)은,According to claim 4, wherein the shape extraction module 141,
    상기 관리 대상 농가의 축사 영상에서 검출된 가축 영역을 분리하여 가축 영역 영상을 생성하고, 가축 영역 영상에서 가축의 머리 및 꼬리를 포함하는 미리 정해진 개수의 키-포인트를 추출하는 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정 시스템(100).A livestock area image is generated by separating the livestock area detected from the livestock barn image of the farmhouse to be managed, and a predetermined number of key-points including the head and tail of the livestock are extracted from the livestock area image. Livestock weight estimation system 100 using an image.
  6. 제1항에 있어서,According to claim 1,
    상기 체중 추정부(140)에서 추정한 가축의 체중을 모니터링하고, 추정된 가축의 체중의 트렌드를 포함하는 모니터링 리포트를 생성하여 상기 관리 대상 농가의 디바이스에 제공하는 모니터링부(150)를 더 포함하는 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정 시스템(100).Further comprising a monitoring unit 150 for monitoring the weight of the livestock estimated by the weight estimation unit 140, generating a monitoring report including the trend of the estimated weight of the livestock, and providing it to the device of the management target farmhouse Characterized in that, livestock weight estimation system 100 using a livestock image.
  7. 가축 체중 추정방법으로서,A method for estimating livestock weight, comprising:
    (1) 축사에 설치된 카메라로부터 축사 영상을 수집해 저장하되, 상기 카메라의 각도에 따라 상면(top-view) 및 측면(side-view)의 축사 영상을 저장하는 데이터베이스부(110)를 이용해, 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 가축 카운팅 모델 및 체중 추정 모델을 생성하는 단계; 및(1) Collecting and storing livestock images from a camera installed in a livestock house, but using the database unit 110 that stores livestock images of top-view and side-view according to the angle of the camera, and generating a livestock counting model and a weight estimation model by learning the side barn image based on deep learning; and
    (2) 상기 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용해, 실시간으로 수집한 관리 대상 농가의 축사에 설치된 카메라에서 촬영한 축사 영상으로부터 가축을 검출하고, 검출된 가축의 수 및 가축의 체중을 추정하는 단계를 포함하되,(2) Using the generated livestock counting model and weight estimation model, livestock is detected from the livestock image captured by a camera installed in the livestock barn of the managed farmhouse collected in real time, and the number of detected livestock and the weight of the livestock are estimated comprising the steps of
    상기 단계 (2)는,The step (2) is,
    (2-1) 상기 가축 카운팅 모델을 이용해 상기 관리 대상 농가의 축사 영상으로부터 복수의 가축을 검출하고, 검출된 가축의 수를 추정하는 단계; 및(2-1) detecting a plurality of livestock from the livestock image of the farmhouse to be managed using the livestock counting model, and estimating the number of detected livestock; and
    (2-2) 상기 체중 추정 모델을 이용해, 상기 단계 (2-1)에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 단계를 포함하는 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정방법.(2-2) Using the weight estimation model, the key-point or segmentation of the livestock is extracted from the livestock area image of each livestock detected in the step (2-1), and the key-point or segmentation of the livestock is extracted using the extracted key-point or segmentation. A method of estimating the body weight of a livestock using a livestock image, comprising the step of estimating the body weight.
  8. 제7항에 있어서, 상기 단계 (2)에서는,The method of claim 7, wherein in step (2),
    상기 가축 카운팅 모델 및 체중 추정 모델을 이용해, 상기 관리 대상 농가의 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 추정하는 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정방법.Using the livestock counting model and the weight estimation model, the livestock weight estimation method using the livestock image, characterized in that estimating the number of livestock and the weight of the livestock regardless of the shooting angle of the livestock image of the management target farmhouse.
PCT/KR2021/010024 2020-12-31 2021-07-30 Livestock weight estimation system and method using livestock barn image WO2022145614A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0189531 2020-12-31
KR1020200189531A KR102264281B1 (en) 2020-12-31 2020-12-31 Livestock weight estimation system and method using livestock image

Publications (1)

Publication Number Publication Date
WO2022145614A1 true WO2022145614A1 (en) 2022-07-07

Family

ID=76417371

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/010024 WO2022145614A1 (en) 2020-12-31 2021-07-30 Livestock weight estimation system and method using livestock barn image

Country Status (2)

Country Link
KR (1) KR102264281B1 (en)
WO (1) WO2022145614A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416260A (en) * 2023-05-19 2023-07-11 四川智迅车联科技有限公司 Weighing precision optimization method and system based on image processing

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102264281B1 (en) * 2020-12-31 2021-06-14 한국축산데이터 주식회사 농업회사법인 Livestock weight estimation system and method using livestock image
KR102340290B1 (en) * 2021-07-30 2021-12-17 주식회사 일루베이션 RGB-D based Livestock Weight Inference AI System, and a Computer-readable storage medium
CN113780073B (en) * 2021-08-03 2023-12-05 华南农业大学 Device and method for auxiliary estimation of chicken flock uniformity
CN117918023A (en) * 2021-09-07 2024-04-23 希尔氏宠物营养品公司 Method for determining biometric data associated with an animal based on image data
CN115968813A (en) * 2021-10-15 2023-04-18 智逐科技股份有限公司 Poultry health monitoring system and method thereof
KR102535769B1 (en) * 2022-01-10 2023-05-26 (주)엠트리센 Contactless livestock weighing apparatus and method
KR20240038329A (en) * 2022-09-16 2024-03-25 인트플로우 주식회사 Apparatus and method for inventory management of livestock based on image
WO2024106881A1 (en) * 2022-11-14 2024-05-23 주식회사 노바 Deep learning computer vision-based system for measuring weight of livestock, and method therefor
CN115937791B (en) * 2023-01-10 2023-05-16 华南农业大学 Poultry counting method and device suitable for multiple cultivation modes

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101342158B1 (en) * 2012-08-23 2013-12-18 주식회사 에스티엠 Cattle shed management system for livestock individual information identifying and manageable
US9084411B1 (en) * 2014-04-10 2015-07-21 Animal Biotech Llc Livestock identification system and method
US20170124727A1 (en) * 2014-06-17 2017-05-04 3M Innovative Properties Company Method and device for automated parameters calculation of an object
KR20190030082A (en) * 2017-09-13 2019-03-21 (주)제이케이데이터시스템즈 System and Method for measuring weight of poultry based on pattern recognition
WO2020003310A1 (en) * 2018-06-25 2020-01-02 Farmsee Ltd. Monitoring livestock in an agricultural pen
KR102264281B1 (en) * 2020-12-31 2021-06-14 한국축산데이터 주식회사 농업회사법인 Livestock weight estimation system and method using livestock image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101342158B1 (en) * 2012-08-23 2013-12-18 주식회사 에스티엠 Cattle shed management system for livestock individual information identifying and manageable
US9084411B1 (en) * 2014-04-10 2015-07-21 Animal Biotech Llc Livestock identification system and method
US20170124727A1 (en) * 2014-06-17 2017-05-04 3M Innovative Properties Company Method and device for automated parameters calculation of an object
KR20190030082A (en) * 2017-09-13 2019-03-21 (주)제이케이데이터시스템즈 System and Method for measuring weight of poultry based on pattern recognition
WO2020003310A1 (en) * 2018-06-25 2020-01-02 Farmsee Ltd. Monitoring livestock in an agricultural pen
KR102264281B1 (en) * 2020-12-31 2021-06-14 한국축산데이터 주식회사 농업회사법인 Livestock weight estimation system and method using livestock image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416260A (en) * 2023-05-19 2023-07-11 四川智迅车联科技有限公司 Weighing precision optimization method and system based on image processing
CN116416260B (en) * 2023-05-19 2024-01-26 四川智迅车联科技有限公司 Weighing precision optimization method and system based on image processing

Also Published As

Publication number Publication date
KR102264281B1 (en) 2021-06-14

Similar Documents

Publication Publication Date Title
WO2022145614A1 (en) Livestock weight estimation system and method using livestock barn image
US10058076B2 (en) Method of monitoring infectious disease, system using the same, and recording medium for performing the same
WO2021221249A1 (en) Smart livestock management system and method for same
WO2019132170A1 (en) Learning data management method, device, and program
WO2016171341A1 (en) Cloud-based pathology analysis system and method
EP3518146A1 (en) Image processing apparatus and image processing method
WO2019088519A1 (en) System for identifying pests and monitoring information through image analysis, and monitoring method using same
WO2023008806A1 (en) Rgb-d-based ai system for inferring weight of livestock, and computer-readable medium having recorded thereon computer program for providing same
KR102307478B1 (en) A Computer Vision for the Prediction System of Livestock Diseases and Their Methods
CN110705472A (en) Off-duty method and system based on video image recognition
CN112528716A (en) Event information acquisition method and device
WO2024039120A1 (en) Portable non-face-to-face diagnosis device having sensors
WO2022146050A1 (en) Federated artificial intelligence training method and system for depression diagnosis
KR20210004184A (en) Domestic Animal Managing Method Based on Identifying Marking Information of And Computing Apparatus and Server of Thereof
US11722763B2 (en) System and method for audio tagging of an object of interest
WO2024058318A1 (en) Camera management system and method for barn management cameras
WO2022080844A1 (en) Apparatus and method for tracking object by using skeleton analysis
WO2023090550A1 (en) Apparatus and method for measuring weight uniformity of groups of livestock
WO2022250196A1 (en) Dementia patient tracking device and method
JP4120379B2 (en) Behavior monitoring system and program
CN111985460B (en) Body temperature abnormity warning method and system based on infrared temperature measurement and face recognition
CN111680583B (en) Crowd tagging method, system, computer device, and readable storage medium
WO2021025237A1 (en) Shopping cart and product recognition method thereof, system and method for providing shopping service using same
CN110956644B (en) Motion trail determination method and system
WO2024034923A1 (en) Method and system for object recognition and behavior pattern analysis based on video surveillance using artificial intelligence

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21915412

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21915412

Country of ref document: EP

Kind code of ref document: A1