WO2020141888A1 - 사육장 환경 관리 장치 - Google Patents

사육장 환경 관리 장치 Download PDF

Info

Publication number
WO2020141888A1
WO2020141888A1 PCT/KR2020/000031 KR2020000031W WO2020141888A1 WO 2020141888 A1 WO2020141888 A1 WO 2020141888A1 KR 2020000031 W KR2020000031 W KR 2020000031W WO 2020141888 A1 WO2020141888 A1 WO 2020141888A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
kennel
unit
image
region
Prior art date
Application number
PCT/KR2020/000031
Other languages
English (en)
French (fr)
Inventor
박선희
김민규
김일봉
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to US17/420,324 priority Critical patent/US20220067377A1/en
Priority to CN202080007962.3A priority patent/CN113273179B/zh
Publication of WO2020141888A1 publication Critical patent/WO2020141888A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to an environment management device for a kennel.
  • Livestock that are bred in groups within a narrow cage is very vulnerable to the spread of infectious diseases.
  • infectious diseases such as foot and mouth disease or bird flu are spread through the air, so once it occurs, the social cost of preventing and controlling the infection is very high, and the entire social anxiety about food must spread rapidly. . It is important to isolate diseased livestock as soon as possible to prevent the spread of the disease when abnormal signs are detected in the kennel.
  • a suitable environment for disease detection must be maintained for rapid and accurate disease detection in the kennel.
  • a method for managing the environment of a kennel has not been systematically presented, and environmental control in the kennel is only performed to determine a growth environment of livestock.
  • the technical problem to be achieved by the present invention is to provide a kennel environment management device for determining the suitability of the poultry breeding environment inside the kennel.
  • a photographing unit for photographing a thermal image inside a kennel; An object detection unit detecting an object from the captured image; An area dividing unit for dividing the captured image into a plurality of areas; Provides a kennel environment management device including a filtering unit for extracting a second region excluding the first region in which the individual is detected from the divided region, and a control unit for detecting an abnormal condition by comparing the temperature and the reference temperature of the second region.
  • the object detection unit may detect the object using a temperature value of the thermal image.
  • the photographing unit may photograph an RGB image inside the kennel.
  • the object detection unit may detect the object from the RGB image.
  • the control unit may calculate at least one of the area and weight of the object using the thermal image and the RGB image.
  • the controller may calculate the area of the entire object using the RGB image, and calculate the body area of the object excluding feathers using the thermal image.
  • the control unit may calculate the weight of the individual using the body area of the individual.
  • the region dividing unit may adjust the size of the region to be divided according to the area of the object.
  • the area dividing unit may adjust the size of the area to be segmented to be smaller as the area of the object is larger.
  • the region dividing unit may adjust the size of the region to be divided according to at least one of the calculated area and weight of the object.
  • the control unit may control the air conditioning device by comparing the temperature of the second region with a reference temperature.
  • the control unit may calculate a temperature average value of the second region as a temperature of the second region when a size ratio occupied by the second region in the entire image is greater than or equal to a reference ratio value.
  • the object detection unit may detect the object by detecting motion in the captured image.
  • the present inventors environment management device can determine the suitability of the poultry breeding environment inside the kennel.
  • FIG. 1 is a block diagram of an abnormal object detection system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a learning system for detecting anomalies according to an embodiment of the present invention.
  • FIG. 3 is a conceptual diagram of a kennel environment management apparatus according to an embodiment of the present invention.
  • FIG. 4 is a block diagram of a kennel environment management apparatus according to an embodiment of the present invention.
  • FIG. 5 is a view for explaining the operation of the photographing unit according to an embodiment of the present invention.
  • FIG. 6 is a view for explaining the configuration of a photographing unit according to an embodiment of the present invention.
  • FIG. 7 is a view for explaining the operation of the filtering unit according to an embodiment of the present invention.
  • FIG. 8 is a view for explaining the operation of the region division unit according to an embodiment of the present invention.
  • 9 to 11 are flowcharts of a method for managing an environment in a kennel according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from other components.
  • the second component may be referred to as a first component without departing from the scope of the present invention, and similarly, the first component may also be referred to as a second component.
  • the term and/or includes a combination of a plurality of related described items or any one of a plurality of related described items.
  • FIG. 1 is a block diagram of a kennel environment management system according to an embodiment of the present invention
  • FIG. 2 is a block diagram of a kennel environment management system according to an embodiment of the present invention
  • FIG. 3 is a kennel environment according to an embodiment of the present invention It is a conceptual diagram of the management device.
  • the kennel environment management system 1000 includes a kennel environment management device 100, an administrator terminal 200, an air conditioning device 300, and a learning server 400. do.
  • the kennel environment management learning system 1000 includes a plurality of kennel environment management devices 100 and a learning server 400.
  • the plurality of kennel environment management devices 100 may be a plurality of kennel environment management devices installed in one kennel, or may be a plurality of kennel environment management devices installed in a plurality of kennels.
  • the kennel environment management device 100 may detect the environment in the kennel 10 and transmit it to at least one of the manager terminal 200 and the air conditioning device 300.
  • the kennel 10 means a livestock farm for raising livestock.
  • the livestock may be various types of animals that are raised in groups within a barn, such as a cow or a pig, as well as poultry such as chickens and ducks.
  • the kennel environment management apparatus 100 may be arranged for each kennel 10.
  • the kennel environment management apparatus 100 may include a plurality of photographing units 111, and the plurality of photographing units 111 may be arranged at various places in the kennel 10.
  • the plurality of photographing units 111 may be disposed on the upper and side of the kennel 10.
  • the kennel environment management apparatus 100 may extract a plurality of image data obtained by the plurality of photographing units 111 and extract environment data.
  • a plurality of kennel environment management devices 100 may be disposed in one kennel 10.
  • the plurality of kennel environment management devices 100 may be arranged at various places in the kennel 10, and each kennel environment management device 100 uses the image data obtained by each imaging unit 111 to obtain environmental data. You can also extract
  • the kennel environment management device 100 may communicate with the manager terminal 200 and the air conditioning device 300 through wired or wireless communication.
  • the kennel environment management device 100 is illustrated as communicating with the manager terminal 200 and the air conditioning device 300, respectively, but is not limited thereto, and the kennel environment management device 100 communicates with the manager terminal 200 And, the manager terminal 200 may communicate with the air conditioning device 300.
  • the manager terminal 200 may be a personal computer (PC), a tablet PC, a portable terminal, or the like, and may be mixed with a management server.
  • the environment management device 100 of the kennel transmits environmental data and abnormal situation information in the kennel 10 to the manager terminal 200
  • the manager may experience the environment in the kennel 10 through a screen output on the manager terminal 200 or the like.
  • At least one of data and anomaly information can be recognized.
  • the kennel environment management device 100 captures an abnormal situation in the kennel 10 and transmits it to the manager terminal 200, the manager via the screen output to the manager terminal 200 It can be recognized that an abnormal situation has occurred within, and can respond to the abnormal situation early.
  • the environmental data may be, for example, livestock growth information, humidity in a kennel 10, temperature, concentration information of a specific molecule, and the like.
  • the abnormal situation may be, for example, the development of a diseased livestock, the pregnancy of the livestock, the livestock growth period, the livestock growth information, the humidity in the kennel 10, the temperature, the concentration of a specific molecule, or the like.
  • the air conditioning device 300 is a device that controls the temperature of the kennel 10.
  • the environment management device 100 of the kennel catches the temperature abnormality in the kennel 10 and transmits it to the manager terminal 200, the manager occurs a temperature abnormality in the kennel 10 through a screen output on the manager terminal 200. It can be recognized, and by controlling the air conditioning device 300, it is possible to normalize the temperature in the kennel 10.
  • the air conditioning device 300 may directly normalize the temperature in the kennel 10.
  • the kennel environment management apparatus 100, the manager terminal 200, or the air conditioning apparatus 300 may detect the temperature abnormality in the kennel 10 to normalize the temperature in the kennel 10.
  • the air conditioning device 300 may control the humidity of the kennel 10.
  • the kennel environment management apparatus 100 may normalize the humidity in the kennel 10 by controlling the air conditioning device 300 when an abnormality in humidity occurs in the kennel 10.
  • the kennel environment management apparatus 100 may transmit learning data to the remote learning server 400 and apply the parameters received from the learning server 400 to an algorithm for managing the kennel environment to control the environment of the kennel.
  • the learning server 400 receives learning data from a plurality of kennel environment management devices 100, and re-trains these learning data to extract parameters.
  • the learning server 400 may learn learning data using, for example, a deep learning technique, but is not limited thereto, and may learn training data using various techniques and extract parameters.
  • the kennel environment management device 100 may be mixed with a local machine, and the learning server 400 may collect learning data from a plurality of kennel environment management devices installed in a plurality of kennels.
  • the kennel environment management apparatus 100 preprocesses image data to select learning data, and transmits only the selected learning data to the learning server 400. Accordingly, communication traffic between the kennel environment management apparatus 100 and the learning server 400 can be reduced, and the calculation amount of the learning server 400 can be reduced.
  • FIG. 4 is a block diagram of a kennel environment management apparatus according to an embodiment of the present invention.
  • the kennel environment management apparatus 100 includes a photographing unit 111, an object detection unit 112, an area division unit 113, a filtering unit 114, a control unit 115, and a communication unit 116. ), a display unit 117, a user interface unit 118, an encoding unit 119, a database 120, a light source unit 121, and a pan tilt unit 122.
  • the control unit 111 and the encoding unit 119 may be implemented by a computer processor or a chip
  • the database 120 may be mixed with a memory
  • the communication unit 116 may be mixed with an antenna or a communication processor. .
  • the kennel environment management device 100 may be manufactured in a separate module form and may be configured by being included in a data collection device (not shown) or the management server 200. Alternatively, the kennel environment management apparatus 100 may be implemented as an independent product in the form of a separate device. If the kennel environment management apparatus 100 is applied in the form of a module or a separate device from the photographing unit, the kennel environment management apparatus 100 may receive image data from the photographing unit 111 through the communication unit 116. Also, the object detection unit 112 may be included in the control unit 115 and implemented as a single processor. In the embodiment of the present invention, for convenience of description, the functions of the object detection unit 112 and the control unit 115 will be separately described.
  • a plurality of kennel environment management apparatuses 100 when a plurality of kennel environment management apparatuses 100 are disposed in a kennel, the rest of them may be configured to perform only some functions of the kennel environment management apparatus 100 except for one kennel environment management apparatus 100.
  • one kennel environment management device 100 is set as a main device, and collects image data captured by the other kennel environment management device 100 to detect environmental data and perform a function of communicating with an administrator terminal.
  • the remaining kennel environment management apparatus 100 may be configured to perform only a function of delivering image data captured through the photographing unit 111 to the main apparatus.
  • the photographing unit 111 may photograph a thermal image inside the kennel.
  • the imaging unit may include a thermal imaging camera module capable of visually displaying the temperature by sensing the infrared radiation emitted from the object.
  • the photographing unit 111 may photograph an RGB image inside the kennel.
  • the photographing unit 111 may include an image sensor that photographs a subject using a complementary metal-oxide semiconductor (CMOS) module or a charge coupled device (CCD) module.
  • CMOS complementary metal-oxide semiconductor
  • CCD charge coupled device
  • the input image frame is provided to the CMOS module or CCD module in the imaging unit 111 through the lens, and the CMOS module or CCD module converts the optical signal of the object passing through the lens into an electrical signal (image data) and outputs it. do.
  • the photographing unit 111 may include an image sensor capable of photographing an RGB image and a thermal image camera module capable of photographing a thermal image.
  • the photographing unit 111 may generate an image data by photographing an image including a plurality of objects.
  • a plurality of individuals may mean poultry kept in a kennel.
  • image data photographed by the photographing unit 111 may be mixed with original data, original images, and photographed images.
  • the photographing unit 111 may generate a plurality of image data using a plurality of images sequentially photographed.
  • the photographing unit 111 may generate a first image data by photographing a first image including a plurality of objects, and generate a second image data by capturing a second image including a plurality of objects. can do.
  • Each of the first image and the second image may be images continuously photographed in time, and one image data may mean a single frame.
  • the photographing unit 111 may generate the first image data and the second image data by using the first image and the second image sequentially photographed.
  • the photographing unit 111 may include a fish-eye lens or a wide-angle lens having a wide viewing angle. Accordingly, it is possible for one photographing unit 111 to photograph the entire space inside the kennel.
  • the photographing unit 111 may be a depth camera.
  • the photographing unit 111 may be driven by any one of various depth recognition methods, and depth information may be included in an image photographed through the photographing unit 111.
  • the photographing unit 111 may be, for example, a Kinect sensor.
  • the kinect sensor is a structured light projection type depth camera, and can acquire three-dimensional information of a scene by projecting a pattern image defined using a projector or a laser and acquiring a pattern-projected image through the camera.
  • the Kinect sensor includes an infrared emitter that irradiates a pattern using an infrared laser, and an infrared camera that shoots an infrared image.
  • An RGB camera which functions like a typical webcam, is placed between the infrared emitter and the infrared camera.
  • the Kinect sensor may further include a pan tilt unit 122 for adjusting the microphone arrangement and the angle of the camera.
  • the basic principle of the Kinect sensor is that when a laser pattern irradiated from an infrared emitter is projected and reflected on an object, the distance to the object surface is determined using the position and size of the pattern at the reflection point.
  • the photographing unit 111 may irradiate the laser pattern into the space in the kennel and sense the laser pattern reflected from the object to generate image data including depth information for each object.
  • the thermal image and the RGB image may be image data composed of N X M pixels.
  • FIG. 5 is a view for explaining the operation of the photographing unit according to an embodiment of the present invention.
  • an area photographing a relatively narrow range is an imaging angle of a thermal imaging camera
  • an area imaging a wide range represents an imaging angle of an RGB camera.
  • the horizontal viewing angle of the RGB camera was 152 degrees
  • the vertical viewing angle was 80 degrees
  • the horizontal viewing angle of the thermal imaging camera was set to 48 degrees
  • the vertical viewing angle was set to 37 degrees to correct the difference in angle of view between cameras.
  • the viewing angle of each camera may be variously set according to environmental conditions.
  • FIG. 6 is a view for explaining the configuration of the photographing unit 111 according to an embodiment of the present invention.
  • the thermal camera module 1111 and the RGB camera module 1112 are implemented through one processing device, or the thermal camera module 1111 is separately provided as shown in FIG. 6(b). It can be in the form.
  • the object detection unit 112 may detect an object from a captured image.
  • the object detection unit 112 may detect an object using the temperature value of the thermal image.
  • the body temperature of the chicken is about 41 degrees, which is higher than the ground temperature inside the kennel. Accordingly, the object detection unit 112 may detect that an object exists in a pixel having a temperature higher than a preset threshold temperature through the thermal image.
  • the threshold may be set in advance in consideration of the general body temperature of the individual and the temperature of the environment inside the kennel.
  • the object detection unit 112 may detect an object in an RGB image.
  • the object detection unit 112 detects the outline of the object from the image data, compares the detected outline with the outline of the animal object previously stored in the database 120, and detects the object having an outline matching the outline of the previously stored animal object. It can be detected as an individual.
  • the appearance of the animal object stored in the database 120 may be the appearance of at least one or more animal objects, and the object detection unit 112 simultaneously detects an object having a matching outline as an animal object as described above. The type of animal individual can also be determined.
  • the object detection unit 112 extracts a feature point of an object in the image data, and if the extracted feature point matches a feature point of an animal object previously stored in the database 120 in a proximity of a threshold value or more, within the corresponding image data An individual can be detected as an animal individual.
  • the object detection unit 112 extracts feature points from the images of the two objects to be compared, and a Scale Invariant Feature Transform (SIFT) or Speeded Up Robust Features (SURF) matching the extracted feature point descriptors of the two objects Algorithm can be used.
  • SIFT Scale Invariant Feature Transform
  • SURF Speeded Up Robust Features
  • the object detection unit 112 may detect an animal object based on the outline of the objects in the image data. More specifically, the object detection unit 112 detects the contours of the objects from the image data to generate an edge image, and detects the contours from the foreground image data, which is the background image of the kennel previously stored in the database 120, to detect the background edge image. It is generated, and an animal object can be detected from a difference image obtained by subtracting a background edge image from an edge image. At this time, the object detection unit 112 generates an edge image by detecting the outline of the object appearing in the frame as an edge using gradient information of the image data frame.
  • the gradient information is a value generated from a difference value between adjacent pixels among predetermined pixels in a frame, and means the sum of absolute values of the difference, and an edge means a boundary line between entities using gradient information.
  • the object detection unit 112 may generate a background edge image by detecting an edge of an object corresponding to a background from image data of a foreground in a pre-recorded kennel.
  • the background edge image may be an image in which the outlines of objects in a predetermined area are detected as a background edge, but a plurality of image data frames of a foreground in a pre-recorded kennel are compared and repeated repeatedly a predetermined number of times to display the same object. It may be an image in which the contour is detected as a background edge.
  • the object detection unit 112 may detect an object from image data using an object detection classifier.
  • the object detection classifier is learned by constructing a training DB from images of animal objects taken by changing the posture or external environment of the animal object, and these object detection classifiers are a support vector machine (SVM), neural network, and AdaBoost algorithm. Create a DB of animal objects through various learning algorithms including.
  • the object detection unit 112 detects the edge of the object corresponding to the foreground from the image data of the background in the pre-recorded kennel, applies the edge of the foreground object detected from the image data, and applies the edge of the foreground object to the image
  • the object detection classifier may be applied to an area of data to detect an animal object.
  • the object detection unit 112 may detect an object by detecting motion in a captured image. At this time, the object detection unit 112 may detect an object by detecting motion in a thermal image or an RGB image. The object detection unit 112 may detect movement at a specific point, a specific object, or a specific pixel on a distribution diagram using a single image data or a plurality of consecutive image data.
  • the object detection unit 112 may detect the motion of the moving object using the Dense Optical Flow method.
  • the object detector 112 may detect motion for each pixel by calculating a motion vector for all pixels on the image data.
  • the Dense Optical Flow method since the motion vector is calculated for all pixels, the detection accuracy is improved, but the computation amount is relatively increased. Therefore, the Dense Optical Flow method can be applied to a specific area where detection accuracy is very high, such as a farm in which an abnormal situation is suspected or a farm in which a large number of individuals are present.
  • the object detection unit 112 may detect the motion of the moving object using the Sparse Optical Flow method.
  • the object detector 112 may detect motion by calculating a motion vector only for some characteristic pixels that are easy to track motion such as edges in an image.
  • the Sparse Optical Flow method reduces the amount of computation, but only results for limited pixels can be obtained. Therefore, the Sparse Optical Flow method can be applied to a kennel with a small number of individuals or a specific area where the objects do not overlap.
  • the object detecting unit 112 may detect the motion of the moving object using Block Matching.
  • the object detector 112 may divide the image evenly or non-uniformly to calculate a motion vector for the divided region to detect motion.
  • Block Matching calculates the motion vector for each divided region, so the amount of computation decreases, but since the results for the motion vector for each region are calculated, detection accuracy may be relatively low. Therefore, the Block Matching method can be applied to a kennel with a small number of individuals or a specific area in which individuals do not overlap.
  • the object detection unit 112 may detect the motion of the moving object using the Continuous Frame Difference method.
  • the object detection unit 112 may compare continuous image frames for each pixel and calculate a value corresponding to the difference to detect motion. Since the Continuous Frame Difference method detects motion by using the difference value between frames, the overall computation amount is reduced, but the detection accuracy of a bulky object or a duplicate object may be relatively low.
  • the Continuous Frame Difference method may not be able to distinguish between a background image and a stationary object, so accuracy may be relatively low. Therefore, the Continuous Frame Difference method can be applied to a kennel with a small number of individuals or a specific area where the objects do not overlap.
  • the object detection unit 112 may detect the motion of the moving object using the Background Subtraction method.
  • the object detection unit 112 may compare a continuous image frame for each pixel in a state in which the background image is initially learned, and calculate a value corresponding to the difference to detect motion.
  • the background subtraction method is able to distinguish the background image from the non-moving object because the background image is learned in advance. Therefore, a separate process for filtering the background image is required, so that the computation amount increases, but the accuracy improves. Therefore, the Background Subtraction method can be applied to a specific area where detection accuracy is very high, such as a farm in which an abnormal situation is suspected or a farm with a large number of individuals. In the Background Subtraction method, the background image can be continuously updated.
  • the object detection unit 112 may be trained to detect an object from a captured image.
  • the object detection unit 112 may include a computer-readable program.
  • the program may be stored in a recording medium or storage device that can be executed by a computer.
  • the processor in the computer may read a program stored in a recording medium or storage device, execute a program, that is, a trained model, calculate input information, and output a calculation result.
  • the input of the object detection unit 112 may be one or a plurality of image data photographing the inside of the kennel, and the output of the object detection unit 112 may be image data of which the object has been detected.
  • the object detection unit 112 includes a first neural network trained to learn the correlation between the image inside the kennel and the probability of the presence of the object, using the image captured inside the kennel as an input layer, and to detect the object data as an output layer. can do.
  • the first neural network is an example of a deep learning algorithm designed to display objects detected on image data.
  • the first neural network may be an algorithm that inputs image data to a learning machine based on a convolution network, and then outputs data marked to distinguish an area where an object is located.
  • the image data photographed inside the kennel becomes an input layer of the first neural network, and the first neural network can learn a correlation with an entity existing in the image data inside the kennel.
  • the output layer of the first neural network may be image data in which objects detected on the image data photographed inside the kennel are displayed for each area.
  • the object detection unit 112 may detect movement on the distribution diagram using an appropriate method according to the environment in the kennel and the external setting.
  • the region dividing unit 113 may divide the captured image into a plurality of regions. Each region may be composed of at least one pixel, and the size of each region may be the same or different.
  • the region dividing unit 113 may adjust the size of the region to be divided according to the area of the object. As the object grows, the area occupied by the image increases. Therefore, the area dividing unit 113 may adjust the size of the area to be divided to be smaller as the area of the object is larger. In other words, as the object grows, the pre-processing process of adjusting the size of the area to be divided is small, so that the distinction between the area where the object exists and the area where the object does not exist can be made more clear and detailed.
  • the region dividing unit 113 may adjust the size of the region to be divided into 10x10 (pixels) from the beginning to 2 weeks when the individual enters the kennel.
  • the region dividing unit may adjust the size of the region to be divided into 5x5 (pixel) smaller than before, from 3 weeks of age to immediately before shipment.
  • the region dividing unit 113 may adjust the size of the region to be divided according to at least one of the calculated area and weight of the object.
  • the region division unit 113 may actively adjust the size of the region to be divided according to at least one of the area and weight of the object calculated by the control unit 115.
  • the size of the region to be divided can be variably adjusted according to the growth of the individual and the size of the actual area occupied in the image.
  • the filtering unit 114 may extract a second region excluding the first region in which the entity is detected from the divided region.
  • 7 is a view for explaining the operation of the filtering unit 114 according to an embodiment of the present invention.
  • the filtering unit may extract a second area excluding the first area where the object is detected in order to extract only the image of the ground inside the kennel.
  • the filtering unit 114 may detect the temperature of the ground inside the kennel in a state in which all objects are detected, and perform a pre-processing process to determine the environment inside the kennel.
  • the control unit 115 may detect an abnormal situation by comparing the temperature of the second region with the reference temperature.
  • the reference temperature may mean a range of an appropriate temperature inside the kennel for breeding the individual, and in an embodiment, the adequacy of the breeding environment may be determined using the temperature of the ground of the kennel.
  • the controller 115 may determine that an abnormality has occurred when the temperature of the second region is outside the reference temperature range.
  • the controller 115 may compare each of the temperatures in the second region with the reference temperature range to determine whether an abnormal condition occurs in each second region.
  • the control unit 115 may calculate an average value of the temperature in the second region and compare it with a reference temperature range, and determine whether an abnormal situation occurs in the entire kennel.
  • the controller 115 may compare the temperature of the second region with the temperature of the adjacent second region, and determine that an abnormality has occurred in the second region outside the threshold range.
  • the control unit 115 may control the air conditioning device by comparing the temperature of the second region with the reference temperature.
  • the controller 115 may output a command for controlling the air conditioning apparatus such that the temperature of the second region is set within the reference temperature range.
  • the reference temperature range may be set according to various factors such as the degree of growth, season, and other external environment of the individual, and may be set by referring to the temperature of the breeding ground accumulated in the database 120.
  • control unit 115 is maintained at 32 to 35°C during the first week when the temperature in the kennel is in the initial stage, and thereafter, the temperature is lowered by about 3°C for a week, so that the final temperature is 21 to 22 at 21-24 days of age.
  • the reference temperature range can be set to reach °C.
  • the control unit 115 may control the air conditioning device so that the temperature of several centimeters above the ground falls within the reference temperature range.
  • the control unit 115 may control the air conditioning device such that the relative humidity is maintained between 70 and 80% together with the temperature.
  • controller 115 may calculate at least one of the area and weight of the object using the thermal image and the RGB image.
  • the controller 115 may calculate the area of the entire object using the RGB image, and calculate the body area of the object excluding the feather using the thermal image.
  • the controller 115 may calculate the weight of the individual by using the body area of the individual. RGB images can distinguish the entire appearance of an object, including feathers. However, the feather portion is not considered when calculating the weight of the individual. Therefore, the control unit 115 may calculate only the body area of the object excluding the feathers using the thermal image, and accurately calculate the weight of the object using the calculated body area.
  • the control unit 115 may use the calculated weight of the individual to determine the degree of growth of the individual and determine a shipping time. For example, the controller 115 may average the weight of the calculated object, and select a case in which the value set as the target value exceeds the set value.
  • the controller 115 may calculate environmental data of the kennel environment using a machine learning method.
  • the controller 115 may learn the result of calculating the region data of the image data and the environmental data according to the object detection data as a training set, and then analyze the region division data and the object detection data of the input image data to calculate environment data.
  • the environmental data may include at least one of a temperature of the second region, a result of determining whether an abnormal situation has occurred, and an air conditioning device control command.
  • the control unit 115 may be trained to generate environmental data using region division data and object detection data.
  • the controller 115 may include a computer-readable program.
  • the program may be stored in a recording medium or storage device that can be executed by a computer.
  • the processor in the computer may read a program stored in a recording medium or storage device, execute a program, that is, a trained model, calculate input information, and output a calculation result.
  • the input of the control unit 114 may be thermal image data that has been subjected to a pre-processing process including object detection and area division, and the output of the control unit 114 is a result of determining whether a temperature or abnormal condition in the second area has occurred and an air conditioning device It may be environmental data including at least one of the control commands.
  • the control unit 115 may use at least one of a result of determining whether the thermal image data on which the pre-treatment process has been performed, the temperature of the second region, and whether or not an abnormal situation has occurred, and the air conditioning device control command, using the thermal image data on which the pre-treatment process has been performed as an input layer. It may include a second neural network trained to learn the correlation of, and the environment data to be the output layer.
  • the control unit 115 may control the kennel environment management device 100 as a whole.
  • the control unit 115 may perform an operation of the kennel environment management apparatus 100 by, for example, executing a command stored in the user interface unit 118 or the database 120.
  • control unit 115 may control various operations of the kennel environment management apparatus 100 using commands received from the manager terminal.
  • the control unit 115 may control the pan tilt unit 122 of the kennel environment management apparatus 100 to perform tracking photographing.
  • the pan tilt unit 122 may control the photographing area of the photographing unit 111 by driving two motors, a pan (horizontal direction) and a tilt (vertical direction).
  • the pan tilt unit 122 may adjust a direction of the photographing unit 111 to photograph a specific area under the control of the control unit 115.
  • the pan tilt unit 122 may adjust the direction of the photographing unit 111 to track a specific object under the control of the control unit 115.
  • the communication unit 116 may perform data communication with at least one of an environment management apparatus of another kennel, an administrator terminal, or a learning server.
  • the communication unit 116 may include a wireless LAN (WLAN), a Wi-Fi, a wireless broadband (Wibro), a WiMAX (World Interoperability for Microwave Access: Wimax), and a High Speed Downlink (HSDPA).
  • WLAN wireless LAN
  • Wi-Fi Wireless broadband
  • WiMAX Worldwide Interoperability for Microwave Access: Wimax
  • HSDPA High Speed Downlink
  • Packet Access Packet Access
  • WMBS Wireless Mobile Broadband Service
  • the communication unit 116 may include Bluetooth, RadioFrequency Identification (RFID), Infrared Data Association (IrDA), UWB (Ultra Wideband), Zigbee, and Near Field Communication (NFC).
  • RFID RadioFrequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • Zigbee Zigbee
  • NFC Near Field Communication
  • data communication may be performed using short-range communication technology such as USB communication, Ethernet, serial communication, and optical/coaxial cable.
  • the communication unit 116 may perform data communication with other kennel environment management devices using short-range communication technology, and may perform data communication with a manager terminal or a learning server using long-distance communication technology, but is not limited thereto.
  • Various communication technologies may be used in consideration of various matters in a kennel.
  • the communication unit 116 transmits image data photographed by the photographing unit 111 to the manager terminal, transmits environmental data calculated by the controller 115 to the manager terminal, or manages the result of matching the image data and the environment data. It can be transmitted to the terminal.
  • the communication unit 116 detects the occurrence of an abnormal condition in the control unit 115, it may transmit information on the alarm to the manager terminal.
  • the data transmitted through the communication unit 116 may be compressed data encoded through the encoding unit 119.
  • the display unit 117 includes a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (Flexible Display) ), a 3D display, and an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor liquid crystal display
  • OLED organic light-emitting diode
  • Flexible Display Flexible Display
  • the display unit 117 may output the image data captured by the photographing unit 111 to the screen, or output the result of detecting the image data and the environment data on the screen.
  • the display unit 117 may output various user interfaces or graphic user interfaces on the screen.
  • the user interface unit 118 generates input data for controlling the operation of the kennel environment management apparatus 100.
  • the user interface unit 118 may be configured with a key pad, dome switch, touch pad, jog wheel, jog switch, and the like.
  • the display unit 117 and the touch pad form a mutual layer structure and are configured as a touch screen, the display unit 117 may be used as an input device in addition to an output device.
  • the user interface unit 118 may receive various commands for the operation of the kennel environment management device.
  • the encoding unit 119 encodes the image data photographed by the photographing unit 111 or the processed image data processed through the controller 115 into a digital signal.
  • the encoding unit 119 may encode image data according to H.264, H.265, Moving Picture Experts Group (MPEG), and Motion Joint Photographic Experts Group (M-JPEG) standards.
  • MPEG Moving Picture Experts Group
  • M-JPEG Motion Joint Photographic Experts Group
  • the database 120 includes a flash memory type, a hard disk type, a multimedia card micro type, and a card type memory (for example, SD or XD memory). , Magnetic Memory, Magnetic Disk, Optical Disk, Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EPMROM), Programmable (PROM) Read-Only Memory).
  • the kennel environment management apparatus 100 may operate a web storage that performs a storage function of the database 120 on the Internet, or operate in connection with web storage.
  • the database 120 may store image data photographed by the photographing unit 111 and may store image data for a predetermined period in the past.
  • the database 120 may store data and programs required for the kennel environment management apparatus 100 to operate, and the control unit 115 may store algorithms and parameters applied thereto to extract environmental data. .
  • the database 120 may store various user interfaces (UIs) or graphic user interfaces (GUIs).
  • UIs user interfaces
  • GUIs graphic user interfaces
  • the light source unit 121 may emit light in a direction directed under the control of the control unit 115.
  • the light source unit 121 may include at least one laser diode (LD) and a light emitting diode (LED).
  • the light source unit 121 may irradiate light of various wavelength bands under the control of the control unit 115.
  • the light source unit 121 may irradiate light in an infrared wavelength band for night photographing.
  • the light source unit 121 may irradiate light in the ultraviolet wavelength band for photochemotherapy of livestock in a kennel.
  • FIG. 9 is a flow chart of a method for managing a kennel environment according to an embodiment of the present invention.
  • the photographing unit photographs a thermal image inside the kennel (S901).
  • the object detection unit detects the object from the captured image.
  • the object detection unit detects an object using a temperature value of a thermal image.
  • the object detection unit detects an object by detecting motion in the captured thermal image (S902).
  • the region division unit divides the captured image into a plurality of regions.
  • the area division unit adjusts the size of the area to be divided as the area of the object is larger.
  • Each region may be composed of at least one pixel, and the size of each region may be the same or different (S903).
  • the filtering unit extracts a second area except the first area in which the object is detected from the divided area.
  • the filtering unit extracts a second area excluding the first area in which the individual is detected in order to extract only the image of the ground inside the kennel (S904).
  • the control unit detects an abnormal situation by comparing the temperature of the second region with the reference temperature.
  • the control unit compares each of the temperatures in the second region with the reference temperature range to determine whether an abnormal condition occurs in each second region.
  • the control unit calculates an average value of the temperature in the second area and compares it with a reference temperature range, and determines whether an abnormal situation occurs in the whole kennel.
  • the controller compares the temperature of the second region with the temperature of the adjacent second region, and determines that an abnormality has occurred in the second region outside the threshold range (S905).
  • FIG. 10 is a flowchart of a method for managing an environment in a kennel according to an embodiment of the present invention.
  • the photographing unit photographs a thermal image and an RGB image inside the kennel (S1001 to 1002).
  • the object detection unit detects the object from the captured image.
  • the object detection unit detects an object according to the object detection algorithm in the RGB image.
  • the object detection unit may detect an object by detecting motion in the captured image.
  • the object detection unit detects an object by detecting motion in a thermal image or an RGB image (S1003).
  • the region division unit divides the captured image into a plurality of regions.
  • the area division unit adjusts the size of the area to be divided as the area of the object is larger.
  • Each region may be composed of at least one pixel, and the size of each region may be the same or different (S1004).
  • the filtering unit extracts a second area except the first area in which the object is detected from the divided area.
  • the filtering unit extracts the second area except the first area in which the individual is detected in order to extract only the image of the ground inside the kennel (S1005).
  • the control unit detects an abnormal situation by comparing the temperature of the second region with the reference temperature.
  • the control unit compares each of the temperatures in the second region with the reference temperature range to determine whether an abnormal condition occurs in each second region.
  • the control unit calculates an average value of the temperature in the second area and compares it with a reference temperature range, and determines whether an abnormal situation occurs in the whole kennel.
  • the controller compares the temperature of the second region with the temperature of the adjacent second region, and determines that an abnormal condition has occurred in the second region outside the threshold range (S1006).
  • FIG. 11 is a flowchart of a method for managing an environment in a kennel according to an embodiment of the present invention.
  • the photographing unit photographs a thermal image and an RGB image inside the kennel (S1101 to 1102).
  • the object detection unit detects an object from the captured image (S1103).
  • the controller calculates the area and weight of the object using the thermal image and the RGB image.
  • the controller calculates the area of the entire object using the RGB image, and calculates the body area of the object excluding the feather using the thermal image (S1104).
  • control unit may determine the shipping time of the individual using the area and weight of the individual (S1105).
  • the region division unit divides the captured image into a plurality of regions.
  • the area division unit adjusts the size of the area to be divided according to at least one of the calculated area and weight of the object.
  • the region division unit actively adjusts the size of the region to be divided according to at least one of the area and weight of the object calculated by the control unit (S1106).
  • the filtering unit extracts a second area except the first area in which the object is detected from the divided area.
  • the filtering unit extracts the second area except the first area where the individual is detected in order to extract only the image of the ground inside the kennel (S1107).
  • the control unit detects an abnormal situation by comparing the temperature of the second region with the reference temperature.
  • the control unit compares each of the temperatures in the second region with the reference temperature range to determine whether an abnormal condition occurs in each second region.
  • the control unit calculates an average value of the temperature in the second area and compares it with a reference temperature range, and determines whether an abnormal situation occurs in the whole kennel.
  • the controller compares the temperature of the second region with the temperature of the adjacent second region, and determines that an abnormal condition has occurred in the second region outside the threshold range (S1108).
  • the term' ⁇ unit' used in this embodiment means a software or hardware component such as a field-programmable gate array (FPGA) or an ASIC, and the' ⁇ unit' performs certain roles.
  • FPGA field-programmable gate array
  • ASIC application-specific integrated circuit
  • components and' ⁇ units' may be combined into a smaller number of components and' ⁇ units', or further separated into additional components and' ⁇ units'.
  • the components and' ⁇ unit' may be implemented to play one or more CPUs in the device or secure multimedia card.

Abstract

본 발명의 일 실시예에 따르면, 사육장 내부의 열화상 영상을 촬영하는 촬영부; 촬영된 영상에서 개체를 검출하는 개체 검출부; 촬영 영상을 복수개의 영역으로 분할하는 영역 분할부; 분할된 영역에서 상기 개체가 검출된 제1영역을 제외한 제2영역을 추출하는 필터링부 및 상기 제2영역의 온도와 기준 온도를 비교하여 이상 상황을 감지하는 제어부를 포함할 사육장 환경 관리 장치를 제공한다.

Description

사육장 환경 관리 장치
본 발명은 사육장 환경 관리 장치에 관한 것이다.
좁은 사육장 내에서 집단으로 사육되는 가축은 전염성 질병의 확산에 매우 취약하다. 예를 들어, 구제역이나 조류독감과 같은 법정 전염병은 공기를 통해 전염되므로, 한번 발병될 경우 그 방역 및 전염 차단에 드는 사회적인 소요 비용이 매우 크고, 먹거리에 대한 전 사회적인 불안감도 빠르게 확산될 수 밖에 없다. 사육장 내 이상징후가 포착된 경우, 질병의 확산을 방지하기 위하여 빠른 시간 내에 병든 가축을 격리시키는 것이 중요하다.
사육장내의 신속하고 정확한 질병 검출을 위하여서는 질병 검출을 위한 적합한 환경이 유지되고 있어야 한다. 그러나 이상 개체 검출 적합도를 판단하기 위하여 사육장 환경을 관리하는 방법이 체계적으로 제시되고 있지 않은 실정이며, 사육장내의 환경 제어는 가축의 생장 환경을 판단하기 위하여 수행되고 있을 뿐이다.
본 발명이 이루고자 하는 기술적 과제는 사육장 내부의 가금류 사육 환경의 적합도를 판단하기 위한 사육장 환경 관리 장치를 제공하는데 있다.
본 발명의 일 실시예에 따르면, 사육장 내부의 열화상 영상을 촬영하는 촬영부; 촬영된 영상에서 개체를 검출하는 개체 검출부; 촬영 영상을 복수개의 영역으로 분할하는 영역 분할부; 분할된 영역에서 상기 개체가 검출된 제1영역을 제외한 제2영역을 추출하는 필터링부 및 상기 제2영역의 온도와 기준 온도를 비교하여 이상 상황을 감지하는 제어부를 포함할 사육장 환경 관리 장치를 제공한다.
상기 개체 검출부는 상기 열화상 영상의 온도값을 이용하여 상기 개체를 검출할 수 있다.
상기 촬영부는 상기 사육장 내부의 RGB영상을 촬영할 수 있다.
상기 개체 검출부는 상기 RGB영상에서 상기 개체를 검출할 수 있다.
상기 제어부는 상기 열화상 영상 및 상기 RGB영상을 이용하여 상기 개체의 면적 및 무게 중 적어도 하나를 산출할 수 있다.
상기 제어부는 상기 RGB영상을 이용하여 상기 개체 전체의 면적을 산출하고, 상기 열화상 영상을 이용하여 깃털을 제외한 상기 개체의 몸통 면적을 산출할 수 있다.
상기 제어부는 상기 개체의 몸통 면적을 이용하여 상기 개체의 무게를 산출할 수 있다.
상기 영역 분할부는 상기 개체의 면적에 따라 분할 대상인 영역의 크기를 조절할 수 있다.
상기 영역 분할부는 상기 개체의 면적이 클수록 상기 분할 대상인 영역의 크기를 작게 조절할 수 있다.
상기 영역 분할부는 산출된 상기 개체의 면적 및 무게 중 적어도 하나에 따라 분할 대상인 영역의 크기를 조절할 수 있다.
상기 제어부는 상기 제2영역의 온도와 기준 온도를 비교하여 공조 장치를 제어할 수 있다.
상기 제어부는 전체 영상에서 상기 제2영역이 차지하는 크기 비율이 기준 비율값 이상인 경우 상기 제2영역의 온도 평균값을 상기 제2영역의 온도로 산출할 수 있다.
상기 개체 검출부는 촬영된 영상에서 움직임을 검출하여 상기 개체를 검출할 수 있다.
본 발명인 사육장 환경 관리 장치는 사육장 내부의 가금류 사육 환경의 적합도를 판단할 수 있다.
또한, 가금류 사육에 적합하도록 사육장 내부 환경을 제어할 수 있다.
또한, 가금류의 성장 정도를 파악할 수 있다.
도 1은 본 발명의 실시예에 따른 이상 개체 검출 시스템의 블록도이다.
도 2는 본 발명의 실시예에 따른 이상 개체 검출용 학습 시스템의 블록도이다.
도 3은 본 발명의 실시예에 따른 사육장 환경 관리 장치의 개념도이다.
도 4는 본 발명의 실시예에 따른 사육장 환경 관리 장치의 블록도이다.
도5는 본 발명의 실시예에 따른 촬영부의 동작을 설명하기 위한 도면이다.
도6은 본 발명의 실시예에 따른 촬영부의 구성을 설명하기 위한 도면이다.
도7은 본 발명의 실시예에 따른 필터링부의 동작을 설명하기 위한 도면이다.
도8은 본 발명의 실시예예 따른 영역 분할부의 동작을 설명하기 위한 도면이다.
도9 내지 도11은 본 발명의 실시예에 따른 사육장 환경 관리 방법의 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 사육장 환경 관리 시스템의 블록도이고, 도 2는 본 발명의 실시예에 따른 사육장 환경 관리 시스템의 블록도이며, 도 3은 본 발명의 실시예에 따른 사육장 환경 관리 장치의 개념도이다.
도 1 내지 3을 참조하면, 본 발명의 실시예에 따른 사육장 환경 관리 시스템(1000)은 사육장 환경 관리 장치(100), 관리자 단말(200), 공조 장치(300) 및 학습용 서버(400)를 포함한다.
본 발명의 실시예에 따른 사육장 환경 관리 학습 시스템(1000)은 복수의 사육장 환경 관리 장치(100) 및 학습용 서버(400)를 포함한다. 여기서, 복수의 사육장 환경 관리 장치(100)는 하나의 사육장에 설치된 복수의 사육장 환경 관리 장치일 수도 있고, 복수의 사육장에 설치된 복수의 사육장 환경 관리 장치일 수도 있다.
사육장 환경 관리 장치(100)는 사육장(10) 내의 환경을 검출하고, 이를 관리자 단말(200) 및 공조 장치(300) 중 적어도 하나에 전송할 수 있다. 여기서, 사육장(10)은 가축을 사육하는 축사를 의미한다. 가축은 닭, 오리 등의 가금류뿐만 아니라, 소, 돼지 등 축사 내에서 집단으로 사육되는 다양한 종류의 동물일 수 있다.
도 3(a)에 도시된 바와 같이, 사육장 환경 관리 장치(100)는 사육장(10) 별로 배치될 수 있다. 사육장 환경 관리 장치(100)는 복수의 촬영부(111)를 포함할 수 있으며, 복수의 촬영부(111)는 사육장(10) 내 여러 장소에 배치될 수 있다. 예를 들어, 복수의 촬영부(111)는 사육장(10) 상부 및 측부에 배치될 수 있다. 사육장 환경 관리 장치(100)는 복수의 촬영부(111)에 의하여 획득된 복수의 영상 데이터를 취합하여 환경 데이터를 추출할 수 있다.
또는, 도 3(b)에 도시된 바와 같이, 하나의 사육장(10) 내에 복수의 사육장 환경 관리 장치(100)가 배치될 수도 있다. 복수의 사육장 환경 관리 장치(100)는 사육장(10) 내 여러 장소에 배치될 수 있으며, 각 사육장 환경 관리 장치(100)는 각 촬영부(111)에 의하여 획득된 각 영상 데이터를 이용하여 환경 데이터를 추출할 수도 있다. 사육장 환경 관리 장치(100)는 관리자 단말(200) 및 공조 장치(300)와 유선 또는 무선으로 통신할 수 있다. 여기서, 사육장 환경 관리 장치(100)가 관리자 단말(200) 및 공조 장치(300)와 각각 통신하는 것으로 도시되어 있으나, 이로 제한되지 않으며, 사육장 환경 관리 장치(100)가 관리자 단말(200)과 통신하고, 관리자 단말(200)이 공조 장치(300)와 통신할 수도 있다.
관리자 단말(200)은 퍼스널 컴퓨터(personal computer, PC), 태블릿 PC, 휴대단말 등일 수 있으며, 관리 서버와 혼용될 수도 있다. 사육장 환경 관리 장치(100)가 관리자 단말(200)에게 사육장(10) 내의 환경 데이터 및 이상 상황 정보를 전송하는 경우, 관리자는 관리자 단말(200)에 출력된 화면 등을 통하여 사육장(10) 내의 환경 데이터 및 이상 상황 정보 중 적어도 하나를 인지할 수 있다. 예를 들어, 사육장 환경 관리 장치(100)가 사육장(10) 내의 이상 상황을 포착하여 이를 관리자 단말(200)에게 전송한 경우, 관리자는 관리자 단말(200)에 출력된 화면을 통하여 사육장(10) 내에 이상 상황이 발생하였음을 인지할 수 있으며, 이상 상황에 대하여 초기에 대응할 수 있다. 실시예에서, 환경 데이터는, 예를 들어 가축의 생장 정보, 사육장(10) 내 습도, 온도, 특정 분자의 농도 정보 등일 수 있다. 실시예에서, 이상 상황은, 예를 들어 질병에 걸린 가축의 발생, 가축의 임신, 가축의 생장 기간, 가축의 생장 정보, 사육장(10) 내 습도, 온도, 특정 분자의 농도 이상 등일 수 있다.
공조 장치(300)는 사육장(10)의 온도를 조절하는 장치이다. 사육장 환경 관리 장치(100)가 사육장(10) 내 온도이상을 포착하여 관리자 단말(200)에게 전송한 경우, 관리자는 관리자 단말(200)에 출력된 화면을 통하여 사육장(10) 내 온도이상이 발생하였음을 인지할 수 있으며, 공조 장치(300)를 제어하여 사육장(10) 내 온도를 정상화할 수 있다. 또는, 사육장 환경 관리 장치(100)가 사육장(10) 내 온도이상을 검출하여 공조 장치(300)에게 직접 전달한 경우, 공조 장치(300)가 직접 사육장(10) 내 온도를 정상화할 수도 있다. 예를 들어, 사육장(10) 내의 온도가 가축이 생활하기에 적절한 온도보다 낮거나, 높은 경우, 가축들의 움직임이 둔화되는 경향이 있다. 이에 따라, 사육장 환경 관리 장치(100), 관리자 단말(200), 또는 공조 장치(300)는 사육장(10) 내 온도이상을 검출하여 사육장(10) 내 온도를 정상화할 수 있다.
공조 장치(300)는 사육장(10)의 습도를 조절할 수 있다. 사육장 환경 관리 장치(100)는 사육장(10) 내의 습도 이상이 발생한 경우 공조 장치(300)를 제어하여 사육장(10) 내 습도를 정상화할 수 있다.
사육장 환경 관리 장치(100)는 원격의 학습용 서버(400)에게 학습용 데이터를 전송하며, 학습용 서버(400)로부터 수신한 파라미터를 사육장 환경 관리용 알고리즘에 적용하여 사육장의 환경을 제어할 수 있다.
본 발명의 실시예에 따르면, 학습용 서버(400)는 복수의 사육장 환경 관리 장치(100)로부터 학습용 데이터를 수신 받으며, 이들 학습용 데이터를 재학습(re-training)하여 파라미터를 추출한다. 학습용 서버(400)는, 예를 들어 딥러닝 기법을 이용하여 학습용 데이터를 학습할 수 있으나, 이로 제한되는 것은 아니며, 다양한 기법을 이용하여 학습용 데이터를 학습하고, 파라미터를 추출할 수 있다.
여기서, 사육장 환경 관리 장치(100)는 로컬 머신과 혼용될 수 있으며, 학습용 서버(400)는 복수의 사육장에 설치된 복수의 사육장 환경 관리 장치로부터 학습용 데이터를 수집할 수 있다.
본 발명의 실시예에 따른 사육장 환경 관리 장치(100)는 영상 데이터를 전처리하여 학습용 데이터를 선별하며, 선별한 학습용 데이터만을 학습용 서버(400)에게 전송한다. 이에 따라, 사육장 환경 관리 장치(100)와 학습용 서버(400) 간의 통신 트래픽을 줄일 수 있으며, 학습용 서버(400)의 연산량을 줄일 수 있다.
도 4는 본 발명의 실시예에 따른 사육장 환경 관리 장치의 블록도이다.
도1 내지 도 4를 참조하면, 사육장 환경 관리 장치(100)는 촬영부(111), 개체 검출부(112), 영역 분할부(113), 필터링부(114), 제어부(115), 통신부(116), 표시부(117), 유저 인터페이스부(118), 인코딩부(119), 데이터 베이스(120), 광원부(121) 및 팬틸트부(122)를 포함한다. 다만, 본 발명의 실시예에 따르면, 촬영부(111), 표시부(117), 유저 인터페이스부(118), 광원부(121) 및 팬틸트부(122) 중 적어도 하나는 생략될 수도 있다. 여기서, 제어부(111) 및 인코딩부(119)는 컴퓨터 프로세서 또는 칩에 의하여 구현될 수 있으며, 데이터베이스(120)는 메모리와 혼용될 수 있고, 통신부(116)는 안테나 또는 통신 프로세서 등과 혼용될 수 있다.
사육장 환경 관리 장치(100)는 별도의 모듈 형태로 제작되어 데이터 수집장치(미도시) 또는 관리 서버(200)에 포함되어 구성될 수 있다. 또는, 사육장 환경 관리 장치(100)는 별도의 디바이스 형태로 독립된 제품으로 실시될 수 있다. 사육장 환경 관리 장치(100)가 촬영부와 별도의 모듈 또는 디바이스 형태로 적용되는 경우 사육장 환경 관리 장치(100)는 통신부(116)를 통하여 촬영부 (111)로부터 영상 데이터를 수신할 수 있다. 또한, 개체 검출부(112)는 제어부(115)에 포함되어 하나의 프로세서로 구현될 수 있다. 본 발명의 실시예에서는 설명의 편의를 위하여 개체 검출부(112)와 제어부(115)의 기능을 나누어 설명하기로 한다.
또한, 사육장 내에 복수개의 사육장 환경 관리 장치(100)가 배치되는 경우, 이 중 하나의 사육장 환경 관리 장치(100)를 제외한 나머지는 사육장 환경 관리 장치(100)의 일부 기능만을 수행하도록 구성될 수 있다. 즉, 하나의 사육장 환경 관리 장치(100)가 메인 장치로 설정되어 나머지 사육장 환경 관리 장치(100)에서 촬영한 영상 데이터를 수집하여 환경 데이터를 검출하고, 관리자 단말과 통신하는 기능을 수행하는 반면에, 나머지 사육장 환경 관리 장치(100)는 촬영부(111)를 통하여 촬영한 영상 데이터를 메인 장치로 전달하는 기능만을 수행하도록 구성될 수 있다.
촬영부(111)는 사육장 내부의 열화상 영상을 촬영할 수 있다. 촬영부는 물체에서 방사되는 적외선을 감지하여 온도를 측정하여 시각적으로 나타낼 수 있는 열화상 카메라 모듈을 포함할 수 있다.
또한, 촬영부(111)는 사육장 내부의 RGB영상을 촬영할 수 있다. 촬영부(111)는 CMOS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 피사체를 촬영하는 이미지 센서를 포함할 수 있다. 이때, 입력되는 영상 프레임은 렌즈를 통해 촬영부(111) 내의 CMOS 모듈 또는 CCD 모듈로 제공되고, CMOS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(영상 데이터)로 변환하여 출력한다.
즉, 촬영부(111)는 RGB영상을 촬영할 수 있는 이미지 센서 및 열화상 영상을 촬영할 수 있는 열화상 카메라 모듈을 포함하여 구성될 수 있다.
촬영부(111)는 복수의 개체를 포함하는 이미지를 촬영하여 영상 데이터를 생성할 수 있다. 본 발명의 실시예에서 복수의 개체는 사육장 내에서 사육되는 가금류를 의미할 수 있다. 본 발명의 실시예에서, 촬영부(111)에 의하여 촬영된 영상 데이터는 원본 데이터, 원본 영상, 촬영 영상 등과 혼용될 수 있다.
촬영부(111)는 순차적으로 촬영되는 복수개의 이미지를 이용하여 복수 개의 영상 데이터를 생성할 수 있다. 예를 들면, 촬영부(111)는 복수의 개체를 포함하는 제1이미지를 촬영하여 제1영상 데이터를 생성할 수 있으며, 복수의 개체를 포함하는 제2이미지를 촬영하여 제2영상 데이터를 생성할 수 있다. 제1이미지 및 제2이미지는 각각 시간상으로 연속적으로 촬영된 이미지일 수 있으며, 하나의 영상 데이터는 단일 프레임을 의미할 수 있다. 촬영부(111)는 순차적으로 촬영되는 제1이미지 및 제2이미지를 이용하여 제1영상 데이터 및 제2영상 데이터를 생성할 수 있다.
촬영부(111)는 시야각이 넓은 어안렌즈 또는 광각렌즈를 포함할 수 있다. 이에 따라, 하나의 촬영부(111)가 사육장 내부의 전체 공간을 촬영하는 것도 가능하다.
또한, 촬영부(111)는 깊이 카메라일 수 있다. 촬영부(111)는 다양한 깊이 인식 방식 중 어느 하나의 방식으로 구동될 수 있으며, 촬영부(111)를 통하여 촬영된 영상에는 깊이 정보가 포함될 수 있다. 촬영부(111)는 예를 들어, 키넥트 센서일 수 있다. 키넥트 센서는 구조광 투영 방식의 깊이 카메라로서, 프로젝터나 레이저를 이용하여 정의된 패턴 영상을 투영시키고 카메라를 통하여 패턴이 투영된 영상을 획득함으로써 장면의 삼차원 정보를 획득할 수 있다. 이러한 키넥트 센서는 적외선 레이저를 이용해 패턴을 조사하는 적외선 방사체, 및 적외선 영상을 촬영하는 적외선 카메라를 포함하며, 일반적인 웹캠과 같은 기능을 하는 RGB 카메라가 적외선 방사체와 적외선 카메라 사이에 배치되어 있다. 이 외에도, 키넥트 센서에는 마이크 배열과 카메라의 각도를 조절하는 팬틸트부(122)가 더 구성될 수 있다.
키넥트 센서의 기본적인 원리는, 적외선 방사체에서 조사된 레이저 패턴이 물체에 투영되어 반사되면, 반사 지점에서의 패턴의 위치 및 크기를 이용해 물체 표면까지의 거리를 구하게 된다. 이러한 원리에 따라, 촬영부(111)는 사육장 내 공간으로 레이저 패턴을 조사하고, 개체에서 반사된 레이저 패턴을 센싱하여 개체 별 깊이 정보를 포함하는 영상 데이터를 생성할 수 있다.
실시예에서 열화상 영상 및 RGB영상은 N X M의 픽셀로 구성되는 영상 데이터일 수 있다.
도5는 본 발명의 실시예에 따른 촬영부의 동작을 설명하기 위한 도면이다.
도5를 참조하면, 상대적으로 좁은 범위를 촬영하는 영역은 열화상 카메라의 촬영 화각이고, 넓은 범위를 촬영하는 영역은 RGB카메라의 촬영 화각을 나타낸다. 실시예에는 카메라간의 화각 차이를 보정하기 위하여RGB 카메라의 수평 시야각은 152도, 수직 시야각은 80도이고, 열화상 카메라의 수평 시야각은 48도, 수직 시야각은 37도로 설정하였다. 이와는 달리, 각 카메라의 시야각은 환경 조건에 따라 다양하게 설정될 수 있다.
도6은 본 발명의 실시예에 따른 촬영부(111)의 구성을 설명하기 위한 도면이다. 도6(a)를 참조하면, 열화상 카메라 모듈(1111)과 RGB카메라 모듈(1112)은 하나의 처리장치를 통하여 구현되거나, 도6(b)와 같이 열화상 카메라 모듈(1111)이 별도로 마련된 형태일 수 있다.
다시 도1 내지 도4를 참조하면, 개체 검출부(112)는 촬영된 영상에서 개체를 검출할 수 있다.
예를 들면, 개체 검출부(112)는 열화상 영상의 온도값을 이용하여 개체를 검출할 수 있다. 개체가 닭인 경우, 닭의 체온은 약 41도로써 사육장 내부 지면 온도보다 높게 나타난다. 따라서, 개체 검출부(112)는 열화상 영상을 통하여 기 설정 임계 온도보다 높은 온도를 나타내는 픽셀에 개체가 존재하는 것으로 검출할 수 있다. 이 때, 임계값은 개체의 일반적인 체온과 사육장 내부 환경의 온도를 고려하여 사전에 설정될 수 있다.
또한, 예를 들면, 개체 검출부(112)는 RGB영상에서 개체를 검출할 수 있다. 개체 검출부(112)는 영상 데이터에서 개체의 외곽선을 검출하고, 검출된 외곽선과 데이터 베이스(120)에 미리 저장된 동물 개체의 외형을 비교하여 미리 저장된 동물 개체의 외형과 매칭되는 외곽선을 가진 개체를 동물 개체로서 검출할 수 있다. 이때, 데이터 베이스(120)에 저장된 동물 개체의 외형은 적어도 하나 이상의 동물 개체의 외형일 수 있으며, 개체 검출부(112)는 상술한 바와 같이 매칭되는 외곽선을 가진 개체를 동물 개체로서 검출함과 동시에 해당 동물 개체의 종류도 판단할 수 있다.
또한, 예를 들면, 개체 검출부(112)는 영상 데이터 내의 개체의 특징점을 추출하고, 추출된 특징점이 데이터 베이스(120)에 미리 저장된 동물 개체의 특징점에 임계치 이상의 근접도로 매칭되면, 해당 영상 데이터 내의 개체를 동물 개체로서 검출할 수 있다. 이때, 개체 검출부(112)는 비교 대상이 되는 두 개체의 영상에서 특징점을 추출하고, 추출된 두 개체의 특징점 기술자(descriptor)를 매칭하는 SIFT(Scale Invariant Feature Transform) 또는SURF(Speeded Up Robust Features) 알고리즘을 사용할 수 있다.
또한, 예를 들면, 개체 검출부(112)는 영상 데이터에서 개체들의 윤곽을 기초로 동물 개체를 검출할 수 있다. 보다 구체적으로, 개체 검출부(112)는 영상 데이터에서 개체들의 윤곽을 검출하여 에지 영상을 생성하고, 데이터 베이스(120)에 미리 저장된 사육장의 배경 영상인 전경 영상 데이터로부터 윤곽을 검출하여 배경 에지 영상을 생성하며, 에지 영상에서 배경 에지 영상을 뺀 차 영상(different image) 에서 동물 개체를 검출할 수 있다. 이때, 개체 검출부(112)는 영상 데이터 프레임의 그래디언트(gradient) 정보를 이용하여 프레임 내에 나타나는 개체의 윤곽을 에지로 검출하여 에지 영상을 생성한다. 여기서, 그래디언트 정보는 프레임에서 소정의 화소들 중 인접하는 화소들 간의 차이값으로부터 생성된 값으로서 차이의 절대값의 합을 의미하고, 에지는 그래디언트 정보를 이용한 개체 간의 경계선을 의미한다.
또한, 개체 검출부(112)는 기촬영된 사육장 내 전경의 영상 데이터에서 배경에 해당하는 개체의 에지를 검출하여 배경 에지 영상을 생성할 수 있다. 이때의 배경 에지 영상은 기설정된 영역의 개체들의 윤곽을 배경에지로 검출한 영상일 수 있으나, 기촬영된 사육장 내 전경의 복수개의 영상 데이터 프레임을 비교하여 소정의 횟수이상 반복하여 동일하게 나타나는 개체의 윤곽을 배경에지로 검출한 영상일 수도 있다.
또한, 개체 검출부(112)는 개체 검출 분류기를 이용하여 영상 데이터에서 개체를 검출할 수 있다. 이때, 개체 검출 분류기는 동물 개체의 자세나 외부 환경을 달리하여 기촬영한 동물 개체의 영상들로부터 훈련 DB 를 구축하여 학습된 것으로서, 이러한 개체 검출 분류기는 SVM(Support Vector Machine), 신경망, AdaBoost 알고리즘 등을 포함하는 다양한 학습 알고리즘을 통해 동물 개체의 DB 를 생성한다. 구체적으로, 개체 검출부(112)는 기 촬영된 사육장 내 배경의 영상 데이터에서 전경에 해당하는 개체의 에지를 검출하고, 영상 데이터에서 검출된 전경 개체의 에지를 적용하고, 전경 개체의 에지가 적용된 영상 데이터의 영역에 개체 검출 분류기를 적용하여 동물 개체를 검출할 수 있다.예를 들면, 개체 검출부(112)는 촬영된 영상에서 움직임을 검출하여 개체를 검출할 수 있다. 이 때, 개체 검출부(112)는 열화상 영상 또는 RGB영상에서 움직임을 검출하여 개체를 검출할 수 있다. 개체 검출부(112)는 단일 영상 데이터 또는 복수개의 연속된 영상 데이터를 이용하여 분포도상의 특정 지점, 특정 개체 또는 특정 픽셀에서의 움직임을 검출할 수 있다.
개체 검출부(112)는 Dense Optical Flow방식을 이용하여 동작 개체의 움직임을 검출할 수 있다. 개체 검출부(112)는 영상 데이터상의 모든 픽셀에 대해서 모션 벡터(Motion Vector)를 연산하여 각 픽셀에 대한 움직임을 검출할 수 있다. Dense Optical Flow방식의 경우 모든 픽셀에 대하여 모션 벡터를 연산하기 때문에 검출 정확도는 향상되지만 상대적으로 연산량은 증가하게 된다. 따라서, Dense Optical Flow방식은 이상상황이 발생된 것으로 의심되는 사육장이나 개체 숫자가 매우 많은 사육장 등 검출 정확도가 매우 높게 요구되는 특정 영역에 적용될 수 있다.
또는 개체 검출부(112)는 Sparse Optical Flow방식을 이용하여 동작 개체의 움직임을 검출할 수 있다. 개체 검출부(112)는 영상 내 에지와 같은 움직임 추적이 쉬운 특징적인 일부 픽셀에 대해서만 모션 벡터를 연산하여 움직임을 검출할 수 있다. Sparse Optical Flow방식은 연산량이 감소하지만 한정적인 픽셀에 대한 결과만 얻을 수 있다. 따라서, Sparse Optical Flow방식은 개체 숫자가 적은 사육장 또는 개체가 중복되어 나타나지 않는 특정 영역에 적용될 수 있다.
또는 개체 검출부(112)는 Block Matching을 이용하여 동작 개체의 움직임을 검출할 수 있다. 개체 검출부(112)는 영상을 균등하게 또는 비균등하게 분할하여 분할 영역에 대해 모션 벡터를 연산하여 움직임을 검출할 수 있다. Block Matching은 분할 영역별로 모션 벡터를 연산하기 때문에 연산량이 감소하지만 영역별 모션 벡터에 대한 결과를 산출하기 때문에 검출 정확도가 상대적으로 낮을 수 있다. 따라서, Block Matching방식은 개체 숫자가 적은 사육장 또는 개체가 중복되어 나타나지 않는 특정 영역에 적용될 수 있다.
또는 개체 검출부(112)는 Continuous Frame Difference방식을 이용하여 동작 개체의 움직임을 검출할 수 있다. 개체 검출부(112)는 연속하는 영상 프레임을 픽셀 별로 비교하고, 그 차이만큼의 값을 연산하여 움직임을 검출할 수 있다. Continuous Frame Difference방식은 프레임간 차이값을 이용하여 움직임을 검출하기 때문에, 전체적인 연산량은 감소하지만 부피가 큰 개체 또는 중복되어 나타나는 개체에 대한 검출 정확도가 상대적으로 낮을 수 있다. 또한, Continuous Frame Difference방식은 배경 영상과 움직이지 않는 개체를 구분할 수 없어 정확도가 상대적으로 낮을 수 있다. 따라서, Continuous Frame Difference방식은 개체 숫자가 적은 사육장 또는 개체가 중복되어 나타나지 않는 특정 영역에 적용될 수 있다.
또는 개체 검출부(112)는 Background Subtraction방식을 이용하여 동작 개체의 움직임을 검출할 수 있다. 개체 검출부(112)는 배경 영상을 초기에 학습한 상태에서 연속하는 영상 프레임을 픽셀 별로 비교하고, 그 차이만큼의 값을 연산하여 움직임을 검출할 수 있다. Background Subtraction방식은 배경 영상을 미리 학습하고 있기 때문에 배경 영상과 움직이지 않는 개체를 구분할 수 있다. 따라서, 배경 영상을 필터링하는 별도의 과정이 필요하여 연산량은 증가하지만 정확도는 향상된다. 따라서, Background Subtraction방식은 이상상황이 발생된 것으로 의심되는 사육장이나 개체 숫자가 매우 많은 사육장 등 검출 정확도가 매우 높게 요구되는 특정 영역에 적용될 수 있다. Background Subtraction방식에서 배경 영상은 지속적으로 업데이트 될 수 있다.
또한, 개체 검출부(112)는 촬영된 영상에서 개체를 검출하도록 학습될 수 있다. 개체 검출부(112)는 컴퓨터로 읽을 수 있는 프로그램을 포함할 수 있다. 해당 프로그램은 컴퓨터에 의하여 실행될 수 있는 기록매체 또는 저장 장치에 저장될 수 있다. 컴퓨터 내의 프로세서는 기록매체 또는 저장 장치에 저장된 프로그램을 읽어 들이며, 프로그램, 즉 학습된 모델을 실행하여 입력 정보를 연산하고, 연산 결과를 출력할 수 있다.
개체 검출부(112)의 입력은 사육장 내부를 촬영한 하나 또는 복수개의 영상 데이터일 수 있으며, 개체 검출부(112)의 출력은 개체가 검출된 영상 데이터일 수 있다.
개체 검출부(112)는 사육장 내부를 촬영한 영상을 입력층으로 하여, 사육장 내부 영상과 개체 존재 확률간의 상관관계를 학습하고, 개체를 검출한 영상 데이터가 출력층이 되도록 학습된 제1뉴럴 네트워크를 포함할 수 있다.
제1뉴럴 네트워크는 영상 데이터상에서 검출된 개체를 표시하도록 설계된 딥러닝 알고리즘의 한 예이다. 제1뉴럴 네트워크는 컨볼루션 네트워크(convolution network) 기반 학습 머신에 영상 데이터를 입력한 후, 개체가 위치한 영역이 구별되도록 표시되어 있는 데이터를 출력하는 알고리즘일 수 있다. 이때, 사육장 내부를 촬영한 영상 데이터는 제1뉴럴 네트워크의 입력층이 되고, 제1뉴럴 네트워크는 사육장 내부 영상 데이터에 존재하는 개체와의 상관관계를 학습할 수 있다. 그리고, 제1뉴럴 네트워크의 출력층은 사육장 내부를 촬영한 영상 데이터상에서 검출된 개체가 영역별로 표시된 영상 데이터 일 수 있다.
개체 검출부(112)는 사육장내의 환경과 외부의 설정에 따라 적절한 방식을 이용하여 분포도상에서 움직임을 검출할 수 있다.
영역 분할부(113)는 촬영 영상을 복수개의 영역으로 분할할 수 있다. 각 영역은 적어도 하나의 픽셀로 구성될 수 있으며, 각 영역의 크기는 동일하거나 또는 상이할 수 있다.
영역 분할부(113)는 개체의 면적에 따라 분할 대상인 영역의 크기를 조절할 수 있다. 개체는 성장함에 따라 영상에서 차지하는 면적이 커지게 된다. 따라서, 영역 분할부(113)는 개체의 면적이 클수록 분할 대상인 영역의 크기를 작게 조절할 수 있다. 즉, 개체가 성장함에 따라 분할 대상인 영역의 크기를 작게 조절하는 전처리 과정을 거침으로써 이후 개체가 존재하는 영역과 존재하지 않는 영역의 구분을 보다 명확하고 세밀하게 할 수 있다.
도8은 본 발명의 실시예예 따른 영역 분할부의 동작을 설명하기 위한 도면이다. 도8(a)를 참조하면, 예를 들어 영역 분할부(113)는 개체가 사육장에 입추한 초기부터 2주까지는 분할 대상인 영역의 크기를 10x10(pixel)으로 조절할 수 있다. 도8(b) 내지 (c)를 참조하면, 영역 분할부는 3주령부터 출하 직전까지에는 분할 대상인 영역의 크기를 이전보다 작은 5x5(pixel)로 조절할 수 있다.
영역 분할부(113)는 산출된 개체의 면적 및 무게 중 적어도 하나에 따라 분할 대상인 영역의 크기를 조절할 수 있다. 영역 분할부(113)는 제어부(115)에서 산출하는 개체의 면적 및 무게 중 적어도 하나에 따라 분할 대상인 영역의 크기를 능동적으로 조절할 수 있다. 이 경우, 개체의 성장과 영상내에서 차지하는 실제 면적의 크기에 따라 분할 대상인 영역의 크기가 가변적으로 조절될 수 있다.
필터링부(114)는 분할된 영역에서 개체가 검출된 제1영역을 제외한 제2영역을 추출할 수 있다. 도7은 본 발명의 실시예에 따른 필터링부(114)의 동작을 설명하기 위한 도면이다. 도7을 참조하면, 필터링부는 사육장 내부 지면에 대한 영상만을 추출하기 위하여 개체가 검출된 제1영역을 제외한 제2영역을 추출할 수 있다. 사육장 내부 지면의 온도를 판단할 때, 개체의 온도는 노이즈가 되어 판단 과정에 오류를 줄 수 있다. 따라서, 필터링부(114)는 개체가 검출된 모든 영역을 제외한 상태에서 사육장 내부 지면의 온도를 검출하고, 이에 따라 사육장 내부 환경을 판단하기 위한 전처리 과정을 수행할 수 있다.
제어부(115)는 제2영역의 온도와 기준 온도를 비교하여 이상 상황을 감지할 수 있다. 기준 온도는 개체를 사육하기 위한 사육장 내부의 적정 온도의 범위를 의미할 수 있으며, 실시예에서는 사육장 지면의 온도를 이용하여 사육 환경의 적절성을 판단할 수 있다.
제어부(115)는 제2영역의 온도가 기준 온도 범위를 벗어난 경우 이상 상황이 발생한 것으로 판단할 수 있다. 제어부(115)는 제2영역의 온도 각각을 기준 온도 범위와 비교하여 제2영역별 이상 상황 발생 여부를 판단할 수 있다. 또는, 제어부(115)는 제2영역의 온도의 평균값을 산출하여 기준 온도 범위와 비교하고, 사육장 전체의 이상 상황 발생 여부를 판단할 수 있다. 또는, 제어부(115)는 제2영역의 온도를 인접한 제2영역의 온도와 비교하여, 임계 범위 이상으로 벗어난 제2영역에서 이상 상황이 발생한 것으로 판단할 수 있다.
이때, 제어부(115)는 전체 영상에서 제2영역이 차지하는 크기 비율에 따라 제2영역의 온도를 산출할 수 있다. 예를 들면, 제어부(115)는 전체 영상에서 제2영역이 차지하는 크기 비율이 기준 비율값 이상인 경우 제2영역의 온도 평균값을 제2영역의 온도로 산출할 수 있다. 실시예에서, 기준 비율값은 15%일 수 있다.
제어부(115)는 제2영역의 온도와 기준 온도를 비교하여 공조 장치를 제어할 수 있다. 제어부(115)는 제2영역의 온도가 기준 온도 범위내에 맞춰지도록 공조 장치를 제어하는 명령을 출력할 수 있다. 이 때, 기준 온도 범위는 개체의 생장 정도, 계절, 기타 외부 환경 등 다양한 요인에 따라 설정될 수 있으며, 데이터 베이스(120)에 축적된 사육장 지면의 온도를 참조하여 설정될 수 있다.
예를 들면, 제어부(115)는 사육장 내의 온도가 입추 초기인 첫 일주일 동안에는 32 내지 35℃로 유지되고, 그 이후 일주일동안 약 3℃씩 온도를 낮추어 주어 21~24일령에 최종온도가 21 내지 22℃에 도달하도록 기준 온도 범위를 설정할 수 있다. 이 때, 제어부(115)는 지면보다 수 cm상부의 온도가 기준 온도 범위내에 들어올 수 있도록 공조 장치를 제어할 수 있다.
제어부(115)는 온도와 함께 상대습도가 70 내지 80% 사이에서 유지되도록 공조 장치를 제어할 수 있다.
또한, 제어부(115)는 열화상 영상 및 RGB영상을 이용하여 개체의 면적 및 무게 중 적어도 하나를 산출할 수 있다.
제어부(115)는 RGB영상을 이용하여 개체 전체의 면적을 산출하고, 열화상 영상을 이용하여 깃털을 제외한 개체의 몸통 면적을 산출할 수 있다. 제어부(115)는 개체의 몸통 면적을 이용하여 개체의 무게를 산출할 수 있다. RGB영상으로는 깃털을 포함한 개체의 전체 외형을 구분할 수 있다. 그러나, 개체의 무게 산출시 깃털 부분은 고려되지 않는다. 따라서, 제어부(115)는 열화상 영상을 이용하여 깃털을 제외한 개체의 몸통 면적만을 산출하고, 산출된 몸통 면적을 이용하여 개체의 무게를 정확하게 산출할 수 있다. 제어부(115)는 산출된 개체의 무게를 이용하여, 개체의 성장 정도를 판단하고 출하 시기를 결정할 수 있다. 예를 들면, 제어부(115)는 산출된 개체의 무게를 평균하여, 목표치로 설정된 수치를 초과할 경우를 출하 시기로 선정할 수 있다.
또는 제어부(115)는 머신 러닝 방식을 이용하여 사육장 환경의 환경 데이터를 산출할 수 있다. 제어부(115)는 영상 데이터의 영역 분할 데이터, 개체 검출 데이터에 따른 환경 데이터 산출 결과를 트레이닝 세트로 학습하고 이후 입력되는 영상 데이터의 영역 분할 데이터, 개체 검출 데이터를 분석하여 환경 데이터를 산출할 수 있다. 실시예에서 환경 데이터는 제2영역의 온도, 이상 상황 발생 여부를 판단한 결과 및 공조 장치 제어 명령 중 적어도 하나를 포함할 수 있다.
제어부(115)는 영역 분할 데이터, 개체 검출 데이터를 이용하여 환경 데이터를 생성하도록 학습될 수 있다. 제어부(115)는 컴퓨터로 읽을 수 있는 프로그램을 포함할 수 있다. 해당 프로그램은 컴퓨터에 의하여 실행될 수 있는 기록매체 또는 저장 장치에 저장될 수 있다. 컴퓨터 내의 프로세서는 기록매체 또는 저장 장치에 저장된 프로그램을 읽어 들이며, 프로그램, 즉 학습된 모델을 실행하여 입력 정보를 연산하고, 연산 결과를 출력할 수 있다.
제어부(114)의 입력은 개체 검출 및 영역 분할을 포함하는 전처리 과정이 수행된 열화상 데이터일 수 있으며, 제어부(114)의 출력은 제2영역의 온도, 이상 상황 발생 여부를 판단한 결과 및 공조 장치 제어 명령 중 적어도 하나를 포함하는 환경 데이터일 수 있다.
제어부(115)는 전처리 과정이 수행된 열화상 데이터를 입력층으로 하여, 전처리 과정이 수행된 열화상 데이터와 제2영역의 온도, 이상 상황 발생 여부를 판단한 결과 및 공조 장치 제어 명령 중 적어도 하나와의 상관관계를 학습하고, 환경 데이터가 출력층이 되도록 학습된 제2뉴럴 네트워크를 포함할 수 있다.
제어부(115)는 사육장 환경 관리 장치(100)를 전반적으로 제어할 수 있다. 제어부(115)는 예를 들면, 유저 인터페이스부(118) 또는 데이터 베이스(120)에 저장된 명령을 수행하여 사육장 환경 관리 장치(100)의 동작을 수행할 수도 있다.
또는 제어부(115)는 관리자 단말로부터 수신한 명령을 이용하여 사육장 환경 관리 장치(100)의 각종 동작을 제어할 수도 있다.
제어부(115)는 사육장 환경 관리 장치(100)의 팬틸트부(122)를 제어하여 추적 촬영을 수행할 수 있다. 팬틸트부(122)는 팬(Pan, 수평방향) 및 틸트(Tilt, 수직 방향) 2개의 모터를 구동하여 촬영부(111)의 촬영 영역을 제어할 수 있다. 팬틸트부(122)는 제어부(115)의 제어에 따라 특정 영역을 촬영하기 위하여 촬영부(111)의 지향 방향을 조절할 수 있다. 또한, 팬틸트부(122)는 제어부(115)의 제어에 따라 특정 개체를 트래킹하기 위하여 촬영부(111)의 지향 방향을 조절할 수 있다.
통신부(116)는 타 사육장 환경 관리 장치, 관리자 단말 또는 학습용 서버 중 적어도 하나와 데이터 통신을 수행할 수 있다. 예를 들면, 통신부(116)는 무선랜(Wireless LAN: WLAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등의 원거리 통신 기술을 사용하여 데이터 통신을 수행할 수 있다.
또는 통신부(116)는 블루투스, RFID(RadioFrequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비, 인접 자장 통신(NFC) 등이 포함될 수 있다. 또한, 유선 통신 기술로는, USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등의 근거리 통신 기술을 사용하여 데이터 통신을 수행할 수 있다.
예를 들면, 통신부(116)는 근거리 통신 기술을 사용하여 타 사육장 환경 관리 장치와 데이터 통신을 수행하고, 원거리 통신 기술을 사용하여 관리자 단말 또는 학습용 서버와 데이터 통신을 수행할 수 있다, 그러나 이에 한정되는 것은 아니고, 사육장의 제반 사항 등을 고려하여 다양한 통신 기술이 사용될 수 있다.
통신부(116)는 촬영부(111)에서 촬영한 영상 데이터를 관리자 단말에 전송하거나, 제어부(115)에 의하여 산출된 환경 데이터를 관리자 단말에 전송하거나, 영상 데이터와 환경 데이터를 정합한 결과를 관리자 단말에 전송할 수 있다. 통신부(116)는 제어부(115)에서 이상 상황 발생을 감지할 경우, 이에 대한 정보를 관리자 단말에 알람으로 전송할 수 있다.
통신부(116)를 통하여 전송되는 데이터는 인코딩부(119)를 통하여 인코딩된 압축 데이터일 수 있다.
표시부(117)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
표시부(117)는 촬영부(111)에서 촬영한 영상 데이터를 화면에 출력하거나, 영상 데이터와 환경 데이터가 검출된 결과를 화면에 출력할 수도 있다.
또한, 표시부(117)는 다양한 사용자 인터페이스 또는 그래픽 사용자 인터페이스를 화면에 출력할 수 있다.
유저 인터페이스부(118)는 사육장 환경 관리 장치(100)의 동작 제어를 위한 입력 데이터를 발생시킨다. 유저 인터페이스부(118)는 키 패드, 돔 스위치, 터치 패드, 조그 휠, 조그 스위치 등으로 구성될 수 있다. 표시부(117)와 터치패드가 상호 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 표시부(117)는 출력 장치 이외에 입력 장치로도 사용될 수 있다.
유저 인터페이스부(118)는 사육장 환경 관리 장치의 동작을 위한 다양한 명령을 입력받을 수 있다.
인코딩부(119)는 촬영부(111)에서 촬영한 영상 데이터 또는 제어부(115)를 통하여 가공된 가공 영상 데이터를 디지털 신호로 부호화한다. 예를 들면, 인코딩부(119)는 H.264, H.265, MPEG(Moving Picture Experts Group), M-JPEG(Motion Joint Photographic Experts Group) 표준에 따라 영상 데이터를 인코딩할 수 있다.
데이터베이스(120)는, 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 사육장 환경 관리 장치(100)는 인터넷(internet) 상에서 데이터베이스(120)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 웹 스토리지와 관련되어 동작할 수도 있다.
데이터베이스(120)는 촬영부(111)에서 촬영한 영상 데이터를 저장할 수 있으며, 과거 일정 기간 동안의 영상 데이터를 저장할 수 있다.
또한, 데이터베이스(120)는, 사육장 환경 관리 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장할 수 있으며, 제어부(115)가 환경 데이터를 추출하기 위해 필요한 알고리즘 및 이에 적용되는 파라미터를 저장할 수 있다.
또한, 데이터베이스(120)는, 다양한 사용자 인터페이스(User Interface: UI) 또는 그래픽 사용자 인터페이스(Graphic User Interface: GUI)를 저장할 수 있다.
광원부(121)는 제어부(115)의 제어에 따라 지향하는 방향으로 광을 조사할 수 있다. 예를 들면, 광원부(121)는 적어도 하나의 레이저 다이오드(LD), 발광 다이오드(LED)를 포함할 수 있다. 광원부(121)는 제어부(115)의 제어에 따라 다양한 파장대의 광을 조사할 수 있다.
예를 들면, 광원부(121)는 야간 촬영을 위하여 적외선 파장대의 광을 조사할 수 있다. 또는, 광원부(121)는 사육장 내 가축의 광화학 치료(photochemotherapy)를 위하여 자외선 파장대의 광을 조사할 수도 있다.
도9는 본 발명의 실시예에 따른 사육장 환경 관리 방법의 순서도이다.
먼저, 촬영부는 사육장 내부의 열화상 영상을 촬영한다(S901).
다음으로, 개체 검출부는 촬영된 영상에서 개체를 검출한다. 개체 검출부는 열화상 영상의 온도값을 이용하여 개체를 검출한다. 또는, 개체 검출부는 촬영된 열화상 영상에서 움직임을 검출하여 개체를 검출한다(S902).
다음으로, 영역 분할부는 촬영 영상을 복수개의 영역으로 분할한다. 이 때, 영역 분할부는 개체의 면적이 클수록 분할 대상인 영역의 크기를 작게 조절한다. 각 영역은 적어도 하나의 픽셀로 구성될 수 있으며, 각 영역의 크기는 동일하거나 또는 상이할 수 있다(S903).
다음으로, 필터링부는 분할된 영역에서 상기 개체가 검출된 제1영역을 제외한 제2영역을 추출한다. 필터링부는 사육장 내부 지면에 대한 영상만을 추출하기 위하여 개체가 검출된 제1영역을 제외한 제2영역을 추출한다(S904).
다음으로, 제어부는 제2영역의 온도와 기준 온도를 비교하여 이상 상황을 감지한다. 제어부는 제2영역의 온도 각각을 기준 온도 범위와 비교하여 제2영역별 이상 상황 발생 여부를 판단한다. 또는, 제어부는 제2영역의 온도의 평균값을 산출하여 기준 온도 범위와 비교하고, 사육장 전체의 이상 상황 발생 여부를 판단한다. 또는, 제어부는 제2영역의 온도를 인접한 제2영역의 온도와 비교하여, 임계 범위 이상으로 벗어난 제2영역에서 이상 상황이 발생한 것으로 판단한다(S905).
도10은 본 발명의 실시예에 따른 사육장 환경 관리 방법의 순서도이다.
먼저, 촬영부는 사육장 내부의 열화상 영상 및 RGB영상을 촬영한다(S1001~1002).
다음으로, 개체 검출부는 촬영된 영상에서 개체를 검출한다. 개체 검출부는 RGB영상에서 개체 검출 알고리즘에 따라 개체를 검출한다. 또는, 개체 검출부는 촬영된 영상에서 움직임을 검출하여 개체를 검출할 수 있다. 이 때, 개체 검출부는 열화상 영상 또는 RGB영상에서 움직임을 검출하여 개체를 검출한다(S1003).
다음으로, 영역 분할부는 촬영 영상을 복수개의 영역으로 분할한다. 이 때, 영역 분할부는 개체의 면적이 클수록 분할 대상인 영역의 크기를 작게 조절한다. 각 영역은 적어도 하나의 픽셀로 구성될 수 있으며, 각 영역의 크기는 동일하거나 또는 상이할 수 있다(S1004).
다음으로, 필터링부는 분할된 영역에서 상기 개체가 검출된 제1영역을 제외한 제2영역을 추출한다. 필터링부는 사육장 내부 지면에 대한 영상만을 추출하기 위하여 개체가 검출된 제1영역을 제외한 제2영역을 추출한다(S1005).
다음으로, 제어부는 제2영역의 온도와 기준 온도를 비교하여 이상 상황을 감지한다. 제어부는 제2영역의 온도 각각을 기준 온도 범위와 비교하여 제2영역별 이상 상황 발생 여부를 판단한다. 또는, 제어부는 제2영역의 온도의 평균값을 산출하여 기준 온도 범위와 비교하고, 사육장 전체의 이상 상황 발생 여부를 판단한다. 또는, 제어부는 제2영역의 온도를 인접한 제2영역의 온도와 비교하여, 임계 범위 이상으로 벗어난 제2영역에서 이상 상황이 발생한 것으로 판단한다(S1006).
도11은 본 발명의 실시예에 따른 사육장 환경 관리 방법의 순서도이다.
먼저, 촬영부는 사육장 내부의 열화상 영상 및 RGB영상을 촬영한다(S1101~1102).
다음으로, 개체 검출부는 촬영된 영상에서 개체를 검출한다(S1103).
제어부는 열화상 영상 및 RGB영상을 이용하여 개체의 면적 및 무게를 산출한다. 제어부는 RGB영상을 이용하여 개체 전체의 면적을 산출하고, 열화상 영상을 이용하여 깃털을 제외한 개체의 몸통 면적을 산출한다(S1104).
이 때, 제어부는 개체의 면적 및 무게를 이용하여 개체의 출하 시기를 판단할 수 있다(S1105).
다음으로, 영역 분할부는 촬영 영상을 복수개의 영역으로 분할한다. 이 때, 영역 분할부는 산출된 개체의 면적 및 무게 중 적어도 하나에 따라 분할 대상인 영역의 크기를 조절한다. 영역 분할부는 제어부에서 산출한 개체의 면적 및 무게 중 적어도 하나에 따라 분할 대상인 영역의 크기를 능동적으로 조절한다(S1106).
다음으로, 필터링부는 분할된 영역에서 상기 개체가 검출된 제1영역을 제외한 제2영역을 추출한다. 필터링부는 사육장 내부 지면에 대한 영상만을 추출하기 위하여 개체가 검출된 제1영역을 제외한 제2영역을 추출한다(S1107).
다음으로, 제어부는 제2영역의 온도와 기준 온도를 비교하여 이상 상황을 감지한다. 제어부는 제2영역의 온도 각각을 기준 온도 범위와 비교하여 제2영역별 이상 상황 발생 여부를 판단한다. 또는, 제어부는 제2영역의 온도의 평균값을 산출하여 기준 온도 범위와 비교하고, 사육장 전체의 이상 상황 발생 여부를 판단한다. 또는, 제어부는 제2영역의 온도를 인접한 제2영역의 온도와 비교하여, 임계 범위 이상으로 벗어난 제2영역에서 이상 상황이 발생한 것으로 판단한다(S1108).
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 개체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (13)

  1. 사육장 내부의 열화상 영상을 촬영하는 촬영부;
    촬영된 영상에서 개체를 검출하는 개체 검출부;
    촬영 영상을 복수개의 영역으로 분할하는 영역 분할부;
    분할된 영역에서 상기 개체가 검출된 제1영역을 제외한 제2영역을 추출하는 필터링부 및
    상기 제2영역의 온도와 기준 온도를 비교하여 이상 상황을 감지하는 제어부를 포함할 사육장 환경 관리 장치.
  2. 제1항에 있어서,
    상기 개체 검출부는 상기 열화상 영상의 온도값을 이용하여 상기 개체를 검출하는 사육장 환경 관리 장치.
  3. 제1항에 있어서,
    상기 촬영부는 상기 사육장 내부의 RGB영상을 촬영하는 사육장 환경 관리 장치.
  4. 제3항에 있어서,
    상기 개체 검출부는 상기 RGB영상에서 상기 개체를 검출하는 사육장 환경 관리 장치.
  5. 제3항에 있어서,
    상기 제어부는 상기 열화상 영상 및 상기 RGB영상을 이용하여 상기 개체의 면적 및 무게 중 적어도 하나를 산출하는 사육장 환경 관리 장치.
  6. 제5항에 있어서,
    상기 제어부는 상기 RGB영상을 이용하여 상기 개체 전체의 면적을 산출하고, 상기 열화상 영상을 이용하여 깃털을 제외한 상기 개체의 몸통 면적을 산출하는 사육장 환경 관리 장치.
  7. 제6항에 있어서,
    상기 제어부는 상기 개체의 몸통 면적을 이용하여 상기 개체의 무게를 산출하는 사육장 환경 관리 장치.
  8. 제1항에 있어서,
    상기 영역 분할부는 상기 개체의 면적에 따라 분할 대상인 영역의 크기를 조절하는 사육장 환경 관리 장치.
  9. 제8항에 있어서,
    상기 영역 분할부는 상기 개체의 면적이 클수록 상기 분할 대상인 영역의 크기를 작게 조절하는 사육장 환경 관리 장치.\
  10. 제5항 내지 제7항 중 어느 한 항에 있어서,
    상기 영역 분할부는 산출된 상기 개체의 면적 및 무게 중 적어도 하나에 따라 분할 대상인 영역의 크기를 조절하는 사육장 환경 관리 장치.
  11. 제1항에 있어서,
    상기 제어부는 상기 제2영역의 온도와 기준 온도를 비교하여 공조 장치를 제어하는 사육장 환경 관리 장치.
  12. 제1항에 있어서,
    상기 제어부는 전체 영상에서 상기 제2영역이 차지하는 크기 비율이 기준 비율값 이상인 경우 상기 제2영역의 온도 평균값을 상기 제2영역의 온도로 산출하는 사육장 환경 관리 장치.
  13. 제1항에 있어서,
    상기 개체 검출부는 촬영된 영상에서 움직임을 검출하여 상기 개체를 검출하는 사육장 환경 관리 장치.
PCT/KR2020/000031 2019-01-02 2020-01-02 사육장 환경 관리 장치 WO2020141888A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/420,324 US20220067377A1 (en) 2019-01-02 2020-01-02 Device for managing environment of breeding farm
CN202080007962.3A CN113273179B (zh) 2019-01-02 2020-01-02 用于管理养殖场环境的装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0000227 2019-01-02
KR1020190000227A KR20200084164A (ko) 2019-01-02 2019-01-02 사육장 환경 관리 장치

Publications (1)

Publication Number Publication Date
WO2020141888A1 true WO2020141888A1 (ko) 2020-07-09

Family

ID=71407342

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/000031 WO2020141888A1 (ko) 2019-01-02 2020-01-02 사육장 환경 관리 장치

Country Status (4)

Country Link
US (1) US20220067377A1 (ko)
KR (1) KR20200084164A (ko)
CN (1) CN113273179B (ko)
WO (1) WO2020141888A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112586824A (zh) * 2020-12-28 2021-04-02 浙江大学 一种用于畜禽养殖场的巡检头盔及巡检方法
KR102642931B1 (ko) * 2021-03-12 2024-03-12 농업회사법인 주식회사 뽕을품은누에 스마트 양잠 농업 빅데이터 구축 시스템
CN116019058B (zh) * 2023-02-21 2023-10-13 凤集食品集团有限公司 一种蛋鸡养殖的间歇性补光方法及间歇性补光终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS611878B2 (ko) * 1978-05-31 1986-01-21 Tokyo Shibaura Electric Co
KR20160044835A (ko) * 2014-10-16 2016-04-26 렉스젠(주) 가축 관리 시스템 및 그 방법
KR101749860B1 (ko) * 2016-03-04 2017-06-23 김승균 축사 환경 관리 방법 및 시스템
KR101831928B1 (ko) * 2016-10-13 2018-02-27 원광대학교산학협력단 맞춤형 실험동물 사육 시스템
KR20180033726A (ko) * 2016-09-26 2018-04-04 주식회사트레디오 가축의 전염병 발견 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2978374B2 (ja) * 1992-08-21 1999-11-15 松下電器産業株式会社 画像処理装置及び画像処理方法並びに空気調和機の制御装置
KR100187198B1 (ko) * 1996-08-23 1999-05-01 김광호 냉장고의 고내온도 제어방법
KR101213825B1 (ko) * 2010-07-16 2012-12-18 서울대학교산학협력단 세린을 유효성분으로 함유하는 지방간 질환의 예방 및 치료용 조성물
JP2013206015A (ja) * 2012-03-28 2013-10-07 Sony Corp 画像処理装置および方法、並びにプログラム
JP6303332B2 (ja) * 2013-08-28 2018-04-04 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9245196B2 (en) * 2014-05-09 2016-01-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for tracking people in indoor environments using a visible light camera and a low-frame-rate infrared sensor
KR20170024303A (ko) * 2015-08-25 2017-03-07 영남대학교 산학협력단 얼굴의 특징점 검출 시스템 및 방법
WO2017175305A1 (ja) * 2016-04-05 2017-10-12 三菱電機株式会社 空気調和装置の室内機
CN106097330B (zh) * 2016-06-08 2019-05-17 深圳市金立通信设备有限公司 一种基于拍照获取温度信息的方法及终端
JP6101878B1 (ja) * 2016-08-05 2017-03-22 株式会社オプティム 診断装置
CN108917845A (zh) * 2018-07-25 2018-11-30 浙江工商大学 利用红外测温测距的自动追踪加热系统及方法
RU2697627C1 (ru) * 2018-08-01 2019-08-15 Самсунг Электроникс Ко., Лтд. Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ
CN110147706B (zh) * 2018-10-24 2022-04-12 腾讯科技（深圳）有限公司 障碍物的识别方法和装置、存储介质、电子装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS611878B2 (ko) * 1978-05-31 1986-01-21 Tokyo Shibaura Electric Co
KR20160044835A (ko) * 2014-10-16 2016-04-26 렉스젠(주) 가축 관리 시스템 및 그 방법
KR101749860B1 (ko) * 2016-03-04 2017-06-23 김승균 축사 환경 관리 방법 및 시스템
KR20180033726A (ko) * 2016-09-26 2018-04-04 주식회사트레디오 가축의 전염병 발견 방법
KR101831928B1 (ko) * 2016-10-13 2018-02-27 원광대학교산학협력단 맞춤형 실험동물 사육 시스템

Also Published As

Publication number Publication date
US20220067377A1 (en) 2022-03-03
CN113273179B (zh) 2024-02-13
KR20200084164A (ko) 2020-07-10
CN113273179A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
US10861302B2 (en) Robust motion filtering for real-time video surveillance
WO2019083299A1 (ko) 사육장 관리 장치 및 방법
WO2020141888A1 (ko) 사육장 환경 관리 장치
KR101607934B1 (ko) 전염병 모니터링 방법 및 이를 이용한 시스템, 이를 수행하기 위한 기록매체
US9734404B2 (en) Motion stabilization and detection of articulated objects
KR102615986B1 (ko) 이상 개체 판단 장치 및 방법
KR101944374B1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
WO2019212237A1 (ko) 이상 개체 검출 장치 및 방법
KR102609461B1 (ko) 촬상 장치, 이를 포함하는 가금류 관리 시스템 및 방법
US20190096066A1 (en) System and Method for Segmenting Out Multiple Body Parts
WO2020017814A1 (ko) 이상 개체 검출 시스템 및 방법
KR20200002314A (ko) 사육장 환경 관리 시스템, 단말 및 그 방법
KR20200002315A (ko) 사육장 환경 관리 시스템, 단말 및 그 방법
US20210312200A1 (en) Systems and methods for video surveillance
WO2020005038A1 (ko) 사육장 환경 관리 시스템, 단말 및 그 방법
KR102505691B1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
Ko et al. Embedded imagers: Detecting, localizing, and recognizing objects and events in natural habitats
KR102606062B1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
KR102307609B1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
KR20190113360A (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
WO2021066275A1 (ko) 전자 장치 및 그 제어 방법
KR102619829B1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
KR20190114529A (ko) 이상 개체 검출 시스템 및 방법
WO2023158205A1 (ko) Ai 기반 객체인식을 통한 감시 카메라 영상의 노이즈 제거
WO2023172031A1 (ko) 파노라마 감시 영상의 생성

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20735899

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20735899

Country of ref document: EP

Kind code of ref document: A1