WO2024117665A1 - 소의 승가 행위 검출 장치 - Google Patents

소의 승가 행위 검출 장치 Download PDF

Info

Publication number
WO2024117665A1
WO2024117665A1 PCT/KR2023/018995 KR2023018995W WO2024117665A1 WO 2024117665 A1 WO2024117665 A1 WO 2024117665A1 KR 2023018995 W KR2023018995 W KR 2023018995W WO 2024117665 A1 WO2024117665 A1 WO 2024117665A1
Authority
WO
WIPO (PCT)
Prior art keywords
cow
image
livestock
behavior
cows
Prior art date
Application number
PCT/KR2023/018995
Other languages
English (en)
French (fr)
Inventor
박민석
Original Assignee
한국아이오티 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국아이오티 주식회사 filed Critical 한국아이오티 주식회사
Publication of WO2024117665A1 publication Critical patent/WO2024117665A1/ko

Links

Images

Definitions

  • the present invention relates to a device for detecting cattle behavior from images taken of a livestock barn. More specifically, the present invention relates to an efficient image analysis method for acquiring images of livestock with a high probability of occurrence of livestock behavior among a plurality of livestock barns at a higher frequency. It relates to a device for detecting monastic behavior of cattle that detects monastic behavior through.
  • the goal of livestock management can be said to be to effectively monitor the condition and environmental factors of livestock, such as whether livestock are healthy or if an abnormal situation has occurred in the livestock barn, and to implement appropriate response measures.
  • the one for which reproductive management is most important may be cattle.
  • their behavior changes such as their bellowing sound, their activity level changes, and their behavior changes.
  • Sangha behavior is a representative behavior that cows perform during estrus, and is an important and reliable standard for determining whether or not a cow is in estrus.
  • Methods for detecting a cow's monk behavior include a zookeeper directly monitoring CCTV, etc., or a method in which a supervisor directly determines the condition, such as putting paint on the cow's buttocks and then inspecting the erased state.
  • this method has the problem that it is difficult to manage as the livestock farm grows larger and the number of cows to be observed increases.
  • Another method for detecting a cow's monk behavior is to mount a pressure sensor on the cow's buttocks to detect pressure changes due to the cow's monk behavior and generate a notification.
  • this method has a problem in that individual sensors must be attached to each of a plurality of cows and communication facilities are required to communicate with the sensors, resulting in high device implementation costs.
  • Korean Patent No. 10-1694946 (2017.01.04) (Title of the invention: Method for detecting animal estrus and device for performing the same) discloses a technology for detecting monk behavior using images (hereinafter referred to as ‘prior art’) (referred to as).
  • the prior art identifies a moving object in an image taken of a breeding area, determines whether the moving object is a target animal, generates object posture pattern information according to the connection relationship of a plurality of object configurations constituting the target animal, and generates object posture pattern information.
  • a method for detecting animal estrus is disclosed by comparing object posture pattern information and pre-stored monk posture pattern information.
  • This prior art can provide the advantage of being able to determine monastic behavior using only images captured by a camera.
  • the process of comparing the object posture pattern information generated in real time for each of the numerous cows being raised with the numerous pieces of monk posture pattern information that are selected and stored for various monk postures must be performed, which requires a lot of information processing. It also requires a lot of processing time. Therefore, in order to implement the method according to the prior art, there is a problem that an expensive high-performance processing device is required and real-time processing may be difficult. For this reason, the devices proposed in the prior art are not widely applied in actual fields.
  • the present invention seeks to provide a method of efficiently acquiring images by more frequently acquiring images from cameras with a high probability of detecting monk behavior among numerous cameras placed in multiple livestock houses.
  • the cattle breeding behavior detection device for achieving the above-described purpose: selects a random camera among a plurality of cameras installed in each of a plurality of livestock houses, and determines whether to access the selected camera or not. It is checked based on the pre-assigned connection frequency, and if the connection is approved, the selected camera is accessed to obtain single frame video information, and the acquired video information is converted into a livestock barn video for the livestock barn where the selected camera is installed.
  • Information acquisition unit for storing; An image processing unit that retrieves any livestock image stored in the information acquisition unit and identifies cows in the livestock image. And it includes a Sangha determination unit that detects Sangha behavior by analyzing the positional relationship between body parts of the identified cows.
  • the information acquisition unit may randomly select one of the plurality of cameras using a predetermined random function.
  • the access frequency is an estrus probability value calculated based on biometric information and activity information measured from each of the cows housed in the barn monitored by the related camera, and two cows among the barn images obtained from the related camera.
  • the value may be adjusted based on at least one of historical information entered or received through a public database.
  • the image processing unit performs HSV detection processing on the barn image taken from the information acquisition unit to select the color of the cow, and sends the color-selected barn image to the barn image. Binarization is performed based on color, the binarized livestock image is differentiated to form a boundary line, and from the image of the boundary line, a cattle area is determined based on the area within the boundary line excluding artificial structures. , and by matching the determined cow area to the livestock house image, processing to identify the cow from the livestock house image can be performed.
  • the image processing unit determines an object that is likely to be a cow from the barn image in order to identify each cow in the barn image, and from the object, at least one of the cow's face parts, shoulder, knee, toe, A procedure may be further performed to identify at least two body parts among the pelvis, spine, and tail, and when the at least two body parts are identified, to determine that the object is a cow.
  • the weight determination unit configures a horizontal object box containing the identified body parts for each cow determined to be a cow, and the two object boxes identified in the livestock house image have identical head sides.
  • the ratio of the overlapping area facing the direction is in the range of 10% to 90%, it is determined that the cows corresponding to each object box are in contact with each other, and the identified bodies of each of the cows determined to be in contact
  • the positional relationship of parts can be evaluated.
  • the evaluation of the positional relationship of the identified body parts is performed when the front legs of the rear cow are located in front of the hind legs of the front cow, when the head of the rear cow is located in front of the hind legs of the front cow, when the head of the rear cow is located higher than the head of the front cow, and when the head of the rear cow is located higher than the head of the front cow. If at least one of the following occurs, the angle formed between the backbone of the cow and the backbone of the cow is in the range of 5 to 80°, and the tail of the cow in the range of 45 to 135° with respect to the backbone, processing to determine it as a sangha act is performed. It includes doing.
  • the present invention including the above-described configuration, it is possible to accurately and quickly detect monk behavior while efficiently monitoring a large number of livestock houses and cows, even without using an expensive, high-performance processing device.
  • Figure 1 is a diagram for explaining a cattle behavior detection device according to the present invention, and shows a system implemented to manage multiple livestock houses with a single livestock behavior detection device.
  • Figure 2 is a flowchart illustrating how the monk behavior detection device according to the present invention efficiently acquires livestock images from a plurality of livestock barns.
  • Figure 3 is a flowchart explaining a method of pre-processing images to identify cows in livestock images.
  • Figure 4 is a flowchart explaining a method of identifying body parts of a cow.
  • Figure 5 is a flowchart illustrating a method of determining a monk's behavior after detecting two cows in contact within a barn video.
  • Figure 6 is a diagram showing an example of image processing related to Figures 3 and 4.
  • Figure 7 is a diagram showing an example of determining monastic behavior using an object box and a skeletal structure.
  • the configuration of a cattle breeding behavior detection device and a method for the cattle breeding behavior detection device to efficiently connect to a plurality of livestock barns and acquire livestock barn images according to an embodiment of the present invention will be described. do.
  • the present invention shows and explains a system implemented to manage multiple livestock houses with a single monk behavior detection device.
  • a camera 51 for photographing one or more cows 1 and 2 accommodated therein may be disposed in the barn S.
  • the camera 51 may be implemented to transmit image information captured by the cows 1 and 2 to another device (for example, the information acquisition unit of the monastic behavior detection device) through a wired or wireless communication network.
  • the communication network may include any commercial Internet network and mobile communication network that can provide data transmission services.
  • the camera 51 may be placed at an appropriate height and position for each livestock house S to provide an overall view of the inside of the livestock house S with as few cameras as possible. If necessary, two or more cameras may be installed in one barn. Additionally, the camera 51 may be arranged to view two or more livestock houses simultaneously.
  • the camera 51 can be given unique identification information, and another device connected through a communication network can specify a desired camera based on the identification information and attempt to connect to it.
  • a plurality of barns can be installed adjacent to each other, and the cameras (51, 52, 53, 54) installed in each barn can be integrated and managed by being connected to the same communication network, and a monk behavior detection device (100) can access a specific camera by referring to the identification information at a desired time through the communication network.
  • the monastic activity detection device 100 can connect to a specific camera, receive image information captured and transmitted in real time by the connected camera, and configure the image information into a stable image, which is a single frame still image.
  • the monk behavior detection device 100 preferably analyzes only one barn image to identify cows in the barn video and determines the position and posture of the identified cows, especially the positional relationship between body parts of each cow. Sangha behavior can be detected by analyzing.
  • the monk behavior detection device 100 sends the livestock barn video used for analysis or a video of several to tens of seconds including the livestock barn video to the mobile communication terminal 400 of the manager of the livestock barn. Can be transmitted.
  • the Sangha behavior detection device 100 that performs this function includes a database 110, an information acquisition unit 120, an image processing unit 130, and a Sangha decision unit 140.
  • the database 110 includes identification information for each of the cameras 51, 52, 53, and 54 that photograph livestock farms, access frequencies assigned to each of the cameras 51, 52, 53, and 54, and monitoring of each camera.
  • the estrus probability value and/or estrus history for each cow housed in the livestock barn, manager information of the livestock barn where each camera is installed, etc. can be stored in a list format.
  • the connection frequency determines whether the information acquisition unit 120 attempts to connect to each livestock house (more precisely, to each camera installed in the livestock house) through a communication network in order to acquire livestock images (more precisely, from the corresponding camera). It may be a weight or probability value for determining whether to retrieve image information.
  • the administrator information may be contact information that will receive a notification when a monk's behavior is detected in the livestock farm.
  • the information acquisition unit 120 accesses the list of cameras stored in the database 110 (S10), selects one camera from the list (S20), and determines whether to access the selected camera. It is determined whether or not (S30, S40), and if the connection is approved, a connection is attempted through the communication network and the image information is retrieved to obtain a livestock image (S50).
  • the acquired livestock image may be stored in the information acquisition unit 120.
  • the information acquisition unit 120 selects and connects to one of the plurality of cameras stored in the database 110 and repeats the operation of acquiring and storing barn images from each, and the barn images acquired and stored at each repetition are later inputted. It may be provided to the image processing unit 130 in a first-choice manner.
  • the image processing unit 130 imports one barn image from the barn images stored in the information acquisition unit 120 and identifies the cows in the image (S60), and the weight determination unit 140 determines the positional relationship between the identified cows. Sangha behavior is detected by analyzing (S70).
  • the information acquisition unit 120 may select the identification information of a plurality of cameras stored in the list one by one in a preset order and attempt to connect sequentially according to the selected order. There will be.
  • the information acquisition unit 120 may preferably select one camera by applying an arbitrary random function to a plurality of cameras stored in the list.
  • a random function with the same weight applied to all of the cameras stored in the database 110 is applied to select a specific camera, and the random function is equally applied to all of the cameras to select the next camera.
  • the information acquisition unit 120 determines whether to access the camera and retrieve image information according to the connection frequency assigned to the selected camera. If access is approved based on the access frequency, video information can be retrieved by accessing the camera. If the connection is not approved when the connection frequency is reviewed, the connection to the camera is canceled, a new camera is selected using the random function, and the connection frequency is reviewed again for the newly selected camera.
  • connection frequency is a number set for each camera or each livestock barn, and can be set in proportion to the possibility or probability of detecting a monk's behavior among the cows housed in the livestock barn that each camera is filming.
  • connection frequency may be set to an arbitrary value as low as 10% as the default value. And the connection frequency can be increased or decreased in real time by various methods.
  • connection frequency can be adjusted at the request of the manager who manages each livestock house. Since the manager knows the estrus/pregnancy history of the cows housed in the barn, he or she will be able to predict which cows are likely to be in estrus. Accordingly, the manager can set a higher access frequency for the camera that monitors the barn housing cows that need to be frequently inspected for estrus status.
  • the access frequency can be automatically adjusted by referring to information on the history of cows' estrus, pregnancy, and childbirth, which can be obtained through public databases such as "Bulbaro" managed by the Rural Development Administration.
  • connection frequency can be adjusted based on the frequency of appearance of a livestock image in which two or more cows are determined to be in contact (by inspection of contact of individual boxes, etc.), although no monk behavior has been detected.
  • the access frequency can be adjusted based on the frequency with which the stable image in which the monk behavior is detected appears or how long it has been since the livestock home image in which the monk behavior was detected was acquired.
  • the Sangha behavior detection device 100 does not immediately notify the manager as soon as the Sangha behavior is detected in the currently analyzed livestock image, but can notify after performing additional verification at least once or more times.
  • the monk behavior detection device 100 increases the possibility of re-obtaining the livestock image of the livestock house by significantly increasing the connection frequency of the corresponding camera, and then Only when a monastic behavior is detected again in the acquired livestock video can it be confirmed that a monastic behavior has occurred and notified to the manager.
  • a preset number of Sangha actions are detected during a preset time, it can be implemented to confirm that the corresponding cows have performed Sangha actions.
  • the preset time may be 30 minutes, and the preset number of times may be 3.
  • the access frequency can be adjusted based on biometric information measured from a sensor attached to the outside of the cow's body or inserted into the body.
  • a sensor attached to the outside of the cow's body or inserted into the body For example, for cows, it is a sensor that can be worn around the neck of a cow to measure body temperature, body pH, digestive power, feeding activity, intestinal activity, vocalization, gait, tail movement, sleep state, movement state, herd activity, etc.
  • a necklace-shaped sensor, a pill-shaped sensor inserted into the stomach of a cow, a sensor that can be inserted into the uterus or vagina of a cow, an attachable sensor that can be attached to a tail or leg, etc. (not shown) may be provided.
  • These sensors can communicate with the Sangha behavior detection device of the present invention through a wired or wireless communication network.
  • the livestock behavior detection device can predict whether the cow is in estrus based on biometric information and activity information provided from the above sensors, and can access the livestock barn based on
  • connection frequency of the corresponding camera is greatly reduced, thereby lowering the frequency of subsequent connections.
  • the reduced connection frequency may be lowered to the default value.
  • a random function with the same probability value is applied to all of the plurality of cameras stored in the database 110 to select a specific camera, and as a second step, the access frequency for the selected camera is selected.
  • the possibility of being selected in the first stage can be increased to some extent (compared to the method in which cameras are selected one by one in a predetermined order). .
  • some cameras (with a low access frequency) will be denied access based on the access frequency every time they are selected in order, so access will not be possible for too long. Cases may also occur.
  • cameras with a low access frequency may be randomly selected relatively frequently, so the inspection of monastic behavior for such cameras may be delayed for too long. It is possible to compensate for the irrationality that may exist.
  • the image processing unit 130 retrieves the livestock images stored in the information acquisition unit 120 one by one in order and identifies cows present in the images (S60).
  • identifying cows within the barn image can be performed in the same manner as shown in FIG. 3.
  • the image processing unit 130 may pre-process the livestock image obtained from the information acquisition unit 120 in order to identify cows 1 and 2 with high accuracy.
  • An example of the preprocessing process can be found in Figure 6.
  • Preprocessing may include processing the livestock image (see (a) of FIG. 6) through HSV detection, in particular, converting the livestock image into a color (Hue) image to make it easier to select the color of the cow or an orange-based color. (S61) (see (b) in FIG. 6).
  • preprocessing may include binarizing the color image converted by HSV detection processing to form a black and white image (S62). Binarization processing of images is a technique to reduce the load of image processing (see (c) of FIG. 6). In the converted black-and-white image, parts close to orange (mainly parts corresponding to cows) are expressed in white and other parts are expressed in black.
  • a black-and-white image implemented through binarization processing can be converted into a borderline image consisting only of lines corresponding to the borderline between black and white through differentiation processing (S63). Since the position of the line is clearly distinguished in the boundary image, the shape of the object can be clearly distinguished and is advantageous in identifying the area surrounded by the line (see (d) in Figure 6).
  • the artificial structure 8 can be removed (S64), and the area of the part surrounded by the border is larger than a predefined value is selected from the remaining parts excluding the artificial structure 8, and the selected
  • the part is considered to be an object that may be a cow and is designated as a cow area (1A, 2A, 3A, 4A) (S65).
  • the method of removing the artificial structure 8 is a method of removing the shape 8A having a width and length of a predefined range in the image, a portion that appears in the image with an area that is a predetermined multiple larger than the shape of the cow.
  • a method of removing a method, a method of removing a shape containing a straight line of a certain size or more, a method of removing an object determined to be motionless compared to a previously acquired livestock image, etc. may be used.
  • Artificial structures to be removed may include pipes or pillars constituting the enclosure of the livestock house (S), the exterior wall of the livestock house (S), the roof, etc.
  • the designated small area is selected from the livestock house image (or , the cow is identified by matching it with the image (before binarization) (S66).
  • the image processing unit 130 is a method of identifying cows 1 and 2 in a livestock image, and identifies cows by learning patterns of various cow shapes using artificial intelligence without performing the preprocessing process as described above. You might be able to do it.
  • the image processing unit 130 can identify body parts for each cow from the shapes of cows identified in the barn image, obtain coordinates of the identified body parts, and connect the body parts to construct the skeletal structure of the cow. This procedure may refer to Figure 4. Identifying the cow's body parts may include identifying the cow's face part (S67) from the cow shape identified in the barn image (S66). For example, identify at least one facial part, such as a cow's eyes, nose, mouth, ears, or horns, and identify other facial parts expected to be in the vicinity of the identified facial part, centered around the point where it is expected to be located. You can search. If at least one facial part is identified at the expected point, other body parts of the cow can be sequentially searched from the identified point. Other body parts searched may include shoulders, knees, toes, pelvis, at least part of the spine, and tail.
  • Coordinate values can be determined for the points of each identified body part.
  • the skeletal structure of the cow can be constructed by connecting the identified parts (S68).
  • the skeletal structure of a cow can be conveniently used to determine and predict the posture of the cow. Additionally, the skeletal structure can be used to construct an individual box surrounding the cow. Moreover, the skeletal structure can also be utilized to determine whether an object identified as a cow is a cow.
  • the image processing unit 130 may consider cows in which at least two or more body parts are not identified as not being cows.
  • the Sangha determination unit 140 compares the positional relationship between each body part using the coordinate values of the body parts of the cow identified in the image processing unit 130 to determine whether two or more cows are in contact with each other and/or the Sangha action. It is detected whether something is being done (S70).
  • the weight determination unit 140 constructs an object box using the coordinates of body parts for each cow, analyzes the positional relationship between the object boxes, and determines whether the cows are in contact with each other. And when it is determined that the cows are in contact, as a second step, the positional relationship between the body parts of the cows in contact or the posture based on the skeletal structure is analyzed to determine whether a sangha behavior has occurred.
  • the method of determining whether cows are in contact with each other includes constructing object boxes for each cow and checking the overlap state between the object boxes, as shown in FIG. 5.
  • the method for detecting monastic behavior from cows is as follows.
  • the Sangha determination unit 140 determines whether a Sangha act occurred in the second stage only for the two cows (1, 2) that were determined to be in contact with each other through inspection of the individual box in the first stage ( S74). As a result, it is possible to reduce the information processing load of the system compared to the existing method of selecting all the photographed cows one by one and analyzing the images without exception.
  • the Sangha determination unit 140 determines the front cow (1) and the back cow (2) according to the head direction of the identified cow, and compares the coordinate values of the body parts of each cow to determine whether a Sangha action has occurred. For example, if the front legs of the back cow (2) are in front of the hind legs of the front cow (1), and the head of the back cow (2) is in front of the hind legs of the front cow (1), the head of the back cow (2) is in front of the front cow (1). ), if the angle formed by the spine of the front cow (1) and the spine of the rear cow (2) is in the range of 5 to 80°, the angle formed by the tail and the spine of the rear cow (2) is downward. When at least one condition in the range of 45 to 135° is met, it can be determined that the rear cow is joining the front cow.
  • the Sangha behavior detection device 100 detects the Sangha behavior based on the positional relationship of the body parts or skeletal structures of the cows, and detects the currently acquired shapes of the two cows one by one among numerous pre-stored Sangha image patterns. Compared to the existing image comparison method that compares images one by one, the amount of information that needs to be processed can be dramatically reduced. Therefore, the Sangha behavior detection device 100 according to the present invention can accurately and quickly detect Sangha behavior even if it is implemented as a system with weak information processing capability.
  • Figure 7 shows another example of determining monastic behavior using an entity box and a skeletal structure in the present invention.
  • three cows (1, 2, and 3) composed of an object box and a skeletal structure have been identified.
  • Cow (1) and cow (2) can be determined to be in contact as the head sides of the object boxes (11, 21) are all facing the same left, and the overlapping area is calculated to be more than 10%, and proceed to the next step.
  • the positional relationship of each body part of the skeletal structures 112 and 212 is examined to determine whether or not a monk is performing an act.
  • the head of the rear cow (2) is in front of the hind legs of the front cow (1), and the head of the rear cow (2) is in front of the front cow (1).
  • the spine of the front cow (1) and the spine of the back cow (2) form an angle of about 45°, so it can be determined that the cow (1) and cow (2) are performing a sangha act.
  • cow 1 and cow 2 are in contact not only by the object boxes 11 and 21, but also by the skeletal structures 122 and 212. It can be determined that one is engaging in monastic activities.

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Software Systems (AREA)
  • Environmental Sciences (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Husbandry (AREA)
  • Zoology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Wood Science & Technology (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Human Computer Interaction (AREA)
  • Pregnancy & Childbirth (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)

Abstract

본 발명에 따른 소의 승가 행위 검출 장치는, 복수의 축사들 각각에 설치된 복수의 카메라들 중 임의의 카메라를 선택하고, 상기 선택된 카메라에 대해 미리 부여되어 있는 접속빈도수에 근거하여 상기 선택된 카메라에 대한 접속할지 여부를 결정하고, 접속승인된 경우, 상기 선택한 카메라에 접속하여 영상정보를 획득하고, 상기 획득한 영상정보를 축사영상으로서 저장하는 동작을 반복하는 정보획득부, 상기 축사영상에서 소들을 식별하는 영상처리부, 및 상기 식별된 소들의 위치 및 자세를 분석하여 승가 행위를 검출하는 승가판정부를 포함하여 이루어진다.

Description

소의 승가 행위 검출 장치
본 발명은 축사를 촬영한 영상으로부터 소의 승가 행위를 검출하는 장치에 관한 것으로서, 더욱 상세하게는 복수의 축사 중 승가 행위가 발생할 가능성이 높은 축사의 영상을 보다 높은 빈도수로 획득하고 또한 효율적인 영상 분석 방식을 통해서 승가 행위를 검출하는 소의 승가 행위 검출 장치에 관한 것이다.
축사 관리의 목표는 가축이 건강하게 잘 지내고 있는지 혹은 축사에 이상상황이 발생했는지 등과 같이 가축의 상태 및 환경요소들을 효과적으로 모니터링하고 그에 맞는 적절한 대처 방안을 수행하는 것이라고 할 수 있다.
특히, 가축 사육에 있어서 가장 중요한 것은 번식인데, 효과적인 번식을 위해서는 발정을 제때 발견하는 것이 필수적이다. 하지만, 축산 농가의 규모가 점차 대형화됨에 따라 사육사가 관리해야 할 개체 수가 증가하고 있어서, 모든 개체를 실시간으로 및 지속적으로 관찰하기는 어려운 실정이다.
가축 중에서 번식 관리가 가장 중요한 것은, 소일 수 있다. 소는 발정기가 되면, 울음소리가 변화하거나, 활동량이 변화하거나, 승가 행위를 하는 등의 행동의 변화가 발생한다. 특히, 승가 행위는 소가 발정기에 하는 대표적인 행동으로서, 발정 여부를 판단하는데 중요하고 확실한 기준이 된다.
하지만, 승가 행위는 발정 기간 중 10시간 정도에 걸쳐 나타나지만, 1회당 지속 시간이 수 초 정도로 매우 짧기 때문에, 대규모 축사에 수용된 다수의 소들 중에서 승가 행위를 식별하는 것은 쉽지 않다.
소의 승가 행위를 탐지하기 위한 방법으로는, 사육사가 CCTV 등을 직접 모니터링하여 판별하거나 소의 엉덩이 부분에 물감 등을 묻힌 후 지워진 상태를 검사하는 등, 감시 인력이 직접 판단하는 방법이 사용되고 있다. 하지만, 이러한 방법은, 축사가 대규모로 커지고 관찰해야 할 소의 개체수가 증가할수록 관리하기 어렵다는 문제점이 있다.
소의 승가 행위를 탐지하기 위한 다른 방법으로는, 소의 엉덩이 부분에 압력 센서 등을 장착하여 승가 행위에 의한 압력 변화를 감지하여 알림이 발생되게 하는 방법을 들 수 있다. 하지만, 이 방법은, 다수의 소들 각각에 개별적인 센서들을 부착해야 하고 또한 센서와의 통신을 수행하기 위한 통신 설비가 필요하므로, 장치 구현 비용이 크게 발생한다는 문제점이 있다.
따라서, 최소의 장치 구현 비용으로도 소들의 승가 행위를 정확하게 검출할 수 있는 방법이 요구되었다.
이러한 요구에 따라, 카메라로 촬영한 영상을 이용하여 승가 행위를 판별하는 기술이 개발되고 있다. 한국등록특허 제10-1694946호 (2017.01.04) (발명의 명칭: 동물 발정 감지 방법 및 이를 수행하기 위한 장치)는 영상을 이용하여 승가 행위를 검출하는 기술을 개시한다(이하, '종래 기술'이라 함).
상기 종래 기술은, 사육 영역을 촬영한 영상에서 움직이는 객체를 확인하고, 움직이는 객체가 대상 동물인지 판단하고, 대상 동물을 구성하는 복수 개의 객체 구성들의 연결관계에 따라 객체 자세 패턴 정보를 생성하고, 생성된 객체 자세 패턴 정보와 미리 저장되어 있던 승가 자세 패턴 정보를 비교하는 방식으로 동물 발정을 감지하는 방법을 개시한다.
이러한 상기 종래 기술은, 단지 카메라에 의해 촬영된 영상만을 이용하여 승가 행위를 판별할 수 있다는 장점을 제공할 수 있다. 하지만, 사육되고 있는 수많은 소들 각자에 대해서 실시간으로 생성되는 객체 자세 패턴 정보들을, 다양한 승가 자세별로 선별되어 저장되어 있는 수많은 승가 자세 패턴 정보들의 하나씩과 일일이 대조하는 절차를 수행해야 하므로, 정보 처리량이 많으며 처리 시간도 많이 필요하게 된다. 따라서, 종래 기술에 따른 방법을 구현하기 위해서는, 값비싼 고성능 처리 장치가 필요하고 또한 실시간 처리가 어려울 수 있다는 문제점이 있다. 이러한 이유로 종래 기술에서 제시하는 장치는, 실제 현장에 널리 적용되지 못하고 있는 실정이다.
또한, 종래 기술에 의하면, 다수의 축사를 감시하는 경우에는, 다수의 카메라로부터 획득되는 모든 영상을 빠짐없이 처리해야 하므로, 영상을 처리하기 위한 컴퓨팅 부하가 기하급수적으로 증가한다는 문제점이 있다.
본 발명은, 다수의 축사들에 배치된 수많은 카메라들 중에서 승가 행위가 검출될 가능성이 높은 카메라의 영상을 더욱 자주 획득함으로써, 효율적으로 영상을 획득하는 방법을 제공하고자 한다.
또한, 승가 행위 검출을 위한 영상 분석의 처리량을 감소시킬 수 있는 방법을 제공함으로써, 실시간의 빠른 영상 분석 속도를 제공하고자 한다. 더욱, 승가 행위의 검출 정확도를 향상시킬 수 있는 영상 분석 방법을 제공하고자 한다.
상술한 목적을 달성하기 위한 본 발명에 따른 소의 승가 행위 검출 장치는: 복수의 축사들 각각에 설치된 복수의 카메라들 중 임의의 카메라를 선택하고, 상기 선택된 카메라에 접속할지 여부를 상기 선택된 카메라에 대해 미리 부여되어 있는 접속빈도수에 근거하여 검사하고, 접속이 승인된 경우, 상기 선택된 카메라에 접속하여 단일 프레임의 영상정보를 획득하고, 상기 획득한 영상정보를 상기 선택된 카메라가 설치된 축사에 대한 축사영상으로서 저장하는 정보획득부; 상기 정보획득부에 저장된 임의의 축사영상을 가져와서, 상기 축사영상 내에서 소들을 식별하는 영상처리부; 및 상기 식별된 소들의 신체부위들 사이의 위치관계를 분석하여 승가 행위를 검출하는 승가판정부를 포함한다.
여기서, 상기 정보획득부는, 소정의 랜덤함수를 이용하여 상기 복수의 카메라들 중에서 하나씩을 임의로 선택할 수 있다.
한편, 상기 접속빈도수는, 관련된 카메라가 감시하고 있는 축사에 수용된 소들의 각자로부터 측정된 생체정보 및 활동정보에 기초하여 계산되는 발정가능성값, 관련된 카메라로부터 획득한 축사영상들 중에서 2마리의 소들이 접촉하고 있다고 판정된 축사영상이 나타나는 빈도수, 관련된 카메라로부터 획득한 축사영상들 중에서 승가 행위가 검출된 축사영상이 나타나는 빈도수, 및 관련된 카메라가 감시하고 있는 축사에 수용된 각각의 소들에 대하여, 관리자가 직접 입력한 또는 공공 데이터베이스를 통해 수신한 이력정보 중 적어도 하나에 근거하여, 값이 조정될 수 있다.
또한, 상기 영상처리부는, 상기 축사영상에서 각각의 소들을 식별하기 위하여, 상기 정보획득부로부터 가져온 상기 축사영상에 대해 HSV 디텍션 처리하여 소의 색상이 선별되게 하고, 상기 색상이 선별된 축사영상을 상기 색상을 기준으로 이진화 처리하고, 상기 이진화처리된 축사영상을 미분화 처리하여 경계선을 구성하고, 상기 경계선이 구성된 축사영상으로부터, 인공구조물을 제외한 상기 경계선 내 면적에 근거하여 소(牛) 영역을 결정하고, 그리고 상기 결정된 소 영역을 상기 축사영상에 매칭시켜서, 상기 축사영상으로부터 소를 식별하는 처리를 수행할 수 있다.
또한, 상기 영상처리부는, 상기 축사영상에서 각각의 소들을 식별하기 위하여, 상기 축사영상으로부터 소일 가능성이 있는 오브젝트를 결정하고, 상기 오브젝트로부터, 소의 얼굴 부위들 중 적어도 하나, 어깨, 무릎, 발끝, 골반, 등줄기, 꼬리 중 적어도 2개의 신체부위들을 식별하고, 그리고 상기 적어도 2개의 신체부위들이 식별된 경우에, 상기 오브젝트를 소라고 판정하는 절차를 더 수행할 수 있다.
추가로, 상기 승가판정부는, 소라고 판정된 각각의 소마다, 상기 식별된 신체부위들을 포함하는 수평방향의 개체박스를 구성하고, 상기 축사영상에서 식별된 2개의 개체박스들이, 머리측들이 동일한 방향을 향하면서 중첩된 면적의 비가 10% ~ 90% 범위인 경우에, 각각의 개체박스에 해당하는 소들이 서로 접촉하고 있다고 판단하고, 그리고 접촉하고 있다고 판단된 상기 소들의 각자의 상기 식별된 신체부위들의 위치관계를 평가할 수 있다. 상기 식별된 신체부위들의 위치관계의 평가는, 뒷소의 앞다리가 앞소의 뒷다리보다 앞에 있는 경우, 뒷소의 머리가 앞소의 뒷다리보다 앞에 있는 경우, 뒷소의 머리가 앞소의 머리보다 높게 위치하는 경우, 앞소의 등줄기와 뒷소의 등줄기가 이루는 각도가 5 ~ 80° 범위인 경우, 및 뒷소의 꼬리가 등줄기에 대해 45 ~ 135° 범위인 경우, 중 적어도 하나에 해당하는 경우, 승가 행위로 판정하는 처리를 수행하는 것을 포함한다.
상기한 바와 같은 구성을 포함하는 본 발명에 따르면, 값비싼 고성능 처리 장치를 사용하지 않더라도, 다수의 축사들 및 소들을 효율적으로 모니터링하면서 승가 행위를 정확하고 신속하게 검출할 수 있다. 또한, 영상 분석의 처리량을 감소시켰으면서도 승가 행위 검출의 정확도가 향상된, 영상만을 이용하여 소의 승가 행위를 검출하는 장치를 제공할 수 있다.
구체적으로, 승가 행위가 발생할 가능성에 비례하여 축사영상을 획득하게 됨으로써, 또한, 승가 판단을 위한 처리 과정에 필터링 과정을 추가함으로써, 처리 속도를 높이면서도 처리 부하를 줄일 수 있게 된다.
또한, 서로 접촉한 소들의 신체부위들 사이의 위치관계를 비교하여 승가 여부를 판단하므로, 기존의 영상 비교 방법에 비해서 정확한 판별 성능을 나타낸다.
결과적으로, 다수의 축사에 배치된 수많은 소들을 하나의 장치로 통합 관리할 수 있게 되므로, 장치 구현 비용을 절감할 수 있다.
도 1은 본 발명에 따른, 소의 승가 행위 검출 장치를 설명하기 위한 도면으로서, 하나의 승가 행위 검출 장치로 다수의 축사를 관리할 수 있게 구현된 시스템을 도시한다.
도 2는 본 발명에 따른 승가 행위 검출 장치가 다수의 축사들로부터 효율적으로 축사영상을 획득하는 방법을 설명하기 위한 흐름도이다.
도 3은, 축사영상 내에서 소들을 식별하기 위해 영상을 전처리하는 방식을 설명하는 흐름도이다.
도 4는, 소의 신체부위들을 식별하는 방식을 설명하는 흐름도이다.
도 5는, 축사영상 내에서 접촉하고 있는 2마리의 소를 검출한 후 승가 행위를 판단하는 방식을 설명하는 흐름도이다.
도 6은, 도 3 및 도 4와 관련된 영상 처리의 예를 보여주는 도면이다.
도 7은 개체박스 및 골격구조를 이용하여 승가 행위를 판단하는 예를 보여주는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 소의 승가 행위 검출 장치의 바람직한 실시예를 설명한다. 참고로, 본 발명의 각 구성 요소를 지칭하는 용어들은 그 기능을 고려하여 예시적으로 명명된 것이므로, 용어 자체에 의하여 본 발명의 기술 내용을 예측하고 한정하여 이해해서는 안될 것이다.
더욱, 이하에서 설명되어질 본 발명의 다양한 실시예들은 본 발명의 기술 사상을 예시적으로 보여주기 위한 것일 뿐이므로, 본 발명의 보호 범위는 첨부된 청구범위에 의하여 해석되어야 할 것이다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형을 설계할 수 있을 것이므로, 본 발명의 권리범위는 본 발명과 균등한 범위 내에 있는 모든 기술 사상을 포괄하는 것으로 해석되어야 할 것이다.
먼저, 도 1 및 도 2를 참조하여, 본 발명의 일 실시예에 따른, 소의 승가 행위 검출 장치의 구성 및 상기 승가 행위 검출 장치가 다수의 축사에 효율적으로 접속하여 축사영상을 획득하는 방법을 설명한다. 특히, 본 발명에서는, 하나의 승가 행위 검출 장치로 다수의 축사를 관리할 수 있게 구현한 시스템을 도시하고 설명한다.
기본적으로, 축사(S)에는, 내부에 수용된 하나 이상의 소들(1, 2)을 촬영하기 위한 카메라(51)가 배치될 수 있다. 카메라(51)는, 소들(1, 2)을 촬영한 영상정보를, 유무선 통신망을 통해서 타 장치(예를 들면, 승가 행위 검출 장치의 정보획득부) 측으로 전송하도록 구현될 수 있다. 상기 통신망은, 데이터 전송 서비스를 제공할 수 있는 임의의 상용 인터넷망 및 이동통신망을 포함할 수 있다.
카메라(51)는, 각각의 축사(S)들마다, 가능한 적은 대수로 축사(S) 내부를 전체적으로 조망할 수 있도록 적절한 높이 및 위치에 배치될 수 있다. 필요에 따라서는 하나의 축사에 2개 이상의 카메라들이 설치될 수도 있다. 또한, 카메라(51)는, 2 이상의 축사들을 동시에 조망하도록 배치될 수도 있다.
카메라(51)에는 고유의 식별정보가 부여될 수 있으며, 통신망을 통해 결합된 타 장치가 상기 식별정보에 근거하여 원하는 카메라를 특정하여 접속을 시도할 수 있게 된다.
일반적인 소 사육 환경에서는 복수 개의 축사들이 서로 인접하게 설치될 수 있으며, 각각의 축사들에 설치된 카메라들(51, 52, 53, 54)은 동일한 통신망에 결합되어 통합관리될 수 있고, 승가 행위 검출 장치(100)는 상기 통신망을 통해서 원하는 시점에 상기 식별정보를 참고하여 특정의 카메라에 접속할 수 있다.
승가 행위 검출 장치(100), 특정의 카메라에 접속하여 접속된 카메라에 의해 실시간으로 촬영되어 전송되는 영상정보를 수신하고, 영상정보를 단일 프레임의 정지 영상인 축사영상으로 구성할 수 있다. 승가 행위 검출 장치(100)는, 바람직하게는, 단 1장의 축사영상을 분석하여, 축사영상 내에서 소들을 식별하고 식별된 소들의 위치 및 자세, 특히, 각 소들의 신체부위들 사이의 위치관계를 분석하여 승가 행위를 검출할 수 있다. 승가 행위 검출 장치(100)는, 축사영상으로부터 승가 행위가 검출되면, 분석에 사용한 축사영상 또는 상기 축사영상을 포함하는 수 내지 수십초 구간의 동영상을 해당 축사의 관리자의 이동통신단말기(400) 등에 전송할 수 있다.
이러한 기능을 수행하는 승가 행위 검출 장치(100)는, 데이터베이스(110), 정보획득부(120), 영상처리부(130), 승가판정부(140)를 포함한다.
데이터베이스(110)는, 축사들을 촬영하는 카메라들(51, 52, 53, 54)마다의 식별정보, 각 카메라들(51, 52, 53, 54)마다에 부여된 접속빈도수들, 각 카메라들이 모니터링하고 있는 축사들에 수용된 각 소들마다의 발정가능성값 및/또는 발정 이력, 각각의 카메라가 설치된 축사의 관리자 정보 등을 리스트 형식으로 저장할 수 있다. 접속빈도수는, 정보획득부(120)가 축사영상을 획득하기 위해, 각각의 축사에 (더욱 정확하게는, 축사에 설치된 각각의 카메라에) 통신망을 통한 접속을 시도할지(더욱 정확하게는, 해당 카메라로부터 영상정보를 가져올지) 여부를 결정하기 위한 가중치 또는 확률값일 수 있다. 관리자 정보는, 해당 축사에서 승가 행위가 검출되었을 때 알림을 제공받을 연락처일 수 있다.
정보획득부(120)는, 도 2에 도시된 바와 같이, 데이터베이스(110)에 저장된 카메라들의 리스트에 접근하고(S10), 리스트로부터 하나씩의 카메라를 선택하고(S20), 선택된 카메라에 대해 접속할지 여부를 결정하고(S30, S40), 접속이 승인된 경우에 통신망을 통해 접속을 시도하여 영상정보를 가져옴으로써 축사영상을 획득한다(S50). 획득된 축사영상은 정보획득부(120) 내에 저장될 수 있다.
정보획득부(120)는 데이터베이스(110)에 저장된 복수의 카메라들 중 하나씩을 선택하여 접속하고 각각으로부터 축사영상을 획득하고 저장하는 동작을 반복하게 되며, 반복시마다 획득되어 저장된 축사영상들은 이후에 선입선출 방식으로 영상처리부(130)에 제공될 수 있다. 영상처리부(130)에서는 정보획득부(120)에 저장된 축사영상들로부터 하나씩의 축사영상을 가져와서 영상 내에서 소들을 식별하고(S60), 승가판정부(140)에서는 식별된 소들 사이의 위치관계를 분석하여 승가 행위를 검출하게 된다(S70).
한편, 정보획득부(120)는, 상기 리스트로부터 하나씩의 카메라를 선택함에 있어서, 리스트에 저장된 복수의 카메라들의 식별정보들을 미리설정된 순서대로 하나씩 선택하고, 선택된 순서에 따라 순차적으로 접속을 시도할 수 있을 것이다.
하지만, 본 발명에서, 정보획득부(120)는, 바람직하게는, 리스트에 저장된 복수의 카메라들에 대해 임의의 랜덤함수를 적용하여 하나의 카메라를 선택할 수 있다. 즉, 데이터베이스(110)에 저장된 복수의 카메라들 전체에 대해서 동일한 가중치가 적용된 랜덤함수를 적용하여 특정의 하나의 카메라를 선택하게 되며, 다시 복수의 카메라들 전체에 상기 랜덤함수를 똑같이 적용하여 그 다음번 카메라를 선택하는 방식으로, 접속을 시도할 카메라들을 하나씩 선택할 수 있다.
한편, 정보획득부(120)는, 예를 들어, 랜덤 함수에 의해서 카메라가 선택되면, 이어서, 선택된 카메라에 부여된 접속빈도수에 따라 해당 카메라에 접속하여 영상정보를 가져올지를 결정한다. 만일 접속빈도수에 의해서 접속할 것으로 승인되면, 해당 카메라에 접속하여 영상정보를 가져올 수 있다. 만일, 접속빈도수를 검토하였을 때 접속이 불승인되면, 해당 카메라에 대한 접속은 취소되고, 상기 랜덤함수에 의해 새로운 카메라를 선택하고, 새로 선택된 카메라에 대하여 다시 접속빈도수를 검토하게 된다.
여기서, 접속빈도수는, 각각의 카메라에 대해서 또는 각 축사에 대해서 설정되는 수치로서, 각 카메라가 촬영하고 있는 축사에 수용된 소들 중에서 승가 행위가 검출될 가능성 또는 확률에 비례하여 설정될 수 있다.
상기 접속빈도수는, 10%와 같이 낮은 임의의 값이 기본값으로서 설정될 수 있다. 그리고 다양한 방법에 의해서 접속빈도수가 실시간으로 높여지거나 낮추어질 수 있다.
예를 들면, 접속빈도수는, 각 축사를 관리하는 관리자의 요청에 의해서 조정될 수 있다. 관리자는 축사에 수용된 소들의 발정/임신 이력을 알고 있으므로, 발정할 가능성이 높은 소들을 예측할 수 있을 것이다. 따라서, 관리자는 발정 상태를 자주 검사해야 할 소들이 수용된 축사를 모니터링하는 카메라에 대해서는 좀 더 높은 접속빈도수를 설정할 수 있다.
또한, 접속빈도수는, 농촌진흥청에서 관리하는 "축사로"와 같은 공공데이터베이스를 통해 얻을 수 있는 소들의 발정, 임신, 출산 등의 이력 정보를 참고하여 자동으로 조정될 수 있다.
또한, 접속빈도수는, 비록 승가 행위가 검출되지는 않았지만, (개체박스의 접촉 여부 검사 등에 의해서) 2마리 이상의 소들이 접촉하고 있는 것으로 판정된 축사영상이 나타나는 빈도수에 근거하여 조정될 수 있다.
또한, 접속빈도수는, 승가 행위가 검출된 축사영상이 나타나는 빈도수 또는 승가 행위가 검출된 축사영상의 획득 시점이 얼마나 오래되었는지에 근거하여 조정될 수 있다.
본 발명에 따른 승가 행위 검출 장치(100)는, 지금 분석한 축사영상에서 승가 행위가 검출되자마자 즉시 관리자에게 통보하는 것이 아니라, 최소 1회 및 그 이상의 추가 검증을 수행한 후에 통보할 수 있다. 추가 검증을 위해서, 승가 행위 검출 장치(100)는, 해당하는 카메라의 상기 접속빈도수를 큰 폭으로 높임으로써 해당 축사의 축사영상이 다시 획득될 가능성을 높이고, 이후에 미리설정된 시간 범위 내에 해당 축사로부터 획득되는 축사영상에서 또다시 승가 행위가 검출되었을 때 비로소 승가 행위가 있어났다고 확정하고 관리자에게 통보할 수 있다. 즉, 미리설정된 시간 동안 미리설정된 횟수의 승가 행위가 검출되었을 때, 해당 소들이 승가 행위를 했다고 확정하도록 구현될 수 있다. 예를 들면, 상기 미리설정된 시간은 30분이고, 상기 미리설정된 횟수는 3회일 수 있다.
또한, 접속빈도수는, 소들의 체외에 부착되거나 체내에 삽입된 소정의 센서로부터 측정된 생체 정보에 기초하여 조정될 수 있다. 예를 들면, 소들에게, 체온, 체내 pH, 소화력, 섭식활동, 장 활동성, 발성, 걸음걸이, 꼬리 움직임, 수면상태, 이동 상태, 무리 활동 등을 측정하기 위한 센서로서, 소의 목에 걸 수 있는 목걸이 형태의 센서, 소의 위에 삽입되는 알약 형태의 센서, 소의 자궁 또는 질 내에 삽입될 수 있는 센서, 꼬리 또는 다리에 부착될 수 있는 부착형 센서 등이 제공될 수 있다(도시하지 않음). 이러한 센서들은 유무선 통신망을 통해서 본 발명의 승가 행위 검출 장치와 통신할 수 있다. 승가 행위 검출 장치는, 위와 같은 센서들로부터 제공되는 생체 정보 및 활동 정보에 기초하여, 해당 소가 발정 상태인지 예측할 수 있으며, 이 예측 값(즉, 발정가능성값)에 기초하여, 축사에 접속하기 위한 상기 접속빈도수를 계산하고 수정할 수 있다.
한편, 승가 행위가 확정되어 승가 행위를 포함하는 축사영상이 관리자(400)에게 통보된 후에는, 해당 카메라의 접속빈도수는 큰 폭으로 감소되어 이후로부터의 접속 빈도를 낮출 수 있다. 이때, 감소되는 접속빈도수는 기본값까지 낮아질 수 있다.
이와 같이, 1차 단계로서, 데이터베이스(110)에 저장된 복수의 카메라들 전체에 대해서 동일한 확률값의 랜덤함수를 적용하여 특정의 하나의 카메라를 선택하고, 2차 단계로서, 선택된 카메라에 대해 상기 접속빈도수를 검토함으로써 접속할지 여부를 결정하는 방식을 사용함으로써, 승가 행위가 발견될 확률이 높은 (즉, 접속빈도수가 높은) 축사에는 영상획득을 위한 접속이 빈번하게 이루어져서 (즉, 접속할지 여부가 높은 확률로 승인될 것이므로) 축사영상에서 승가 여부가 자주 검사될 수 있게 되고, 반대로, 승가 행위가 발견될 확률이 낮은 (즉, 접속빈도수가 낮은) 축사에 대해서는 (접속할지 여부가 불승인될 확률이 높기 때문에) 상대적으로 드물게 접속이 이루어져서 승가 여부가 가끔씩 검사될 것이다.
한편, 랜덤함수에 의해 카메라를 선택하는 방식을 사용함으로써, 접속빈도수가 낮은 카메라일지라도, 1차 단계에서 선택되어질 가능성이 (카메라가 미리정해진 순서대로 하나씩 선택되는 방식에 비하여) 어느 정도 높아질 수 있게 된다. 즉, 순차적으로 카메라들을 선택하고 여기에 접근빈도수를 적용하는 것을 상정하면, (접근빈도수가 낮은) 어떤 카메라는, 순서대로 선택되었을 때마다 접근빈도수에 의해 접근 불승인되어 버려서, 너무 오랫동안 접속이 되지 않을 경우도 발생할 수 있게 된다. 하지만, 본 발명에서와 같이, 1차 단계에서 카메라를 랜덤함수에 의해 선택하게 됨으로써, 접속빈도수가 낮은 카메라가 랜덤하게 비교적 자주 선택될 수도 있으므로, 그러한 카메라에 대해 승가 행위의 검사가 너무 오랫동안 지연될 수도 있다는 불합리함을 보완할 수 있게 된다.
영상처리부(130)는, 정보획득부(120)에 저장된 축사영상들을 순서대로 하나씩 가져와서, 영상 내에 존재하는 소들을 식별한다(S60). 여기서, 축사영상 내에서 소들을 식별하는 것은 도 3과 같은 방식으로 수행될 수 있다.
영상처리부(130)는, 정보획득부(120)로부터 가져온 축사영상에서 소들(1, 2)을 정확도 높게 식별하기 위하여, 축사영상을 전처리할 수 있다. 전처리 과정의 예시는 도 6을 참고할 수 있다.
전처리는, 축사영상(도 6의 (a) 참조)을 HSV 디텍션 처리함으로써, 특히 축사영상을 색상(Hue) 영상으로 변환함으로써, 소의 색깔 또는 주황색 계열의 색깔이 선별되기 쉽게 하는 것을 포함할 수 있다(S61)(도 6의 (b) 참조).
또한, 전처리는 HSV 디텍션 처리에 의해 변환된 색상 영상을 이진화 처리하여 흑백 영상으로 구성하는 것을 포함할 수 있다(S62). 영상의 이진화 처리는, 영상 처리의 부하를 줄이기 위한 기법이다(도 6의 (c) 참조). 변환된 흑백 영상에서는, 주황색에 가까운 부분(주로, 소에 해당하는 부분)은 백색으로 표현되고 기타 부분은 흑색으로 표현되게 된다.
한편, 이진화 처리에 의해 구현된 흑백 영상은 미분화 처리를 통해서, 검은색과 흰색의 경계선에 해당하는 선만으로 이루어진 경계선 영상으로 변환될 수 있다(S63). 경계선 영상은 선의 위치가 명확하게 구분되므로, 사물의 형체를 명확하게 구분할 수 있으며 선으로 둘러싸인 면적을 식별하는 데 유리하다(도 6의 (d) 참조).
경계선 영상으로부터, 인공구조물(8)이 제거될 수 있으며(S64), 인공구조물(8)이 제외한 나머지 부분들에서 경계선에 의해 둘러싸인 부분의 면적이 미리정의된 값보다 큰 부분을 선별하고, 선별된 부분은 소일 가능성이 있는 오브젝트로 간주되어 소(牛)영역(1A, 2A, 3A, 4A)으로 지정된다(S65).
여기서, 인공구조물(8)을 제거하는 방법으로는, 영상 내에서 미리정의된 범위의 폭 및 길이를 갖는 형태(8A)를 제거하는 방식, 영상 내에서 소의 형체보다 소정 배수 이상 큰 면적으로 나타나는 부분을 제거하는 방식, 특정 크기 이상의 직선을 포함하는 형태를 제거하는 방식, 이전에 획득한 축사영상과 비교하여 움직임이 없는 것으로 판정된 기물을 제거하는 방식 등이 사용될 수 있다. 제거되는 인공구조물로는, 축사(S)의 울타리를 구성하는 파이프나 기둥, 축사(S)의 외벽면, 지붕 등을 포함할 수 있다.
경계선 영상으로부터 소영역(1A, 2A, 3A, 4A)이 지정되면, (이진화된 영상이나 경계선 영상으로는 소의 골격을 정확하게 분석할 수 없기 때문에) 상기 지정된 소영역을, 전처리하기 전의 축사영상(또는, 이진화처리하기 전의 영상)에 매칭시켜서 소를 식별한다(S66).
한편, 영상처리부(130)는, 축사영상에서 소들(1, 2)을 식별하는 방법으로서, 상기한 바와 같은 전처리 과정을 수행하지 않고도, 인공지능에 의하여 다양한 소 형태의 패턴 학습에 의해서 소들을 식별할 수도 있을 것이다.
영상처리부(130)는, 축사영상에서 식별된 소들의 형태로부터 소마다 신체부위들을 식별하고, 식별된 신체부위들의 좌표를 획득하고 또한 신체부위들을 연결하여 소의 골격 구조를 구성할 수 있다. 이러한 절차는 도 4를 참조할 수 있다. 소의 신체부위들을 식별하는 것은, 축사영상 내에서 식별된 소 형태에서(S66) 소의 얼굴 부위를 식별하는 것을 포함할 수 있다(S67). 예를 들면, 소의 눈, 코, 입, 귀, 뿔과 같은 얼굴 부위 중 적어도 하나를 식별하고, 식별된 얼굴 부위의 주변에 있을 것으로 예상되는 다른 얼굴 부위를 그것이 위치할 것으로 예상되는 지점을 중심으로 검색할 수 있다. 예상되는 지점에서 적어도 하나의 얼굴 부위가 식별되면, 식별된 지점으로부터 소의 다른 신체부위들을 순차적으로 검색해 나갈 수 있다. 검색되는 다른 신체부위들로는, 어깨, 무릎, 발끝, 골반, 적어도 일부의 등줄기, 꼬리 등을 포함할 수 있다.
식별된 각 신체부위들의 지점에 대해서 좌표값이 결정될 수 있다.
한편, 얼굴 부위 중 적어도 하나가 식별되고, 얼굴 부위가 아닌 다른 신체부위들 중 적어도 하나가 식별되면, 식별된 부분들을 연결하여 소의 골격 구조를 구성할 수 있다(S68). 소의 골격구조는, 소의 자세를 판별하고 예측하는 데에 편리하게 사용될 수 있다. 또한, 골격구조는 소를 둘러싸는 개체박스를 구성하는 데에 활용될 수 있다. 더욱, 골격구조는, 소라고 식별된 오브젝트가 소인지 확정하는 데에도 활용될 수 있다.
영상처리부(130)는, 소들의 형태 중 적어도 2개 이상의 신체부위가 식별되지 않은 것은 소가 아닌 것으로 간주할 수 있다.
승가판정부(140)는, 영상처리부(130)에서 식별된 소의 신체부위들의 좌표값들을 이용하여 각 부위들 간의 위치관계를 비교함으로써, 2마리 이상의 소들이 서로 접촉하고 있는지 및/또는 승가 행위를 하고 있는지를 검출하게 된다(S70).
승가판정부(140)는, 1차 단계로서, 각각의 소들마다 신체부위들의 좌표들을 이용하여 개체 박스를 구성하고, 개체 박스들 사이의 위치관계를 분석하여 소들이 서로 접촉하고 있는지를 판단한다. 그리고 소들이 접촉하고 있다고 판단된 경우에, 2차 단계로서, 접촉하고 있는 소들의 신체부위들 사이의 위치관계 또는 골격구조에 의한 자세를 분석하여 승가 행위가 발생했는지를 판정한다.
소들이 서로 접촉하고 있는지를 판단하는 방법은, 도 5에 도시된 바와 같이, 소들 각각에 대해 개체박스들을 구성하고, 개체박스들 사이의 중첩 상태를 검사하는 것을 포함한다.
먼저, 각각의 소들의 식별된 신체부위들의 좌표들의 X축 좌표값 중 가장 작은 값과 가장 큰 값, 상기 식별된 신체부위들의 좌표들의 Y축 좌표값 중 가장 작은 값과 가장 큰 값을 이용하여 직사각형 박스를 구성할 수 있다(S71).
축사영상 내의 식별된 모든 소들에 대해서 각각의 개체 박스들이 구성되면, 개체박스들 중에서 적어도 일부분이 서로 중첩하고 있는 것을 검색하고(S72), 중첩하는 개체박스들을 통해서 소들의 접촉 여부를 판단한다(S73). 이때, 중첩된 2개의 개체박스들(11, 21) 중 어느 하나에 있어서, 전체 면적에 비하여 중첩된 면적이 10% ~ 90% 범위에 해당하면 소들이 접촉하고 있다고 판단할 수 있다. 또는, 중첩하고 있는 개체박스들(11, 21) 각각의 면적의 합에 비하여 중첩된 면적의 비가 10% ~ 90% 범위에 해당하면 소들이 접촉하고 있다고 판단할 수 있다.
또한, 상기한 면적 조건에 추가하여, 서로 중첩하는 것으로 판단된 2개의 개체 박스들(11, 21)에 있어서, 소들의 머리측들이 동일한 방향으로 향하고 있을 때, 해당 소들이 서로 접촉하고 있다고 판단할 수 있다.
한편, 소들로부터 승가 행위를 검출하는 방법은, 다음과 같다.
승가판정부(140)는, 1차 단계에서 개체박스의 검사를 통해 서로 접촉하고 있다고 판단된 2마리의 소들(1, 2)에 대해서만, 2차 단계에서 승가 행위가 발생했는지를 판단하게 된다(S74). 이로써, 촬영된 소들 전부를 하나씩 선택하여 빠짐없이 영상 분석 처리하던 기존의 방식에 비하여, 시스템의 정보 처리 부하를 줄일 수 있게 된다.
승가판정부(140)는, 식별된 소의 머리 방향에 따라 앞소(1)와 뒷소(2)를 결정하고, 각 소들의 신체부위들의 좌표값들을 비교하여 승가 행위가 발생했는지를 판단한다. 예를 들면, 뒷소(2)의 앞다리가 앞소(1)의 뒷다리보다 앞에 있는 경우, 뒷소(2)의 머리가 앞소(1)의 뒷다리보다 앞에 있는 경우, 뒷소(2)의 머리가 앞소(1)의 머리보다 높게 위치하는 경우, 앞소(1)의 등줄기와 뒷소(2)의 등줄기가 이루는 각도가 5 ~ 80° 범위인 경우, 뒷소(2)에 있어서 꼬리와 등줄기가 이루는 각도가 아래방향으로 45 ~ 135° 범위인 경우 중 적어도 하나의 조건에 부합할 때, 뒷소가 앞소에 승가하고 있다고 결정할 수 있다.
본 발명에 따른 승가 행위 검출 장치(100)는, 소들의 신체부위들 또는 골격구조의 위치관계에 기반하여 승가 행위를 검출함으로써, 현재 획득된 2마리 소의 형태를 미리저장된 수많은 승가 영상 패턴들 중 하나씩과 일일이 비교하는 기존의 영상 비교 방식에 비하여, 처리해야 할 정보량을 획기적으로 감소시킬 수 있다. 따라서, 본 발명에 따른 승가 행위 검출 장치(100)는, 정보 처리 능력이 약한 시스템으로 구현되더라도 정확하고 신속하게 승가 행위를 검출할 수 있게 된다.
도 7은, 본 발명에서, 개체박스 및 골격구조를 이용하여 승가 행위를 판단하는 다른 예시를 보여준다. 도 7의 (a)를 참조하면, 개체 박스 및 골격구조가 구성된 3마리의 소들(1, 2, 3)이 식별된 것을 볼 수 있다. 소(1)와 소(2)는 개체박스들(11, 21)의 머리측이 모두 동일하게 좌측을 향하고 있으면서 중첩하는 면적이 10% 이상으로 계산되어 접촉하고 있다고 판정될 수 있고, 다음 단계로, 골격구조들(112, 212)의 각 신체부위들의 위치관계를 검사하여 승가 행위를 하고 있는지가 검사된다. 상기 소(1)와 소(2)의 골격구조들(112, 212)을 비교할 때, 뒷소(2)의 머리가 앞소(1)의 뒷다리보다 앞에 있고, 뒷소(2)의 머리가 앞소(1)의 머리보다 높게 위치하고, 앞소(1)의 등줄기와 뒷소(2)의 등줄기가 약 45°를 이루고 있으므로, 상기 소(1)와 소(2)는 승가 행위를 하고 있다고 판정될 수 있다.
한편, 도 7의 (a)에서, 소(2)와 소(3)는, 개체박스들(21, 31)이 일부 중첩하고 있으면서 동일한 방향을 향하고 있기는 하지만, 중첩하는 면적이 10%에 미치지 않기 때문에, 접촉하고 있는 소들이라고 판정되지 않는다. 따라서, 소(2)와 소(3)에 대해서는 승가 행위를 판단하는 절차가 수행되지 않는다. 결과적으로, 도 7의 (a)와 같은 축사영상에서는, 소(1)와 소(2)에 대해서만 승가 행위가 검사되어지되 골격구조들(112, 212)의 위치관계를 비교하는 간단한 분석이 이루어지게 되므로, 승가 행위 분석이 신속하게 처리될 수 있다.
다음, 도 7의 (b)를 참조하면, 소(1)와 소(2)는 개체박스들(11, 21)에 의해서 접촉하고 있다고 판정될 수 있을 뿐만 아니라, 골격 구조들(122, 212)에 의해서 승가 행위를 하고 있음으로 판정될 수 있다.
하지만, 소(3)와 맨 위 우측의 소에 대해서는, 개체 박스(31)가 다른 소들의 개체박스들과는 중첩되지 않으므로, 승가 행위 분석이 수행되지 않는다. 따라서, 도 7의 (b)와 같은 축사영상에서는, 4마리의 소가 식별되었지만, 단지 2마리의 소들(1, 2)에 대해서만 골격구조들(112, 212)을 비교하는 분석이 이루어지게 되므로, 승가 행위 분석이 신속하게 처리될 수 있다.

Claims (6)

  1. 복수의 축사들 각각에 설치된 복수의 카메라들 중 임의의 카메라를 선택하고, 상기 선택된 카메라에 접속할지 여부를 상기 선택된 카메라에 대해 미리 부여되어 있는 접속빈도수에 근거하여 검사하고, 접속이 승인된 경우, 상기 선택된 카메라에 접속하여 단일 프레임의 영상정보를 획득하고, 상기 획득한 영상정보를 상기 선택된 카메라가 설치된 축사에 대한 축사영상으로서 저장하는 정보획득부;
    상기 정보획득부에 저장된 임의의 축사영상을 가져와서, 상기 축사영상 내에서 소들을 식별하는 영상처리부; 및
    상기 식별된 소들의 신체부위들 사이의 위치관계를 분석하여 승가 행위를 검출하는 승가판정부; 를 포함하는, 소의 승가 행위 검출 장치.
  2. 제1항에 있어서,
    상기 정보획득부는,
    소정의 랜덤함수를 이용하여 상기 복수의 카메라들 중에서 하나씩을 임의로 선택하는 것을 특징으로 하는, 소의 승가 행위 검출 장치.
  3. 제1항에 있어서,
    상기 접속빈도수는,
    관련된 카메라가 감시하고 있는 축사에 수용된 소들의 각자로부터 측정된 생체정보 및 활동정보에 기초하여 계산되는 발정가능성값,
    관련된 카메라로부터 획득한 축사영상들 중에서 2마리의 소들이 접촉하고 있다고 판정된 축사영상이 나타나는 빈도수,
    관련된 카메라로부터 획득한 축사영상들 중에서 승가 행위가 검출된 축사영상이 나타나는 빈도수, 및
    관련된 카메라가 감시하고 있는 축사에 수용된 각각의 소들에 대하여, 관리자가 직접 입력한 또는 공공 데이터베이스를 통해 수신한 이력정보 중 적어도 하나에 근거하여,
    값이 조정되는 것을 특징으로 하는, 소의 승가 행위 검출 장치.
  4. 제1항에 있어서,
    상기 영상처리부는, 상기 축사영상에서 각각의 소들을 식별하기 위하여,
    상기 정보획득부로부터 가져온 상기 축사영상에 대해 HSV 디텍션 처리하여 소의 색상이 선별되게 하고,
    상기 색상이 선별된 축사영상을 상기 색상을 기준으로 이진화 처리하고,
    상기 이진화처리된 축사영상을 미분화 처리하여 경계선을 구성하고,
    상기 경계선이 구성된 축사영상으로부터, 인공구조물을 제외한 상기 경계선 내 면적에 근거하여 소(牛) 영역을 결정하고, 그리고
    상기 결정된 소 영역을 상기 축사영상에 매칭시켜서, 상기 축사영상으로부터 소를 식별하는 처리를 수행하는, 소의 승가 행위 검출 장치.
  5. 제1항 또는 제4항에 있어서,
    상기 영상처리부는, 상기 축사영상에서 각각의 소들을 식별하기 위하여,
    상기 축사영상으로부터 소일 가능성이 있는 오브젝트를 결정하고,
    상기 오브젝트로부터, 소의 얼굴 부위들 중 적어도 하나, 어깨, 무릎, 발끝, 골반, 등줄기, 꼬리 중 적어도 2개의 신체부위들을 식별하고, 그리고
    상기 적어도 2개의 신체부위들이 식별된 경우에, 상기 오브젝트를 소라고 판정하는 절차를 더 수행하는, 소의 승가 행위 검출 장치.
  6. 제5항에 있어서,
    상기 승가판정부는,
    소라고 판정된 각각의 소마다, 상기 식별된 신체부위들을 포함하는 수평방향의 개체박스를 구성하고,
    상기 축사영상에서 식별된 2개의 개체박스들이, 머리측들이 동일한 방향을 향하면서 중첩된 면적의 비가 10% ~ 90% 범위인 경우에, 각각의 개체박스에 해당하는 소들이 서로 접촉하고 있다고 판단하고, 그리고
    접촉하고 있다고 판단된 상기 소들의 각자의 상기 식별된 신체부위들의 위치관계를 평가하되,
    뒷소의 앞다리가 앞소의 뒷다리보다 앞에 있는 경우,
    뒷소의 머리가 앞소의 뒷다리보다 앞에 있는 경우,
    뒷소의 머리가 앞소의 머리보다 높게 위치하는 경우,
    앞소의 등줄기와 뒷소의 등줄기가 이루는 각도가 5 ~ 80° 범위인 경우, 및
    뒷소의 꼬리가 등줄기에 대해 45 ~ 135° 범위인 경우, 중 적어도 하나에 해당하는 경우, 승가 행위로 판정하는 처리를 수행하는, 소의 승가 행위 검출 장치.
PCT/KR2023/018995 2022-12-01 2023-11-23 소의 승가 행위 검출 장치 WO2024117665A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0165603 2022-12-01
KR1020220165603A KR102527058B1 (ko) 2022-12-01 2022-12-01 소의 승가 행위 검출 장치

Publications (1)

Publication Number Publication Date
WO2024117665A1 true WO2024117665A1 (ko) 2024-06-06

Family

ID=86387426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/018995 WO2024117665A1 (ko) 2022-12-01 2023-11-23 소의 승가 행위 검출 장치

Country Status (2)

Country Link
KR (1) KR102527058B1 (ko)
WO (1) WO2024117665A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102527058B1 (ko) * 2022-12-01 2023-05-02 한국아이오티 주식회사 소의 승가 행위 검출 장치
KR102644054B1 (ko) 2023-10-19 2024-03-07 주식회사 예승정보통신 소 승가 판단 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101471906B1 (ko) * 2014-03-28 2014-12-11 차병권 동물 발정 감지 시스템 및 장치와 그 방법
KR20160044835A (ko) * 2014-10-16 2016-04-26 렉스젠(주) 가축 관리 시스템 및 그 방법
KR101694946B1 (ko) * 2015-07-17 2017-01-10 주식회사 씨피에스글로벌 동물 발정 감지 방법 및 이를 수행하기 위한 장치
KR20210054266A (ko) * 2019-11-05 2021-05-13 한세영 소의 승가 행위 판별 방법 및 시스템.
KR102527058B1 (ko) * 2022-12-01 2023-05-02 한국아이오티 주식회사 소의 승가 행위 검출 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101471906B1 (ko) * 2014-03-28 2014-12-11 차병권 동물 발정 감지 시스템 및 장치와 그 방법
KR20160044835A (ko) * 2014-10-16 2016-04-26 렉스젠(주) 가축 관리 시스템 및 그 방법
KR101694946B1 (ko) * 2015-07-17 2017-01-10 주식회사 씨피에스글로벌 동물 발정 감지 방법 및 이를 수행하기 위한 장치
KR20210054266A (ko) * 2019-11-05 2021-05-13 한세영 소의 승가 행위 판별 방법 및 시스템.
KR102527058B1 (ko) * 2022-12-01 2023-05-02 한국아이오티 주식회사 소의 승가 행위 검출 장치

Also Published As

Publication number Publication date
KR102527058B1 (ko) 2023-05-02

Similar Documents

Publication Publication Date Title
WO2024117665A1 (ko) 소의 승가 행위 검출 장치
JP6203238B2 (ja) 畜産管理システム
KR102396172B1 (ko) 인공지능 기반의 가축 관리 시스템 및 그 방법
WO2005039411A1 (en) Real-time abnormality detection for in vivo images
KR102307478B1 (ko) 컴퓨터 비전을 이용한 가축 질병 예측 시스템 및 그 방법
WO2022158674A1 (ko) 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법
WO2022030685A1 (ko) 휴대용 단말기를 이용한 피부질환 측정 시스템 및 피부질환 관리방법
WO2021172677A1 (ko) 영상 인공지능 기반 반려동물 질병 예후 진단 방법
KR102527322B1 (ko) 딥러닝 기반의 객체 인식을 통한 가축 관리 방법
CN108460370B (zh) 一种固定式家禽生命信息报警装置
CA3230401A1 (en) Systems and methods for the automated monitoring of animal physiological conditions and for the prediction of animal phenotypes and health outcomes
WO2021182684A1 (ko) 가축의 개체별 이상 징후 포착 시스템 및 그 이용 방법
Aydin et al. Automatic identification of activity and spatial use of broiler chickens with different gait scores
KR102172347B1 (ko) 농장 가축 상태 평가 방법 및 시스템
CN111814698A (zh) 基于人工智能及航拍图像的牧区母牛护犊行为检测方法
WO2021085806A1 (ko) 가축사양표준에 기초한 가축사양관리 가이드 제공 방법
CN115349459A (zh) 一种智能猪舍监控系统
CN107909692A (zh) 一种基于类脑开发感知捕捉分析系统
CN116963595A (zh) 猪饲养辅助装置、猪饲养辅助方法以及猪饲养辅助程序
WO2021182695A1 (ko) 가축의 설사 탐지 및 설사 위험도 예측 시스템 및 그 이용 방법
KR20230026006A (ko) 축사 내 승가행위 감시 시스템 및 감시 방법
WO2023229327A1 (ko) 영상 기반 군집 개체들의 군집 행동 패턴 분석 장치 및 방법
KR20090090489A (ko) 통계적 분석을 통한 가축의 전염병관리시스템 및 그 방법
WO2018043765A1 (ko) 동물 발정 감지 방법 및 이를 수행하기 위한 장치
WO2024058630A1 (ko) 영상 기반 가축의 재고 관리 장치 및 방법