WO2024058630A1 - 영상 기반 가축의 재고 관리 장치 및 방법 - Google Patents

영상 기반 가축의 재고 관리 장치 및 방법 Download PDF

Info

Publication number
WO2024058630A1
WO2024058630A1 PCT/KR2023/014022 KR2023014022W WO2024058630A1 WO 2024058630 A1 WO2024058630 A1 WO 2024058630A1 KR 2023014022 W KR2023014022 W KR 2023014022W WO 2024058630 A1 WO2024058630 A1 WO 2024058630A1
Authority
WO
WIPO (PCT)
Prior art keywords
livestock
room
information
inventory management
individual
Prior art date
Application number
PCT/KR2023/014022
Other languages
English (en)
French (fr)
Inventor
전광명
신동해
주소현
Original Assignee
인트플로우 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인트플로우 주식회사 filed Critical 인트플로우 주식회사
Priority to EP23787001.9A priority Critical patent/EP4365797A1/en
Priority to US18/485,193 priority patent/US20240095670A1/en
Publication of WO2024058630A1 publication Critical patent/WO2024058630A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Definitions

  • the present invention relates to an image-based livestock inventory management device and method.
  • Korean Patent Registration No. 10-2101977 contains at least one of feed information for each livestock barn, individual status information, and environment/facility information.
  • Collecting raw livestock data including: a sensor node; Transmitting the collected livestock raw data to an analysis server where the smart livestock integrated management platform is stored based on a low-power wide area communication network; and generating monitoring information by analyzing the livestock raw data through the smart livestock integrated management platform.
  • the raw data of the existing invention is assumed to be collected through a sensor node encompassing feed level sensor, object sensor, and livestock house sensor, which means that sensors such as BLE, LORA, and RFID must be attached to each livestock.
  • sensors such as BLE, LORA, and RFID must be attached to each livestock.
  • This is applied to most livestock farms such as beef cattle, pig farming, and poultry farming, which have a large inventory, but has the disadvantage of being difficult to spread due to low economic feasibility.
  • the present invention is intended to solve the above-described problems, and its purpose is to provide a video-based livestock inventory management device and method that automatically determines the number of livestock animals in stock within a livestock farm and secures inventory information for the entire farm using this. there is.
  • an image-based livestock inventory management device includes a data transmission and reception module; Memory containing a video-based livestock inventory management program; and a processor that executes a program stored in a memory, wherein the program inputs images collected from at least one camera that captures images with the entrance of each livestock room set as one ROI area to the livestock object detection model to determine each livestock object. Detects and stores the coordinates of each detected livestock individual cumulatively to track the movement status of each livestock individual, and counts the entry and exit behavior of each livestock individual at the entrance and exit of each livestock room for each ROI area to determine the entry and exit status of each livestock room. It generates information and provides inventory information including the initial value of the number of livestock animals housed in each livestock room and the real-time number of livestock animals for each livestock room based on entry and exit status information.
  • a livestock inventory management method using an image-based livestock inventory management device includes (a) images collected from at least one camera that captures an image with the entrance of each livestock room set as one ROI area, Detecting each livestock entity by inputting it into an entity detection model; (b) tracking the movement status of each detected livestock individual by accumulating and storing the coordinates of each detected livestock individual; (c) counting the entry and exit behavior of each livestock individual at the entrance of each livestock room for each ROI area to generate entry/exit status information for each livestock room; and (d) providing inventory information including the initial value of the number of livestock individuals accommodated in each livestock room and the real-time number of livestock individuals for each livestock room based on entry and exit status information.
  • it has the advantage of being able to manage inventory without causing harm to the animals because it does not come into contact with any physical devices on the surface or inside of the animals.
  • it can be especially useful for inventory management of livestock animals with a large number of managed animals, such as pig farming and poultry farming.
  • Figure 1 is a block diagram showing the configuration of an image-based livestock inventory management device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing detailed components of an image-based livestock inventory management device according to an embodiment of the present invention.
  • Figure 3 is a diagram schematically showing the plan of a livestock house in which a plurality of cameras are installed with ROI areas for the entrance and exit of each livestock room according to an embodiment of the present invention.
  • Figures 4a and 4b are diagrams for explaining a livestock entity detection model of the image-based livestock inventory management device according to an embodiment of the present invention.
  • 5 and 6 are diagrams for explaining a user interface according to an embodiment of the present invention.
  • Figure 7 is a flow chart illustrating an image-based livestock inventory management method according to an embodiment of the present invention.
  • Figure 1 is a block diagram showing the configuration of an image-based livestock inventory management device according to an embodiment of the present invention.
  • the image-based livestock inventory management device 100 may include a plurality of cameras 10, a data transmission/reception module 120, a processor 130, a memory 140, and a database 150.
  • the data transmission/reception module 120 may receive an image captured by the camera 10 with the entrance 20 of each livestock room set as one ROI area and transmit it to the processor 130.
  • the data transmitting and receiving module 120 may be a device that includes hardware and software necessary to transmit and receive signals such as control signals or data signals through wired or wireless connections with other network devices.
  • the processor 130 executes the program stored in the memory 140 and performs the following processing according to the execution of the image-based livestock inventory management program.
  • the program detects each livestock individual by inputting images collected from at least one camera 10 that captures an image with the entrance 20 of each livestock room set as one ROI area to the livestock object detection model, and detects each detected livestock individual.
  • the center coordinates of each livestock individual are stored cumulatively to track the movement status of each livestock individual, and the entry and exit behavior of each livestock individual is counted at the entrance and exit of each livestock room for each ROI area to generate entry/exit status information for each livestock room. It provides inventory information including the real-time number of livestock for each livestock room based on the initial value of the number of livestock contained in the livestock room and access status information.
  • the entrance to the livestock room where groups of animals in similar breeding stages are usually reared is set as the ROI area, but the ROI area is not limited to this, and is not limited to the moving in/out corridor or shipping area. It can be a big deal. This can be set in various ways depending on the species of animals raised on the farm, breeding size, facility structure, breeding method, etc.
  • This processor 130 may include all types of devices capable of processing data. For example, it may refer to a data processing device built into hardware that has a physically structured circuit to perform a function expressed by code or instructions included in a program. Examples of data processing devices built into hardware include a microprocessor, central processing unit (CPU), processor core, multiprocessor, and application-specific (ASIC). It may encompass processing devices such as integrated circuits and FPGAs (field programmable gate arrays), but the scope of the present invention is not limited thereto.
  • An image-based livestock inventory management program is stored in the memory 140.
  • This memory 140 stores various types of data generated during the execution of an operating system for driving the image-based livestock inventory management device 100 or an image-based livestock inventory management program.
  • the memory 140 refers to a non-volatile storage device that continues to retain stored information even when power is not supplied, and a volatile storage device that requires power to maintain the stored information.
  • the memory 140 may perform a function of temporarily or permanently storing data processed by the processor 130.
  • the memory 140 may include magnetic storage media or flash storage media in addition to volatile storage devices that require power to maintain stored information, but the scope of the present invention is limited thereto. It doesn't work.
  • the database 150 stores or provides data necessary for the image-based livestock inventory management device 100 under the control of the processor 130.
  • the database 150 may input images collected from the camera 10 into a livestock object detection model and cumulatively store object detection data, movement state, and entry/exit state information of each detected livestock individual.
  • This database 150 may be included as a separate component from the memory 140 or may be built in a partial area of the memory 140.
  • FIG. 2 is a block diagram showing detailed components of an image-based livestock inventory management device according to an embodiment of the present invention
  • Figure 3 is a ROI area set for the entrance of each livestock room according to an embodiment of the present invention. This is a drawing schematically showing the plan of a livestock farm where multiple cameras are installed.
  • the processor 130 can perform various functions depending on the execution of the program. Depending on each function, the processor 130 includes an image acquisition unit 131, a livestock object detection unit 132, and a livestock object tracking unit. It may include detailed modules consisting of (133) and a livestock entity calculation unit (134).
  • the image acquisition unit 131 inputs images collected from at least one camera 10 that captures images of the entrance 20 of each livestock room as one ROI area to the livestock object detection model to detect each livestock individual. You can.
  • the camera 10 captures an image in which the entrance 20 of each livestock room provided in the livestock house is set as one ROI area, and the entrance 20 of a plurality of livestock rooms can be monitored. At least one may be placed in the movement passage. Additionally, the camera 10 may transmit an image captured at a predetermined angle of view within the search area to the data transmission/reception module 120.
  • the livestock entity detection unit 132 may detect each livestock entity by inputting the images collected from the camera 10 into the livestock entity detection model.
  • a deep learning-based livestock object detection model that has been customized for each livestock species can be used.
  • object detection models such as CNN, YoLo, RetinaNet, SDD, and RCNN
  • object detection models with changed neural networks and loss functions to improve accuracy for each axis type can be used.
  • the livestock entity detection model may include a component that estimates the direction the livestock body faces in order to consistently measure the body surface size and a component that prevents size measurement errors due to livestock behavior.
  • FIGS. 4A and 4B are diagrams for explaining the livestock object detection model of the image-based livestock inventory management device according to an embodiment of the present invention, where FIG. 4A shows the image corresponding to A shown in FIG. 3. It is a drawing.
  • the livestock object detection model is learned using training data labeling state information for each type of livestock object and an outline placed adjacent to the body area of each livestock object included in the input image.
  • each livestock individual can be detected for the input image, and status information of the detected livestock individual can be output.
  • the outline may be set to a square or an oval.
  • the outline in the training data of the livestock object detection model, may be set to a square indicating the bounding box of the livestock object or an oval defined by the center point, the length of the major axis, and the length of the minor axis.
  • object detection data is information about an outline formed to fit the body area of a livestock individual detected for each livestock species in the image of the ROI area collected from the camera 10, including the coordinates (xc, yc) of the center point of the outline, bounding It may include the width of the box (w), the length of the outline (h), and the angle at which the outline is rotated with respect to the reference axis ( ⁇ ).
  • object detection data is location information (coordinates) representing keypoints of livestock individuals, such as the position of the end of the head of the livestock individual (nose), the position of the neck (neck), and the position of the end of the body (hip). may include.
  • the long axis of the oval is at 12 o'clock, it becomes the reference axis (0 degrees), and when it rotates counterclockwise about the reference axis, the direction in which the neck (nose, neck) of the livestock individual faces becomes the rotation axis,
  • the rotated angle ( ⁇ ) can be specified.
  • object detection data may additionally include information about the type (class) of the animal object detected in the image.
  • Information on the types of livestock individuals includes different species of animals such as pigs, cows, goats, sheep, horses, etc., but is not limited thereto. For example, even within the same species, types can be distinguished by growth stage. In the case of pig farming, it can be divided into lactating piglets, weaning pigs, fostering pigs, fattening pigs, postgraduate pigs, pregnant pigs, and farrowing pigs.
  • the livestock object detection unit 132 can detect status information for each livestock object by inputting the images collected from the camera 10 into the livestock object detection model.
  • the livestock entity detection model can learn mortality information, which is an image of a dead livestock entity (carcass) being moved, as status information of the livestock entity.
  • death information includes scenes of movement of dead bodies that can be distinguished from the input image, such as scenes where dead bodies are dragged by people and scenes where dead bodies are moved in a cart.
  • the status information may be classified into the entry and exit status of livestock individuals, including death, entry, exit, etc., but is not limited to this.
  • the livestock entity calculation unit 134 which will be described later, can use the mortality information to calculate mortality history including the number and mortality rate of dead livestock individuals occurring in each livestock room.
  • the standard behavior for detecting status information distinguished by livestock individual detection may be set differently depending on the standard for measuring size for each livestock species.
  • the livestock entity tracking unit 133 accumulates and stores the center coordinates of each detected livestock entity, tracks the movement state of each livestock entity, and assigns an identification number (ID) to each livestock entity.
  • ID identification number
  • Each identified livestock individual can be tracked using the degree to which the center coordinates of each identified livestock individual are close to each other.
  • the livestock object tracking unit 133 uses conventional object tracking algorithms such as SORT (simple online and realtime tracking algorithm) based on the Hungarian algorithm, Deep SORT, and correlation-based tracking to detect livestock in each frame.
  • SORT simple online and realtime tracking algorithm
  • Deep SORT Deep SORT
  • correlation-based tracking By tracking the degree of overlap between object areas using a Kalman filter, it is possible to determine whether the detection result between both frames is of the same object.
  • the program tracks the entry and exit behavior of each identified livestock individual using a path including the time and movement state through which the center coordinates of each identified livestock individual pass through the coordinates of the ROI area. can do.
  • the program can generate entry/exit status information for each livestock room by counting the entry and exit behavior of each livestock individual at the entrance of each livestock room for each ROI area.
  • the livestock entity calculation unit 134 calculates the entry status information as the number of increase information if the cumulative center coordinates of each livestock object are the path to enter the livestock room based on the coordinates of the ROI area, and the livestock room If the route exits from , the entry/exit status information can be calculated as number reduction information.
  • the entry status information is counted as entry (entry) into the livestock room if the center coordinate of the livestock object corresponds to the path of entering the livestock room after passing through the doorway (outer coordinates) included in each ROI area, If the center coordinates of the livestock individual correspond to the path of exit from the livestock room to the entrance, it can be counted as an exit (exit) from the livestock room.
  • the program aggregates the entry/exit status information of each livestock room or the status information of each livestock individual and provides inventory information including the real-time number of livestock individuals for each livestock room through the user interface. It can be provided through .
  • inventory information may include the real-time number of livestock for each livestock room, livestock movement history and death history, including information on the time of entry or exit.
  • 5 and 6 are diagrams for explaining a user interface according to an embodiment of the present invention.
  • the user interface 110 includes an input interface for inputting an initial value of the number of livestock individuals accommodated in each livestock room.
  • the input interface includes the type of work divided into moving in, moving out, and joining, details on the work, identification information for each farm (e.g., piglet house number 1), and identification information for each livestock room (e.g., piglet house number 1).
  • Room 1 may include an area to input information such as the number of livestock individuals, weight, work start time, schedule (date), breeding stage (e.g., piglets), and breed.
  • the user interface 110 includes a first area 111 that provides the real-time number of livestock individuals for each livestock room, a work schedule calendar including a move-in or move-out schedule (movement history) for each livestock room, and a task list. It may include a second area 112 that provides a second area 112 and a third area 113 that provides mortality history including the number of deaths of livestock individuals in each livestock room.
  • the present invention analyzes the inventory information of livestock individuals accumulated in the database for each branch of multiple farms or each livestock room and provides the inventory number, movement history, and mortality rate for each farm or livestock room through the user interface 110. can do.
  • Figure 7 is a flow chart illustrating an image-based livestock inventory management method according to an embodiment of the present invention.
  • the livestock inventory management method using a video-based livestock inventory management device inputs images collected from at least one camera 10 that captures images with the entrance 20 of each livestock room set as one ROI area to the livestock object detection model.
  • the livestock inventory management method of the present invention may provide a user interface 110 for inputting an initial value of the number of livestock individuals accommodated in each livestock room.
  • the user interface 110 provides inventory information, and the inventory information may include the real-time number of livestock for each livestock room, livestock movement history and mortality history, including information on the time of entry or exit.
  • the livestock object detection model is a model learned using training data labeling state information for each type of livestock object and an outline placed adjacent to the body area of each livestock object included in the input image. It is possible to detect an individual and output status information of the detected livestock individual.
  • step S140 based on the center coordinates of the ROI area, if the center coordinates of each livestock entity are the path to enter the livestock room, the entry status information is calculated as the number of increase information, and if the path is to exit the livestock room, the entry status information is calculated as the number of increase information. It can be calculated using reduction information.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may include computer storage media. Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Signal Processing (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치는 데이터 송수신 모듈; 영상 기반 가축의 재고 관리 프로그램이 저장된 메모리; 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 각 가축방의 출입구가 하나의 ROI 영역으로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출하고, 검출된 각 가축 개체의 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하고, ROI 영역 별 각 가축방의 출입구에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 각 가축방의 출입 상태 정보를 생성하고, 각 가축방에 수용된 가축 개체 두수의 초기값과 출입 상태 정보에 기초한 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 제공한다.

Description

영상 기반 가축의 재고 관리 장치 및 방법
본 발명은 영상 기반 가축의 재고 관리 장치 및 방법에 대한 것이다.
일반적으로, 축사에서 사육되는 가축은 입식, 전입, 전출, 출산 또는 폐사 등을 원인으로 개체 두수의 증감이 빈번하게 발생한다. 이로 인한 보고의 지연 또는 누락 등 다양한 원인으로 인하여 집계 현황에 오류가 발생할 수 있다. 이와 같은 개체 두수 관리는 축산 농장에서 사료, 인력, 설비 등 투입비용 산출과 사육, 출하 계획의 수립을 위한 기본정보로서, 매우 중요하다. 한편 전 세계의 경제규모의 성장에 따라 축산업은 사육규모가 늘어나고 관련 인력은 줄어드는 추세에 접어들어 사람의 목측을 통한 재고두수 측정 및 관리가 어려운 실정이다.
이와 관련하여, 기존의 가축 관리 방법으로서, 한국 특허등록 제 10-2101977호(발명의 명칭: 스마트 축산 통합 관리 플랫폼 운영 방법)는 축사 별 사료 정보, 개체의 상태 정보 및 환경/시설 정보 중 하나 이상을 포함하는 축산 로우 데이터를 센서노드를 통해 수집하는 단계; 저전력 광역 통신망에 기초하여 상기 수집된 축산 로우 데이터를 상기 스마트 축산 통합 관리 플랫폼이 저장된 분석 서버로 전송하는 단계; 및 상기 스마트 축산 통합 관리 플랫폼을 통해 상기 축산 로우 데이터를 분석한 모니터링 정보를 생성하는 것을 개시한다.
그러나, 기존 발명의 로우 데이터는 사료레벨 센서, 개체 센서, 축사 센서를 아우르는 센서노드를 통해 취합되는 것을 가정하는데, 이는 가축 한 마리 별로 BLE, LORA, RFID 등의 센서를 부착해야 하는 것을 의미하고, 이는 재고두수가 많은 육우, 양돈, 양계 등 대부분의 축산에 적용하는데 경제성이 떨어져 확산이 어렵다는 단점이 있다.
본 발명은 전술한 문제점을 해결하기 위한 것으로, 축산 농가 내 가축동물의 재고 두수를 자동으로 파악하고 이를 이용한 농장 전체의 재고정보를 확보하는 영상 기반 가축의 재고 관리 장치 및 방법을 제공하는 데 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치는 데이터 송수신 모듈; 영상 기반 가축의 재고 관리 프로그램이 저장된 메모리; 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 각 가축방의 출입구가 하나의 ROI 영역으로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출하고, 검출된 각 가축 개체의 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하고, ROI 영역 별 각 가축방의 출입구에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 각 가축방의 출입 상태 정보를 생성하고, 각 가축방에 수용된 가축 개체 두수의 초기값과 출입 상태 정보에 기초한 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 제공한다.
본 발명의 다른 실시예에 따른 영상 기반 가축의 재고 관리 장치를 이용한 가축 재고 관리 방법은 (a) 각 가축방의 출입구가 하나의 ROI 영역으로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출하는 단계; (b) 검출된 각 가축 개체의 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하는 단계; (c) ROI 영역 별 각 가축방의 출입구에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 각 가축방의 출입 상태 정보를 생성하는 단계; 및 (d) 각 가축방에 수용된 가축 개체 두수의 초기값과 출입 상태 정보에 기초한 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 제공하는 단계를 포함한다.
전술한 본원의 과제 해결 수단 중 어느 하나에 의하면, 일일이 가축 몸이나 인근 장치에 센서를 부착해야 했던 기존 방법과 달리 농장 내 사육 밀도가 높아져도 사육 영역에 카메라를 설치하는 것만으로도 가축동물의 전체 재고두수를 파악할 수 있다.
특히 동물의 표면 혹은 내부에 어떠한 물리적 장치를 접촉하지 않으므로 동물에 위해를 가하지 않고 재고관리 할 수 있다는 장점이 있다. 즉 양돈, 양계 등 관리 개체 두수가 많은 가축 동물의 재고관리에 특히 요긴하게 활용할 수 있다.
더불어 실시간 재고현황 정보를 통해 정확히 필요한 사료지급량을 예측할 수 있으므로 사료지급의 낭비나 부족 없이 정량 지급이 가능하여 사료허실을 낮추고 투입비용 대비 수익성을 최적화 할 수 있다.
또한 현장의 폐사두수 역시 실시간으로 파악 가능하므로 가축감염병 확산을 비롯한 현장의 문제를 적시에 인지하고 골든타임에 대책을 강구할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치의 세부 구성 요소를 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 각 가축방의 출입구에 대한 ROI 영역이 설정된 복수의 카메라가 설치된 축사의 평면을 개략적으로 도시한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치의 가축 개체 검출 모델을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 사용자 인터페이스를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 방법을 도시한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치의 구성을 도시한 블록도이다.
도 1을 참조하면 영상 기반 가축의 재고 관리 장치(100)는 복수의 카메라(10), 데이터 송수신 모듈(120), 프로세서(130), 메모리(140) 및 데이터베이스(150)를 포함할 수 있다.
데이터 송수신 모듈(120)은 카메라(10)가 각 가축방의 출입구(20)가 하나의 ROI 영역으로 설정하여 촬영한 영상을 수신하여 프로세서(130)로 전송할 수 있다.
데이터 송수신 모듈(120)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
프로세서(130)는 메모리(140)에 저장된 프로그램을 실행하되, 영상 기반 가축의 재고 관리 프로그램의 실행에 따라 다음과 같은 처리를 수행한다.
프로그램은, 각 가축방의 출입구(20)가 하나의 ROI 영역으로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출하고, 검출된 각 가축 개체의 중심 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하고, ROI 영역 별 각 가축방의 출입구에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 각 가축방의 출입 상태 정보를 생성하고, 각 가축방에 수용된 가축 개체 두수의 초기값과 출입 상태 정보에 기초한 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 제공한다.
본 발명에서는 가축 개체의 재고 관리를 위한 사육관리지점으로서, 비슷한 사육단계에 있는 동물 집단들이 평소에 사육되는 가축방의 출입구를 ROI 영역으로 설정하고 있으나, 이에 한정된 것은 아니며, 전입/전출 복도, 혹은 출하대일 수 있다. 이는 농장의 사육 동물의 종, 사육규모, 시설물 구조, 사육 방법 등에 따라 다양하게 설정될 수 있다.
이러한 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이 크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(140)에는 영상 기반 가축의 재고 관리 프로그램이 저장된다. 이러한 메모리(140)에는 영상 기반 가축의 재고 관리 장치(100)의 구동을 위한 운영 체제나 영상 기반 가축의 재고 관리 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다.
이때, 메모리(140)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
또한, 메모리(140)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(140)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(150)는 프로세서(130)의 제어에 따라, 영상 기반 가축의 재고 관리 장치(100)에 필요한 데이터를 저장 또는 제공한다. 예시적으로, 데이터베이스(150)는 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 검출한 각 가축 개체의 객체 검출 데이터, 이동상태 및 출입 상태 정보를 누적적으로 저장할 수 있다. 이러한 데이터베이스(150)는 메모리(140)와는 별도의 구성 요소로서 포함되거나, 또는 메모리(140)의 일부 영역에 구축될 수도 있다.
이하, 각 가축방 별 가축의 재고 관리를 위한 구체적인 과정은 도 2 내지 도 6을 참조하여 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치의 세부 구성 요소를 도시한 블록도이고, 도 3은 본 발명의 일 실시예에 따른 각 가축방의 출입구에 대한 ROI 영역이 설정된 복수의 카메라가 설치된 축사의 평면을 개략적으로 도시한 도면이다.
도2에 도시된 바와 같이, 프로세서(130)는 프로그램의 실행에 따라, 다양한 기능을 수행할 수 있는 데, 각 기능에 따라 영상획득부(131), 가축개체 검출부(132), 가축개체 추적부(133) 및 가축개체 연산부(134)로 구성된 세부 모듈들을 포함할 수 있다.
영상획득부(131)는 각 가축방의 출입구(20)를 하나의 ROI 영역으로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출할 수 있다.
예시적으로, 도 3을 참조하면 카메라(10)는 축사 내에 구비된 각 가축방의 출입구(20)가 하나의 ROI 영역으로 설정된 영상을 촬영하며, 복수의 가축방의 출입구(20)가 모니터링될 수 있는 이동 통로에 적어도 하나 이상 배치될 수 있다. 또한 카메라(10)는 탐색 영역 내에서 소정의 화각으로 촬영한 영상을 데이터 송수신 모듈(120)에 송신할 수 있다.
가축개체 검출부(132)는 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출할 수 있다.
예시적으로, 가축개체 검출부(132)의 구동을 위해서는 축종별 맞춤 훈련이 진행된 딥러닝 기반의 가축 개체 검출 모델을 활용할 수 있다. 예를 들어, CNN, YoLo, RetinaNet, SDD, RCNN 등 종래의 개체검출 모델과 축종별 정확성을 개선하기 위해 신경망 및 손실함수가 변경된 형식의 개체 검출 모델 모두 활용 가능하다.
여기서, 가축은 일반 사물과 달리 계속 움직이며 다양한 행동 양상을 띤다. 따라서, 가축 개체 검출 모델은 몸통 표면 크기를 일정하게 측정하기 위해서 가축의 몸통이 향하는 방향을 추정하는 구성과 가축 행동에 따른 크기측정 오차를 방지하는 구성을 포함할 수 있다.
이하, 가축 개체 검출 모델에 대하여 구체적으로 설명하도록 한다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 장치의 가축 개체 검출 모델을 설명하기 위한 도면이고, 이때 도 4a는 도 3에 도시된 A에 해당하는 영상을 도시한 도면이다.
도 4a 및 도 4b를 참조하면, 가축 개체 검출 모델은 입력된 영상에 포함된 각 가축 개체의 몸통 영역에 인접하도록 배치되는 외곽선과 각 가축 개체의 종류별로 상태 정보를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 입력된 영상에 대하여 각 가축 개체를 검출하고, 검출된 가축 개체의 상태 정보를 출력할 수 있다.
예시적으로, 가축 개체 검출 모델에서 외곽선은 사각형 또는 타원으로 설정될 수 있다. 일 예로, 도 4b에 도시된 바와 같이, 가축 개체 검출 모델의 훈련 데이터에서 외곽선은 가축 개체의 경계박스를 가리키는 사각형 또는 중심점, 장축의 길이 및 단축의 길이로 정의되는 타원형으로 설정될 수 있다.
일 예로, 객체 검출 데이터는 카메라(10)로부터 수집된 ROI 영역의 영상에서 각 축종 별로 검출한 가축 개체의 몸통 영역에 적합하도록 형성된 외곽선에 대한 정보로서, 외곽선의 중심점 좌표(xc, yc), 바운딩박스의 너비(w), 외곽선의 길이(h) 및 기준축에 대해 외곽선이 회전한 각도(θ)를 포함할 수 있다. 또한, 객체 검출 데이터는 가축 개체의 특징점(keypoint)을 나타내는 위치 정보(좌표)로서, 가축 개체의 머리의 단부의 위치(nose), 목의 위치(neck) 및 몸통의 단부의 위치(hip) 등을 포함할 수 있다. 예를 들어, 타원의 장축이 12시 방향인 경우, 기준축(0도)이 되고, 기준축을 기준으로 반시계 방향으로 회전하여 가축 개체의 목덜미(nose, neck)가 향하는 방향이 회전축이 되어, 회전한 각도(θ)가 지정될 수 있다.
또한, 객체 검출 데이터는 영상에서 검출한 동물 개체의 종류(class)에 대한 정보를 추가로 포함할 수 있다. 가축 개체의 종류에 대한 정보로는 돼지, 소, 염소, 양, 말 등과 같이 서로 다른 종의 동물로 구분되나, 이에 한정된 것은 아니다. 예를 들면, 동일한 종에서도 생장단계별로 종류가 구분될 수 있다. 양돈의 경우 포유자돈, 이유자돈, 육성돈, 비육돈, 후보돈, 임신돈, 분만돈 등으로 종류를 구분할 수 있다.
가축개체 검출부(132)는 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체 별 상태 정보를 검출할 수 있다.
다른 예로, 가축 개체 검출 모델은 죽은 가축 개체(폐사체)가 이동되는 영상인 폐사 정보를 가축 개체의 상태 정보로 학습할 수 있다. 예를 들어, 폐사 정보는 사람에 의해, 폐사체가 끌려가는 장면 및 폐사체가 수레에 담겨서 이동되는 장면 등 입력 영상에서 구분이 가능한 폐사체 이동 장면을 포함한다.
일 예로, 상태 정보는 폐사, 입장, 퇴장 등을 포함하는 가축 개체의 출입 상태로 구분될 수 있으나, 이에 한정된 것은아니다.
즉 후술하는 가축개체 연산부(134)는 폐사 정보를 이용하여, 각 가축방 별로 발생하는 죽은 가축 개체의 두수 및 폐사율을 포함하는 폐사 이력을 산출할 수 있다.
한편, 상기 언급된 모델 구조 외에 본 발명의 가축 개체의 상태 정보 및 객체 검출 목적을 위한 새로운 구조를 제시하여 훈련하는 것 역시 가능하다. 다만, 가축 개체 검출이 구분하는 상태 정보를 검출하기 위한 기준행동은 축종 마다 크기를 측정하는 기준에 따라 다르게 설정될 수 있다.
다시 도2를 참조하면, 가축개체 추적부(133)는 검출된 각 가축 개체의 중심 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하며, 각 가축 개체 별로 식별 번호(ID)를 부여하고, 식별된 각 가축 개체의 중심 좌표가 서로 인접한 정도를 이용하여 각 가축 개체를 추적할 수 있다.
일 예로, 가축개체 추적부(133)는 헝가리안 알고리즘에 기인한 SORT(simple online and realtime tracking algorithm), Deep SORT 및 상관도 기반 추적 등 종래의 개체추적 알고리즘을 이용하여, 매 프레임마다 검출된 가축 개체의 영역간 겹침 정도를 칼만 필터(Kalman filter)로 추적하여 양 프레임 간의 검출 결과가 동일 개체의 것인지 아닌지 판단할 수 있다.
프로그램은 각 가축 개체의 출입 상태를 판별하기 위해, 식별된 각 가축 개체의 중심 좌표가 ROI 영역의 좌표를 통과하는 시간 및 이동상태를 포함한 경로를 이용하여 각 가축 개체의 입장 행위 및 퇴장 행위를 추적할 수 있다.
또한, 프로그램은 ROI 영역 별 각 가축방의 출입구에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 각 가축방의 출입 상태 정보를 생성할 수 있다.
다시, 도2를 참조하면 가축개체 연산부(134)는 ROI 영역의 좌표를 기초로 각 가축 개체의 누적 중심 좌표가 가축방으로 입장하는 경로이면 출입 상태 정보를 두수의 증가 정보로 산출하고, 가축방으로부터 퇴장하는 경로이면 출입 상태 정보를 두수의 감소 정보로 산출할 수 있다.
예를 들어, 출입 상태 정보는 가축 개체의 중심 좌표가 각 ROI 영역에 포함된 출입구(외곽 좌표들)를 통과한 후 가축방으로 입장하는 경로에 해당하면 해당 가축방의 전입(입장)으로 카운팅하고, 가축 개체의 중심 좌표가 가축방으로부터 출입구로 퇴장하는 경로에 해당하면 해당 가축방의 전출(퇴장)로 카운팅할 수 있다.
즉, 프로그램은 각 가축방 별로 수용된 가축 개체 두수의 초기값을 기초로, 각 가축방의 출입 상태 정보 또는 각 가축 개체의 상태 정보를 집계하여 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 사용자 인터페이스를 통해 제공할 수 있다.
예를 들어, 재고정보는 각 가축방 별 실시간 가축 개체 두수, 입장 행위 또는 퇴장 행위의 시간 정보를 포함한 가축 이동 이력 및 폐사 이력을 포함할 수 있다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 사용자 인터페이스를 설명하기 위한 도면이다.
예시적으로, 도 5를 참조하면 사용자 인터페이스(110)는 각 가축방 별로 수용되는 가축 개체 두수의 초기값을 입력하는 입력 인터페이스를 포함한다.
예를 들어, 입력 인터페이스는 전입, 전출 및 입사 등으로 구분되는 작업 종류, 작업에 대한 세부정보, 각 농장 식별 정보(예를 들어 자돈사 1번), 각 가축방 식별정보(예를 들어, 자돈방 1번), 가축 개체의 두수, 무게, 작업 시작 시간, 일정(날짜), 사육단계(예를 들어, 자돈), 품종 등의 정보를 입력하는 영역을 포함할 수 있다.
도 6을 참조하면 사용자 인터페이스(110)는 각 가축방 별 실시간 가축 개체 두수를 제공하는 제1영역(111), 각 가축방 별 전입 또는 전출 일정(이동 이력)을 포함한 작업 일정 캘린더 및 작업 목록을 제공하는 제2영역(112) 및 각 가축방 별 가축 개체의 폐사 두수를 포함한 폐사 이력을 제공하는 제3영역(113)을 포함할 수 있다.
따라서, 본 발명은 다수의 농장의 지점 또는 각 가축방 별로 데이터베이스에 누적된 가축 개체의 재고정보를 분석하여 각 농장 또는 가축방 별 재고두수, 이동 이력, 및 폐사율을 사용자 인터페이스(110)를 통해 제공할 수 있다.
이하에서는 상술한 도 1 내지 도 6에 도시된 구성 중 동일한 구성의 설명은 생략하도록 한다.
도 7은 본 발명의 일 실시예에 따른 영상 기반 가축의 재고 관리 방법을 도시한 순서도이다.
영상 기반 가축의 재고 관리 장치를 이용한 가축 재고 관리 방법은 각 가축방의 출입구(20)가 하나의 ROI 영역으로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출하는 단계(S110), 검출된 각 가축 개체의 중심 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하는 단계(S120), ROI 영역 별 각 가축방의 출입구(20)에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 각 가축방의 출입 상태 정보를 생성하는 단계(S130) 및 각 가축방에 수용된 가축 개체 두수의 초기값과 출입 상태 정보에 기초한 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 제공하는 단계(S140)를 포함한다.
S110 단계 이전에 본 발명의 가축 재고 관리 방법은 각 가축방 별로 수용되는 가축 개체 두수의 초기값을 입력하는 사용자 인터페이스(110)를 제공할 수 있다.
또한 사용자 인터페이스(110)는 재고정보를 제공하되, 재고정보는 각 가축방 별 실시간 가축 개체 두수, 입장 행위 또는 퇴장 행위의 시간 정보를 포함한 가축 이동 이력 및 폐사 이력을 포함할 수 있다.
가축 개체 검출 모델은 입력된 영상에 포함된 각 가축 개체의 몸통 영역에 인접하도록 배치되는 외곽선과 각 가축 개체의 종류별로 상태 정보를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 영상에 대하여 각 가축 개체를 검출하고, 검출된 가축 개체의 상태 정보를 출력할 수 있다.
S140 단계는 ROI 영역의 중심 좌표를 기초로 각 가축 개체의 중심 좌표가 가축방으로 입장하는 경로이면 출입 상태 정보를 두수의 증가 정보로 산출하고, 가축방으로부터 퇴장하는 경로이면 출입 상태 정보를 두수의 감소 정보로 산출할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 영상 기반 가축의 재고 관리 장치에 있어서,
    데이터 송수신 모듈;
    영상 기반 가축의 재고 관리 프로그램이 저장된 메모리; 및
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
    상기 프로그램은, 각 가축방의 출입구가 하나의 ROI 영역으로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출하고, 검출된 각 가축 개체의 중심 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하고, 상기 ROI 영역 별 상기 각 가축방의 출입구에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 상기 각 가축방의 출입 상태 정보를 생성하고, 상기 각 가축방에 수용된 가축 개체 두수의 초기값과 상기 출입 상태 정보에 기초한 상기 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 제공하는, 가축 재고 관리 장치.
  2. 제1항에 있어서,
    상기 프로그램은, 상기 각 가축방 별로 수용되는 가축 개체 두수의 초기값을 입력하는 사용자 인터페이스를 제공하는 것인, 가축 재고 관리 장치.
  3. 제2항에 있어서,
    상기 사용자 인터페이스는 상기 재고정보를 제공하되,
    상기 재고정보는 상기 각 가축방 별 실시간 가축 개체 두수, 상기 입장 행위 또는 퇴장 행위의 시간 정보를 포함한 가축 이동 이력 및 폐사 이력을 포함하는 것인, 가축 재고 관리 장치.
  4. 제1항에 있어서,
    상기 가축 개체 검출 모델은 상기 입력된 영상에 포함된 각 가축 개체의 몸통 영역에 인접하도록 배치되는 외곽선과 각 가축 개체의 종류별로 상태 정보를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 상기 영상에 대하여 각 가축 개체를 검출하고, 검출된 가축 개체의 상태 정보를 출력하는 것인, 가축 재고 관리 장치.
  5. 제1항에 있어서,
    상기 프로그램은 상기 ROI 영역의 좌표를 기초로 상기 각 가축 개체의 중심 좌표가 가축방으로 입장하는 경로이면 상기 출입 상태 정보를 두수의 증가 정보로 산출하고, 가축방으로부터 퇴장하는 경로이면 상기 출입 상태 정보를 두수의 감소 정보로 산출하는 것인, 가축 재고 관리 장치.
  6. 영상 기반 가축의 재고 관리 장치를 이용한 가축 재고 관리 방법에 있어서,
    (a) 각 가축방의 출입구가 하나의 ROI 영역으로 설정된 영상을 촬영하는 적어도 하나 이상의 카메라로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체를 검출하는 단계;
    (b) 검출된 각 가축 개체의 중심 좌표를 누적 저장하여 각 가축 개체의 이동상태를 추적하는 단계;
    (c) 상기 ROI 영역 별 상기 각 가축방의 출입구에서 각 가축 개체의 입장 행위와 퇴장 행위를 계수하여 상기 각 가축방의 출입 상태 정보를 생성하는 단계; 및
    (d) 상기 각 가축방에 수용된 가축 개체 두수의 초기값과 상기 출입 상태 정보에 기초한 상기 각 가축방 별 실시간 가축 개체 두수를 포함한 재고정보를 제공하는 단계를 포함하는, 가축 재고 관리 방법.
  7. 제6항에 있어서,
    상기 (a) 단계 이전에
    상기 각 가축방 별로 수용되는 가축 개체 두수의 초기값을 입력하는 사용자 인터페이스를 제공하는 것인, 가축 재고 관리 방법.
  8. 제7항에 있어서,
    상기 사용자 인터페이스는 상기 재고정보를 제공하되,
    상기 재고정보는 상기 각 가축방 별 실시간 가축 개체 두수, 상기 입장 행위 또는 퇴장 행위의 시간 정보를 포함한 가축 이동 이력 및 폐사 이력을 포함하는 것인, 가축 재고 관리 방법.
  9. 제6항에 있어서,
    상기 가축 개체 검출 모델은 상기 입력된 영상에 포함된 각 가축 개체의 몸통 영역에 인접하도록 배치되는 외곽선과 각 가축 개체의 종류별로 상태 정보를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 상기 영상에 대하여 각 가축 개체를 검출하고, 검출된 가축 개체의 상태 정보를 출력하는 것인, 가축 재고 관리 방법.
  10. 제6항에 있어서,
    상기 (d) 단계는
    상기 ROI 영역의 좌표를 기초로 상기 각 가축 개체의 중심 좌표가 가축방으로 입장하는 경로이면 상기 출입 상태 정보를 두수의 증가 정보로 산출하고, 가축방으로부터 퇴장하는 경로이면 상기 출입 상태 정보를 두수의 감소 정보로 산출하는 것인, 가축 재고 관리 방법.
PCT/KR2023/014022 2022-09-16 2023-09-18 영상 기반 가축의 재고 관리 장치 및 방법 WO2024058630A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP23787001.9A EP4365797A1 (en) 2022-09-16 2023-09-18 Image-based livestock inventory management device and method
US18/485,193 US20240095670A1 (en) 2022-09-16 2023-10-11 Device and method for inventory management of livestock based on image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0117005 2022-09-16
KR1020220117005A KR20240038329A (ko) 2022-09-16 2022-09-16 영상 기반 가축의 재고 관리 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/485,193 Continuation US20240095670A1 (en) 2022-09-16 2023-10-11 Device and method for inventory management of livestock based on image

Publications (1)

Publication Number Publication Date
WO2024058630A1 true WO2024058630A1 (ko) 2024-03-21

Family

ID=90275408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/014022 WO2024058630A1 (ko) 2022-09-16 2023-09-18 영상 기반 가축의 재고 관리 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20240038329A (ko)
WO (1) WO2024058630A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935036A (ja) * 1995-07-19 1997-02-07 Matsushita Electric Ind Co Ltd 動物検知センサおよび動物頭数管理システム
KR20160044835A (ko) * 2014-10-16 2016-04-26 렉스젠(주) 가축 관리 시스템 및 그 방법
JP2017194760A (ja) * 2016-04-18 2017-10-26 株式会社スカイシーカー 動物生息状況調査方法および動物生息状況調査システム
KR102101977B1 (ko) 2017-08-21 2020-05-29 제이씨스퀘어주식회사 스마트 축산 통합 관리 플랫폼 운영 방법
KR102264281B1 (ko) * 2020-12-31 2021-06-14 한국축산데이터 주식회사 농업회사법인 축사 영상을 이용한 가축 체중 추정 시스템 및 방법
KR20220068711A (ko) * 2020-11-19 2022-05-26 인트플로우 주식회사 영상 기반 가축의 급이 행동 분석 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935036A (ja) * 1995-07-19 1997-02-07 Matsushita Electric Ind Co Ltd 動物検知センサおよび動物頭数管理システム
KR20160044835A (ko) * 2014-10-16 2016-04-26 렉스젠(주) 가축 관리 시스템 및 그 방법
JP2017194760A (ja) * 2016-04-18 2017-10-26 株式会社スカイシーカー 動物生息状況調査方法および動物生息状況調査システム
KR102101977B1 (ko) 2017-08-21 2020-05-29 제이씨스퀘어주식회사 스마트 축산 통합 관리 플랫폼 운영 방법
KR20220068711A (ko) * 2020-11-19 2022-05-26 인트플로우 주식회사 영상 기반 가축의 급이 행동 분석 장치 및 방법
KR102264281B1 (ko) * 2020-12-31 2021-06-14 한국축산데이터 주식회사 농업회사법인 축사 영상을 이용한 가축 체중 추정 시스템 및 방법

Also Published As

Publication number Publication date
KR20240038329A (ko) 2024-03-25

Similar Documents

Publication Publication Date Title
Wurtz et al. Recording behaviour of indoor-housed farm animals automatically using machine vision technology: A systematic review
JP7274787B2 (ja) 家畜の監視
KR102506029B1 (ko) 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법
Guzhva et al. Now you see me: Convolutional neural network based tracker for dairy cows
KR102165891B1 (ko) 축산 데이터 분석 기반 농가 상태 진단 시스템
KR102522239B1 (ko) 영상 기반 가축의 급이 행동 분석 장치 및 방법
US20230276773A1 (en) Systems and methods for automatic and noninvasive livestock health analysis
KR102341715B1 (ko) 가축 모니터링 장치 및 방법
CN111310596A (zh) 一种动物患病状态监测系统及方法
Wang et al. IoT-based measurement system for classifying cow behavior from tri-axial accelerometer
CN113711944B (zh) 一种母猪发情鉴定方法、装置及系统
Noe et al. Automatic detection and tracking of mounting behavior in cattle using a deep learning-based instance segmentation model
CA3230401A1 (en) Systems and methods for the automated monitoring of animal physiological conditions and for the prediction of animal phenotypes and health outcomes
KR20210004184A (ko) 마킹 정보의 식별 기반의 가축 관리 방법 및 이를 수행하는 컴퓨팅 장치와 서버
CN115250950A (zh) 一种基于人工智能的畜禽养猪场巡检方法及系统
WO2024058630A1 (ko) 영상 기반 가축의 재고 관리 장치 및 방법
WO2021182684A1 (ko) 가축의 개체별 이상 징후 포착 시스템 및 그 이용 방법
JP2011135786A (ja) 自動体重選別装置およびプログラム
US20240095670A1 (en) Device and method for inventory management of livestock based on image
Bastiaansen et al. Continuous real-time cow identification by reading ear tags from live-stream video
Labrecque et al. Real-time individual pig tracking and behavioural metrics collection with affordable security cameras
KR20230033068A (ko) 축산 동물의 행동 패턴을 기반으로 한 스마트 축사 관리 시스템 및 방법
CA3200086A1 (en) A system and method for tracing members of an animal population
Gu et al. A two-stage recognition method based on deep learning for sheep behavior
CN113743261A (zh) 一种猪体外伤的检测方法、装置和可读存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2023787001

Country of ref document: EP

Effective date: 20231020