KR102506029B1 - 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법 - Google Patents

영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR102506029B1
KR102506029B1 KR1020200151104A KR20200151104A KR102506029B1 KR 102506029 B1 KR102506029 B1 KR 102506029B1 KR 1020200151104 A KR1020200151104 A KR 1020200151104A KR 20200151104 A KR20200151104 A KR 20200151104A KR 102506029 B1 KR102506029 B1 KR 102506029B1
Authority
KR
South Korea
Prior art keywords
livestock
size
image
entity
growth trend
Prior art date
Application number
KR1020200151104A
Other languages
English (en)
Other versions
KR102506029B9 (ko
KR20220064712A (ko
Inventor
전광명
Original Assignee
인트플로우 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인트플로우 주식회사 filed Critical 인트플로우 주식회사
Priority to KR1020200151104A priority Critical patent/KR102506029B1/ko
Publication of KR20220064712A publication Critical patent/KR20220064712A/ko
Application granted granted Critical
Publication of KR102506029B1 publication Critical patent/KR102506029B1/ko
Publication of KR102506029B9 publication Critical patent/KR102506029B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Husbandry (AREA)
  • Environmental Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Mining & Mineral Resources (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Agronomy & Crop Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 영상 기반 가축 개체 성장 추이 모니터링 장치는 데이터 송수신 모듈; 영상 기반 가축 개체 성장 추이 모니터링 프로그램이 저장된 메모리; 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 각 가축방에 할당된 적어도 하나 이상의 카메라를 통해 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체의 크기를 검출하고, 각 가축방별로 가축 개체의 크기를 군집화하고, 각 가축 개체의 크기 정보를 기초로 성장 추이 정보를 생성하되, 가축 개체 검출 모델은 가축방의 상부에서 각 가축을 조감(bird view)하는 방향으로 촬영한 영상에 각 가축의 몸통 영역에 인접하도록 배치되는 외곽선, 각 가축의 회전 각도 및 각 가축의 행동 상태와 각 가축 개체의 크기를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 입력된 영상에 대하여 각 가축 개체가 기립한 상태에서의 각 가축 개체의 크기 값을 출력한다.

Description

영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법{APPARATUS AND METHOD FOR MONITORING GROWING PROGRESS OF LIVESTOCK INDIVIDUAL BASED ON IMAGE}
본 발명은 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법에 대한 것이다.
농장의 규모화에 따라 가축 수가 늘면서 가축 집단의 성장주기를 미세관리하는 것이 어려운 문제가 되고 있다. 이와 같은 가축 관리의 전산화를 위한 종래의 방법으로는 RFID 방식의 이표를 가축의 귀, 목 등에 부착하여 카운팅 하는 방법이 있다.
하지만 이표 부착 방식은 이표와 이표 판독장치간의 통신거리가 짧아 개체 수를 자동으로 카운팅 하는데 한계가 있고, 가축 개체마다 일일이 직접 부착시켜줘야 하므로 개체 수 증가에 따른 비용과 노력이 선형적으로 늘어난다. 이러한 연유로 상대적으로 개체 수가 적은 한우의 관리에는 이표가 활발히 활용되고 있지만, 돼지나 닭 등 개체수가 많은 축종의 경우 이표를 통한 개체관리는 매우 어렵다고 할 수 있다.
근래에는 영상처리 기술의 발달로 영상분석을 통한 가축 개체 탐지 방법도 제안되고 있으나, 복잡한 축사환경에서의 정확한 개체검출 및 카운팅이 어려워 확산되지 않은 실정이다. 또한 이 방법은 개체별 크기정보의 추출 및 활용이 누락되어 있어 가축의 성장속도 분석을 파악할 수 없다는 단점이 있다.
이와 관련하여, 기존의 영상분석을 통한 가축 개체 탐지 방법으로서, 한국 특허등록 제10-1720708호(발명의 명칭: 축사내 개체 탐지 장치 및 방법)는 축사의 천장에서 바닥 방향으로 복수의 개체를 촬영한 영상을 획득하는 영상획득부, 획득된 영상이 저장되는 저장부, 저장부에 저장된 영상에서, 노이즈를 제거하고 이진화된 영상 프레임을 생성하는 영상 처리부, 및 이진화 영상 프레임을 비교하여, 움직이는 개체들 중 서로 인접한 개체들을 탐색하고, 인접한 개체를 개별적으로 분리하여 탐지하는 개체 탐지부를 포함한다. 이때, 개체 탐지부는 인접한 개체가 탐색된 현재 프레임의 각각의 개체에 대한 위치 정보 및 현재 프레임 바로 이전 프레임의 각각의 위치 정보의 교집합을 현재 프레임의 위치 정보에 합산하여 합성 프레임을 생성하고, 합성 프레임에 영역 확장 기법을 사용하여 서로 인접한 개체들을 개별적으로 분리한다.
본 발명은 전술한 문제점을 해결하기 위한 것으로, 축산 농가에 설치된 카메라에서 취득한 영상정보를 활용하여 가축 집단의 성장 속도를 측정하는 방법에 관한 것으로, 축사 내 설치된 카메라에 촬영된 가축을 개체 별로 검출하고 추적하며, 이 정보로부터 매일의 크기 변화를 측정하여 가축집단 별 성장속도를 측정하는 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법을 제공하는데 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 영상 기반 가축 개체 성장 추이 모니터링 장치는 데이터 송수신 모듈; 영상 기반 가축 개체 성장 추이 모니터링 프로그램이 저장된 메모리; 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 각 가축방에 할당된 적어도 하나 이상의 카메라를 통해 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체의 크기를 검출하고, 각 가축방별로 가축 개체의 크기를 군집화하고, 각 가축 개체의 크기 정보를 기초로 성장 추이 정보를 생성하되, 가축 개체 검출 모델은 가축방의 상부에서 각 가축을 조감(bird view)하는 방향으로 촬영한 영상에 각 가축의 몸통 영역에 인접하도록 배치되는 외곽선, 각 가축의 회전 각도 및 각 가축의 행동 상태와 각 가축 개체의 크기를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 입력된 영상에 대하여 각 가축 개체가 기립한 상태에서의 각 가축 개체의 크기 값을 출력한다.
가축 개체 검출 모델은 각 가축방 중 가축 개체의 급이를 위해 특정된 장소에서 촬영된 영상을 기준으로 각 가축 개체의 크기 값을 출력한다.
가축 개체 검출 모델은 훈련 데이터에서 외곽선은 중심점, 장축의 길이 및 단축의 길이로 정의되는 타원으로 설정되는 것이고, 가축 개체 검출 모델은 사각형의 외곽선으로 출력되는 출력 데이터를 타원형 데이터에 맞게 변환한다.
프로그램은 가축 개체의 급이를 위해 특정된 장소에서 각 시점별로 촬영된 영상을 기반으로 출력된 개체 크기 값과 타 위치에서 각 시점별로 촬영된 영상을 기반으로 출력된 각 시점별 개체 크기 값의 비율을 나타내는 크기 측정 보정비를 산출하고, 각 시점별로 여러 위치의 크기 측정 보정비를 평균한 평균 크기 측정 보정비를 산출하고, 각 가축개체의 특정 시점에서의 크기 정보는 평균 크기 측정 보정비와 크기 측정 보정비를 곱한 값에 기초하여 특정하고, 각 시점에서의 가축 개체의 크기 정보를 군집화한 결과를 포함하는 가축의 성장 추이 정보를 생성한다.
프로그램은 사용자 인터페이스를 통해 군집화된 각 가축 개체의 크기에 대한 통계 정보를 생성하여 제공하거나, 가축방 별로 가축 개체의 크기 정보를 시계열적으로 나열하여 표시한다.
프로그램은 각 가축 개체의 크기가 미리 설정된 임계치에 도달하여 각 가축 개체의 이동 또는 출하 작업이 필요한 경우, 이동 또는 출하 작업에 대한 알림을 표시한다.
본 발명의 다른 실시예에 따른 영상 기반 가축 개체 성장 추이 모니터링 방법은 (a) 각 가축방에 할당된 적어도 하나 이상의 카메라를 통해 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체의 크기를 검출하는 단계; 및 (b) 각 가축방별로 가축 개체의 크기를 군집화하고, 각 가축 개체의 크기 정보를 기초로 성장 추이 정보를 생성하는 단계를 포함하되, 가축 개체 검출 모델은 가축방의 상부에서 각 가축을 조감(bird view)하는 방향으로 촬영한 영상에 각 가축의 몸통 영역에 인접하도록 배치되는 외곽선, 각 가축의 회전 각도 및 각 가축의 행동 상태와 각 가축 개체의 크기를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 입력된 영상에 대하여 각 가축 개체가 기립한 상태에서의 각 가축 개체의 크기 값을 출력한다.
가축 개체 검출 모델은 각 가축방 중 가축 개체의 급이를 위해 특정된 장소에서 촬영된 영상을 기준으로 각 가축 개체의 크기 값을 출력한다.
가축 개체 검출 모델은 훈련 데이터에서 외곽선은 중심점, 장축의 길이 및 단축의 길이로 정의되는 타원으로 설정되는 것이고, 가축 개체 검출 모델은 사각형의 외곽선으로 출력되는 출력 데이터를 타원형 데이터에 맞게 변환한다.
(b) 단계는 가축 개체의 급이를 위해 특정된 장소에서 각 시점별로 촬영된 영상을 기반으로 출력된 개체 크기 값과 타 위치에서 각 시점별로 촬영된 영상을 기반으로 출력된 각 시점별 개체 크기 값의 비율을 나타내는 크기 측정 보정비를 산출하는 단계; 각 시점별로 여러 위치의 크기 측정 보정비를 평균한 평균 크기 측정 보정비를 산출하는 단계; 각 가축개체의 특정 시점에서의 크기 정보는 평균 크기 측정 보정비와 크기 측정 보정비를 곱한 값에 기초하여 특정하는 단계; 및 각 시점에서의 가축 개체의 크기 정보를 군집화한 결과를 포함하는 가축의 성장 추이 정보를 생성하는 단계를 포함한다.
사용자 인터페이스를 통해 군집화된 각 가축 개체의 크기에 대한 통계 정보를 생성하여 제공하거나, 가축방 별로 가축 개체의 크기 정보를 시계열적으로 나열하여 표시하는 단계를 더 포함한다.
각 가축 개체의 크기가 미리 설정된 임계치에 도달하여 각 가축 개체의 이동 또는 출하 작업이 필요한 경우, 이동 또는 출하 작업에 대한 알림을 표시하는 단계를 더 포함한다.
전술한 본원의 과제 해결 수단 중 어느 하나에 의하면, 종래의 RFID 방식이나 단순 영상분석 기술로는 얻기 어려웠던 농장 내 가축 자산의 생장 단계별 재고를 실시간으로 파악할 수 있다.
특히 농가당 가축의 수가 매우 많은 낙농, 양돈, 양계 등 주요 축산업 분야에서 가축 집단의 성장 단계별 개체수와 성장 추이를 파악하고 출하 일정을 예측할 수 있다는 장점이 있다.
더불어, 향후, 본 발명을 활용하여 축산농가의 재고 두수 관리 및 농장 경영 최적화를 위한 비용 산출, 실시간 재고 증빙을 통한 보험금 및 대출금 산출 등 축산 농가 경영에 현실적인 도움이 되는 가축 성장 배경 정보 생성에 활용될 것으로 기대된다.
도 1은 본 발명의 일 실시예에 따른 영상 기반 가축 개체 성장 추이 모니터링 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 가축 집단의 생애주기별 분류 및 카운팅 방법을 설명하기 위한 영상 기반 가축 개체 성장 추이 모니터링 장치의 구조도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 가축 개체 검출 모델을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 카메라가 배치된 복수의 가축방으로 구성된 축사의 평면을 개략적으로 도시한 것으로서, 가축 개체 별 크기 측정 및 군집을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 기반 가축 개체 성장 추이 모니터링 방법을 도시한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 기반 가축 개체 성장 추이 모니터링 장치의 구성을 도시한 블록도이다.
도1에 도시된 바와 같이 영상 기반 가축 개체 성장 추이 모니터링 장치(100)는 복수의 카메라(10), 데이터 송수신 모듈(120), 프로세서(130), 메모리(140) 및 데이터베이스(150)를 포함할 수 있다.
카메라(10)는 축사 내에 구비된 복수의 가축방(1)을 모니터링 하도록 각 가축방(1)에 적어도 하나가 할당될 수 있다. 또한 카메라(10)는 탐색 영역 내에서 소정의 화각으로 촬영한 영상을 데이터 송수신 모듈(120)에 송신할 수 있다.
데이터 송수신 모듈(120)은 카메라(10)가 소정의 화각으로 촬영한 영상을 수신하여 프로세서(130)로 전송할 수 있다.
데이터 송수신 모듈(120)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
프로세서(130)는 메모리(140)에 저장된 프로그램을 실행하되, 영상 기반 가축 개체 성장 추이 모니터링 프로그램의 실행에 따라 다음과 같은 처리를 수행한다.
프로그램은, 각 가축방에 할당된 적어도 하나 이상의 카메라(10)를 통해 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체의 크기를 검출하고, 각 가축방별로 가축 개체의 크기를 군집화하고, 각 가축 개체의 크기 정보를 기초로 성장 추이 정보를 생성한다. 가축 개체 검출 모델은 가축방의 상부에서 각 가축을 조감(bird view)하는 방향으로 촬영한 영상에 각 가축의 몸통 영역에 인접하도록 배치되는 외곽선, 각 가축의 회전 각도 및 각 가축의 행동 상태와 각 가축 개체의 크기를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 입력된 영상에 대하여 각 가축 개체가 기립한 상태에서의 각 가축 개체의 크기 값을 출력할 수 있다. 여기서, 가축 집단의 생애주기별 분류 및 개체수 카운팅을 위한 구체적인 과정은 도 2를 참조하여 후술하도록 한다.
이러한 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이 크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(140)에는 영상 기반 가축 개체 성장 추이 모니터링 프로그램이 저장된다. 이러한 메모리(140)에는 영상 기반 가축 개체 성장 추이 모니터링 장치(100)의 구동을 위한 운영 체제나 영상 기반 가축 개체 성장 추이 모니터링 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다.
이때, 메모리(140)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
또한, 메모리(140)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(140)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(150)는 프로세서(130)의 제어에 따라, 영상 기반 가축 개체 성장 추이 모니터링 장치(100)에 필요한 데이터를 저장 또는 제공한다. 예시적으로, 데이터베이스(150)는 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 검출한 각 가축 개체의 크기 정보를 저장할 수 있다. 이러한 데이터베이스(150)는 메모리(140)와는 별도의 구성 요소로서 포함되거나, 또는 메모리(140)의 일부 영역에 구축될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 가축 집단의 생애주기별 분류 및 카운팅 방법을 설명하기 위한 영상 기반 가축 개체 성장 추이 모니터링 장치의 구조도이다.
도2에 도시된 바와 같이, 영상 기반 가축 개체 성장 추이 모니터링 장치(100)는 영상획득부(131), 축산개체 검출부(132), 축산개체 추적부(133), 촬영구간별 크기 측정보정비 계산부(134) 및 가축크기 별 군집부(135)로 구성된 프로그램을 실행할 수 있다.
영상획득부(131)는 각 가축방(1a)에 할당된 적어도 하나 이상의 카메라(10)를 통해 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체의 크기를 검출할 수 있다. 예시적으로, 카메라(10)는 가축방(1a)의 상부에서 각 가축을 조감(bird view)하는 방향으로 촬영한 영상을 수집할 수 있다.
축산개체 검출부(132)는 카메라(10)로부터 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축방(1a) 별로 가축 개체의 크기를 군집화하고, 각 가축 개체의 크기 정보를 기초로 성장 추이 정보를 생성할 수 있다.
예시적으로, 축산개체 검출부(132)의 구동을 위해서는 축종별로 맞춤 훈련이 진행된 딥러닝 기반의 가축 개체 검출 모델을 활용할 수 있다.
여기서, 가축은 일반 사물과 달리 계속 움직이며 다양한 행동 양상을 띤다. 따라서, 가축 개체 검출 모델은 몸통 표면 크기를 일정하게 측정하기 위해서 가축의 몸통이 향하는 방향을 추정하는 구성과 가축 행동에 따른 크기측정 오차를 방지하는 구성을 포함할 수 있다.
이하, 가축 개체 검출 모델에 대하여 구체적으로 설명하도록 한다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 가축 개체 검출 모델을 설명하기 위한 도면이다. 도 5는 본 발명의 일 실시예에 따른 카메라가 배치된 복수의 가축방으로 구성된 축사의 평면을 개략적으로 도시한 것으로서, 가축 개체 별 크기 측정 및 군집을 설명하기 위한 도면이다.
도 3 내지 도5를 참조하면, 가축 개체 검출 모델은 가축방(1a)의 상부에서 각 가축을 조감하는 방향으로 촬영한 영상에 각 가축의 몸통 영역에 인접하도록 배치되는 외곽선, 각 가축의 회전 각도 및 각 가축의 행동 상태와 각 가축 개체의 크기를 라벨링한 훈련 데이터를 이용하여 학습된 모델이며, 입력된 영상에 대하여 각 가축 개체가 기립한 상태에서의 각 가축 개체의 크기 값을 출력할 수 있다.
구체적으로, 가축 개체 검출 모델은 각 가축방(1a) 중 가축 개체의 급이를 위해 특정된 장소(급이영역)에서 촬영된 영상을 기준으로 각 가축 개체의 크기 값을 출력할 수 있다.
도4에 도시된 바와 같이, 가축 개체 검출 모델은 훈련 데이터에서 외곽선은 중심점, 장축의 길이 및 단축의 길이로 정의되는 타원으로 설정되는 것이고, 가축 개체 검출 모델은 사각형의 외곽선으로 출력되는 출력 데이터를 타원형 데이터에 맞게 변환할 수 있다. 예를 들어, 외곽선은 타원으로 설정될 수 있으나, 이에 한정된 것은 아니며 외곽선 자체가 사각형 일 수도 있다.
예시적으로, 타원형 개체 검출 시에 카메라의 화각 기준과 가축의 몸통이 향하는 방향을 추정함에 따라, 가축이 향하는 방향에 강건하게 몸통의 표면 크기를 일정하게 측정할 수 있다. 또한, 가축의 행동 상태를 서있음, 앉아있음, 옆으로 누워있음 등 다양하게 정의 한 후, 한 가지 행동상태를 보일 시에만 그 크기를 측정함에 따라, 가축 행동에 따른 크기측정 오차를 방지할 수 있다.
일 예로, 도3을 참조하면 가축의 몸통 퍼짐이 없고 다리영역을 과하게 잡지 않는 서있음(Standing) 상태인 경우에 대해서만 그 검출 영역을 개체의 크기로 인지하여 측정에 활용할 수 있다. 이는 마치 사람이 키를 측정하는데 있어 반듯한 자세에서 측정한 결과만이 유의미한 것과 같은 것을 의미한다. 또한, 가축 개체의 측정 크기 값은 회전 직사각형(회전 객체)의 면적을 계산하여 산출할 수 있다.
일 예로, 도 4를 참조하면, 가축 개체 검출 모델은 소나 돼지 등 축종 별로 어노테이션(annotation)된 이미지 데이터로 학습할 수 있다. 각 가축방에 설치된 카메라(10)로부터 각 축종의 다양한 각도에서의 모습을 영상으로 수집하고, 프레임 단위로 추출하여 이미지화 한 후, 해당 이미지 내의 가축 개체의 영역을 표현하는 타원 범위 및 행동 상태를 (cx, cy, rw, rh, Θ, s) 로 표현할 수 있다.
예를 들어, 타원의 장축이 3시 방향을 향할 때를 0도로 기준잡고, 반시계방향으로 돌리며, 가축의 목덜미(경추)가 향하는 방향을 기준으로 잡아 각도(Θ)를 지정할 수 있다.
일 예로, 가축 개체의 행동 상태(s)는 기본적으로 서있음(stand), 앉아있음(sitting), 옆으로 누움(lateral lying), 앞으로 누움(sternal lying), 승가(mounting)의 5종의 행동 단계로 구분될 수 있다.
다른 예로, 행동 상태는 상술한 5종의 행동 단계에 한정되는 것은 아니며, 가축의 종류 및 추적 목적에 따라 축산 전문가의 지도하에 더 세분화하여 어노테이션을 진행할 수 있다.
상술한 가축 객체의 다중 포즈(행동 상태) 구분 및 회전객체 검출을 위해서는 알려진 RetinaNet이나 YoLo, SSD 등 one-stage 객체검출 신경망의 출력 노드 부분을 수정하는 형태로 개발이 가능하다.
예를 들어, RetinaNet, YoLo, SSD 등 객체검출 신경망들은 보통 백본(Backbone) 과 헤드(head)로 구성되며, 백본은 특징을 추출하는 부분이고 헤드는 출력값을 도출하는 부분이다. 여기서, 일반적인 객체검출 신경망들은 주로 직사각형 형태의 경계박스(bounding box)을 뽑기 때문에 (x1, y1, x2 ,y2, s) 의 형태로 데이터를 표현한다.
하지만 본 발명은 가축 개체의 행동 상태 검출에 최적화된 타원 형태를 검출 하므로 (cx, cy, rw, rh, Θ, s) 의 형태로 데이터를 표현하고, 이를 신경망에 반영하기 위해서는 객체검출 신경망의 헤드의 출력노드를 타원형 데이터 표현식에 맞게 수정한다.
상기 언급된 모델 구조 외에 본 발명의 포즈 구분(가축 행동 분류) 및 객체 검출 목적을 위한 새로운 구조를 제시하여 훈련하는 것 역시 가능하다.
다만, 개체 검출이 구분하는 행동 분류의 종류 및 크기를 측정하기 위한 기준행동은 축종 및 성장 단계마다 크기를 측정하는 기준에 따라 다르게 설정될 수 있다.
다시 도2를 참조하면 카메라(10)의 설치위치 및 렌즈의 굴절 특성 등으로 인해 동일한 가축도 화각 내 위치에 따라 검출 크기가 달라질 수 있다. 이를 보완하기 위해, 축산개체 추적부(133)는 한번 상태가 검출된 개체의 움직임을 화각 내에서 최대한 추적하며 해당 위치에서의 측정 크기를 인지할 수 있다.
일 예로, 축산개체 추적부(133)는 통상적으로 널리 알려진 SORT(simple online and realtime tracking algorithm)을 이용하여, 매 프레임마다 검출된 축산 개체의 영역간 겹침 정도를 칼만 필터(Kalman filter)로 추적하여 양 프레임 간의 검출 결과가 동일 개체의 것인지 아닌지 판단할 수 있다.
촬영구간별 크기 측정보정비 계산부(134)는 가축 개체의 급이를 위해 특정된 장소에서 각 시점별로 촬영된 영상을 기반으로 출력된 개체 크기 값과 타 위치에서 각 시점별로 촬영된 영상을 기반으로 출력된 각 시점별 개체 크기 값의 비율을 나타내는 크기 측정 보정비를 산출하고, 각 시점별로 여러 위치의 크기 측정 보정비를 평균한 평균 크기 측정 보정비를 산출할 수 있다. 이때, 각 가축개체의 특정 시점에서의 크기 정보는 평균 크기 측정 보정비와 크기 측정 보정비를 곱한 값에 기초하여 특정할 수 있다.
예시적으로, 촬영구간별 크기 측정보정비 계산부(134)는 모든 가축이 24시간 중 적어도 1회 이상 방문하는 급이영역에서 측정된 크기를 해당 개체의 기준 크기로 하며 동일 개체의 이동에 따른 크기 변화는 하기의 <수식1>에 의해 산출할 수 있다.
<수식1>
Figure 112020121301521-pat00001
여기서,
Figure 112020121301521-pat00002
는 i 번째 가축개체가 t번째 시점에서 개체검출부(132)로부터 급이영역에서 각각 인지된 기준 측정 크기와 w, h를 중심점으로 지니는 영역에서 각각 인지된 측정 크기를 의미한다. 또한,
Figure 112020121301521-pat00003
는 i번째 개체가 t번째 시점에서 (w, h) 위치에 있을때의 크기 측정 보정비를 의미한다. 이때 (w, h)는 검출된 가축개체의 센터(center)값 (cx, cy)를 의미한다.
하나의 가축방 방 안에서 다수의 개체가 움직이며 측정된 다수의 가축개체에 대한 평균을 통해 해당 화각 내에서의 위치별 측정 보정비 배열은 하기의 <수식2>와 같이 정의된다.
<수식2>
Figure 112020121301521-pat00004
여기서, Cw,h는
Figure 112020121301521-pat00005
이 측정된 총 횟수를 의미한다.
각 가축방별 i 번째 가축개체의 t 시점에서의 크기 정보는 하기의 <수식3>으로 표현될 수 있다.
<수식3>
Figure 112020121301521-pat00006
다수의 가축방에서 각각 검출된 가축개체 크기정보는 데이터베이스(150)에 실시간으로 취합 기록될 수 있다. 즉, 가축크기 별 군집부(135)는 각 가축방별로 모인
Figure 112020121301521-pat00007
는 군집 알고리즘을 통해 크기 별로 자동 분류될 수 있다.
이때, 사용 가능한 분류 알고리즘으로는 K-평균 클러스터링, DBSCAN 및 이들의 변형 형태의 알고리즘을 활용할 수 있다. 군집 포인트의 수는 농장의 필요에 따라 성장단계의 수를 설정할 수 있다.
도5를 참조하면 가축크기 별 군집부(135)에 의해, 각 시점에서의 가축 개체의 크기 정보를 군집화한 결과를 포함하는 가축의 성장 추이 정보를 생성할 수 있다.
예시적으로, 가축크기 별 군집부(135)는 가축 개체 검출 모델을 통해 제1 가축방(1a) 및 제2가축방(1b)에 각각 할당된 카메라(10)로부터 수집된 영상을 기초로 각 가축 개체의 크기를 측정하고, 이에 기초하여 가축 개체 별 크기 정보를 군집화할 수 있다.
이를 통해, 도2 및 도5에 도시된 바와 같이, 프로그램은 사용자 인터페이스를 통해 군집화된 각 가축 개체의 크기에 대한 통계 정보를 생성하여 제공하거나, 가축방 별로 가축 개체의 크기 정보를 시계열적으로 나열하여 표시할 수 있다. 따라서, 사용자는 상술한 가축 개체 검출 모델을 통해 군집화된 가축 개체 별 크기 정보 및 이를 기초로 생성된 후술하는 성장 단계별 알림 정보 및 성장 추이 정보를 사용자 인터페이스를 통해 제공받을 수 있다.
또한, 프로그램은 각 가축 개체의 크기가 미리 설정된 임계치에 도달하여 각 가축 개체의 이동 또는 출하 작업이 필요한 경우, 이동 또는 출하 작업에 대한 알림을 표시할 수 있다.
예시적으로, 프로그램은 가축 개체의 크기별 군집 정보를 통해 성장단계별 재고관리, 성장 추이 분석, 그리고 성장단계별 작업 알림 (이동/출하) 등의 응용 기능을 제공할 수 있다.
여기서, 성장 단계별 재고관리는 크기별 군집정보를 바탕으로 현재 농가의 성장 단계별 가축 두수를 실시간으로 표출해 주는 기능을 의미하며, 사용자 인터페이스를 통해 표시될 수 있다.
또한, 사용자 인터페이스는 성장추이 분석 기능을 통해, 매일 측정되는 각 가축방별 가축 개체의 크기 정보를 연속적으로 기록하여 각 가축방별로 가축 개체들의 성장 추이를 표시할 수 있으며, 목표 성장추이와의 비교를 통해 각 가축방별 운영 상황을 안내할 수 있다.
또한, 사용자 인터페이스는 성장단계별 작업 알림 기능을 통해 이동 또는 출하 작업에 해당하는 목표 성장치를 달성할 것으로 예측되는 가축방의 작업 일정을 미리 안내할 수 있으며, 작업일지 등과 연계관리 기능을 제공할 수 있다.
이하에서는 상술한 도 1 내지 도5에 도시된 구성 중 동일한 구성의 설명은 생략하도록 한다.
도 6은 본 발명의 일 실시예에 따른 영상 기반 가축 개체 성장 추이 모니터링 방법을 도시한 순서도이다.
도시된 바와 같이 본 발명의 다른 실시예에 따른 영상 기반 가축 개체 성장 추이 모니터링 방법은 각 가축방에 할당된 적어도 하나 이상의 카메라(10)를 통해 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체의 크기를 검출하는 단계(S110) 및 각 가축방별로 가축 개체의 크기를 군집화하고, 각 가축 개체의 크기 정보를 기초로 성장 추이 정보를 생성하는 단계(S120)를 포함한다.
이때, 가축 개체 검출 모델은 가축방의 상부에서 각 가축을 조감하는 방향으로 촬영한 영상에 각 가축의 몸통 영역에 인접하도록 배치되는 외곽선, 각 가축의 회전 각도 및 각 가축의 행동 상태와 각 가축 개체의 크기를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 입력된 영상에 대하여 각 가축 개체가 기립한 상태에서의 각 가축 개체의 크기 값을 출력할 수 있다.
또한 가축 개체 검출 모델은 각 가축방 중 가축 개체의 급이를 위해 특정된 장소에서 촬영된 영상을 기준으로 각 가축 개체의 크기 값을 출력할 수 있다.
그리고 가축 개체 검출 모델은 훈련 데이터에서 외곽선은 중심점, 장축의 길이 및 단축의 길이로 정의되는 타원으로 설정되는 것이고, 가축 개체 검출 모델은 사각형의 외곽선으로 출력되는 출력 데이터를 타원형 데이터에 맞게 변환할 수 있다.
S120단계는 가축 개체의 급이를 위해 특정된 장소에서 각 시점별로 촬영된 영상을 기반으로 출력된 개체 크기 값과 타 위치에서 각 시점별로 촬영된 영상을 기반으로 출력된 각 시점별 개체 크기 값의 비율을 나타내는 크기 측정 보정비를 산출하는 단계; 각 시점별로 여러 위치의 크기 측정 보정비를 평균한 평균 크기 측정 보정비를 산출하는 단계; 각 가축개체의 특정 시점에서의 크기 정보는 평균 크기 측정 보정비와 크기 측정 보정비를 곱한 값에 기초하여 특정하는 단계; 및 각 시점에서의 가축 개체의 크기 정보를 군집화한 결과를 포함하는 가축의 성장 추이 정보를 생성하는 단계를 포함할 수 있다.
본 발명의 영상 기반 가축 개체 성장 추이 모니터링 방법은 사용자 인터페이스를 통해 군집화된 각 가축 개체의 크기에 대한 통계 정보를 생성하여 제공하거나, 가축방 별로 가축 개체의 크기 정보를 시계열적으로 나열하여 표시하는 단계 및 각 가축 개체의 크기가 미리 설정된 임계치에 도달하여 각 가축 개체의 이동 또는 출하 작업이 필요한 경우, 이동 또는 출하 작업에 대한 알림을 표시하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 영상 기반 가축 개체 성장 추이 모니터링 장치
10: 카메라
120: 데이터 송수신 모듈
130: 프로세서
140: 메모리
150: 데이터베이스

Claims (12)

  1. 영상 기반 가축 개체 성장 추이 모니터링 장치에 있어서,
    데이터 송수신 모듈;
    영상 기반 가축 개체 성장 추이 모니터링 프로그램이 저장된 메모리; 및
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
    상기 프로그램은, 각 가축방에 할당된 적어도 하나 이상의 카메라를 통해 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체의 크기를 검출하고, 각 가축방별로 가축 개체의 크기를 군집화하고, 각 가축 개체의 크기 정보를 기초로 성장 추이 정보를 생성하되,
    상기 가축 개체 검출 모델은 가축방의 상부에서 각 가축을 조감(bird view)하는 방향으로 촬영한 영상에 포함된 각 가축의 몸통 영역에 인접하도록 배치되는 외곽선, 기준축에 대해 상기 외곽선이 회전한 각도인 각 가축의 회전 각도 및 각 가축의 행동 상태와 각 가축 개체의 크기를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 상기 입력된 영상에 대하여 각 가축 개체가 기립한 상태에서의 각 가축 개체의 크기 값을 출력하는 것이고,
    상기 가축 개체 검출 모델은 각 가축방 중 가축 개체의 급이를 위해 특정된 장소에서 촬영된 영상을 기준으로 각 가축 개체의 크기 값을 출력하되,
    상기 훈련 데이터에서 상기 외곽선은 중심점, 장축의 길이 및 단축의 길이로 정의되는 타원으로 설정되는 것이고,
    상기 가축 개체의 크기 값은 상기 외곽선의 면적인 것인, 영상 기반 가축 개체 성장 추이 모니터링 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 가축 개체 검출 모델은 사각형의 외곽선으로 출력되는 출력 데이터를 타원형 데이터에 맞게 변환하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 장치.
  4. 제1항에 있어서,
    상기 프로그램은 가축 개체의 급이를 위해 특정된 장소에서 각 시점별로 촬영된 영상을 기반으로 출력된 개체 크기 값과 타 위치에서 각 시점별로 촬영된 영상을 기반으로 출력된 각 시점별 개체 크기 값의 비율을 나타내는 크기 측정 보정비를 산출하고,
    각 시점별로 여러 위치의 크기 측정 보정비를 평균한 평균 크기 측정 보정비를 산출하고,
    각 가축개체의 특정 시점에서의 크기 정보는 상기 평균 크기 측정 보정비와 상기 크기 측정 보정비를 곱한 값에 기초하여 특정하고,
    상기 각 시점에서의 가축 개체의 크기 정보를 군집화한 결과를 포함하는 가축의 성장 추이 정보를 생성하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 장치.
  5. 제1항에 있어서,
    상기 프로그램은 사용자 인터페이스를 통해 군집화된 각 가축 개체의 크기에 대한 통계 정보를 생성하여 제공하거나,
    가축방 별로 가축 개체의 크기 정보를 시계열적으로 나열하여 표시하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 장치.
  6. 제1항에 있어서,
    상기 프로그램은 각 가축 개체의 크기가 미리 설정된 임계치에 도달하여 각 가축 개체의 이동 또는 출하 작업이 필요한 경우, 이동 또는 출하 작업에 대한 알림을 표시하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 장치.
  7. 영상 기반 가축 개체 성장 추이 모니터링 장치에 의해 수행되는 영상 기반 가축 개체 성장 추이 모니터링 방법에 있어서,
    (a) 상기 영상 기반 가축 개체 성장 추이 모니터링 장치가 각 가축방에 할당된 적어도 하나 이상의 카메라를 통해 수집된 영상을 가축 개체 검출 모델에 입력하여 각 가축 개체의 크기를 검출하는 단계; 및
    (b) 상기 영상 기반 가축 개체 성장 추이 모니터링 장치가 각 가축방별로 가축 개체의 크기를 군집화하고, 각 가축 개체의 크기 정보를 기초로 성장 추이 정보를 생성하는 단계를 포함하되,
    상기 가축 개체 검출 모델은 가축방의 상부에서 각 가축을 조감(bird view)하는 방향으로 촬영한 영상에 포함된 각 가축의 몸통 영역에 인접하도록 배치되는 외곽선, 기준축에 대해 상기 외곽선이 회전한 각도인 각 가축의 회전 각도 및 각 가축의 행동 상태와 각 가축 개체의 크기를 라벨링한 훈련 데이터를 이용하여 학습된 모델로서, 상기 입력된 영상에 대하여 각 가축 개체가 기립한 상태에서의 각 가축 개체의 크기 값을 출력하는 것이고,
    상기 가축 개체 검출 모델은 각 가축방 중 가축 개체의 급이를 위해 특정된 장소에서 촬영된 영상을 기준으로 각 가축 개체의 크기 값을 출력하되,
    상기 훈련 데이터에서 상기 외곽선은 중심점, 장축의 길이 및 단축의 길이로 정의되는 타원으로 설정되는 것이고,
    상기 가축 개체의 크기 값은 상기 외곽선의 면적인 것인, 영상 기반 가축 개체 성장 추이 모니터링 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 가축 개체 검출 모델은 사각형의 외곽선으로 출력되는 출력 데이터를 타원형 데이터에 맞게 변환하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 방법.
  10. 제7항에 있어서,
    상기 (b) 단계는
    가축 개체의 급이를 위해 특정된 장소에서 각 시점별로 촬영된 영상을 기반으로 출력된 개체 크기 값과 타 위치에서 각 시점별로 촬영된 영상을 기반으로 출력된 각 시점별 개체 크기 값의 비율을 나타내는 크기 측정 보정비를 산출하는 단계;
    각 시점별로 여러 위치의 크기 측정 보정비를 평균한 평균 크기 측정 보정비를 산출하는 단계;
    각 가축개체의 특정 시점에서의 크기 정보는 상기 평균 크기 측정 보정비와 상기 크기 측정 보정비를 곱한 값에 기초하여 특정하는 단계; 및
    상기 각 시점에서의 가축 개체의 크기 정보를 군집화한 결과를 포함하는 가축의 성장 추이 정보를 생성하는 단계를 포함하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 방법.
  11. 제7항에 있어서,
    사용자 인터페이스를 통해 군집화된 각 가축 개체의 크기에 대한 통계 정보를 생성하여 제공하거나,
    가축방 별로 가축 개체의 크기 정보를 시계열적으로 나열하여 표시하는 단계를 더 포함하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 방법.
  12. 제7항에 있어서,
    각 가축 개체의 크기가 미리 설정된 임계치에 도달하여 각 가축 개체의 이동 또는 출하 작업이 필요한 경우, 이동 또는 출하 작업에 대한 알림을 표시하는 단계를 더 포함하는 것인, 영상 기반 가축 개체 성장 추이 모니터링 방법.
KR1020200151104A 2020-11-12 2020-11-12 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법 KR102506029B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200151104A KR102506029B1 (ko) 2020-11-12 2020-11-12 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200151104A KR102506029B1 (ko) 2020-11-12 2020-11-12 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법

Publications (3)

Publication Number Publication Date
KR20220064712A KR20220064712A (ko) 2022-05-19
KR102506029B1 true KR102506029B1 (ko) 2023-03-07
KR102506029B9 KR102506029B9 (ko) 2023-06-09

Family

ID=81801127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200151104A KR102506029B1 (ko) 2020-11-12 2020-11-12 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102506029B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230163195A (ko) * 2022-05-23 2023-11-30 서울대학교산학협력단 영상 기반 군집 개체들의 군집 행동 패턴 분석 장치 및 방법
KR102470326B1 (ko) 2022-08-09 2022-11-25 주식회사 안심엘피씨 사육 효과를 개선하기 위한 가축의 성장 상태 분석 및 모니터링 방법, 장치 및 시스템
CN116843085B (zh) * 2023-08-29 2023-12-01 深圳市明心数智科技有限公司 淡水鱼生长监控方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019058752A1 (ja) * 2017-09-22 2019-03-28 パナソニックＩｐマネジメント株式会社 家畜情報管理システム、畜舎、家畜情報管理プログラム、および家畜情報管理方法
KR102014353B1 (ko) * 2018-12-11 2019-08-26 에이비주식회사 머신러닝 기반의 스마트팜 가축관리 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102140255B1 (ko) * 2018-12-27 2020-07-31 건국대학교 산학협력단 회전 가능한 타원형 모델을 이용한 딥러닝 기반의 영상 내 객체 추적 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019058752A1 (ja) * 2017-09-22 2019-03-28 パナソニックＩｐマネジメント株式会社 家畜情報管理システム、畜舎、家畜情報管理プログラム、および家畜情報管理方法
KR102014353B1 (ko) * 2018-12-11 2019-08-26 에이비주식회사 머신러닝 기반의 스마트팜 가축관리 시스템

Also Published As

Publication number Publication date
KR102506029B9 (ko) 2023-06-09
KR20220064712A (ko) 2022-05-19

Similar Documents

Publication Publication Date Title
KR102506029B1 (ko) 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법
Achour et al. Image analysis for individual identification and feeding behaviour monitoring of dairy cows based on Convolutional Neural Networks (CNN)
US10058076B2 (en) Method of monitoring infectious disease, system using the same, and recording medium for performing the same
CN108990831A (zh) 一种牲畜健康监控方法和系统
KR102522239B1 (ko) 영상 기반 가축의 급이 행동 분석 장치 및 방법
US11910784B2 (en) Animal visual identification, tracking, monitoring and assessment systems and methods thereof
KR101837027B1 (ko) 열화상 영상 기반의 슈퍼픽셀을 활용한 객체 추적 장치 및 방법
KR102584357B1 (ko) 반문 이미지를 기반으로 한 축산 동물의 개체 식별 장치 및 영상을 기반으로 한 가축 행동 패턴 분류 시스템 및 가축 행동 패턴 분류 방법
US20230260327A1 (en) Autonomous livestock monitoring
Noe et al. Automatic detection and tracking of mounting behavior in cattle using a deep learning-based instance segmentation model
Kuan et al. An imaging system based on deep learning for monitoring the feeding behavior of dairy cows
CA3230401A1 (en) Systems and methods for the automated monitoring of animal physiological conditions and for the prediction of animal phenotypes and health outcomes
CN111797831A (zh) 基于bim和人工智能的家禽进食并行异常检测方法
JP2023525193A (ja) 生体試料のトレーサビリティのための方法、システム、及びコンピュータプログラム
KR20210115204A (ko) 가축의 개체별 이상 징후 포착 시스템 및 그 이용 방법
KR102341715B1 (ko) 가축 모니터링 장치 및 방법
Smink et al. Computer Vision on the Edge: Individual Cattle Identification in Real-Time With ReadMyCow System
Alon et al. Machine vision-based automatic lamb identification and drinking activity in a commercial farm
US20240095670A1 (en) Device and method for inventory management of livestock based on image
Bastiaansen et al. Continuous real-time cow identification by reading ear tags from live-stream video
Molapo et al. Management and monitoring of livestock in the farm using deep learning
KR20240038329A (ko) 영상 기반 가축의 재고 관리 장치 및 방법
EP4187505A1 (en) A method and system for the identification of animals
Gao et al. UD-YOLOv5s: Recognition of cattle regurgitation behavior based on upper and lower jaw skeleton feature extraction
JP7384506B1 (ja) 学習による昆虫個体の識別装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]