KR102264281B1 - 축사 영상을 이용한 가축 체중 추정 시스템 및 방법 - Google Patents
축사 영상을 이용한 가축 체중 추정 시스템 및 방법 Download PDFInfo
- Publication number
- KR102264281B1 KR102264281B1 KR1020200189531A KR20200189531A KR102264281B1 KR 102264281 B1 KR102264281 B1 KR 102264281B1 KR 1020200189531 A KR1020200189531 A KR 1020200189531A KR 20200189531 A KR20200189531 A KR 20200189531A KR 102264281 B1 KR102264281 B1 KR 102264281B1
- Authority
- KR
- South Korea
- Prior art keywords
- livestock
- weight
- image
- weight estimation
- model
- Prior art date
Links
- 244000144972 livestock Species 0.000 title claims abstract description 420
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims description 29
- 238000012544 monitoring process Methods 0.000 claims description 22
- 238000013135 deep learning Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 241000282887 Suidae Species 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 238000009395 breeding Methods 0.000 description 4
- 230000001488 breeding effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241000283690 Bos taurus Species 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 241000272517 Anseriformes Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 235000021053 average weight gain Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 235000013330 chicken meat Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 235000015277 pork Nutrition 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000037221 weight management Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01G—WEIGHING
- G01G17/00—Apparatus for or methods of weighing material of special form or property
- G01G17/08—Apparatus for or methods of weighing material of special form or property for weighing livestock
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Mathematics (AREA)
- Economics (AREA)
- Evolutionary Biology (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Mining & Mineral Resources (AREA)
- Marine Sciences & Fisheries (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Animal Husbandry (AREA)
- Algebra (AREA)
- Agronomy & Crop Science (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 축사 영상을 이용한 가축 체중 추정 시스템에 관한 것으로서, 보다 구체적으로는 가축 체중 추정 시스템으로서, 축사에 설치된 카메라로부터 축사 영상을 수집해 저장하되, 상기 카메라의 각도에 따라 상면(top-view) 및 측면(side-view)의 축사 영상을 저장하는 데이터베이스부; 관리 대상 농가의 축사에 설치된 카메라에서 촬영한 축사 영상을 실시간으로 수집하는 영상 수집부; 딥러닝 기반의 가축 카운팅 모델을 이용해, 상기 영상 수집부가 수집한 상기 관리 대상 농가의 축사 영상으로부터 복수의 가축을 검출하고, 검출된 가축의 수를 추정하는 카운팅부; 및 딥러닝 기반의 체중 추정 모델을 이용해, 상기 카운팅부에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 체중 추정부를 포함하되, 상기 가축 카운팅 모델 및 체중 추정 모델은, 상기 데이터베이스부에 저장된 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 생성되며, 상기 카운팅부 및 체중 추정부는, 상기 가축 카운팅 모델 및 체중 추정 모델을 이용해, 상기 영상 수집부가 수집한 관리 대상 농가의 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 추정하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 축사 영상을 이용한 가축 체중 추정방법에 관한 것으로서, 보다 구체적으로는 가축 체중 추정방법으로서, (1) 축사에 설치된 카메라로부터 축사 영상을 수집해 저장하되, 상기 카메라의 각도에 따라 상면(top-view) 및 측면(side-view)의 축사 영상을 저장하는 데이터베이스부를 이용해, 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 가축 카운팅 모델 및 체중 추정 모델을 생성하는 단계; 및 (2) 상기 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용해, 실시간으로 수집한 관리 대상 농가의 축사에 설치된 카메라에서 촬영한 축사 영상으로부터 가축을 검출하고, 검출된 가축의 수 및 가축의 체중을 추정하는 단계를 포함하되, 상기 단계 (2)는, (2-1) 상기 가축 카운팅 모델을 이용해 상기 관리 대상 농가의 축사 영상으로부터 복수의 가축을 검출하고, 검출된 가축의 수를 추정하는 단계; 및 (2-2) 상기 체중 추정 모델을 이용해, 상기 단계 (2-1)에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 축사 영상을 이용한 가축 체중 추정 시스템 및 방법에 따르면, 축사에 설치된 카메라의 각도에 따라 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용하여, 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 정확하게 추정할 수 있고, 3D 카메라 등의 기기에 의존하지 않고 기존 축사에 설치된 CCTV 카메라를 활용해 자동으로 축사 내 가축의 체중을 추정하고 관리할 수 있다.
또한, 본 발명은 축사 영상을 이용한 가축 체중 추정방법에 관한 것으로서, 보다 구체적으로는 가축 체중 추정방법으로서, (1) 축사에 설치된 카메라로부터 축사 영상을 수집해 저장하되, 상기 카메라의 각도에 따라 상면(top-view) 및 측면(side-view)의 축사 영상을 저장하는 데이터베이스부를 이용해, 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 가축 카운팅 모델 및 체중 추정 모델을 생성하는 단계; 및 (2) 상기 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용해, 실시간으로 수집한 관리 대상 농가의 축사에 설치된 카메라에서 촬영한 축사 영상으로부터 가축을 검출하고, 검출된 가축의 수 및 가축의 체중을 추정하는 단계를 포함하되, 상기 단계 (2)는, (2-1) 상기 가축 카운팅 모델을 이용해 상기 관리 대상 농가의 축사 영상으로부터 복수의 가축을 검출하고, 검출된 가축의 수를 추정하는 단계; 및 (2-2) 상기 체중 추정 모델을 이용해, 상기 단계 (2-1)에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 축사 영상을 이용한 가축 체중 추정 시스템 및 방법에 따르면, 축사에 설치된 카메라의 각도에 따라 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용하여, 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 정확하게 추정할 수 있고, 3D 카메라 등의 기기에 의존하지 않고 기존 축사에 설치된 CCTV 카메라를 활용해 자동으로 축사 내 가축의 체중을 추정하고 관리할 수 있다.
Description
본 발명은 가축 체중 추정 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 축사 영상을 이용한 가축 체중 추정 시스템 및 방법에 관한 것이다.
축산업의 경우, 사육 동물의 개체별 사양관리를 위해서는 정기적인 체중관리가 필요하다. 특히, 양돈 농가의 경우 출하 시 규격 기준이 매우 중요하며, 규격 기준 내에 맞는 돼지의 출하 여부에 따라 농장의 소득에 매우 큰 차이를 가져온다. 돼지는 체중과 지방 두께에 따른 양적 기준과 돼지고기의 지방분포와 고기의 육색에 따른 질적 기준에 따라 돼지의 등급이 결정되는데, 통상적으로 115kg에서 120kg까지의 돼지를 규격돈이라고 한다.
규격돈의 체중을 만족할 경우 상위등급을 받을 수 있어서 체중을 정확히 측정하여 출하 돼지를 선별하는 것이 매우 중요하다. 이를 위해 주기적인 체중측정 또는 모니터링의 필요성이 현장에서 요구되고 있다.
현재 돼지의 체중은 흉위측위법 및 돈형기에 의하여 측정되고 있다. 흉위측위법은 돈의 흉위를 줄자로 측정하여 얻은 값을 체중 산출식에 적용하여 체중을 환산하는 것으로, 특별한 시설을 설치할 필요가 없다는 장점으로 사용되고 있으나 측정치의 오차가 매우 큰 문제점이 있다. 또한, 돈형기는 돼지의 체중을 측정하는 저울에 부대 장치를 설비한 후 밀폐된 공간에서 양돈의 무게를 직접 측정하는 것으로, 양돈의 체중을 계측하기 위해서는 모든 돼지를 돈형기로 유도한 후, 돈형기 내에 일정 시간을 정체시켜야 하는 번거로움이 따르며 이 과정에서 1마리의 체중을 측정하기 위해 1인 작업자 기준으로 약 10분 이상의 상당한 시간이 소요되는 문제점이 있고, 돼지의 분뇨로 인해 전자저울의 잦은 고장과 유지 보수에 어려움이 있었다.
한편, 최근 농가 인구의 감소 및 고령화로 인한 인력 부족에 대한 대비, 가축의 체계적 관리 등을 위해, 스마트팜 기술에 큰 비용이 투자되고 있다. 그러나 IoT 위주의 스마트팜은, 외부 환경데이터 수집에 초점이 맞추어져 있어서 살아있는 가축 개체를 관리하기에는 한계가 있는바, 비용 투자 대비 효용성이 떨어지는 한계가 있다.
따라서, 살아있는 가축 개체에 대한 관리 효율성을 높이고, 건강 관리 및 사양관리 효과를 높이기 위해, 축사에 설치된 이미지를 이용해 체중을 지속적이고 정확하게 측정하고 관리하기 위한 기술의 개발이 필요한 실정이다.
본 발명과 관련된 선행기술로서, 등록특허 제10-2180077호(발명의 명칭: 3D 영상을 기반으로 한 가축 무게 추정 애플리케이션을 활용한 가축 무게 추정 시스템과, 이를 이용한 가축 무게 추정방법, 등록일자: 2020년 11월 11일) 등이 개시된 바 있다.
그러나 선행기술은 3D 카메라에 의존적인 기술로서, 축사에 이미 설치된 CCTV 카메라를 활용할 수 없고, 개별 가축을 하나하나 촬영해야 하므로 적은 인원으로 농가를 관리하는 현실에서는 체중의 지속적인 모니터링이 불가능한 한계가 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 축사에 설치된 카메라의 각도에 따라 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용하여, 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 정확하게 추정할 수 있고, 3D 카메라 등의 기기에 의존하지 않고 기존 축사에 설치된 CCTV 카메라를 활용해 자동으로 축사 내 가축의 체중을 추정하고 관리할 수 있는, 축사 영상을 이용한 가축 체중 추정 시스템 및 방법을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 축사 영상을 이용한 가축 체중 추정 시스템은,
가축 체중 추정 시스템으로서,
축사에 설치된 카메라로부터 축사 영상을 수집해 저장하되, 상기 카메라의 각도에 따라 상면(top-view) 및 측면(side-view)의 축사 영상을 저장하는 데이터베이스부;
관리 대상 농가의 축사에 설치된 카메라에서 촬영한 축사 영상을 실시간으로 수집하는 영상 수집부;
딥러닝 기반의 가축 카운팅 모델을 이용해, 상기 영상 수집부가 수집한 상기 관리 대상 농가의 축사 영상으로부터 복수의 가축을 검출하고, 검출된 가축의 수를 추정하는 카운팅부; 및
딥러닝 기반의 체중 추정 모델을 이용해, 상기 카운팅부에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 체중 추정부를 포함하되,
상기 가축 카운팅 모델 및 체중 추정 모델은,
상기 데이터베이스부에 저장된 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 생성되며,
상기 카운팅부 및 체중 추정부는,
상기 가축 카운팅 모델 및 체중 추정 모델을 이용해, 상기 영상 수집부가 수집한 관리 대상 농가의 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 추정하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 가축 카운팅 모델 및 상기 체중 추정 모델은,
HRNet을 사용해 학습될 수 있다.
바람직하게는, 상기 가축 카운팅 모델 및 상기 체중 추정 모델은,
복수의 컨볼루셔널 레이어를 포함하는 신경망 기반의 모델일 수 있다.
바람직하게는, 상기 체중 추정부는,
상기 카운팅부에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하는 형태 추출 모듈; 및
상기 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 몸 치수를 측정하고, 측정한 몸 치수로부터 가축의 체중을 추정하는 체중 추정 모듈을 포함할 수 있다.
더욱 바람직하게는, 상기 형태 추출 모듈은,
상기 관리 대상 농가의 축사 영상에서 검출된 가축 영역을 분리하여 가축 영역 영상을 생성하고, 가축 영역 영상에서 가축의 머리 및 꼬리를 포함하는 미리 정해진 개수의 키-포인트를 추출할 수 있다.
바람직하게는,
상기 체중 추정부에서 추정한 가축의 체중을 모니터링하고, 추정된 가축의 체중의 트렌드를 포함하는 모니터링 리포트를 생성하여 상기 관리 대상 농가의 디바이스에 제공하는 모니터링부를 더 포함하는 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정 시스템.
또한, 상기한 목적을 달성하기 위한 본 발명의 특징에 따른 축사 영상을 이용한 가축 체중 추정방법은,
가축 체중 추정방법으로서,
(1) 축사에 설치된 카메라로부터 축사 영상을 수집해 저장하되, 상기 카메라의 각도에 따라 상면(top-view) 및 측면(side-view)의 축사 영상을 저장하는 데이터베이스부를 이용해, 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 가축 카운팅 모델 및 체중 추정 모델을 생성하는 단계; 및
(2) 상기 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용해, 실시간으로 수집한 관리 대상 농가의 축사에 설치된 카메라에서 촬영한 축사 영상으로부터 가축을 검출하고, 검출된 가축의 수 및 가축의 체중을 추정하는 단계를 포함하되,
상기 단계 (2)는,
(2-1) 상기 가축 카운팅 모델을 이용해 상기 관리 대상 농가의 축사 영상으로부터 복수의 가축을 검출하고, 검출된 가축의 수를 추정하는 단계; 및
(2-2) 상기 체중 추정 모델을 이용해, 상기 단계 (2-1)에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (2)에서는,
상기 가축 카운팅 모델 및 체중 추정 모델을 이용해, 상기 관리 대상 농가의 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 추정할 수 있다.
본 발명에서 제안하고 있는 축사 영상을 이용한 가축 체중 추정 시스템 및 방법에 따르면, 축사에 설치된 카메라의 각도에 따라 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용하여, 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 정확하게 추정할 수 있고, 3D 카메라 등의 기기에 의존하지 않고 기존 축사에 설치된 CCTV 카메라를 활용해 자동으로 축사 내 가축의 체중을 추정하고 관리할 수 있다.
도 1은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템의 체중 추정 개념을 개략적으로 도시한 도면.
도 3 및 도 4는 종래의 체중 추정 기술을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템에서 가축의 수 및 체중을 추정하는 과정을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템에서, 체중 추정부의 세부적인 구성을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템에서 사용되는 이미지 세그멘테이션을 설명하기 위해 도시한 도면.
도 8은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템에서, 모니터링부가 제공하는 모니터링 리포트를 예를 들어 도시한 도면.
도 9는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법의 흐름을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법에서, 단계 S200의 세부적인 흐름을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템의 체중 추정 개념을 개략적으로 도시한 도면.
도 3 및 도 4는 종래의 체중 추정 기술을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템에서 가축의 수 및 체중을 추정하는 과정을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템에서, 체중 추정부의 세부적인 구성을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템에서 사용되는 이미지 세그멘테이션을 설명하기 위해 도시한 도면.
도 8은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템에서, 모니터링부가 제공하는 모니터링 리포트를 예를 들어 도시한 도면.
도 9는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법의 흐름을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법에서, 단계 S200의 세부적인 흐름을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)은, 데이터베이스부(110), 영상 수집부(120), 카운팅부(130) 및 체중 추정부(140)를 포함하여 구성될 수 있으며, 모니터링부(150) 및 트래킹부(160)를 더 포함하여 구성될 수 있다.
도 2는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)의 체중 추정 개념을 개략적으로 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)은, 농가의 축사에 설치된 카메라에서 수집된 영상을 이용해, 축사 내의 가축을 검출해 카운팅하고, 검출한 가축의 형상으로부터 가축의 체중을 추정할 수 있다. 이때, 추정된 가축의 체중을 이용해 규격돈에 해당하는 가축의 출하 스케줄을 계획할 수 있고, 축사 내의 이상 개체를 선발하여 적절한 조치를 할 수도 있다.
기존의 양돈 환경에서는 입식/출하 기록에 의해서만 두수 확인이 가능하며 사육 중에는 체중측정을 하기가 어렵고 출하 시에만 측정하게 된다. 그러나 실질적으로 생산성을 높이기 위해서는 육성 중에 체중이 얼마나 늘어나는지 확인하고, 문제 발견 시 적절한 대응을 해주는 것이 중요하다. 현재 농가는 적은 인원으로 축사를 관리하고 있어서 개체의 체중을 원하는 때에 쉽게 확인할 수 없는 실정이다.
이러한 문제를 해결하기 위해 영상 기반으로 가축의 체중을 측정하는 기술의 개발이 시도되고 있다. 도 3 및 도 4는 종래의 체중 추정 기술을 설명하기 위해 도시한 도면이다. 도 3은 태블릿 PC에 3D 카메라를 탑재하여 3D 카메라로 촬영한 돼지의 모습으로부터 체중을 산출하는 것으로서, 3D 카메라의 부피 계산 방식에 단위면적당 무게를 단순히 적용해 체중을 산출한다. 도 4는 스마트폰으로 돼지의 테두리 및 길이를 측정해 110kg에 근접한 돼지를 선정하는 기술로서, 증강현실 기반 기술에 해당한다. 즉, 도 3 및 도 4에 도시된 바와 같은 종래기술은, 3D 카메라나 스마트폰의 AR 기능을 활용하므로 디바이스에 의존적이고, 농가의 관리자 등이 가축을 하나하나 촬영해야 하므로 한 번에 많은 가축의 체중을 측정할 수 없고, 시간이 오래 걸리며 지속적인 모니터링을 하기는 어려운 한계가 있다.
전술한 바와 같은 종래의 체중 추정 기술의 한계를 극복할 수 있는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)에서는, 축사(돼지의 경우 돈방 또는 돈사) 별로 카메라를 설치하고 축사 내의 가축(예를 들어, 돼지)들을 촬영한 이미지/영상을 딥러닝을 통해 분석함으로써, 가축의 수 및 가축의 체중을 정확하게 추정할 수 있다. 따라서 본 발명에 따르면, 돈사 내 사육 두 수 파악 불가와 그로 인한 각종 손실 (폐사 두 수 파악 불가, 사료 급여량 등 비용에 대한 정확한 파악 불가 등), 돼지 체중측정 불가와 그로 인한 각종 손실 (출하 체중 미달로 인한 판매가 하락, 현재 상태에 적합한 약품 투여, 사료 효율 파악 불가 등), 돼지의 건강상태와 직결된 주된 행동 파악 불가 (실시간 이상행동 모니터링 및 의심 질병 도출 불가 등) 등의 문제를 해결할 수 있다.
이하에서는, 도 1 및 도 2를 참조하여 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)의 각 구성요소에 대해 상세히 설명하도록 한다. 양돈 농가와 돼지 체중의 측정을 예를 들어 설명할 것이나, 본 발명에서 체중측정을 할 수 있는 가축이 돼지로 한정되는 것은 아니고, 소, 닭, 오리, 양 등 다양한 가축에 적용될 수 있다.
데이터베이스부(110)는, 축사에 설치된 카메라로부터 축사 영상을 수집해 저장하되, 카메라의 각도에 따라 상면(top-view) 및 측면(side-view)의 축사 영상을 저장할 수 있다. 여기서, 데이터베이스부(110)는, 여러 축산농가의 축사별 영상을 수집해 대량의 데이터를 저장할 수 있다.
축사에 설치된 카메라는 CCTV 카메라일 수 있으며, 실시간 촬영되는 영상을 수집하여 데이터베이스부(110)에 저장할 수 있다. 이때, CCTV 카메라의 설치 위치와 방향, 각도, 축사 특성 등에 따라 축사 영상의 각도와 밝기 등이 다양할 수 있는데, 다양한 각도와 밝기를 가진 상면 및 측면의 축사 영상을 모두 포함하도록 데이터셋을 구성하여 추후 상세히 설명할 가축 카운팅 모델 및 체중 추정 모델의 학습에 사용할 수 있다.
영상 수집부(120)는, 관리 대상 농가의 축사에 설치된 카메라에서 촬영한 축사 영상을 실시간으로 수집할 수 있다. 즉, 관리 대상 농가의 축사마다 CCTV 카메라를 설치하고, 영상 수집부(120)는 CCTV 카메라로부터 축사 영상을 실시간으로 수집할 수 있다. 수집한 축사 영상은 데이터베이스부(110)에 저장해 데이터를 추가 확보하여, 가축 카운팅 모델 및 체중 추정 모델의 개량 또는 업데이트에 사용할 수 있다.
카운팅부(130)는, 딥러닝 기반의 가축 카운팅 모델을 이용해, 영상 수집부(120)가 수집한 관리 대상 농가의 축사 영상으로부터 복수의 가축을 검출하고, 검출된 가축의 수를 추정할 수 있다.
체중 추정부(140)는, 딥러닝 기반의 체중 추정 모델을 이용해, 카운팅부(130)에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정할 수 있다. 실시예에 따라서는, 키-포인트와 세그멘테이션을 모두 사용해 가축의 형태를 정확하게 예측하고 체중을 추정할 수도 있다.
여기서, 가축 카운팅 모델 및 체중 추정 모델은, 데이터베이스부(110)에 저장된 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 생성될 수 있으며, 카운팅부(130) 및 체중 추정부(140)는, 가축 카운팅 모델 및 체중 추정 모델을 이용해, 영상 수집부(120)가 수집한 관리 대상 농가의 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 추정할 수 있다. 즉, 상면 및 측면의 축사 영상을 모두 포함하도록 구성된 데이터셋을 사용해 딥러닝 학습을 수행하여 생성된 가축 카운팅 모델 및 체중 추정 모델을 이용해, 다양한 각도와 어두운 환경에서도 정확하게 가축을 검출하고 체중을 추정할 수 있다.
한편, 가축 카운팅 모델 및 체중 추정 모델은, 복수의 컨볼루셔널 레이어를 포함하는 신경망 기반의 모델일 수 있다. 즉, 가축 카운팅 모델 및 체중 추정 모델은, 복수의 컨볼루셔널 레이어를 포함하는 HRNet을 사용해 학습된 것일 수 있다. 보다 구체적으로, 가축 카운팅 모델은 HRNet을 백본 네트워크로 사용할 수 있고, 체중 추정 모델은 HRNet을 키-포인트 추출 모델 또는 세그멘테이션 추출 모델로 사용할 수 있다.
도 5는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)에서 가축의 수 및 체중을 추정하는 과정을 도시한 도면이다. 이하에서는, 도 5를 참조하여 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)의 카운팅부(130) 및 체중 추정부(140)에 대해 상세히 설명하도록 한다.
카운팅부(130)는, 축사 영상에서 복수의 가축을 검출하고 가축의 수를 추정하기 위해 가축 카운팅 모델을 사용할 수 있다. 가축 카운팅 모델의 학습을 위해, 데이터베이스부(110)에 저장된 CCTV 카메라로부터 수집한 축사 영상으로부터, 상면 및 측면의 영상이 모두 포함되도록 데이터셋을 구성할 수 있다.
가축 카운팅 모델의 구현을 위해, 여러 돼지 농가의 돈사에 설치된 CCTV 카메라 영상을 이용해, 상면 축사 영상 1,648장, 측면 축사 영상 1,400장으로 구성되는 총 3,048장의 학습 데이터셋을 구성하였으며, 학습 데이터셋을 테스트셋으로 그대로 사용하여 평가를 수행하였다. 도 5에 도시된 바와 같이, HRNet을 백본 네트워크로 하고, Cascade R-CNN을 검출 네트워크로 하는 검출 모델에 학습 데이터셋을 적용해 학습을 수행하여, 축사 영상으로부터 가축을 바운딩 박스 형태로 검출하는 가축 카운팅 모델을 생성할 수 있다. 이때, FPN(Feature Pyramid Network), 특히 Balanced FPN을 이용해 백본 특징을 변경하여 Cascade R-CNN의 입력으로 사용함으로써, CCTV 카메라의 각도나 밝기 변화에도 강인한 가축 검출 성능을 얻을 수 있다.
전술한 바와 같은 학습 데이터셋을 이용해 생성된 가축 카운팅 모델은, 상면의 축사 영상에 대해 Average Recall 94.2, Average Precision 91.72, 측면의 축사 영상에 대해 Average Recall 93.6, Average Precision 90.5의 우수한 실험 결과를 가지는 것을 확인하였다. 이와 같이, 비교적 적은 양의 학습 데이터로도 다양한 각도와 조명 환경에서도 강인한 가축 검출 성능을 갖는 가축 카운팅 모델을 생성할 수 있다.
카운팅부(130)는, 생성된 가축 카운팅 모델을 이용해 관리 대상 농가로부터 실시간으로 수집되는 축사 영상으로부터 축사 내의 가축들을 검출하고, 검출된 가축의 수를 카운트할 수 있다.
체중 추정부(140)는, 카운팅부(130)에서 검출된 가축 각각의 체중을 추정하기 위해 체중 추정 모델을 사용할 수 있다. 체중 추정 모델은 가축 카운팅 모델과 통합하여 학습 데이터셋을 이용해 학습될 수 있다. 즉, 도 5에 도시된 바와 같이, 가축 카운팅 모델을 통해 축사 영상에서 검출된 가축의 바운딩 박스의 이미지(가축 영역 영상)를 각각 키-포인트 또는 세그멘테이션 추출을 위한 HRNet에 입력해 학습을 수행하여, 각각의 가축 영역 영상에서 가축의 키-포인트 또는 세그멘테이션을 추출하는 체중 추정 모델을 생성할 수 있다.
도 6은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)에서, 체중 추정부(140)의 세부적인 구성을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)의 체중 추정부(140)는, 형태 추출 모듈(141) 및 체중 추정 모듈(142)을 포함하여 구성될 수 있다.
형태 추출 모듈(141)은, 카운팅부(130)에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출할 수 있다. 여기서, 형태 추출 모듈(141)은, 도 5에 도시된 바와 같이 HRNet 기반의 체중 추정 모델을 이용할 수 있다.
보다 구체적으로, 형태 추출 모듈(141)은, 관리 대상 농가의 축사 영상에서 검출된 가축 영역을 분리하여 가축 영역 영상을 생성하고, 가축 영역 영상에서 가축의 머리 및 꼬리를 포함하는 미리 정해진 개수의 키-포인트를 추출할 수 있다. 여기서, 가축 영역 영상은, 가축 카운팅 모델에 의해 검출된 가축에 해당하는 바운딩 박스 부분일 수 있으며, 가축 영역 영상을 분석해 머리, 배, 등, 꼬리, 어깨 등을 포함하는 총 8개의 키-포인트를 추출할 수 있다.
여기서, 키-포인트의 개수와 위치는 가축의 종류에 따라 상이할 수 있으며, 각 가축 특성에 맞추어 최적화될 수 있다. 전술한 바와 같은 예에서, 체중 추정 모델은, 상면과 측면에서 촬영된 축사 영상을 포함하는 학습 데이터셋을 이용해, 돼지에 최적화된 8개의 키-포인트를 추출하도록 생성되었다. 보다 구체적으로, 전술한 바와 같은 총 3,048장의 학습 데이터셋을 HRNet에 적용해 생성한 체중 추정 모델은, 높은 정확도(precision)(학습: 0.941, 테스트 및 검증: 0.848)를 나타냈으며, 돈사 내 최소 1/4 이상의 돼지에 대해 키-포인트를 검출할 수 있었다.
한편, 실시예에 따라서, 형태 추출 모듈(141)은, 관리 대상 농가의 축사 영상에서 검출된 가축 영역을 분리하여 가축 영역 영상을 생성하고, 학습 데이터셋의 가축 영역 영상을 이용해 이미지 세그멘테이션(Image Segmentation) 가능하도록 학습된 체중 추정 모델을 이용해, 가축의 세그멘테이션을 추출할 수도 있다.
도 7은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)에서 사용되는 이미지 세그멘테이션을 설명하기 위해 도시한 도면이다. 도 7에 도시된 바와 같이, 형태 추출 모듈(141)은, 시멘틱 세그멘테이션(Semantic segmentation) 또는 인스턴스 세그멘테이션(Instance segmentation) 등의 이미지 세그멘테이션 기술을 사용해, 축사 영상에서 검출된 각각의 가축의 형태를 추출할 수 있다.
체중 추정 모듈(142)은, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 몸 치수를 측정하고, 측정한 몸 치수로부터 가축의 체중을 추정할 수 있다. 예를 들어, 추출한 8개의 키-포인트를 이용해 가축의 몸 사이즈를 측정하고, 이로부터 개별 가축의 체중 및 해당 축사 내의 가축의 평균 체중을 추정할 수 있다. 전술한 바와 같은 실험에서, 체중 추정 모듈(142)은 1등급 출현 구간 체중을 97% 이상의 정확도로 예측하였다.
한편, 체중 추정부(140)는, 형태 추출 모듈(141) 및 체중 추정 모듈(142)을 이용해 미리 정해진 시간 간격으로 가축의 체중을 추정할 수 있으며, 보다 구체적으로 매일 미리 설정된 시각에 축사 영상을 수집하여 가축의 체중을 추정할 수 있다. 실시예에 따라서는, 하루 중 미리 설정된 복수의 시각에 가축의 체중을 각각 추정하고, 하루 동안 추정된 가축의 체중을 평균하여 해당 일자의 최종 체중을 산출할 수도 있다.
모니터링부(150)는, 체중 추정부(140)에서 추정한 가축의 체중을 모니터링하고, 추정된 가축의 체중의 트렌드를 포함하는 모니터링 리포트를 생성하여 관리 대상 농가의 디바이스에 제공할 수 있다. 즉, 모니터링부(150)는, 카운팅부(130) 및 체중 추정부(140)에 의해 추정되는 가축의 체중을 지속적으로 저장하고, 그 변화 패턴을 분석할 수 있다. 분석 결과는 네트워크를 통해 해당 농가의 디바이스에 제공될 수 있다.
여기서, 관리 대상 농가의 디바이스는, 관리 대상 농가에서 사용하는 각종 전자 장치일 수 있다. 전자 장치는 스마트폰, 태블릿(tablet) PC(personal computer), 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑(desktop) PC, 랩탑(laptop) PC, 넷북(netbook) 컴퓨터, 워크스테이션(workstation), 서버(server), PDA(personal digital assistant), 미디어 박스, 게임 콘솔, 전자사전 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있으며, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리착용형 장치(HMD, head-mounted-device), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 회로(implantable circuit) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 전술한 기기들에 한정되지는 않으며, 전술한 다양한 장치 중 둘 이상의 조합일 수 있다.
도 8은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)에서, 모니터링부(150)가 제공하는 모니터링 리포트를 예를 들어 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)의 모니터링부(150)가 제공하는 모니터링 리포트는, 관리 대상 농가의 축사별로 가축 평균 체중의 변화 트렌드 그래프, 전일 대비 평균 체중 증감 등의 정보를 포함할 수 있으며, 해당 축사에 설치된 CCTV 카메라에서 촬영된 축사 영상, 실시간 축사 영상, 가축 카운팅 모델에 의한 가축 검출 이미지 등을 더 포함할 수 있다.
트래킹부(160)는, 카운팅부(130)에서 검출된 가축의 행동을 추적하여 분석할 수 있다. 즉, 영상 수집부(120)가 수집하는 CCTV 카메라의 축사 영상 시퀀스를 이용해, 검출된 가축을 추적하여 분석할 수 있다. 분석 내용으로는, 가축의 행동력 측정, 행동 범위 측정을 통한 건강상태 파악, 이상 현상 유무 등일 수 있다. 트래킹부(160)는, 분석 내용으로부터 해당 축사 내의 이상 개체를 선별할 수 있고, 선별된 이상 개체 및 분석 내용을 관리 대상 농가의 디바이스에 리포팅할 수 있다. 관리 대상 농가에서는 리포팅 내용에 따라 해당 이상 개체를 즉시 확인하고 신속하게 대응을 할 수 있다.
도 9는 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법의 흐름을 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법은, 컴퓨터에 의해 각 단계가 수행되는 가축 체중 추정방법으로서, 축사 영상을 저장하는 데이터베이스부(110)를 이용해 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 가축 카운팅 모델 및 체중 추정 모델을 생성하는 단계(S100) 및 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용해, 관리 대상 농가의 축사 영상으로부터 가축을 검출하고, 검출된 가축의 수 및 가축의 체중을 추정하는 단계(S200)를 포함하여 구현될 수 있다.
본 발명은 축사 영상을 이용한 가축 체중 추정방법에 관한 것으로서, 본 발명의 특징에 따른 축사 영상을 이용한 가축 체중 추정방법은, 메모리 및 프로세서를 포함한 하드웨어에서 기록되는 소프트웨어로 구성될 수 있다. 예를 들어, 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법은, 개인용 컴퓨터, 노트북 컴퓨터, 서버 컴퓨터, 클라우드 서버 등에 저장 및 구현될 수 있다. 이하에서는 설명의 편의를 위해, 각 단계를 수행하는 주체는 생략될 수 있다.
단계 S100에서는, 축사에 설치된 카메라로부터 축사 영상을 수집해 저장하되, 카메라의 각도에 따라 상면(top-view) 및 측면(side-view)의 축사 영상을 저장하는 데이터베이스부(110)를 이용해, 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 가축 카운팅 모델 및 체중 추정 모델을 생성할 수 있다. 즉, 단계 S100은 여러 농가의 축사에서 수집된 축사 영상이 저장된 데이터베이스부(110)를 통해 학습 데이터셋을 구성하고, 딥러닝 기반으로 가축 카운팅 모델 및 체중 추정 모델을 생성하는 학습 단계일 수 있다.
단계 S200에서는, 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용해, 실시간으로 수집한 관리 대상 농가의 축사에 설치된 카메라에서 촬영한 축사 영상으로부터 가축을 검출하고, 검출된 가축의 수 및 가축의 체중을 추정할 수 있다. 즉, 단계 S200은 관리 대상 농가의 축사 영상으로부터 가축의 체중을 추정하는 예측 단계일 수 있다. 보다 구체적으로, 단계 S200에서는, 가축 카운팅 모델 및 체중 추정 모델을 이용해, 관리 대상 농가의 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 추정할 수 있다.
도 10은 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법에서, 단계 S200의 세부적인 흐름을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정방법의 단계 S200은, 가축 카운팅 모델을 이용해 관리 대상 농가의 축사 영상으로부터 가축을 검출하고 검출된 가축의 수를 추정하는 단계(S210) 및 체중 추정 모델을 이용해 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 단계(S220)를 포함하여 구현될 수 있다.
단계 S210에서는, 가축 카운팅 모델을 이용해 관리 대상 농가의 축사 영상으로부터 복수의 가축을 검출하고, 검출된 가축의 수를 추정할 수 있다. 단계 S210은 카운팅부(130)에 의해 처리될 수 있다.
단계 S220에서는, 체중 추정 모델을 이용해, 단계 S210에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정할 수 있다. 단계 S220은 체중 추정부(140)에 의해 처리될 수 있다.
각각의 단계들과 관련된 상세한 내용들은, 앞서 본 발명의 일실시예에 따른 축사 영상을 이용한 가축 체중 추정 시스템(100)과 관련하여 충분히 설명되었으므로, 중복되는 설명은 생략하기로 한다.
전술한 바와 같이, 본 발명에서 제안하고 있는 축사 영상을 이용한 가축 체중 추정 시스템(100) 및 방법에 따르면, 축사에 설치된 카메라의 각도에 따라 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용하여, 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 정확하게 추정할 수 있고, 3D 카메라 등의 기기에 의존하지 않고 기존 축사에 설치된 CCTV 카메라를 활용해 자동으로 축사 내 가축의 체중을 추정하고 관리할 수 있다.
한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 본 발명에 따른 가축 체중 추정 시스템
110: 데이터베이스부
120: 영상 수집부
130: 카운팅부
140: 체중 추정부
141: 형태 추출 모듈
142: 체중 추정 모듈
150: 모니터링부
160: 트래킹부
S100: 축사 영상을 저장하는 데이터베이스부를 이용해 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 가축 카운팅 모델 및 체중 추정 모델을 생성하는 단계
S200: 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용해, 관리 대상 농가의 축사 영상으로부터 가축을 검출하고, 검출된 가축의 수 및 가축의 체중을 추정하는 단계
S210: 가축 카운팅 모델을 이용해 관리 대상 농가의 축사 영상으로부터 가축을 검출하고 검출된 가축의 수를 추정하는 단계
S220: 체중 추정 모델을 이용해 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 단계
110: 데이터베이스부
120: 영상 수집부
130: 카운팅부
140: 체중 추정부
141: 형태 추출 모듈
142: 체중 추정 모듈
150: 모니터링부
160: 트래킹부
S100: 축사 영상을 저장하는 데이터베이스부를 이용해 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 가축 카운팅 모델 및 체중 추정 모델을 생성하는 단계
S200: 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용해, 관리 대상 농가의 축사 영상으로부터 가축을 검출하고, 검출된 가축의 수 및 가축의 체중을 추정하는 단계
S210: 가축 카운팅 모델을 이용해 관리 대상 농가의 축사 영상으로부터 가축을 검출하고 검출된 가축의 수를 추정하는 단계
S220: 체중 추정 모델을 이용해 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 단계
Claims (8)
- 가축 체중 추정 시스템(100)으로서,
축사에 설치된 카메라로부터 축사 영상을 수집해 저장하되, 상기 카메라의 각도에 따라 상면(top-view) 및 측면(side-view)의 축사 영상을 저장하는 데이터베이스부(110);
관리 대상 농가의 축사에 설치된 카메라에서 촬영한 축사 영상을 실시간으로 수집하는 영상 수집부(120);
딥러닝 기반의 가축 카운팅 모델을 이용해, 상기 영상 수집부(120)가 수집한 상기 관리 대상 농가의 축사 영상으로부터 복수의 가축을 검출하고, 검출된 가축의 수를 추정하는 카운팅부(130);
딥러닝 기반의 체중 추정 모델을 이용해, 상기 카운팅부(130)에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 체중 추정부(140); 및
상기 체중 추정부(140)에서 추정한 가축의 체중을 모니터링하고, 추정된 가축의 체중의 트렌드를 포함하는 모니터링 리포트를 생성하여 상기 관리 대상 농가의 디바이스에 제공하는 모니터링부(150)를 포함하되,
상기 가축 카운팅 모델 및 체중 추정 모델은,
상기 데이터베이스부(110)에 저장된 상면 및 측면의 축사 영상이 모두 포함되도록 구성된 데이터셋을 딥러닝 기반으로 학습하여 생성되며,
상기 카운팅부(130) 및 체중 추정부(140)는,
상기 가축 카운팅 모델 및 체중 추정 모델을 이용해, 상기 영상 수집부(120)가 수집한 관리 대상 농가의 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 추정하며,
상기 체중 추정부(140)는,
상기 카운팅부(130)에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하는 형태 추출 모듈(141); 및
상기 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 몸 치수를 측정하고, 측정한 몸 치수로부터 가축의 체중을 추정하는 체중 추정 모듈(142)을 포함하고,
상기 체중 추정부(140)는, 상기 형태 추출 모듈(141) 및 체중 추정 모듈(142)을 이용해 미리 정해진 시간 간격으로 가축의 체중을 추정하는 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정 시스템(100).
- 제1항에 있어서, 상기 가축 카운팅 모델 및 상기 체중 추정 모델은,
HRNet을 사용해 학습된 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정 시스템(100).
- 제1항에 있어서, 상기 가축 카운팅 모델 및 상기 체중 추정 모델은,
복수의 컨볼루셔널 레이어를 포함하는 신경망 기반의 모델인 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정 시스템(100).
- 삭제
- 제1항에 있어서, 상기 형태 추출 모듈(141)은,
상기 관리 대상 농가의 축사 영상에서 검출된 가축 영역을 분리하여 가축 영역 영상을 생성하고, 가축 영역 영상에서 가축의 머리 및 꼬리를 포함하는 미리 정해진 개수의 키-포인트를 추출하는 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정 시스템(100).
- 삭제
- 가축 체중 추정방법으로서,
(1) 축사에 설치된 카메라로부터 축사 영상을 수집해 저장하되, 상기 카메라의 각도에 따라 상면(top-view) 및 측면(side-view)의 축사 영상을 저장하는 데이터베이스부(110)를 이용해, 상면 및 측면의 축사 영상을 딥러닝 기반으로 학습하여 가축 카운팅 모델 및 체중 추정 모델을 생성하는 단계;
(2) 상기 생성한 가축 카운팅 모델 및 체중 추정 모델을 이용해, 실시간으로 수집한 관리 대상 농가의 축사에 설치된 카메라에서 촬영한 축사 영상으로부터 가축을 검출하고, 검출된 가축의 수 및 가축의 체중을 추정하는 단계; 및
(3) 상기 단계 (2)에서 추정한 가축의 체중을 모니터링하고, 추정된 가축의 체중의 트렌드를 포함하는 모니터링 리포트를 생성하여 상기 관리 대상 농가의 디바이스에 제공하는 단계를 포함하되,
상기 가축 카운팅 모델 및 체중 추정 모델은,
상기 데이터베이스부(110)에 저장된 상면 및 측면의 축사 영상이 모두 포함되도록 구성된 데이터셋을 딥러닝 기반으로 학습하여 생성되며,
상기 단계 (2)에서는,
상기 가축 카운팅 모델 및 체중 추정 모델을 이용해, 상기 실시간으로 수집한 관리 대상 농가의 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 추정하며,
상기 단계 (2)는,
(2-1) 상기 가축 카운팅 모델을 이용해 상기 관리 대상 농가의 축사 영상으로부터 복수의 가축을 검출하고, 검출된 가축의 수를 추정하는 단계; 및
(2-2) 상기 체중 추정 모델을 이용해, 상기 단계 (2-1)에서 검출된 가축 각각의 가축 영역 영상으로부터 가축의 키-포인트 또는 세그멘테이션을 추출하고, 추출한 키-포인트 또는 세그멘테이션을 이용해 가축의 체중을 추정하는 단계를 포함하고,
상기 단계 (2)는, 상기 단계 (2-1) 및 단계 (2-2)를 통해 미리 정해진 시간 간격으로 가축의 체중을 추정하는 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정방법.
- 제7항에 있어서, 상기 단계 (2)에서는,
상기 가축 카운팅 모델 및 체중 추정 모델을 이용해, 상기 관리 대상 농가의 축사 영상의 촬영 각도와 관계없이 가축의 수 및 가축의 체중을 추정하는 것을 특징으로 하는, 축사 영상을 이용한 가축 체중 추정방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200189531A KR102264281B1 (ko) | 2020-12-31 | 2020-12-31 | 축사 영상을 이용한 가축 체중 추정 시스템 및 방법 |
| PCT/KR2021/010024 WO2022145614A1 (ko) | 2020-12-31 | 2021-07-30 | 축사 영상을 이용한 가축 체중 추정 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200189531A KR102264281B1 (ko) | 2020-12-31 | 2020-12-31 | 축사 영상을 이용한 가축 체중 추정 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102264281B1 true KR102264281B1 (ko) | 2021-06-14 |
Family
ID=76417371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200189531A KR102264281B1 (ko) | 2020-12-31 | 2020-12-31 | 축사 영상을 이용한 가축 체중 추정 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102264281B1 (ko) |
| WO (1) | WO2022145614A1 (ko) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780073A (zh) * | 2021-08-03 | 2021-12-10 | 华南农业大学 | 一种辅助估测鸡群均匀度的装置与方法 |
| WO2022145614A1 (ko) * | 2020-12-31 | 2022-07-07 | 한국축산데이터 주식회사 농업회사법인 | 축사 영상을 이용한 가축 체중 추정 시스템 및 방법 |
| WO2023008806A1 (ko) * | 2021-07-30 | 2023-02-02 | 주식회사 일루베이션 | Rgb-d 기반 가축 체중 추론 ai 시스템 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능매체 |
| WO2023038923A1 (en) * | 2021-09-07 | 2023-03-16 | Hill's Pet Nutrition, Inc. | Method for determining biometric data relating to an animal based on image data |
| CN115937791A (zh) * | 2023-01-10 | 2023-04-07 | 华南农业大学 | 一种适用于多种养殖模式的家禽计数方法及其计数装置 |
| CN115968813A (zh) * | 2021-10-15 | 2023-04-18 | 智逐科技股份有限公司 | 家禽健康监测系统及其方法 |
| KR102535769B1 (ko) * | 2022-01-10 | 2023-05-26 | (주)엠트리센 | 비접촉 가축 체중 측정장치 및 그 방법 |
| WO2024058630A1 (ko) * | 2022-09-16 | 2024-03-21 | 인트플로우 주식회사 | 영상 기반 가축의 재고 관리 장치 및 방법 |
| WO2024106881A1 (ko) * | 2022-11-14 | 2024-05-23 | 주식회사 노바 | 딥러닝 컴퓨터비전 기반 가축의 체중을 측정하기 위한 시스템 및 그 방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116416260B (zh) * | 2023-05-19 | 2024-01-26 | 四川智迅车联科技有限公司 | 一种基于图像处理的称重精度优化方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101342158B1 (ko) * | 2012-08-23 | 2013-12-18 | 주식회사 에스티엠 | 가축개체정보 인식 및 관리가 용이한 축사 관리 시스템 |
| KR20190030082A (ko) * | 2017-09-13 | 2019-03-21 | (주)제이케이데이터시스템즈 | 패턴인식 기반의 가금류 무게측정 시스템 및 방법 |
| WO2020003310A1 (en) * | 2018-06-25 | 2020-01-02 | Farmsee Ltd. | Monitoring livestock in an agricultural pen |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9084411B1 (en) * | 2014-04-10 | 2015-07-21 | Animal Biotech Llc | Livestock identification system and method |
| EP2957861A1 (en) * | 2014-06-17 | 2015-12-23 | Expert Ymaging, SL | Device and method for automated parameters calculation of an object |
| KR102264281B1 (ko) * | 2020-12-31 | 2021-06-14 | 한국축산데이터 주식회사 농업회사법인 | 축사 영상을 이용한 가축 체중 추정 시스템 및 방법 |
-
2020
- 2020-12-31 KR KR1020200189531A patent/KR102264281B1/ko active IP Right Grant
-
2021
- 2021-07-30 WO PCT/KR2021/010024 patent/WO2022145614A1/ko active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101342158B1 (ko) * | 2012-08-23 | 2013-12-18 | 주식회사 에스티엠 | 가축개체정보 인식 및 관리가 용이한 축사 관리 시스템 |
| KR20190030082A (ko) * | 2017-09-13 | 2019-03-21 | (주)제이케이데이터시스템즈 | 패턴인식 기반의 가금류 무게측정 시스템 및 방법 |
| WO2020003310A1 (en) * | 2018-06-25 | 2020-01-02 | Farmsee Ltd. | Monitoring livestock in an agricultural pen |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022145614A1 (ko) * | 2020-12-31 | 2022-07-07 | 한국축산데이터 주식회사 농업회사법인 | 축사 영상을 이용한 가축 체중 추정 시스템 및 방법 |
| WO2023008806A1 (ko) * | 2021-07-30 | 2023-02-02 | 주식회사 일루베이션 | Rgb-d 기반 가축 체중 추론 ai 시스템 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능매체 |
| CN113780073A (zh) * | 2021-08-03 | 2021-12-10 | 华南农业大学 | 一种辅助估测鸡群均匀度的装置与方法 |
| CN113780073B (zh) * | 2021-08-03 | 2023-12-05 | 华南农业大学 | 一种辅助估测鸡群均匀度的装置与方法 |
| WO2023038923A1 (en) * | 2021-09-07 | 2023-03-16 | Hill's Pet Nutrition, Inc. | Method for determining biometric data relating to an animal based on image data |
| CN115968813A (zh) * | 2021-10-15 | 2023-04-18 | 智逐科技股份有限公司 | 家禽健康监测系统及其方法 |
| KR102535769B1 (ko) * | 2022-01-10 | 2023-05-26 | (주)엠트리센 | 비접촉 가축 체중 측정장치 및 그 방법 |
| WO2024058630A1 (ko) * | 2022-09-16 | 2024-03-21 | 인트플로우 주식회사 | 영상 기반 가축의 재고 관리 장치 및 방법 |
| WO2024106881A1 (ko) * | 2022-11-14 | 2024-05-23 | 주식회사 노바 | 딥러닝 컴퓨터비전 기반 가축의 체중을 측정하기 위한 시스템 및 그 방법 |
| CN115937791A (zh) * | 2023-01-10 | 2023-04-07 | 华南农业大学 | 一种适用于多种养殖模式的家禽计数方法及其计数装置 |
| CN115937791B (zh) * | 2023-01-10 | 2023-05-16 | 华南农业大学 | 一种适用于多种养殖模式的家禽计数方法及其计数装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022145614A1 (ko) | 2022-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102264281B1 (ko) | 축사 영상을 이용한 가축 체중 추정 시스템 및 방법 | |
| Fernandes et al. | A novel automated system to acquire biometric and morphological measurements and predict body weight of pigs via 3D computer vision | |
| US10058076B2 (en) | Method of monitoring infectious disease, system using the same, and recording medium for performing the same | |
| Clapp et al. | Evaluating distributional shifts in home range estimates | |
| CN107680080B (zh) | 牲畜的样本库建立方法和清点方法、存储介质和电子设备 | |
| Okinda et al. | Asphyxia occurrence detection in sows during the farrowing phase by inter-birth interval evaluation | |
| Zheng et al. | Cows' legs tracking and lameness detection in dairy cattle using video analysis and Siamese neural networks | |
| Zamansky et al. | Analysis of dogs’ sleep patterns using convolutional neural networks | |
| CN104063952A (zh) | 一种假币信息管理方法及系统 | |
| Noe et al. | Automatic detection and tracking of mounting behavior in cattle using a deep learning-based instance segmentation model | |
| Ozdemir et al. | Comparison of deep learning techniques for classification of the insects in order level with mobile software application | |
| Khairunissa et al. | Detecting poultry movement for poultry behavioral analysis using the Multi-Object Tracking (MOT) algorithm | |
| Waldmann et al. | I-muppet: Interactive multi-pigeon pose estimation and tracking | |
| CN111325181A (zh) | 一种状态监测方法、装置、电子设备及存储介质 | |
| KR20210004184A (ko) | 마킹 정보의 식별 기반의 가축 관리 방법 및 이를 수행하는 컴퓨팅 장치와 서버 | |
| Witte et al. | Evaluation of deep learning instance segmentation models for pig precision livestock farming | |
| Smink et al. | Computer vision on the edge: Individual cattle identification in real-time with readmycow system | |
| Kim et al. | Pig datasets of livestock for deep learning to detect posture using surveillance camera | |
| Li et al. | AnimalAccML: An open-source graphical user interface for automated behavior analytics of individual animals using triaxial accelerometers and machine learning | |
| Ipek et al. | Quantifying agonistic interactions between group-housed animals to derive social hierarchies using computer vision: a case study with commercially group-housed rabbits | |
| Wallace et al. | Inexpensive monitoring of flying insect activity and abundance using wildlife cameras | |
| Cohen et al. | Machine vision algorithms for robust animal species identification | |
| Qi et al. | Giant panda age recognition based on a facial image deep learning system | |
| Didry et al. | Newtrap: improving biodiversity surveys by enhanced handling of visual observations | |
| Aouayeb et al. | Intelligent video surveillance for animal behavior monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |