KR102594017B1 - 가축 관리 시스템 및 이의 동작 방법 - Google Patents
가축 관리 시스템 및 이의 동작 방법 Download PDFInfo
- Publication number
- KR102594017B1 KR102594017B1 KR1020200164133A KR20200164133A KR102594017B1 KR 102594017 B1 KR102594017 B1 KR 102594017B1 KR 1020200164133 A KR1020200164133 A KR 1020200164133A KR 20200164133 A KR20200164133 A KR 20200164133A KR 102594017 B1 KR102594017 B1 KR 102594017B1
- Authority
- KR
- South Korea
- Prior art keywords
- livestock
- area
- unique identifier
- individual
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 244000144972 livestock Species 0.000 title claims abstract description 199
- 238000000034 method Methods 0.000 title claims abstract description 35
- 241001465754 Metazoa Species 0.000 claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims description 37
- 230000037396 body weight Effects 0.000 claims description 19
- 230000005484 gravity Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 4
- 210000000577 adipose tissue Anatomy 0.000 claims description 3
- 210000003205 muscle Anatomy 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims description 2
- 241000282887 Suidae Species 0.000 description 45
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000465 moulding Methods 0.000 description 3
- 238000011017 operating method Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 241000283690 Bos taurus Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000009304 pastoral farming Methods 0.000 description 2
- 241000287828 Gallus gallus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000013330 chicken meat Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 244000144980 herd Species 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
- 230000037221 weight management Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Mining & Mineral Resources (AREA)
- Human Resources & Organizations (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Agronomy & Crop Science (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 가축 관리 시스템 및 이의 운영 방법에 관한 것이다. 본 발명의 일 실시예에 따르면, 가축 관리 시스템의 운영 방법은 축사에서 사육되는 복수의 가축들을 포함하는 영상 정보를 획득하는 단계; 상기 영상 정보를 이용하여 상기 복수의 가축들을 검출하는 단계; 상기 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하는 단계; 상기 영역 내에 접촉 또는 근접한 적어도 2 마리를 분리하는 단계; 상기 분리된 가축들을 포함하는 상기 복수의 가축들에 대하여 개별 고유 식별자를 부여하는 단계; 및 상기 개별 고유 식별자를 갖는 가축의 총 마리 수를 상기 영상 정보와 매칭시켜 표시하는 단계를 포함할 수 있다.
Description
본 발명은 스마트 축사 기술에 관한 것으로서, 더욱 상세하게는, 가축 관리 시스템 및 이의 동작 방법에 관한 것이다.
축산업의 경우, 좁은 공간에 사육되는 돼지 또는 소 같은 가축의 개체별 관리를 위해서는 개체 수의 파악 및 체중 관리가 필요하다. 특히, 돈사 구조 및 시설 양상은 돼지의 자연적인 행동 양식 및 단체 행동 양식에 따라 다양하나 친환경 축산 인증 기준에 적합하기 위해서는 충분한 축사 내 사육 밀도를 제공해야 하므로, 돈사 내에 사육되는 돼지의 마리 수를 실시간으로 모니터링하여 파악할 필요가 있다. 또한, 양돈 농가의 경우 출하 시 규격 기준이 매우 중요하며, 규격 기준 내에 맞는 돼지의 출하 여부 및 출하 돼지의 마리 수에 따라 농장의 소득에 매우 큰 차이를 가져온다. 돼지는 체중과 지방 두께에 따른 양적 기준과 돼지 고기의 지방분포와 고기의 육색에 따른 질적기준에 따라 돼지의 등급이 결정되는데, 통상적으로 115kg에서 120kg까지의 돼지를 규격돈으로 정의되고 있다. 규격돈의 체중을 만족시킬 경우 상위 등급을 받을 수 있기 때문에 체중을 정확히 측정하여 출하 돼지를 선별 및 마리 수를 파악하는 것이 매우 중요하다. 이를 위해 주기적인 돈사 내 가축의 개체 수 또는 체중 측정의 필요성이 현장에서 요구되고 있다. 현재 개체 수는 관리자에 의해 직접 수동적으로 계수하여 파악하고 있고 있으며, 돼지의 체중은 흉의측위법 및 돈형기에 의하여 측정되고 있다.
그러나, 종래에는 관리자가 직접 축사 내의 돼지들을 한 마리씩 개체 수를 계수하여 개체 수를 파악함으로써, 상기 축사 내의 돼지 수를 파악하는데 오류가 발생할 수 있으며, 많은 시간이 소요될 수 있다. 특히, 축사에서 사육되는 가축은 출산 또는 폐사 등을 이유로 하는 개체 수의 증감이 빈번하게 발생하므로 보고의 지연 또는 누락 등 다양한 원인으로 인하여 집계 현황에 오류가 발생할 수 있으므로 실시간으로 빠르고 정확하게 개체 수를 모니터링하는 것이 필요하다.
또한, 체중 측정에 있어서 흉위측위법은 돈의 흉위를 줄자로 측정하여 얻은 값을 체중 산출식에 적용하여 체중을 환산하는 것으로, 특별한 시설을 설치할 필요가 없다는 장점으로 사용되고 있으나 측정치의 오차가 매우 큰 문제점이 있다. 또한, 돈형기는 돼지의 체중을 측정하는 저울에 부대장치를 설비한 후 밀폐된 공간에서 양돈의 무게를 직접 측정하는 것으로, 양돈의 체중을 계측하기 위해서는 모든 돼지들을 돈형기로 유도한 후, 돈형기내에 일정시간을 정체시켜야 하는 번거로움이 따르며, 돼지의 분뇨로 인해 전자저울의 잦은 고장과 유지 보수에 어려움이 있었다.
따라서, 간편하며, 빠르고, 정확하게 돼지의 개체 수와 체중을 지속적으로 측정하고 농가의 노동력을 절감시킬 수 있으며, 이를 통해 출하 시점에 돼지의 개체 수와 체중을 정확하게 예측하기 위한 기술이 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 간편하고, 빠르고 정확하게 가축의 개체 수 또는 체중을 측정하여 농가의 노동력을 절감시킬 수 있는 가축 관리 시스템을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 다른 기술적 과제는, 전술한 이점을 가축 관리 시스템의 운용 방법을 제공하는 것이다.
본 발명의 일 실시예에 따르면, 축사에서 사육되는 복수의 가축들을 포함하는 영상 정보를 획득하는 단계; 상기 영상 정보를 이용하여 상기 복수의 가축들을 검출하는 단계; 상기 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하는 단계; 상기 영역 내에 접촉 또는 근접한 적어도 2 마리를 분리하는 단계; 상기 분리된 가축들을 포함하는 상기 복수의 가축들에 대하여 개별 고유 식별자를 부여하는 단계; 및 상기 개별 고유 식별자를 갖는 가축의 총 마리 수를 상기 영상 정보와 매칭시켜 표시하는 단계를 포함하는 가축 관리 시스템의 운영 방법이 제공될 수 있다. 상기 복수의 가축들을 검출하는 단계는, 상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하는 단계; 및 상기 이진화 영상의 객체영역을 바탕으로 개별 가축을 추출하는 단계를 포함하거나, 상기 복수의 가축들을 검출하는 단계는, 허프 변환(hugh transform)을 이용하여 타원 근사(ellipse fitting) 알고리즘 또는 CNN (Convolutional Neural Network)에 기반한 개체 검출 알고리즘을 이용할 수 있다.
일 실시예에서, 상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하는 단계는, 상기 원본 영상의 RGB 색 공간을 HSV(Hue Saturation Value) 색 공간으로 변환하는 단계를 포함하거나, 상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하는 단계는, 상기 원본 영상으로부터 픽셀 단위의 제 1 깊이 정보를 추출하는 단계; 상기 배경영역만을 포함하는 배경 영상으로부터 픽셀 단위의 제 2 깊이 정보를 추출하는 단계; 상기 제 1 깊이 정보와 상기 제 2 깊이 정보를 비교하여, 비교 값이 임계치 이상이면 ‘1’ 비교 값이 임계치 이하이면 ‘0’으로 설정하는 단계; 및 상기 비교 결과를 바탕으로, 상기 픽셀 단위의 제 1 깊이 정보가 비슷한 화소들을 그룹화하여 상기 객체영역을 검출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 객체영역을 보정하는 단계를 더 포함하며, 상기 검출된 객체영역을 보정하는 단계는, 상기 원본 영상의 색상 정보를 이용하여 밝기 값으로 이루어진 영상으로 변환시키는 단계; 및 상기 원본 영상의 상기 배경영역의 평균 밝기 값(B1)과 현재 픽셀의 밝기 값(P)의 제 1 차이(D1)와 상기 원본 영상의 상기 객체영역의 평균 밝기 값(O1)과 현재 픽셀의 밝기 값(P)의 제 1 차이(D2)를 결정하고, 상기 제 1 차이(D1)와 제 2 차이(D2)의 제 3 차이(D3)를 이용하여 상기 객체영역과 상기 배경영역을 구분하는 단계를 포함할 수 있다.
일 실시예에서, 상기 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하는 단계는, 상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하는 단계; 및 상기 객체영역의 객체 별 면적 값이 기설정된 임계 값보다 클 경우 상기 적어도 2 마리가 서로 접촉 또는 근접하는 영역으로 판단하는 단계를 포함하거나, 상기 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하는 단계는, 상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하는 단계; 및 상기 이진화 영상을 입력으로 하는 가우시안 혼합모델(Gaussian Mixture Model: GMM)를 이용하여 객체의 움직임 영역을 추출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 영역 내에 접촉 또는 근접한 적어도 2 마리를 분리하는 단계는, 상기 적어도 2 마리가 분리 검출될 때까지 상기 영역에 대해 기설정된 깊이 임계값(depth_threshold)을 적용하여 이진화 영상을 재생성하는 단계를 포함하며, 상기 기설정된 깊이 임계값(depth_threshold)은 순차적으로 증가하거나, 상기 영역 내에 접촉 또는 근접한 적어도 2 마리를 분리하는 단계는, Watershed 알고리즘 또는 이전 프레임의 영역 정보와 현재 프레임에 투영시킨 변환 프레임의 불확정 영역을 확장하여 경계를 구분하는 영역 확장 기법을 이용할 수 있다.
일 실시예에서, 상기 개별 고유 식별자를 갖는 가축의 움직임을 추적(tracking)하는 단계를 더 포함하며, 상기 개별 고유 식별자를 갖는 가축의 움직임을 추적(tracking)하는 단계는, 상기 가축의 움직임에 대응되는 픽셀들(moving pixels)을 검색하는 단계; 상기 가축의 움직임에 대응되는 픽셀들을 수학적 형태학(Mathematical morphology: MM)을 통해 처리하는 단계; 및 상기 움직임을 갖는 가축에 대하여 상기 개별 고유 식별자와 함께 표시되는 추적 박스를 생성하는 단계를 포함하거나, 상기 개별 고유 식별자를 갖는 가축의 움직임을 추적하는 단계는 discriminative correlation filter (DCF)를 이용할 수 있다.
일 실시예에서, 상기 개별 고유 식별자를 개별 가축의 무게 중심에 표시하는 단계 및 상기 개별 고유 식별자가 부여된 개별 가축에 대하여 체중을 추정하는 단계를 더 포함하며, 상기 개별 고유 식별자가 부여된 개별 가축에 대하여 체중을 추정하는 단계는, 상기 개별 고유 식별자가 부여된 가축의 자세를 기반으로 가축의 머리 크기를 추정하는 단계; 상기 개별 고유 식별자가 부여된 가축의 픽셀 크기를 계산하는 단계; 및 상기 픽셀 크기에서 상기 가축의 머리 크기에 대응하는 픽셀 수를 제외시키고, 상기 가축의 머리 크기가 제외된 픽셀 크기를 바탕으로 상기 가축의 체중을 추정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 개별 고유 식별자가 부여된 개별 가축에 대하여 체중을 추정하는 단계는, 상기 개별 가축에 대한 온도 분포를 서모그래프를 통해 추정하는 단계; 상기 서모그래프에 근거하여 추정된 가축의 근육량과 지방량을 고려하여 체지방율을 산출하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 축사 내에서 사육되는 복수의 가축들 촬영하는 카메라; 상기 복수의 가축들을 포함하는 영상 정보를 획득하고, 상기 영상 정보를 이용하여 상기 복수의 가축들을 검출하고, 상기 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하고, 상기 영역 내에 접촉 또는 근접한 적어도 2 마리를 분리하고, 상기 분리된 가축들을 포함하는 상기 복수의 가축들에 대하여 개별 고유 식별자를 부여하는 서버; 및 상기 개별 고유 식별자를 갖는 가축의 총 마리 수를 상기 영상 정보와 매칭시켜 표시하는 전자 장치를 포함하며, 상기 서버는 상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하고, 상기 이진화 영상의 객체영역을 바탕으로 개별 가축을 추출하거나, 상기 서버는 상기 원본 영상으로부터 픽셀 단위의 제 1 깊이 정보를 추출하고, 상기 배경영역만을 포함하는 배경 영상으로부터 픽셀 단위의 제 2 깊이 정보를 추출하고, 상기 제 1 깊이 정보와 상기 제 2 깊이 정보를 비교하여, 비교 값이 임계치 이상이면 ‘1’ 비교 값이 임계치 이하이면 ‘0’으로 설정하고, 상기 비교 결과를 바탕으로, 상기 픽셀 단위의 제 1 깊이 정보가 비슷한 화소들을 그룹화하여 상기 객체영역을 검출하고, 상기 서버는 상기 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하도록, 상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하고, 상기 객체영역의 객체 별 면적 값이 기설정된 임계 값보다 클 경우 상기 적어도 2 마리가 서로 접촉 또는 근접하는 영역으로 판단하거나, 상기 서버는 상기 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하도록 상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하고, 상기 이진화 영상을 입력으로 하는 가우시안 혼합모델(Gaussian Mixture Model: GMM)를 이용하여 객체의 움직임 영역을 추출할 수 있다.
본 발명의 또 다른 실시예에 따르면, 축사 내에서 사육되는 복수의 가축들 촬영하는 카메라 모듈; 및 상기 복수의 가축들을 포함하는 영상 정보를 획득하고, 상기 영상 정보를 이용하여 상기 복수의 가축들을 검출하고, 상기 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하고, 상기 영역 내에 접촉 또는 근접한 적어도 2 마리를 분리하고, 상기 분리된 가축들을 포함하는 상기 복수의 가축들에 대하여 개별 고유 식별자를 부여하고, 상기 개별 고유 식별자를 갖는 가축의 총 마리 수를 상기 영상 정보와 매칭시켜 표시하도록 제어하는 프로세서를 포함하며, 상기 프로세서는 상기 개별 고유 식별자가 부여된 개별 가축에 대하여 체중을 추정하도록, 상기 개별 고유 식별자가 부여된 가축의 자세를 기반으로 가축의 머리 크기를 추정하고, 상기 개별 고유 식별자가 부여된 가축의 픽셀 크기를 계산하고, 상기 픽셀 크기에서 상기 가축의 머리 크기에 대응하는 픽셀 수를 제외시키고, 상기 가축의 머리 크기가 제외된 픽셀 크기를 바탕으로 상기 가축의 체중을 추정하는 전자 장치가 제공될 수 있다.
본 발명의 일 실시예에 따르면, 상기 영상 정보를 이용하여 상기 복수의 가축들을 검출하는 단계; 상기 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하고, 상기 영역 내에 접촉 또는 근접한 적어도 2 마리를 분리하여, 상기 분리된 가축들을 포함하는 상기 복수의 가축들에 대하여 개별 고유 식별자를 부여하는 단계; 및 상기 개별 고유 식별자를 갖는 가축의 총 마리 수를 상기 영상 정보와 매칭시켜 표시함으로써, 간편하고, 빠르고 정확하게 가축의 개체 수를 측정할 수 있으며, 농가의 노동력을 절감시킬 수 있는 가축 관리 시스템이 제공될 수 있다.
본 발명의 또 다른 실시예에 따르면, 전술한 이점을 갖는 가축 관리 시스템의 운용 방법이 제공될 수 있다.
도 1a 내지 도 2는 본 발명의 일 실시예에 따른 가축 관리 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 가축 관리 시스템의 운영 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 실시예에 따른 배경영역과 객체영역을 구분하는 이진화 영상을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 인접 돼지의 움직임으로 2 마리 돼지가 근접 또는 접촉하는 예를 나타내는 도면이다.
도 6a 내지 도 6c는 본 발명의 실시예에 따른 근접 또는 접촉하는 2 마리 돼지를 분리하는 예를 보여주는 도면이다.
도 7은 본 발명의 실시예에 따른 돼지의 자세를 결정하는 예를 나타내는 도면이다.
도 8a 내지 도 8c는 본 발명의 실시예에 따른 개별 고유 식별자를 갖는 가축의 총 마리 수 또는 무게 정보를 영상 정보와 매칭시켜 디스플레이하는 전자 장치의 화면을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 가축 관리 시스템의 운영 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 실시예에 따른 배경영역과 객체영역을 구분하는 이진화 영상을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 인접 돼지의 움직임으로 2 마리 돼지가 근접 또는 접촉하는 예를 나타내는 도면이다.
도 6a 내지 도 6c는 본 발명의 실시예에 따른 근접 또는 접촉하는 2 마리 돼지를 분리하는 예를 보여주는 도면이다.
도 7은 본 발명의 실시예에 따른 돼지의 자세를 결정하는 예를 나타내는 도면이다.
도 8a 내지 도 8c는 본 발명의 실시예에 따른 개별 고유 식별자를 갖는 가축의 총 마리 수 또는 무게 정보를 영상 정보와 매칭시켜 디스플레이하는 전자 장치의 화면을 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
도면에서 동일 부호는 동일한 요소를 지칭한다. 또한, 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위하여 사용되며, 본 발명의 범위를 제한하기 위한 것이 아니다. 또한, 본 명세서에서 단수로 기재되어 있다 하더라도, 문맥상 단수를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 "포함한다(comprise)" 및/또는 "포함하는(comprising)"이란 용어는 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.
본 명세서에서 기판 또는 다른 층 "상에(on)" 형성된 층에 대한 언급은 상기 기판 또는 다른 층의 바로 위에 형성된 층을 지칭하거나, 상기 기판 또는 다른 층 상에 형성된 중간 층 또는 중간 층들 상에 형성된 층을 지칭할 수도 있다. 또한, 당해 기술 분야에서 숙련된 자들에게 있어서, 다른 형상에 "인접하여(adjacent)" 배치된 구조 또는 형상은 상기 인접하는 형상에 중첩되거나 하부에 배치되는 부분을 가질 수도 있다.
본 명세서에서, "아래로(below)", "위로(above)", "상부의(upper)", "하부의(lower)", "수평의(horizontal)" 또는 "수직의(vertical)"와 같은 상대적 용어들은, 도면들 상에 도시된 바와 같이, 일 구성 부재, 층 또는 영역들이 다른 구성 부재, 층 또는 영역과 갖는 관계를 기술하기 위하여 사용될 수 있다. 이들 용어들은 도면들에 표시된 방향뿐만 아니라 소자의 다른 방향들도 포괄하는 것임을 이해하여야 한다.
이하에서, 본 발명의 실시예들은 본 발명의 이상적인 실시예들(및 중간 구조들)을 개략적으로 도시하는 단면도들을 참조하여 설명될 것이다. 이들 도면들에 있어서, 예를 들면, 부재들의 크기와 형상은 설명의 편의와 명확성을 위하여 과장될 수 있으며, 실제 구현시, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 된다. 또한, 도면의 부재들의 참조 부호는 도면 전체에 걸쳐 동일한 부재를 지칭한다.
본 발명은 돈사 내의 돼지의 마리 수 및 체중을 추정 및 표시하는 예를 기반으로 설명하지만, 본 발명은 소, 닭 다른 가축들의 마리 수와 체중을 추정하는데 응용 가능함을 물론이다.
도 1a 내지 도 2는 본 발명의 일 실시예에 따른 가축 관리 시스템의 구성도이다. 도 1a는 가축 관리 시스템의 사시도이고, 도 1b는 도 1a에 대응하는 가축 관리 시스템의 평면도이다.
도 1a와 도 1b를 참조하면, 가축 관리 시스템은 카메라(CA), 카메라(CA)와 인터넷(100)으로 연결되는 서버(SM)와 전자 장치(MS)를 포함할 수 있다. 전자 장치(MS)는 노트북, 데스크탑 PC, 스마트폰 같은 휴대용 전자 장치일 수 있다. 서버(SM)와 전자 장치(MS)는 각각 데이터 및 프로그램을 저장하는 메모리와 상기 데이터의 저장/변경/삭제를 제어하고 상기 프로그램의 명령어들을 실행하는 프로세서로 구성될 수 있다. 본 발명의 일 실시예에서는, 축사의 일 예로서 돈사를 고려하되, 가축 관리 시스템은 돈사 내에서 밀집 사육되고 있는 돼지 개체(entity)의 수를 계수하고 돼지 개체를 검출 및 추적하는 것을 설명하도록 한다. 또한, 카메라(CA)를 통해 촬영된 영상 내에 존재하는 돼지 개체를 검출 대상으로서의 객체(object)라고 지칭하도록 한다. 도 1a와 도 1b에서는 돈사(FE) 내에 돼지(LS1 내지 LS6)의 개체 수가 6마리 인 경우를 예를 들고 있지만, 본 발명은 돈사(FE) 내에 돼지의 개체 수가 6 마리 이하 이거나 6 마리 이상인 경우에도 응용 가능하다.
카메라(CA)는 축사의 일 위치에 축사 내부 전체를 촬영할 수 있는 각도로 설치되며, 축사 내부를 촬영한 영상을 실시간으로 유선 또는 무선 인터넷(100)를 통해 서버(SM)로 전송할 수 있다. 일 실시예에서, 카메라(CA)는 돔형 CCTV 카메라이거나, 2D 또는 3D 깊이 카메라일 수 있다. 그러나, 본 발명은 이들에 제한되지 않으며, 3D 레이저 스캐닝을 이용하는 라이다(LiDAR) 장치가 카메라(CA)를 대체하여 활용될 수 있다.
일 실시예에서, 카메라(CA)는 바닥으로부터 임의의 높이(예: 천장) 상의 일 영역에 설치될 수 있으며, 돈사(FE) 내부를 촬영하여 지속적으로 녹화할 수 있다. 또는 카메라(CA)는 천장 사각 지점 또는 돈사(FE)의 측면에서 설치되어 돈사(FE) 내부를 촬영할 수 있다. 본 발명의 실시예에서, 카메라(CA)는 돈사(FE)의 천장에 설치되어 돈사(FE) 내부를 촬영하는 예를 들어 설명할 것이다.
일 실시예에서, 서버(SM)는 카메라(CA)로부터 촬영된 2D 또는 3D 영상 정보를 인터넷(100)를 통해 수신하여, 상기 2D 또는 3D 영상 정보의 영상 처리를 통해 돈사(FE) 내에 돼지의 개체 수 및 체중을 추정할 수 있다. 구체적으로, 서버(SM)는 축사에서 사육되는 복수의 가축들을 포함하는 영상 정보를 이용하여 상기 복수의 가축들을 검출하고, 상기 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하고, 상기 영역 내에 접촉 또는 근접한 적어도 2 마리를 분리하고, 상기 분리된 가축들을 포함하는 상기 복수의 가축들에 대하여 개별 고유 식별자를 부여하고, 상기 개별 고유 식별자를 갖는 가축의 총 마리 수를 상기 영상 정보와 매칭시켜 표시하도록 제어할 수 있다. 상기 영상 정보를 이용한 개체 검출과 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하여 분리하는 상세한 내용은 후술할 도 3의 가축 관리 시스템의 운영 방법을 참조할 수 있다.
또한, 서버(SM)는 상기 식별 정보가 부여된 움직임을 갖는 가축을 추적하고 상기 개별 고유 식별자가 부여된 개별 가축에 대하여 체중을 추정할 수 있다. 추적 기술 및 체중 추정에 상세한 내용은 후술할 도 3의 가축 관리 시스템의 운영 방법을 참조할 수 있다. 서버(SM)는 추정된 돈사(FE) 내에 돼지의 개체 수 및 체중에 대한 정보를 전자 장치(MS)로 제공할 수 있다.
일 실시예에서, 전자 장치(MS)는 서버(SM)로부터 제공받은 돼지의 개체 수 및 체중에 대한 정보를 디스플레이 하여 관리자에게 제공할 수 있다. 후술할 도 8a 내지 도 8b와 같이 돼지의 개체 수 및 체중에 대한 정보는 각각 디스플레이 하거나 도 8c와 같이 돼지의 개체 수 및 체중에 대한 정보를 동시에 제공할 수 있다.
도 1a와 도 1b에서 별도의 카메라로부터 제공되는 영상 정보를 서버가 처리하는 실시예를 설명하였지만, 후술할 도 3의 가축 관리 시스템의 운영 방법은 도 2와 같이 카메라 모듈이 탑재된 스마트폰(SM)에서 처리될 수 있다. 구체적으로, 관리자는 촬영 각도 및 높이를 조절하여 스마트폰(SM)를 이용하여 돈사(FE) 내부를 촬영할 수 있다. 이때, 도 1a의 서버에서 수행된 객체 검출 및 추적 그리고 객체의 체중 추정을 위한 영상 처리는 스마트폰(SM)의 프로세서를 통해 처리될 수 있다. 객체 검출 및 추적 그리고 객체의 체중 추정에 대한 상세한 설명은 후술할 도 3의 가축 관리 시스템의 운영 방법을 참조할 수 있다.
도 3은 본 발명의 일 실시예에 따른 가축 관리 시스템의 운영 방법을 설명하기 위한 순서도이다.
도 3을 참조하면, 가축 관리 시스템의 운영 방법은 축사에서 사육되는 복수의 가축들을 포함하는 영상 정보를 획득하는 단계(S10), 상기 영상 정보를 이용하여 상기 복수의 가축들을 검출하는 단계(S20), 상기 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하는 단계(S30), 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는 경우, 상기 영역 내에 접촉 또는 근접한 적어도 2 마리를 분리하는 단계(S40), 상기 분리된 가축들을 포함하는 상기 복수의 가축들에 대하여 개별 고유 식별자를 부여하는 단계(S60) 및 상기 개별 고유 식별자를 갖는 가축의 총 마리 수를 상기 영상 정보와 매칭시켜 표시하는 단계(S80)를 포함할 수 있다. S30 단계에서 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하지 않는 경우 S50단계로 진행할 수 있다.
일 실시예에서, 영상 정보를 획득하는 단계(S10)는 스마트폰 같은 휴대용 전자 장치의 카메라를 통해 촬영된 이미지 정보 또는 동영상 정보이거나, 깊이 카메라를 통해 촬영된 깊이 정보를 포함하는 3D 이미지일 수 있다. 다른 실시예에서. 레이저 스캐닝을 이용하는 라이다(Lidar) 시스템으로부터 측정된 3D 이미지일 수 있다.
일 실시예에서, 복수의 가축들을 검출하는 단계(S20)는 상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하는 단계 및 상기 이진화 영상의 객체영역을 바탕으로 개별 가축을 추출하는 단계를 포함할 수 있다. 상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하는 단계는, 상기 원 영상의 RGB 색 공간을 HSV(Hue Saturation Value) 색 공간으로 변환하는 단계를 포함할 수 있다.
다른 일 실시예에서, 상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하는 단계는, 상기 원본 영상으로부터 픽셀 단위의 제 1 깊이 정보를 추출하는 단계, 상기 배경영역만을 포함하는 배경 영상으로부터 픽셀 단위의 제 2 깊이 정보를 추출하는 단계, 상기 제 1 깊이 정보와 상기 제 2 깊이 정보를 비교하여, 비교 값이 임계치 이상이면 '1' 비교 값이 임계치 이하이면 '0'으로 설정하는 단계; 및 상기 비교 결과를 바탕으로, 상기 픽셀 단위의 제 1 깊이 정보가 비슷한 화소들을 그룹화하여 상기 객체영역을 검출하는 단계를 포함할 수 있다. 여기서, 이진화 영상으로 변환하는 단계는 상기 객체영역을 보정하는 단계를 더 포함할 수 있다. 상기 검출된 객체영역을 보정하는 단계는, 상기 원본 영상의 색상 정보를 이용하여 밝기 값으로 이루어진 영상으로 변환시키는 단계; 및 상기 원본 영상의 상기 배경영역의 평균 밝기 값(B1)과 현재 픽셀의 밝기 값(Pxy)의 제 1 차이(D1)와 상기 원본 영상의 상기 객체영역의 평균 밝기 값(O1)과 현재 픽셀의 밝기 값(Pxy)의 제 1 차이(D2)를 결정하고, 상기 제 1 차이(D1)와 제 2 차이(D2)의 제 3 차이(D3)를 이용하여 수학식 1과 같이 상기 객체영역과 상기 배경영역을 구분하는 단계를 포함할 수 있다.
<수학식 1>
Txy = |B1-Pxy| - |O1-Pxy|
이때, Txy는 자신의 화소가 배경하고 유사할 경우 값이 커지고, 객체하고 유사할 경우 값이 작아질 수 있다. 또한, Txy가 특정 상수 값 이하일 경우에는 배경으로 판단하여 객체 내부 영역에서 제거할 수 있다.
구체적으로, 상기 제 1 깊이 정보만을 이용하여 검출된 객체영역은 실제 객체영역과 차이가 발생할 있다. 이는 객체영역 주변의 배경영역 깊이를 정확하게 측정하지 못하고 객체영역과 배경영역 사이의 깊이 값으로 인식을 수행하기 때문이다. 본 발명에서는 깊이 영상을 이용하여 획득된 영역에 대해서 색상 정보를 이용하여 색상 정보나 깊이 정보 각각 하나만을 이용한 경우보다 더 정확한 객체영역을 검출할 수 있다.
다른 일 실시예에서, 복수의 가축들을 검출하는 단계(S20)는 허프 변환(hugh transform)을 이용하여 타원 근사(ellipse fitting) 알고리즘 또는 CNN(Convolutional Neural Network)에 기반한 개체 검출 알고리즘을 이용할 수 있다. 상기 CNN에 기반한 개체 검출 알고리즘은 공지된 Faster R-CNN, R-FCN, SSD, FPN, RetinaNet and YOLOv3 중 어느 하나를 포함할 수 있다.
일 실시예에서, 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하는 단계(S30)는, 상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하는 단계; 및 상기 객체영역의 객체 별 면적 값이 기설정된 임계 값보다 클 경우 상기 적어도 2 마리가 서로 접촉 또는 근접하는 영역으로 판단하는 단계를 포함할 수 있다. 정확한 판단을 위해서 상기 기설정된 임계 값은 카메라와 객체 사이의 측정 거리에 의해 변경될 수 있다.
다른 일 실시예에서, 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하는 단계(S30)는, 상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하는 단계; 및 상기 이진화 영상을 입력으로 하는 가우시안 혼합모델(Gaussian Mixture Model: GMM)를 이용하여 후술할 도 6b와 같이 돼지의 움직임 영역을 추출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 영역 내에 접촉 또는 근접한 적어도 2 마리를 분리하는 단계(S40)는 상기 적어도 2 마리가 분리 검출될 때까지 상기 영역에 대해 기설정된 깊이 임계값(depth_threshold)을 적용하여 이진화 영상을 재생성하는 단계를 포함할 수 있다. 상기 기설정된 깊이 임계값(depth_threshold)은 순차적으로 증가할 수 있다. 깊이 임계 값은 깊이 카메라를 통해 투영된 적외선 패턴이 물체로부터 반사된 크기 값에 대한 임계 값으로써, 본 발명의 일 실시예에서 깊이 임계 값이 커진다는 것은 축사 바닥으로부터의 높이가 높아지는 것(즉, 반사된 적외선 크기 값이 커지는 것)을 의미한다.
구체적으로, 상기 근접 또는 접촉 영역으로 판단된 위치에 대하여 이전의 깊이 임계 값 보다 높은 깊이 임계 값을 적용하고 나머지 영역들에 대해서는 원래의 깊이 임계 값을 유지하여 생성한 이진화 영상을 획득하여, 해당 영역(즉, 2 마리의 가축들이 근접 또는 접촉하는 영역이 발생한 것으로 판단된 영역)의 개체의 위치 정보를 재확인함으로써. S40 단계가 수행될 수 있다.
다른 일 실시예에서, 상기 영역 내에 접촉 또는 근접한 적어도 2 마리를 분리하는 단계는, Watershed 알고리즘 또는 후술할 도 6c와 같이 이전 프레임의 영역 정보와 현재 프레임에 투영시킨 변환 프레임의 불확정 영역을 확장하여 경계를 구분하는 영역 확장 기법을 이용할 수 있다.
선택적으로, 상기 개별 고유 식별자를 갖는 가축의 움직임을 추적(tracking)하는 단계(S60)가 더 포함될 수 있다. 상기 개별 고유 식별자를 갖는 가축의 움직임을 추적(tracking)하는 단계(S60)는, 전술한 이진화 영상을 형성하는 단계 및 상기 이진화 영상으로부터 상기 가축의 움직임에 대응되는 픽셀들(moving pixels)을 검색하는 단계; 상기 가축의 움직임에 대응되는 픽셀들을 수학적 형태학(Mathematical morphology: MM)을 통해 처리하는 단계; 및 상기 움직임을 갖는 가축에 대하여 상기 개별 고유 식별자와 함께 표시되는 추적 박스를 생성하는 단계를 포함할 수 있다. 상기 추적 박스는 가축의 무게중심, 가축의 자세 및 움직임을 기반으로 표시될 수 있다. 상기 추적 박스는 돼지의 자세에 의해 회전될 수 있다. 예컨대, 돼지의 자세가 45° 방향으로 곧게 되어 있는 경우 추적 박스는 돼지의 자세가 45° 방향으로 회전된다.
다른 일 실시예에서, 상기 개별 고유 식별자를 갖는 가축의 움직임을 추적하는 단계는 discriminative correlation filter (DCF) 기법을 이용할 수 있다. 상기 DCF 기법은 상기 비용함수를 최소화시키도록 상관필터를 갱신하는 기법으로서, ASEF(Average of Synthetic Exact Filters), MOSSE(Minimum Output Sum of Squared Error), KCF(Kernelized Correlation Filter) 중 어느 하나를 포함할 수 있다. 또 다른 실시예에서, 단계(S60)는 딥러닝 모델중 하나인 컨볼루션 신경망과 상관 필터를 결합하여 수행될 수 있다.
일 실시예에서, 단계 S70에서 가축의 움직임을 추적(tracking)하는 것이 실패하는 경우, S40단계로 진행할 수 있다. 상기 가축의 움직임으로 인해 반복적으로 적어도 2 마리의 가축들이 근접 또는 접촉함으로써 가축 움직임의 추적(tracking)이 실패할 확률이 높기 때문에, 상기 적어도 2 마리의 가축들이 근접 또는 접촉하는 영역을 검출하여 분리하는 과정을 수행하는 것이 필요한다.
일 실시예에서, 추가적으로 상기 개별 고유 식별자가 부여된 개별 가축에 대하여 체중을 추정하는 단계가 더 포함될 수 있다. 상기 개별 고유 식별자가 부여된 개별 가축에 대하여 체중을 추정하는 단계는, 상기 개별 고유 식별자가 부여된 가축의 자세를 기반으로 가축의 머리 크기를 추정하는 단계; 상기 개별 고유 식별자가 부여된 가축의 픽셀 크기를 계산하는 단계; 및 상기 픽셀 크기에서 상기 가축의 머리 크기에 대응하는 픽셀 수를 제외시키고, 상기 가축의 머리 크기가 제외된 픽셀 크기를 바탕으로 상기 가축의 체중을 추정하는 단계를 포함할 수 있다. 일 실예에서, 입력 픽셀을 체중으로 변환시켜주는 하기 <수학식 2>의 변환식을 이용할 수 있다.
<수학식 2>
여기서, BW(t)는 t 시간에 추정된 체중이고, A(t)는 모델의 입력을 값을 나타내며, ntT는 각 입력 i와 상기 입력 i에 영향을 받는 출력 사이의 시간 지연이고, a(Z-1)는 로 정의되는 지정자 다항식이고, b(Z-1)는 로 정의되는 입력 i와 연결된 분모 다항식이다. aj와 bj는 추정될 수 있는 모델 파라미터이며, Z-1는 후행 연산자(backward shift operator)이다.
상기 영상처리 기법을 사용하여 돼지의 무게 추정 시, 정확도를 향상시키기 위해서 돼지의 픽셀 값에 영향을 줄 수 있는 돼지의 머리를 제거할 필요가 있다. 돼지의 자세를 결정하기 위하여 Posenet, OpenPose 기법 같은 딥러닝 기술을 사용하여 자세를 결정할 수 있다.
다른 실시예서, 자세 추정은 도 7과 같이 무게 중심점으로부터 x축과 평행한 방향으로 돼지를 지나는 선분을 연결하고. 연결된 선분의 중심점을 기준으로 나뉜 두 선분의 길이를 비교하여 길이의 차이가 임계치 이상일 경우 돼지의 자세가 굽어 있다고 판단하고, 길이 차가 임계치 이하이면 돼지의 자세가 바르다고 판단할 수 있다.
일 실시예에서, 상기 개별 고유 식별자가 부여된 개별 가축에 대하여 체중을 추정하는 단계는, 추정된 온도 분포(서모그래피 정보)에 근거하여 추정된 가축의 근육량과 지방량을 고려하여 체지방율을 산출하는 단계를 더 포함할 수 있다. 이는 가축의 등급을 결정하는 요소로 활용될 수 있다.
도 4는 본 발명의 실시예에 따른 배경영역과 객체영역을 구분하는 이진화 영상을 나타내는 도면이다.
도 4를 참조하면, 배경영역(BG)과 객체영역(OB)이 구분되는 이진화 영상을 보여준다. 또한, 배경영역(BG)과 객체영역(OB) 사이는 경계영역(BL)이 존재할 수 있다. 상기 이진화 영상은 흰색과 검정색(또는 회색) 2 가지 색으로 표현된 영상을 지칭한다.
일 실시예에서, 배경영역(BG)과 객체영역(OB) 사이의 경계영역(BL)의 형태를 기반으로 가축을 검출할 수 있다. 구체적으로, 데이터베이스에 저장된 탑뷰에서 바라본 돼지의 형태와 도 4의 경계영역(BL)의 형태를 비교함으로써, 도 4의 이진화 영상으로부터 개별 돼지를 검출할 수 있다.
도 5는 본 발명의 실시예에 따른 인접 돼지의 움직임으로 2 마리 돼지가 근접 또는 접촉하는 예를 나타내는 도면이다.
도 5를 참조하면, 돼지(LS1)의 움직임으로 인해 돼지(LS1)와 인접 돼지(LS2)가 근접 또는 접촉할 수 있다. 이때, 돼지(LS1)와 인접 돼지(LS2)는 하나의 객체로 인식될 수 있다. 이 경우, 돼지(LS1)와 인접 돼지(LS2)를 분리하지 않는 경우, 2 마리가 1 마리로 검출되어 총 돼지 마리 수를 파악하는데 오류가 발생할 수 있다. 따라서, 전술한 근접 또는 접촉하는 2 마리 이상의 객체를 분리하는 과정을 통해 분리된 객체에 대하여 각각 고유의 식별자를 부여하는 것이 필요하다.
도 6a 내지 도 6c는 본 발명의 실시예에 따른 근접 또는 접촉하는 2 마리 돼지를 분리하는 예를 보여주는 도면이다.
도 6a를 참조하면, 영상 정보를 바탕으로 변환된 이진화 영상이며, 이진화 영상을 구성하는 4 개의 프레임을 보여준다. 구체적으로, 프레임 262, 267, 271, 275이며, 프레임들은 각각 서로 시간에 촬영된 이미지이다.
도 6b를 참조하면, 도 6a의 이진화 영상 내에 움직임을 갖는 돼지의 주변 영역(이하 객체의 움직임 영역이라 칭한다)을 이진화 영상의 프레임 별로 분리할 수 있다. 예컨대, 프레임 262에서 움직임을 갖는 돼지의 주변영역이 추출되고, 프레임 267에서 움직임을 갖는 동일 돼지의 주변영역이 추출되고, 프레임 271에서 움직임을 갖는 동일 돼지의 주변영역이 추출되고, 프레임 275에서 움직임을 갖는 동일 돼지의 주변영역이 추출될 수 있다.
도 6c를 참조하면, 전술한 이전 프레임의 영역 구분 정보를 현재 프레임에 투영하여, 변환된 현재 프레임의 불확정 영역(이전 프레임의 돼지 영역과 현재 프레임의 돼지 영역의 오차로 인해 겹침이 발생되지 않은 영역)을 확장하여 경계를 명확히 나타냄으로써 두 마리의 돼지를 개별적으로 분리시킬 수 있다.
도 7은 본 발명의 실시예에 따른 돼지의 자세를 결정하는 예를 나타내는 도면이다.
도 7를 참조하면, 돼지의 무게 중심점(C)으로부터 x축과 평행한 방향으로 돼지를 지나는 선분(L)을 연결하고. 연결된 선분의 중심점(C)을 기준으로 나뉜 두 선분(A, B)의 길이를 비교하여 길이의 차이가 임계치 이상일 경우 돼지의 자세가 굽어 있다고 판단하고, 길이 차가 임계치 이하이면 돼지의 자세가 바르다고 판단함으로써, 돼지의 자세를 추정할 수 있다.
도 8a 내지 도 8c는 본 발명의 실시예에 따른 개별 고유 식별자를 갖는 가축의 총 마리 수 또는 무게 정보를 영상 정보와 매칭시켜 디스플레이하는 전자 장치의 화면을 나타내는 도면이다.
도 8a을 참조하면, 전술한 도 3의 순서도에 의해 돈사에서 개별 돼지에 부여된 고유 식별자가 영상에 매칭되어 표시될 있으며, 상단에는 돈사 내의 총 돼지 마리 수가 표시될 수 있다. 여기서, 고유 식별자는 돼지의 무게중심 또는 그 주변에 표시될 수 있다.
도 8b을 참조하면, 전술한 도 3의 돼지의 체중 추정 방법에 산출된 개별 돼지의 체중이 영상에 매칭되어 표시될 있으며, 상단에는 둔사 내의 총 돼지 마리의 총 평균 무게가 표시될 수 있다. 여기서, 체중은 돼지의 무게중심 또는 그 주변에 표시될 수 있다.
도 8c을 참조하면, 전술한 도 3의 순서도에 의해 돈사에서 개별 돼지에 부여된 고유 식별자, 추정된 총 돼지 마리 수 및 체중이 영상에 매칭되어 표시될 있으며, 상단에는 둔사 내의 총 돼지 마리의 총 평균 무게가 표시될 수 있다. 여기서, 고유 식별자 및 체중은 돼지의 무게중심 또는 그 주변에 표시될 수 있다.
이상에서 설명한 본 발명이 전술한 실시예 및 첨부된 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
Claims (11)
- 축사에서 사육되는 복수의 가축들을 포함하는 영상 정보를 획득하는 단계;
상기 영상 정보를 이용하여 상기 복수의 가축들을 검출하는 단계;
상기 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하는 단계;
상기 영역 내에 접촉 또는 근접한 적어도 2 마리를 분리하는 단계;
상기 분리된 가축들을 포함하는 상기 복수의 가축들에 대하여 개별 고유 식별자를 부여하는 단계; 및
상기 개별 고유 식별자를 갖는 가축의 총 마리 수를 상기 영상 정보와 매칭시켜 표시하는 단계를 포함하고,
상기 영상 정보를 획득하는 단계, 상기 복수의 가축들을 검출하는 단계, 상기 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하는 단계, 상기 영역 내에 접촉 또는 근접한 적어도 2 마리를 분리하는 단계, 상기 개별 고유 식별자를 부여하는 단계 및 상기 개별 고유 식별자를 갖는 가축의 총 마리 수를 상기 영상 정보와 매칭시켜 표시하는 단계는 서버 및 전자 장치의 프로세서 중 어느 하나에 의해 수행되며,
상기 개별 고유 식별자를 개별 가축의 무게 중심에 표시하는 단계; 및
상기 개별 고유 식별자가 부여된 개별 가축에 대하여 체중을 추정하는 단계를 더 포함하며, 상기 개별 고유 식별자를 개별 가축의 무게 중심에 표시하는 단계 및 상기 체중을 추정하는 단계는 상기 서버 및 상기 전자 장치의 프로세서 중 어느 하나에 의해 수행되고,
상기 개별 고유 식별자가 부여된 개별 가축에 대하여 체중을 추정하는 단계는,
상기 개별 고유 식별자가 부여된 가축의 자세를 기반으로 가축의 머리 크기를 추정하는 단계;
상기 개별 고유 식별자가 부여된 가축의 픽셀 크기를 계산하는 단계; 및
상기 픽셀 크기에서 상기 가축의 머리 크기에 대응하는 픽셀 수를 제외시키고, 상기 가축의 머리 크기가 제외된 픽셀 크기를 바탕으로 상기 가축의 체중을 추정하는 단계를 포함하고,
상기 서버 및 상기 전자 장치의 프로세서 중 어느 하나에 의해서 상기 개별 고유 식별자가 상기 개별 가축에 각각 매칭되어 영상에 표시되고, 상기 개별 가축에 대해 추정된 개별 체중이 상기 개별 가축에 각각 매칭되어 상기 영상에 표시되는 가축 관리 시스템의 운영 방법. - 제 1 항에 있어서,
상기 복수의 가축들을 검출하는 단계는,
상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하는 단계; 및
상기 이진화 영상의 객체영역을 바탕으로 개별 가축을 추출하는 단계를 포함하거나,
상기 복수의 가축들을 검출하는 단계는,
허프 변환(hugh transform)을 이용하여 타원 근사(ellipse fitting) 알고리즘 또는 CNN (Convolutional Neural Network)에 기반한 개체 검출 알고리즘을 이용하는 가축 관리 시스템의 운영 방법. - 제 2 항에 있어서,
상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하는 단계는,
상기 원본 영상의 RGB 색 공간을 HSV(Hue Saturation Value) 색 공간으로 변환하는 단계를 포함하거나,
상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하는 단계는,
상기 원본 영상으로부터 픽셀 단위의 제 1 깊이 정보를 추출하는 단계;
상기 배경영역만을 포함하는 배경 영상으로부터 픽셀 단위의 제 2 깊이 정보를 추출하는 단계;
상기 제 1 깊이 정보와 상기 제 2 깊이 정보를 비교하여, 비교 값이 임계치 이상이면 ‘1’ 비교 값이 임계치 이하이면 ‘0’으로 설정하는 단계; 및
상기 비교 결과를 바탕으로, 상기 픽셀 단위의 제 1 깊이 정보가 비슷한 화소들을 그룹화하여 상기 객체영역을 검출하는 단계를 포함하는 가축 관리 시스템의 운영 방법. - 제 3 항에 있어서,
상기 객체영역을 보정하는 단계를 더 포함하며, 상기 객체영역을 보정하는 단계는 상기 서버 및 상기 전자 장치의 프로세서 중 어느 하나에 의해 수행되고,
상기 검출된 객체영역을 보정하는 단계는,
상기 원본 영상의 색상 정보를 이용하여 밝기 값으로 이루어진 영상으로 변환시키는 단계; 및
상기 원본 영상의 상기 배경영역의 평균 밝기 값(B1)과 현재 픽셀의 밝기 값(P)의 제 1 차이(D1)와 상기 원본 영상의 상기 객체영역의 평균 밝기 값(O1)과 현재 픽셀의 밝기 값(P)의 제 1 차이(D2)를 결정하고, 상기 제 1 차이(D1)와 제 2 차이(D2)의 제 3 차이(D3)를 이용하여 상기 객체영역과 상기 배경영역을 구분하는 단계를 포함하는 가축 관리 시스템의 운영 방법. - 제 1 항에 있어서,
상기 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하는 단계는,
상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하는 단계; 및
상기 객체영역의 객체 별 면적 값이 기설정된 임계 값보다 클 경우 상기 적어도 2 마리가 서로 접촉 또는 근접하는 영역으로 판단하는 단계를 포함하거나,
상기 복수의 가축들 중 적어도 2 마리가 서로 접촉 또는 근접하는 영역이 존재하는지 판단하는 단계는,
상기 영상 정보에 대응하는 원본 영상을 배경영역과 객체영역으로 구분되는 이진화 영상으로 변환하는 단계; 및
상기 이진화 영상을 입력으로 하는 가우시안 혼합모델(Gaussian Mixture Model: GMM)를 이용하여 객체의 움직임 영역을 추출하는 단계를 포함하는 가축 관리 시스템의 운영 방법. - 제 1 항에 있어서,
상기 영역 내에 접촉 또는 근접한 적어도 2 마리를 분리하는 단계는,
상기 적어도 2 마리가 분리 검출될 때까지 상기 영역에 대해 기설정된 깊이 임계값(depth_threshold)을 적용하여 이진화 영상을 재생성하는 단계를 포함하며,
상기 기설정된 깊이 임계값(depth_threshold)은 순차적으로 증가하거나,
상기 영역 내에 접촉 또는 근접한 적어도 2 마리를 분리하는 단계는,
Watershed 알고리즘 또는 이전 프레임의 영역 정보와 현재 프레임에 투영시킨 변환 프레임의 불확정 영역을 확장하여 경계를 구분하는 영역 확장 기법을 이용하는 가축 관리 시스템의 운영 방법. - 제 1 항에 있어서,
상기 개별 고유 식별자를 갖는 가축의 움직임을 추적(tracking)하는 단계를 더 포함하며, 상기 개별 고유 식별자를 갖는 가축의 움직임을 추적(tracking)하는 단계는 상기 서버 및 상기 전자 장치의 프로세서 중 어느 하나에 의해 수행되고,
상기 개별 고유 식별자를 갖는 가축의 움직임을 추적(tracking)하는 단계는,
상기 가축의 움직임에 대응되는 픽셀들(moving pixels)을 검색하는 단계;
상기 가축의 움직임에 대응되는 픽셀들을 수학적 형태학(Mathematical morphology: MM)을 통해 처리하는 단계; 및
상기 움직임을 갖는 가축에 대하여 상기 개별 고유 식별자와 함께 표시되는 추적 박스를 생성하는 단계를 포함하거나,
상기 개별 고유 식별자를 갖는 가축의 움직임을 추적하는 단계는,
discriminative correlation filter (DCF)를 이용하는 가축 관리 시스템의 운영 방법. - 삭제
- 제 1 항에 있어서,
상기 개별 고유 식별자가 부여된 개별 가축에 대하여 체중을 추정하는 단계는,
상기 개별 가축에 대한 온도 분포를 서모그래프를 통해 추정하는 단계;
상기 서모그래프에 근거하여 추정된 가축의 근육량과 지방량을 고려하여 체지방율을 산출하는 단계를 더 포함하는 가축 관리 시스템의 운영 방법. - 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200164133A KR102594017B1 (ko) | 2020-11-30 | 2020-11-30 | 가축 관리 시스템 및 이의 동작 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200164133A KR102594017B1 (ko) | 2020-11-30 | 2020-11-30 | 가축 관리 시스템 및 이의 동작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220076558A KR20220076558A (ko) | 2022-06-08 |
| KR102594017B1 true KR102594017B1 (ko) | 2023-10-26 |
Family
ID=81980700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200164133A Active KR102594017B1 (ko) | 2020-11-30 | 2020-11-30 | 가축 관리 시스템 및 이의 동작 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102594017B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102814889B1 (ko) * | 2024-07-23 | 2025-05-30 | 파이프트리 주식회사 | 축사에서 사육되는 가축 개체군의 가축 개수를 산출하는 장치 및 방법 |
| KR102831017B1 (ko) | 2024-12-06 | 2025-07-08 | 파이프트리 주식회사 | 축사에서 사육되는 가축 개체군의 가축 개수를 적은 연산량으로 산출하는 장치 및 방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240159275A (ko) * | 2023-04-28 | 2024-11-05 | 인트플로우 주식회사 | 영상 기반 동물 개체 상태 정보 제공 장치 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009148375A (ja) * | 2007-12-19 | 2009-07-09 | Tanita Corp | 生体測定装置 |
| KR102030768B1 (ko) * | 2018-05-08 | 2019-10-10 | 숭실대학교산학협력단 | 영상을 이용한 가금류 무게 측정 방법, 이를 수행하기 위한 기록매체 및 장치 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160035121A (ko) * | 2014-09-22 | 2016-03-31 | 에스케이텔레콤 주식회사 | 깊이 영상정보에서 추출된 위치정보를 이용한 개체계수 방법 및 장치 |
| KR101827113B1 (ko) * | 2016-05-18 | 2018-02-08 | 고려대학교 세종산학협력단 | 축사 근접 개체 탐지 장치 및 방법 |
-
2020
- 2020-11-30 KR KR1020200164133A patent/KR102594017B1/ko active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009148375A (ja) * | 2007-12-19 | 2009-07-09 | Tanita Corp | 生体測定装置 |
| KR102030768B1 (ko) * | 2018-05-08 | 2019-10-10 | 숭실대학교산학협력단 | 영상을 이용한 가금류 무게 측정 방법, 이를 수행하기 위한 기록매체 및 장치 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102814889B1 (ko) * | 2024-07-23 | 2025-05-30 | 파이프트리 주식회사 | 축사에서 사육되는 가축 개체군의 가축 개수를 산출하는 장치 및 방법 |
| KR102831017B1 (ko) | 2024-12-06 | 2025-07-08 | 파이프트리 주식회사 | 축사에서 사육되는 가축 개체군의 가축 개수를 적은 연산량으로 산출하는 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220076558A (ko) | 2022-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jun et al. | Estimating pig weights from images without constraint on posture and illumination | |
| Mortensen et al. | Weight prediction of broiler chickens using 3D computer vision | |
| US10796141B1 (en) | Systems and methods for capturing and processing images of animals for species identification | |
| US10058076B2 (en) | Method of monitoring infectious disease, system using the same, and recording medium for performing the same | |
| US7068842B2 (en) | System and method for object identification and behavior characterization using video analysis | |
| US20240382109A1 (en) | Systems and methods for the automated monitoring of animal physiological conditions and for the prediction of animal phenotypes and health outcomes | |
| US12131485B2 (en) | Object tracking device and object tracking method | |
| KR102594017B1 (ko) | 가축 관리 시스템 및 이의 동작 방법 | |
| JP7481550B2 (ja) | 体重推定装置、体重推定方法及びプログラム | |
| CN111797831A (zh) | 基于bim和人工智能的家禽进食并行异常检测方法 | |
| KR102643254B1 (ko) | 가축 개체군의 출하 정보 산출 장치 및 방법과, 상기 출하 정보 산출 장치를 포함하는 출하 정보 산출 시스템 | |
| CA3183341A1 (en) | Autonomous livestock monitoring | |
| KR101529620B1 (ko) | 이동 방향별 보행자 계수 방법 및 장치 | |
| KR102584357B1 (ko) | 반문 이미지를 기반으로 한 축산 동물의 개체 식별 장치 및 영상을 기반으로 한 가축 행동 패턴 분류 시스템 및 가축 행동 패턴 분류 방법 | |
| US20250081941A1 (en) | Apparatus and method for analyzing herd behavior patterns of video-based herd objects | |
| US20240265616A1 (en) | Texture mapping to polygonal models for industrial inspections | |
| González et al. | Real-time monitoring of poultry activity in breeding farms | |
| CN108460370A (zh) | 一种固定式家禽生命信息报警装置 | |
| US20200134801A1 (en) | Image processing apparatus and image processing method | |
| KR20200123324A (ko) | 연결 요소 분석 기법과 yolo 알고리즘을 이용한 돼지 겹침 객체 분리 방법 | |
| JP6920949B2 (ja) | 物体分布推定装置 | |
| JP6893812B2 (ja) | 物体検出装置 | |
| JP6851246B2 (ja) | 物体検出装置 | |
| US20250225671A1 (en) | Method for predicting body mass of herd animal, computer-readable storage media, system for predicting body mass of herd | |
| CN117440180B (zh) | 一种视频处理方法、装置、设备、可读存储介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20201130 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20221007 Patent event code: PE09021S01D |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20230419 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20231018 |
|
| PG1601 | Publication of registration |