KR102332252B1 - 영상 분석 기반의 반추 동물의 발정행동패턴 분석 장치 및 방법 - Google Patents

Abstract

영상 분석 기반의 반추 동물의 발정행동패턴 분석 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 영상 분석 기반의 반추 동물의 발정행동패턴 분석 방법은, 반추 동물이 등장하고, 상기 반추 동물에 대한 라벨이 부여된 학습 영상을 준비하는 단계, 모니터링 대상인 반추 동물을 촬영한 대상 영상이 입력되면 상기 대상 영상에 등장하는 반추 동물의 식별 정보 및 행동 정보를 추출하는 행동 평가 모델을 상기 학습 영상을 기초로 학습시키는 단계, 상기 대상 영상을 수신하여 상기 행동 평가 모델에 입력하고, 상기 행동 평가 모델을 통해 상기 대상 영상에 등장하는 반추 동물의 상기 식별 정보 및 상기 행동 정보를 추출하는 단계 및 상기 추출된 식별 정보 및 행동 정보에 기초하여 상기 반추 동물의 발정 여부를 판단하는 단계를 포함할 수 있다.

Description

영상 분석 기반의 반추 동물의 발정행동패턴 분석 장치 및 방법{APPARATUS AND METHOD FOR ANALYZING OESTRUS BEHAVIOR PATTERN OF RUMINANT ANIMAL BASED ON IMAGE ANALYSIS}

본원은 영상 분석 기반의 반추 동물의 발정행동패턴 분석 장치 및 방법에 관한 것이다. 예를 들면, 본원은 CCTV 영상 기반의 인공지능 분석을 통한 반추 동물의 발정 행동 인식 기법에 관한 것이다.

육소, 젖소, 양 등의 반추 동물이 사육되는 사육장, 낙농장 등의 운영에서 번식 관리는 매우 중요하다. 소를 예로 들면, 소의 번식주기는 통상적으로 1년에 1회 수준이며, 임신 기간은 280일, 임신 간격 기간은 30-60 일 정도이다. 임신 간격이 끝난 후, 준비된 소는 다음 번식을 위해 발정기에 인공 수정을 진행하게 되는데, 소의 평균 발정주기는 21일 정도이고, 발정기를 놓치게 되면 재차 인공 수정을 시도하기 위해서는 다음 발정 주기가 도래하는 것을 기다려야 한다.

따라서, 번식 수준을 지속적으로 유지하기 위해서는 소의 발정기를 적시에 정확하게 감지하는 것이 특히 중요하며, 발정기를 놓치면 준비된 소에 적시에 인공 수정을 시도할 수 없으며, 특히 소가 송아지를 낳은 후 임신 간격이 지난 후 발정 행동을 적시에 정확하게 감지하지 못하게 되면, 임신 간격의 일 수가 늘어나게 된다. 이렇게 인공 수정을 위한 임신 간격의 일 수가 증가 할수록 사료 비용이 증가하며, 소를 많이 보유한 농장일수록 그 비용이 커지게 되고 이에 따라 농장의 경제적 손실이 큰 폭으로 상승하게 되므로, 반추 동물의 발정 행동을 적시에 정확하게 감지하는 것이 성공적인 번식의 핵심이다.

한편, 반추 동물의 발정을 식별하기 위한 종래의 기법은 주로 두 가지 행동 마크를 탐색하는 방식으로 진행되는데, 첫 번째 행동 마크는 발정기가 도래한 소가 다른 소 위로 올라타는 마운팅(mounting) 행위를 받아들이는 것과 관련한 징후이고, 두 번째 행동 마크는 외음부 부종, 점액 분비 증가, 안절부절 못하는 움직임, 활동 수준 증가와 같은 행동 특성과 관련한 징후이다.

최근 들어, 과학 기술의 발달로 반추 동물이 마운팅 행위를 할 때의 압력을 감지하여 발정을 판단하거나, 반추 동물의 소리, 체온 등을 측정하여 발정을 판단하는 도구와 장비가 일부 개발되었으나, 이러한 종래의 시스템은 실시간 탐지를 달성하기 어렵고, 사육되는 반추 동물의 수가 증가할수록 농장의 운영 비용 역시 선형적으로 상승시킨다는 한계가 있다.

현재 가장 많이 사용되는 방법은 반추 동물을 육안 관찰하는 기법과 만보계를 활용한 탐지 기법이지만, 육안 관찰법의 정확도는 50% 내지 70% 수준으로 비교적 낮은 편이며, 주간에 고정된 시간 동안을 관찰 시간으로 지정해야 하고, 인건비로 인한 지출이 많음에도 관찰 시간을 벗어난 소의 발정을 감지하기 어렵다는 문제가 있다. 특히, 사육되는 총 반추 동물의 두수가 증가함에 따라 포괄적인 육안 관찰 방법의 어려움이 더욱 증가하며 이에 따라 탐지율이 더욱 감소하게 된다. 또한, 만보계를 활용한 탐지 기법은 만보계 보조 시스템을 활용하여 소의 활동을 감지하고, 활동의 변화에 따라 발정 발생을 탐지하나, 이전 연구에 따르면 이 만보기 보조 시스템을 기반으로 한 모니터링 방법의 정확도는 51% 내지 87% 사이의 수준을 보였으며, 개별 반추 동물마다 독립적인 만보계 장치를 배치해야 하는 한계가 있다.

따라서, 반추 동물의 발정 행동을 높은 정확도로 인식할 수 있고, 농장 운영 주체에게 발정 행동의 발생을 실시간으로 알릴 수 있을 뿐만 아니라, 비교적 저렴한 가격으로 반추 동물의 모니터링을 수행할 수 있는 발정행동패턴 분석 방법의 개발이 요구된다.

본원의 배경이 되는 기술은 한국등록특허공보 제10-1329022호에 개시되어 있다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사육되는 반추 동물을 촬영한 대상 영상으로부터 반추 동물을 자동으로 식별하고, 식별된 반추 동물의 행동 정보를 인공지능 기반의 영상 분석을 통해 추출하는 행동 평가 모델을 활용하여 반추 동물을 모니터링 하는 영상 분석 기반의 반추 동물의 발정행동패턴 분석 장치 및 방법을 제공하려는 것을 목적으로 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 영상 분석 기반의 반추 동물의 발정행동패턴 분석 방법은, 반추 동물이 등장하고, 상기 반추 동물에 대한 라벨이 부여된 학습 영상을 준비하는 단계, 모니터링 대상인 반추 동물을 촬영한 대상 영상이 입력되면 상기 대상 영상에 등장하는 반추 동물의 식별 정보 및 행동 정보를 추출하는 행동 평가 모델을 상기 학습 영상을 기초로 학습시키는 단계, 상기 대상 영상을 수신하여 상기 행동 평가 모델에 입력하고, 상기 행동 평가 모델을 통해 상기 대상 영상에 등장하는 반추 동물의 상기 식별 정보 및 상기 행동 정보를 추출하는 단계 및 상기 추출된 식별 정보 및 행동 정보에 기초하여 상기 반추 동물의 발정 여부를 판단하는 단계를 포함할 수 있다.

또한, 상기 학습시키는 단계는, 상기 학습 영상을 기초로 한 퓨샷 러닝(Few-Shot Learning)에 기초하여 상기 행동 평가 모델을 생성할 수 있다.

또한, 상기 식별 정보는, 상기 대상 영상에서 등장하는 반추 동물의 미리 설정된 적어도 하나의 신체 부위에 대응하는 기준점의 위치 정보를 포함할 수 있다.

또한, 상기 추출하는 단계는, 상기 대상 영상으로부터 상기 반추 동물의 마운팅 동작 여부 및 마운팅 지속 시간을 포함하는 제1행동 정보를 추출할 수 있다.

또한, 상기 제1행동 정보를 추출하는 단계는, 상기 대상 영상에 등장하는 복수의 반추 동물 각각의 적어도 둘 이상의 상기 기준점을 잇는 복수의 기준선 간의 중첩 여부에 기초하여 상기 마운팅 동작 여부 및 상기 마운팅 지속 시간을 추출할 수 있다.

또한, 상기 추출하는 단계는, 상기 대상 영상으로부터 상기 반추 동물의 선형 이동 거리 및 조향 이동 거리를 포함하는 제2행동 정보를 추출할 수 있다.

상기 제2행동 정보를 추출하는 단계는, 제1시점에서의 상기 반추 동물의 어느 하나의 기준점의 위치와 상기 제1시점보다 미리 설정된 단위 시간만큼 경과된 제2시점에서의 상기 어느 하나의 기준점의 변위에 기초하여 상기 선형 이동 거리를 연산하는 단계 및 상기 제1시점에서의 상기 반추 동물의 적어도 둘 이상의 상기 기준점을 잇는 제1기준선과 상기 제2시점에서의 상기 적어도 둘 이상의 상기 기준점을 잇는 제2기준선에 기초하여 상기 조향 이동 거리를 연산하는 단계를 포함할 수 있다.

한편, 본원의 일 실시예에 따른 영상 분석 기반의 반추 동물의 발정행동패턴 분석 장치는, 반추 동물이 등장하고, 상기 반추 동물에 대한 라벨이 부여된 학습 영상을 기초로 모니터링 대상인 반추 동물을 촬영한 대상 영상이 입력되면 상기 대상 영상에 등장하는 반추 동물의 식별 정보 및 행동 정보를 추출하는 행동 평가 모델을 학습시키는 학습부, 상기 대상 영상을 수신하여 상기 행동 평가 모델에 입력하고, 상기 행동 평가 모델을 통해 상기 대상 영상에 등장하는 반추 동물의 상기 식별 정보 및 상기 행동 정보를 추출하는 분석부 및 상기 추출된 식별 정보 및 행동 정보에 기초하여 상기 반추 동물의 발정 여부를 판단하는 판단부를 포함할 수 있다.

또한, 상기 학습부는, 상기 학습 영상을 기초로 한 퓨샷 러닝(Few-Shot Learning)에 기초하여 상기 행동 평가 모델을 생성할 수 있다.

또한, 상기 분석부는, 상기 행동 평가 모델에 기초하여 상기 반추 동물의 마운팅 동작 여부 및 마운팅 지속 시간을 포함하는 제1행동 정보를 추출하는 행위 분석부 및 상기 행동 평가 모델에 기초하여 상기 반추 동물의 선형 이동 거리 및 조향 이동 거리를 포함하는 제2행동 정보를 추출하는 활동 분석부를 포함할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 사육되는 반추 동물을 촬영한 대상 영상으로부터 반추 동물을 자동으로 식별하고, 식별된 반추 동물의 행동 정보를 인공지능 기반의 영상 분석을 통해 추출하는 행동 평가 모델을 활용하여 반추 동물을 모니터링 하는 영상 분석 기반의 반추 동물의 발정행동패턴 분석 장치 및 방법을 제공할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 반추 동물의 머리, 목, 엉덩이 등의 신체 부위에 대응하도록 추출된 단순화된 기준점의 추적을 통해 마운팅 행위, 이동 거리 등을 분석하므로, 인공지능 기반의 행동 평가 모델의 계산량 및 리소스 사용을 크게 줄일 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 일반적으로 네트워크 조건이 열악한 상대적으로 먼 산간 지역이나 농촌 지역에서 주로 사육되는 반추 동물을 계산량 및 리소스 사용을 크게 감소시킨 프로세스로 모니터링 함으로써, 클라우드 서비스가 아닌 엣지 디바이스 조건 하에서 실시간으로 발정 행동만을 인식할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 학습 영상(샘플)의 수가 작더라도 단순화되어 추출되는 기준점을 통해 간단한 연산만으로 반추 동물의 발정행동패턴을 분석함으로써, 전체 모니터링 시스템의 에지 예측 속도를 크게 향상시키며, 시스템의 메모리 요구 사항을 줄일 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 다수의 실험을 통해 획득되는 마운팅 동작 횟수, 마운팅 지속 시간, 반추 동물의 이동 거리 등과 반추 동물이 발정 상태인지 여부와의 상관 관계를 통해 반추 동물의 발정 상태를 높은 정확도로 판단 할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 운용이 간편하며, 실시 비용이 낮고 모니터링 범위가 넓어 대규모 목장에서도 반추 동물 발정 모니터링 비용을 효과적으로 절감하고 농장의 소득을 높일 수 있다.

다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.

도 1은 본원의 일 실시예에 따른 영상 분석 기반의 반추 동물의 발정행동패턴 분석 장치를 포함하는 반추 동물 모니터링 시스템의 개략적인 구성도이다.
도 2는 대상 영상으로부터 제1행동 정보를 추출하는 프로세스를 설명하기 위한 개념도이다.
도 3은 대상 영상으로부터 반추 동물의 선형 이동 거리를 포함하는 제2행동 정보를 추출하는 프로세스를 설명하기 위한 개념도이다.
도 4는 대상 영상으로부터 반추 동물의 조향 이동 거리를 포함하는 제2행동 정보를 추출하는 프로세스를 설명하기 위한 개념도이다.
도 5는 본원의 일 실시예에 따른 영상 분석 기반의 반추 동물의 발정행동패턴 분석 방법과 연계된 일 실험예로서, 종래의 반추 동물의 발정행동패턴 분석 기법과 본원에서 개시하는 발정행동패턴 분석 방법을 마운팅 인식률, 활동 감지율 및 발정 인식률 측면에서 비교하여 나타낸 도표이다.
도 6은 본원의 일 실시예에 따른 영상 분석 기반의 반추 동물의 발정행동패턴 분석 장치의 개략적인 구성도이다.
도 7은 본원의 일 실시예에 따른 영상 분석 기반의 반추 동물의 발정행동패턴 분석 방법에 대한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

본원은 영상 분석 기반의 반추 동물의 발정행동패턴 분석 장치 및 방법에 관한 것이다. 예를 들면, 본원은 CCTV 영상 기반의 인공지능 분석을 통한 반추 동물의 발정 행동 인식 기법에 관한 것이다.

도 1은 본원의 일 실시예에 따른 영상 분석 기반의 반추 동물의 발정행동패턴 분석 장치를 포함하는 반추 동물 모니터링 시스템의 개략적인 구성도이다.

도 1을 참조하면, 반추 동물 모니터링 시스템(10)은 본원의 일 실시예에 따른 영상 분석 기반의 반추 동물의 발정행동패턴 분석 장치(100)(이하, '행동패턴 분석 장치(100)'라 한다.), 영상 촬영 장치(200) 및 사용자 단말(300)을 포함할 수 있다.

행동패턴 분석 장치(100), 영상 촬영 장치(200) 및 사용자 단말(300) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

사용자 단말(300)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다.

본원의 실시예에 관한 설명에서 영상 촬영 장치(200)는 모니터링 대상인 반추 동물이 등장하는 대상 영상을 촬영하기 위한 디바이스로서, 이해를 돕기 위해 예시하면, 반추 동물 사육장, 낙농장 등에 마련되는 폐쇄회로 텔레비전(Closed Circuit Television, CCTV)일 수 있다. 또한, 본원의 일 실시예에 따르면, 영상 촬영 장치(200)는 반추 동물 사육장, 낙농장 등 모니터링 대상이 되는 반추 동물이 위치하는 대상 공간에 대하여 조감도 뷰(bird's-eye view)에 기초하여 반추 동물을 촬영할 수 있도록 하는 위치 및 방향으로 배치될 수 있다.

또한, 본원의 실시예에 관한 설명에서 사용자 단말(300)은 본원에서 개시하는 행동패턴 분석 장치(100)에 의해 모니터링 대상인 반추 동물이 소정의 행동패턴을 보이는 것으로 판단되면, 행동패턴 분석 장치(100)로부터 이와 관련한 알람을 수신하는 것일 수 있다. 보다 구체적으로, 사용자 단말(300)은 행동패턴 분석 장치(100)에 의해 모니터링 대상인 반추 동물이 발정 행동을 보이는 것으로 판단되면, 행동패턴 분석 장치(100)로부터 이와 관련한 알람을 수신하도록 동작할 수 있다. 이해를 돕기 위해 예시하면, 사용자 단말(300)은 반추 동물 사육장, 낙농장 등의 보유자 등 반추 동물을 사육하는 주체가 보유한 단말 등으로서, 이와 관련하여, 사용자 단말(300)의 사용자는 행동패턴 분석 장치(100)에 의해 반추 동물이 발정 행동을 보인다는 정보를 포함하는 알람을 수신함으로써, 이에 대응하여 필요한 조치를 즉각적으로 취할 수 있다.

이하에서는, 행동패턴 분석 장치(100)의 기능 및 동작에 대해 상세히 설명하도록 한다.

행동패턴 분석 장치(100)는 반추 동물이 등장하고, 반추 동물에 대한 라벨이 부여된 학습 영상을 획득할 수 있다. 참고로, 본원의 실시예에 관한 설명에서 반추 동물은 소(육소, 젖소), 양, 사슴 등을 포함할 수 있다. 이하에서는 설명의 편의를 위하여 '반추 동물'이 축사 등에서 사육되는 소를 의미하는 것으로 하여 본원의 실시예를 설명하도록 한다.

구체적으로, 학습 영상은 반추 동물이 등장하는 영상으로서, 영상 내에서 반추 동물에 해당하는 영역이 라벨(Label)로서 표시된 영상일 수 있다. 예를 들어, 학습 영상은 반추 동물이 등장하는 영역을 경계 상자(Bounding Box) 형태로 마스킹(Masking) 한 영상일 수 있다. 또한, 본원의 일 실시예에 따르면, 학습 영상에는 미리 설정된 반추 동물의 신체 부위에 대응하는 적어도 하나의 기준점이 표시될 수 있다. 이와 관련하여, 반추 동물의 기준점을 표시하기 위한 신체 부위는 예시적으로, 머리, 목, 엉덩이 등일 수 있으나, 이에만 한정되는 것은 아니다.

또한, 본원의 일 실시예에 따르면, 학습 영상은 영상 촬영 장치(200)에 의해 획득된 영상에 반추 동물이 해당하는 영역 및 반추 동물의 기준점을 수동으로 표시한 데이터 셋일 수 있으나, 이에만 한정되는 것은 아니며, 온라인 등을 통해 수집될 수 있는 반추 동물을 촬영하여 라벨링한 미리 확보된 학습용 데이터 셋일 수 있다.

또한, 행동패턴 분석 장치(100)는 획득(준비)된 학습 영상을 기초로 하여 대상 영상이 입력되면 대상 영상에 등장하는 반추 동물의 식별 정보 및 행동 정보를 추출하는 행동 평가 모델을 학습시킬 수 있다. 참고로, 본원의 실시예에 관한 설명에서 '대상 영상'은 학습된 행동 평가 모델을 활용하여 실제 모니터링을 수행하려는 대상인 반추 동물을 촬영한 영상을 의미하는 것일 수 있다.

달리 말해, 행동패턴 분석 장치(100)는 미리 준비된 학습 영상을 기초로 행동 평가 모델을 학습시키고, 학습이 완료된 행동 평가 모델을 통해 수신된 대상 영상에 등장하는 모니터링 대상(반추 동물)의 발정 여부를 판단하도록 동작할 수 있다.

보다 구체적으로, 행동패턴 분석 장치(100)는 학습 영상을 기초로 한 퓨샷 러닝(Few-Shot Learning)에 기초하여 전술한 행동 평가 모델을 생성할 수 있다. 여기서, 퓨샷 러닝(Few-Shot Learning)은 학습에 활용되는 데이터 수가 매우 적은 경우에도 목적하는 동작을 수행하는 모델을 학습(훈련)시킬 수 있는 학습 기법으로서, 통상적으로 이미지 분석(분류 등)을 수행하도록 학습되는 딥러닝 모델이 분류하려는 범주마다의 학습 이미지(영상)의 수가 많을수록 모델 성능이 높아지는 것과 달리, 퓨샷 러닝은 완전히 새롭게 주어진 데이터에서도 잘 작동하도록 메타 러닝(meta-learning)이 적용되며, 예를 들면, 퓨샷 러닝 학습에 적용될 수 있는 메타 러닝 기법에는 에피소딕 훈련(episodic training) 방식 등이 있다. 에피소딕 훈련은 퓨샷 태스크와 유사한 형태의 훈련 태스크를 통해 모델 스스로 학습 규칙을 도출할 수 있게 함으로써 일반화 성능을 높이는 방식을 말한다.

이와 관련하여, 퓨샷 러닝은 강아지, 고양이 등의 일반적인 동물 이미지나 인물의 이미지에 대한 학습용 데이터 셋은 이미 방대하게 구축되어 있는 것과 달리, 본원에서 고려되는 반추 동물을 촬영한 영상(이미지)의 경우, 학습용 데이터의 양이 비교저 적은 점을 고려하여, 본원에서는 적은 양의 학습용 데이터로도 학습 완료 후에 높은 정확도로 추론을 수행할 수 있는 행동 평가 모델을 생성할 수 있도록 퓨샷 러닝 기법을 적용하였다.

다만, 본원에서 개시하는 행동 평가 모델을 학습 영상에 기초하여 생성하기 위한 학습 기법은 전술한 퓨샷 러닝에만 한정되는 것은 아니며, 본원에서는 종래에 이미 공지되었거나 향후 개발되는 다양한 인공지능 학습 알고리즘 또는 지도 학습 알고리즘 모델이 적용될 수 있다.

이와 관련하여, 행동패턴 분석 장치(100)는 준비된 학습 영상을 기초로 한 퓨샷 러닝을 1차적으로 수행하여, 대상 영상에서 반추 동물이 등장하는 영역을 표시(마스킹)하도록 동작하는 행동 평가 모델을 생성하고, 생성된 행동 평가 모델의 정확도를 평가하는 프로세스를 수행할 수 있다. 이 후, 생성된 행동 평가 모델에 대하여 평가된 정확도가 미리 설정된 요구 사항 수준을 충족하지 않으면, 학습 영상을 추가하거나 학습을 재차 수행하여 반추 동물이 등장하는 영역을 요구 사항 수준 이상의 정확도로 도출하도록 행동 평가 모델을 갱신(업데이트)할 수 있다.

한편, 행동패턴 분석 장치(100)에 의해 생성(학습)되는 행동 평가 모델은 대상 영상에 등장하는 반추 동물의 식별 정보 및 행동 정보를 추출할 수 있다. 구체적으로, 식별 정보는 대상 영상에서 등장하는 반추 동물의 미리 설정된 적어도 하나의 신체 부위에 대응하는 기준점의 위치 정보를 포함할 수 있다. 후술하는 도 2 내지 도 4를 참조하면, 기준점은 반추 동물의 머리 부위에 대응하는 제1기준점(P₁, P_1'), 반추 동물의 목 부위에 대응하는 제2기준점(P₂, P_2') 및 반추 동물의 엉덩이 부위에 대응하는 제3기준점(P₃, P_3')을 포함하는 3개의 기준점일 수 있으나, 이에만 한정되는 것은 아니다.

또한, 식별 정보는 대상 영상에서 등장하는 반추 동물 각각의 성별 정보를 포함할 수 있다. 이와 관련하여, 행동 평가 모델은 대상 영상에서 반추 동물이 등장하는 영역을 식별하도록 학습되며, 식별된 반추 동물의 외형 특성에 기초하여 대상 영상에서 등장하는 반추 동물에 해당하는 객체마다의 성별을 파악할 수 있다. 이와 관련하여, 행동 평가 모델의 학습에 활용되는 학습 영상은 등장하는 객체(반추 동물)의 성별이 구분되어 표시된 영상일 수 있다.

또한, 행동 정보는 대상 영상에 등장하는 것으로 식별된 반추 동물 각각 또는 한 쌍의 반추 동물에 대하여 분석되는 행동패턴으로 이해될 수 있으며, 행동패턴 분석 장치(100)는 대상 영상에서 등장하는 반추 동물이 미리 설정된 행위 또는 동작을 수행하는지 여부를 판단하고, 해당 행위 또는 동작의 횟수(보다 구체적으로, 단위 시간 당 수행 횟수 등), 해당 행위의 지속시간 등을 획득할 수 있다. 또한, 행동 정보는 대상 영상에 등장하는 것으로 식별된 반추 동물 각각의 이동 거리 정보를 포함할 수 있다.

달리 말해, 행동패턴 분석 장치(100)는 행동 평가 모델에 기초하여 대상 영상으로부터 반추 동물의 마운팅 동작 여부 및 마운팅 지속 시간을 포함하는 제1행동 정보를 추출할 수 있다. 참고로, 본원에서의 '마운팅'은 짝짓기를 위해 수컷이 암컷의 등에 올라타는 '승가' 행위로 달리 지칭될 수 있다.

또한, 행동패턴 분석 장치(100)는 행동 평가 모델에 기초하여 대상 영상으로부터 반추 동물의 선형 이동 거리 및 조향 이동 거리를 포함하는 제2행동 정보를 추출할 수 있다.

도 2는 대상 영상으로부터 제1행동 정보를 추출하는 프로세스를 설명하기 위한 개념도이다.

도 2를 참조하면, 행동패턴 분석 장치(100)는 대상 영상에 등장하는 복수의 반추 동물 각각의 적어도 둘 이상의 상기 기준점을 잇는 복수의 기준선 간의 중첩 여부에 기초하여 마운팅 동작 여부 및 마운팅 지속 시간을 추출할 수 있다.

구체적으로, 도 2에 도시된 바와 같이, 대상 영상에서 두 마리의 반추 동물(보다 구체적으로, 기준선 L₁으로 표시되는 제1객체 및 기준선 L₂로 표시되는 제2객체)이 등장할 때, 행동패턴 분석 장치(100)는 두 반추 동물 각각에 대하여 설정된 기준선 사이의 교점 정보, 거리 정보, 각도 정보 등에 기초하여 각각의 기준선으로 대표되는 한 쌍의 반추 동물 간에 마운팅 행위가 일어났는지 여부를 파악할 수 있다. 또한, 행동패턴 분석 장치(100)는 두 반추 동물 각각에 대하여 설정된 기준선 사이의 교점 정보, 거리 정보, 각도 정보 등이 마운팅 행위가 일어난 것으로 판단되는 범위를 유지하는 시간 정보를 계측하여 마운팅 지속 시간을 추출할 수 있다.

참고로, 도 2에 도시된 사항을 기준으로 반추 동물의 기준선은 상술한 제1기준점(머리), 제2기준점(목) 및 제3기준점(엉덩이)을 잇는 선으로 추출되는 것일 수 있다.

또한, 본원의 일 실시예에 따르면, 행동패턴 분석 장치(100)는 복수의 반추 동물 각각의 적어도 둘 이상의 기준점을 잇는 복수의 기준선 간의 거리 정보 및 각도 정보에 기초하여 발정 상태의 전조 증상 행위를 파악할 수 있다. 예를 들어, 전조 증상 행위는 특정 반추 동물이 다른 반추 동물의 신체에 뺨을 갖다대는 행위를 포함할 수 있다. 이와 관련하여, 도 2의 (a)는 전조 증상 행위가 발생한 경우의 기준선을 나타내고, 도 2의 (b)는 전술한 마운팅 행위가 발생한 경우의 기준선을 나타낸 것일 수 있다.

도 3은 대상 영상으로부터 반추 동물의 선형 이동 거리를 포함하는 제2행동 정보를 추출하는 프로세스를 설명하기 위한 개념도이다.

도 3을 참조하면, 행동패턴 분석 장치(100)의 행동 평가 모델은 제1시점에서의 반추 동물의 어느 하나의 기준점의 위치와 제1시점보다 미리 설정된 단위 시간만큼 경과된 제2시점에서의 어느 하나의 기준점의 변위에 기초하여 선형 이동 거리를 연산할 수 있다. 달리 말해, 선형 이동 거리는 대상 영상에서 등장하는 반추 동물의 직선적인 움직임의 정도를 나타낸 것으로, 단위 시간 동안의 동일 유형의 기준점 사이의 변위를 의미할 수 있다.

예를 들어, 도 3에서 제1시점의 제1 내지 제3기준점의 위치가 P₁ 내지 P₃이고, 제2시점의 제1 내지 제3기준점의 위치가 P_1' 내지 P_3'일 때, 해당 단위 시간 동안의 반추 동물의 선형 이동 거리는 도 3에 도시된 바와 같이 P₃으로부터 P_3'까지의 변위인 X₁일 수 있으나, 이에만 한정되는 것은 아니고, 본원의 구현예에 따라P₁으로부터 P_1'까지의 변위, P₂로부터 P_2'까지의 변위 등으로 달리 측정될 수 있음은 물론이다.

도 4는 대상 영상으로부터 반추 동물의 조향 이동 거리를 포함하는 제2행동 정보를 추출하는 프로세스를 설명하기 위한 개념도이다.

도 4를 참조하면, 행동패턴 분석 장치(100)의 행동 평가 모델은 제1시점에서의 반추 동물의 적어도 둘 이상의 기준점을 잇는 제1기준선(도 4를 참조하면, 제1기준점(P₁) 내지 제3기준점(P₃)을 잇는 선)과 제2시점에서의 적어도 둘 이상의 기준점을 잇는 제2기준선(도 4를 참조하면, 제1기준점(P_1') 내지 제3기준점(P_3')을 잇는 선)에 기초하여 조향 이동 거리를 연산할 수 있다.

보다 구체적으로, 행동패턴 분석 장치(100)는 제2기준선의 특정 기준점(도 4를 참조하면, 제2기준선의 제1기준점인 P_1')을 기준으로 제1기준선에 대한 수(직)선을 생성하고, 해당 기준점에서부터 생성된 수(직)선까지의 거리(X_1') 및 해당 기준점에 대응하는 제1기준선의 기준점(도 4를 참조하면, 제1기준선의 제1기준점인 P₁)으로부터 생성된 수(직)선까지의 거리(X_2')의 합(X_1'+X_2')을 조향 이동 거리로 연산할 수 있다.

종합하면, 행동패턴 분석 장치(100)의 행동 평가 모델은 대상 영상으로부터 식별된 반추 동물 각각의 마운팅 동작 여부 및 마운팅 지속 시간을 포함하는 제1행동 정보 및 선형 직선 거리 및 조향 이동 거리를 포함하는 제2행동 정보 중 적어도 하나를 추출할 수 있다. 또한, 본원의 실시예에 따르면, 행동패턴 분석 장치(100)는 미리 설정된 단위 시간마다의 제1행동 정보 및 제2행동 정보를 추출하는 것일 수 있다. 예를 들어, 단위 시간은 모니터링 대상인 반추 동물의 유형(소, 양 등), 모니터링 되는 공간(사육장, 축사)의 면적, 환경적 요소 등에 기초하여 적절하게 결정될 수 있다.

또한, 행동패턴 분석 장치(100)는 추출된 식별 정보 및 행동 정보에 기초하여 반추 동물의 발정 여부를 판단할 수 있다.

이와 관련하여 본원의 일 실시예에 따르면, 행동패턴 분석 장치(100)는 대상 영상에 등장하는 모니터링 대상인 반추 동물 각각의 발정 여부를 제1행동 정보에 기초한 행위 평가 결과 및 제2행동 정보에 기초한 활동 평가 결과 중 적어도 하나에 기초하여 판단할 수 있다.

보다 구체적으로, 본원의 구현예에 따라 행동패턴 분석 장치(100)는 행위 평가 결과 또는 활동 평가 결과 중 적어도 하나에 의할 때 대상 영상에 등장하는 반추 동물이 발정 상태인 것으로 분석되면 모니터링 대상이 발정 상태인 것으로 판단할 수 있다. 다른 예로, 행동패턴 분석 장치(100)는 행위 평가 결과 및 활동 평가 결과가 모두 발정 상태인 것으로 분석되는 경우에만 모니터링 대상이 발정 상태인 것으로 판단할 수도 있다.

먼저, 제1행동 정보에 기초한 행위 평가와 관련하여, 행동패턴 분석 장치(100)는 단위 시간 동안 누적된 단시간 마운팅 발생 횟수, 장시간 마운팅 발생 횟수, 전조 행위 발생 횟수 및 마운팅 시도 횟수 중 적어도 하나에 기초하여 산출되는 평가 점수가 미리 설정된 임계 점수 이상인지 여부에 기초하여 발정 여부를 판단할 수 있다. 참고로, 단시간 마운팅과 장시간 마운팅은 마운팅 지속 시간이 미리 설정된 임계 시간(예를 들면, 3초 등) 이상인지 여부에 기초하여 구분되는 것일 수 있다. 또한, 본원의 구현예에 따라 행위 평가에 의한 평가 점수를 도출하는데 기여하는 단위 시간 동안 누적된 단시간 마운팅 발생 횟수, 장시간 마운팅 발생 횟수, 전조 행위 발생 횟수 및 마운팅 시도 횟수 각각의 가중치는 필요에 따라 상이하게 반영될 수 있다.

또한, 제2행동 정보에 기초한 활동 평가와 관련하여, 행동패턴 분석 장치(100)는 모니터링 시점(예를 들면, 대상 영상의 수신 시점) 이전에 해당 반추 동물에 대하여 분석된 활동량(예를 들면, 선형 이동 거리 및 조향 이동 거리의 합)의 평균 정보 및 표준편차 정보에 기초하여 활동 평가를 수행할 수 있다. 예시적으로, 행동패턴 분석 장치(100)는 하기 식 1에 의해 활동 평가를 수행할 수 있다.

[식 1]

여기서, T₀는 모니터링 시점에서의 모니터링 대상(반추 동물)의 활동량이고, mean은 모니터링 시점 이전의 해당 반추 동물의 활동량의 평균값이고, STD₀는 모니터링 시점 이전의 해당 반추 동물의 활동량의 표준 편차값이고, n은 필요에 따라 가변적으로 적용될 수 있는 조정 계수일 수 있다. 또한, 예를 들어, 상기 식 1에서의 평균값 및 표준 편차값은 모니터링 시점 이전의 m일 동안 수집된 활동량을 기준으로 산출되는 것일 수 있다.

또한, 행동패턴 분석 장치(100)는 대상 영상에 발정 상태인 것으로 판단된 반추 동물이 존재하는 것으로 최종적으로 판단되면, 사용자 단말(300)로 발정 상태의 발생을 알리는 알람을 전송할 수 있다.

도 5는 본원의 일 실시예에 따른 영상 분석 기반의 반추 동물의 발정행동패턴 분석 방법과 연계된 일 실험예로서, 종래의 반추 동물의 발정행동패턴 분석 기법과 본원에서 개시하는 발정행동패턴 분석 방법을 마운팅 인식률, 활동 감지율 및 발정 인식률 측면에서 비교하여 나타낸 도표이다.

도 5를 참조하면, 본원의 일 실시예에 따른 영상 분석 기반의 반추 동물의 발정행동패턴 분석 방법과 연계된 일 실험예는 75마리의 암소를 25마리씩 세 그룹으로 그룹핑하여 서로 다른 방식으로 사료를 공급하고, 각각의 그룹마다 육안 관찰 방법, 만보계(보수계) 방법 및 본원에서 개시하는 영상 분석 기반의 분석 방법을 적용하여 각각의 행동 탐지, 발정 탐지 정확도를 비교하였고, 도 5를 참조하면, 본 발명에 의할 때('제안하는 방법') 모든 그룹에서 마운팅 동작의 인식률이 육안 관찰 방법 대비 높게 나타나고, 본 발명에 의할 때('제안하는 방법') 모든 그룹에서 활동 감지율이 만보계 방법 대비 높게 나타나고, 발정 인식률 또한 본 발명에 의할 때('제안하는 방법')모든 그룹에서 육안 관찰 및 만보계 방법 대비 매우 높은 수준인 87 내지 95% 수준을 보이는 것을 확인할 수 있다.

도 6은 본원의 일 실시예에 따른 영상 분석 기반의 반추 동물의 발정행동패턴 분석 장치의 개략적인 구성도이다.

도 6을 참조하면, 행동패턴 분석 장치(100)는 학습부(110), 분석부(120) 및 판단부(130)를 포함할 수 있다. 또한, 도 6을 참조하면, 분석부(120)는 행위 분석부(121) 및 활동 분석부(122)를 포함할 수 있다.

학습부(110)는, 반추 동물이 등장하고, 반추 동물에 대한 라벨이 부여된 학습 영상을 기초로 모니터링 대상인 반추 동물을 촬영한 대상 영상이 입력되면 대상 영상에 등장하는 반추 동물의 식별 정보 및 행동 정보를 추출하는 행동 평가 모델을 학습시킬 수 있다.

본원의 일 실시예에 따르면, 학습부(110)는, 학습 영상을 기초로 한 퓨샷 러닝(Few-Shot Learning)에 기초하여 행동 평가 모델을 생성할 수 있다.

분석부(120)는, 대상 영상을 수신하여 학습이 완료된 행동 평가 모델에 입력하고, 행동 평가 모델을 통해 대상 영상에 등장하는 반추 동물의 식별 정보 및 행동 정보를 추출할 수 있다.

구체적으로, 행위 분석부(121)는 행동 평가 모델에 기초하여 대상 영상에 등장하는 반추 동물의 마운팅 동작 여부 및 마운팅 지속 시간을 포함하는 제1행동 정보를 추출할 수 있다. 또한, 활동 분석부(122)는 행동 평가 모델에 기초하여 대상 영상에 등장하는 반추 동물의 선형 이동 거리 및 조향 이동 거리를 포함하는 제2행동 정보를 추출할 수 있다.

판단부(130)는, 추출된 식별 정보 및 행동 정보에 기초하여 대상 영상에 등장하는 모니터링 대상인 반추 동물의 발정 여부를 판단할 수 있다.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.

도 7은 본원의 일 실시예에 따른 영상 분석 기반의 반추 동물의 발정행동패턴 분석 방법에 대한 동작 흐름도이다.

도 7에 도시된 영상 분석 기반의 반추 동물의 발정행동패턴 분석 방법은 앞서 설명된 행동패턴 분석 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 행동패턴 분석 장치(100)에 대하여 설명된 내용은 영상 분석 기반의 반추 동물의 발정행동패턴 분석 방법에 대한 설명에도 동일하게 적용될 수 있다.

도 7을 참조하면, 단계 S11에서 학습부(110)는, 반추 동물이 등장하고, 등장하는 반추 동물에 대한 라벨이 부여된 학습 영상을 준비할 수 있다.

다음으로, 단계 S12에서 학습부(110)는, 모니터링 대상인 반추 동물을 촬영한 대상 영상이 입력되면, 입력된 대상 영상에 등장하는 반추 동물의 식별 정보 및 행동 정보를 추출하는 행동 평가 모델을 상기 학습 영상을 기초로 학습시킬 수 있다.

본원의 일 실시예에 따르면, 단계 S12에서 학습부(110)는, 학습 영상을 기초로 한 퓨샷 러닝(Few-Shot Learning)에 기초하여 행동 평가 모델을 생성할 수 있다.

다음으로, 단계 S13에서 분석부(120)는, 모니터링 대상인 반추 동물이 등장하는 대상 영상을 수신할 수 있다.

다음으로, 단계 S14에서 분석부(120)는, 수신된 대상 영상을 행동 평가 모델에 입력하여 행동 평가 모델을 통해 대상 영상에 등장하는 반추 동물의 식별 정보 및 행동 정보를 추출할 수 있다.

구체적으로, 단계 S14에서 행위 분석부(121)는, 대상 영상으로부터 반추 동물의 마운팅 동작 여부 및 마운팅 지속 시간을 포함하는 제1행동 정보를 추출할 수 있다. 또한, 단계 S14에서 활동 분석부(122)는, 대상 영상으로부터 반추 동물의 선형 이동 거리 및 조향 이동 거리를 포함하는 제2행동 정보를 추출할 수 있다.

다음으로, 단계 S15에서 판단부(150)는, 추출된 식별 정보 및 행동 정보에 기초하여 대상 영상에 등장하는 반추 동물의 발정 여부를 판단할 수 있다.

만일, 단계 S15의 판단 결과, 모니터링 대상인 반추 동물이 발정 상태인 것으로 판단되면, 단계 S16에서 행동패턴 분석 장치(100)는 사용자 단말(300)로 알람을 전송할 수 있다.

반대로, 단계 S15의 판단 결과, 발정 상태인 반추 동물이 대상 영상에 미등장하는 것으로 판단되면, 행동패턴 분석 장치(100)는 단계 S14로 되돌아가 다음 단위 시간에 대하여 수신되는 대상 영상에 대한 분석 및 발정 여부 판단을 재차 수행할 수 있다.

상술한 설명에서, 단계 S11 내지 S16은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

본원의 일 실시예에 따른 영상 분석 기반의 반추 동물의 발정행동패턴 분석 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 전술한 영상 분석 기반의 반추 동물의 발정행동패턴 분석 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

10: 반추 동물 모니터링 시스템
100: 영상 분석 기반의 반추 동물의 발정행동패턴 분석 장치
110: 학습부
120: 분석부
121: 행위 분석부
122: 활동 분석부
130: 판단부
20: 네트워크
200: 영상 촬영 장치
300: 사용자 단말
1: 반추 동물

Claims (10)

1. 영상 분석 기반의 반추 동물의 발정행동패턴 분석 방법에 있어서,
   반추 동물이 등장하고, 상기 반추 동물에 대한 라벨이 부여된 학습 영상을 준비하는 단계;
   모니터링 대상인 반추 동물을 촬영한 대상 영상이 입력되면 상기 대상 영상에 등장하는 반추 동물의 식별 정보 및 행동 정보를 추출하는 행동 평가 모델을 상기 학습 영상을 기초로 학습시키는 단계;
   상기 대상 영상을 수신하여 상기 행동 평가 모델에 입력하고, 상기 행동 평가 모델을 통해 상기 대상 영상에 등장하는 반추 동물의 상기 식별 정보 및 상기 행동 정보를 추출하는 단계; 및
   상기 추출된 식별 정보 및 행동 정보에 기초하여 상기 반추 동물의 발정 여부를 판단하는 단계,
   를 포함하고,
   상기 학습시키는 단계는,
   에피소딕 훈련(episodic training)을 포함하는 메타 러닝 기법을 적용하는 퓨샷 러닝(Few-Shot Learning)에 기초하여 수집된 학습 영상을 기초로 상기 대상 영상에서 반추 동물이 등장하는 영역을 표시하도록 상기 행동 평가 모델을 1차적으로 생성한 후 상기 행동 평가 모델에 대하여 평가된 정확도가 미리 설정된 요구 사항 수준을 충족하지 않으면, 학습 영상을 추가하여 상기 행동 평가 모델을 재학습시키고,
   상기 대상 영상은 모니터링 대상이 되는 반추 동물이 위치하는 대상 공간을 조감도 뷰에 기초하여 촬영한 영상이고,
   상기 추출하는 단계는,
   상기 대상 영상으로부터 상기 반추 동물의 마운팅 동작 여부 및 마운팅 지속 시간을 포함하는 제1행동 정보를 추출하되, 상기 대상 영상에 등장하는 한 쌍의 반추 동물에 대하여 각각 설정된 둘 이상의 기준점을 각각 이은 한 쌍의 기준선의 교점 정보, 거리 정보 및 각도 정보에 기초하여 상기 마운팅 동작 여부 및 상기 마운팅 지속 시간을 추출하는 것인, 발정행동패턴 분석 방법.
2. 삭제
3. 제1항에 있어서,
   상기 식별 정보는,
   상기 대상 영상에서 등장하는 반추 동물의 미리 설정된 적어도 하나의 신체 부위에 대응하는 기준점의 위치 정보를 포함하는 것인, 발정행동패턴 분석 방법.
4. 삭제
5. 삭제
6. 제3항에 있어서,
   상기 추출하는 단계는,
   상기 대상 영상으로부터 상기 반추 동물의 선형 이동 거리 및 조향 이동 거리를 포함하는 제2행동 정보를 추출하는 단계,
   를 포함하는 것인, 발정행동패턴 분석 방법.
7. 제6항에 있어서,
   상기 제2행동 정보를 추출하는 단계는,
   제1시점에서의 상기 반추 동물의 어느 하나의 기준점의 위치와 상기 제1시점보다 미리 설정된 단위 시간만큼 경과된 제2시점에서의 상기 어느 하나의 기준점의 변위에 기초하여 상기 선형 이동 거리를 연산하는 단계; 및
   상기 제1시점에서의 상기 반추 동물의 적어도 둘 이상의 상기 기준점을 잇는 제1기준선과 상기 제2시점에서의 상기 적어도 둘 이상의 상기 기준점을 잇는 제2기준선에 기초하여 상기 조향 이동 거리를 연산하는 단계,
   를 포함하는 것인, 발정행동패턴 분석 방법.
8. 영상 분석 기반의 반추 동물의 발정행동패턴 분석 장치에 있어서,
   반추 동물이 등장하고, 상기 반추 동물에 대한 라벨이 부여된 학습 영상을 기초로 모니터링 대상인 반추 동물을 촬영한 대상 영상이 입력되면 상기 대상 영상에 등장하는 반추 동물의 식별 정보 및 행동 정보를 추출하는 행동 평가 모델을 학습시키는 학습부;
   상기 대상 영상을 수신하여 상기 행동 평가 모델에 입력하고, 상기 행동 평가 모델을 통해 상기 대상 영상에 등장하는 반추 동물의 상기 식별 정보 및 상기 행동 정보를 추출하는 분석부; 및
   상기 추출된 식별 정보 및 행동 정보에 기초하여 상기 반추 동물의 발정 여부를 판단하는 판단부,
   를 포함하고,
   상기 학습부는,
   에피소딕 훈련(episodic training)을 포함하는 메타 러닝 기법을 적용하는 퓨샷 러닝(Few-Shot Learning)에 기초하여 수집된 학습 영상을 기초로 상기 대상 영상에서 반추 동물이 등장하는 영역을 표시하도록 상기 행동 평가 모델을 1차적으로 생성한 후 상기 행동 평가 모델에 대하여 평가된 정확도가 미리 설정된 요구 사항 수준을 충족하지 않으면, 학습 영상을 추가하여 상기 행동 평가 모델을 재학습시키고,
   상기 대상 영상은 모니터링 대상이 되는 반추 동물이 위치하는 대상 공간을 조감도 뷰에 기초하여 촬영한 영상이고,
   상기 분석부는,
   상기 행동 평가 모델에 기초하여 상기 반추 동물의 마운팅 동작 여부 및 마운팅 지속 시간을 포함하는 제1행동 정보를 추출하되, 상기 대상 영상에 등장하는 한 쌍의 반추 동물에 대하여 각각 설정된 둘 이상의 기준점을 각각 이은 한 쌍의 기준선의 교점 정보, 거리 정보 및 각도 정보에 기초하여 상기 마운팅 동작 여부 및 상기 마운팅 지속 시간을 추출하는 행위 분석부,
   를 포함하는 것인, 발정행동패턴 분석 장치.
9. 삭제
10. 제8항에 있어서,
    상기 분석부는,
    상기 행동 평가 모델에 기초하여 상기 반추 동물의 선형 이동 거리 및 조향 이동 거리를 포함하는 제2행동 정보를 추출하는 활동 분석부,
    를 더 포함하는 것인, 발정행동패턴 분석 장치.

Images