KR102141582B1

KR102141582B1 - 영상분석을 활용한 어미돼지의 분만시점 예측 방법 및 장치

Info

Publication number: KR102141582B1
Application number: KR1020180159487A
Authority: KR
Inventors: 이준엽; 양가영; 김종복; 최희철; 전중환; 권경석
Original assignee: 대한민국
Priority date: 2018-12-11
Filing date: 2018-12-11
Publication date: 2020-08-05
Also published as: KR20200071597A

Abstract

본 발명의 일 측면에 따른 영상분석을 활용한 어미돼지의 분만시점 예측방법은, 분만시점 예측장치가 임신한 어미 돼지의 행동특성에 따른 각 클래스별 행동패턴에 대한 학습용 영상 데이터를 수집하는 단계; 상기 분만시점 예측장치가 상기 학습용 영상 데이터에 대해 임신한 어미돼지의 각 클래스별 행동패턴을 기준 좌표에 맞추어 일정 규격으로 정규화하고, CNN 인식모델에서 행동패턴의 특징을 인식할 수 있는 학습용 처리 데이터로 가공하여 추출하는 단계;
상기 분만시점 예측장치가 CNN인식모델을 적용하여 각 클래스별 행동패턴에 대한 학습용 처리 데이터를 축적하여 학습하는 단계; 상기 분만시점 예측장치가 학습된 데이터를 행동패턴 데이터베이스에 저장하는 단계; 상기 분만시점 예측장치가 인식용 어미돼지에 대한 인식용 영상 데이터를 수집하는 단계; 상기 분만시점 예측장치가 상기 인식용 영상 데이터에 대해 기준 좌표에 맞추어 일정 규격으로 정규화하고, 상기 CNN 인식모델을 적용하여 상기 인식용 영상데이터에 대한 어미돼지의 행동패턴을 인식하여 상기 각 클래스별 패턴 중 하나로 분류하는 단계; 상기 분류된 행동패턴에 대해 시간대별 발현시간 또는 시간대별 발생빈도 및 변화 추이를 분석하는 분석단계; 및 상기 분석단계로부터 상기 인식용 어미돼지에 대해 분만 예측시점을 판단하여 24시간 전부터 출력하여 알려주는 분만 예측시점 알림단계: 를 포함한다.

Description

영상분석을 활용한 어미돼지의 분만시점 예측 방법 및 장치{Prediction method and the apparatus for onset time of sow farrowing by image analysis}

본 발명은 축산농가에서 축사 내의 임신돈에 대해 영상분석을 활용한 어미돼지의 분만시점을 예측하여 알려주는 방법 및 장치에 관한 기술이다.

국내 양돈농가에서 축사관리에 많은 노력과 노동력이 많이 소요되는 시기중의 하나는 어미돼지가 분만하는 시점이다. 어미돼지의 번식능력은 축산 농가의 생산성과 직결되기 때문에 농가에서는 이러한 어미돼지들의 원활한 분만을 위해 상당한 노력을 기울이고 있다.

돼지는 사람과 마찬가지로 수정이 확인되면, 예상 분만 일을 산정하는데, 돼지의 분만경험(임신횟수), 건강상태 및 농장환경 등에 따라 분만시점이 예상 분만일보다 변하게 되며 이로 인해 농장주는 정확한 분만시기를 예측하는데 곤란성을 갖는다.

축산 농가의 관리자는 다양한 경험을 통하여 어미돼지의 사료섭취량이 급격히 줄어들거나 행동의 변화가 뚜렷한 경우들을 탐지하여 분만시점으로 인지하곤 한다. 이러한 분만시점은 어미돼지마다 다르게 나타날 뿐만 아니라 행동의 변화는 상당히 주관적이고 시간소모적이기 때문에 정확한 분만시점을 알기 위해서는 농장주는 장시간 여러 행동패턴으로 어미돼지를 관찰해야 한다. 이에 따라 어미돼지의 분만관리는 축산 농장주의 노동력과 시간이 상당히 소요된다.

특히 야간에 분만 시 축산 농장주가 모돈의 분만시점을 인지하지 못하였을 경우에는 다양한 문제가 발생된다. 예를 들면, 난산 또는 후산정체와 같은 모돈의 분만문제가 발생하였을 경우, 적절한 대응을 하지 못하여 모돈의 번식능력 감소 또는 사산으로 태어나는 새끼돼지의 발생비율이 높아져 농가 생산성 감소로 이어질 수 있다.

따라서 분만시점에 대한 관리는 축산 관리자에 의한 계속적인 감시와 관리가 이루어질 때 자돈의 생존율을 높이고, 자돈의 생산성을 높일 수 있으며, 건강한 모돈 관리가 이루어질 수 있다.

따라서 축산 농가에서 쉽게 장착이 용이하면, 보다 간단한 영상취득장비를 이용하여 특히 분만 1일 전에서부터 정확한 분만예정시기를 시간 단계별로 정확하게 예측하여 알려주는 방법이 요구된다.

축산농가에서는 임신돈의 경우 분만 예정일 약 2 ~ 3주 전에 축사 내의 분만실이나 분만틀에 한 마리씩 옮겨진다. 임신돈은 분만 3주 전부터 갑자기 복부가 커지고, 미근부가 함몰되며, 외음부가 붓고, 점액이 분비된다. 또한, 유방은 크게 충혈되고 부으며, 유두를 짜면 유즙이 분비된다.

종래에는 이러한 임신 분만 징후를 이용하여 임신돈에 의해 발생되는 소리를 측정하고, 임신돈의 외음부 영상, 유방 영상을 통해 분만시기를 예측하는 방법이 연구된바, 있다. 이를 위해서는 정확한 외음부와 유방 부위의 위치 영상을 취득하기 위한 별도의 장치들이 필요로 한다.

본 발명 기술에 대한 배경기술은 대한민국 공개특허공보 2002-0089953(임신돈의 분만예측 자동화 장치 및 방법)에 게시되어 있다

대한민국 공개특허공보 2002-0089953(임신돈의 분만예측 자동화 장치 및 방법)

본 발명은 어미돼지의 행동을 실시간으로 영상으로 수집된 행동들을 인공지능 알고리즘을 적용하여 특징별로 분류하고 분석하여, 분만관련 행동들의 발생빈도를 실시간으로 산출하여 축산 관리자에게 24시간 전부터 시간대별로 정확한 분만시점을 알려주는 영상분석을 활용한 어미돼지의 분만시점 예측 방법 및 그 장치를 제공하는 것이다.

본 발명의 목적은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

본 발명의 일측면에 따른 영상분석을 활용한 어미돼지의 분만시점 예측 방법은, 분만시점 예측장치가 임신한 어미 돼지의 행동특성에 따른 각 클래스별 행동패턴에 대한 학습용 영상 데이터를 수집하는 단계; 상기 분만시점 예측장치가 상기 학습용 영상 데이터에 대해 임신한 어미돼지의 각 클래스별 행동패턴을 기준 좌표에 맞추어 일정 규격으로 정규화하고, CNN 인식모델에서 행동패턴의 특징을 인식할 수 있는 학습용 처리 데이터로 가공하여 추출하는 단계; 상기 분만시점 예측장치가 CNN인식모델을 적용하여 각 클래스별 행동패턴에 대한 학습용 처리 데이터를 축적하여 학습하는 단계; 상기 분만시점 예측장치가 학습된 데이터를 행동패턴 데이터베이스에 저장하는 단계; 상기 분만시점 예측장치가 인식용 어미돼지에 대한 인식용 영상 데이터를 수집하는 단계; 상기 분만시점 예측장치가 상기 인식용 영상 데이터에 대해 기준 좌표에 맞추어 일정 규격으로 정규화하고, 상기 CNN 인식모델을 적용하여 상기 인식용 영상데이터에 대한 어미돼지의 행동패턴을 인식하여 상기 각 클래스별 패턴 중 하나로 분류하는 단계; 상기 분류된 행동패턴에 대해 시간대별 발현시간 또는 시간대별 발생빈도 및 변화 추이를 분석하는 분석단계; 및 상기 분석단계로부터 상기 인식용 어미돼지에 대해 분만 예측시점을 판단하여 24시간 전부터 출력하여 알려주는 분만 예측시점 알림단계: 를 포함한다.

또한, 상기 분만시점 예측 방법은 상기 각 클래스별 행동패턴은 기본 행동패턴 클래스와 특이 행동패턴 클래스를 포함하되, 상기 기본 행동패턴 클래스는 임신한 어미돼지가 앞다리와 뒷다리를 바닥과 수직으로 쭉 피고 다른 행동 없이 가만히 서있는 서기 행동패턴; 및 임신한 어미돼지가 머리와 앞다리, 뒷다리, 복부가 바닥에 모두 닿아 누워있는 눕기 행동패턴; 을 포함하며, 상기 특이 행동패턴 클래스는 임신한 어미돼지가 사료통과 주변, 분만틀 내부 및 옆의 구조물 등에 코를 이용하여 냄새를 맡고, 코의 끝에 주름이 잡히며 무엇인가를 찾는 탐색 행동패턴: 및 임신한 어미돼지가 코와 앞다리를 이용하여 바닥을 긁거나 문지르며, 가려움을 해소하는 듯한 행동으로 반복하여 긁는 바닥긁기 행동패턴을 포함하는 것을 특징으로 한다.

또한, 상기 특이 행동패턴 클래스는, 임신한 어미돼지가 물이 나오는 음수용 니플에 입을 넣어 8~12초 동안 물을 먹는 음수 행동패턴; 임신한 어미돼지가 사료조와 분만틀을 깨물지 않으나, 마치 껌을 씹는 것처럼 윗입술과 아랫입술을 오물오물 거리는 씹기 행동패턴; 임신한 어미돼지가 사료조 또는 분만틀을 입으로 깨무는 깨물기 행동패턴을 더 포함하는 것을 특징으로 한다.

또한, 상기 행동패턴 인식방법은 상기 기본 행동패턴 클래스는, 분만틀 앞에 부착된 사료통에 임신한 어미돼지가 머리를 넣고 사료를 먹는 사료섭취 행동패턴; 어미돼지가 앞다리 2개는 바닥과 수직으로 펴고, 뒷다리 2개와 엉덩이는 바닥에 닿아 앉아있는 앉기 행동패턴을 더 포함하는 것을 특징으로 한다.

또한, 상기 분만 예측시점 알림 단계에서, 상기 분만 예측시점을 24시간 전부터 출력하여 알려주되, 15분 ~ 60분 간격으로 알려주는 것을 특징으로 한다

또한, 상기 분만 예측시점 알림 단계에서, 상기 분만 예측시점을 24시간 전부터 출력하여 실시간으로 알려주는 것을 특징으로 한다.

또한, 상기 분석단계; 에서는, 상기 기본 행동패턴에 대하여는 시간당 발현시간을 측정하고 특이 행동패턴에 대하여는 시간당 발현횟수를 측정하여 그 변화를 분석하는 것을 특징으로 한다.

또한, 상기 분만 예측시점 알림 단계에서, 상기 탐색 행동패턴이 증가 추이를 가지며 시간당 발현횟수가 35~ 58회이며, 바닥긁기 행동패턴이 급격한 증가 추이를 보이고 시간당 발현횟수가 10~ 15회이고, 깨물기 행동패턴이 증가 추이를 가지며 시간당 발현횟수 3회/시간당 이상이며, 서기 행동패턴의 시간당 발현시간이 6분 이상으로 판단된 경우에는, 분만 전 12시간 전으로 판단하여 출력하는 것을 특징으로 한다.

본 발명의 또 다른 측면에 따르면, 영상분석을 활용한 어미돼지의 분만시점 예측장치는, 임신한 어미 돼지의 행동특성에 따른 각 클래스별 행동패턴에 대한 학습용 영상 데이터를 수집하는 학습용 영상수집부; 상기 수집된 학습용 영상 데이터에 대해 임신한 어미돼지의 각 클래스별 행동패턴을 기준 좌표에 맞추어 일정 규격으로 정규화하고, CNN 인식모델에서 행동패턴의 특징을 인식할 수 있는 학습용 처리 데이터로 가공하여 추출하고, CNN인식모델을 적용하여 상기 각 클래스별 행동패턴에 대한 학습용 처리 데이터를 축적하여 학습하는 행동패턴 데이터 학습부; 상기 행동패턴 데이터 학습부에서 학습된 각 클래스별 학습 행동패턴 데이터를 저장하는 행동패턴 데이터베이스; 인식용 어미돼지에 대한 인식용 영상 데이터를 수집하는 인식용 영상수집부; 상기 인식용 영상 데이터에 대해 기준 좌표에 맞추어 일정 규격으로 정규화하고, 상기 CNN 인식모델을 적용하여 상기 인식용 영상데이터에 대한 어미돼지의 행동패턴을 인식하여 상기 각 클래스별 행동패턴 중 하나로 분류하는 행동패턴 인식부; 상기 행동패턴 인식부에서 분류된 인식용 입력처리 데이터에 대해 시간대별 발생빈도 또는 시간대별 발현시간 및 변화추이를 분석하여 상기 인식용 어미돼지에 대한 분만시점을 예측하는 분만시점 예측부; 및 상기 분만시점 예측부에서 예측한 분만시점을 24시간 전부터 일정 시간 간격으로 출력하여 알려주는 출력부: 를 포함하는 것을 특징으로 한다.

또한, 상기 분만시점 예측부에서는, 기본 행동패턴에 대하여는 시간당 발현시간을 측정하고 특이 행동패턴에 대하여는 시간당 발현횟수를 측정하여 그 변화를 분석하는 것을 특징으로 하되, 상기 탐색 행동패턴이 급격한 증가 추이를 가지며 시간당 발현횟수가 35~ 58회이며, 바닥긁기 행동패턴이 급격한 증가 추이를 보이고 시간당 발현횟수가 10~ 15회이고, 깨물기 행동패턴이 증가 추이를 가지며 시간당 발현횟수 3회/시간당 이상이며, 서기 행동패턴의 시간당 발현시간이 6분 이상으로 판단된 경우에는, 분만 12시간전으로 판단하여 출력하는 것을 특징으로 한다.

또한, 상기 행동패턴 인식장치는 포함하는 것을 특징으로 한다.

또한, 상기 분만시점 예측부에서는, 상기 12시간 전을 판단한 측정 결과에 이어서, 상기 탐색 행동패턴이 증가 추이를 가지면서 시간당 발현시간이 58 ~ 83회 범위이고, 상기 바닥긁기 행동패턴이 증가 추이를 가지면 시간당 발현횟수가23회 이상이면, 분만 9시간전으로 판단하여 출력하는 것을 특징으로 한다.

또한, 상기 분만시점 예측부에서는, 상기 9시간 전을 판단한 측정 결과에 이어서, 탐색 행동패턴과 바닥긁기가 상기 9시간 전의 측정 결과보다 40% 이상 증가 추이를 가지면, 분만 6시간전으로 판단하여 출력하는 것을 특징으로 한다.

또한, 상기 분만시점 예측부에서는, 상기 6시간 전을 판단한 측정 결과에 이어서, 상기 탐색 행동패턴과 바닥긁기 행동패턴의 변화추이가 각 감소 추이로 변하면서, 상기 눕기 행동패턴이 증가하는 추이를 가지면 분만 3시간 전으로 판단하여 출력하는 것을 특징으로 한다.

상기 분만시점 예측부에서는, 상기 3시간 전 측정결과에 이어서, 상기 3시간 전 측정결과로부터 상기 서기 행동패턴이 감소하는 추이를 가지고, 상기 탐색과 긁기 행동 행동패턴이 감소하는 추이를 가지면서, 상기 눕기 행동패턴이 시간당 발현시간이 20분 이상 측정될 경우에는 분만 전 1시간 전으로 판단하여 출력하는 것을 특징으로 한다.

농가에서는 농장주가 분만예정일 전후로 어미돼지를 관찰하여 분만시점을 파악하기 때문에 많은 노동력이 소요되는데 본 발명의 일 실시 예에 따른 영상분석을 활용한 어미돼지의 분만시점 예측방법 및 그 장치를 활용할 경우 조기에 각 시간대별로 정확한 분만시점 예측이 가능할 수 있다.

본 발명의 일 실시 예에 따르면, 정확한 분만시점 예측시점을 24시간 이전부터 시간대 별 또는 실시간으로 축산 관리자에게 원격으로 알려줄 수 있는 효과를 가진다.

본 발명의 일 실시 예에 따르면, 어미돼지의 분만시점을 조기에 단계별로 축산관리자에게 알려줌으로써, 어미돼지의 난산과 같은 문제발생을 적절하고 신속하게 대응하여 돼지의 생산성을 높일 수 있다.

도 1은 본 발명의 일 실시 예에 따른 영상분석을 활용한 어미돼지의 분만시점 예측 시스템의 예를 도시한 것이다.
도 2는 본 발명의 일 실시 예에 따른 분만시점 예측장치(1)가 영상분석을 활용한 어미돼지의 분만시점 예측 방법에 대한 흐름도의 예를 도시한 것이다.
도 3은 임신한 어미돼지의 기본 행동패턴 클래스의 예들을 도시한 것이다.
도 4는 임신한 어미돼지의 특이 행동패턴 클래스의 예들을 도시한 것이다.
도 5는 임신한 어미돼지의 특이 행동패턴 클래스의 또 다른 예들을 도시한 것이다.
도 6은 본 발명의 일 실시 예에 따른 분만시점 예측장치에서 각 행동패턴의 축적된 자료에 대한 분만 전 48시간 동안의 어미돼지의 행동 발현 시간 및 발현 빈도수에 대한 평균 범위를 표로 나타낸 것이다.
도 7은 본 발명의 일 실시 예에 따른 분만시점 예측장치에서 각 행동패턴의 축적된 자료에 대한 분만 전 48시간 동안의 어미돼지의 행동 발현 시간 및 발현 빈도수에 대한 평균 범위를 그래프로 나타낸 것이다.
도 8은 본 발명의 일 실시 예에 따른 분만시점 예측장치에서 학습된 알고리즘을 이용한 행동패턴을 분석하고 출력하는 분만시점 예측 방법 프로그램을 적용한 화면이미지의 예를 도시한 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 발명은 축산 농가의 돈사에 설치되어 있는 영상 카메라를 활용하여 어미돼지의 행동을 실시간으로 수집하고 이들 영상으로부터 분만과 관련된 행동패턴을 분류하고, 분류된 행동패턴들을 어미돼지의 분만과 상관성이 높은 행동을 나타내는 영상정보데이터를 추출하는 과정을 포함한다. 다음, 3D-CNN(3차원 컨벌루션 신경망) 인공지능 알고리즘을 이용하여 학습시키고 학습된 알고리즘을 적용하여 농가에서 수집된 영상정보를 대상으로 어미돼지의 분만시점을 조기에 예측하는 방법에 관한 것을 제시한다.

일반적으로 어미돼지는 앉기, 서기, 눕기, 탐식, 깨물기, 음수, 섭식 등 많은 행동 패턴을 나타낸다. 이러한 어미돼지의 행동들은 분만시점과 서로 연관된 관련이 있을 수 있으며, 또한 어떠한 행동은 관련이 없을 수도 있다.

자연상태의 어미돼지는 분만시기가 가까워지게 되면 나뭇가지, 밀짚, 풀 등으로 새끼돼지가 지낼 공간을 만드는 행동(nesting)을 보여준다. 하지만, 이러한 행동은 사육농가의 분만틀이라는 갇힌 상황에서는 새끼돼지가 지낼 공간을 만드는 재료가 없기 때문에 동일한 행동보다는 유사한 행동 패턴을 보여주게 된다. 대표적인 유사한 행동으로는 탐색행동이 있다. 이러한 행동의 발생 빈도는 분만시기와 밀접하게 관련되어 있다.

따라서 이러한 특징적 행동패턴들의 변화를 영상정보를 이용하여 판단할 수 있다면 주관적인 관리자의 목측에 의한 판단보다 객관적일 뿐만 아니라 보다 정확하게 판단할 수 있게 된다.

이러한 영상정보를 활용한 어미돼지의 행동분석 기법은 축적된 데이터를 통하여 분만과 관련된 어미돼지의 특징적 행동패턴을 분류 및 추출하여야 하며 이렇게 분류된 어미돼지들의 시간대별 발생 빈도에 따라 분만시점을 조기에 예측할 수 있다. 본 발명의 일 실시 예에서는 영상을 통해 어미돼지의 행동을 실시간으로 관찰하며 이 중에서 분만 관련 특징적 행동패턴의 발현빈도를 측정하고 분만관련 행동패턴의 변화 추이에 따라 분만예정 시점을 축산 농장주에게 알려주는 영상분석을 활용한 어미돼지의 분만시점 예측 방법이 제공된다.

이하 본 발명의 구현에 따른 영상분석을 활용한 어미돼지의 분만시점 예측 방법에 대하여 상세하게 설명한다.

도 1은 본 발명의 일 실시 예에 따른 영상분석을 활용한 어미돼지의 분만시점 예측 시스템의 예를 도시한 것이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 분만시점 예측 방법을 수행하는 분만시점 예측 시스템은 본 발명의 일 실시 예에 따른 분만시점 예측 방법을 수행하는 분만시점 예측 시스템은 어미 돼지의 영상을 실시간으로 수집하는 영상 촬영부(200) 및 분만시점 예측 장치(1)를 포함한다.

본 발명의 일 실시 예에 따른 영상촬영부(200)는 CCTV가 적용될 수 있다.

본 발명의 일 실시 예에 따른 분만시점 예측 장치(1)는 입력영상을 전송받아 분만예측시점을 실시간으로 알려주는 컴퓨터 서버장치, 가축농가의 관리자 컴퓨터, 무선단말장치 등이 적용될 수 있다.

본 발명의 일 실시 예에 따른 분만시점 예측 장치(1)는 학습용 영상수집부(10), 인식용 영상수집부(20), 행동패턴 데이터 학습부(30), 행동패턴 데이터베이스부(100), 행동패턴 인식부(40), 분만시점 예측부(50) 및 출력부(60)를 포함한다.

본 발명의 일 실시 예에 따른 분만시점 예측 방법을 수행하는 분만시점 예측장치(10)는 학습용 영상수집부(10)에서 분만관련 어미돼지의 각 클래스별 행동패턴을 추출한 다음, 행동패턴 데이터 학습부(30)에서 정규화 과정을 통하고, 행동패턴의 특징을 인식할 수 있는 학습용 처리 데이터로 가공한 후, 상기 각 클래스별 행동패턴 학습용 처리데이터를 CNN 알고리즘을 적용하여 학습을 거친 다음, 행동패턴 데이터 학습부에서 학습된 각 클래스별 학습 행동패턴 데이터는 행동패턴 데이터베이스(100)에 각각 저장된다.

인식용 영상수집부(20)에서 인식용 어미돼지에 대한 인식용 영상 데이터를 수집하여 입력된다.

행동패턴 인식부(50)에서는 입력된 인식용 영상 데이터에 대해 정규화 과정을 수행하고, 인식용 처리데이터로 가공된 인식용 입력처리 데이터는 CNN 알고리즘 및 축적된 행동패턴 데이터베이스(100)의 검색을 통하여 수집된 영상에 대한 행동패턴을 인식하여 각 클래스 별 행동패턴 중 하나로 분류를 하는 기능을 수행한다.

분만시점 예측부(50)에서는 상기 분류된 인식용 입력처리 데이터에 대해 시간대별 발생빈도 또는 시간대별 발현시간 및 변화추이를 분석하여 분만시점을 예측하는 기능이 수행된다.

출력부(60)에서는 분만시점 예측부(50)에서 분석된 데이터에 의해 분만예측시점을 출력하여, 축산농가의 관리자에게 전송한다.

도 2는 본 발명의 일 실시 예에 따른 분만시점 예측장치(1)가 영상분석을 활용한 어미돼지의 분만시점 예측 방법에 대한 흐름도의 예를 도시한 것이다.

도 2를 참조하면, 분만시점 예측장치(1)가 임신한 어미 돼지의 행동특성에 따른 각 클래스별 행동패턴에 대한 학습용 영상 데이터 수집 단계(110)가 수행된다.

본 발명의 일 실시 예에 따르면, 본 연구자들이 다년간 축산 농가 및 축적된 자료를 분석하여 어미돼지의 행동특성의 각 클래스별 행동패턴은 (a)사료섭취, (b)서기, (c)눕기 및 (d)앉기와 같은 4가지 기본 행동패턴 클래스와 (e)음수, (f)탐색, (g)씹기, (h)바닥긁기 및 (i)깨물기와 같은 5가지 특이 행동패턴 클래스로 분류할 수 있었다.

본 발명의 일 실시 예에 따르면, 분만시기 예측의 신뢰성을 높이기 위해 각각의 행동패턴에 대한 인식은 기본행동 패턴의 경우 2분간 지속 여부를 가지고 판단하며 특이 행동패턴의 경우 행동의 지속시간과 상관없이 행동패턴의 발현횟수를 계수하도록 하였다.

도 3은 임신한 어미돼지의 기본 행동패턴 클래스의 예들을 도시한 것이다.

본 발명의 일 실시 예에 따른 (a)사료섭취, (b)서기, (c)눕기 및 (d)앉기 등과 같은 기본 행동패턴은 어미돼지의 타고난 습성을 표현하는 자연스러운 행동에 따른 것이다.

도 3을 참조하면, 본 발명에서 4가지 기본 행동패턴 클래스는 다음과 같이 정의된다.

본 발명의 일 실시 예에 따른 (a)사료섭취 행동패턴은 분만틀 앞에 부착된 사료통에 임신한 어미돼지가 머리를 넣고 사료를 먹는 행동, 혹은 그와 유사한 행동을 의미한다.

본 발명의 일 실시 예에 따른 (b)서기 행동패턴은 임신한 어미돼지가 앞다리와 뒷다리를 바닥과 수직으로 쭉 피고 다른 행동 없이 가만히 서있는 행동, 혹은 그와 유사한 행동을 의미한다.

본 발명의 일 실시 예에 따른 (c)눕기 행동패턴은 임신한 어미돼지가 몸 전체가 바닥에 닿아 누워있는 행동 또는 머리와 앞다리, 뒷다리, 복부가 바닥에 모두 닿아 가장 편한 자세로 누워있는 행동을 의미한다.

본 발명의 일 실시 예에 따른 (d)앉기 행동패턴은, 앞다리 2개는 바닥과 수직으로 펴고, 뒷다리 2개와 엉덩이는 바닥에 닿아 앉아있는 행동, 혹은 그와 유사한 행동을 의미한다. 이 행동패턴은 마치 개(犬)가 앉아 있는 모습으로 보인다.

도 4 및 5는 임신한 어미돼지의 특이 행동패턴 클래스의 예들을 도시한 것이다.

본 발명의 일 실시 예에 따른 (e)음수, (f)탐색, (g)씹기, (h)바닥긁기 및 (i)깨물기 등과 같은 특이 행동패턴 클래스는 어미돼지가 분만시기가 다가올수록 주어진 환경과 충돌이 되거나, 신체적, 심리적으로 불편함을 느낄 때, 나타내는 행동을 정상행동과 구별하기 위한 행동패턴을 구분한 것이다.

도 4 및 5를 참조하면, 본 발명에서 5가지 특이 행동패턴 클래스는 다음과 같이 정의된다.

도 4를 참조하면, 본 발명의 일 실시 예에 따른 (e)음수 행동패턴은 임신한 어미돼지가 물이 나오는 음수용 니플에 입을 넣어 8~12초 동안 물을 먹는 행동을 의미한다.

본 발명의 일 실시 예에 따른 (f)탐색 행동패턴은 임신한 어미돼지가 사료통과 주변, 분만틀 내부 및 옆의 구조물 등에 코를 이용하여 냄새를 맡고, 코의 끝에 주름이 잡히며 무엇인가를 찾는 행동을 의미한다.

본 발명의 일 실시 예에 따른 (g)씹기 행동패턴은 임신한 어미돼지가 사료조와 분만틀을 깨물지 않으나, 마치 껌을 씹는 것처럼 윗입술과 아랫입술을 오물오물 거리는 행동을 의미한다.

(g)씹기 행동패턴은 사료를 먹지 않았지만, 마치 껌을 씹는 것처럼 윗입술과 아랫입술을 오물오물 거리는 행동을 나타낸다.

도 5를 참조하면, 본 발명의 일 실시 예에 따른 (h)바닥긁기 행동패턴은 임신한 어미돼지가 코와 앞다리를 이용하여 바닥을 긁거나 문지르며, 가려움을 해소하는 듯한 행동으로 반복하여 긁는 행동을 의미한다.

도 5를 참조하면, 본 발명의 일 실시 예에 따른 (i)깨물기 행동패턴은 임신한 어미돼지가 사료조 또는 분만틀을 입으로 깨무는 행동으로 잠깐 물었다 놓고, 다시 깨무는 행동, 혹은 이와 유사한 행동을 의미한다.

학습용 영상 데이터 수집 단계(110)에서는 임신한 어미돼지의 행동특성에 따른 각 기본 행동패턴 및 특이 행동패턴에 대하여 각각 다양한 학습용 행동패턴의 영상 데이터를 수집한다.

다음은 분만관련 어미돼지의 행동패턴 추출단계(120)가 수행된다.

분만관련 어미돼지의 행동패턴 추출단계(120)에서는 분만시점 예측장치(1)가 학습용 행동패턴의 영상 데이터에 대해 임신한 어미돼지의 각 행동패턴별로 기준 좌표에 맞추어 일정 규격으로 정규화하고, CNN 인식모델에서 행동패턴의 특징을 인식할 수 있는 학습용 처리 데이터로 가공하여 추출한다.

다음은 어미돼지의 행동패턴 학습단계(130)가 수행된다.

어미돼지의 행동패턴 학습단계(130)에서는 분만시점 예측장치(1)가 CNN인식모델을 적용하여 각 행동패턴에 대한 학습용 처리 데이터를 축적하여 학습한다.

다음은 학습 행동기반 분만시점 분석데이터 축적단계에서 학습된 학습용 처리 데이터 및 학습용 처리 데이터를 기반으로 학습 행동기반 분석시점 분석데이터를 데이터베이스에 축적 저장한다.

이후 분만시점 예측을 위한 축산 농가에서 임신한 어미돼지의 인식용 영상데이터를 수집하는 축산 농가의 인식용 영상데이터 수집단계(210)가 수행된다.

다음은 인식용 영상데이터에 대해 기준 좌표에 맞추어 일정 규격으로 정규화하고, CNN 인식모델에서 행동패턴의 특징을 인식할 수 있는 인식용 처리 데이터로 가공한 다음, 학습용 처리 데이터를 활용한 CNN인식모델을 적용하여 상기 인식용 영상데이터에 대한 어미돼지의 행동패턴을 인식하는 어미돼지의 행동패턴 인식단계(220) 및 인식된 패턴을 상기 각 클래스별 행동패턴 중에서 하나의 특정 행동패턴으로 분류하는 단계(230)가 수행된다.

다음은 상기 분류된 특정 행동패턴에 대해 시간대별 발현시간 또는 시간대별 발생빈도를 분석하는 단계(240)가 수행된다.

도 6은 본 발명의 일 실시 예에 따른 분만시점 예측장치(1)에서 각 행동패턴의 축적된 자료에 대한 분만 전 48시간 동안의 어미돼지의 행동 발현 시간 및 발현 빈도수에 대한 평균 범위를 표로 나타낸 것이고, 도 7은 이에 대한 그래프를 도시한 것이다.

도 6, 7을 참조하면, 본 발명의 일 실시 예에서는 정확한 분만시기 예측에 대한 분석을 위하여 기본 행동패턴에 대하여는 시간당 발현시간을 측정하고 특이 행동패턴에 대하여는 시간당 발현횟수를 측정하여 그 변화를 분석하는 것을 기술적 특징으로 한다.

도 6, 7을 참조하면, 분만 전 사료섭취 및 음수 행동패턴은 분만 전 12시간부터 증가하다 3시간부터 점점 감소하였고, 눕기 행동은 점점 증가하여 분만 1-2 시간 전에는 20~ 25분 정도 누워서 진통을 가지는 것으로 분석되었다.

분만 전 탐색 행동패턴과 바닥긁기 행동패턴이 12시간 전부터 증가하여 6시간 전에는 각각 시간당 130회/69회로 가장 높은 빈도를 보이는 것으로 분석되었다.

분만 1시간 전에는 다른 특이 클래스의 행동패턴에 비해 탐식 행동패턴이 58회/시간당, 바닥긁기 행동패턴이 31회/시간당 빈도를 가지는 것으로 분석되었다.

다음은 축적된 행동 시간대별 평균 발현시간 및 발생빈도 데이터를 참조하여 인식된 행동패턴에 대해 인식용 어미돼지의 분만 예측시점을 판단하여 24시간 전부터 실시간 또는 시간대별로 출력하는 분만 예측시점 알림단계(250)가 수행된다.

도 8은 본 발명의 일 실시 예에 따른 분만시점 예측장치에서 학습된 알고리즘을 이용한 행동패턴을 분석하고 출력하는 분만시점 예측 방법 프로그램을 적용한 화면이미지의 예를 도시한 것이다.

본 발명의 일 실시 예에서는 분만 예측시점 알림단계(250)에서는 축적된 행동 시간대별 평균 발현시간 및 발생빈도 데이터를 참조하여 각 시간대별 변동추이에 따라 인식된 행동패턴에 대하여 분만 예측시점(예를 들면 12시간 전, 6시간 전 등) 및 어미돼지의 행동 발현 시간 및 발현 빈도수를 실시간 또는 15분 ~1시간 간격으로 출력하고, 이를 각 축산농가의 관리자의 스마트폰으로 문자전송, 경고음을 통하여 알려줄 수 있다.

예를 들면, 도 6, 7을 참조하면, 탐색 행동패턴이 급격한 증가 추이를 가지며 35~ 58/시간당 이고, 바닥긁기 행동패턴이 급격한 증가 추이를 보이고 10~ 15회/시간인 경우, 그리고 깨물기 행동패턴이 증가 추이를 가지며 3회/시간당 이상이고, 서기 행동패턴이 6분/시간당 이상으로 판단되면, 분만 12시간 전으로 판단하여 출력할 수 있다.

분만 전 12시간 전을 판단한 측정 결과에 이어서 상기 탐색 행동패턴이 증가 추이를 가지면서 시간당 발현시간이 58 ~ 83회 범위이고, 상기 바닥긁기 행동패턴이 증가 추이를 가지면 시간당 발현횟수가 23회 이상이면, 분만 9시간 전으로 판단하여 출력할 수 있다.

9시간 전을 판단한 측정 결과에 이어서 탐색 행동패턴과 바닥긁기가 상기 9시간 전의 측정결과보다 40% 이상 증가 추이를 가지면 분만 전 6시간 전으로 출력할 수 있다.

6시간 전 패턴에 이어서 탐색 행동패턴과 바닥긁기 행동패턴의 변화추이가 각 감소 추이로 변하면서 눕기 행동패턴이 증가하는 추이를 가지면 분만 3시간 전으로 출력할 수 있다.

3시간 전을 판단한 측정 결과로부터 서기 행동패턴이 감소하는 추이를 가지고, 탐색과 긁기 행동 행동패턴이 감소하는 추이를 가지면서, 눕기 행동패턴이 시간당 발현시간이 20분이상 측정될 경우에는 분만 전 1시간전으로 출력할 수 있다.

축산 농가에서는 농장주가 분만예정일 전후로 어미돼지를 관찰하여 분만시점을 파악하기 때문에 많은 노동력이 소요되는데 본 발명의 일 실시 예에 따른 영상분석을 활용한 어미돼지의 분만시점 예측방법 및 그 장치를 활용할 경우 조기에 각 시간대별로 정확한 분만시점 예측이 가능할 수 있다.

1: 분만시점 예측 장치
10: 학습용 영상수집부
20: 인식용 영상수집부
30: 행동패턴 데이터 학습부
40: 행동패턴 인식부
50: 분만시점 예측부
60: 출력부.
100: 행동패턴 데이터베이스부
200: 영상 촬영부,

Claims

영상분석을 활용한 어미돼지의 분만시점 예측장치에서 분만시점을 예측하는 방법은,
상기 분만시점 예측장치가 임신한 어미 돼지의 행동특성에 따른 각 클래스별 행동패턴에 대한 학습용 영상 데이터를 수집하는 단계;
상기 분만시점 예측장치가 상기 학습용 영상 데이터에 대해 임신한 어미돼지의 각 클래스별 행동패턴을 기준 좌표에 맞추어 일정 규격으로 정규화하고, CNN 인식모델에서 행동패턴의 특징을 인식할 수 있는 학습용 처리 데이터로 가공하여 추출하는 단계;
상기 분만시점 예측장치가 CNN인식모델을 적용하여 각 클래스별 행동패턴에 대한 학습용 처리 데이터를 축적하여 학습하는 단계;
상기 분만시점 예측장치가 학습된 데이터를 행동패턴 데이터베이스에 저장하는 단계;
상기 분만시점 예측장치가 인식용 어미돼지에 대한 인식용 영상 데이터를 수집하는 단계;
상기 분만시점 예측장치가 상기 인식용 영상 데이터에 대해 기준 좌표에 맞추어 일정 규격으로 정규화하고, 상기 CNN 인식모델을 적용하여 상기 인식용 영상데이터에 대한 어미돼지의 행동패턴을 인식하여 상기 각 클래스별 패턴 중 하나로 분류하는 단계;
상기 분류된 행동패턴에 대해 시간대별 발현시간 또는 시간대별 발생빈도 및 변화 추이를 분석하는 분석단계; 및
상기 분석단계로부터 상기 인식용 어미돼지에 대해 분만 예측시점을 판단하여 24시간 전부터 출력하여 알려주는 분만 예측시점 알림단계: 를 포함하는 것을 특징으로 하는 분만시점 예측방법.
제1항에 있어서,
상기 각 클래스별 행동패턴은 기본 행동패턴 클래스와 특이 행동패턴 클래스를 포함하되,
상기 기본 행동패턴 클래스는 임신한 어미돼지가 앞다리와 뒷다리를 바닥과 수직으로 쭉 피고 다른 행동 없이 가만히 서있는 서기 행동패턴; 및 임신한 어미돼지가 머리와 앞다리, 뒷다리, 복부가 바닥에 모두 닿아 누워있는 눕기 행동패턴; 을 포함하며,
상기 특이 행동패턴 클래스는 임신한 어미돼지가 사료통과 주변, 분만틀 내부 및 옆의 구조물 등에 코를 이용하여 냄새를 맡고, 코의 끝에 주름이 잡히며 무엇인가를 찾는 탐색 행동패턴: 및
임신한 어미돼지가 코와 앞다리를 이용하여 바닥을 긁거나 문지르며, 가려움을 해소하는 듯한 행동으로 반복하여 긁는 바닥긁기 행동패턴; 을 포함하는 것을 특징으로 하는 분만시점 예측방법.
제2항에 있어서,
상기 특이 행동패턴 클래스는
임신한 어미돼지가 물이 나오는 음수용 니플에 입을 넣어 8~12초 동안 물을 먹는 음수 행동패턴;
임신한 어미돼지가 사료조와 분만틀을 깨물지 않으나, 마치 껌을 씹는 것처럼 윗입술과 아랫입술을 오물오물 거리는 씹기 행동패턴; 및
임신한 어미돼지가 사료조 또는 분만틀을 입으로 깨무는 깨물기 행동패턴을 더 포함하는 것을 특징으로 하는 분만시점 예측방법.
제2항에 있어서,
상기 기본 행동패턴 클래스는
분만틀 앞에 부착된 사료통에 임신한 어미돼지가 머리를 넣고 사료를 먹는 사료섭취 행동패턴;
어미돼지가 앞다리 2개는 바닥과 수직으로 펴고, 뒷다리 2개와 엉덩이는 바닥에 닿아 앉아있는 앉기 행동패턴을 더 포함하는 것을 특징으로 하는 분만시점 예측방법.
제1항에 있어서,
상기 분만 예측시점 알림단계에서, 상기 분만 예측시점을 24시간 전부터 출력하여 알려주되, 15분 ~ 60분 간격으로 알려주는 것을 특징으로 하는 분만시점 예측방법.
제1항에 있어서,
상기 분만 예측시점 알림단계에서, 상기 분만 예측시점을 24시간 전부터 출력하여 실시간으로 알려주는 것을 특징으로 하는 분만시점 예측방법.
제3항에 있어서,
상기 분석단계; 에서는, 상기 기본 행동패턴에 대하여는 시간당 발현시간을 측정하고 특이 행동패턴에 대하여는 시간당 발현횟수를 측정하여 그 변화를 분석하는 것을 특징으로 하는 분만시점 예측방법.
제7항에 있어서,
상기 분만 예측시점 알림단계에서,
상기 탐색 행동패턴이 증가 추이를 가지며 시간당 발현횟수가 35~ 58회이며, 바닥긁기 행동패턴이 증가 추이를 보이고 시간당 발현횟수가 10~ 15회이고, 깨물기 행동패턴이 증가 추이를 가지며 시간당 발현횟수 3회/시간당 이상이며, 서기 행동패턴의 시간당 발현시간이 6분 이상으로 판단된 경우에는, 분만 전 12시간 전으로 판단하여 출력하는 것을 특징으로 하는 분만시점 예측방법.
영상분석을 활용한 어미돼지의 분만시점 예측장치에 있어서,
임신한 어미 돼지의 행동특성에 따른 각 클래스별 행동패턴에 대한 학습용 영상 데이터를 수집하는 학습용 영상수집부;
상기 수집된 학습용 영상 데이터에 대해 임신한 어미돼지의 각 클래스별 행동패턴을 기준 좌표에 맞추어 일정 규격으로 정규화하고, CNN 인식모델에서 행동패턴의 특징을 인식할 수 있는 학습용 처리 데이터로 가공하여 추출하고, CNN인식모델을 적용하여 상기 각 클래스별 행동패턴에 대한 학습용 처리 데이터를 축적하여 학습하는 행동패턴 데이터 학습부;
상기 행동패턴 데이터 학습부에서 학습된 각 클래스별 학습 행동패턴 데이터를 저장하는 행동패턴 데이터베이스;
인식용 어미돼지에 대한 인식용 영상 데이터를 수집하는 인식용 영상수집부;
상기 인식용 영상 데이터에 대해 기준 좌표에 맞추어 일정 규격으로 정규화하고, 상기 CNN 인식모델을 적용하여 상기 인식용 영상데이터에 대한 어미돼지의 행동패턴을 인식하여 상기 각 클래스별 행동패턴 중 하나로 분류하는 행동패턴 인식부;
상기 행동패턴 인식부에서 분류된 인식용 입력처리 데이터에 대해 시간대별 발생빈도 또는 시간대별 발현시간 및 변화추이를 분석하여 상기 인식용 어미돼지에 대한 분만시점을 예측하는 분만시점 예측부; 및
상기 분만시점 예측부에서 예측한 분만시점을 24시간 전부터 일정 시간 간격으로 출력하여 알려주는 출력부: 를 포함하는 것을 특징으로 하는 분만시점 예측장치.
제9항에 있어서,
상기 출력부는 상기 분만 예측시점을 24시간 전부터 출력하여 알려주되, 15분 ~ 60분 간격으로 알려주는 것을 특징으로 하는 분만시점 예측장치..
제9항에 있어서,
상기 출력부는 상기 분만 예측시점을 24시간 전부터 출력하여 실시간으로 알려주는 것을 특징으로 하는 분만시점 예측장치.
제9항에 있어서,
상기 각 클래스별 행동패턴은 기본 행동패턴 클래스와 특이 행동패턴 클래스를 포함하되,
상기 기본 행동패턴 클래스는 임신한 어미돼지가 앞다리와 뒷다리를 바닥과 수직으로 쭉 피고 다른 행동 없이 가만히 서있는 서기 행동패턴; 및 임신한 어미돼지가 머리와 앞다리, 뒷다리, 복부가 바닥에 모두 닿아 누워있는 눕기 행동패턴; 을 포함하며,
상기 특이 행동패턴 클래스는 임신한 어미돼지가 사료통과 주변, 분만틀 내부 및 옆의 구조물 등에 코를 이용하여 냄새를 맡고, 코의 끝에 주름이 잡히며 무엇인가를 찾는 탐색 행동패턴: 및
임신한 어미돼지가 코와 앞다리를 이용하여 바닥을 긁거나 문지르며, 가려움을 해소하는 듯한 행동으로 반복하여 긁는 바닥긁기 행동패턴을 포함하는 것을 특징으로 하는 분만시점 예측장치.
제12항에 있어서,
상기 특이 행동패턴 클래스는
임신한 어미돼지가 물이 나오는 음수용 니플에 입을 넣어 8~12초 동안 물을 먹는 음수 행동패턴;
임신한 어미돼지가 사료조와 분만틀을 깨물지 않으나, 마치 껌을 씹는 것처럼 윗입술과 아랫입술을 오물오물 거리는 씹기 행동패턴;
임신한 어미돼지가 사료조 또는 분만틀을 입으로 깨무는 깨물기 행동패턴을 더 포함하는 것을 특징으로 하는 분만시점 예측장치.
제12항에 있어서,
상기 기본 행동패턴 클래스는
분만틀 앞에 부착된 사료통에 임신한 어미돼지가 머리를 넣고 사료를 먹는 사료섭취 행동패턴;
어미돼지가 앞다리 2개는 바닥과 수직으로 펴고, 뒷다리 2개와 엉덩이는 바닥에 닿아 앉아있는 앉기 행동패턴을 더 포함하는 것을 특징으로 하는 분만시점 예측장치.
제14항에 있어서,
상기 분만시점 예측부에서는,
기본 행동패턴에 대하여는 시간당 발현시간을 측정하고 특이 행동패턴에 대하여는 시간당 발현횟수를 측정하여 그 변화를 분석하는 것을 특징으로 하되,
상기 탐색 행동패턴이 급격한 증가 추이를 가지며 시간당 발현횟수가 35~ 58회이며, 바닥긁기 행동패턴이 급격한 증가 추이를 보이고 시간당 발현횟수가 10~ 15회이고, 깨물기 행동패턴이 증가 추이를 가지며 시간당 발현횟수 3회 이상이며, 서기 행동패턴의 시간당 발현시간이 6분 이상으로 판단된 경우에는, 분만 12시간 전으로 판단하여 출력하는 것을 특징으로 하는 분만시점 예측장치.
제15항에 있어서,
상기 분만시점 예측부에서는,
상기 12시간 전을 판단한 측정 결과에 이어서,
상기 탐색 행동패턴이 증가 추이를 가지면서 시간당 발현시간이 58 ~ 83회 범위이고, 상기 바닥긁기 행동패턴이 증가 추이를 가지면 시간당 발현횟수가 23회 이상이면, 분만 9시간 전으로 판단하여 출력하는 것을 특징으로 하는 분만시점 예측장치.
제16항에 있어서,
상기 분만시점 예측부에서는,
상기 9시간 전을 판단한 측정 결과에 이어서,
탐색 행동패턴과 바닥긁기가 상기 9시간 전의 측정 결과보다 40% 이상 증가 추이를 가지면, 분만 6시간 전으로 판단하여 출력하는 것을 특징으로 하는 분만시점 예측장치.
제17항에 있어서,
상기 분만시점 예측부에서는,
상기 6시간 전을 판단한 측정 결과에 이어서,
상기 탐색 행동패턴과 바닥긁기 행동패턴의 변화추이가 각 감소 추이로 변하면서, 상기 눕기 행동패턴이 증가하는 추이를 가지면 분만 3시간 전으로 판단하여 출력하는 것을 특징으로 하는 분만시점 예측장치.
제18항에 있어서,
상기 분만시점 예측부에서는,
상기 3시간 전을 판단한 측정 결과에 이어서, 상기 3시간 전 측정 결과로부터 상기 서기 행동패턴이 감소하는 추이를 가지고, 상기 탐색과 긁기 행동 행동패턴이 감소하는 추이를 가지면서, 상기 눕기 행동패턴이 시간당 발현시간이 20분 이상 측정될 경우에는 분만 전 1시간 전으로 판단하여 출력하는 것을 특징으로 하는 분만시점 예측장치.