KR102577121B1

KR102577121B1 - 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치

Info

Publication number: KR102577121B1
Application number: KR1020210129287A
Authority: KR
Inventors: 경노겸; 송신애; 송도영
Original assignee: 한국축산데이터 주식회사 농업회사법인
Priority date: 2021-09-29
Filing date: 2021-09-29
Publication date: 2023-09-12
Also published as: KR20230046156A; WO2023054822A1

Abstract

본 발명은 인공지능 기반 가축 이상행동 패턴 추출 방법에 관한 것으로서, 보다 구체적으로는 컴퓨터에 의해 각 단계가 수행되는 인공지능 기반 가축 이상행동 패턴 추출 방법으로서, (1) 축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집하는 데이터 수집 단계; (2) 상기 단계 (1)에서 수집한 가축 영상을 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스로 표시해 가축 라벨링을 수행하는 가축 라벨링 단계; (3) 상기 단계 (2)에서 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습하는 데이터 학습 단계; (4) 상기 단계 (3)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링하여 분류하며, 분류 결과에 가축 행동의 라벨을 설정하는 행동 라벨링 단계; (5) 상기 단계 (4)에서 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 상기 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습하는 모델 생성 단계; 및 (6) 상기 단계 (5)에서 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출하는 이상행동 검출 단계를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 인공지능 기반 가축 이상행동 패턴 추출 장치에 관한 것으로서, 보다 구체적으로는 인공지능 기반 가축 이상행동 패턴 추출 장치로서, 축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집하는 데이터 수집부; 상기 데이터 수집부에서 수집한 가축 영상을 프레임 단위로 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스로 표시해 가축 라벨링을 수행하는 가축 라벨링부; 상기 가축 라벨링부에서 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습하는 데이터 학습부; 상기 데이터 학습부에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링 기법으로 분류하며, 분류 결과에 가축 행동의 라벨을 설정하는 행동 라벨링부; 상기 행동 라벨링부에서 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 상기 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습하는 모델 생성부; 및 상기 모델 생성부에서 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출하는 이상행동 검출부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치에 따르면, 축사에 설치된 CCTV 카메라를 인공지능 기반으로 분석해 개별 가축의 이상행동 패턴을 추출함으로써, 가축 농장에서 사람 관리자가 개별 가축을 각각 관리하고 관찰할 수 없는 한계를 극복하고, 축사 내 개별 가축의 행동 패턴으로부터 각 가축의 질병 등을 예측하여, 축사 환경 개선, 급이 및 급수량 설정 등 개별 가축의 현재 상태에 최적화된 사양 관리를 할 수 있다.

Description

인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치{METHOD AND APPARATUS FOR EXTRACTING ABNORMAL BEHAVIOR PATTERNS OF LIVESTOCK BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치에 관한 것으로서, 보다 구체적으로는 축사에 설치된 CCTV 카메라를 인공지능 기반으로 분석해 개별 가축의 이상행동 패턴을 추출하는 방법 및 장치에 관한 것이다.

축산업은 사람의 먹거리와 직접 연결되는 산업이며 축산물의 원자재가 되는 가축의 건강은 곧 내가 먹는 음식의 질을 결정한다. 최근에는, 중국, 인도 등 전 세계 인구의 상당 부분을 차지하는 국가의 소득 수준의 증대로 육류소비가 폭발적으로 증가함에 따라 ‘단백질 위기(Protein Crisis: 인구 증가와 육류 소비 증가로 인해 건강한 동물성 단백질의 안정적 공급에 대한 불안)’가 화두가 되고 있다.

이에 따라 건강한 동물성 단백질을 공급하기 위한 비즈니스가 큰 관심을 얻고 있다. 이미 2017년 중국에서는 ‘왕이웨이양’이라는 건강하게 기른 돼지의 마리당 경매 낙찰가격이 2,750만 원에 달한 바 있으며, 이는 육류 소비의 증대만큼이나 건강한 가축에 대한 고기 소비자들의 니즈 또한 확대되었다는 것을 보여준다.

현재 축산업에서 가축을 관리하는 기술은, 카메라나 센서를 사용해 가축을 모니터링하는 기술이 주를 이루고 있다(등록특허 제10-1768450호, 공개특허 제10-2018-0113763호 등). 이러한 기술은 농가의 관리 효율성을 높이고 자동화하기 위한 기술이 대부분으로, 기존 농장에서는 이러한 모니터링 기술을 사용하더라도 가축이 이상행동을 실제로 보이는 시점부터 농장 관리자가 이상 개체를 발견하는 시점까지 평균 2주 정도 소요된다.

돼지 농장의 경우 한 명의 관리자가 1,000마리의 돼지를 관리하기 때문에, 한 마리 한 마리 관찰할 수 없어서 군집 내 대부분의 개체가 이상행동을 보이거나 개체가 이상행동을 보이다가 폐사한 후에야 비로소 발견할 수 있다. 따라서 돼지 등을 키우는 가축 농장에서 사람 관리자가 24시간 가축을 한 마리 한 마리 관리하고 관찰할 수 없는 한계를 극복하기 위한 솔루션이 필요한 실정이다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 축사에 설치된 CCTV 카메라를 인공지능 기반으로 분석해 개별 가축의 이상행동 패턴을 추출함으로써, 가축 농장에서 사람 관리자가 개별 가축을 각각 관리하고 관찰할 수 없는 한계를 극복하고, 축사 내 개별 가축의 행동 패턴으로부터 각 가축의 질병 등을 예측하여, 축사 환경 개선, 급이 및 급수량 설정 등 개별 가축의 현재 상태에 최적화된 사양 관리를 할 수 있는, 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치를 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법은,

컴퓨터에 의해 각 단계가 수행되는 인공지능 기반 가축 이상행동 패턴 추출 방법으로서,

(1) 축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집하는 데이터 수집 단계;

(2) 상기 단계 (1)에서 수집한 가축 영상을 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스로 표시해 가축 라벨링을 수행하는 가축 라벨링 단계;

(3) 상기 단계 (2)에서 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습하는 데이터 학습 단계;

(4) 상기 단계 (3)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링하여 분류하며, 분류 결과에 가축 행동의 라벨을 설정하는 행동 라벨링 단계;

(5) 상기 단계 (4)에서 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 상기 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습하는 모델 생성 단계; 및

(6) 상기 단계 (5)에서 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출하는 이상행동 검출 단계를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 단계 (1)에서는,

가축의 등이 보이는 탑 뷰(top-view) 및/또는 가축의 옆면이 보이는 사이드 뷰(side-view)의 가축 영상을 수집할 수 있다.

바람직하게는, 상기 단계 (3)은,

(3-1) 상기 단계 (2)에서 라벨링 된 이미지를 학습 데이터로 하여, 이미지에서 복수의 가축 개체를 검출하는 인공지능 기반의 다중 가축 검출 모델을 학습하는 단계; 및

(3-2) 상기 다중 가축 검출 모델에서 검출된 가축 개체를 상기 가축 영상의 프레임 진행에 따라 추적하는 인공지능 기반의 다중 가축 움직임 추적 모델을 학습하는 단계를 포함할 수 있다.

바람직하게는, 상기 단계 (4)는,

(4-1) 상기 단계 (3)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 가축 개체별로 추적한 경로를 좌표로 변환해 저장하는 단계;

(4-2) 상기 좌표로 변환된 가축 개체별 경로에서 움직임의 속력 및 방향의 특징을 추출하는 단계;

(4-3) 상기 추출한 속력 및 방향을 각각 클러스터링 기법으로 분류하는 단계; 및

(4-4) 상기 단계 (4-3)의 분류 결과에 기초하여, 속력에 의한 분류와 방향에 의한 분류를 조합해 가축 행동을 나타내는 복수의 그룹을 설정하고, 그룹별로 가축 행동의 라벨을 설정하는 단계를 포함할 수 있다.

더욱 바람직하게는, 상기 단계 (4-3)에서는,

K-평균 클러스터링(K-means clustering)을 사용해 속력 및 방향에 따른 가축 개체별 움직임을 각각 분류할 수 있다.

더욱 바람직하게는, 상기 단계 (4-4) 이후에는,

(4-5) 상기 그룹별로 라벨링 한 가축 행동에 대응되는 건강상태를 설정하는 단계를 더 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 인공지능 기반 가축 이상행동 패턴 추출 장치는,

인공지능 기반 가축 이상행동 패턴 추출 장치로서,

축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집하는 데이터 수집부;

상기 데이터 수집부에서 수집한 가축 영상을 프레임 단위로 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스로 표시해 가축 라벨링을 수행하는 가축 라벨링부;

상기 가축 라벨링부에서 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습하는 데이터 학습부;

상기 데이터 학습부에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링 기법으로 분류하며, 분류 결과에 가축 행동의 라벨을 설정하는 행동 라벨링부;

상기 행동 라벨링부에서 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 상기 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습하는 모델 생성부; 및

상기 모델 생성부에서 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출하는 이상행동 검출부를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 행동 라벨링부는,

상기 데이터 학습부에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 가축 개체별로 추적한 경로를 좌표로 변환해 저장하는 움직임 변환 모듈;

상기 좌표로 변환된 가축 개체별 경로에서 움직임의 속력 및 방향의 특징을 추출하는 특징 추출 모듈;

상기 추출한 속력 및 방향을 각각 클러스터링 기법으로 분류하는 분류 모듈; 및

상기 분류 모듈의 분류 결과에 기초하여, 속력에 의한 분류와 방향에 의한 분류를 조합해 가축 행동을 나타내는 복수의 그룹을 설정하고, 그룹별로 가축 행동의 라벨을 설정하는 라벨 설정 모듈을 포함할 수 있다.

본 발명에서 제안하고 있는 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치에 따르면, 축사에 설치된 CCTV 카메라를 인공지능 기반으로 분석해 개별 가축의 이상행동 패턴을 추출함으로써, 가축 농장에서 사람 관리자가 개별 가축을 각각 관리하고 관찰할 수 없는 한계를 극복하고, 축사 내 개별 가축의 행동 패턴으로부터 각 가축의 질병 등을 예측하여, 축사 환경 개선, 급이 및 급수량 설정 등 개별 가축의 현재 상태에 최적화된 사양 관리를 할 수 있다.

도 1은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 장치의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 장치에서, 행동 라벨링부의 세부적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법의 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S400의 세부적인 흐름을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S410을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S420을 설명하기 위해 도시한 도면.
도 8은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S430을 설명하기 위해 도시한 도면.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 장치(10)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 장치(10)는, 축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집하는 데이터 수집부(100); 데이터 수집부(100)에서 수집한 가축 영상을 프레임 단위로 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스로 표시해 가축 라벨링을 수행하는 가축 라벨링부(200); 가축 라벨링부(200)에서 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습하는 데이터 학습부(300); 데이터 학습부(300)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링 기법으로 분류하며, 분류 결과에 가축 행동의 라벨을 설정하는 행동 라벨링부(400); 행동 라벨링부(400)에서 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습하는 모델 생성부(500); 및 모델 생성부(500)에서 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출하는 이상행동 검출부(600)를 포함하여 구성될 수 있다.

도 2는 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 장치(10)에서, 행동 라벨링부(400)의 세부적인 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 장치(10)의 행동 라벨링부(400)는, 행동 라벨링부(400)는, 데이터 학습부(300)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 가축 영상으로부터 가축 개체의 움직임을 추적하고, 가축 개체별로 추적한 경로를 좌표로 변환해 저장하는 움직임 변환 모듈(410); 좌표로 변환된 가축 개체별 경로에서 움직임의 속력 및 방향의 특징을 추출하는 특징 추출 모듈(420); 추출한 속력 및 방향을 각각 클러스터링 기법으로 분류하는 분류 모듈(430); 및 분류 모듈(430)의 분류 결과에 기초하여, 속력에 의한 분류와 방향에 의한 분류를 조합해 가축 행동을 나타내는 복수의 그룹을 설정하고, 그룹별로 가축 행동의 라벨을 설정하는 라벨 설정 모듈(440)을 포함하여 구성될 수 있다.

도 3은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법은, 컴퓨터에 의해 각 단계가 수행되는 인공지능 기반 가축 이상행동 패턴 추출 방법으로서, 데이터 수집 단계(S100), 가축 라벨링 단계(S200), 데이터 학습 단계(S300), 행동 라벨링 단계(S400), 모델 생성 단계(S500) 및 이상행동 검출 단계(S600)를 포함하여 구현될 수 있다.

본 발명은 인공지능 기반 가축 이상행동 패턴 추출 방법에 관한 것으로서, 본 발명의 특징에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법은, 메모리 및 프로세서를 포함한 하드웨어에서 기록되는 소프트웨어로 구성될 수 있다. 예를 들어, 본 발명의 인공지능 기반 가축 이상행동 패턴 추출 방법은, 개인용 컴퓨터, 노트북 컴퓨터, 서버 컴퓨터, PDA, 스마트폰, 태블릿 PC 등에 저장 및 구현될 수 있다. 이하에서는 설명의 편의를 위해, 각 단계를 수행하는 주체는 생략될 수 있다.

단계 S100에서는, 데이터 수집부(100)가, 축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집할 수 있다. 보다 구체적으로, 단계 S100에서는, 가축의 등이 보이는 탑 뷰(top-view) 및/또는 가축의 옆면이 보이는 사이드 뷰(side-view)의 가축 영상을 수집할 수 있다.

즉, 본 발명에서는, 축사에 방 단위로 CCTV 카메라를 설치하여 가축의 움직임을 담은 영상을 취득하여 사용할 수 있다. 여기서, CCTV 카메라는 일반 2D 카메라로 고화질 영상을 실시간으로 수집할 수 있으며, 한 대의 카메라가 축사의 방 전체를 촬영하도록 할 수 있다. 카메라 설치 각도는 축사 천장 중앙에 수직으로 설치하여 가축의 등이 보이는 탑뷰 및/또는 축사 벽 중간에 수평으로 설치하여 가축의 옆면이 보이는 사이드 뷰를 포함할 수 있다. 다만, 축사를 기울여서 관측하는 각도인 틸티드 뷰(Tilted-View)는 가축 검출 성능에 영향을 미칠 수 있으므로 지양한다.

단계 S200에서는, 가축 라벨링부(200)가, 단계 S100에서 수집한 가축 영상을 프레임 단위로 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스(bounding box)로 표시해 가축 라벨링을 수행할 수 있다. 즉, 단계 S100에서 수집한 가축 영상은 동영상 형태일 수 있으므로, 이를 프레임 단위로 분할해 이미지로 변환할 수 있다. 가축 라벨링은 이미지 위에 촬영된 가축을 바운딩 박스로 표시한 것으로, 축사 내에는 복수의 가축이 함께 사육되므로 하나의 이미지에 복수의 가축 위치를 모두 바운딩 박스 라벨링 할 수 있다. 이때, 단계 S200에서는, 관리자나 사용자 단말기로부터 바운딩 박스로 표시된 이미지를 수신해 저장하여 가축 라벨링을 수행할 수 있다.

단계 S300에서는, 데이터 학습부(300)가, 단계 S200에서 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습할 수 있다.

도 4는 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법의 단계 S300은, 다중 가축 검출 모델 학습 단계(S310) 및 다중 가축 움직임 추적 모델 학습 단계(S320)를 포함하여 구현될 수 있다.

단계 S310에서는, 단계 S200에서 라벨링 된 이미지를 학습 데이터로 하여, 이미지에서 복수의 가축 개체를 검출하는 인공지능 기반의 다중 가축 검출 모델을 학습할 수 있다. 보다 구체적으로, 단계 S310에서는, 컴퓨터 비전 인공지능 모델 중 RCNN, Faster-RCNN 등을 기반으로 하는 다중 객체 검출(Multiple object detection) 모델을 단계 S200에서 라벨링 된 학습 데이터로 학습하여, 이미지 내에서 복수의 개별 가축을 검출하는 다중 가축 검출 모델을 생성할 수 있다.

단계 S320에서는, 다중 가축 검출 모델에서 검출된 가축 개체를 가축 영상의 프레임 진행에 따라 추적하는 인공지능 기반의 다중 가축 움직임 추적 모델을 학습할 수 있다. 즉, 단계 S310에서 다중 가축 검출 모델의 학습이 완료되면, 동영상에서 객체를 추적하는 인공지능 기반의 객체 추적(Object tracking) 모델을 학습하여, 검출된 개별 가축 개체의 이동을 추적하는 다중 가축 움직임 추적 모델을 생성할 수 있다.

여기서, 단계 S310 및 단계 S320의 다중 가축 검출 모델과 다중 가축 움직임 추적 모델은, 가축 영상에서 적어도 하나 이상의 가축을 검출하고 검출한 가축 개체의 움직임을 각각 추적하도록, 통합하여 학습할 수 있다.

단계 S400에서는, 행동 라벨링부(400)가, 단계 S300에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링하여 분류하며, 분류 결과에 가축 행동의 라벨을 설정할 수 있다.

도 5는 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S400의 세부적인 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법의 단계 S400은, 가축 개체별로 추적한 경로를 좌표로 변환해 저장하는 단계(S410), 가축 개체별 경로에서 움직임의 특징을 추출하는 단계(S420), 클러스터링 기법으로 분류하는 단계(S430) 및 가축 행동을 나타내는 복수의 그룹을 설정하고 그룹별로 가축 행동의 라벨을 설정하는 단계(S440)를 포함하여 구현될 수 있으며, 가축 행동에 대응되는 건강상태를 설정하는 단계(S450)를 더 포함하여 구현될 수 있다.

단계 S410에서는, 움직임 변환 모듈(410)이, 단계 S300에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 가축 영상으로부터 가축 개체의 움직임을 추적하고, 가축 개체별로 추적한 경로를 좌표로 변환해 저장할 수 있다.

도 6은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S410을 설명하기 위해 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법의 단계 S410에서는, 가축 영상에서 복수의 가축 개체를 검출 및 추적하고, 각각의 가축 개체별로 추적한 경로를 x-y 평면에 (x, y) 좌표로 변환해 저장할 수 있다. 이때, 30분, 1시간 등 미리 정해진 시간 길이로 경로를 변환해 저장할 수 있다.

단계 S420에서는, 특징 추출 모듈(420)이, 좌표로 변환된 가축 개체별 경로에서 움직임의 속력 및 방향의 특징을 추출할 수 있다. 즉, 단계 S420에서는 단계 S410에서 변환해 저장한 데이터로부터 특징을 추출하는데, 경로의 속력과 방향을 특징으로 추출할 수 있다.

도 7은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S420을 설명하기 위해 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법의 단계 S420에서는, (x, y) 좌표로 변환된 가축 개체별 움직임 경로에서, 속력과 방향을 특징으로 각각 추출할 수 있다.

단계 S430에서는, 분류 모듈(430)이, 추출한 속력 및 방향을 각각 클러스터링 기법으로 분류할 수 있다. 보다 구체적으로, 단계 S430에서는, K-평균 클러스터링(K-means clustering), GMM(Gaussian Mixture Model), DBSCAN(Density Based Spatial Clustering of Applications with Noise) 등 모델을 활용하여 좌표, 속력, 방향 등의 정보를 분석하여 가축의 움직임을 범주화할 수 있다.

도 8은 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법에서, 단계 S430을 설명하기 위해 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 가축 이상행동 패턴 추출 방법의 단계 S430에서는, 속력을 특징으로 하여 적어도 둘 이상의 군집으로 분류하고, 방향을 특징으로 하여 적어도 둘 이상의 군집으로 각각 분류할 수 있다. 여기서, 군집 개수는 미리 설정될 수 있으며, 사용하는 클러스터링 기법에 따라 분류 과정에서 군집 개수가 결정될 수도 있다.

단계 S440에서는, 라벨 설정 모듈(440)이, 단계 S430의 분류 결과에 기초하여, 속력에 의한 분류와 방향에 의한 분류를 조합해 가축 행동을 나타내는 복수의 그룹을 설정하고, 그룹별로 가축 행동의 라벨을 설정할 수 있다. 보다 구체적으로, 단계 S440에서는, 속력에 의한 분류와 방향에 의한 분류에 각각 라벨링을 하고, 속력과 방향 분류를 조합해서 다시 라벨링을 할 수 있다. 이때, 각 그룹에 대한 라벨링은 수의사, 가축 사양 전문가, 동물 행동 분석가 등의 전문가에 의해 수행될 수 있으며, 라벨 설정 모듈(440)은 전문가에 의해 수신한 라벨 정보를 사용해 각 그룹에 라벨을 설정할 수 있다.

예를 들어, 도 8에 도시된 바와 같이, 속력과 방향에 따라 각각 3개의 군집(그룹)으로 분류된 예에서, 속력에 의한 1번 군집(그룹)은 “매우 느리게 움직임”, 2번 군집(그룹)은 “불규칙한 속력으로 움직임” 등으로 라벨링 설정될 수 있고, 방향에 의한 1번 군집(그룹)은 “방향을 지속적으로 바꿔가며 움직임”, 2번 군집(그룹)은 “한 방향으로 꾸준히 움직임” 등으로 라벨링 설정될 수 있다.

그 다음, 속력 분류에서 어떤 모습을 보이는지와, 방향 분류에서 어떤 모습을 보이는지를 조합해 가축의 행동을 라벨링 할 수 있다. 도 8에서는 속력과 방향에 대해 각각 3개의 군집이 있으므로 각각을 조합해 총 9개의 그룹이 구성되며, 9개의 그룹 각각의 속력과 방향에 따른 움직임 패턴에 따라 가축 행동 라벨링을 할 수 있다. 예를 들어, 속력에 의한 1번 군집과 방향에 의한 2번 군집을 조합하면, 매우 느리게 움직이며 한 방향으로 꾸준히 움직이므로 “천천히 걷고 있음”으로 라벨링할 수 있다. 또한, 속력에 의한 2번 군집과 방향에 의한 1번 군집을 조합하면, 불규칙한 속력으로 예각을 유지하며 움직이므로 “절뚝거리며 작은 원으로 돌고 있음”으로 라벨링 할 수 있다.

단계 S450에서는, 라벨 설정 모듈(440)이, 그룹별로 라벨링 한 가축 행동에 대응되는 건강상태를 설정할 수 있다. 건강상태는 단계 S440에서 설정된 라벨에 대해 수의사, 가축 사양 전문가, 동물 행동 분석가 등의 전문가로부터 예상되는 건강상태를 입력받아 설정할 수 있다. 예를 들어, “절뚝거리며 작은 원으로 돌고 있음”으로 라벨이 설정된 그룹은, “이상행동” 또는 “관찰 필요” 등으로 건강상태를 설정할 수 있다.

단계 S500에서는, 모델 생성부(500)가, 단계 S400에서 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습할 수 있다. 보다 구체적으로, 단계 S500에서는, 단계 S400에서 라벨이 설정된 속력 및 방향의 특징을 학습 데이터셋으로 구성하고, 구성한 학습 데이터셋을 지도 학습(Supervised learning)하여 인공지능 모델을 생성할 수 있다. 이때, 인공지능 모델은 입력이 되는 속력 및 방향 특징으로부터 단계 S400에서 설정한 라벨을 출력하도록, 속력 및 방향 특징과 라벨의 상관관계를 이해하도록 학습될 수 있다.

단계 S600에서는, 이상행동 검출부(600)가, 단계 S500에서 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출할 수 있다. 보다 구체적으로, 단계 S600에서는, 단계 S300에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해, CCTV 카메라의 가축 영상에서 가축 개체를 검출 및 추적하여 가축 개체 움직임의 속력 및 방향을 특징으로 추출하고, 단계 S500에서 학습된 인공지능 모델에 추출한 속력 및 방향을 입력해 가축 행동의 라벨을 출력으로 얻을 수 있다. 출력된 가축 행동의 라벨은 “천천히 걷고 있음”, “절뚝거리며 작은 원으로 돌고 있음” 등일 수 있으며, 실시예에 따라서는 “정상”, “이상행동”, “관찰 필요” 등일 수도 있다. 따라서 단계 S600의 인공지능 모델 예측 결과에 따라 가축의 이상행동 패턴을 파악할 수 있다.

전술한 바와 같이, 본 발명에서 제안하고 있는 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치에 따르면, 축사에 설치된 CCTV 카메라를 인공지능 기반으로 분석해 개별 가축의 이상행동 패턴을 추출함으로써, 가축 농장에서 사람 관리자가 개별 가축을 각각 관리하고 관찰할 수 없는 한계를 극복하고, 축사 내 개별 가축의 행동 패턴으로부터 각 가축의 질병 등을 예측하여, 축사 환경 개선, 급이 및 급수량 설정 등 개별 가축의 현재 상태에 최적화된 사양 관리를 할 수 있다.

한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

10: 가축 이상행동 패턴 추출 장치
100: 데이터 수집부
200: 가축 라벨링부
300: 데이터 학습부
400: 행동 라벨링부
410: 움직임 변환 모듈
420: 특징 추출 모듈
430: 분류 모듈
440: 라벨 설정 모듈
500: 모델 생성부
600: 이상행동 검출부
S100: 데이터 수집 단계
S200: 가축 라벨링 단계
S300: 데이터 학습 단계
S310: 다중 가축 검출 모델 학습 단계
S320: 다중 가축 움직임 추적 모델 학습 단계
S400: 행동 라벨링 단계
S410: 가축 개체별로 추적한 경로를 좌표로 변환해 저장하는 단계
S420: 가축 개체별 경로에서 움직임의 특징을 추출하는 단계
S430: 클러스터링 기법으로 분류하는 단계
S440: 가축 행동을 나타내는 복수의 그룹을 설정하고 그룹별로 가축 행동의 라벨을 설정하는 단계
S450: 가축 행동에 대응되는 건강상태를 설정하는 단계
S500: 모델 생성 단계
S600: 이상행동 검출 단계

Claims

컴퓨터에 의해 각 단계가 수행되는 인공지능 기반 가축 이상행동 패턴 추출 방법으로서,
(1) 축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집하는 데이터 수집 단계;
(2) 상기 단계 (1)에서 수집한 가축 영상을 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스로 표시해 가축 라벨링을 수행하는 가축 라벨링 단계;
(3) 상기 단계 (2)에서 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습하는 데이터 학습 단계;
(4) 상기 단계 (3)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링하여 분류하며, 분류 결과에 가축 행동의 라벨을 설정하는 행동 라벨링 단계;
(5) 상기 단계 (4)에서 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 상기 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습하되, 상기 인공지능 모델의 입력이 되는 속력 및 방향 특징으로부터 상기 단계 (4)에서 설정한 가축 행동의 라벨을 출력하도록, 속력 및 방향 특징과 라벨의 상관관계를 이해하도록 학습하는 모델 생성 단계; 및
(6) 상기 단계 (5)에서 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출하는 이상행동 검출 단계를 포함하며,
상기 단계 (1)에서는,
축사 천장 중앙에 수직으로 설치하여 가축의 등이 보이는 탑 뷰(top-view) 및 축사 벽 중간에 수평으로 설치하여 가축의 옆면이 보이는 사이드 뷰(side-view)의 가축 영상을 수집하며, 축사를 기울여서 관측하는 틸티드 뷰(Tilted-View)의 가축 영상을 수집하지 않으며,
상기 단계 (4)는,
(4-1) 상기 단계 (3)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 가축 개체별로 추적한 경로를 좌표로 변환해 저장하는 단계;
(4-2) 상기 좌표로 변환된 가축 개체별 경로에서 움직임의 속력 및 방향의 특징을 추출하는 단계;
(4-3) 상기 추출한 속력 및 방향을 각각 클러스터링 기법으로 분류하는 단계;
(4-4) 상기 단계 (4-3)의 분류 결과에 기초하여, 속력에 의한 분류와 방향에 의한 분류를 조합해 가축 행동을 나타내는 복수의 그룹을 설정하고, 그룹별로 가축 행동의 라벨을 설정하는 단계; 및
(4-5) 상기 그룹별로 라벨링 한 가축 행동에 대응되는 건강상태를 설정하는 단계를 포함하며,
상기 단계 (4-3)에서는,
K-평균 클러스터링(K-means clustering)을 사용해 속력 및 방향에 따른 가축 개체별 움직임을 각각 분류하되, 속력을 특징으로 하여 적어도 둘 이상의 군집으로 분류하고, 방향을 특징으로 하여 적어도 둘 이상의 군집으로 분류하며,
상기 단계 (4-4)에서는,
속력에 의한 상기 적어도 둘 이상의 분류와 방향에 의한 적어도 둘 이상의 분류에 각각 라벨링을 하고, 속력과 방향 분류를 조합해서 적어도 넷 이상의 분류에 가축 행동을 라벨링하며,
상기 단계 (4-5)에서는,
상기 단계 (4-4)에서 라벨링 한 가축 행동에 대해 수의사, 가축 사양 전문가 및 동물 행동 분석가를 포함하는 전문가로부터 예상되는 건강상태를 입력받아 설정하는 것을 특징으로 하는, 인공지능 기반 가축 이상행동 패턴 추출 방법.
삭제
제1항에 있어서, 상기 단계 (3)은,
(3-1) 상기 단계 (2)에서 라벨링 된 이미지를 학습 데이터로 하여, 이미지에서 복수의 가축 개체를 검출하는 인공지능 기반의 다중 가축 검출 모델을 학습하는 단계; 및
(3-2) 상기 다중 가축 검출 모델에서 검출된 가축 개체를 상기 가축 영상의 프레임 진행에 따라 추적하는 인공지능 기반의 다중 가축 움직임 추적 모델을 학습하는 단계를 포함하는 것을 특징으로 하는, 인공지능 기반 가축 이상행동 패턴 추출 방법.
삭제
삭제
삭제
인공지능 기반 가축 이상행동 패턴 추출 장치(10)로서,
축사에 설치된 CCTV 카메라로부터 가축의 움직임이 포함된 가축 영상을 수집하는 데이터 수집부(100);
상기 데이터 수집부(100)에서 수집한 가축 영상을 프레임 단위로 분할해 복수의 이미지로 변환하며, 이미지에서 가축 위치를 바운딩 박스로 표시해 가축 라벨링을 수행하는 가축 라벨링부(200);
상기 가축 라벨링부(200)에서 라벨링 된 이미지를 학습 데이터로 하여 인공지능 기반의 가축 검출 모델 및 움직임 추적 모델을 학습하는 데이터 학습부(300);
상기 데이터 학습부(300)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 추적한 가축 개체 움직임의 속력 및 방향에 따라 각각 클러스터링 기법으로 분류하며, 분류 결과에 가축 행동의 라벨을 설정하는 행동 라벨링부(400);
상기 행동 라벨링부(400)에서 라벨링 한 데이터를 학습 데이터셋으로 구성하고, 상기 학습 데이터셋을 사용해 이상행동 패턴 추출을 위한 인공지능 모델을 학습하되, 상기 인공지능 모델의 입력이 되는 속력 및 방향 특징으로부터 상기 행동 라벨링부(400)에서 설정한 가축 행동의 라벨을 출력하도록, 속력 및 방향 특징과 라벨의 상관관계를 이해하도록 학습하는 모델 생성부(500); 및
상기 모델 생성부(500)에서 학습된 인공지능 모델을 사용해, 축사에 설치된 CCTV 카메라의 가축 영상으로부터 가축의 이상행동 패턴을 검출하는 이상행동 검출부(600)를 포함하며,
상기 데이터 수집부(100)는,
축사 천장 중앙에 수직으로 설치하여 가축의 등이 보이는 탑 뷰(top-view) 및 축사 벽 중간에 수평으로 설치하여 가축의 옆면이 보이는 사이드 뷰(side-view)의 가축 영상을 수집하며, 축사를 기울여서 관측하는 틸티드 뷰(Tilted-View)의 가축 영상을 수집하지 않으며,
상기 행동 라벨링부(400)는,
상기 데이터 학습부(300)에서 학습된 가축 검출 모델 및 움직임 추적 모델을 사용해 상기 가축 영상으로부터 가축 개체의 움직임을 추적하고, 가축 개체별로 추적한 경로를 좌표로 변환해 저장하는 움직임 변환 모듈(410);
상기 좌표로 변환된 가축 개체별 경로에서 움직임의 속력 및 방향의 특징을 추출하는 특징 추출 모듈(420);
상기 추출한 속력 및 방향을 각각 클러스터링 기법으로 분류하는 분류 모듈(430);
상기 분류 모듈(430)의 분류 결과에 기초하여, 속력에 의한 분류와 방향에 의한 분류를 조합해 가축 행동을 나타내는 복수의 그룹을 설정하고, 그룹별로 가축 행동의 라벨을 설정하며, 상기 그룹별로 라벨링 한 가축 행동에 대응되는 건강상태를 설정하는 라벨 설정 모듈(440)을 포함하며,
상기 분류 모듈(430)은,
K-평균 클러스터링(K-means clustering)을 사용해 속력 및 방향에 따른 가축 개체별 움직임을 각각 분류하되, 속력을 특징으로 하여 적어도 둘 이상의 군집으로 분류하고, 방향을 특징으로 하여 적어도 둘 이상의 군집으로 분류하며,
상기 라벨 설정 모듈(440)은,
속력에 의한 상기 적어도 둘 이상의 분류와 방향에 의한 적어도 둘 이상의 분류에 각각 라벨링을 하고, 속력과 방향 분류를 조합해서 적어도 넷 이상의 분류에 가축 행동을 라벨링하며, 상기 라벨링한 가축 행동에 대해 수의사, 가축 사양 전문가 및 동물 행동 분석가를 포함하는 전문가로부터 예상되는 건강상태를 입력받아 설정하는 것을 특징으로 하는, 인공지능 기반 가축 이상행동 패턴 추출 장치(10).
삭제