KR102424901B1 - 객체 인식 알고리즘에 기초한 소의 발정 발현 판정방법 - Google Patents

Abstract

본 발명은, 소 사육 목장에 설치된 카메라에 의해 소의 행동 영상이 촬영되는 촬영단계; 상기 소의 행동 영상을 프레임 단위로 탐색하는 탐색단계; 및 딥 러닝을 통한 객체인식 알고리즘에 기반하여 승가행위를 탐지하여 소의 발정 발현을 판별하는 판정단계;를 포함하는, 객체 인식 알고리즘에 기초한 소의 발정 발현 판정방법을 제공한다.

Description

객체 인식 알고리즘에 기초한 소의 발정 발현 판정방법{method for detecting estrus of cattle based on object detection algorithm}

본 발명은 영상 입력을 기반으로 한 소의 행동 인식을 기초로 소의 발정 상태를 판정하는 기술이며, 구체적으로는 딥 러닝 모델을 기반으로 한 객체 인식 알고리즘을 사용하여 소의 특이 행동 검출 및 발정을 판정하는 기술에 대한 것이다.

소의 특이행동 및 이상징후 검출은 축산업에 종사하는 관리 자에게 중요한 요소로 존재해왔다. 그중에서도 번식 관리와 연관되는 특이행동인 소의 발정과 이를 판별하는 것은 축산 농가에 있어 큰 관심거리이다. 발정이 판별된 소는 축산 농 가 관리자에 의해 인공적인 수정 등 조치가 취해진다. 하지만 발정 판별이 적시에 이뤄지지 못한 경우에는 번식 관리의 실패로 이어진다.

암소가 임신하지 않은 공태 기간이 길어지며 장기적으로 소의 개체 수가 감소하게 된다. 더욱이, 소에게서 얻을 수 있는 우유와 같은 각종 부산물의 생산량도 함께 감소하게 된다. 이처럼 소의 발정 판별은 축산 농가의 생산성과 이익에 직접적인 영향을 미친다.

통계청에 따르면, 대형 축산 농가는 점점 늘어나는 반면, 축산 농가의 종사자 수는 줄어들고 고령 종사자 비중은 늘어나고 있다. 축산 농가 대형화와 종사자 수 감소 및 고령화는 1명의 축산농가가 관리해야 하는 소의 두수를 급격하게 증가시켰으며 과거와 같이 관리자의 직접적인 육안 관찰을 통한 소의 발정 판별은 현실적으로 어려워졌다.

이러한 상황은 한국뿐만 아니라 전 세계적으로 진행되고 있는 문제점이며 이를 해결하기 위해 스마트팜과 같은 농축산업과 IT기술이 합쳐진 융합 분야의 연구가 활발하게 진행되었다. 축사의 온도 및 습도 조정과 같은 기본적인 환경 관리에서부터 앞서 언급한 소의 발정을 판별할 수 있는 여러 기술까지 연구가 진행되었다.

하지만 발정을 판별하는 대다수의 연구는 소의 목이나 다리 부위에 부착하는 센서를 기반으로 이루어졌다. 센서는 가속도 센서나 자이로 센서로 구성되고 소의 운동량을 측정하여 발정이 일어나는 경우 관리자에게 알려주는 방식으로 작동한다. 센서 형태의 기기는 부착식으로 소에게 스트레스를 유발할 가능성이 있으며 센서의 구매 주기적인 배터리의 교체 등 유지 보수를 위한 추가적인 비용 문제를 가진다.

본 발명은 소에게 스트레스를 유발하지 않으면서 소의 행동 특이 동향을 감지하여 소의 발정을 판별하는 기술을 제공하는 것이며, 구체적으로는, 영상 입력을 기반으로 한 소의 발정을 판별하기 위해 행동 인식을 위한 알고리즘을 사용하며, 딥 러닝 모델을 기반으로 한 객체 인식 알고리즘을 사용하여 소의 특이행동을 검출하여 발정 여부를 판정하는 기법을 제공하는 것을 목적으로 한다.

본 발명은, 소 사육 목장에 설치된 카메라에 의해 소의 행동 영상이 촬영되는 촬영단계; 상기 소의 행동 영상을 프레임 단위로 탐색하는 탐색단계; 및 딥 러닝을 통한 객체인식 알고리즘에 기반하여 승가행위를 탐지하여 소의 발정 발현을 판별하는 판정단계;를 포함하는, 객체 인식 알고리즘에 기초한 소의 발정 발현 판정방법을 제공한다.

상기 촬영은 주간 영상데이터를 획득 및 IR기능을 사용하여 야간 영상데이터를 획득하는 과정이며, 촬영단계에 선행하여 카메라의 촬영영상으로 소의 승가 행위 데이터셋을 제작하는 데이터셋 확보단계; 및 소의 승가 행위에 대하여 딥 러닝 모델에 기반하여 학습하는 학습단계;가 이루어진다.

상기 데이터셋 확보단계는, 영상데이터 획득1단계; 승가 행위에 대한 영상을 분류하는 분류2단계; 상기 영상데이터에서 10프레임 간격으로 이미지를 추출하는 추출3단계; 및 승가 행위 발생 지역에 대해 경계박스를 지정하는 라벨링4단계;를 포함한다.

상기 승가 행위의 시작점과 종료점은, 소의 앞발이 지면에서 떨어진 후 프레임 20프레임을 시작점으로 하고, 올라탄 소의 앞발이 지면으로 떨어지기 전 20프레임을 종료점으로 설정한다.

상기 딥 러닝을 통한 객체인식 알고리즘은, 분류와 위치 지정이 동시에 수행되며 단일 또는 다수의 객체를 검출하며, 객체 인식 알고리즘은 YOLO 알고리즘을 사용하며, 상기 YOLO 알고리즘은 입력단에서 이미지를 S x S개의 그리드(Grid)로 분할하고, 각각의 그리드는 경계 박스에 포함된 그리드가 객체에 포함될 확률과 어떤 범주와의 연관성을 가지는지에 대한 분류 예측 가능성이 계산되고, 그 결과로 가장 높은 객체 인식 정확성을 가지는 경계 박스를 표시한다.

본 발명은, 상기 구성에 의해, 영상 입력을 기반으로 한 소의 발정 판별 방법으로는 행동 인식을 위한 알고리즘을 사용하며, 딥 러닝 모델을 기반으로 한 객체 인식 알고리즘을 사용하여 소의 특이행동 검출 및 발정 판별이 가능한 효과가 발휘되면, 특히 객체 인식 알고리즘을 통한 행동 인식은 인접 프레임 간의 연관 관계에 상관없이 단일 프레임 이미지 내에서 행동 검출이 이루어지면서 상대적으로 낮은 연산량을 통한 빠른 처리가 가능한 효과가 발휘된다.

도 1은 본 발명에 따른 연구를 위해 설치한 우사 구조 및 카메라 배치도를 보여주며,
도 2는 본 발명에 따른 데이터 셋 제작과정을 보여주는 흐름도이며,
도 3은 본 발명에 따른 소의 승가 행위 시작점과 종료점을 판단을 보여주는 모습이며,
도 4는 본 발명에 따른 딥 러닝 모델 기반의 이미지 분석을 보여주며,
도 5는 Darknet-53 네트워크 구조이며,
도 6은 본 발명에 따른 딥 러닝 모델에서의 학습 횟수에 따른 손실률을 보여주는 그래프이며,
도 7은 본 발명에서의 소의 승가 행위 행동 인식 구조도이다.

본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되는 이하의 상세한 설명과 바람직한 실시예로부터 더욱 명백해질 것이다. 또한, 사용된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들이며 이는 사용자 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서의 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명에 따른 연구를 위해 설치한 우사 구조 및 카메라 배치도를 보여주며, 도 2는 본 발명에 따른 데이터 셋 제작과정을 보여주는 흐름도이며, 도 3은 본 발명에 따른 소의 승가 행위 시작점과 종료점을 판단을 보여주는 모습이며, 도 4는 본 발명에 따른 딥 러닝 모델 기반의 이미지 분석을 보여주며, 도 5는 Darknet-53 네트워크 구조이며, 도 6은 본 발명에 따른 딥 러닝 모델에서의 학습 횟수에 따른 손실률을 보여주는 그래프이며, 도 7은 본 발명에서의 소의 승가 행위 행동 인식 구조도이다.

소의 승가 행위라 함은, 소는 발정하였을 때 다양한 특이행동을 표출하는데 특이행동 중 하나로 한 마리의 소가 다른 소의 등 위로 올라타는 행위를 하게 되는데, 이를 승가 행위라고 한다. 본 발명은 소가 나타내는 특이행동 중 하나인 승가 행위에 대해 행동 인식을 진행 하며 이를 바탕으로 소의 발정을 판별한다.

본 발명에서의 학습 및 성능 검증에 사용될 소 승가 행위 데이터 획득을 위해 소 사육 목장에 카메라를 설치하였다 카메라는 4.1~16.4mm 초점거리를 가지며 최대 1920 x 1080의 해상도 설정이 가능한 네트워크 IP카메라가 사용되었다.

목장의 4m x 8m 크기의 우사 2개가 연구에 사용되었으며 도 1과 같이 우사 모서리 기둥에 3m 높이로 4대의 카메라를 설치하였다. 카메라는 약 45도의 각도로 두 우사의 중심점을 바라보게 설정되었다. 연구는 8마리의 소에 대하여 관찰이 진행되었고 각각의 우사는 적령기의 수소 2마리와 암소 2마리가 배치되었다.

영상 데이터의 획득은 총 94일간 진행되었으며 배치된 4대의 카메라를 통해 총 9,024시간의 영상 데이터를 확보하였다. 영상 데이터는 주간 영상 데이터와 우사 주변의 빛이 적어지는 시간대에 카메라의 IR기능이 작동된 야간 영상 데이터로 나뉜다.

[승가 행위 데이터셋 제작]

전체적인 승가 행위 데이터셋 제작 순서는 도 2와 같이 진행하였다. 획득한 영상 데이터는 소의 승가 행위가 존재하는 부분에 대해 분류가 진행되었다. 9,024시간의 영상 데이터를 분석하여 총 3,757회의 승가 행위를 분류하였으며 3,757회의 승가 행위는 4대의 카메라를 통해 평균적으로 약 3초의 시간을 가지는 15,028개의 승가 행위 영상 데이터 형태로 확보되었다. 확보된 15,028개의 영상 데이터 중 성능 검증에 사용될 5,028개의 영상 데이터를 제외한 10,000개의 영상 데이터는 딥 러닝 모델의 학습을 위해 10프레임 간격으로 추출이 진행되었다. 추출된 프레임 단위 이미지 데이터는 영상 데이터와 같은 1280 x 720의 해상도를 가지며 총 102,400장의 학습을 위한 소의 승가 행위 프레임 이미지 데이터가 획득되었다.

마지막으로 프레임 단위 이미지 데이터는 승가 행위가 발생한 지역에 대해 경계 박스(Bounding Box)를 표시하는 라벨링(Labeling) 작업이 이루어졌다. 승가 행위의 시작점 및 종료점은 도 3과 같이 소의 앞발이 지면에서 떨어진 후 프레임 20프레임(0.66초)을 시작점으로 올라탄 소의 앞발이 지면으로 떨어지기 전 20프레임을 종료점으로 설정하였다.

[객체 인식 알고리즘을 통한 행동 인식]

딥 러닝 모델을 기반으로 한 이미지 분석은 분류(Classification), 위치 검출(Localization), 객체 인식(Object Detection)으로 나눠진다. 분류는 입력으로 주어진 이미지 안의 단일 객체의 종류를 구분하는 행위이다. 위치 검출은 주어진 이미지 안의 객체가 어느 위치에 있는지 위치 정보까지 출력해 주는 것을 나타내며 분류와 마찬가지로 단일 객체를 대상으로 한다. 객체 인식의 경우 분류와 위치 지정이 동시에 수행되며 단일 및 다수의 객체를 검출한다. 소의 승가 행위 행동 인식은 딥 러닝 모델을 기반으로 한 객체 인식 알고리즘을 사용하여 진행되었다.

객체 인식 알고리즘을 통한 행동 인식은 행동 발생 지점에서 인접 프레임 간의 연관 관계를 확인할 필요 없이 단일 프레임 내에서 행동 인식이 이루어진다. 이로 인해 상대적으로 낮은 연산량을 가지며 빠른 처리 속도를 기반으로 한 실시간 영상처리에서 강점을 가진다. 소의 승가 행위 탐지를 위한 객체 인식 알고리즘의 종류로는 YOLOv3(You Only Look Once)가 사용되었다. CNN(Convolutional Neural Network)를 기반으로 하는 YOLO 알고리즘은 이미지 내의 경계 박스와 분류 예측 가능성(Class Probability)을 하나의 문제로 간주, 이미지를 한 번만 바라보는 방법으로 객체의 종류와 위치를 추측한다.

YOLO 알고리즘은 입력단에서 이미지를 S x S개의 그리드(Grid)로 분할을 진행한다. 각각의 그리드는 경계 박스에 포함된 그리드가 객체에 포함될 확률과 어떤 범주와의 연관성을 가지는지에 대한 분류 예측 가능성이 계산된다. 그 결과로 가장 높은 객체 인식 정확성을 가지는 경계 박스를 표시하며 물체 중심의 위치 좌표(x, y), 높이(w), 너비(h) 및 물체의 종류에 관한 확신도(Confidence)를 검출한다.

YOLOv3 알고리즘은 제안된 연구에서 목표로 하는 승가 행위의 실시간 탐지에 적합한 빠른 처리 속도와 준수한 객체 인식 성능을 가지고 있다. 416 x 416의 입력 이미지 크기를 가지는 YOLOv3-416의 경우 동일한 환경에서 다른 객체 인식 알고리즘인 RetinaNet50-500, RetinaNet101-500, SSD-513(Single Shot Detection)과 비교했을 때 2배 이상 빠른 객체 추론 속도를 보여준다.

[딥 러닝 모델 기반 학습]

소의 승가 행위 행동 인식을 위한 학습은 YOLOv3 모듈의 백본망(Backbone Network)을 통해 이루어졌다. YOLOv3에서 사용된 Darknet-53은 다른 객체 인식 알고리즘에서 주로 사용되는 백본망인 ResNet-101 및 ResNet-152와 비교하였을 때 1.5배 이상의 높은 처리 속도를 보여준다. Darknet-53은 총 53개의 Convolution 계층으로 구성되어 있으며 전체적인 구조는 도 5와 같다.

학습은 앞서 제작된 102,400개의 승가 행위 프레임 이미지 데이터를 통해 진행되었다. 입력 이미지 크기는 512 x 512로 설정되었으며 결과의 정확성에 영향을 미치는 학습률(Learning Rate)은 0.001로 설정하였다. 과적합 상태로 학습 데이터에 대 해서는 높은 정확도를 보이지만 성능 검증을 위한 실제 적용시에는 정확도가 떨어지는 현상인 오버피팅(Overfitting)을 방지하기 위해 큰 가중치에 주는 페널티인 디케이(Decay) 값은 0.0005로 설정하였다. 2,048 Batch Size로 11,000번의 Iteration이 이루어졌으며, Epoch로는 220번 진행되었다. 딥 러 닝 모델의 학습에 따른 손실 함수 그래프는 도 6과 같다.

본 발명에서 제안된 객체 인식 알고리즘을 통한 소의 승가 행위 행동 인식 구조도는 도 7과 같다. 성능 분석은 51,200개의 프레임 단위 이미지 데이터를 사용하여 이루어졌으며, 51,200개의 데이터는 일반 데이터 25,600개와 승가 행위 데이터 25,600개로 구성되었다. 일반 데이터는 우사에서 획득한 전체 영상 데이터에 대하여 프레임 단위의 추출을 진행한 후 승가 행위가 존재하는 프레임 데이터를 제거한 25,600개의 프레임 단위 이미지 데이터로 구성되었다. 승가 행위 데이터는 앞서 획득한 15,028개의 승가 행위 영상 데이터 중 학습에 사용되지 않은 5,028개의 영상 데이터에서 추출한 25,600개의 프레임 단위 이미지 데이터로 구성되었다.

성능 지표로는 승가 행위 데이터에서 승가 행위를 제대로 판별한 경우인 TP(True Positive), 일반 데이터를 승가 행위로 판별하지 않은 경우인 TN(True Negative), 일반 데이터를 승가 행위로 판별한 경우인 FP(False Positive), 승가 행위 데이터에서 승가 행위를 제대로 판별하지 못한 경우인 FN(False Negative), Precision, Accuracy, Recall, F1-score를 사용하여 표기하였다. 객체 인식 알고리즘을 통한 소의 승가 행위 행동 인식 성능 분석은 아래표와 같다.

Precision의 값은 약 97%의 수치를 보여주었다. YOLO 알고리즘은 이미지 전체를 한 번에 바라보는 특성상 범주에 대한 맥락적 이해도가 높다. 이로 인해 낮은 background error(FP)를 가지며 오탐에 대해 강인한 모습을 보인 것으로 판단된다.

직관적으로 모델의 성능을 나타낼 수 있는 지표인 Accuracy 값은 약 96%의 수치를 나타냈으며, Precision과 trade-off 관계를 갖는 Recall 값도 약 95%로 준수한 성능을 보여주었다.

축산 농가에서 소의 발정 판별은 번식 관리와 연관되어 소의 개체 수에 직접적인 영향을 미치고 축산 농가의 이익과 직결된다. 하지만 다수의 개체를 사육하는 대형 축산 농가는 점점 증가하고 있으며 반면에 축산 농가 종사자 수는 감소하여, 1명의 종사자가 다수의 개체를 관리해야 하는 상황 속에서 소의 발정을 판별하는 것은 어려운 문제이다. 본 발명에서는 이러한 문제점의 해결을 위해 객체 인식 알 고리즘을 소의 승가 행위 행동 인식에 적용하여 발정을 판별 할 수 있게 하였다. 객체 인식 알고리즘을 행동 인식에 적용하여 해결함으로써 기존의 행동 인식 알고리즘과 같이 인접프레임 간의 연관 관계를 확인하기 위해 많은 계산량을 처리 할 필요가 없으며 단일 프레임 내에서 행동 인식이 가능하다. 객체 인식 알고리즘으로는 성능이 뛰어나고 빠른 처리 속도로 실시간 환경에서 강점을 가지는 알고리즘을 사용 하였다.

목장 우사에서 획득한 자체적인 영상 데이터에서 승가 행위를 분류하여 프레임 단위 이미지의 데이터 셋을 제작하였으며 YOLO알고리즘의 딥러닝 모델 기반으로 학습을 진행하였다. 학습을 통해 제작된 모듈을 기반으로 소의 승가 행위 행동 인식이 이루어졌으며 연구된 승가 행위 행동 인식 구조는 51,200개의 성능 검증을 위한 데이터에 대해 약 96% 의 Accuracy를 보여주었다.

본 발명에 따른 소의 발정 발현 판정방법을 보면, 소 사육 목장에 설치된 카메라에 의해 소의 행동 영상이 촬영되는 촬영단계와 소의 행동 영상을 프레임 단위로 탐색하는 탐색단계 및 딥 러닝을 통한 객체인식 알고리즘에 기반하여 승가행위를 탐지하여 소의 발정 발현을 판별하는 판정단계로 이루어진다.

상기 촬영은 주간 영상데이터를 획득 및 IR기능을 사용하여 야간 영상데이터를 획득하는 과정이며, 촬영단계에 선행하여 카메라의 촬영영상으로 소의 승가 행위 데이터셋을 제작하는 데이터셋 확보단계 및 소의 승가 행위에 대하여 딥 러닝 모델에 기반하여 학습하는 학습단계가 이루어진다.

상기 데이터셋 확보단계는, 영상데이터 획득1단계, 승가 행위에 대한 영상을 분류하는 분류2단계, 상기 영상데이터에서 10프레임 간격으로 이미지를 추출하는 추출3단계 및 승가 행위 발생 지역에 대해 경계박스를 지정하는 라벨링4단계를 포함한다. 상기 승가 행위의 시작점과 종료점은, 소의 앞발이 지면에서 떨어진 후 프레임 20프레임을 시작점으로 하고, 올라탄 소의 앞발이 지면으로 떨어지기 전 20프레임을 종료점으로 설정한다.

상기 딥 러닝을 통한 객체인식 알고리즘은, 분류와 위치 지정이 동시에 수행되며 단일 또는 다수의 객체를 검출하며, 객체 인식 알고리즘은 YOLO 알고리즘을 사용하며, 상기 YOLO 알고리즘은 입력단에서 이미지를 S x S개의 그리드(Grid)로 분할하고, 각각의 그리드는 경계 박스에 포함된 그리드가 객체에 포함될 확률과 어떤 범주와의 연관성을 가지는지에 대한 분류 예측 가능성이 계산되고, 그 결과로 가장 높은 객체 인식 정확성을 가지는 경계 박스를 표시한다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (8)

1. 영상데이터 획득1단계와, 승가 행위에 대한 영상을 분류하는 분류2단계와, 상기 영상데이터에서 10프레임 간격으로 이미지를 추출하는 추출3단계와, 승가 행위 발생 지역에 대해 경계박스를 지정하는 라벨링4단계를 통해 기 확보된 소의 승가 행위 데이터셋과 딥러닝을 통한 객체인식 알고리즘에 기반하여 승가행위를 탐지하여 소의 발정 발현을 판정하는 시스템에 의해,
   딥 러닝 모델에 기반하여 소의 승가행위가 학습되는 학습단계; 소 사육 목장 모서리 기둥에서 45도 각도로 설치된 4대의 카메라에 의해 소의 행동 영상이 촬영되는 촬영단계; 상기 소의 행동 영상이 프레임 단위로 탐색되는 탐색단계; 및 상기 객체인식 알고리즘에 기반하여 승가행위 탐지 및 발정 발현 여부가 판정되는 판정단계;를 포함하고,
   상기 승가 행위의 시작점과 종료점은, 소의 앞발이 지면에서 떨어진 후 20프레임을 시작점으로 하고, 올라탄 소의 앞발이 지면으로 떨어지기 전 20프레임을 종료점으로 설정하고,
   상기 객체 인식 알고리즘은 YOLO 알고리즘을 사용하고,
   상기 YOLO 알고리즘은 입력단에서 이미지를 S x S개의 그리드(Grid)로 분할하고, 각각의 그리드는 경계 박스에 포함된 그리드가 객체에 포함될 확률과 어떤 범주와의 연관성을 가지는지에 대한 분류 예측 가능성이 계산되고, 그 결과로 가장 높은 객체 인식 정확성을 가지는 경계 박스를 표시하는 것을 특징으로 하는 객체 인식 알고리즘에 기초한 소의 발정 발현 판정방법.
2. 제1항에 있어서, 상기 촬영단계는,
   주간 영상데이터를 획득하는 과정과 IR기능을 사용하여 야간 영상데이터를 획득하는 과정을 포함하는 것을 특징으로 하는 객체 인식 알고리즘에 기초한 소의 발정 발현 판정방법.
3. 삭제
4. 삭제
5. 삭제
6. 제1항에 있어서,
   상기 딥 러닝을 통한 객체인식 알고리즘은, 분류와 위치 지정이 동시에 수행되며 단일 또는 다수의 객체를 검출하는 것을 특징으로 하는 객체 인식 알고리즘에 기초한 소의 발정 발현 판정방법.
7. 삭제
8. 삭제

Images