KR20200123324A - 연결 요소 분석 기법과 yolo 알고리즘을 이용한 돼지 겹침 객체 분리 방법 - Google Patents

Abstract

본 발명은 돈사(豚舍)내에 설치된 CCTV 단말기로 촬영한 영상에서 서로 근접한 돼지를 분할하는 방법에 관한 것으로서, 보다 구체적으로는 적외선 기반 깊이 영상 취득이 가능한 모니터링 CCTV 단말기에서 획득한 깊이 영상을 이용하여 돈방 내의 근접 돼지를 분할하는 방법으로써, (1) 상기 모니터링 CCTV 단말기에서 돈방 내의 돼지를 촬영하여 적외선 영상과 이진화된 깊이 정보 영상을 획득하는 단계; (2) 상기 단계 (1)에서 획득한 돈사 내 적외선 영상과 깊이 정보 영상을 동시에 이용하여 돈방 바닥에 존재하는 오물과 돈사 내 조명에 의해 생기는 돼지의 그림자 등을 제거하는 단계; (3) 세 마리 이상의 근접 돼지들을 탐색하고, 근접 돼지들의 위치 정보를 토대로 적외선 영상의 근접 돼지에 적용하여 YOLO 학습 데이터 및 테스트 데이터 획득 단계; (4) (3)에서 YOLO 학습을 위해 획득한 데이터에 근접 돼지의 경계선 영역을 표시 후 해당 이미지를 수만 번 이상 학습하여 목표 신뢰도에 달성한 경계 상자 정보를 획득하기 위한 학습 모델을 생성하는 단계; (5) 상기 단계 (4)에서 생성된 YOLO 학습 모델을 이용하여 경계 상자 정보를 도출하고, 출력으로 나온 이미지의 경계 상자에 대해 평가를 하는 단계; (6) 경계 상자 내부의 픽셀에 대하여 Otsu 방법을 적용함으로써 특정 임계 값 이하인 픽셀이면 근접 돼지의 경계선 부분에 해당한다고 가정하고 이를 이용하여 근접 돼지를 최종적으로 분리하는 단계; (7) 마지막으로 모든 픽셀들을 레이블링하여 개별 돼지들의 ID가 유지됨을 확인하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 YOLO 기반 근접 돼지 경계선 탐색을 통한 근접 돼지 분리 방법에 따르면, 이미지 내에서 육안으로 파악할 수 없는 잠재 정보를 YOLO를 통해 분석할 수 있으며, 이에 종래 방법과 비교하여 정확하고, 보다 많은 수의 근접 돼지를 개별 돼지로 분리할 수 있다. 또한, 본 발명에 따르면, 이미지 내 실시간 객체 탐지가 가능해짐으로써 돈사 내 돼지 모니터링 정보를 실시간으로 정확하게 제공해 줄 수 있다.

Description

연결 요소 분석 기법과 YOLO 알고리즘을 이용한 돼지 겹침 객체 분리 방법{A METHOD FOR PIG SEGMENTATION USING CONNECTED COMPONENT ANALYSIS AND YOLO ALGORITHM}

본 발명은 돈사(豚舍)내에 설치된 CCTV 단말기로 촬영한 영상에서 서로 겹침이 발생한 돼지를 분리 하는 방법에 관한 것으로서, 보다 구체적으로는 딥러닝 기술인 YOLO 알고리즘과 영상 처리 분야의 연결 요소 분석 기법을 이용하여 세 마리 이상의 복잡한 돼지 겹침 객체를 분리하는 방법에 관한 것이다.

국내 농·축산업에도 4차 산업기술의 도입이 가속화되면서 스마트 팜(Smart farm)이 도입되고 있다. 스마트 팜은 사물 인터넷(Internet of Things, IoT) 기술을 이용하여 농작물과 가축 관리에 자동화가 이루어지는 농장으로, 스마트 팜이 구현된 농장은 농작물 재배 시설의 온도 및 습도 등을 분석하고 분석 결과에 따라 농장의 상태가 제어될 수 있다.

스마트 팜은 농작물뿐만 아니라 축산업에도 적용되고 있으며, 일반적으로 사물 인터넷 기술이 적용된 돈사(豚舍)를 스마트 돈사(Smart 豚舍)라고 한다. 이러한 스마트 돈사에서는 사물 인터넷 기술을 이용하여 돈사 내의 상황을 실시간으로 모니터링 할 수 있으며, 온도나 습도 등을 제어할 수 있다. 특히, 스마트 돈사에서 돼지의 상태를 파악하고 관리하기 위하여 개별적으로 돼지의 상태를 모니터링하고 분석할 수 있는 시스템이 개발되고 있는데, 이러한 분석 시스템은 고가의 장비 및 기술을 기반으로 구축된다. 따라서 이러한 고가의 개별 돼지 상태 분석 시스템은 돈육 생산 환경에 대한 대규모 투자가 이루어지는 선진국 위주로 도입되고 있는 상황이며, 국내의 영세 축산업자는 비용적인 문제로 이러한 시스템을 도입할 수가 없는 실정이다.

한편, 스마트 돈사에서 고가의 시설 제어 기술과는 달리, CCTV 단말기를 이용하여 개별 돼지의 상태를 분석할 수 있는 기술에 대한 연구가 진행되고 있다. 이러한 개별 돼지 상태 분석용 CCTV 기술을 이용하면, 돈사 내의 상황을 실시간으로 확인할 수 있다. 예를 들면, 돈사에 제공되고 있는 온도, 습도, 음수, 사료 등에 따라 돼지들이 어떻게 반응하는지를 확인할 수 있을 뿐만 아니라, CCTV 영상 추적을 통해 개별 돼지를 추적하여 행동 특성을 분석함으로써 개별 돼지의 질병, 발육 상태 등을 파악할 수 있다.

스마트 팜과 관련된 선행기술로, 한국 등록특허 제10-1072881호 ‘농축산 시설의 원격 관리 시스템’ 등이 제시된 바 있다.

개별 돼지 감시 및 상태 분석용 CCTV 기술은 기존 시설 제어 기반 양돈 관리 기술과 비교하여 매우 저렴한 비용으로 돈육의 생산성을 크게 개선할 수 있으며, 특히 국내 영세 양돈 환경에 적합한 기술이다. 그러나 종래 개별 돼지 상태 분석용 CCTV 기술 만으로는 한 마리의 돼지가 다른 한 마리의 돼지 위로 지나가거나 머무르는 등 돼지가 서로 겹침이 발생할 경우 개별 돼지로 정확하게 분리할 수 없는 문제점이 있었다.

한편, 기계학습 분야(혹은 딥러닝 분야)에서 사용되는 YOLO(욜로) 알고리즘은 실시간으로 영상의 의미 영역을 검출하는 기술이며 일례로, 의미 영역은 임의의 영상 내에 포함될 수 있는 얼굴, 자동차, 나무, 안경 등과 같은 영상 패턴이다.

YOLO 알고리즘은 교사 학습(supervised learning) 방식 기계학습 알고리즘으로써 인식할 의미 영역과 이에 대한 분류 정보(즉, 라벨링)를 쌍으로 학습 데이터를 생성하는 단계, 상기 수천 이상의 학습 데이터를 입력 파라미터로한 학습 모델 데이터 생성 단계, 그리고 학습 모델 데이터를 이용하여 임의의 영상에서 학습된 의미 영역을 추출하는 객체 분류 단계를 포함한다.

YOLO 알고리즘의 활용하는 통상적인 실시 예로, 디지털 카메라를 이용하여 도로 상에 주행 중인 임의 차량의 종류를 구분하기 위해서 차량 이미지와 상기 차량 이미지에 대한 분류 정보(예: 트럭, 버스, 승용차 등)의 쌍으로 이루어진 수천 건 이상의 학습 데이터를 준비하고, 상기 학습 데이터를 입력 파라미터로한 YOLO 알고리즘 기계학습 기능을 실행하여 모델 데이터를 생성하며, 상기 모델 데이터와 임의 이미지를 입력 파라미터로 YOLO 알고리즘 분류 기능을 실행하면 의미 영역의 추출 결과를 경계 상자와 상기 경계 상자(bounding box)에 대한 분류 정보 형태로 제공한다.

상기 YOLO 알고리즘은 기계학습 영상 인식 분야에서 성능 및 정확도가 높고 수행 속도가 빠르기 때문에 자율주행 자동차, 영상 내 인물 탐지 등 실시간 사물 인지 분야 등에 통상적으로 사용된다.

상기 YOLO 알고리즘의 객체 분류 단계에서는 구체적으로 의미 영역의 정확한 검출을 위한 초기 검출 객체 목표 신뢰도를 설정하며, 입력 영상을 일정 크기 경계 상자 단위로 분할한다.

객체 검출 과정은 상기 분할된 모든 경계 상자에 대하여 경계 상자 내부의 포함될 수 있는 검출 후보 객체 신뢰도 계산하며, 계산된 검출 후보 객체 신뢰도가 상기 초기 검출 목표 신뢰도 이상일 경우 해당 경계 상자를 추출한다. 상기 객체 검출 과정을 통해서 경계 상자가 추출되지 않을 경우 경계 상자의 크기를 조정하고 반복적으로 객체 검출 과정을 실행한다.

한편, 연결 요소 분석 기법은 영상 처리 분야 기술자들이 통상적으로 사용하는 방법으로 영상 내에서 서로 연결되는 인접 화소 그룹을 구분(라벨링)한다.

한편, Otsu 기법은 영상 인식 분야 기술자들이 통상적으로 사용하는 방법으로 객체 인식 오류를 최소화시켜줄 수 있는 임계값을 찾아주는 이진화(Binarization) 방법이다.

CCTV 영상을 이용한 개별 돼지에 대한 분리 기술로, 한국 등록특허 제10-1910843호 ‘오목점과 슈퍼픽셀 정보를 이용한 깊이 기반 근접 돼지 구분 방법' 등이 제시된 바 있다.

본 발명은 복잡한 돈방 내부 환경에서 두 마리 이상의 돼지 겹침 문제를 해결하기 위해서 제안된 것으로, 구체적으로 모니터링 CCTV에서 취득한 영상의 겹침이 발생한 두 마리 이상의 돼지에 대해 육안으로 확인할 수 있는 한정된 정보만을 이용하여 개발 돼지를 분리하는 종래 기술의 한계를 딥러닝(즉, 기계학습) 기술로 해결하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 연결 요소 분석 기법과 YOLO 알고리즘을 이용한 돼지 겹침 객체 분리 방법은 다음과 같다.

적외선 센서 기반 깊이 영상 모니터링 CCTV 단말기에서 획득한 연속된 깊이 영상을 이용하여 돈방 내의 개별 돼지를 구분하는 개별 구분 방법으로서,

(1) 상기 모니터링 CCTV 단말기에서 돈방을 촬영하여 적외선 및 이진화된 깊이 정보 영상을 획득하는 단계;

(2) 상기 단계 (1)에서 획득한 돈사 내 돼지 깊이 정보 영상에서 돈방 바닥에 존재하는 오물과 돈사 내 조명에 의해 생기는 돼지의 그림자 등을 제거하는 단계;

(3) 연결 요소 분석(Connected Component Analysis) 기법을 이용하여 세 마리 이상의 근접 돼지들을 그룹화하고, 근접 돼지들의 위치 정보를 기반으로 깊이 영상 내에서 근접한 돼지에 적용하여 YOLO 학습 데이터 혹은 테스트 데이터 생성 단계;

(4) (3)에서 YOLO 학습을 위해 획득한 데이터에 근접 돼지의 경계선 영역을 표시 후 해당 레이블링된 이미지를 수만 번 이상 학습하여 목표 신뢰도에 달성한 경계 상자 정보를 획득할 수 있는 학습 모델을 생성하는 단계;

(5) 상기 단계 (4)에서 생성된 YOLO 학습 모델을 이용하여 경계 상자 정보를 구하고, 출력으로 나온 이미지의 경계 상자에 대해 평가를 하는 단계;

(6) 경계 상자 내부의 픽셀에 대해 Otsu 방법을 사용하여 특정 임계값 이하인 픽셀이면 근접 돼지의 경계선 부분에 해당한다고 가정하고 이를 이용함으로써 근접 돼지를 최종적으로 분리하는 단계;

(7) 마지막으로 모든 픽셀들을 레이블링하여 개별 돼지들의 ID가 유지됨을 확인하는 단계;

바람직하게는, 상기 단계 (3)은,

연결 요소 분석 기법을 적용하여 세 마리 이상의 근접 돼지들을 탐지할 수 있다.

바람직하게는, 상기 단계 (4)는,

YOLO 알고리즘 학습에서 활성화 함수는 leaky ReLU 함수를 이용하며, 학습률은 0.001, 모멘텀(momentum) 0.9, 디케이(decay) 0.0005로 설정하고, 10,000회 이상의 학습을 진행하여야 정확한 결과값을 도출할 수 있다.

바람직하게는, 상기 단계 (6)은,

경계 상자 한 개가 다른 하나를 둘러싸고 있는 경우, 두 경계 상자의 평균 값을 채택, 경계 상자가 경계선에 하나도 생성되지 않았을 경우, 경계 상자의 임계값을 조절하여 적어도 1개의 경계 상자가 생성 될 때까지 현재 과정을 반복하는 것을 그 구성상의 특징으로 한다.

본 발명을 이용하면, 세 마리 이상의 돼지들이 개별적으로 분리될 수 있으며, 이를 확장하여 돈사 내 모든 근접한 돼지들의 개별 분리가 가능할 것으로 기대된다. 또한 돈사 내 모든 근접한 돼지들의 개별 분리가 가능하기 때문에 돈사 내 돼지의 24시간 추적이 가능해지며 스마트 팜을 적용한 양돈 농가의 생산성을 효율적으로 증대시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 YOLO 기반 근접 돼지의 경계선 탐지를 통한 근접 돼지 분류 방법의 각각의 단계를 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 YOLO 기반 근접 돼지의 경계선 탐지를 통한 근접 돼지 분류 방법에서 돈사 내 돈방에 설치된 카메라를 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 서 있는 돼지 중 근접한 돼지의 경계선을 레이블링 처리 한 영상을 도시한 도면
도 4는 수천 장의 근접 돼지 레이블링 영상에 대하여 YOLO 기반 기계 학습을 통해 획득된 경계 상자 내 외곽선 정보를 이용함으로써 근접한 돼지를 개별적으로 분리하는 과정을 표시한 도면.
도 5는 본 방법을 크게 YOLO 처리 모듈 및 영상처리 모듈로 나누어 근접 돼지 입력 이미지로부터 분리 결과가 도출되는 순서를 순서도로 도시한 도면.

이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 YOLO 기반 근접 돼지의 경계선 탐지를 통한 근접 돼지 분리 방법의 각 단계를 도시한 도면이다. 도 1에서 도시된 바와 같이, 본 발명의 일 실시 예에 따른 YOLO 기반 근접 돼지의 경계선 탐지를 통한 근접 돼지 분리 방법은, 모니터링 CCTV 단말기에서 돈방 내의 돼지를 촬영하여 적외선 영상과 이진화 된 깊이 정보 영상을 획득하는 단계(S100), 단계 S100에서 획득된 깊이 정보 영상에서 돈방 바닥에 존재하는 오물과 돈사 내 조명에 의해 생기는 돼지의 그림자 등을 배경 차(background subtraction) 기법 및 프레임 차(frame difference) 기법을 이용하여 제거하는 단계(S200), S200에서 오물 및 조명이 제거된 이미지에 연결 요소 분석 기법을 적용하여 세 마리 이상의 근접 돼지들을 탐색하고, 근접 돼지들의 위치 정보를 기반으로 적외선 영상에서 근접한 돼지에 적용함으로써 YOLO 학습 데이터 및 테스트 데이터를 획득하는 단계(S300), S300에서 YOLO 학습을 위해 획득한 데이터에 근접 돼지의 경계선 영역을 표시 후 해당 이미지를 수만 번 이상 학습하여 목표 신뢰도에 달성한 경계 상자 정보를 획득하기 위한 학습 모델을 생성하는 단계(S400), S400에서 생성된 YOLO 학습 모델을 이용하여 경계 상자 정보를 구하고, 출력으로 나온 이미지의 경계 상자에 대해 평가를 하는 단계(S500), 경계 상자 내부의 픽셀에 대해 Otsu 방법을 사용하여 특정 임계값 이하인 픽셀이면 근접 돼지의 경계선 부분에 해당한다고 가정하고 이를 이용하여 근접 돼지를 최종적으로 분리하는 단계(S600), 모든 픽셀들을 레이블링하여 개별 돼지들의 ID가 유지됨을 확인하는 단계(S700)을 포함할 수 있다. 본 발명의 각각의 단계는, 실시 예에 따라서 CCTV 단말기에 포함된 제어부에서 수행될 수 있으며, 또는 별도의 서버에서 수행될 수 있다. 이하에서는, 본 발명의 일 실시예에 따른 YOLO 기반 근접 돼지 경계선 탐지를 통한 근접 돼지 분리 방법에 대하여 각각의 단계에 대해 상세히 설명하기로 한다.

단계 S100에서는, 적외선 센서 기반 깊이 영상 취득이 가능한 모니터링 CCTV 단말기에서 돈방 내의 돼지를 촬영하여 이진화된 깊이 정보 영상을 획득할 수 있다. 여기서, 실시예로 모니터링 CCTV 단말기는 해상도가 높은 Intel RealSense D435 카메라를 사용할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 YOLO 기반 근접 돼지 경계선 탐지를 통한 근접 돼지 분리 방법에서 돈방의 천장에 설치된 카메라를 도시한 도면이다. 본 발명의 실시 예에 따라서는, 카메라는 도 2에 도시된 바와 같이 돈방의 바닥으로부터 3.2m 떨어진 높이에 설치되며, 돈방 내 돼지를 촬영하여 적외선과 이진화된 깊이 정보 영상을 획득한다. 이 때, 단계 S200에서는, 돈방 바닥에 존재하는 오물과 돈사 내 조명에 의해 생기는 돼지의 그림자를 포함한 적외선 영상을 획득할 수 있다. 실시 예로서 오물과 돈사 내 조명에 의해 생기는 돼지의 그림자를 제거하기 위한 방법은 카메라로부터 적외선 영상과 동시에 획득 가능하며 조명에 영향을 받지 않는 깊이 정보 영상을 이용하는 것이다. 획득한 깊이 정보 영상으로부터 깊이 정보 차이를 통한 이진화를 수행하여 돈방의 대략적인 전경 영역을 파악하고, 이를 통하여 적외선 영상에서의 배경 차(background subtraction) 기법 및 프레임 차(frame difference) 기법을 사용하여 정확한 전·배경 분리를 수행할 뿐만 아니라 실시간 처리를 할 수 있으며, 본 발명에서 사용되는 배경 차(background subtraction) 기법 및 프레임 차(frame difference) 기법은 해당 분야의 통상의 기술자에 의해 이해될 수 있을 것이다.

단계 S300에서는, 단계 S200에서 바닥에 존재하는 오물 및 돈사 내 조명에 의해 생기는 돼지의 그림자 등을 제거한 이미지에 연결 요소 분석 기법를 적용하여 세 마리 이상의 근접 돼지들을 탐색할 수 있다. 또한 여기서 도출된 근접 돼지들의 위치 정보를 기반으로 적외선 영상의 근접 돼지에 적용함으로써 YOLO 학습 데이터 및 테스트 데이터를 획득할 수 있다. 위와 같은 단계를 통해 근접 돼지들의 이미지만을 획득함으로써 배경으로 인한 정확도 감소의 문제를 어느정도 해소할 수 있다.

단계 S400에서는, 단계 S300에서 YOLO 학습을 위해 획득한 데이터에 근접 돼지의 경계선 영역을 표시 후 해당 이미지를 수만 번 이상 학습하여 목표 신뢰도에 달성한 경계 상자 정보를 획득하기 위한 학습 모델을 생성한다. 실시 예로, YOLO 알고리즘 학습에서, 학습에 이용되는 이미지는 6150장, 활성화 함수는 leaky ReLU 함수를 이용하며, 학습률은 0.001, 모멘텀(momentum) 0.9, 디케이(decay) 0.0005로 설정하고, 10,000회 이상 학습을 진행하여야 정확한 결과값을 도출할 수 있으며, YOLO 기반 기계 학습을 위한 학습률, 모멘텀, 디케이, 학습 횟수는 해당 기술분야의 통상의 기술자에 의해 이해될 수 있을 것이다.

도 3은 본 발명의 일 실시예에 따른 두 마리의 돼지가 근접했을 때 YOLO에 학습시키는 근접 돼지의 경계선 영역의 영상을 도시한 도면이다.

단계 S500에서는, 단계 S400에서 생성된 YOLO 학습 모델을 이용하여 경계 상자의 정보를 구하고, 출력으로 나온 이미지의 경계 상자에 대해 평가를 한다. 하나의 경계 상자가 다른 하나를 둘러싸고 있는 경우, 두 상자의 평균 값을 채택, 경계 상자가 경계선에 하나도 생성되지 않았을 경우, 경계 상자의 임계값을 조절하여 적어도 1개의 박스가 생성 될 때까지 현재 과정을 반복하는 것을 그 구성상의 특징으로 한다.

단계 S600에서는, 경계 상자 내부의 픽셀에 대해 Otsu 방법을 사용하여 특정 임계값 이하인 픽셀이면 근접 돼지의 경계선 부분에 해당한다고 가정하고, 이를 이용하여 근접한 돼지를 최종적으로 분리한다. 경계 상자 내부의 픽셀 값에 대하여 임계 값을 자동으로 설정하는 Otsu 방법은 해당 기술분야의 통상의 기술자에 의해 이해될 수 있을 것이다.

도 4는 세 마리의 근접 돼지의 YOLO 결과 내의 경계선을 탐지하고 최종적으로 세 마리의 근접 돼지를 개별 돼지로 분리한 모습을 도시한 도면이다.

단계 S700에서는, 모든 픽셀들을 레이블링하여 개별 돼지들의 ID가 유지됨을 확인하는 단계이다.

도 5는 본 방법을 크게 YOLO 처리 모듈 및 영상처리 모듈로 나누어 근접 돼지 입력 이미지로부터 분리 결과가 도출되는 순서를 순서도로 도시한 도면이다.

S100: 돈방 천장에 설치된 적외선 센서 기반 깊이 영상 취득이 가능한 모니터링 CCTV 단말기로부터 돈방을 촬영하여 이진화된 깊이 정보 영상을 획득하는 단계.
S200: S100에서 획득한 깊이 영상에는 돈방 바닥에 존재하는 오물과 돈사 내 조명에 의해 생기는 돼지의 그림자 등을 포함하기 때문에 깊이 정보 영상의 부가적인 정보를 활용하여 이러한 노이즈를 제거하는 단계.
S300: S200에서 획득한 오물 및 조명이 제거된 이미지에서 세 마리 이상의 근접 돼지들을 탐색하고, 근접 돼지에 적용하여 YOLO 학습 데이터 및 테스트 데이터를 획득하는 단계.
S400: S300에서 YOLO 학습을 위해 획득한 데이터에 근접 돼지의 경계선 영역을 표시한 후 해당 이미지를 수만 번 이상 학습하여 목표 신뢰도에 달성한 경계 상자 정보를 획득하기 위한 학습 모델을 생성하는 단계.
S500: S400에서 생성된 YOLO 학습 모델을 이용하여 경계 상자 정보를 획득하고, 출력으로 나온 이미지의 경계 상자에 대하여 평가를 하는 단계.
S600: 경계 상자 내부의 픽셀에 대하여 Otsu 방법을 이용함으로써 특정 임계 값 이하인 픽셀이면 근접 돼지의 경계선 부분에 해당한다고 가정하고, 이를 이용하여 근접한 돼지를 최종적으로 분리하는 단계.
S700: 모든 픽셀들을 레이블링하여 개별 돼지들의 ID가 유지됨을 확인하는 단계.

Claims (3)

1. 적외선 센서 기반 깊이 정보 취득이 가능한 모니터링 CCTV 단말기에서 획득한 깊이 영상을 이용하여 돈방 내의 돼지를 구분하는 돼지 구분 방법으로써,
   (1) 상기 모니터링 CCTV 단말기에서 돈방 내의 돼지를 촬영하여 적외선 및 이진화 된 깊이 정보 영상을 획득하는 단계;
   (2) 상기 단계 (1)에서 획득한 돈사 내 적외선 영상과 깊이 정보 영상을 동시에 이용하여 돈방 바닥에 존재하는 오물과 돈사 내 조명에 의해 생기는 돼지의 그림자 등을 제거하는 단계;
   (3) 연결 요소(connected component)를 적용하여 세 마리 이상의 근접 돼지들을 탐색하고, 근접 돼지들의 위치 정보를 기반으로 적외선 영상의 근접 돼지에 적용하여 YOLO 학습 데이터 및 테스트 데이터를 획득하는 단계;
   (4) (3)에서 YOLO 학습을 위해 획득한 데이터에 근접 돼지의 경계선 영역을 표시 후 해당 이미지를 수만 번 이상 학습하여 목표 신뢰도에 달성한 경계 상자 정보를 획득하기 위한 학습 모델을 생성하는 단계;
   (5) 상기 단계 (4)에서 생성된 YOLO 학습 모델을 이용하여 경계 상자 정보를 도출하고, 출력으로 나온 이미지의 경계 상자에 대해 평가를 하는 단계;
   (6) 경계 상자 내부의 픽셀에 대하여 Otsu 방법을 이용하여 특정 임계 값 이하인 픽셀이면 근접 돼지의 경계선 부분에 해당한다고 가정하고 이를 이용하여 근접한 돼지를 최종적으로 분리하는 단계;
   (7) 마지막으로 모든 픽셀들을 레이블링하여 개별 돼지들의 ID가 유지됨을 확인하는 단계를 포함하는 것을 특징으로 하는 연결 요소 분석 기법과 YOLO 알고리즘을 이용한 돼지 겹침 객체 분리 방법.
   
2. 제1항에 있어서, 상기 단계 (3)은,
   연결 요소 분석 기법을 적용하여 세 마리 이상의 근접 돼지들을 탐지하는 방법.
   
3. 제1항에 있어서, 상기 단계 (6)은,
   경계 상자 한 개가 다른 하나를 둘러싸고 있는 경우, 두 상자의 평균 값을 채택, 경계 상자가 경계선에 하나도 생성되지 않았을 경우, 경계 상자의 임계 값을 조절하여 적어도 1개의 박스가 생성될 때까지 현재 과정을 반복하는 방법.
   

Images