KR102540175B1 - 인공지능기반 돼지 질병 관리 시스템 - Google Patents

Abstract

본 발명은 인공지능기반 돼지 질병 관리 시스템에 관한 것으로, 본 발명에 따르면 인공지능기반 돼지 질병 관리 시스템이 제공되고, 이 시스템은, 돈사 내에 설치되는 데이터 수집수단(100); 데이터 수집 수단(100)에서 수집된 데이터를 분석하여 돼지 질병 발생 유무를 판단하는 인공지능 분석부(200); 및 인공지능 분석부(300)에 네트워크를 통해 연결되는 데이터베이스 서버(300)를 포함하고, 상기 데이터 수집수단은 돈사 내 돼지를 촬영하기 위한 RBG 카메라, 돈사 내 돼지를 촬영하기 위한 열화상 카메라, 돈사 내 돼지를 촬영하기 위한 뎁스 카메라, 및 돈사 내 돼지 소리를 수집하기 위한 마이크로폰을 포함하고,
인공지능 분석부(200)는 상기 마이크로폰으로부터 수집된 돼지 소리 데이터를 스펙트럼 데이터로 변환하여 변환된 스펙트럼 데이터를 입력으로 하여 돼지 소리를 분석하기 위한 인공지능기반의 음향 분석 모듈을 포함하고, 인공지능기반의 음향 분석 모듈은 돼지의 소리 데이터를 통해 돼지의 이상 유무를 판단하도록 구성된다.

Description

인공지능기반 돼지 질병 관리 시스템{AI BASED PIG DISEASE MANAGEMENT SYSTEM}

본 발명은 돼지 질병 관리 시스템에 관한 것으로 보다 구체적으로는 돈사내의 돼지 질병을 모니터링하고 관리할 수 있는 인공지능기반 돼지 질병 관리 시스템에 관한 것이다.

일반적인 가축의 질병관리 방법은, 축사에 사육중인 소, 돼지 등의 가축의 건강상태를 농장주 또는 관리인이 개체별로 일일이 가축의 발육상태, 체온, 맥박, 호흡수 등을 직접 측정하며, 측정된 정보를 관리장부 등에 기재하고, 해당 데이터를 농장주 또는 관리인의 경험에 따라 분석하여 가축의 질병 여부를 판단하거나 측정된 데이터를 오프라인을 통해 가축관련 전문가 또는 수의사에게 제공함으로써 질병 여부를 분석하고 판단한다.

그러나 이와 같은 가축의 질병관리 방법은 가축의 수가 많을 경우에는 소수의 인원으로 각 개체별 건강상태에 따른 효율적인 관리가 어려우며, 오프라인을 통해 가축관련 전문가 또는 수의사로부터 측정데이터에 대한 분석정보를 받기까지 상당한 시간이 소요되는 문제점이 있다

한국등록특허 10-2013-0042771호는 원격 가축 모니티링 시스템 및 방법에 대해 기술하고 있다. 이 등록특허에서는 가축에 식별태그를 부착하고 가축의 정보를 수집하고 분석하여 모니터링하는 시스템이 개시되어 있다. 하지만, 사용자는 이상 여부만 알 수 있을 뿐이상이 있는 개체에 대한 이력이나 구체적인 정보를 쉽게 파악하기 어렵다는 문제점이 있다.

또한 가축질병의 진행단계는 감염이 되었을 때부터 질병에 따라 조금씩 차이는 있기는 하지만, 통상적으로 감염이 된 후 2주 내지 5주가 지나야 농장주 또는 관리자의 육안으로 확인된다. 따라서, 농장주 또는 관리자의 육안으로 질병의 증세가 확인되었을 때에는 이미 치료의 시기가 늦어 별다른 치료를 할 수가 없는 경우가 발생할 수 있으며, 이러한 경우에는 질병증상이 나타난 가축을 격리조치 또는 폐사시켜 바이러스의 경로를 차단하여야만 하기 때문에, 가축의 질병으로 인한 피해가 상당할 수밖에 없다는 문제점이 있다.

한국등록특허 제10-1794578호 (2017.11.07)

본 발명은 전술한 문제점에 기반하여 안출된 발명으로 돈사내의 돼지 질병을 효율적으로 모니터링하여 돼지 질병을 예방할 수 있는 인공지능기반 돼지 질병 관리 시스템을 제공하는 것을 목적으로 한다.

전술한 과제를 해결하기 위해 본 발명의 일양태에 따르면, 돈사 내에 설치되는 데이터 수집수단; 데이터 수집 수단에서 수집된 데이터를 분석하여 돼지 질병 발생 유무를 판단하는 인공지능 분석부; 및 인공지능 분석부에 네트워크를 통해 연결되는 데이터베이스 서버를 포함하는 인공지능기반 돼지 질병 관리 시스템이 제공되고, 상기 시스템은,

돈사 내 돼지 소리를 수집하기 위한 마이크로폰을 포함하고,

인공지능 분석부는 상기 마이크로폰으로부터 수집된 돼지 소리 데이터를 스펙트럼 데이터로 변환하여 변환된 스펙트럼 데이터를 입력으로 하여 돼지 소리르 분석하기 위한 인공지능기반의 음향 분석 모듈을 포함하고,

인공지능기반의 음향 분석 모듈은 돼지의 소리 데이터를 통해 돼지의 이상 유무를 판단하도록 구성된다.

전술한 양태에서, 데이터 수집수단은 영상 촬영 수단을 더 포함하고, 상기 영상 촬영 수단은, 돈사 내 돼지를 촬영하기 위한 RBG 카메라, 돈사 내 돼지를 촬영하기 위한 열화상 카메라, 및 돈사 내 돼지를 촬영하기 위한 뎁스 카메라를 더 포함하는 것이 바람직하다.

전술한 어느 하나의 양태에서, 인공지능 분석부는 RGB 카메라로부터 취득된 RGB 컬러 영상으로부터 돼지의 행동 패턴을 분석하기 위한 인공지능기반의 행동패턴 분석 모듈을 더 포함하고, 인공지능기반의 행동패턴 분석 모듈은 돼지 행동 패턴에 기반하여 돼지의 이상유무를 판단하도록 구성된다.

또한 전술한 양태중 어느 하나에 있어서, 인공지능 분석부는 열화상 카메라로부터 취득된 열화상 영상으로부터 돼지의 체온을 분석하기 위한 인공지능기반의 체온 분석 모듈을 더 포함하고, 상기 인공지능기반의 행동패턴 분석 모듈은 돼지 체온 변화에 기반하여 돼지의 이상유무를 판단하도록 구성된다.

또한 전술한 양태중 어느 하나에 있어서, RBG 카메라로부터 취득되는 RGB 컬러 영상, 상기 열화상 카메라로부터 취득되는 열화상 영상, 및 상기 마이크로폰으로부터 취득되는 소리 데이터는 실시간으로 동시에 수신된다.

또한 전술한 양태 중 어느 하나에 있어서, 돼지 질병 판단부를 더 포함하고, 돼지 질병 판단부는 돼지의 행동 패턴, 돼지의 체온 변화 변화, 돼지의 소리 스펙트럼 패턴을 조합하여 돼지의 질병을 판단하도록 구성된다.

전술한 본 발명의 양태에 따르면, 돈사에서 취득되는 돼지의 RGB 영상, 열화상 영상, 뎁스 영상 및 음향 데이터를 인공지능 분석을 통해 돼지의 질병 유무를 효율적으로 판단하고 돼지 질병 발생시 즉각적으로 사용자에게 제공할 수 있는 인공지능기반 돼지 질병 관리 시스템을 제공할 수 있다.

도 1은 본 발명에 따른 인공지능기반 돼지 질병 관리 시스템을 나타내는 도면;
도 2는 도 1의 인공지능기반 돼지 질병 관리 시스템에서 인공지능 분석부의 내부 구성을 개략적으로 도시한 도면;
도 3은 돼지 음향 데이터의 인공지능 기반 음향 분석 처리 과정을 나타내는 도면;
도 4는 CNN 기반의 음향분석 알고리즘을 나타내는 도면;
도 5는 돼지 소리 패턴의 일례를 나타내는 도면;
도 6은 RGB 영상에 기반한 행동패턴 분석 모듈의 인공지능 학습 방법의 일례를 나타내는 도면;
도 7a 및 도 7b는 각각 RGB 영상 및 열화상 영상의 세그멘테이션화를 설명하기 위한 도면;
도 8은 열화상 영상에 기반한 체온분석 모듈의 인공지능 모델의 일례를 나타내는 도면;
도 9는 인공지능기반 돼지 질병 관리 시스템의 동작 흐름을 나타내는 도면;
도 10은 인공지능 학습장치의 일례를 나타내는 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.

본 명세서에서 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예들에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 그리고, 본 명세서에서 사용된(언급된) 용어들은 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

이하 첨부된 도면을 참조하여 본 발명의 실시예에 대해 설명하도록 한다. 도 1은 본 발명에 따른 인공지능기반 돼지 질병 관리 시스템의 일례를 나타내는 도면이다. 도 1에 도시된 바와 같이 인공지능기반 돼지 질병 관리 시스템은 돈사에 설치되는 데이터 수집수단(100); 데이터 수집 수단(100)에서 수집된 데이터를 분석하여 돼지 질병 발생 유무를 판단하는 인공지능 분석부(200); 및 인공지능 분석부(200)에 네트워크를 통해 연결되는 데이터베이스 서버(300)를 포함한다. 여기서 네트워크라고 함은 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet), Mobile WiMAX, HSDPA(High Speed Downlink Packet Access) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.

데이터 수집수단(100)은 돈사 내에서 돼지의 소리 및 영상을 수집하기 위한 수단을 포함하고, 구체적으로는 돼지 소리를 수집하기 위한 음향데이터 수집 수단(110); 돈사내 돼지를 촬영하기 위한 제1 내지 제3 영상데이터 수집 수단(120,130,140)을 포함한다.

음향데이터 수집수단(110)은 돼지의 소리를 수집하기 위한 마이크로폰으로 구성될 수 있고, 제1 영상 데이터 수집 수단(120)은 돼지의 RGB 컬러 영상을 획득하기 위한 RGB 카메라일 수 있으며, 제2 영상 데이터 수집 수단(130)은 돼지의 열 화상 을 촬영하기 위한 열화상 카메라일 수 있으며, 제3 영상 데이터 수집 수단(140)은 돈사 내에서 돼지 개체를 정확하게 분류하는데 이용하기 위한 뎁스(depth) 카메라로 이루어질 수 있다.

인공지능 분석부(200)는 데이터 수집수단(100)을 통해 수집된 영상 데이터 및 음향 데이터를 딥러닝 또는 머신러닝을 이용하여 학습된 분석 모듈들을 통해 돼지의 질병 유무, 돼지의 이상행동 등을 판단하도록 구성된다.

도 2는 전술한 바와 같은 인공지능분석부(200)의 내부 구성을 나타내는 블록도이다. 도2에 도시된 바와 같이 인공지능분석부(200)는 음향 데이터 및 RGB 영상 데이터에 대한 전처리를 수행하는 데이터 전처리부(210) 및 복수의 인공지능기반의 분석 모듈(220,222,224,226) 및 복수의 인공지능기반 분석모듈(220,222,224,226)에 기반하여 돼지의 질병 여부 및 이상행동을 판단하는 질병 판단부(230)를 포함한다.

도 3 및 도 4는 각각 음향 데이터의 인공지능 기반 음향 분석 처리 과정 및 CNN 기반의 음향분석 알고리즘을 나타내는 설명도이다. 인공지능기반 음향 분석 처리의 경우 위한 인공지능 학습 스테이지와 학습된 음향분석모듈을 통해 질병을 판단하는 테스트스테이지로 구분될 수 있다.

본 발명의 실시예에서 인공지능기반 음향분석 모듈은 CNN 기반 아키텍처를 기반으로 구성되었고, 사운드 신호는 전처리 전에 프레임으로 분할되었으며, 각 프레임은 스펙트럼 감산 및 대역 통과 필터 알고리즘을 기반으로 필터링되었다. 소리 데이터는 수동 시청각 검사에 의해 레이블이 지정되었고, 이 과정에서 특징 추출 및 분류가 수행된다.

본 발명에서 인공지능기반 음향분석 모듈은 소리 스펙트로그램을 기반으로 하여 돼지의 소리를 분석하도록 구성된다. 음향 분석 모듈(220)은 돼지의 정상 소리, 신음 소리, 비명 소리를 구별하도록 학습된다. 구체적으로 돼지 소리의 음향 분석은 돼지의 소리 패턴을 모니터링 하고 돼지의 소리 패턴으로부터 눌림 소리, 질병 유무를 판단하도록 동작된다.

돼지 소리 패턴의 경우 음향 센서를 통한 돼지 소리의 입력- 입력된 돼지 소리 데이터를 소리 스펙트럼 데이터로 전환 - 인공지능기반 소리 스펙트럼 분석을 통해 돼지의 눌림 및 질병 여부의 탐지에 이용된다.

도 5는 돼지 소리 패턴의 일례를 나타내는 도면이다. 도시된 바와 같이 돼지 소리 패턴은 돼지의 눌림(crush) 및 질병을 분류할 수 있도록 구성된다. 이와 같은 돼지의 소리 패턴은 일반 소리 패턴, 비명 소리 패턴, 신음 소리 패턴으로 구별될 수 있다. 특히 돼지 눌림의 경우 출산 직후의 새끼 돼지에게서 자주 발생되는데, 이 경우 돼지의 눌림 여부를 판단하기 위해, 돼지의 비명 소리 패턴이 이용될 수 있다. 돼지의 비명 소리의 경우 돼지 눌림을 구별하기 위해 돼지의 소리 데이터는 일반 소리 패턴, 중간 눌림 소리 패턴, 심한 눌림 소리 패턴으로 분류될 수 있다.

또한 돼지의 호흡기 질병을 판단하기 위해 돼지 소리 패턴으로 돼지 신음 소리 패턴이 이용될 수 있다. 돼지 신음 소리 패턴의 경우 돼지의 호흡기 질병에 따라 돼지의 신음 소리 패턴이 달라질 수 있으며, 돼지 호흡기 질병은 대표적으로 MH(Mycoplasma Hyopneumoniae)로 인한 유행성 폐렴, PCV2(Porcine Circo Virus 2)로 인한 이유 후 전신소모성증후군(PMWS), PRRS 바이러스(Porcine Reproductive and Respiratory Syndrome virus)로 인한 돼지생식기호흡 기증후군(PRRS) 등이 있다. 이러한 질병은 발병 시높은 전염성과 치사율을 보인다. 따라서 돼지 호흡기 질병을 조기에 예방하여 발병에 따른 막대한 손실을 방지하는 것이 최선이다.

돼지 소리 정보는 돼지 호흡기 질병의 일부 증상을 확인할 수 있도록 기능하며 각 질병에 따른 돼지의 소리 패턴이 데이터베이스에 저장되고 음향 분석부(224)를 통해 분석된 소리 스펙트럼을 비교함으로써 돼지의 질병 유무를 판단하는데 도움을 준다.

돼지 소리 데이터를 통하여 돼지의 기침이 탐지되면, 행동패턴 분석모듈(222)에서 돼지의 움직임 변화량을 측정하여 기침소리를 낸 돼지를 탐지한다. 돼지가 기침하는 경우, 돼지가 멈추어 있다가 기침을 하는 순간적인 움직임이 발생하기 때문에 중심점이 이전 프레임과 같은 곳에 위치하게 된다. 따라서 돼지의 움직임 변화량이 크고 돼지의 중심점이 이동하지 않을 경우에는 해당 돼지는 기침을 하는 돼지라고 특정하는 것이 가능하다.

RGB 영상은 데이터 전처리부(210)를 거쳐 인공지능기반의 행동패턴 분석 모듈(222)을 통해 행동패턴이 분석된다. 도 6은 돼지의 행동 패턴을 분석하기 위해 RGB 이미지를 이용하여 딥러닝을 수행하는 방법을 나타내는 도면이다. 돼지의 RGB 이미지 데이터 셋트는 데이터 어노테이션을 거쳐 오노테이션된 데이터로 변경된다. 데이터 어노테이션이란 데이터셋에 메타데이터를 추가하는 작업을 의미한다. 이후 데이터의 양을 증가시키기 위해 오노테이션된 데이터에 각종 변환을 적용하여 데이터의 개수를 증가시키는 데이터 아규멘테이션을 실행하고, 행동패턴분석모듈(222)을 학습시키고 학습된 행동패턴 분석모듈(222)을 통해 RGB 영상으로부터 돼지의 행동 패턴을 분석하게 된다.

행동패턴 분석모듈(222)는 먼저 RGB 영상을 분할하여 세그먼트화(segmentation)하고, 세그먼트된 돼지들에 대해 행동패턴 분석을 수행하게 된다. 도 7a 및 도 7b는 각각 RGB 카메라로부터 취득된 RGB 영상과 열화상 카메라로부터 취득된 열화상 영상에서 돼지 개체들에 대해 세그먼트화를 진행한 결과를 나타내는 도면이다.

행동패턴 분석모듈(222)은 도시된 바와 같이 RGB 영상으로부터 돼지 개체를 분리하고 각각의 돼지 객체에 대해 고유의 개체 번호를 부여하여 돼지 개체에 대한 행동패턴분석을 실시하게 된다.

구체적으로 행동패턴 분석모듈(222)은 RGB 영상을 통해 돼지의 동작 또는 움직임을 탐지하고 돼지 움직임을 통한 이상징후를 검출하도록 동작한다. 검출된 돼지의 움직임 정보의 경우, 돼지 질병 판단부(230)에서 돼지 질병을 판단하는 요소로서 작용하는데, 예를 들면 움직임이 과도하게 발생하는 상황이 지속적이거나, 움직임이 전혀 없는 상태가 일정시간 이상 지속할 경우(취침 시간은 제외), 데이터베이스(300)에 저장된 돼지의 움직임 정보에 따라 질병 유무를 판단하게 된다. 일반적으로 가축이 특정 질병에 걸렸을 경우, 이상 행동을 보이는 것은 학계나 질병관리본부를 통해 이미 알려진 사실이므로, 이러한 정보를 근거로 움직임 영상을 분석하여 돼지의 질병 유무를 예측하게 된다.

또한 행동패턴 분석모듈(222)은 RGB 영상을 통해 척추 이상(arching their back in pain), 턱이상(jowl swelling), 신경계 이상 징후를 분석하는데 이용될 수 있다.

체온 분석 모듈(224)은 돼지의 열화상 영상으로부터 돼지의 질병을 분석하도록 학습된다. 도 8은 돼지의 체온 분석 모듈(224)의 인공지능처리의 일례를 나타내는 도면이다. 체온 분석 모듈(224)은 열화상 카메라로부터의 열화상 영상에서 돼지의 체온을 검출하도록 구성된다. 돼지의 체온은, 돼지의 발열, 장기 온도 변화 등을 검출하도록 구성된다. 검출된 돼지의 온도 정보의 경우, 돼지 질병 판단부(230)에서 돼지 질병을 판단하는 하나의 요소로서 작용하는데, 예를 들면, 검출되는 돼지의 체온 정보가 돈사 내의 돼지 개체들의 체온 정보와 비교를 통해 특정 돼지 개체가 다른 돼지 개체에 비해 미리정해진 온도 이상의 체온을 갖거나 미리정해진 온도 이하의 체온을 갖게 되는 경우 비정상인 것으로 판단하게 된다.

한편 RGB 영상에서 보온 등과 같은 빛에 의하여 돈사 내 돼지가 정확히 탐지될 수 없는 문제가 발생할 수 있다. 본 발명에서는 이러한 문제를 해결하고자 뎁스 카메라로부터 획득할 수 있는 깊이 정보는 깊이영상 분석모듈(226)을 통해 보온등과 같은 빛의 영향을 최소화함과 동시에 돼지를 정확히 탐지하도록 기능한다.

예를 들면, 깊이영상 분석모듈(226)은 깊이 영상으로부터 거리에 따른 깊이 정보를 보정한 후 바닥과 돼지의 깊이 정보 차이를 통하여 돼지들의 영역을 탐지한다. 이후, 대비(contrast)가 뚜렷하지 않은 깊이 정보 영상에 히스토그램 평활화 기법인 (CLAHE:Contrast Limited Adaptive Histogram Equalization) 기법을 이용함으로써 돈사의 조명에 직접 노출된 영역에서 노출 과다 현상에 의해 탐지되지 않는 돼지들을 정확히 탐지하는 것이 가능하다.

또한, 돈사 내 돼지를 정확히 탐지하기 위하여 깊이 정보를 이용한 돈사 내 바닥(배경)을 제거할 필요성이 있는데, 이 경우 돈사의 배경인 바닥 질감과 돼지 질감을 구분하는 최적의 가버(Gabor) 필터를 이용하여 돈방의 바닥 영역을 제거한다. 이후 제거되지 않는 벽 영역은 면적 정보와 길이 정보를 이용하여 제거하는 후처리를 수행함으로써 돼지만을 정확히 탐지할 수 있다.

또한 깊이 정보 영상에서 돼지를 보다 정확하게 탐지하고 근접한 돼지들을 분리하기 위하여 YOLO 기법을 이용한 근접 돼지 분할 방법이 이용될 수 있다. 먼저, YOLO를 이용하여 깊이 정보 영상 내 돼지들을 학습하고 돼지들만을 정확히 탐지한다. 여기서, YOLO로부터 탐지된 돼지는 바운딩 박스(bounding box)로 표시되며 근접한 돼지에 대하여 표시되는 바운딩 박스를 활용함으로써 근접한 돼지를 개별 돼지로 분리된다. 바운딩 박스를 통하여 근접한 돼지를 분리하기 위한 시나리오로써, 첫 번째로 근접한 돼지에 하나의 바운딩 박스가 표시되었을 경우 생성되는 경계선이 하나 일 때 해당 경계선으로 근접 돼지를 분리하였다. 두 번째로 근접한 돼지에 두 개의 바운딩 박스가 표시될 경우 경계선과 분리되는 돼지의 크기에 대한 임계 값을 설정함으로써, 설정된 임계 값에 따라 바운딩 박스에 경계선을 표시하여 근접한 돼지를 분리한다. 세 번째로 근접한 돼지에 바운딩 박스가 잘못 표시되거나 기준 임계 값에 미달하면 오목점을 이용한 근접 돼지 분리 기법을 수행하여 근접한 돼지를 분리한다.

돼지 질병 판단부(230)는 음향 분석 모듈(220)과, 행동패턴 분석모듈(222) 및 체온 분석모듈(224)로부터의 분석 결과에 기반하여 돼지 질병 유무를 판단하게 된다. 돼지 질병 판단부(230)는 음향 분석모듈(220)로부터의 분석 결과에 기반하여 이상 징후가 존재하는지 여부와, 행동패턴 분석모듈(222) 및 체온 분석모듈(224)의 분석 결과에 기반하여 이상 징후가 있는 돼지가 있는지 여부를 판단한다.

도 9는 본 발명의 실시예에 따른 인공지능기반 돼지 질병 관리 시스템에서의 동작 흐름을 나타내는 흐름도이다. 도 9에 도시된 바와 같이 먼저 인공지능기반 돼지 질병 관리 시스템의 영상 데이터 취득 수단과 음향 데이터 취득 수단을 통해 돈사 내 돼지의 영상 데이터(RBG, 열화상, 깊이영상)와 돼지 소리 데이터를 취득한다.

취득된 영상 데이터와 돼지 소리 데이터는 전처리를 거쳐 각각의 인공지능 분석모듈, 즉 돼지 소리 데이터는 전처리를 거쳐 음향 분석 모듈(220)으로, RGB 영상은 행동패턴 분석모듈(222)로, 열화상 영상은 체온 분석모듈(224)로, 깊이 영상은 깊이영상 분석모듈(226)으로 전송되고 각각의 인공지능 분석모듈을 통해 분석된다. 음향 데이터의 경우 단계 S120에서와 같이 스펙트럼 데이터로 변환되어 음향 분석 모듈(220)로 입력된다.

이어진 단계 S130에서 돼지 질병 판단부(230)에서는 돼지 소리 스펙트럼 데이터를 통해 비정상 소리 패턴이 존재하는지 여부를 판단하게 된다. 비정상 소리 패턴이 존재하는 경우 돼지 질병 판단부(230)는 음향 데이터와 동시에 취득된 열화상 및 RGB 영상을 호출하여 단계 S140에서와 같이 영상 데이터들에 대한 분석을 수행한다.

단계 S150에서는 돼지 질병 판단부(230)는 비정성 소리 패턴을 발생시킨 돼지를 찾기 위해 소리 발생시 움직임이 검출된 돼지를 돼지를 검출하고, 검출된 돼지에 대해 RGB 영상 분석 및 열 영상 분석을 수행하게 된다.

돼지 질병 판단부(230)는 돼지의 RGB 영상을 통해 특정 질병 징후에 해당하는 움직임이 있는지 여부를 판단하는 동시에 열화상을 통해 해당하는 돼지의 체온이 기준치 이상인지 여부를 판단하게 된다.

RGB 영상 분석 및 열영상 분석을 통해 돼지에 이상이 없는 경우에는 모든 프로세스를 종료 또는 단계 S110으로 복귀하지만, 단계 S170에서 RGB 영상 분석 및 열영상 분석을 통해 돼지에 이상이 발생된 것으로 판단된 경우 사용자 단말(미도시)에 질병 가능성을 통보하게 된다.

본 발명에서 인공지능기반의 분석모듈(음향, 행동패턴, 체온 등)은 각각의 입력 데이터인 음향 데이터(스펙트럼 데이터), RGB 영상 데이터, 열화상 영상 데이터로부터 질병 또는 이상 징후를 예측하기 위해 이미지를 입력으로 하는 인공신경망 예를 들면 컨볼루션 신경망(CNN: Convolutional Neural Network)을 이용할 수도 있다. 그러나 본 발명은 이에 한정되는 것은 아니고, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron) 와 같은 방식의 신경망 모델들을 포함할 수 있다.

인공신경망은 생물학적 뉴런의 동작원리와 뉴런간의 연결 관계를 모델링한 것으로 노드(node) 또는 처리 요소(processing element)라고 하는 다수의 뉴런들이 레이어(layer) 구조의 형태로 연결된 정보처리 시스템이다. 인공신경망은 시냅스(synapse)의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다.

용어 인공신경망은 용어 뉴럴 네트워크(Neural Network)와 혼용되어 사용될 수 있으며, 인공신경망은 복수의 레이어(layer)를 포함할 수 있고, 레이어들 각각은 복수의 뉴런(neuron)을 포함할 수 있다. 또한 인공신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다.

인공 신경망은 일반적으로 다음의 세가지 인자, 즉 (1) 다른 레이어의 뉴런들 사이의 연결 패턴 (2) 연결의 가중치를 갱신하는 학습 과정 (3) 이전 레이어로부터 수신되는 입력에 대한 가중 합으로부터 출력값을 생성하는 활성화 함수에 의해 정의될 수 있다.

본 명세서에서 용어 '레이어'는 용어 '계층'과 혼용되어 사용될 수 있다. 인공신경망은 계층 수에 따라 단층 신경망(Single-Layer Neural Networks)과 다층 신경망(Multi-Layer NeuralNetworks)으로 구분된다.

일반적인 단층 신경망은, 입력층과 출력층으로 구성된다. 또한 일반적인 다층 신경망은 입력층(Input Layer)과 하나 이상의 은닉층(Hidden Layer), 출력층(Output Layer)으로 구성된다.

입력층은 외부의 자료들을 받아들이는 층으로서, 입력층의 뉴런 수는 입력되는 변수의 수와 동일하며, 은닉층은 입력층과 출력층 사이에 위치하며 입력층으로부터 신호를 받아 특성을 추출하여 출력층으로 전달한다. 출력층은 은닉층으로부터 신호를 받고, 수신한 신호에 기반한 출력 값을 출력한다. 뉴런간의 입력신호는 각각의 연결강도(가중치)와 곱해진 후 합산되며 이 합이 뉴런의 임계치보다 크면 뉴런이 활성화되어 활성화 함수를 통하여 획득한 출력값을 출력한다.

한편 입력층과 출력 층 사이에 복수의 은닉층을 포함하는 심층 신경망은, 기계 학습 기술의 한 종류인 딥 러닝을 구현하는 대표적인 인공 신경망일 수 있다. 한편 용어 '딥 러닝'은 용어 '심층 학습'과 혼용되어 사용될 수 있다.

인공 신경망은 훈련 데이터(training data)를 이용하여 학습(training)될 수 있다. 여기서 학습이란, 입력 데이터를 분류(classification)하거나 회귀분석(regression)하거나 군집화(clustering)하는 등의 목적을 달성하기 위하여, 학습 데이터를 이용하여 인공 신경망의 파라미터(parameter)를 결정하는 과정을 의미할 수 있다.

인공신경망의 파라미터의 대표적인 예시로써, 시냅스에 부여되는 가중치(weight)나 뉴런에 적용되는 편향(bias)을 들 수 있다. 훈련 데이터에 의하여 학습된 인공 신경망은, 입력 데이터를 입력 데이터가 가지는 패턴에 따라 분류하거나 군집화 할 수 있다. 한편 훈련 데이터를 이용하여 학습된 인공 신경망은 본 명세서에서는 학습 모델(a trained model)이라 명칭될 수 있다.

인공 신경망의 학습 방식은 크게, 지도 학습, 비 지도 학습, 준 지도 학습(Semi-Supervised Learning), 강화 학습(Reinforcement Learning)으로 분류될 수 있으며, 본 발명의 실시예에서는 바람직하게 입력 데이터 중 일부분에 대해 지도 학습을 통해 학습 모델을 훈련하여 예측 모델을 훈련하였지만 본 발명이 이에 한정되는 것은 아니다.

지도 학습은 훈련 데이터로부터 하나의 함수를 유추해내기 위한 기계 학습의 한 방법이다. 그리고 이렇게 유추되는 함수 중, 연속적인 값을 출력하는 것을 회귀분석(Regression)이라 하고, 입력 벡터의 클래스(class)를 예측하여 출력하는 것을 분류(Classification)라고 할 수 있다.

지도 학습에서는, 훈련 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시킨다. 여기서 레이블이란, 훈련 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다.

본 명세서에서는 훈련 데이터가 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과값)을 레이블 또는 레이블링 데이터(labeling data)이라 명칭 할 수도 있다.

또한 본 명세서에서는, 인공 신경망의 학습을 위하여 훈련 데이터에 레이블을 설정하는 것을, 훈련 데이터에 레이블링 데이터를 레이블링(labeling) 한다고 명칭한다.

이 경우 훈련 데이터와 훈련 데이터에 대응하는 레이블은 하나의 트레이닝 셋(training set)을 구성하고, 인공신경망에는 트레이닝 셋의 형태로 입력될 수 있다.

한편 훈련 데이터는 복수의 특징(feature)을 나타내고, 훈련 데이터에 레이블이 레이블링 된다는 것은 훈련 데이터가 나타내는 특징에 레이블이 달린다는 것을 의미할 수 있다. 이 경우 훈련 데이터는 입력 객체의 특징을 벡터 형태로 나타낼 수 있다.

인공 신경망은 훈련 데이터와 레이블링 데이터를 이용하여, 훈련 데이터와 레이블링 데이터의 연관 관계에 대한 함수를 유추할 수 있다. 그리고, 인공 신경망에서 유추된 함수에 대한 평가를 통해 인공 신경망의 파라미터가 결정(최적화)될 수 있다.

도 10은 본 발명에서 이용되는 인공신경망 훈련을 위한 장치(500)의 일례를 나타낸다. 신경망 장치(500)는 훈련 데이터를 이용하여 기계 학습을 수행할 수 있는 장치로서, 인공 신경망으로 구성된 모델을 이용하여 학습하는 장치를 포함할 수 있다.

즉, 신경망 훈련 장치는 데이터 마이닝, 데이터 분석, 지능형 의사 결정 및 기계 학습 알고리즘을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성될 수 있다. 여기서, 기계 학습 알고리즘은 딥 러닝 알고리즘을 포함할 수 있다.

신경망 학습 장치(500)는 적어도 하나의 외부 장치 또는 단말기와 통신할 수 있고, 외부 장치를 대신하여 혹은 외부장치를 도와 데이터를 분석하거나 학습하여 결과를 도출할 수 있다. 여기서, 다른 장치를 도운다는 의미는 분산 처리를 통한 연산력의 분배를 의미할 수 있다.

신경망 학습 장치(500)는 인공 신경망을 학습하기 위한 장치로서, 통상적으로 서버를 의미할 수 있고, 신경망 학습 서버 등으로 지칭할 수 있다. 신경망 학습 장치(500)는 주기적으로 혹은 요청에 의하여 외부 장치(분석장치)에 기계 학습 또는 딥 러닝에 의하여 학습한 모델을 전송할 수 있다.

신경망 학습 장치(100)는 통신부(Communication Unit, 510), 입력부(Input Unit, 520), 메모리(Memory, 530), 러닝 프로세서(Learning Processor, 540), 및 프로세서(Processor, 560) 등을 포함할 수 있다.

통신부(510)는 무선 통신부(미도시) 및 인터페이스부(미도시)를 포함하는 구성을 의미할 수 있다. 즉, 통신부(510)는 유무선 통신이나 인터페이스를 통하여 드론과 같은 다른 장치와 데이터를 송수신할 수 있다.

입력부(520)는 모델 학습을 위한 훈련 데이터 또는 학습된 모델(a trained model)을 이용하여 출력을 획득하기 위한 입력 데이터 등을 획득할 수 있다. 입력부(520)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 러닝 프로세서(540) 또는 프로세서(560)는 획득한 데이터를 전처리하여 모델 학습에 입력이 가능한 훈련 데이터 또는 전처리된 입력 데이터를 생성할 수 있다.

메모리(530)는 러닝 프로세서(540) 또는 신경망 학습 장치(500)에서 학습된 모델을 저장할 수 있다. 이때, 메모리(530)는 필요에 따라 학습된 모델을 학습 시점 또는 학습 진척도 등에 따라 복수의 버전으로 구분하여 저장할 수 있다. 이때, 메모리(530)는 입력부(520)에서 획득한 입력 데이터, 모델 학습을 위하여 이용되는 학습 데이터(또는 훈련 데이터), 모델의 학습 히스토리 등을 저장할 수 있다. 이때, 메모리(530)에 저장된 입력 데이터는 모델 학습에 적합하게 가공된 데이터뿐만 아니라, 가공되지 않은 입력 데이터 그 자체일 수 있다.

메모리(530)는 모델 저장부(531) 및 데이터베이스(532) 등을 포함할 수 있다. 모델 저장부(531)는 러닝 프로세서(540)을 통하여 학습 중인 또는 학습된 신경망 모델(또는 인공 신경망, 531a)을 저장하며, 학습을 통하여 모델이 업데이트되면 업데이트 된 모델을 저장한다. 이때, 모델 저장부(531)는 필요에 따라 학습된 모델을 학습 시점 또는 학습 진척도 등에 따라 복수의 버전으로 구분하여 저장할 수 있다.

데이터베이스(532)는 입력부(520)에서 획득한 입력 데이터, 모델 학습을 위하여 이용되는 학습 데이터(또는 훈련 데이터), 모델의 학습 히스토리 등을 저장할 수 있다. 데이터베이스(532)에 저장된 입력 데이터는 모델 학습에 적합하게 가공된 데이터뿐만 아니라, 가공되지 않은 입력 데이터 그 자체일 수 있다.

러닝 프로세서(540)는 훈련 데이터 또는 트레이닝 셋(training set)을 이용하여 인공 신경망(131a)을 훈련(training, 또는 학습)시킬 수 있다. 러닝 프로세서(540)는 프로세서(560)가 입력부(520)를 통해 획득한 입력 데이터를 전처리한 데이터를 바로 획득하여 인공 신경망(531a)을 학습하거나, 데이터베이스(532)에 저장된 전처리된 입력 데이터를 획득하여 인공 신경망(531a)을 학습할 수 있다.

구체적으로, 러닝 프로세서(540)는 앞서 설명한 다양한 학습 기법을 이용하여 인공 신경망(531a)을 반복적으로 학습시킴으로써, 인공 신경망(531a)의 최적화된 모델 파라미터들을 결정할 수 있다. 본 명세서에서는 훈련 데이터를 이용하여 학습됨으로써 파라미터가 결정된 인공 신경망을 학습 모델 또는 학습된 모델(a trained model)이라 칭할 수 있다.

이때, 학습 모델은 통신부(510)를 통해 포트 코드 예측 시스템에 전송되어 탑재될 수도 있다. 또한, 학습 모델이 업데이트되는 경우, 업데이트된 학습 모델은 통신부(510)를 통해 포트 코드 예측 시스템에 전송되어 탑재될 수 있다.

러닝 프로세서(540)는 신경망 학습 장치(500)에 통합되거나 구현된 메모리를 포함할 수 있다. 일부 실시 예에서, 러닝 프로세서(540)는 메모리(530)를 사용하여 구현될 수 있다. 선택적으로 또는 부가적으로, 러닝 프로세서(540)는 단말기에 직접 결합된 외부 메모리 또는 단말기와 통신하는 서버에서 유지되는 메모리와 같이 단말기와 관련된 메모리를 사용하여 구현될 수 있다.

이상의 설명에서 돼지 질병 판단은 먼저 소리에 기초하여 질병 유무를 판단하고 이후 영상 분석을 통해 돼지 질명 유무를 결정하는 것으로 설명되고 있지만 본 발명은 이에 한정되는 것은 아니고, 음성 및 영상 데이터를 동시에 분석하고 이를 통해 돼지 질병을 판별하도록 구성될 수도 있다는 것은 당업자에게 자명하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(Command)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리요소(Processing Element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor)와 같은, 다른 처리 구성(Processing Configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(Code), 명령(Command), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(Collectively)처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(Component), 물리적 장치, 가상 장치(Virtual Equipment), 컴퓨터 저장매체 또는 장치에 구체화(Embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속하는 것으로 해석되어야만 한다.

100: 데이터 수집 장치 200: 인공지능 분석부
300: 인공지능 학습 서버 110: 음향 데이터 수집 수단
120: 제1 영상 데이터 수집 수단 130: 제2 영상데이터 수집 수단
140: 제3 영상 데이터 수집 수단

Claims (6)

1. 돈사 내에 설치되는 데이터 수집수단; 데이터 수집 수단에서 수집된 데이터를 분석하여 돼지 질병 발생 유무를 판단하는 인공지능 분석부; 및 인공지능 분석부에 네트워크를 통해 연결되는 데이터베이스 서버를 포함하는 인공지능기반 돼지 질병 관리 시스템에 있어서,
   상기 데이터 수집수단은 영상 데이터 수집 수단 및 음향 데이터 수집 수단을 포함하고,
   상기 영상 데이터 수집 수단은, 돈사 내 돼지를 촬영하기 위한 RBG 카메라, 돼지의 열영상을 촬영하는 열화상 카메라, 및 돼지를 포함한 돈사 내부를 촬영하기 위한 뎁스 카메라를 포함하고,
   상기 음향 데이터 수집 수단은 돈사 내 돼지 소리를 수집하기 위한 마이크로폰을 포함하고,
   인공지능 분석부는 상기 마이크로폰으로부터 수집된 돼지 소리 데이터를 스펙트럼 데이터로 변환하여 변환된 스펙트럼 데이터를 입력으로 하여 돼지 소리를 분석하기 위한 인공지능기반의 음향 분석 모듈을 포함하고, 인공지능기반의 음향 분석 모듈은 돼지의 소리 데이터를 통해 돼지의 이상 유무를 판단하도록 구성되고,
   인공지능 분석부는 열화상 카메라로부터 취득된 열화상 영상으로부터 돼지의 체온을 분석하기 위한 인공지능기반의 체온 분석 모듈을 더 포함하고,
   상기 인공지능기반의 행동패턴 분석 모듈은 돼지 체온 변화에 기반하여 돼지의 이상유무를 판단하도록 구성되고,
   상기 인공지능 분석부는 뎁스 카메라로부터의 깊이 영상을 분석하기 위한 깊이영상 분석부를 더 포함하고,
   상기 깊이영상 분석부는 뎁스 카메라로부터 수신된 깊이 정보를 이용하여 세그먼트화된 돼지를 탐지하되, 근접한 돼지들을 분리하여 세그먼트화하기 위해 근접한 돼지에 하나의 바운딩 박스가 표시되었을 경우 생성되는 경계선이 하나 일 때 해당 경계선으로 근접 돼지를 분리하고, 근접한 돼지에 두 개의 바운딩 박스가 표시될 경우 경계선과 분리되는 돼지의 크기에 대한 임계값을 설정하고 설정된 임계값에 따라 바운딩 박스에 경계선을 표시하여 근접한 돼지를 분리하고, 근접한 돼지에 바운딩 박스가 잘못 표시되거나 기준 임계값에 미달하면 오목점을 이용한 근접 돼지 분리 기법을 수행하여 근접한 돼지를 분리하도록 구성된 것을 특징으로 하는
   인공지능기반 돼지 질병 관리 시스템.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 제1항에 있어서,
   돼지 질병 판단부를 더 포함하고,
   상기 돼지 질병 판단부는 돼지의 행동 패턴, 돼지의 체온 변화 변화, 돼지의 소리 스펙트럼 패턴을 조합하여 돼지의 질병을 판단하도록 구성된 것을 특징으로 하는
   인공지능기반 돼지 질병 관리 시스템.

Images