KR102282295B1 - 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템 및 방법 - Google Patents
딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템 및 방법 Download PDFInfo
- Publication number
- KR102282295B1 KR102282295B1 KR1020200138074A KR20200138074A KR102282295B1 KR 102282295 B1 KR102282295 B1 KR 102282295B1 KR 1020200138074 A KR1020200138074 A KR 1020200138074A KR 20200138074 A KR20200138074 A KR 20200138074A KR 102282295 B1 KR102282295 B1 KR 102282295B1
- Authority
- KR
- South Korea
- Prior art keywords
- pig
- eeg
- disease
- pattern
- change
- Prior art date
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 65
- 238000013135 deep learning Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title description 42
- 201000010099 disease Diseases 0.000 claims abstract description 90
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 90
- 238000004458 analytical method Methods 0.000 claims abstract description 86
- 230000008859 change Effects 0.000 claims abstract description 85
- 230000033001 locomotion Effects 0.000 claims abstract description 54
- 241000282887 Suidae Species 0.000 claims abstract description 34
- 206010011224 Cough Diseases 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 244000144972 livestock Species 0.000 claims abstract description 25
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 24
- 230000036760 body temperature Effects 0.000 claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims abstract description 20
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 230000001788 irregular Effects 0.000 claims abstract description 9
- 208000031636 Body Temperature Changes Diseases 0.000 claims abstract description 7
- 230000003542 behavioural effect Effects 0.000 claims abstract description 7
- 238000007726 management method Methods 0.000 claims description 23
- 230000002159 abnormal effect Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 17
- 230000000241 respiratory effect Effects 0.000 claims description 11
- 230000001144 postural effect Effects 0.000 abstract description 2
- 241000282898 Sus scrofa Species 0.000 description 175
- 238000013527 convolutional neural network Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 15
- 241001465754 Metazoa Species 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 206010037660 Pyrexia Diseases 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 6
- 230000001154 acute effect Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000001629 suppression Effects 0.000 description 6
- 208000024891 symptom Diseases 0.000 description 6
- 206010010904 Convulsion Diseases 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 241000701386 African swine fever virus Species 0.000 description 4
- 206010012735 Diarrhoea Diseases 0.000 description 4
- 208000007212 Foot-and-Mouth Disease Diseases 0.000 description 4
- 241000710198 Foot-and-mouth disease virus Species 0.000 description 4
- 241000724675 Hepatitis E virus Species 0.000 description 4
- 208000012902 Nervous system disease Diseases 0.000 description 4
- 208000025966 Neurological disease Diseases 0.000 description 4
- 241000701093 Suid alphaherpesvirus 1 Species 0.000 description 4
- 241000700605 Viruses Species 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000740 bleeding effect Effects 0.000 description 4
- 230000002496 gastric effect Effects 0.000 description 4
- 208000021760 high fever Diseases 0.000 description 4
- 208000015181 infectious disease Diseases 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 208000011580 syndromic disease Diseases 0.000 description 4
- 241001148534 Brachyspira Species 0.000 description 3
- 230000037396 body weight Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 241000238876 Acari Species 0.000 description 2
- 208000030090 Acute Disease Diseases 0.000 description 2
- 208000007407 African swine fever Diseases 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 2
- 206010010741 Conjunctivitis Diseases 0.000 description 2
- 208000000059 Dyspnea Diseases 0.000 description 2
- 206010013975 Dyspnoeas Diseases 0.000 description 2
- 241000710831 Flavivirus Species 0.000 description 2
- 208000005577 Gastroenteritis Diseases 0.000 description 2
- 206010069767 H1N1 influenza Diseases 0.000 description 2
- 208000032843 Hemorrhage Diseases 0.000 description 2
- 206010023232 Joint swelling Diseases 0.000 description 2
- 241001148567 Lawsonia intracellularis Species 0.000 description 2
- 206010024264 Lethargy Diseases 0.000 description 2
- 208000001572 Mycoplasma Pneumonia Diseases 0.000 description 2
- 201000008235 Mycoplasma pneumoniae pneumonia Diseases 0.000 description 2
- 208000009620 Orthomyxoviridae Infections Diseases 0.000 description 2
- 241000606860 Pasteurella Species 0.000 description 2
- 241000710778 Pestivirus Species 0.000 description 2
- 241000132158 Phacochoerus Species 0.000 description 2
- 208000005342 Porcine Reproductive and Respiratory Syndrome Diseases 0.000 description 2
- 241000125945 Protoparvovirus Species 0.000 description 2
- 241000702670 Rotavirus Species 0.000 description 2
- 206010039438 Salmonella Infections Diseases 0.000 description 2
- 206010053459 Secretion discharge Diseases 0.000 description 2
- 206010047700 Vomiting Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000004596 appetite loss Effects 0.000 description 2
- 210000003050 axon Anatomy 0.000 description 2
- 239000003124 biologic agent Substances 0.000 description 2
- 208000034158 bleeding Diseases 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000001684 chronic effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011534 incubation Methods 0.000 description 2
- 230000002458 infectious effect Effects 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 235000021266 loss of appetite Nutrition 0.000 description 2
- 208000019017 loss of appetite Diseases 0.000 description 2
- 230000027939 micturition Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 208000037920 primary disease Diseases 0.000 description 2
- 208000009305 pseudorabies Diseases 0.000 description 2
- 210000000664 rectum Anatomy 0.000 description 2
- 230000001850 reproductive effect Effects 0.000 description 2
- 206010039447 salmonellosis Diseases 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000037921 secondary disease Diseases 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 208000013220 shortness of breath Diseases 0.000 description 2
- 201000010740 swine influenza Diseases 0.000 description 2
- 231100000419 toxicity Toxicity 0.000 description 2
- 230000001988 toxicity Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241001529453 unidentified herpesvirus Species 0.000 description 2
- 244000052613 viral pathogen Species 0.000 description 2
- 230000003612 virological effect Effects 0.000 description 2
- 230000001018 virulence Effects 0.000 description 2
- 230000008673 vomiting Effects 0.000 description 2
- 230000004580 weight loss Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 229910021607 Silver chloride Inorganic materials 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- GTKRFUAGOKINCA-UHFFFAOYSA-M chlorosilver;silver Chemical compound [Ag].[Ag]Cl GTKRFUAGOKINCA-UHFFFAOYSA-M 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- UOJMTSCORVQOHS-UHFFFAOYSA-N pachypodol Natural products COc1cc(ccc1O)C2=C(C)C(=O)c3c(O)cc(C)cc3O2 UOJMTSCORVQOHS-UHFFFAOYSA-N 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- G06K9/00362—
-
- G06K9/46—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Environmental Sciences (AREA)
- Animal Husbandry (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Agronomy & Crop Science (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Biodiversity & Conservation Biology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 다른 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템은 돈사 내의 돼지 객체의 머리에 부착되어, 상기 돼지 객체의 뇌파신호를 측정하여 전송하는 뇌파탐지모듈; 돈사 내의 돼지 객체의 모션 이미지를 촬영하는 제1 촬상장치; 상기 돼지 객체의 열화상 이미지를 생성하는 제2 촬상장치; 상기 돼지 객체의 호흡 및 기침소리를 포함하는 음향정보를 수집하는 음향수집장치; 상기 뇌파신호, 모션 이미지, 상기 열화상 이미지 및 상기 음향정보를 기초로 해당 돼지 객체의 질병발생유무 및 질병의 종류를 예측판단하는 모니터링 서버; 및 상기 모니터링 서버로부터 돼지 객체의 질병발생 알림메시지를 제공받는 관리자 단말을 포함하고, 상기 모니터링 서버는 상기 돼지 객체에서 감지된 뇌파신호의 뇌파변이도를 통해 돼지 객체의 수면상태, 이상발작 상태, 우울감과 관련된 뇌파(electroencephalographic, EEG)를 분류한 후, 레퍼런스와 비교하여 뇌파 변이도의 패턴을 분석하는 뇌파분석부; 상기 관리자 단말로부터 타겟 객체(돼지)가 입력되면, 타겟 객체(돼지)에 위치한 뇌파탐지모듈의 위치신호를 기초로 타겟 객체의 이동경로를 역순으로 트랙킹하는 경로 추적부; 타겟팅된 돼지객체의 이동경로 중 움직임 변화에 대한 모션 이미지를 기초로 상기 돼지 객체의 행동패턴 및 자세를 분석하는 행동패턴 및 자세 분석부; 상기 열화상 이미지를 기초로 상기 돼지 객체의 체온을 분석하는 체온 분석부; 상기 음향정보를 기초로 상기 돼지 객체의 호흡주기, 기침소리의 크기 및 발생주기, 울음소리 중 적어도 하나 이상을 분석하는 음향 분석부; 및 돼지 객체의 뇌파변이도 패턴, 행동패턴의 불규칙한 자세변화, 호흡주기, 기침소리를 기초로 질병 유무를 1차 판단하고, 1차 선별된 돼지객체의 부위별 체온 및 체온변화를 기초로 질병발생유무를 2차 판단하는 질병발생 판단부를 포함하고, 상기 행동자세 및 패턴 분석부는 상기 모션 이미지를 기초로 상기 돈사 내의 돼지의 포즈패턴변화를 Standing, Lying, Sitting 중 어느 하나로 분류하고, 상기 돼지가 이동 시에, 포즈패턴변화를 거리 대비 시간으로 분석하고, 상기 체온 분석부는 상기 포즈패턴변화에 따라 발열되는 돼지들의 부위 별 체온변화를 분석하고, 상기 질병발생 판단부는 딥러닝 학습 알고리즘을 학습한 질병이 발생된 돼지들의 시계열적 포즈패턴변화, 호흡주기, 기침소리의 변화를 기초로 상기 돼지 객체를 1차 선별하는 것을 특징으로 한다.
Description
본 발명은 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템 및 방법에 관한 것이다.
범죄 예방, 안전사고 방지, 재난 감시, 건물 내지 시설물 감시, 대중교통 이용 승객 현황 파악, 주차, 교통 상황 모니터링 등의 다양한 목적을 구현하기 위하여 실내외를 불문하고 광범위한 영역에서 CCTV 및 관련 시스템 내지 장치가 구축되어 있으며, 이러한 장치나 시스템은 다양한 사회적 필요성 등에 의하여 점진적으로 증가되는 추세라고 할 수 있다.
이러한 CCTV 및 관련 시스템은 다양한 방법으로 이용되고 있는데, 통상적으로 특정 영역의 다수 위치에 CCTV를 설치하고, 이들 복수 개의 CCTV로부터 촬영되는 영상 데이터를 관제를 위한 화면표시수단에 출력하고 관리자(관제자, 이용자 등)가 이를 시청하면서 특정 사건 등을 모니터링하거나 또는 다양한 장소 내지 위치의 영상을 DB화하고 사후적 증거 활용 등으로 이용하는 방법이 주로 이용된다.
또한, 종래 CCTV 내지 관제 시스템에는 영상 분석(VS, Video Analysis) 기법 등을 이용하여 촬영된 영상에서 관심 대상이 되는 객체를 추적하고 추적된 객체의 이동을 모니터링하는 방법도 적용되고 있으며, 최근에는 추적된 객체의 이상 행위, 행동 등이 감지되는 경우 관리자 등에게 알라밍(alarming) 정보를 전송하는 방법도 조금씩 이용되고 있다.
이러한 객체 검지 내지 추적 등의 방법에는 영상 차분 기법, 옵티컬 플로우(Optical Flow) 기법 등을 이용하여 영상 데이터 내에 포함된 객체를 검지하는 방법이 이용되며, 나아가 민쉬프트 기법(Mean-Shift), 칼만 필터 기법(Kalman Filter) 등을 이용하여 객체를 추적하는 방법들이 이용된다.
그러나 이러한 객체 검지 및 추적과 관련된 기법들은 해당 기법에 의하여 검지 및 추적할 수 있는 제한된 특정 환경이나 특징(Feature) 파라미터들에 의하여 프로세싱되도록 설계되어 있으므로 각 기법마다의 특화된 제한된 환경에서는 어느 정도 성능이 발현될 수 있으나 이들 기법에 적합하지 않은 상황이나 환경에서는 객체 검지 및 추적의 효율성이 상당히 저하되는 문제점이 발생하게 된다.
이러한 이유로 종래의 기법이나 방법들은 외부 환경의 노이즈 변화에 민감하게 반응하여 검지/추적의 신뢰성이 저하됨은 물론, 지속적으로 정확하게 객체를 검지하고 추적하는 것이 어려우므로 다양한 환경에 범용적으로 적용될 수 없는 본질적인 한계가 있다고 할 수 있다.
또한, 동적 객체의 검지 또는 추적이 이루어진다고 하더라도 종래 방법은 관리자 등에게 단순히 그 결과를 표출하는 정도의 수준이므로 그 결과를 적용하여 후속적으로 활용함에 있어서는 여전히 인적(人的) 의존적인 방법에 머물러 있어 시스템과 사람(관리자) 사이의 효과적인 인터페이싱을 구현하는 것은 거의 불가능한 상태라고 할 수 있다.
한편, 본 발명은 상술한 딥러닝 객체 검지 및 추적 기법과 돼지의 소리, 움직임에 따른 체적별 온도변화를 이용하여 돈사 내의 돼지의 이동경로 및 행위분석 뿐만 아니라, 돼지들의 질병발생 유무 및 질병종류를 예측할 수 있는 시스템 및 방법을 제시하고자 한다.
본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결할 수 있는 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템 및 방법을 제공하는 데 그 목적이 있다.
상기 과제를 해결하기 위한 본 발명의 다른 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템은 돈사 내의 돼지 객체의 머리에 부착되어, 상기 돼지 객체의 뇌파신호를 측정하여 전송하는 뇌파탐지모듈; 돈사 내의 돼지 객체의 모션 이미지를 촬영하는 제1 촬상장치; 상기 돼지 객체의 열화상 이미지를 생성하는 제2 촬상장치; 상기 돼지 객체의 호흡 및 기침소리를 포함하는 음향정보를 수집하는 음향수집장치; 상기 뇌파신호, 모션 이미지, 상기 열화상 이미지 및 상기 음향정보를 기초로 해당 돼지 객체의 질병발생유무 및 질병의 종류를 예측판단하는 모니터링 서버; 및 상기 모니터링 서버로부터 돼지 객체의 질병발생 알림메시지를 제공받는 관리자 단말을 포함하고, 상기 모니터링 서버는 상기 돼지 객체에서 감지된 뇌파신호의 뇌파변이도를 통해 돼지 객체의 수면상태, 이상발작 상태, 우울감과 관련된 뇌파(electroencephalographic, EEG)를 분류한 후, 레퍼런스와 비교하여 뇌파 변이도의 패턴을 분석하는 뇌파분석부; 상기 관리자 단말로부터 타겟 객체(돼지)가 입력되면, 타겟 객체(돼지)에 위치한 뇌파탐지모듈의 위치신호를 기초로 타겟 객체의 이동경로를 역순으로 트랙킹하는 경로 추적부; 타겟팅된 돼지객체의 이동경로 중 움직임 변화에 대한 모션 이미지를 기초로 상기 돼지 객체의 행동패턴 및 자세를 분석하는 행동패턴 및 자세 분석부; 상기 열화상 이미지를 기초로 상기 돼지 객체의 체온을 분석하는 체온 분석부; 상기 음향정보를 기초로 상기 돼지 객체의 호흡주기, 기침소리의 크기 및 발생주기, 울음소리 중 적어도 하나 이상을 분석하는 음향 분석부; 및 돼지 객체의 뇌파변이도 패턴, 행동패턴의 불규칙한 자세변화, 호흡주기, 기침소리를 기초로 질병 유무를 1차 판단하고, 1차 선별된 돼지객체의 부위별 체온 및 체온변화를 기초로 질병발생유무를 2차 판단하는 질병발생 판단부를 포함하고, 상기 행동패턴 및 자세 분석부는 상기 모션 이미지를 기초로 상기 돈사 내의 돼지의 포즈패턴변화를 Standing, Lying, Sitting 중 어느 하나로 분류하고, 상기 돼지가 이동 시에, 포즈패턴변화를 거리 대비 시간으로 분석하고, 상기 체온 분석부는 상기 포즈패턴변화에 따라 발열되는 돼지들의 부위 별 체온변화를 분석하고, 상기 질병발생 판단부는 딥러닝 학습 알고리즘을 학습한 질병이 발생된 돼지들의 시계열적 포즈패턴변화, 호흡주기, 기침소리의 변화를 기초로 상기 돼지 객체를 1차 선별하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 다른 일 실시예에 따른 딥러닝 기반 객체 추적 및 행위 분석을 이용한 스마트축사관리방법은 뇌파탐지모듈을 이용하여 돈사 내의 돼지 객체의 뇌파신호를 측정하는 단계; 경로 추적부에서 관리자 단말로부터 타겟 객체(돼지)를 입력받으면, 상기 타겟 객체(돼지)에 위치한 뇌파탐지모듈의 위치신호를 기초로 타겟 객체의 이동경로를 역순으로 트랙킹하는 단계; 뇌파분석부에서 돼지 객체에서 감지된 뇌파신호의 뇌파변이도를 통해 돼지들의 수면상태, 이상발작 상태, 우울감과 관련된 뇌파(electroencephalographic, EEG)를 분류한 후, 레퍼런스와 비교하여 뇌파 변이도의 패턴을 분석하는 단계; 행동패턴 및 자세 분석부에서 타겟팅된 돼지객체의 이동경로 중 움직임 변화에 대한 모션 이미지를 기초로 상기 돼지 객체가 이동 시에, 포즈패턴변화를 거리 대비 시간으로 분석한 후, 질병걸린 돼지들의 표본 데이터와 비교를 통해 행동이상 여부를 판단하는 단계; 해당 돼지 객체가 행동이상으로 판단되면, 음향정보수집부에서 돼지 객체의 호흡 및 기침소리를 포함하는 음향정보를 수집하는 단계; 질별발생 판단부에서 상기 타겟 객체(돼지)의 뇌파변이도 패턴, 행동패턴의 불규칙한 자세변화, 호흡주기, 기침소리를 기초로 질병 유무를 1차 판단하는 단계; 상기 타겟 객체(돼지)가 질병발생으로 판단되면, 제2 촬상장치에서 해당 돼지 객체의 신체 부위별 열화상 이미지를 수집하는 단계; 질병발생 판단부에서 상기 열화상 이미지를 기초로 해당 돼지 객체의 질병발생유무 및 질병의 종류를 예측하는 단계; 및 해당 돼지 객체가 질병에 걸린 것으로 예측되면, 알림부에서 질병발생 알림메시지를 생성하여 관리자 단말로 발송하는 단계를 포함한다.
본 발명의 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템 및 방법을 이용하면, 딥러닝 알고리즘을 통해 돈사 내의 객체(돼지)의 종류, 이동패턴, 체면적/체중변화, 포즈패턴변화를 손쉽게 판단할 수 있고, 더 나아가 객체(돼지)의 이동패턴, 체면적/체중변화, 포즈패턴변화에 따른 이상(질병)상태를 조기에 예측/예방할 수 있다는 이점이 있다.
따라서, 본 발명의 다른 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템 및 방법은 타겟팅된 돼지 객체의 포즈패턴변화를 거리 대비 시간으로 분석한 결과값으로 기초로 해당 돼지 객체의 행동이상 여부를 탐지하고, 행동 이상으로 탐지된 돼지 객체의 경우, 돼지 객체의 뇌파변이 패턴, 포즈패턴변화에 따른 호흡 및 기침소리로 1차 질병발생 유무를 예측하고, 이후, 포즈패턴변화에 따른 신체 분위별 체온변화를 토대로 2차 질병발생 유무를 예측함으로써, 체적으로 돼지들의 질병발생 여부를 예측할 수 있다는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 CNN 아키텍처의 일 예시도이다.
도 3은 본 발명에서 적용한 더 빠른 R-CNN(Faster R-CNN) 모델의 설명도이다.
도 4는 본 발명에서 적용한 FCN(Fully convolution networks) 모델의 설명도이다.
도 5는 돈사별/개체별 이동경로 및 포즈변화패턴을 추출하여 표시한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리방법을 설명한 흐름도이다.
도 7은 본 발명의 다른 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템을 나타낸 블록도이다.
도 8은 음향정보수집부에서 수집된 음향정보 내에서 호흡 및 기침소리, 울음소리, 배뇨소리를 주변소리로부터 필터링하는 과정을 나타낸 일 예시도이다.
도 9는 도 7의 뇌파분석부에서 분류한 뇌파들의 파형을 나타낸 일 예시도이다.
도 10은 본 발명의 다른 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리방법을 설명한 흐름도이다.
도 11은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시한 도이다.
도 2는 본 발명의 일 실시예에 따른 CNN 아키텍처의 일 예시도이다.
도 3은 본 발명에서 적용한 더 빠른 R-CNN(Faster R-CNN) 모델의 설명도이다.
도 4는 본 발명에서 적용한 FCN(Fully convolution networks) 모델의 설명도이다.
도 5는 돈사별/개체별 이동경로 및 포즈변화패턴을 추출하여 표시한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리방법을 설명한 흐름도이다.
도 7은 본 발명의 다른 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템을 나타낸 블록도이다.
도 8은 음향정보수집부에서 수집된 음향정보 내에서 호흡 및 기침소리, 울음소리, 배뇨소리를 주변소리로부터 필터링하는 과정을 나타낸 일 예시도이다.
도 9는 도 7의 뇌파분석부에서 분류한 뇌파들의 파형을 나타낸 일 예시도이다.
도 10은 본 발명의 다른 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리방법을 설명한 흐름도이다.
도 11은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시한 도이다.
이하, 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예 및 다른 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템 및 방법을 보다 상세하게 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템을 나타낸 블록도이고, 도 2는 본 발명의 일 실시예에 따른 CNN 아키텍처의 일 예시도이고, 도 3은 본 발명에서 적용한 더 빠른 R-CNN(Faster R-CNN) 모델의 설명도이고, 도 4는 본 발명에서 적용한 FCN(Fully convolution networks) 모델의 설명도이고, 도 5는 돈사별/개체별 이동경로 및 포즈변화패턴을 추출하여 표시한 예시도이다.
도 1에 도시된 본 발명의 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템(10)은 영상획득부(100) 및 인공지능서버(200)를 포함한다.
상기 영상획득부(200)는 카메라로부터 돈사(豚舍) 내의 객체(돼지)들의 객체이미지(얼굴, 몸, 다리 등)를 획득한다. 일 실시예에서, CCTV 또는 IPTV 카메라로부터 돈사(豚舍) 내의 돼지들의 영상을 획득할 수 있고, 추가적으로 유무선 통신망을 통해 수집되는 돼지 부분별 이미지를 획득하는 것도 가능하다.
다음으로, 인공지능서버(200)는 돈사영상 내의 복수 개의 객체(돼지) 영상 영역을 추출하고, 딥러닝 학습 알고리즘을 이용하여 추출된 복수 개의 객체(돼지) 영상 영역 내에서 객체(돼지)의 부위별 이미지 블록(patch)을 분할한 후, 상기 부위별 이미지 블록(patch)의 특징들을 학습하고, 상기 부위별 이미지 블록(pach)의 특징으로 기초로 상기 돈사 내의 객체(돼지)의 종류, 이동패턴, 체면적/체중변화, 포즈패턴변화를 판단하여, 객체(돼지)의 이상상태를 예측하는 서버일 수 있다.
보다 구체적으로, 인공지능서버(200)는 객체인식부(210), 딥러닝 학습부(220), 객체추적부(230), 객체개체 분석부(240), 객체포즈패턴변화 분석부(250), Heatmap 생성부(260), 통계처리부(270), 이상상태예측부(280) 및 체중변화 분석부(290)를 포함할 수 있다.
한편, 본원에서 설명하는 객체인식부(210), 딥러닝 학습부(220), 객체추적부(230), 객체개체 분석부(240), 객체포즈패턴변화 분석부(250), Heatmap 생성부(260), 통계처리부(270), 이상상태예측부(280) 및 체중변화 분석부(290)는 단말 및/또는 서버 형태로 구성될 수 있고, 네트워크 망을 통해 서로 통신할 수 있다.
여기서, 네트워크 망은 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet), Mobile WiMAX, HSDPA(High Speed Downlink Packet Access) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
상기 객체인식부(210)는 딥러닝 객체 인식 알고리즘을 이용하여 돈사영상 내의 객체(돼지) 영상 영역을 추출한다. 여기서, 딥러닝 객체 인식 알고리즘은 faster R-CNN based feature map(ResNet 101 backbone) 및 Fully Convolutional Network(FCN)를 포함한다(도 2 내지 도 4 참조).
도 2에서 볼 수 있듯이 CNN 모델은 컨볼루션(공진화), 활성화, 풀링, 정규화 및 완전 연결을 포함하는 레이어 스택을 통해 처리 한 후 입력에 대한 결과를 출력한다. 기존의 접근 방식과 비교하여 CNN은 이미지 사전 처리가 덜 필요하고 학습을 통해 기능을 추출하므로 피쳐 추출기의 수동 설계에 대한 전문 지식이 필요하지 않다는 장점이 있다. 또한, 영역 기반 지역 신경망 (R-CNN:Regions with CNN features)는 하나의 이미지에서 주요 객체들을 박스(Bounding box)로 표현하여 정확히 식별(identify) 하기 위한 것이다. 이는 이미지 데이터를 입력으로, 박스로 영역을 표시하고(Bounding box) 각 객체에 대한 라벨링(class label) 한 형태를 출력으로 갖는다. 즉, 이는 이미지 내에 물체가 있을 법한 영역 후보들을 먼저 제안하고 이들의 스코어를 매겨 물체를 인식하는 방법이다.
도 3을 참조, Faster R-CNN는 RPN(region proposal network)과 빠른 R-CNN 감지기를 포함한다. 오브젝트 감지에 더 빠른 R-CNN을 적용하는 과정에는 세 가지 주요 단계가 있다.
첫째, 컨볼루션 신경망 (convolutional neural network)이 특징 추출을 위해 이용되고, 피쳐 맵 (feature map)이 마지막 층에서 생성된다. 둘째, RPN은 기능 맵을 기반으로 다양한 종횡비와 축척으로 영역 제안(Regional Proposals)을 생성한다. 그리고 세 번째 단계에서 생성 된 영역 제안은 분류 및 바운딩 박스 회귀를 위해 고속 R-CNN 검출기로 공급한다.
보다 구체적으로 CNN을 이용한 특징 추출 과정을 살펴보면, Zeiler-Fergus 네트워크의 CNN 레이어는 5 개의 컨벌루션 레이어와 3개의 최대 풀링 레이어를 포함한다.
컨볼루션 층은 입력 이미지의 픽셀 어레이 위로 슬라이딩하는 필터를 사용하고, 필터와 서브 어레이 사이의 내적이 계산된다. 내적의 값과 바이어스 값이 추가되어 하위 배열에 대한 회선 결과가 얻어진다.
이때 필터 및 바이어스의 초기 가중치는 무작위로 할당되며 SGD (Stochastic Gradient descent) 알고리즘을 통해 교육 중에 계속 조정가능하다. 최대 풀링 계층은 입력 픽셀 배열의 하위 배열에서 최대 값을 가져 와서 입력 데이터의 공간 크기를 줄일 수 있다.
ReLU 함수는 활성화 함수로 사용되며 max (0, x) 함수로 요소 단위 활성화를 적용하여 계산 비용을 줄이고 정확도를 향상시킬 수 있다. 과도한 피팅 문제를 피하기 위해 드롭 아웃 레이어는 두 개의 인접한 레이어에 있는 뉴런 사이의 연결 부분을 특정 드롭아웃 속도로 연결 해제하도록 설계된다.
정규화 레이어는 학습 속도에 영향을 주지 않고 입력 이미지의 화이트닝을 돕기 위해 적용되며 높은 학습 속도와 빠른 수렴 속도로 이어질 수 있다.
또한, 영역 제안 네트워크(RPN)는 보다 빠른 R-CNN(faster R-CNN)에서 앵커를 사용하여 다양한 종횡비 및 비율로 객체 영역을 생성하도록 학습한다. 작은 슬라이딩 윈도우가 피쳐 맵 위로 미끄러지도록 제안 된 다음 더 낮은 차원의 피쳐 (ZF 네트워크의 경우 256 차원)로 투영된다.
2 개의 1×1 필터 및 ReLU 함수와의 컨볼루션 (convolution) 후, 추출 된 피쳐는 경계 박스 회귀 층 및 분류 층으로 각각 공급된다. 비 최대 억제(NMS)는 조합 (IoU)이 높은 제안서를 병합하는 데 사용될 수 있다. 이때 제안서는 객체 점수에 따라 순위가 매겨지며 최상위만 N 개의 순위가 매겨진 제안서가 보관된다.
그리고 RPN을 통해 생성된 영역 제안(Regional Proposals)은 고속 R-CNN 검출기의 입력 관심 영역 (RoI)으로 활용된다. 각 RoI에 대해, 컨볼루션 계층의 특징은 RoI 풀링 계층을 통해 고정 길이 벡터로 변환된다. 각 고정 길이 특징 벡터는 완전히 연결된 레이어의 시퀀스로 공급되고 최종 특징 벡터는 softmax 레이어로 공급되어 5개의 클래스에 대한 확률 점수와 경계 상자의 상대 좌표를 출력하는 회귀 레이어를 생성할 수 있다.
다음으로, 도 4를 참조, FCN(Fully Convolutional Network)는 Fully-Connected Layer를 그에 상응하는 Convolution Layer로 바꾸고, 그것을 통과시키는 부분까지는 CNN과 차이가 없고, 네트워크의 출력을 다르게 하고자 하는 알고리즘으로, 어떤 클래스에 대한 분류 점수가 아니라, 2차원 이미지 상의 분류 점수 맵을 생성하고자 하는 알고리즘이다.
한편, 상기 객체인식부(210)는 객체(돼지) 영상 영역에 대해 이진화, 세션화, 잡음제거 중 하나 이상의 전처리를 수행할 수 있다.
또한, 가우시안 필터(Gaussian filter), 라플라시안 필터(Laplacian filter), 가우시안 차(Difference of Gaussian: DoG) 및 캐니 에지 검출(Canny edge detection) 등을 이용하여, 돈사영상을 변형 또는 개선시킬 수 있다.
또한, 가우시안 필터 등을 이용하여 잡음을 제거하고(Noise reduction), 에지 성분 검출을 위한 그라디언트(gradient) 연산을 수행하며(gradient operation), 끊어진 에지 라인을 보간 하는 비 최대치 억제를 수행하고(non-maximum suppression), 에지 맵을 이진화하는 히스테리시스 경계화(Hysteresis thresholding)를 수행할 수 있다.
다음으로, 상기 딥러닝 학습부(220)는 상기 딥러닝 학습 알고리즘을 이용하여 추출된 복수 개의 객체(돼지) 영상 영역 내에서 객체(돼지)의 부위별 이미지 블록(patch)을 추출 및 분할한 후, 상기 부위별 이미지 블록(patch)의 특징들을 학습하고, 상기 부위별 이미지 블록(pach) 내에 인접한 인접객체를 분리하는 분리학습을 수행한 후, 상기 객체(돼지)의 종류(자도/모돈), 이동패턴, 포즈패턴변화의 학습데이터를 생성한다.
상기 딥러닝 학습부(220)는 상기 부분별 이미지 블록(patch)를 추출 및 분할 한 후, 배치 정규화(Batch Normalization)한 후, 객체의 부위별 오브젝트의 특징을 검증 및 학습한다.
참고로, 배치 정규화는 활성화 함수의 활성화 값 또는 출력값을 정규화하는 작업을 말한다. 신경망의 각 레이어(layer)에서 데이터(배치)의 분포를 정규화하는 작업이다. 일종의 노이즈를 추가하는 방법으로 이는 배치마다 정규화를 함으로써 전체 데이터에 대한 평균의 분산과 값이 달라질 수 있다.
각 히든 레이어(hidden layer)에서 정규화를 하면서 입력분포가 일정하게 되고, 이에 따라 학습률(learning rate)을 크게 설정해도 결과적으로 학습속도가 빨라지게 된다.
다시 말해, 배치 정규화는 학습 시의 미니배치를 한 단위로 정규화를 하는 것으로 분포의 평균이 0, 분산이 1이 되도록 정규화하는 것을 의미한다.
배치 정규화의 일 예로, 먼저, 입력으로 사용된 미니배치의 평균과 분산을 계산하고, 히든 레이어의 활성화값/출력값에 대해서 평균이 0, 분산이 1이 되도록 정규화(Normalization)을 한다. 결과적으로 데이터 분포가 덜 치우치게 되고, 배치 정규화 단계마다 확대 스케일 및 이동 변환을 수행한다.
한편, 딥러닝(Deep Learning)은 사물이나 데이터를 군집화하거나 분류하는 데 사용되는 기술이다. 많은 양의 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 기술이다.
이때, 데이터를 어떻게 분류할 것인가를 놓고 이미 많은 기계학습 알고리즘이 등장했다. 딥러닝은 인공신경망의 한계를 극복하기 위해 제안된 인공지능 학습방법이다.
본원에서 개시된 딥러닝 학습부(220)는 딥러닝 학습 알고리즘을 채용하며, 상기 딥러닝 학습 알고리즘은 Deep Belief Network, Autoencoder, CNN(Convolutional Neural Network), RNN(Recurrent Nerural Network), Deep Q-Network 등을 포함할 수 있고, 본 발명에서 열거한 딥러닝 학습 알고리즘은 일 예시일 뿐, 이에 한정되는 것은 아니다.
다음으로, 객체추적부(230)는 상기 학습 데이터를 기초로 상기 돈사영상 내에서 검출된 적어도 하나 이상의 객체(돼지)의 이동경로 패턴을 추적한다. 상기 객체추적부(230)는 Meanshift, camshift, kalman tracker, GOTURN, TLD 등의 딥러닝 객체 추적 알고리즘을 이용할 수 있다.
다음으로, 객체개체 분석부(240)는 상기 학습 데이터를 기초로 상기 돈사영상 내에서 검출된 적어도 하나 이상의 객체(돼지)의 종류, 돈사별 개체수를 분석한다.
다음으로, 객체포즈패턴변화 분석부(250)는 상기 학습 데이터를 기초로 상기 돈사영상 내에서 검출된 적어도 하나 이상의 객체(돼지) 영상 영역에서 객체(돼지)의 포즈변화패턴을 분석한다.
상기 객체포즈패턴변화 분석부(250)는 svm, Resnet, Alexnet, VGGNet, MobileNet 등을 이용할 수 있으며, 이에 한정되는 것은 아니다.
여기서, 상기 포즈변화패턴은 Standing(일어선상태), Lying(누운상태), Sitting(앉은상태) 중 적어도 하나의 자세변화이다.
다음으로, 체중변화 분석부(290)는 상기 학습 데이터를 기초로 상기 돈사영상 내에서 검출된 적어도 하나 이상의 객체(돼지)의 영상 영역에서 객체(돼지)의 체면적 및 상기 체면적에 따른 체중 변화를 분석판단한다.
상기 체중변화 분석부(290)는 체면적과 실체중과 소정의 상관관계식을 생성할 수 있고, 이를 통해 체중의 근사치를 산출하여 종자별 규격화 및 돼지 출하시기를 결정하는 중요한 데이터를 제공할 수도 있다.
상기 Heatmap 생성부(260)는 상기 학습 데이터 및 상기 이동경로 패턴을 기초로 상기 돈사영상 내에서 검출된 적어도 하나 이상의 객체(돼지) 영상 영역에서 객체(돼지)의 종류(자돈/모돈) 별 히트맵을 생성한다.
상기 통계처리부(270)는 상기 객체개체 분석부, 상기 객체추적부, 상기 객체행동 분석부 및 상기 Heatmap 생성부의 분석데이터를 기초로 상기 객체의 시간에 따른 포즈변화패턴을 분석한 행동변화 통계데이터를 생성한다.
상기 이상상태 예측부(280)는 상기 행동변화 통계데이터 및 상기 체중변화 분석부의 결과치를 기초로 상기 객체(돼지)의 이상상태(질병)를 예측한다.
상기 이상상태(질병)는 돼지 생식기 호흡기 증후군(PRRS), 돼지 인플루엔자(SIV), 돼지 유행성 설사병(PED), 아우제키스병, 브라키스피라 감염증, 돼지열병(CSF), 크리토스포리디움증, 구제역(FMD), E형 간염 바이러스(HEV), 로소니아인트라셀루라리스, 마이코플라즈마성 폐렴(M.hyo), 파르보바이러스(PPV), 파스투렐라병, 로타바이러스, 살모넬라증, 브라키스피라 하이오디센테리에, 돼지수포병, 전염성 위장염, 선무충증 중 적어도 하나 이상일 수 있다.
참고로, AFS는 아프리카돼지열병 바이러스(ASFV)에 의해 발생하고, ASFV는 집돼지, 혹멧돼지 및 강멧돼지 등을 감염하고, 이 병은 건강한 동물과 병에 걸린 동물이 직접 접촉하는 경우, 또는 감염된 먹이를 통해 간접적으로 접촉하는 경우는 물론 생물학적 매개체(연진드기 등)를 통해서도 전이되는 병일 수 있다.
AFS의 징후로는 과급성, 급성, 아급성 및 만성 형태로 일어날 수 있으며 폐사율은 0 ~ 100%까지 다양하다. 이는 돼지에 감염된 바이러스의 병독성에 따라 달라지고, 급성 질병인지 알아볼 수 있는 특성은 3~7일의 짧은 잠복기를 거쳐 고열(최대 42°C)이 이어지고 5~10일 내에 폐사에 이르는 현상이다. 가장 일관되게 나타나는 임상적인 징후는 식욕 부진, 우울증과 드러누워 지내는 행동 및 다른 징후 중에는 귀, 복부 및 다리 피부 출혈이나 호흡 곤란, 구토, 코 또는 직장에서 출혈을 일으키는 경우 등이 있으며 때로는 설사를 동반한다. 또한, 체중 감소, 관절 부종과 호흡기 문제 등입니다. 이 질병이 이런 형태를 띠는 경우는 집단 발병 시에는 극히 드물다는 특성이 있다.
아우제키스병(Aujeszky's disease)은 Pseudorabies virus(PRV, 가성광견병 바이러스)라는 헤르페스 바이러스에 의해 유발되는 전염성 바이러스 질병으로, 가장 흔한 형태로는 급성 열성 증후군이 있으며 주로 돼지(주된 바이러스 병원소)에게 영향을 미치지만 다른 동물 종 또한 이 병에 취약하다. 임상 징후는 감염된 동물의 연령 및 생리적 발달 상태에 따라 달라진다. 예컨대, 새끼 돼지의 경우, 신경 질환(선회운동, 발작)을 유발하고, 곧 폐사로 이어지고, 성장 중인 동물의 경우, 주로 호흡기와 위장 문제를 유발하여 성장을 지체시킨다.
돼지열병(CSF)은 돼지 및 야생 멧돼지의 전염병 중에서 아프타열(aphthous fever) 다음가는 가장 심각한 질병으로, 돼지 축산에 심각한 위협을 가하며, 사회경제적인 타격도 크다. 이 병은 플라비바이러스 과의 Pestivirus 속에 속하는 외피 보유 RNA에 의해 발생하고, CSF는 인간에게 전염될 수 없고, 감염시키는 바이러스의 독성과 동물의 성장 단계에 따라 다양한 방식으로 증상이 나타난다.
징후로는 과급성 형태로 병에 걸리면 사실상 아무런 징후가 없는 상태에서 48시간 이내에 죽음에 이를 수 있지만, 좀 더 보편적인 급성 형태로 병에 걸리면 첫 단계로 고열(최대 42°C) 증상이 발생하여 알아보기 쉽고, 이 단계에서 병에 걸린 동물은 무기력증에 빠지고 먹이를 먹지 않으며 눈에서 점액질의 분비물이 나오는 결막염 증상을 보이고, 위장과 호흡기 문제, 혈액 상태 불균형, 신경 장애를 일으킨다.
도 6은 본 발명의 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리방법을 설명한 흐름도이다.
도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리방법(S700)은 실시간으로 서로 다른 각도에서 돈사(豚舍)를 촬영한 복수 개의 돈사영상을 획득(S710)한다.
이후, 인공지능 서버(200)에서 돈사영상 내의 복수 개의 객체(돼지) 영상 영역을 추출하고, 딥러닝 학습 알고리즘을 이용하여 추출된 복수 개의 객체(돼지) 영상 영역 내에서 객체(돼지)의 부위별 이미지 블록(patch)을 분할한 후, 상기 부위별 이미지 블록(patch)의 특징들을 학습하고, 상기 부위별 이미지 블록(pach)의 특징으로 기초로 상기 돈사 내의 객체(돼지)의 종류, 이동패턴, 포즈패턴변화를 판단하여, 객체(돼지)의 이상상태를 예측(S720)한다.
상기 S720 과정은 다음과 같은 과정을 포함할 수 있다.
먼저, 객체인식부(210)에서 딥러닝 객체 인식 알고리즘을 이용하여 돈사영상 내의 객체(돼지) 영상 영역을 추출(S721)한다.
여기서, 딥러닝 객체 인식 알고리즘은 faster R-CNN based feature map(ResNet 101 backbone) 및 Fully Convolutional Network(FCN)를 포함한다.
상기 S721 과정은 객체(돼지) 영상 영역에 대해 이진화, 세션화, 잡음제거 중 하나 이상의 전처리를 수행하는 과정을 포함하고, 가우시안 필터(Gaussian filter), 라플라시안 필터(Laplacian filter), 가우시안 차(Difference of Gaussian: DoG) 및 캐니 에지 검출(Canny edge detection) 등을 이용하여, 돈사영상을 변형 또는 개선시킬 수 있는 과정일 수 있다.
또한, 가우시안 필터 등을 이용하여 잡음을 제거하고(Noise reduction), 에지 성분 검출을 위한 그라디언트(gradient) 연산을 수행하며(gradient operation), 끊어진 에지 라인을 보간 하는 비 최대치 억제를 수행하고(non-maximum suppression), 에지 맵을 이진화하는 히스테리시스 경계화(Hysteresis thresholding)를 수행하는 과정일 수 있다.
다음으로, S721 과정이 완료되면, 딥러닝 학습부(220)에서 딥러닝 학습 알고리즘을 이용하여 추출된 복수 개의 객체(돼지) 영상 영역 내에서 객체(돼지)의 부위별 이미지 블록(patch)을 분할한 후, 상기 부위별 이미지 블록(patch)의 특징들을 학습하고, 상기 부위별 이미지 블록(pach) 내에 인접한 인접객체를 분리하는 분리학습을 수행한 후, 상기 객체(돼지)의 종류(자도/모돈), 이동패턴, 포즈패턴변화의 학습데이터를 생성한다.
이후, 객체개체 분석부(240)에서 상기 학습 데이터를 기초로 상기 돈사영상 내에서 검출된 적어도 하나 이상의 객체(돼지)의 종류, 돈사별 개체수를 분석(S722)하고, 객체추적부(230)에서 상기 학습 데이터를 기초로 상기 돈사영상 내에서 검출된 적어도 하나 이상의 객체(돼지)의 이동경로 패턴을 추적(S723)한다.
이와 동시에, 상기 학습 데이터를 기초로 상기 돈사영상 내에서 검출된 적어도 하나 이상의 객체(돼지) 영상 영역에서 객체(돼지)의 포즈변화패턴을 분석(S723)한다. 여기서, 상기 포즈변화패턴은 Standing, Lying, Sitting 중 적어도 하나의 자세변화이다.
다음으로, 체중변화 분석부(290)에서 상기 학습 데이터를 기초로 상기 돈사영상 내에서 검출된 적어도 하나 이상의 객체(돼지)의 영상 영역에서 객체(돼지)의 체면적 및 상기 체면적에 따른 체중 변화를 분석판단(S724)하고, Heatmap 생성부(260)에서 상기 학습 데이터 및 상기 이동경로 패턴을 기초로 상기 돈사영상 내에서 검출된 적어도 하나 이상의 객체(돼지) 영상 영역에서 객체(돼지)의 종류(자돈/모돈) 별 히트맵을 생성(S725)한다.
이후, 통계처리부(270)에서 적어도 하나 이상의 객체(돼지)의 종류, 돈사별 개체수, 이동경로 패턴, 포즈변화패턴 및 히트맵을 기초로 상기 객체(돼지)의 시간에 따른 포즈변화패턴을 분석한 행동변화 통계데이터를 생성(S726)하고, 이상상태 예측부(280)에서 상기 행동변화 통계데이터 및 상기 체중변화를 기초로 상기 객체(돼지)의 이상상태(질병)를 예측(S727)한다.
상기 이상상태(질병)는 아프리카돼지열병(ASF), 돼지 생식기 호흡기 증후군(PRRS), 돼지 인플루엔자(SIV), 돼지 유행성 설사병(PED), 아우제키스병, 브라키스피라 감염증, 돼지열병(CSF), 크리토스포리디움증, 구제역(FMD), E형 간염 바이러스(HEV), 로소니아인트라셀루라리스, 마이코플라즈마성 폐렴(M.hyo), 파르보바이러스(PPV), 파스투렐라병, 로타바이러스, 살모넬라증, 브라키스피라 하이오디센테리에, 돼지수포병, 전염성 위장염, 선무충증 중 적어도 하나 이상일 수 있다.
참고로, AFS는 아프리카돼지열병 바이러스(ASFV)에 의해 발생하고, ASFV는 집돼지, 혹멧돼지 및 강멧돼지 등을 감염하고, 이 병은 건강한 동물과 병에 걸린 동물이 직접 접촉하는 경우, 또는 감염된 먹이를 통해 간접적으로 접촉하는 경우는 물론 생물학적 매개체(연진드기 등)를 통해서도 전이되는 병일 수 있다.
AFS의 징후로는 과급성, 급성, 아급성 및 만성 형태로 일어날 수 있으며 폐사율은 0 ~ 100%까지 다양하다. 이는 돼지에 감염된 바이러스의 병독성에 따라 달라지고, 급성 질병인지 알아볼 수 있는 특성은 3~7일의 짧은 잠복기를 거쳐 고열(최대 42°C)이 이어지고 5~10일 내에 폐사에 이르는 현상이다. 가장 일관되게 나타나는 임상적인 징후는 식욕 부진, 우울증과 드러누워 지내는 행동 및 다른 징후 중에는 귀, 복부 및 다리 피부 출혈이나 호흡 곤란, 구토, 코 또는 직장에서 출혈을 일으키는 경우 등이 있으며 때로는 설사를 동반한다. 또한, 체중 감소, 관절 부종과 호흡기 문제 등입니다. 이 질병이 이런 형태를 띠는 경우는 집단 발병 시에는 극히 드물다는 특성이 있다.
아우제키스병(Aujeszky's disease)은 Pseudorabies virus(PRV, 가성광견병 바이러스)라는 헤르페스 바이러스에 의해 유발되는 전염성 바이러스 질병으로, 가장 흔한 형태로는 급성 열성 증후군이 있으며 주로 돼지(주된 바이러스 병원소)에게 영향을 미치지만 다른 동물 종 또한 이 병에 취약하다. 임상 징후는 감염된 동물의 연령 및 생리적 발달 상태에 따라 달라진다. 예컨대, 새끼 돼지의 경우, 신경 질환(선회운동, 발작)을 유발하고, 곧 폐사로 이어지고, 성장 중인 동물의 경우, 주로 호흡기와 위장 문제를 유발하여 성장을 지체시킨다.
돼지열병(CSF)은 돼지 및 야생 멧돼지의 전염병 중에서 아프타열(aphthous fever) 다음가는 가장 심각한 질병으로, 돼지 축산에 심각한 위협을 가하며, 사회경제적인 타격도 크다. 이 병은 플라비바이러스 과의 Pestivirus 속에 속하는 외피 보유 RNA에 의해 발생하고, CSF는 인간에게 전염될 수 없고, 감염시키는 바이러스의 독성과 동물의 성장 단계에 따라 다양한 방식으로 증상이 나타난다.
징후로는 과급성 형태로 병에 걸리면 사실상 아무런 징후가 없는 상태에서 48시간 이내에 죽음에 이를 수 있지만, 좀 더 보편적인 급성 형태로 병에 걸리면 첫 단계로 고열(최대 42°C) 증상이 발생하여 알아보기 쉽고, 이 단계에서 병에 걸린 동물은 무기력증에 빠지고 먹이를 먹지 않으며 눈에서 점액질의 분비물이 나오는 결막염 증상을 보이고, 위장과 호흡기 문제, 혈액 상태 불균형, 신경 장애를 일으킨다.
본 발명의 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석 시스템 및 방법을 이용하면, 딥러닝 알고리즘을 통해 돈사 내의 객체(돼지)의 종류, 이동패턴, 체면적/체중변화, 포즈패턴변화를 손쉽게 판단할 수 있고, 더 나아가 객체(돼지)의 이동패턴, 체면적/체중변화, 포즈패턴변화에 따른 이상(질병)상태를 조기에 예측/예방할 수 있다는 이점이 있다.
도 7은 본 발명의 다른 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템의 블록도이다.
도 7에 도시된 바와 같이, 본 발명의 다른 일 실시에에 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템(500)은 뇌파탐지모듈(501), 제1 촬상장치(510), 제2 촬상장치(520), 음향수집장치(530), 모니터링서버(540) 및 관리자 단말(550)을 포함한다.
상기 뇌파탐지모듈(501)은 돈사 내의 돼지 객체 마다 부착되어, 돼지 객체의 뇌파신호를 감지하는 구성일 수 있다. 상기 뇌파탐지모듈(501)은 고유의 통신채널을 통해 후술하는 모니터링 서버(540)로 모듈 ID, 위치정보 및 돼지 객체에서 탐지된 뇌파신호를 전송한다.
상기 뇌파탐지모듈(501)은 0.5 Hz 내지 100 Hz의 밴드 패스 필터 및 500 Hz의 샘플링 속도와 10 kΩ 이하의 임피던 스에 해당하는 특성을 기반으로 동작하며, 은-염화은(Ag-AgCl) 패치형 전극을 사용하여 돼지 객체의 뇌파신호를 측정할 수 있다.
상기 제1 촬상장치(510)는 돈사 내의 돼지 객체의 모션 이미지를 촬영한다.
상기 제2 촬상장치(520)는 제1 촬상장치(510)에서 촬영된 돼지 객체의 열화상 이미지를 생성한다.
상기 음향수집장치(530)는 상기 제1 촬상장치(510) 및 제2 촬상장치(520)에서 촬영된 돼지 객체를 트래킹하면서, 돼지 객체에서 발생되는 소리, 예컨대, 호흡 및 기침소리, 울음소리, 배뇨소리 등을 포함하는 음향정보를 수집한다.
상기 모니터링 서버(540)는 뇌파신호, 모션 이미지, 열화상 이미지 및 음향정보를 기초로 해당 돼지 객체의 이상행동반응을 분석하고, 이상행동반응에 따른 질병발생유무 및 질병의 종류를 예측판단하고, 해당 돼지 객체가 질병에 걸린것으로 예측되면, 알림 메시지를 생성하여 제공한다.
보다 구체적으로, 상기 모니터링 서버(540)는 경로 추척부(541), 행동패턴 및 자세 분석부(542), 체온 분석부(543), 음향 분석부(544), 질병발생 판단부(545), 알림부(546), 행동패턴 학습부(547), 뇌파신호 분석부(548), 분석 파라미터 설정부(549)를 포함한다.
상기 뇌파분석부(548)는 돼지 객체에서 감지된 뇌파신호의 뇌파변이도를 통해 돼지들의 수면상태, 이상발작 상태, 우울감과 관련된 뇌파(electroencephalographic, EEG)를 분류한 후, 레퍼런스와 비교하여 뇌파 변이도의 패턴을 분석한다.
참고로, 뇌파분석부(548)는 돼지객체의 뇌파신호를 프리앰프(preamplifier: Model 1700, A-M Systems Inc., USA) 및 앰프(amplifier: CyberAmp 380, Axon Instruments Inc., USA)에 입력하여, 10,000배 증폭한 후 0.5 Hz 고역필터(high-pass filter) 및 60 Hz 저역필터(low-pass filter)로 필터링한 후, 신호들은 200 Hz의 샘플링 레이트(sampling rate)에서 데이터 획득 장치(data acquisition board: DigiData 1200A, Axon Instruments Inc., USA, or DAQ Pad, National Instruments Inc., USA)를 이용하여 수면상태, 이상발작 상태, 우울감과 관련된 뇌파(electroencephalographic, EEG)를 분류한다.
또한, 뇌파분석부(548)는 공지된 EEG 스펙트럼 분석(Lee M-G, et al., Experimental neurology, 2011; 20) 을 이용하여 뇌파 변이도의 패턴을 분석한다.
다음으로, 상기 경로 추적부(541)는 관리자 단말로부터 타겟 객체가 입력되면, 타겟 객체(돼지)에 위치한 뇌파탐지모듈(501)의 위치신호를 기초로 타겟 객체의 이동경로를 역순으로 트랙킹한다.
다음으로, 행동패턴 및 자세 분석부(542)는 타겟팅된 돼지객체의 이동경로 중 움직임 변화에 대한 모션 이미지를 기초로 상기 돼지 객체의 행동패턴 및 자세를 분석한다.
즉, 제1 지점에서 제2 지점으로 이동과정에서 발생되는 포즈패턴변화를 Standing, Lying, Sitting 중 어느 하나로 분류하고, 상기 돼지가 이동 시에, 포즈패턴변화를 거리 대비 시간으로 분석한다.
다음으로, 체온 분석부(543)는 상기 열화상 이미지를 기초로 돼지 객체의 체온을 분석한다. 보다 상세하게는 포즈패턴변화에 따라 발열되는 돼지들의 부위 별 체온변화를 분석한다.
다음으로, 음향 분석부(544)는 타켓팅된 돼지 객체의 포즈패턴변화에 따라 발생되는 음향정보를 기초로 상기 돼지 객체의 호흡주기, 기침소리의 크기 및 발생주기, 울음소리 중 적어도 하나 이상을 분석한다.
다음으로, 질병발생 판단부(545)는 돼지 객체의 뇌파변이도 패턴, 행동패턴의 불규칙한 자세변화, 호흡주기, 기침소리를 기초로 질병 유무를 1차 판단하고, 1차 선별된 돼지객체의 부위별 체온 및 체온변화를 기초로 질병발생유무를 2차 판단한다.
보다 구체적으로, 질병발생 판단부(545)는 딥러닝 학습 알고리즘을 학습한 질병이 발생된 돼지들의 뇌파변이도 패턴, 시계열적 포즈패턴의 불규칙변화, 호흡주기, 기침소리의 변화를 기초로 질병발생으로 의심되는 돼지 객체를 1차 선별한다.
다음으로, 알림부(546)는 2차 판단된 돼지 객체가 질병에 걸린것으로 예측하여, 알림 메시지를 생성하여 제공한다. 상기 알림 메시지는 예상되는 질병의 종류 및 해당 질병을 갖는 돼지의 표본 데이터를 함께 제공할 수 있다.
다음으로, 상기 행동패턴 학습부(547)는 질병으로 예측된 돼지 객체의 뇌파 변이패턴, 행동패턴, 자세변화, 호흡주기, 기침소리를 포함하는 정보를 학습 데이터로 등록하여 학습한다. 학습된 데이터는 표본 데이터로 활용한다.
다음으로, 분석 파라미터 설정부(548)는 후술하는 관리자 단말과 연동하며, 관리자 단말에서 입력된 경로 추적부(541), 행동패턴 및 자세분석부(542), 체온 분석부(543), 음향 분석부(544)의 파라미터로 해당 각 부의 파라미터를 설정 및 변경하는 구성일 수 있다.
다음으로, 관리자 단말(550)은 모니터링 서버(540)의 예측 결과값을 제공받아 표시하고, 상기 모니터링 서버(540)로부터 돼지 객체의 질병발생 알림메시지를 제공받는 구성일 수 있다.
도 8은 본 발명의 다른 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리방법을 설명한 흐름도이다.
본 발명의 다른 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리방법(S800)은 뇌파탐지모듈을 이용하여 돈사 내의 돼지 객체의 뇌파신호를 측정(S801)한 후, 경로 추적부에서 관리자 단말로부터 타겟 객체(돼지)가 입력받으면, 타겟 객체(돼지)에 위치한 뇌파탐지모듈의 위치신호를 기초로 타겟 객체의 이동경로를 역순으로 트랙킹(S802)한다.
이후, 행동패턴 및 자세 분석부(542)에서 타겟팅된 돼지객체의 이동경로 중 움직임 변화에 대한 모션 이미지를 기초로 상기 돼지 객체의 행동패턴 및 자세를 분석(S810)한다. 즉, 제1 지점에서 제2 지점으로 이동과정에서 발생되는 포즈패턴변화를 Standing, Lying, Sitting 중 어느 하나로 분류하고, 상기 돼지가 이동 시에, 포즈패턴변화를 거리 대비 시간으로 분석한 후, 질병걸린 돼지들의 표본 데이터와 비교를 통해 행동이상 여부를 판단(S820)한다.
이후, 상기 S820 과정에서 해당 돼지 객체가 행동이상으로 판단되면, 돼지 객체의 호흡 및 기침소리를 포함하는 음향정보를 수집(S820)한다. 이후, 질병발생 판단부에서 상기 타겟 객체(돼지)의 뇌파변이도 패턴, 행동패턴의 불규칙한 자세변화, 호흡주기, 기침소리를 기초로 질병 유무를 1차 판단(S830)한다. 여기서, 상기 S830 과정은 딥러닝 학습 알고리즘을 학습한 질병이 발생된 돼지들의 뇌파변이도 패턴, 시계열적 포즈패턴의 불규칙변화, 호흡주기, 기침소리의 변화를 기초로 질병발생으로 의심되는 돼지 객체를 1차 선별하는 과정일 수 있다.
상기 S830 과정에서 해당 돼지 객체가 질병발생으로 판단되면, 제2 촬상장치(520)에서 해당 돼지 객체의 신체 부위별 열화상 이미지를 수집(S840)한다. 이때, 수집된 열화상 이미지는 포즈패턴변화에 따른 신체부위 별 열화상 이미지일 수 있다. 이후, 질병발생 판단부에서 상기 열화상 이미지를 기초로 해당 돼지 객체의 질병발생유무 및 질병의 종류를 예측(S850)한다. 상기 S850 과정은 상기 포즈패턴변화에 따라 발열되는 부위 별 체온변화를 분석한 후, 분석된 결과값에 질병에 걸린 돼지 객체의 표본 데이터와 비교하는 과정을 포함할 수 있다.
이후, 상기 S850 과정에서 해당 돼지 객체가 질병에 걸린 것으로 예측되면, 알림부에서 질병발생 알림메시지를 생성하여 관리자 단말로 발송(S860)한다.
따라서, 본 발명의 다른 일 실시예에 따른 딥러닝 기반 객체 추적 및 행동 분석 방법은 타겟팅된 돼지 객체의 뇌파 변이도 패턴, 포즈패턴변화를 거리 대비 시간으로 분석한 결과값으로 기초로 해당 돼지 객체의 행동이상 여부를 탐지하고, 행동 이상으로 탐지된 돼지 객체의 경우, 돼지 객체의 뇌파 변이 패턴변화, 포즈패턴변화에 따른 호흡 및 기침소리로 1차 질병발생 유무를 예측하고, 이후, 포즈패턴변화에 따른 신체 분위별 체온변화를 토대로 2차 질병발생 유무를 예측함으로써, 체적으로 돼지들의 질병발생 여부를 예측할 수 있다는 이점이 있다.
도 11은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다.
예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다. 컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다.
또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다.
또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)을 포함할 수 있다. 여기서, 입력 디바이스(들)(1140)은 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)은 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다.
또한, 컴퓨팅 디바이스(1100)는 컴퓨팅 디바이스(1100)가 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다. 여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다.
상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크(1200)에 의해 상호접속될 수도 있다.
본 명세서에서 사용되는 "구성요소", "~부" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다.
예를 들어, 구성요소는 프로세서상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터 상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니한다. 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경할 수 있다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.
제1 실시예
10: 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템.
100: 영상획득부
200: 인공지능서버
210: 객체인식부
220: 딥러닝 학습부
230: 객체추적부
240: 객체개체 분석부
250: 객체포즈패턴변화 분석부
260: Heatmap 생성부
270: 통계처리부
280: 이상상태예측부
290: 체중변화 분석부
제2 실시예
500: 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템.
501: 뇌파탐지모듈
510: 제1 촬상장치
520: 제2 촬상장치
530: 음향수집장치
540: 모니터링 서버
541: 경로 추적부
542: 행동패턴 및 자세 분석부
543: 체온 분석부
544: 음향 분석부
545: 질병발생 판단부
546: 알림부
547: 행동패턴 학습부
548: 분석 파라미터 설정부
549: 뇌파신호 분석부
550: 관리자 단말
10: 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템.
100: 영상획득부
200: 인공지능서버
210: 객체인식부
220: 딥러닝 학습부
230: 객체추적부
240: 객체개체 분석부
250: 객체포즈패턴변화 분석부
260: Heatmap 생성부
270: 통계처리부
280: 이상상태예측부
290: 체중변화 분석부
제2 실시예
500: 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템.
501: 뇌파탐지모듈
510: 제1 촬상장치
520: 제2 촬상장치
530: 음향수집장치
540: 모니터링 서버
541: 경로 추적부
542: 행동패턴 및 자세 분석부
543: 체온 분석부
544: 음향 분석부
545: 질병발생 판단부
546: 알림부
547: 행동패턴 학습부
548: 분석 파라미터 설정부
549: 뇌파신호 분석부
550: 관리자 단말
Claims (2)
- 돈사 내의 돼지 객체의 머리에 부착되어, 상기 돼지 객체의 뇌파신호를 측정하여 전송하는 뇌파탐지모듈;
돈사 내의 돼지 객체의 모션 이미지를 촬영하는 제1 촬상장치;
상기 돼지 객체의 열화상 이미지를 생성하는 제2 촬상장치;
상기 돼지 객체의 호흡 및 기침소리를 포함하는 음향정보를 수집하는 음향수집장치;
상기 뇌파신호, 모션 이미지, 상기 열화상 이미지 및 상기 음향정보를 기초로 해당 돼지 객체의 질병발생유무 및 질병의 종류를 예측판단하는 모니터링 서버; 및
상기 모니터링 서버로부터 돼지 객체의 질병발생 알림메시지를 제공받는 관리자 단말을 포함하고,
상기 모니터링 서버는
상기 돼지 객체에서 감지된 뇌파신호의 뇌파변이도를 통해 돼지 객체의 수면상태, 이상발작 상태, 우울감과 관련된 뇌파(electroencephalographic, EEG)를 분류한 후, 레퍼런스와 비교하여 뇌파 변이도의 패턴을 분석하는 뇌파분석부;
상기 관리자 단말로부터 타겟 객체(돼지)가 입력되면, 타겟 객체(돼지)에 위치한 뇌파탐지모듈의 위치신호를 기초로 타겟 객체의 이동경로를 역순으로 트랙킹하는 경로 추적부;
타겟팅된 돼지객체의 이동경로 중 움직임 변화에 대한 모션 이미지를 기초로 상기 돼지 객체의 행동패턴 및 자세를 분석하는 행동패턴 및 자세 분석부;
상기 열화상 이미지를 기초로 상기 돼지 객체의 체온을 분석하는 체온 분석부;
상기 음향정보를 기초로 상기 돼지 객체의 호흡주기, 기침소리의 크기 및 발생주기, 울음소리 중 적어도 하나 이상을 분석하는 음향 분석부; 및
돼지 객체의 뇌파변이도 패턴, 행동패턴의 불규칙한 자세변화, 호흡주기, 기침소리를 기초로 질병 유무를 1차 판단하고, 1차 선별된 돼지객체의 부위별 체온 및 체온변화를 기초로 질병발생유무를 2차 판단하는 질병발생 판단부를 포함하고,
상기 행동패턴 및 자세 분석부는
상기 모션 이미지를 기초로 상기 돈사 내의 돼지의 포즈패턴변화를 Standing, Lying, Sitting 중 어느 하나로 분류하고, 상기 돼지가 이동 시에, 포즈패턴변화를 거리 대비 시간으로 분석하고,
상기 체온 분석부는 상기 포즈패턴변화에 따라 발열되는 돼지들의 부위 별 체온변화를 분석하고,
상기 질병발생 판단부는
딥러닝 학습 알고리즘을 학습한 질병이 발생된 돼지들의 시계열적 포즈패턴변화, 호흡주기, 기침소리의 변화를 기초로 상기 돼지 객체를 1차 선별하는 것을 특징으로 하는 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템.
- 뇌파탐지모듈을 이용하여 돈사 내의 돼지 객체의 뇌파신호를 측정하는 단계;
경로 추적부에서 관리자 단말로부터 타겟 객체(돼지)를 입력받으면, 상기 타겟 객체(돼지)에 위치한 뇌파탐지모듈의 위치신호를 기초로 타겟 객체의 이동경로를 역순으로 트랙킹하는 단계;
뇌파분석부에서 돼지 객체에서 감지된 뇌파신호의 뇌파변이도를 통해 돼지들의 수면상태, 이상발작 상태, 우울감과 관련된 뇌파(electroencephalographic, EEG)를 분류한 후, 레퍼런스와 비교하여 뇌파 변이도의 패턴을 분석하는 단계;
행동패턴 및 자세 분석부에서 타겟팅된 돼지객체의 이동경로 중 움직임 변화에 대한 모션 이미지를 기초로 상기 돼지 객체가 이동 시에, 포즈패턴변화를 거리 대비 시간으로 분석한 후, 질병걸린 돼지들의 표본 데이터와 비교를 통해 행동이상 여부를 판단하는 단계;
해당 돼지 객체가 행동이상으로 판단되면, 음향정보수집부에서 돼지 객체의 호흡 및 기침소리를 포함하는 음향정보를 수집하는 단계;
질별발생 판단부에서 상기 타겟 객체(돼지)의 뇌파변이도 패턴, 행동패턴의 불규칙한 자세변화, 호흡주기, 기침소리를 기초로 질병 유무를 1차 판단하는 단계;
상기 타겟 객체(돼지)가 질병발생으로 판단되면, 제2 촬상장치에서 해당 돼지 객체의 신체 부위별 열화상 이미지를 수집하는 단계
질병발생 판단부에서 상기 열화상 이미지를 기초로 해당 돼지 객체의 질병발생유무 및 질병의 종류를 예측하는 단계; 및
해당 돼지 객체가 질병에 걸린 것으로 예측되면, 알림부에서 질병발생 알림메시지를 생성하여 관리자 단말로 발송하는 단계를 포함하는 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20190155809 | 2019-11-28 | ||
| KR1020190155809 | 2019-11-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210066710A KR20210066710A (ko) | 2021-06-07 |
| KR102282295B1 true KR102282295B1 (ko) | 2021-07-27 |
Family
ID=76374436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200138074A KR102282295B1 (ko) | 2019-11-28 | 2020-10-23 | 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102282295B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102595845B1 (ko) | 2023-02-14 | 2023-10-30 | (주)엠트리센 | 가축생체정보 스캐닝 시스템 및 그 제어방법 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102469301B1 (ko) * | 2021-07-14 | 2022-11-22 | 주식회사 유니아이 | 행동별 이상 감지 시스템 |
| KR102369873B1 (ko) * | 2021-07-28 | 2022-03-04 | 주식회사 엘시스 | 스마트축사 구현을 위한 축사데이터 통합 관제 플랫폼 |
| KR102417870B1 (ko) * | 2021-08-10 | 2022-07-06 | 인트플로우 주식회사 | 영상에 기반하여 동물 개체의 상태를 식별하는 장치 및 방법 |
| CN113551676B (zh) * | 2021-08-16 | 2024-06-11 | 河南牧原智能科技有限公司 | 一种用于赶猪车的自主导航方法、装置和可读存储介质 |
| KR102577121B1 (ko) * | 2021-09-29 | 2023-09-12 | 한국축산데이터 주식회사 농업회사법인 | 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치 |
| CN116058814A (zh) * | 2021-11-01 | 2023-05-05 | 北京荣耀终端有限公司 | 心率检测方法及电子设备 |
| CN114419675B (zh) * | 2022-01-24 | 2024-08-23 | 浙江农林大学 | 一种利用深度图像和cnn-svm的群猪多姿态识别与评分方法 |
| KR20230163195A (ko) * | 2022-05-23 | 2023-11-30 | 서울대학교산학협력단 | 영상 기반 군집 개체들의 군집 행동 패턴 분석 장치 및 방법 |
| WO2023229423A1 (ko) * | 2022-05-26 | 2023-11-30 | 서울대학교산학협력단 | 3차원 기반 행동 패턴 분석 장치 및 방법 |
| KR102453253B1 (ko) * | 2022-05-26 | 2022-10-11 | 김종관 | 딥러닝 소리분석 기술 기반의 가축 호흡기 질병 탐지 시스템 |
| KR102603396B1 (ko) * | 2022-08-12 | 2023-11-20 | 주식회사 아이트 | 인공지능을 이용한 영상 감시 기반 개체 인식 및 행동패턴 분석 방법 및 시스템 |
| KR102582506B1 (ko) * | 2022-10-27 | 2023-09-26 | 충남대학교산학협력단 | 돈사 질병 관리를 위한 모니터링 시스템 |
| KR102540175B1 (ko) * | 2022-10-27 | 2023-06-07 | 충남대학교산학협력단 | 인공지능기반 돼지 질병 관리 시스템 |
| KR102539996B1 (ko) | 2022-12-05 | 2023-06-08 | 주식회사 오펜하임시스템즈 | 반려동물 이상징후 실시간 모니터링 시스템 |
| KR102592477B1 (ko) * | 2023-01-12 | 2023-10-23 | 유진 | 돼지 질병 조기진단 장치 |
| WO2024155718A1 (en) * | 2023-01-19 | 2024-07-25 | University Of Idaho | Administration apparatus and methods of using the same for evaluating wild animal populations |
| CN118097923B (zh) * | 2024-04-29 | 2024-07-23 | 杭州澎湃数智科技有限公司 | 基于人工智能的智慧园区智能监控方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101607934B1 (ko) * | 2014-05-14 | 2016-03-31 | 숭실대학교산학협력단 | 전염병 모니터링 방법 및 이를 이용한 시스템, 이를 수행하기 위한 기록매체 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101725659B1 (ko) * | 2015-09-15 | 2017-04-26 | 한양대학교 산학협력단 | 사물인터넷 기반 동물 관리 시스템 및 제공 방법 |
| KR20190058206A (ko) | 2017-11-21 | 2019-05-29 | 주식회사 펫피트 | 행동정보를 이용한 질병예측방법 및 장치 |
-
2020
- 2020-10-23 KR KR1020200138074A patent/KR102282295B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101607934B1 (ko) * | 2014-05-14 | 2016-03-31 | 숭실대학교산학협력단 | 전염병 모니터링 방법 및 이를 이용한 시스템, 이를 수행하기 위한 기록매체 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102595845B1 (ko) | 2023-02-14 | 2023-10-30 | (주)엠트리센 | 가축생체정보 스캐닝 시스템 및 그 제어방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210066710A (ko) | 2021-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102282295B1 (ko) | 딥러닝 기반 객체 추적 및 행동 분석을 이용한 스마트 축산관리시스템 및 방법 | |
| Jiang et al. | FLYOLOv3 deep learning for key parts of dairy cow body detection | |
| KR101607934B1 (ko) | 전염병 모니터링 방법 및 이를 이용한 시스템, 이를 수행하기 위한 기록매체 | |
| Kaur et al. | A systematic review on metaheuristic optimization techniques for feature selections in disease diagnosis: open issues and challenges | |
| US11625953B2 (en) | Action recognition using implicit pose representations | |
| CN108830144B (zh) | 一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法 | |
| Nasiri et al. | Pose estimation-based lameness recognition in broiler using CNN-LSTM network | |
| Cheng et al. | Application of deep learning in sheep behaviors recognition and influence analysis of training data characteristics on the recognition effect | |
| Guo et al. | Detection of cow mounting behavior using region geometry and optical flow characteristics | |
| Wu et al. | Detection of the respiratory rate of standing cows by combining the Deeplab V3+ semantic segmentation model with the phase-based video magnification algorithm | |
| Pang et al. | Automatic detection and quantification of hand movements toward development of an objective assessment of tremor and bradykinesia in Parkinson's disease | |
| CN115830490A (zh) | 一种群养生猪多目标跟踪及行为统计方法 | |
| Khan | An automated and fast system to identify COVID‐19 from X‐ray radiograph of the chest using image processing and machine learning | |
| Zhu et al. | Falling motion detection algorithm based on deep learning | |
| Hossain et al. | Smartpoultry: Early detection of poultry disease from smartphone captured fecal image | |
| Kumar et al. | Secure and sustainable framework for cattle recognition using wireless multimedia networks and machine learning techniques | |
| Xu et al. | Automatic quantification and assessment of grouped pig movement using the XGBoost and YOLOv5s models | |
| Xie et al. | A deep learning-based detection method for pig body temperature using infrared thermography | |
| Shu et al. | Non-contact respiration rate measurement of multiple cows in a free-stall barn using computer vision methods | |
| Tu et al. | Tracking and monitoring of individual pig behavior based on YOLOv5-Byte | |
| Zhang et al. | Pig eye area temperature extraction algorithm based on registered images | |
| Kim et al. | Automatic identification of a coughing animal using audio and video data | |
| JP7422572B2 (ja) | 移動物体追跡装置、移動物体追跡方法及び移動物体追跡プログラム | |
| Zhang et al. | [Retracted] Research on Pose Recognition Algorithm for Sports Players Based on Machine Learning of Sensor Data | |
| Yang et al. | Recognizing the rooting action of prepartum sow in free-farrowing pen using computer vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |