KR20200055821A - 반려 동물의 위험 행동의 검출 및 억제 방법 및 이를 위한 자동화된 카메라-기반 시스템 - Google Patents
반려 동물의 위험 행동의 검출 및 억제 방법 및 이를 위한 자동화된 카메라-기반 시스템 Download PDFInfo
- Publication number
- KR20200055821A KR20200055821A KR1020180136789A KR20180136789A KR20200055821A KR 20200055821 A KR20200055821 A KR 20200055821A KR 1020180136789 A KR1020180136789 A KR 1020180136789A KR 20180136789 A KR20180136789 A KR 20180136789A KR 20200055821 A KR20200055821 A KR 20200055821A
- Authority
- KR
- South Korea
- Prior art keywords
- companion animal
- image data
- image
- dangerous behavior
- output value
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 50
- 241001465754 Metazoa Species 0.000 claims abstract description 266
- 230000002401 inhibitory effect Effects 0.000 claims abstract description 12
- 230000006399 behavior Effects 0.000 claims description 135
- 238000013527 convolutional neural network Methods 0.000 claims description 85
- 230000009471 action Effects 0.000 claims description 64
- 230000000694 effects Effects 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 48
- 230000003287 optical effect Effects 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 22
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000001629 suppression Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000005764 inhibitory process Effects 0.000 claims 1
- 238000002372 labelling Methods 0.000 description 7
- 238000013075 data extraction Methods 0.000 description 6
- 230000036541 health Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000029142 excretion Effects 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 230000027939 micturition Effects 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 2
- 208000000810 Separation Anxiety Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000004630 mental health Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000014478 crying behavior Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Environmental Sciences (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Animal Husbandry (AREA)
- Image Analysis (AREA)
Abstract
카메라에 의해 촬영된 반려 동물의 영상에 기반한 영상 데이터 세트의 각 영상 데이터를 멀티 스트림의 입력 값으로 하는 CNN에 대해 CNN 출력 값을 생성하는 CNN 출력 값을 생성하고, CNN 출력 값을 입력 값으로 하는 LSTM에 대해 LSTM 출력 값을 생성하며, LSTM 출력 값에 기반하여 반려 동물의 위험 행동을 검출하는 반려 동물의 위험 행동 검출 및 억제 시스템이 제공된다.
Description
실시예들은 반려 동물의 위험 행동의 검출 및 억제 방법 및 시스템에 관한 것으로, 특히, 카메라에 의해 촬영된 반려 동물의 영상을 처리하여 상기 반려 동물의 행동 분석을 위한 영상 데이터 세트를 생성하고, 생성된 영상 데이터 세트를 분석하는 것을 통해 반려 동물의 위험 행동을 검출하고 억제하기 위한 방법 및 시스템과 관련된다.
반려 동물을 키우는 것은 인간의 육체적 및 정신적 건강에 있어서 도움이 되며, 반려 동물을 키우는 인구 역시 급속도로 증가하고 있다. 이러한 반려 동물을 키우는 인구가 증가와 함께, 반려 동물의 보호자(반려인)의 생활 패턴에 따라 보호자가 직장에 근무하거나 장시간 동안 자리를 비우는 동안 반려 동물이 혼자 방치되는 경우 역시 증가하고 있다.
생활 공간 내에서 반려 동물을 장시간 동안 혼자 방치할 경우, 반려 동물은 분리 불안 증후군을 앓게 될 수 있고, 반려인의 부재 동안 반려 동물은 불안감을 느끼면서 심하게 짖거나, 기물 파손, 배변 실수 등의 부적절한 행동(즉, 위험 행동)을 할 수 있다. 이러한 반려 동물의 위험 행동은 반려 동물의 육체적 및 정신적 건강을 해치며, 반려인에게도 스트레스를 야기한다.
따라서, 이러한 위험 행동을 정확하게 검출할 수 있고, 위험 행동을 억제하기 위한 올바른 조치를 취할 수 있도록 하는 방법 및 시스템이 요구된다.
한국공개특허 제10-2018-0067107호(공개일 2018년 06월 20일)는 반려 동물의 건강 관리 장치에 관한 것으로서, 급수부와 급식부 및 센싱 패드를 이용하는 반려 동물의 건강 관리 장치를 설명하고 있다.
상기에서 설명된 정보는 단지 이해를 돕기 위한 것이며, 종래 기술의 일부를 형성하지 않는 내용을 포함할 수 있으며, 종래 기술이 통상의 기술자에게 제시할 수 있는 것을 포함하지 않을 수 있다.
일 실시예는, 카메라에 의해 촬영된 반려 동물의 영상에 기반한 영상 데이터 세트의 각 영상 데이터를 멀티 스트림의 입력 값으로 하는 CNN에 대해 CNN 출력 값을 생성하는 CNN 출력 값을 생성하고, CNN 출력 값을 입력 값으로 하는 LSTM에 대해 LSTM 출력 값을 생성하며, LSTM 출력 값에 기반하여 반려 동물의 위험 행동을 검출하는 반려 동물의 위험 행동 검출 및 억제 시스템을 제공할 수 있다.
일 실시예는, 반려 동물의 위험 행동이 검출된 때 이를 사용자 단말로 통지하고, 사용자 단말로부터의 명령에 따라 반려 동물의 위험 행동에 대한 적절한 조치를 취할 수 있도록 하는 방법 및 시스템을 제공할 수 있다.
일 측면에 있어서, 카메라에 의해 촬영된 반려 동물의 영상을 처리하여 상기 반려 동물의 행동 분석을 위한 영상 데이터 세트를 생성하는 영상 데이터 처리부, 상기 영상 데이터 세트의 각 영상 데이터를 멀티 스트림의 입력 값으로 하는 콘볼루션 신경망(Convolutional Neural Network; CNN)에 대해 CNN 출력 값을 생성하는 CNN 출력 값 생성부, 상기 CNN 출력 값을 입력 값으로 하는 장단기메모리(Long Short-Term Memory; LSTM)에 대해 LSTM 출력 값을 생성하는 LSTM 출력 값 생성부 및 상기 LSTM 출력 값에 기반하여 상기 반려 동물의 위험 행동을 검출하는 위험 행동 검출부를 포함하는, 반려 동물의 위험 행동 검출 및 억제 시스템이 제공된다.
상기 영상 데이터 처리부는 상기 반려 동물의 영상이 포함하는 복수의 영상 클립들을 시간 파라미터 및 공간 파라미터에 기반하여 라벨링할 수 있다.
상기 영상 데이터 세트는 상기 라벨링된 복수의 영상 클립들을 포함할 수 있다.
상기 영상 데이터 세트는 상기 라벨링된 복수의 영상 클립들 각각에 대한 플립된 영상 데이터를 포함할 수 있다.
상기 플립된 영상 데이터는 상기 라벨링된 복수의 영상 클립들의 각각에 대한 수평 플립(horizontal filpped) 영상 데이터, 수직 플립(vertical) 영상 데이터 및 수평 및 수직 플립(combined filpped) 영상 데이터를 포함할 수 있다.
상기 영상 데이터 처리부는 제1 영상 데이터에 해당하는 상기 라벨링된 복수의 영상 클립들의 각 영상 클립 또는 상기 각 영상 클립의 각 프레임에 대해, 상기 제1 영상 데이터에서 상기 반려 동물을 추적함으로써 상기 반려 동물을 포함하도록 크롭된 제2 영상 데이터를 생성하고, 상기 제1 영상 데이터와 연관된 광학 흐름(optical flow) 추출 영상인 제3 영상 데이터를 생성하고, 상기 제2 영상 데이터와 연관된 광학 흐름 추출 영상인 제4 영상 데이터를 생성하고, 상기 제1 영상 데이터, 상기 제2 영상 데이터, 상기 제3 영상 데이터 및 상기 제4 영상 데이터가 상기 CNN에 대해 멀티 스트림의 입력 값이 될 수 있다.
상기 제2 영상 데이터를 생성에 있어서의 상기 반려 동물의 추적은 YOLOv3 또는 YOLOv2 알고리즘을 사용하여 수행될 수 있다.
상기 제3 영상 데이터 및 상기 제4 영상 데이터를 생성함에 있어서의 광학 흐름 추출은 Farneback 알고리즘, Pyflow 알고리즘, EpicFlow 알고리즘 또는 FlowNet 알고리즘을 사용하여 수행되고, 상기 CNN은 VGG16 모델을 사용하여 구현된 것일 수 있다.
상기 카메라에 의해 촬영된 반려 동물의 영상은 탑-다운(top-down) 앵글을 갖는 카메라에 의해 촬영된 것이고, 상기 반려 동물의 영상은 공간 내에 혼자 있는 상기 반려 동물의 영상일 수 있다.
상기 위험 행동 검출부는 상기 LSTM 출력 값에 기반하여 상기 반려 동물의 활동을 결정하고 상기 활동을 입력 데이터로서, 상기 입력 데이터를 복잡 이벤트 처리(Complex Event Processing; CEP)를 사용하여 분석함으로써 상기 반려 동물의 위험 행동을 검출할 수 있다.
상기 위험 행동 검출부에 의한 검출에 따라, 상기 반려 동물의 위험 행동이 검출되었음을 나타내는 데이터는 사용자 단말로 출력될 수 있다.
상기 위험 행동 검출 및 억제 시스템은 상기 사용자 단말을 통해 수신된 명령에 따라 상기 반려 동물의 위험 행동을 해소하기 위한 조치를 수행하기 위한 조치 명령을 생성하고, 상기 조치 명령을 적어도 하나의 외부 장치로 전송하는 위험 행동 조치부를 더 포함할 수 있다.
상기 영상 데이터 처리부는 상기 반려 동물의 영상으로부터 상기 영상의 RGB 정보 및 광학 흐름 정보를 추출할 수 있다.
상기 위험 행동 검출부는 투-스트림(Two-Stream) YOLOv2 알고리즘을 사용하여, 상기 RGB 정보로부터 상기 반려 동물의 형상 정보를 획득하고, 상기 광학 흐름 정보로부터 상기 반려 동물의 움직임 정보를 획득하며, 상기 형상 정보 및 상기 움직임 정보에 기반하여 상기 반려 동물의 활동을 결정할 수 있다.
상기 위험 행동 검출부는 상기 결정된 활동을 입력 데이터로서, 상기 입력 데이터를 복잡 이벤트 처리(Complex Event Processing; CEP)를 사용하여 분석함으로써 상기 반려 동물의 위험 행동을 검출할 수 있다.
다른 일 측면에 있어서, 컴퓨터에 의해 수행되는 반려 동물의 위험 행동의 검출 및 억제 방법에 있어서,
카메라에 의해 촬영된 반려 동물의 영상을 처리하여 상기 반려 동물의 행동 분석을 위한 영상 데이터 세트를 생성하는 단계, 상기 영상 데이터 세트의 각 영상 데이터를 멀티 스트림의 입력 값으로 하는 콘볼루션 신경망(Convolutional Neural Network; CNN)에 대해 CNN 출력 값을 생성하는 단계, 상기 CNN 출력 값을 입력 값으로 하는 장단기메모리(Long Short-Term Memory; LSTM)에 대해 LSTM 출력 값을 생성하는 단계 및 상기 LSTM 출력 값에 기반하여 상기 반려 동물의 위험 행동을 검출하는 단계를 포함하는, 반려 동물의 위험 행동의 검출 및 억제 방법이 제공된다.
상기 영상 데이터 세트를 생성하는 단계는, 상기 반려 동물의 영상이 포함하는 복수의 영상 클립들을 시간 파라미터 및 공간 파라미터에 기반하여 라벨링하는 단계 및 상기 라벨링된 복수의 영상 클립들 각각에 대한 플립된 영상 데이터를 추가적인 라벨링된 영상 클립으로서 생성하는 단계를 포함하고, 상기 영상 데이터 세트는 상기 플립된 영상 데이터를 포함할 수 있다.
상기 영상 데이터 세트를 생성하는 단계는, 제1 영상 데이터에 해당하는 상기 라벨링된 영상 클립들의 각 영상 클립 또는 상기 각 영상 클립의 각 프레임에 대해, 상기 제1 영상 데이터에서 상기 반려 동물을 추적함으로써 상기 반려 동물을 포함하도록 크롭된 영상인 제2 영상 데이터를 생성하는 단계, 상기 제1 영상 데이터와 연관된 광학 흐름(optical flow) 추출 영상인 제3 영상 데이터를 생성하는 단계 및 상기 제2 영상 데이터와 연관된 광학 흐름 추출 영상인 제4 영상 데이터를 생성하는 단계를 포함하고, 상기 제1 영상 데이터, 상기 제2 영상 데이터, 상기 제3 영상 데이터 및 상기 제4 영상 데이터가 상기 CNN에 대해 멀티 스트림의 입력 값이 될 수 있다.
상기 위험 행동의 검출 및 억제 방법은, 상기 반려 동물의 위험 행동이 검출되었음을 나타내는 데이터를 사용자 단말로 출력하는 단계, 상기 사용자 단말로부터 명령을 수신하는 단계, 상기 수신된 명령에 따라 상기 반려 동물의 위험 행동을 해소하기 위한 조치를 수행하기 위한 조치 명령을 생성하는 단계, 및 상기 조치 명령을 적어도 하나의 외부 장치로 전송하는 단계를 포함할 수 있다.
상기 영상 데이터 세트를 생성하는 단계는, 상기 반려 동물의 영상으로부터 상기 영상의 RGB 정보 및 광학 흐름 정보를 추출하는 단계를 포함할 수 있다.
상기 반려 동물의 위험 행동의 검출 및 억제 방법은, 투-스트림(Two-Stream) YOLOv2 알고리즘을 사용하여, 상기 RGB 정보로부터 상기 반려 동물의 형상 정보를 획득하고, 상기 광학 흐름 정보로부터 상기 반려 동물의 움직임 정보를 획득하는 단계, 상기 형상 정보 및 상기 움직임 정보에 기반하여 상기 반려 동물의 활동을 결정하는 단계, 및 상기 결정된 활동을 입력 데이터로서, 상기 입력 데이터를 복잡 이벤트 처리(Complex Event Processing; CEP)를 사용하여 분석함으로써 상기 반려 동물의 위험 행동을 검출하는 단계를 더 포함할 수 있다.
실시예의 반려 동물의 위험 행동 검출 및 억제 시스템은, 카메라에 의해 촬영된 반려 동물의 영상을 처리함으로써 생성된 영상 데이터 세트의 각 영상 데이터를 멀티 스트림의 입력 값으로 하는 CNN에 대해 CNN 출력 값을 생성하고, 해당 CNN 출력 값을 입력 값으로 하는 LSTM의 LSTM 출력 값에 기반하여 반려 동물의 위험 행동을 검출함으로써 반려 동물의 위험 행동이 보다 정확하게 검출될 수 있다.
실시예의 반려 동물의 위험 행동 검출 및 억제 시스템은, CNN 학습을 위한 반려 동물의 영상으로서, 라벨링된 클립들 각각에 대한 플립된 영상을 더 사용함으로써, 라벨링된 영상의 수를 늘릴 수 있고, 라벨링 과정에 소요되는 시간 및 자원을 절감할 수 있다.
실시예의 반려 동물의 위험 행동 검출 및 억제 시스템은, 반려 동물의 제1 영상 데이터, 제1 영상 데이터의 반려 동물을 추적함에 따라 크롭된 제2 영상 데이터, 제1 영상 데이터의 광학 흐름 추출 영상인 제3 영상 데이터 및 제2 영상 데이터의 광학 흐름 추출 영상인 제4 영상 데이터를 멀티 스트림 입력으로서 사용하는 CNN을 활용함으로써, 반려 동물의 위험 행동의 검출의 정확성을 높일 수 있다.
도 1은 일 실시예에 따른, 반려 동물의 위험 행동 검출 및 억제 시스템의 구조를 나타내는 블록도이다.
도 2는 일 예에 따른, 반려 동물의 영상을 처리하여 반려 동물의 행동 분석을 위한 영상 데이터 세트를 생성하는 방법을 나타낸다.
도 3은 일 실시예에 따른, 반려 동물의 위험 행동을 검출하기 위한 CNN 출력 값 및 LSTM 출력 값을 생성하는 방법을 나타낸다.
도 4는 일 예에 따른, 반려 동물의 영상을 처리하여 멀티 스트림 CNN을 위한 입력 영상 데이터를 생성하는 방법을 나타낸다.
도 5는 일 실시예에 따른, 반려 동물의 영상에 기반하여 반려 동물의 활동을 결정하는 방법을 나타낸다.
도 6 및 도 7은 일 예에 따른, 인식된 반려 동물의 활동을 복잡 이벤트 처리(Complex Event Processing; CEP)를 사용하여 분석함으로서 반려 동물의 행동을 파악하기 위해 사용되는 코드를 나타낸다.
도 8은 일 실시예에 따른, 반려 동물의 위험 행동 검출 및 억제 시스템에 의한 반려 동물의 위험 행동의 검출 및 억제 방법을 나타내는 흐름도이다.
도 9는 일 예에 따른, 반려 동물의 영상을 처리하여 반려 동물의 행동 분석을 위한 영상 데이터 세트를 생성하는 방법을 나타내는 흐름도이다.
도 10은 일 예에 따른, 반려 동물의 영상을 처리하여 멀티 스트림 CNN을 위한 입력 영상 데이터를 생성하는 방법을 나타내는 흐름도이다.
도 11은 일 실시예에 따른, 반려 동물의 영상에 기반하여 반려 동물의 활동을 결정하는 방법을 나타내는 흐름도이다.
도 2는 일 예에 따른, 반려 동물의 영상을 처리하여 반려 동물의 행동 분석을 위한 영상 데이터 세트를 생성하는 방법을 나타낸다.
도 3은 일 실시예에 따른, 반려 동물의 위험 행동을 검출하기 위한 CNN 출력 값 및 LSTM 출력 값을 생성하는 방법을 나타낸다.
도 4는 일 예에 따른, 반려 동물의 영상을 처리하여 멀티 스트림 CNN을 위한 입력 영상 데이터를 생성하는 방법을 나타낸다.
도 5는 일 실시예에 따른, 반려 동물의 영상에 기반하여 반려 동물의 활동을 결정하는 방법을 나타낸다.
도 6 및 도 7은 일 예에 따른, 인식된 반려 동물의 활동을 복잡 이벤트 처리(Complex Event Processing; CEP)를 사용하여 분석함으로서 반려 동물의 행동을 파악하기 위해 사용되는 코드를 나타낸다.
도 8은 일 실시예에 따른, 반려 동물의 위험 행동 검출 및 억제 시스템에 의한 반려 동물의 위험 행동의 검출 및 억제 방법을 나타내는 흐름도이다.
도 9는 일 예에 따른, 반려 동물의 영상을 처리하여 반려 동물의 행동 분석을 위한 영상 데이터 세트를 생성하는 방법을 나타내는 흐름도이다.
도 10은 일 예에 따른, 반려 동물의 영상을 처리하여 멀티 스트림 CNN을 위한 입력 영상 데이터를 생성하는 방법을 나타내는 흐름도이다.
도 11은 일 실시예에 따른, 반려 동물의 영상에 기반하여 반려 동물의 활동을 결정하는 방법을 나타내는 흐름도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른, 반려 동물의 위험 행동 검출 및 억제 시스템의 구조를 나타내는 블록도이다.
도 1을 참조하여, 반려 동물(160)의 카메라(102)에 의해 촬영된 영상으로부터, 반려 동물(160)이 위험 행동을 하는지 여부를 모니터링하고, 반려 동물(160)의 위험 행동이 검출되는 경우 이에 대해 적절한 조치를 취할 수 있도록 하는 행동 검출 및 억제 시스템에 대해 설명한다.
반려 동물(160)은 도시된 것처럼, 개(강아지)일 수 있고, 또는, 고양이나 기타 반려 동물일 수 있다. 반려 동물(160)은 예컨대, 집과 같은 반려인이 함께 생활하는 공간에 있을 수 있다. 도시된 예시에서는 반려인은 부재중이며, 반려 동물(160) 만이 생활 공간 내에 있을 수 있다.
이러한 생활 공간 내에는 적어도 하나의 카메라(102)가 배치될 수 있고, 카메라(102)는 반려 동물(160)을 촬영함으로써 반려 동물(160)의 영상을 생성할 수 있다. 반려 동물(160)의 영상은 반려 동물(160)의 위험 행동을 검출하기 위해 분석될 수 있다. 카메라(102)에 의해 촬영된 반려 동물(160)의 영상은 탑-다운(top-down) 앵글을 갖는 카메라에 의해 촬영된 것일 수 있다(일례로, 카메라(102)는 천정에 배치되어 아래쪽의 앵글로 반려 동물(160)을 촬영하는 카메라일 수 있다). 카메라(102)가 복수인 경우 복수의 카메라들 중 적어도 하나의 카메라는 탑-다운 앵글을 갖는 카메라일 수 있다. 촬영된 반려 동물(160)의 영상은 공간(생활 공간) 내에 혼자 있는 반려 동물(160)의 영상일 수 있다.
카메라(102)에 의해 촬영된 반려 동물(160)의 영상은 서버(100)에 의해 분석될 수 있고, 서버(100)는 반려 동물(160)의 영상을 분석하여 반려 동물(160)의 위험 행동을 검출할 수 있다.
서버(100)는 생활 공간의 외부(혹은 내부)에 존재하는 컴퓨터 장치일 수 있다. 서버(100)는 클라우드 서버일 수 있다. 반려 동물(160)이 위험 행동을 하고 있는 것으로 판정된 때, 서버(100)는 반려인의 사용자 단말(170)로 반려 동물(160)이 위험 행동을 나타내는 데이터를 송신할 수 있다.
사용자 단말(170)은 반려 동물(160)의 위험 행동(즉, 위험 행동을 하고 있음)을 나타내는 알림(또는 경보)을 출력함으로써 반려인에게 반려 동물(160)의 상태를 통지할 수 있다.
반려인은, 사용자 단말(170)을 통해, 서버(100)에 반려 동물(160)의 위험 행동을 해소하기 위한 조치를 취하기 위한 명령을 송신할 수 있다. 서버(100)는 수신된 명령에 따라 생활 공간 내의 외부 장치에 대해 제어 명령을 송신할 수 있다. 예컨대, 제어 명령에 따라 TV와 같은 외부 장치(180)는 반려 동물(160)의 위험 행동을 해소하기 위해 도움이 되는 비디오 또는 사운드를 출력할 수 있고, 먹이 공급 장치와 같은 외부 장치(180)는 반려 동물(160)에게 먹이를 제공할 수 있다.
반려 동물(160)의 위험 행동은 예컨대, 심하게 짖거나, 하울링하거나 우는(낑낑거리는) 행동, 기물 파손 또는 물어 뜯기와 같은 파괴적 행동, 배변/배뇨 실수와 같은 배설 행동일 수 있다. 반려 동물(160)의 위험 행동은 반려 동물(160)의 분리 불안에 의해 야기될 수 있는 반려 동물(160)의 이상 행동일 수 있다. 또는, 반려 동물(160)의 위험 행동은 반려 동물(160)의 건강 상태에 문제가 있거나, 반려 동물(160)의 행동이 반려 동물(160)의 건강 상태에 문제를 야기할 가능성이 있게 되는 반려 동물(160)의 해당 행동을 나타낼 수 있다.
도 1을 참조하여 설명한 것과 같은 서버(100)를 포함하는 반려 동물(160)의 위험 행동 검출 및 억제 시스템에 의해서는, 카메라(102)로부터의 영상을 분석하는 것을 통해 반려 동물(160)이 위험 행동을 하는지 여부가 실시간으로 파악될 수 있고, 그에 대한 조치 역시 실시간으로 이루어질 수 있다.
아래에서, 서버(100)의 구성에 대해 보다 자세하게 설명한다.
서버(100)는 카메라(102)에 의해 촬영된 반려 동물(160)의 영상을 처리하여 반려 동물(160)의 행동 분석을 위한 영상 데이터 세트를 생성하는 영상 데이터 처리부(110)와, 영상 데이터 세트의 각 영상 데이터를 멀티 스트림의 입력 값으로 하는 콘볼루션 신경망(Convolutional Neural Network; CNN)에 대해 CNN 출력 값을 생성하는 CNN 출력 값 생성부(120)와, 이러한 CNN 출력 값을 입력 값으로 하는 장단기메모리(Long Short-Term Memory; LSTM)에 대해 LSTM 출력 값을 생성하는 LSTM 출력 값 생성부(130) 및 LSTM 출력 값에 기반하여 반려 동물(160)의 위험 행동을 검출하는 위험 행동 검출부(140)를 포함할 수 있다.
영상 데이터 처리부(110)는 카메라(102)로부터 수신된 반려 동물(160)의 영상에 기반하여 멀티 스트림 CNN을 위한 입력으로서 적합한 영상 데이터 세트를 생성할 수 있다. 카메라(102)로부터 수신된 반려 동물(160)의 영상은 복수의 영상 클립들을 포함할 수 있다. 각 영상 클립은 소정의 길이의 단위 영상일 수 있다. 영상 데이터 처리부(110)는 반려 동물(160)의 영상이 포함하는 복수의 영상 클립들을 라벨링할 수 있다. 예컨대, 영상 데이터 처리부(110)는 복수의 영상 클립들을 시간 파라미터 및 공간 파라미터에 기반하여(즉, 시간 파라미터 및 공간 파라미터에 따라) 라벨링할 수 있다. 영상 데이터 처리부(110)에 의해 생성되는 영상 데이터 세트는 이러한 라벨링된 복수의 영상 클립들을 포함할 수 있다.
영상 데이터 처리부(110)는 영상 데이터 세트를 확장하고, 라벨링된 영상 클립들의 수를 증가시키기 위해, 라벨링된 복수의 영상 클립들 각각에 대한 플립된 영상 데이터를 추가적인 라벨링된 영상 클립으로서 생성할 수 있다. 따라서, 영상 데이터 세트는 라벨링된 복수의 영상 클립들 각각에 대한 플립된 영상 데이터를 또한 포함할 수 있다. 플립된 영상 데이터는 예컨대, 라벨링된 복수의 영상 클립들의 각각에 대한 수평 플립(horizontal filpped) 영상 데이터, 수직 플립(vertical) 영상 데이터 및 수평 및 수직 플립(combined filpped) 영상 데이터를 포함할 수 있다. 영상 데이터 처리부(110)는 이러한 플립핑을 수행함으로써 라벨링된 영상 클립의 수를 증가(상기의 예시에서는 4배 증가)시킬 수 있다.
영상 클립에 대한 플립핑에 대해서는 후술될 도 2를 참조하여 더 자세하게 설명된다.
영상 데이터 처리부(110)는 라벨링된 복수의 영상 클립들의 각 영상 클립 또는 상기 각 영상 클립의 각 프레임을 처리함으로써 처리된 영상 데이터를 생성하여 멀티 스트림 CNN을 위한 입력으로서 제공할 수 있다.
예컨대, 영상 데이터 처리부(110)는 제1 영상 데이터에 해당하는 라벨링된 복수의 영상 클립들의 각 영상 클립 또는 상기 각 영상 클립의 각 프레임에 대해, 제1 영상 데이터에서 반려 동물(160)을 추적함으로써 반려 동물(160)을 포함하도록 크롭된 제2 영상 데이터를 생성할 수 있다. 또한, 영상 데이터 처리부(110)는 제1 영상 데이터와 연관된 광학 흐름(optical flow) 추출 영상인 제3 영상 데이터를 생성할 수 있다. 또한, 영상 데이터 처리부(110)는 제2 영상 데이터와 연관된 광학 흐름 추출 영상인 제4 영상 데이터를 생성할 수 있다. 이러한, 제1 영상 데이터, 제2 영상 데이터, 제3 영상 데이터 및 제4 영상 데이터는 CNN에 대해 멀티 스트림의 입력 값이 될 수 있다.
영상 데이터 처리부(110)가 제2 영상 데이터, 제3 영상 데이터 및 제4 영상 데이터를 생성하는 보다 자세한 방법에 대해서는 후술될 도 4를 참조하여 더 자세하게 설명된다.
CNN 출력 값 생성부(120)는 영상 데이터 처리부(110)에 의해 생성된 영상 데이터 세트의 각 영상 데이터(예컨대, 전술된 제1 내지 제4 영상 데이터)를 멀티 스트림의 입력 값으로 하는 CNN에 대해 CNN 출력 값을 생성할 수 있다. CNN은 멀티 스트림(multi stream) CNN일 수 있다. CNN은 복수의 CNN들을 나타낼 수 있다. 일례로, 멀티 스트림의 각 영상 데이터는 각각의 CNN의 입력이 될 수 있다. 또한, CNN은 DNN 또는 RNN으로 대체될 수도 있다.
CNN은 반려 동물(160)과 관련된 영상 데이터에 대응하는 영상 데이터(예컨대, 샘플 데이터(학습을 위한 데이터))를 학습함으로써 구축된 것일 수 있다. 학습을 위한 데이터는 외부의 데이터베이스(예컨대, 데이터베이스(104))로부터 획득될 수 있다. CNN의 학습은 서버(100) 내에서 수행되거나, 서버(100)가 아닌 다른 서버 기타 컴퓨팅 장치에 의해 수행되는 것일 수 있다.
CNN 출력 값 생성부(120)는, 카메라(102)에 의해 촬영된 연속적인(또는 시계열에 따라 획득되는(sequential)) 반려 동물(160)의 영상에 기반하여 영상 데이터 처리부(110)에 의해 생성된 영상 데이터 세트의 영상 데이터를 입력 값으로 하는 CNN에 대한 CNN 출력 값을 생성할 수 있다. CNN 출력 값은 입력된 영상 데이터의 반려 동물(160)의 움직임에 관한 특징 벡터를 포함하는 것일 수 있다.
CNN 출력 값 생성부(120)에 의해 생성된 CNN 출력 값은 LSTM에 대한 입력 값이 될 수 있다. LSTM 출력 값 생성부(130)는 이러한 CNN 출력 값을 입력 값으로 하는 LSTM)에 대해 LSTM 출력 값을 생성할 수 있다. LSTM은 복수의 CNN들에 대응하여 복수일 수 있다. 일례로, 멀티 스트림의 각 영상 데이터가 각 CNN의 입력이 되는 경우에 있어서, 각 CNN의 출력 값은 복수의 LSTM들 중 대응하는 LSTM으로 입력되어 LSTM 출력 값이 생성될 수 있다.
LSTM 출력 값은 입력된 영상 데이터의 반려 동물(160)의 움직임에 관한 특징 벡터를 포함하는 것일 수 있다. 예컨대, LSTM 출력 값은 입력된 특정 영상 데이터와 그 이전(이전 시퀀스)에 입력된 복수의 영상 데이터의 반려 동물(160)의 움직임에 관한 특징 벡터를 포함하는 것일 수 있다.
위험 행동 검출부(140)는 LSTM 출력 값 생성부(130)에 의해 생성된 LSTM 출력 값에 기반하여 반려 동물(160)의 위험 행동을 검출할 수 있다. 일례로, 위험 행동 검출부(140)는 LSTM 출력 값에 기반하여 반려 동물(160)의 활동을 결정할 수 있고 해당 활동을 입력 데이터로서, 입력 데이터를 복잡 이벤트 처리(Complex Event Processing; CEP)를 사용하여 분석함으로써 반려 동물(160)의 위험 행동을 검출할 수 있다. LSTM 출력 값에 기반하여 검출되는 반려 동물(160)의 활동은 예컨대, 걷기, 서있기, 앉기, 또는 눕기를 포함하는 반려 동물(160)의 자세 활동; 머리 올리기, 머리 내리기 또는 머리 좌우 이동을 포함하는 반려 동물(160)의 머리 움직임 활동; 하울링, 짖기 또는 울기를 포함하는 반려 동물(160)의 음성 활동; 먹기, 물어 뜯기, 땅파기(digging) 또는 점프하기를 포함하는 반려 동물(160)의 움직임 활동; 또는, 배뇨/배설 활동일 수 있다.
위험 행동 검출부(140)는 LSTM 출력 값에 기반하여 반려 동물(160)의 연속적인(시계열에 따른) 활동들을 인식할 수 있고, CEP를 사용하여, 이러한 활동들의 발생 순서 및 발생 빈도나, 특정 패턴의 활동들의 발생 빈도에 기반하여 반려 동물(160)이 위험 행동을 하고 있는지 여부를 결정할 수 있고, 따라서, 반려 동물(160)의 위험 행동을 검출할 수 있다.
따라서, 카메라(102)를 통해 실시간으로 수집되는 반려 동물(160)의 영상에 기반하여 반려 동물(160)의 위험 행동이 실시간으로 검출 및 모니터링될 수 있다.
위험 행동 검출부(140)에 의해 반려 동물(160)의 위험 행동이 있는 것으로 판정된 때, 반려 동물(160)의 위험 행동이 검출되었음을 나타내는 데이터는 사용자 단말(170)로 출력될 수 있다.
사용자 단말(170)는 예컨대, 스마트 폰, PC(personal computer), 노트북 컴퓨터(laptop computer), 랩탑 컴퓨터(laptop computer), 태블릿(tablet), 사물 인터넷(Internet Of Things) 기기, 또는 웨어러블 컴퓨터(wearable computer) 등의 사용자가 사용하는 단말일 수 있다.
사용자 단말(170)은 서버(100)로부터 반려 동물(160)의 위험 행동이 검출되었음을 나타내는 데이터가 수신됨에 따라, 반려인에게 반려 동물(160)에 위험 행동이 발생하였음을 알리기 위한 경보를 발생시키는 경보 발생부(172)를 포함할 수 있다. 경보 발생부(172)는 사용자 단말(170)이 사운드를 출력하도록 하거나, 사용자 단말(170)의 디스플레이에 반려 동물(160)의 위험 행동이 검출되었음을 나타내는 정보를 표시하도록 함으로써 경보를 발생시킬 수 있다.
사용자 단말(170)는 또한 반려 동물(160)의 위험 행동에 대한 조치를 위한 명령을 생성하고, 생성된 명령을 서버(100)로 출력하는 원격 제어부(174)를 더 포함할 수 있다. 상기 명령은 사용자 단말(170)에 대한 반려인의 조작에 따라 생성될 수 있고, 외부 장치(180)를 제어하기 위한 명령일 수 있다.
한편, 서버(100)는 사용자 단말(170)에 의해 출력된 명령을 수신하고, 반려 동물(160)의 위험 행동을 해소하기 위한 조치를 수행하기 위한 조치 명령을 생성하고, 조치 명령을 외부 장치(180)로 전송하는 위험 행동 조치부(150)를 더 포함할 수 있다. 위험 행동 조치부(150)로부터의 조치 명령에 따라 외부 장치(180)는 제어될 수 있다. 위험 행동 조치부(150)로부터의 조치 명령은 반려 동물(160)의 위험 행동에 대한 교정적 조치(corrective measure)을 명령하는 것이거나, 예방적 조치(proactive measure)를 명령하는 것일 수 있다. 조치 명령은 이러한 교정적 조치 또는 예방적 조치의 수행을 위한 외부 장치(180)에 대한 제어 명령일 수 있다.
조치 명령에 따라 제어되는 외부 장치(180)는 스피커, TV와 같은 디스플레이 장치 및 먹이 공급 장치 중 적어도 하나를 포함할 수 있다. 예컨대, 조치 명령에 따라 TV(또는 스피커)는 반려 동물(160)의 위험 행동을 해소하기 위해 도움이 되는 오디오 또는 사운드를 출력할 수 있고, 먹이 공급 장치는 반려 동물(160)에게 먹이를 제공할 수 있다. 말하자면, 외부 장치(180)는 위험 행동 조치부(150)로부터의 조치 명령에 따라 반려 동물(160)의 위험 행동을 해소하기 위한 조치를 수행할 수 있다.
전술된 서버(100)의 구성들(110 내지 150) 각각은 서버(100)의 프로세서의 일부로서 소프트웨어 및/또는 하드웨어 모듈일 수 있고, 프로세서에 의해 구현되는 기능(기능 블록)을 나타낼 수 있다. 유사하게, 전술된 사용자 단말(170)의 구성들(172 및 174) 각각 또한 사용자 단말(170)의 프로세서의 일부로서 소프트웨어 및/또는 하드웨어 모듈일 수 있고, 프로세서에 의해 구현되는 기능(기능 블록)을 나타낼 수 있다.
한편, 도시되지는 않았으나, 서버(100) 및 사용자 단말(170)은 다른 서버/장치와 정보 및 데이터를 송수신하기 위한 통신부를 더 포함할 수 있다. 전술된 센서 데이터, 명령 및 위험 행동을 나타내는 데이터는 이러한 통신부를 통해 카메라(102), 서버(100) 및 사용자 단말(170)(즉, 이들의 구성들) 사이에서 통신될 수 있다. 정보 및 데이터의 송수신에 사용되는 네트워크는 특별히 제한되지 않으며 일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망 및 위성망을 비롯하여 기기들 간의 근거리 무선 통신 역시 포함할 수 있다.
도 2는 일 예에 따른, 반려 동물의 영상을 처리하여 반려 동물의 행동 분석을 위한 영상 데이터 세트를 생성하는 방법을 나타낸다.
도시된 영상 데이터(210)는 카메라(102)에 의해 촬영된 반려 동물(160)의 라벨링된 영상 클립(또는 프레임)을 캡쳐한 것이다. 도시된 것처럼, 영상 데이터(210)는 탑-다운 앵글을 갖는 카메라(102)에 의해 촬영된 것일 수 있다.
영상 데이터 처리부(110)는 라벨링된 영상 클립(또는 프레임)을 포함하는 영상 데이터 세트를 확장하고, 라벨링된 영상 클립들의 수를 증가시키기 위해, 라벨링된 복수의 영상 클립들 각각에 대한 플립된 영상 데이터를 추가적인 라벨링된 영상 클립으로서 생성할 수 있다.
영상 데이터(220)는 영상 데이터(210)가 수평 플립된 것일 수 있다. 영상 데이터(230)는 영상 데이터(210)가 수직 플립된 것일 수 있다. 영상 데이터(240)는 영상 데이터(210)가 수평 및 수직 플립된 것일 수 있다. 영상 데이터 처리부(110)는 이러한 플립핑을 수행함으로써 라벨링된 영상 클립의 수를 4배로 증가시킬 수 있다. 따라서, 영상 클립들에 대한 라벨링 과정에 소요되는 시간 및 자원을 절감하면서 더 많은 라벨링된 영상 클립들이 획득될 수 있다. 이는 보다 정확한 반려 동물(160)의 위험 행동 검출로 이어질 수 있다.
이상, 도 1을 참조하여 전술된 기술적 특징에 대한 설명은, 도 2에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 3은 일 실시예에 따른, 반려 동물의 위험 행동을 검출하기 위한 CNN 출력 값 및 LSTM 출력 값을 생성하는 방법을 나타낸다.
도시된 영상 데이터(310 내지 340)은 도 1을 참조하여 전술된 제1 영상 데이터 내지 제4 영상 데이터에 각각 대응할 수 있다. 말하자면, 영상 데이터(320)는 원본 영상 클립 또는 프레임에 대응하는 영상 데이터(310)에서 반려 동물(160)을 추적함으로써 반려 동물(160)을 포함하도록 영상 데이터(310)를 크롭한 것일 수 있다. 영상 데이터(330)는 영상 데이터(310)의 광학 흐름 추출 영상일 수 있다. 영상 데이터(340)는 영상 데이터(320)의 광학 흐름 추출 영상일 수 있다.
영상 데이터(310 내지 340) 각각은 복수의 CNN들(또는 멀티 스트림 CNN)(350) 각각으로 입력될 수 있다. 광학 흐름 추출 영상인 영상 데이터(330 및 340)가 입력되는 CNN은 CNN-T일 수 있다. CNN-T는 Tubelet CNN(T-CNN)일 수 있다.
CNN들(350)에 대한 CNN 출력 값은 LSTM(360)의 입력 값이 될 수 있다. MSN은 Multi Stream Network를 의미할 수 있다. LSTM(360)은 도시된 바와 같이 LSTM들로 구성될 수 있다.
LSTM(360)에 대한 LSTM 출력 값이 반려 동물(160)의 위험 행동을 검출하기 위해 사용될 수 있다.
이상, 도 1 및 도 2를 참조하여 전술된 기술적 특징에 대한 설명은, 도 3에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 4는 일 예에 따른, 반려 동물의 영상을 처리하여 멀티 스트림 CNN을 위한 입력 영상 데이터를 생성하는 방법을 나타낸다.
도 4에서는, 도 3을 참조하여 전술된 영상 데이터(310 내지 340)가 생성되는 방법이 보다 자세하게 설명된다.
후술될 추적부(410) 및 광학 흐름 추출부(420)는 영상 데이터 처리부(110)의 구성으로서 하드웨어 모듈 및/또는 소프트웨어 모듈로 구현될 수 있다.
추적부(410)는 영상 데이터(310)로부터 반려 동물(160)을 추적할 수 있다. 반려 동물(160)이 추적됨에 따라, 반려 동물(160) 중심으로(target centric) 크롭된 영상 데이터(320)가 생성될 수 있다. 추적부(410)는 다양한 알고리즘, 예컨대, YOLOv3 또는 YOLOv2 알고리즘을 사용하여 영상 데이터(310)에서 반려 동물(160)의 추적을 수행할 수 있다. 도시된 예시에서는, YOLOv3 알고리즘이 사용되었다.
광학 흐름 추출부(420)는 영상 데이터(310) 및 영상 데이터(320)로부터 광학 흐름을 추출함으로써 광학 흐름 추출 영상인 영상 데이터(330) 및 영상 데이터(340)를 생성할 수 있다. 광학 흐름 추출부(420)는 다양한 알고리즘, 예컨대, 추출은 Farneback 알고리즘, Pyflow 알고리즘, EpicFlow 알고리즘 또는 FlowNet 알고리즘을 사용하여 영상 데이터(310) 및 영상 데이터(320)로부터 광학 흐름을 추출함으로써 광학 흐름 추출 영상인 영상 데이터(330) 및 영상 데이터(340)를 생성할 수 있다. 도시된 예시에서는, Pyflow 알고리즘이 사용되었다.
영상 데이터(310 내지 340)는 멀티 스트림 CNN(350)의 입력 값으로서 사용될 수 있다. 멀티 스트림 CNN(350)은 예컨대, AlexNet, ResNet, VGG, 또는 Inception-V1과 같은 모델로 구현될 수 있다. 실시예에서는, 시간, 오류 및 복잡성의 요인을 고려하여 VGG16 모델을 사용하여 멀티 스트림 CNN(350)이 구현되었다.
이상, 도 1 내지 도 3을 참조하여 전술된 기술적 특징에 대한 설명은, 도 4에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 5는 일 실시예에 따른, 반려 동물의 영상에 기반하여 반려 동물의 활동을 결정하는 방법을 나타낸다.
도 5를 참조하여 설명된 반려 동물의 활동을 결정하는 방법은 전술된 영상 데이터 처리부(110), CNN 출력 값 생성부(120) 및 LSTM 출력 값 생성부(130)의 동작에 기반한 반려 동물(160)의 위험 행동 검출 방법에 대해 추가로 또는 대체적으로 수행될 수 있는 반려 동물의 활동을 결정하는 방법에 대해 설명한다.
후술될 RGB 데이터 추출부(510) 및 광학 흐름 데이터 추출부(520)는 영상 데이터 처리부(110)의 구성으로서 하드웨어 모듈 및/또는 소프트웨어 모듈로 구현될 수 있다. RGB 데이터 추출부(510)는 전술된 추적부(410) 또는 그 일부로서 구현될 수도 있다. 또한, 광학 흐름 데이터 추출부(520)는 전술된 광학 흐름 추출부(420) 또는 그 일부로서 구현될 수도 있다.
한편, 형상 정보 획득부(530), 움직임 정보 획득부(540) 및 활동 결정부(550)는 위험 행동 검출부(140)의 구성으로서 하드웨어 모듈 및/또는 소프트웨어 모듈로 구현될 수 있다.
영상 데이터(500)는 전술된 카메라(102)에 의해 촬영된 영상이거나, 해당 영상에 기반하여 생성된 영상 데이터 세트이거나, 해당 영상의 라벨링된 클립들 또는 프레임들일 수 있다.
영상 데이터 처리부(110)의 RGB 데이터 추출부(510)는 반려 동물(160)의 영상(또는 이에 기반하여 생성된 영상 데이터 세트)으로부터 반려 동물(160)의 영상의 RGB 정보를 추출할 수 있다. 영상 데이터 처리부(110)의 광학 흐름 데이터 추출부(520)는 반려 동물(160)의 영상(또는 이에 기반하여 생성된 영상 데이터 세트)으로부터 반려 동물(160)의 영상의 광학 흐름 정보를 추출할 수 있다.
위험 행동 검출부(140)의 형상 정보 획득부(530)는 추출된 RGB 정보로부터 반려 동물(160)의 형상 정보를 획득할 수 있다. 한편, 위험 행동 검출부(140)의 움직임 정보 획득부(540)는 추출된 광학 흐름 정보로부터 반려 동물(160)의 움직임 정보를 획득할 수 있다. 위험 행동 검출부(140)의 활동 결정부(550)는 획득된 형상 정보와 움직임 정보에 기반하여 반려 동물(160)의 활동을 결정할 수 있다.
일례로, 위험 행동 검출부(140)는 투-스트림(Two-Stream) YOLOv2 알고리즘을 사용하여, RGB 정보로부터 반려 동물(160)의 형상 정보를 획득할 수 있고 광학 흐름 정보로부터 반려 동물(160)의 움직임 정보를 획득할 수 있으며, 획득된 형상 정보 및 움직임 정보에 기반하여 반려 동물(160)의 활동을 결정할 수 있다.
결정되는 반려 동물(160)의 활동은 예컨대, 걷기, 서있기, 앉기, 또는 눕기를 포함하는 반려 동물(160)의 자세 활동; 머리 올리기, 머리 내리기 또는 머리 좌우 이동을 포함하는 반려 동물(160)의 머리 움직임 활동; 하울링, 짖기 또는 울기를 포함하는 반려 동물(160)의 음성 활동; 물어 뜯기, 땅파기(digging) 또는 점프하기를 포함하는 반려 동물(160)의 움직임 활동; 또는, 배뇨/배설 활동일 수 있다. 도시된 예시에서는 반려 동물(160)의 '점프하기'가 활동으로서 결정되었다.
이러한 활동의 결정에 있어서는, 전술된 CNN 출력 값 생성부(120) 및 LSTM 출력 값 생성부(130)의 동작이 개입될 수도 있다. 예컨대, 획득된 형상 정보 및 움직임 정보가 CNN에 대한 입력이 되도록 구현될 수도 있다.
위험 행동 검출부(140)는 결정된 활동을 입력 데이터로서, 입력 데이터를 CEP를 사용하여 분석함으로써 반려 동물(160)의 위험 행동을 검출할 수 있다. 예컨대, 위험 행동 검출부(140)는 결정된 반려 동물(160)의 연속적인(시계열에 따른) 활동들을 인식할 수 있고, CEP를 사용하여, 이러한 활동들의 발생 순서 및 발생 빈도나, 특정 패턴의 활동들의 발생 빈도에 기반하여 반려 동물(160)이 위험 행동을 하고 있는지 여부를 결정할 수 있으며, 따라서, 반려 동물(160)의 위험 행동을 검출할 수 있다.
이상, 도 1 내지 도 4를 참조하여 전술된 기술적 특징에 대한 설명은, 도 5에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 6 및 도 7은 일 예에 따른, 인식된 반려 동물의 활동을 CEP를 사용하여 분석함으로서 반려 동물의 행동을 파악하기 위해 사용되는 코드를 나타낸다.
도 6에서는 결정된 반려 동물(160)의 "걷기" 활동에 대해, 반려 동물(160)의 위험 행동이 검출되는 방법이 도시되었다. 도시된 바와 같이, 반려 동물(160)의 "걷기" 활동이 파악됨에 따라, 반려 동물(160)의 건강을 위해 더 운동이 필요한지 여부가 판정될 수 있다. 이러한 반려 동물(160)이 더 운동이 필요한지 여부는 사용자 단말(170)로 전달되어 경보 생성부(172)에 의해 사용자 단말(170)에서 출력될 수 있다.
도 7에서는 결정된 반려 동물(160)의 "먹기" 활동에 대해, 반려 동물(160)의 위험 행동이 검출되는 방법이 도시되었다. 도시된 바와 같이, 반려 동물(160)의 "먹기" 활동이 파악됨에 따라, 반려 동물(160)의 건강을 위해 더 먹는 것이 필요한지 여부가 판정될 수 있다. 이러한 반려 동물(160)이 더 먹는 것이 필요한지 여부는 사용자 단말(170)로 전달되어 경보 생성부(172)에 의해 사용자 단말(170)에서 출력될 수 있다.
이상, 도 1 내지 도 5를 참조하여 전술된 기술적 특징에 대한 설명은, 도 6 및 7에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 8은 일 실시예에 따른, 반려 동물의 위험 행동 검출 및 억제 시스템에 의한 반려 동물의 위험 행동의 검출 및 억제 방법을 나타내는 흐름도이다.
단계(810)에서, 영상 데이터 처리부(110)는 카메라(102)에 의해 촬영된 반려 동물(160)의 영상을 처리하여 반려 동물(160)의 행동 분석을 위한 영상 데이터 세트를 생성할 수 있다.
단계(820)에서, CNN 출력 값 생성부(120)는 영상 데이터 세트의 각 영상 데이터를 멀티 스트림의 입력 값으로 하는 CNN에 대해 CNN 출력 값을 생성할 수 있다.
단계(830)에서, LSTM 출력 값 생성부(130)는 CNN 출력 값을 입력 값으로 하는 장단기메모리(Long Short-Term Memory; LSTM)에 대해 LSTM 출력 값을 생성할 수 있다.
단계(840)에서, 위험 행동 검출부(140)는 LSTM 출력 값에 기반하여 반려 동물(160)의 위험 행동을 검출할 수 있다.
단계(850)에서, 위험 행동 검출부(140)는 반려 동물(160)의 위험 행동이 검출되었음을 나타내는 데이터를 사용자 단말(170)로 출력할 수 있다.
단계(860)에서, 위험 행동 조치부(150)는 사용자 단말(170)로부터 출력된 명령을 수신할 수 있다.
단계(870)에서, 위험 행동 조치부(150)는 수신된 명령에 따라 반려 동물(160)의 위험 행동을 해소하기 위한 조치를 수행하기 위한 조치 명령을 생성할 수 있다.
단계(880)에서, 위험 행동 조치부(150)는 생성된 조치 명령을 적어도 하나의 외부 장치(180)로 전송할 수 있다. 외부 장치(180)는 위험 행동 조치부(150)로부터의 조치 명령에 따라 반려 동물(260)의 위험 행동을 해소하기 위한 조치를 수행할 수 있다.
이상, 도 1 내지 도 7을 참조하여 전술된 기술적 특징에 대한 설명은, 도 8에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 9는 일 예에 따른, 반려 동물의 영상을 처리하여 반려 동물의 행동 분석을 위한 영상 데이터 세트를 생성하는 방법을 나타내는 흐름도이다.
도 9를 참조하여, 반려 동물(160)의 위험 행동 검출을 위해 사용되는 영상 데이터 세트를 생성하는 방법을 더 자세하게 설명한다.
단계(910)에서, 영상 데이터 처리부(110)는 반려 동물(160)의 영상이 포함하는 복수의 영상 클립들을 시간 파라미터 및 공간 파라미터에 기반하여 라벨링할 수 있다.
단계(920)에서, 영상 데이터 처리부(110)는 라벨링된 복수의 영상 클립들 각각에 대한 플립된 영상 데이터를 추가적인 라벨링된 영상 클립으로서 생성할 수 있다. 따라서, 반려 동물(160)의 위험 행동 검출을 위해 사용되는 영상 데이터 세트는 플립된 영상 데이터를 포함하게 된다.
플립된 영상 데이터는 예컨대, 라벨링된 복수의 영상 클립들의 각각에 대한 수평 플립 영상 데이터, 수직 플립 영상 데이터 및 수평 및 수직 플립 영상 데이터를 포함할 수 있다. 영상 데이터 처리부(110)는 이러한 플립핑을 수행함으로써 라벨링된 영상 클립의 수를 증가시킬 수 있다.
이상, 도 1 내지 도 8을 참조하여 전술된 기술적 특징에 대한 설명은, 도 9에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 10은 일 예에 따른, 반려 동물의 영상을 처리하여 멀티 스트림 CNN을 위한 입력 값이 되는 영상 데이터를 생성하는 방법을 나타내는 흐름도이다.
도 10을 참조하여, 반려 동물(160)의 위험 행동 검출을 위해 사용되는 멀티 스트림 CNN의 입력 값으로의 영상 데이터를 생성하는 방법에 대해 더 자세하게 설명된다.
단계(1010)에서, 영상 데이터 처리부(110)는 제1 영상 데이터에 해당하는 라벨링된 영상 클립들의 각 영상 클립 또는 상기 각 영상 클립의 각 프레임에 대해, 상기 제1 영상 데이터에서 반려 동물(160)을 추적함으로써 반려 동물(160)을 포함하도록 크롭된 영상인 제2 영상 데이터를 생성할 수 있다. 반려 동물(160)의 추적에는 YOLOv3 알고리즘이 사용될 수 있다.
단계(1020)에서, 영상 데이터 처리부(110)는 제1 영상 데이터와 연관된 광학 흐름(optical flow) 추출 영상인 제3 영상 데이터를 생성할 수 있다.
단계(1030)에서, 영상 데이터 처리부(110)는 제2 영상 데이터와 연관된 광학 흐름 추출 영상인 제4 영상 데이터를 생성할 수 있다.
광학 흐름의 추출에는 Pyflow 알고리즘이 사용될 수 있다.
단계들(1010 내지 1030)에 의한 제1 영상 데이터 내지 제4 영상 데이터는 멀티 스트림 CNN을 위한 입력 값이 될 수 있다.
이상, 도 1 내지 도 9를 참조하여 전술된 기술적 특징에 대한 설명은, 도 10에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
도 11은 일 실시예에 따른, 반려 동물의 영상에 기반하여 반려 동물의 활동을 결정하는 방법을 나타내는 흐름도이다.
도 1에서는, 도 5를 참조하여 전술된 반려 동물의 활동을 결정하는 방법이 더 자세하게 설명된다.
후술될 단계들(1110 내지 1140)은 도 8을 참조하여 전술된 단계들(810 내지 840)에 대해 추가로(및 보조적으로) 또는 대체적으로 수행될 수 있다.
단계(1110)에서, 영상 데이터 처리부(110)는 반려 동물(160)의 영상으로부터 상기 영상의 RGB 정보 및 광학 흐름 정보를 추출할 수 있다. 단계(1110)에서의 추출 대상이되는 반려 동물(160)의 영상은 전술된 카메라(102)에 의해 촬영된 영상이거나, 해당 영상에 기반하여 생성된 영상 데이터 세트이거나, 해당 영상의 라벨링된 클립들 또는 프레임들일 수 있다.
단계(1120)에서, 위험 행동 검출부(140)는 예컨대, 투-스트림(Two-Stream) YOLOv2 알고리즘을 사용하여, 단계(1110)에서 추출된 RGB 정보로부터 반려 동물(160)의 형상 정보를 획득할 수 있고, 단계(1110)에서 추출된 광학 흐름 정보로부터 반려 동물(160)의 움직임 정보를 획득할 수 있다.
단계(1130)에서, 위험 행동 검출부(140)는 획득된 형상 정보 및 움직임 정보에 기반하여 반려 동물(160)의 활동을 결정할 수 있다. 활동은 도 5를 참조하여 예시된 바와 같을 수 있다.
단계(1130)에서, 위험 행동 검출부(140)는 상기 결정된 활동을 입력 데이터로서, 해당 입력 데이터를 CEP를 사용하여 분석함으로써 반려 동물의 위험 행동을 검출할 수 있다. 예컨대, 위험 행동 검출부(140)는 결정된 반려 동물(160)의 연속적인(시계열에 따른) 활동들을 인식할 수 있고, CEP를 사용하여, 이러한 활동들의 발생 순서 및 발생 빈도나, 특정 패턴의 활동들의 발생 빈도에 기반하여 반려 동물(160)이 위험 행동을 하고 있는지 여부를 결정할 수 있고, 따라서, 반려 동물(160)의 위험 행동을 검출할 수 있다.
이상, 도 1 내지 도 10을 참조하여 전술된 기술적 특징에 대한 설명은, 도 11에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.
아래 표 1에서는, 반려 동물(160)의 행동 분석을 위한 영상 데이터 세트의 일 예를 도시한다.
[표 1]
아래에서는, 영상 클립의 라벨링의 예시가 도시되었다. 라벨링에는 ViTBAT 소프트웨어가 사용되었다. 아래 표 2는 공간적 파라미터에 따른 라벨링을, 표 3은 시간적 파라미터에 따른 라벨링을 나타낸다.
[표 2]
[표 3]
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
Claims (10)
- 카메라에 의해 촬영된 반려 동물의 영상을 처리하여 상기 반려 동물의 행동 분석을 위한 영상 데이터 세트를 생성하는 영상 데이터 처리부;
상기 영상 데이터 세트의 각 영상 데이터를 멀티 스트림의 입력 값으로 하는 콘볼루션 신경망(Convolutional Neural Network; CNN)에 대해 CNN 출력 값을 생성하는 CNN 출력 값 생성부;
상기 CNN 출력 값을 입력 값으로 하는 장단기메모리(Long Short-Term Memory; LSTM)에 대해 LSTM 출력 값을 생성하는 LSTM 출력 값 생성부; 및
상기 LSTM 출력 값에 기반하여 상기 반려 동물의 위험 행동을 검출하는 위험 행동 검출부
를 포함하는, 반려 동물의 위험 행동 검출 및 억제 시스템. - 제1항에 있어서,
상기 영상 데이터 처리부는 상기 반려 동물의 영상이 포함하는 복수의 영상 클립들을 시간 파라미터 및 공간 파라미터에 기반하여 라벨링하고,
상기 영상 데이터 세트는 상기 라벨링된 복수의 영상 클립들을 포함하고,
상기 영상 데이터 세트는 상기 라벨링된 복수의 영상 클립들 각각에 대한 플립된 영상 데이터를 포함하고,
상기 플립된 영상 데이터는 상기 라벨링된 복수의 영상 클립들의 각각에 대한 수평 플립(horizontal filpped) 영상 데이터, 수직 플립(vertical) 영상 데이터 및 수평 및 수직 플립(combined filpped) 영상 데이터를 포함하는, 반려 동물의 위험 행동 검출 및 억제 시스템. - 제1항에 있어서,
상기 영상 데이터 처리부는 상기 반려 동물의 영상이 포함하는 복수의 영상 클립들을 시간 파라미터 및 공간 파라미터에 기반하여 라벨링하고,
상기 영상 데이터 세트는 상기 라벨링된 복수의 영상 클립들을 포함하고,
상기 영상 데이터 처리부는 제1 영상 데이터에 해당하는 상기 라벨링된 복수의 영상 클립들의 각 영상 클립 또는 상기 각 영상 클립의 각 프레임에 대해,
상기 제1 영상 데이터에서 상기 반려 동물을 추적함으로써 상기 반려 동물을 포함하도록 크롭된 제2 영상 데이터를 생성하고,
상기 제1 영상 데이터와 연관된 광학 흐름(optical flow) 추출 영상인 제3 영상 데이터를 생성하고,
상기 제2 영상 데이터와 연관된 광학 흐름 추출 영상인 제4 영상 데이터를 생성하고,
상기 제1 영상 데이터, 상기 제2 영상 데이터, 상기 제3 영상 데이터 및 상기 제4 영상 데이터가 상기 CNN에 대해 멀티 스트림의 입력 값이 되는, 반려 동물의 위험 행동 검출 및 억제 시스템. - 제3항에 있어서,
상기 제2 영상 데이터를 생성에 있어서의 상기 반려 동물의 추적은 YOLOv3 또는 YOLOv2 알고리즘을 사용하여 수행되고,
상기 제3 영상 데이터 및 상기 제4 영상 데이터를 생성함에 있어서의 광학 흐름 추출은 Farneback 알고리즘, Pyflow 알고리즘, EpicFlow 알고리즘 또는 FlowNet 알고리즘을 사용하여 수행되고,
상기 CNN은 VGG16 모델을 사용하여 구현된 것인, 반려 동물의 위험 행동 검출 및 억제 시스템. - 제1항에 있어서,
상기 카메라에 의해 촬영된 반려 동물의 영상은 탑-다운(top-down) 앵글을 갖는 카메라에 의해 촬영된 것이고,
상기 반려 동물의 영상은 공간 내에 혼자 있는 상기 반려 동물의 영상인, 반려 동물의 위험 행동 검출 및 억제 시스템. - 제1항에 있어서,
상기 위험 행동 검출부는 상기 LSTM 출력 값에 기반하여 상기 반려 동물의 활동을 결정하고 상기 활동을 입력 데이터로서, 상기 입력 데이터를 복잡 이벤트 처리(Complex Event Processing; CEP)를 사용하여 분석함으로써 상기 반려 동물의 위험 행동을 검출하는, 반려 동물의 위험 행동 검출 및 억제 시스템. - 제1항에 있어서,
상기 위험 행동 검출부에 의한 검출에 따라, 상기 반려 동물의 위험 행동이 검출되었음을 나타내는 데이터는 사용자 단말로 출력되고,
상기 사용자 단말을 통해 수신된 명령에 따라 상기 반려 동물의 위험 행동을 해소하기 위한 조치를 수행하기 위한 조치 명령을 생성하고, 상기 조치 명령을 적어도 하나의 외부 장치로 전송하는 위험 행동 조치부
를 더 포함하는, 반려 동물의 위험 행동 검출 및 억제 시스템. - 제1항에 있어서,
상기 영상 데이터 처리부는 상기 반려 동물의 영상으로부터 상기 영상의 RGB 정보 및 광학 흐름 정보를 추출하고,
상기 위험 행동 검출부는 투-스트림(Two-Stream) YOLOv2 알고리즘을 사용하여, 상기 RGB 정보로부터 상기 반려 동물의 형상 정보를 획득하고, 상기 광학 흐름 정보로부터 상기 반려 동물의 움직임 정보를 획득하며, 상기 형상 정보 및 상기 움직임 정보에 기반하여 상기 반려 동물의 활동을 결정하는, 반려 동물의 위험 행동 검출 및 억제 시스템. - 제8항에 있어서,
상기 위험 행동 검출부는 상기 결정된 활동을 입력 데이터로서, 상기 입력 데이터를 복잡 이벤트 처리(Complex Event Processing; CEP)를 사용하여 분석함으로써 상기 반려 동물의 위험 행동을 검출하는, 반려 동물의 위험 행동 검출 및 억제 시스템. - 컴퓨터에 의해 수행되는 반려 동물의 위험 행동의 검출 및 억제 방법에 있어서,
카메라에 의해 촬영된 반려 동물의 영상을 처리하여 상기 반려 동물의 행동 분석을 위한 영상 데이터 세트를 생성하는 단계;
상기 영상 데이터 세트의 각 영상 데이터를 멀티 스트림의 입력 값으로 하는 콘볼루션 신경망(Convolutional Neural Network; CNN)에 대해 CNN 출력 값을 생성하는 단계;
상기 CNN 출력 값을 입력 값으로 하는 장단기메모리(Long Short-Term Memory; LSTM)에 대해 LSTM 출력 값을 생성하는 단계; 및
상기 LSTM 출력 값에 기반하여 상기 반려 동물의 위험 행동을 검출하는 단계
를 포함하는, 반려 동물의 위험 행동의 검출 및 억제 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180136789A KR102156279B1 (ko) | 2018-11-08 | 2018-11-08 | 반려 동물의 위험 행동의 검출 및 억제 방법 및 이를 위한 자동화된 카메라-기반 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180136789A KR102156279B1 (ko) | 2018-11-08 | 2018-11-08 | 반려 동물의 위험 행동의 검출 및 억제 방법 및 이를 위한 자동화된 카메라-기반 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200055821A true KR20200055821A (ko) | 2020-05-22 |
| KR102156279B1 KR102156279B1 (ko) | 2020-09-15 |
Family
ID=70913900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180136789A KR102156279B1 (ko) | 2018-11-08 | 2018-11-08 | 반려 동물의 위험 행동의 검출 및 억제 방법 및 이를 위한 자동화된 카메라-기반 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102156279B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210091612A (ko) * | 2020-01-14 | 2021-07-22 | 고려대학교 세종산학협력단 | 위치 및 행동 정보를 이용한 고양이 행동 분석 시스템 |
| KR20220114891A (ko) * | 2021-02-09 | 2022-08-17 | 성균관대학교산학협력단 | 반려견 행동 추측 장치 및 그 동작방법 |
| KR102527208B1 (ko) * | 2022-09-13 | 2023-04-28 | 주식회사 서랩 | 반려동물 관리 서비스 융합장치, 및 이를 이용한 서비스 융합 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030061157A (ko) * | 2002-01-11 | 2003-07-18 | 삼성전자주식회사 | 생리신호획득 및 해석을 이용한 동물의 상태 파악 방법 및장치 |
| US20130046725A1 (en) * | 2011-08-15 | 2013-02-21 | Software Ag | Systems and/or methods for forecasting future behavior of event streams in complex event processing (cep) environments |
| KR20160097492A (ko) * | 2015-02-09 | 2016-08-18 | 주식회사 디바이스넷 | 반려 동물 관리 장치 및 반려 동물 관리 방법 |
| KR101876433B1 (ko) * | 2017-07-20 | 2018-07-13 | 주식회사 이고비드 | 행동인식 기반 해상도 자동 조절 카메라 시스템, 행동인식 기반 해상도 자동 조절 방법 및 카메라 시스템의 영상 내 행동 자동 인식 방법 |
| KR101876491B1 (ko) * | 2016-03-09 | 2018-07-13 | 워크브레인(주) | 반려동물 관리 장치 |
-
2018
- 2018-11-08 KR KR1020180136789A patent/KR102156279B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030061157A (ko) * | 2002-01-11 | 2003-07-18 | 삼성전자주식회사 | 생리신호획득 및 해석을 이용한 동물의 상태 파악 방법 및장치 |
| US20130046725A1 (en) * | 2011-08-15 | 2013-02-21 | Software Ag | Systems and/or methods for forecasting future behavior of event streams in complex event processing (cep) environments |
| KR20160097492A (ko) * | 2015-02-09 | 2016-08-18 | 주식회사 디바이스넷 | 반려 동물 관리 장치 및 반려 동물 관리 방법 |
| KR101876491B1 (ko) * | 2016-03-09 | 2018-07-13 | 워크브레인(주) | 반려동물 관리 장치 |
| KR101876433B1 (ko) * | 2017-07-20 | 2018-07-13 | 주식회사 이고비드 | 행동인식 기반 해상도 자동 조절 카메라 시스템, 행동인식 기반 해상도 자동 조절 방법 및 카메라 시스템의 영상 내 행동 자동 인식 방법 |
Non-Patent Citations (1)
| Title |
|---|
| Kwang-Eun Ko 외 1명,‘Deep convolutional framework for abnormal behavior detection in a smart surveillance system’Engineering Applications of Artificial Intelligence, 제67권, 226~234쪽, (2018.01.01.) 1부.* * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210091612A (ko) * | 2020-01-14 | 2021-07-22 | 고려대학교 세종산학협력단 | 위치 및 행동 정보를 이용한 고양이 행동 분석 시스템 |
| KR20220114891A (ko) * | 2021-02-09 | 2022-08-17 | 성균관대학교산학협력단 | 반려견 행동 추측 장치 및 그 동작방법 |
| KR102527208B1 (ko) * | 2022-09-13 | 2023-04-28 | 주식회사 서랩 | 반려동물 관리 서비스 융합장치, 및 이를 이용한 서비스 융합 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102156279B1 (ko) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Peng et al. | Classification of multiple cattle behavior patterns using a recurrent neural network with long short-term memory and inertial measurement units | |
| KR101607934B1 (ko) | 전염병 모니터링 방법 및 이를 이용한 시스템, 이를 수행하기 위한 기록매체 | |
| CN112655019A (zh) | 监控农业围栏中的牲畜 | |
| KR102156279B1 (ko) | 반려 동물의 위험 행동의 검출 및 억제 방법 및 이를 위한 자동화된 카메라-기반 시스템 | |
| EP3329422A1 (en) | Computer-vision based security system using a depth camera | |
| Peng et al. | Dam behavior patterns in Japanese black beef cattle prior to calving: Automated detection using LSTM-RNN | |
| Guzhva et al. | Now you see me: Convolutional neural network based tracker for dairy cows | |
| JP6989294B2 (ja) | 監視システム及び監視方法 | |
| US20200058394A1 (en) | Infrared detectors and thermal tags for real-time activity monitoring | |
| KR102026183B1 (ko) | 센서 기술을 활용한 애완동물 상태 분석 방법 및 시스템 | |
| Xiang et al. | Remote safety monitoring for elderly persons based on omni-vision analysis | |
| KR102279958B1 (ko) | 영상과 소리를 이용한 동물 상태 인식 방법 및 장치 | |
| KR102150623B1 (ko) | 아기 행동 분석 시스템 및 그 방법 | |
| KR102156280B1 (ko) | Cnn-lstm 및 복잡 활동 처리를 사용하는 반려 동물의 배설 행동 검출 방법 및 시스템 | |
| JP7081606B2 (ja) | 対象の転倒応答を決定する方法、システム、及び、コンピュータプログラム | |
| Bugarin et al. | Machine vision-based fall detection system using mediapipe pose with iot monitoring and alarm | |
| KR102188868B1 (ko) | 반려 동물의 분리 불안을 검출하는 서포트 벡터 머신 및 복잡 이벤트 처리를 사용하는 IoT 기반의 모니터링 방법 및 시스템 | |
| Shreesha et al. | Pattern detection and prediction using deep learning for intelligent decision support to identify fish behaviour in aquaculture | |
| KR20220039373A (ko) | 스마트 축사 시스템 및 그를 이용한 축사 모니터링 방법 | |
| KR102270637B1 (ko) | 보호자와의 상호작용에 기반한 반려동물 행동 분석 방법 | |
| Soman et al. | A Novel Fall Detection System using Mediapipe | |
| Lupión et al. | Detection of unconsciousness in falls using thermal vision sensors | |
| Krishnaveni et al. | IoT and AI based Forest Fire Prediction and Animal Monitoring System | |
| CN112712020B (zh) | 睡眠监测方法、装置及系统 | |
| Ozcan et al. | Automatic fall detection and activity classification by a wearable camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |