KR101382627B1 - System and method for monitering pen - Google Patents
System and method for monitering pen Download PDFInfo
- Publication number
- KR101382627B1 KR101382627B1 KR1020120132619A KR20120132619A KR101382627B1 KR 101382627 B1 KR101382627 B1 KR 101382627B1 KR 1020120132619 A KR1020120132619 A KR 1020120132619A KR 20120132619 A KR20120132619 A KR 20120132619A KR 101382627 B1 KR101382627 B1 KR 101382627B1
- Authority
- KR
- South Korea
- Prior art keywords
- abnormal
- section
- video
- audio
- abnormal situation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000002159 abnormal effect Effects 0.000 claims abstract description 207
- 230000033001 locomotion Effects 0.000 claims abstract description 102
- 238000012544 monitoring process Methods 0.000 claims abstract description 31
- 230000001360 synchronised effect Effects 0.000 claims abstract description 10
- 238000003860 storage Methods 0.000 claims abstract description 9
- 244000144972 livestock Species 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 206010011224 Cough Diseases 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 208000023504 respiratory system disease Diseases 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000009313 farming Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- JVTAAEKCZFNVCJ-UHFFFAOYSA-N lactic acid Chemical compound CC(O)C(O)=O JVTAAEKCZFNVCJ-UHFFFAOYSA-N 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 206010039740 Screaming Diseases 0.000 description 1
- 241000543375 Sideroxylon Species 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 238000013019 agitation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001914 calming effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000012173 estrus Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 235000014655 lactic acid Nutrition 0.000 description 1
- 239000004310 lactic acid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C19/00—Electric signal transmission systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Agronomy & Crop Science (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Animal Husbandry (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Alarm Systems (AREA)
Abstract
Description
본 발명은 오디오 및 비디오 데이터에 기반하여 돈사(豚舍) 등의 가축 축사 내 비정상 상황 발생을 탐지 및 식별하는 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for detecting and identifying occurrence of abnormal situations in livestock barns such as pig house based on audio and video data.
최근 IT 기술의 발전에 따라, IT 기술과 농/축산업과의 융합 기술(Computers and Electronics in Agriculture)이라는 새로운 분야에 대한 연구가 활발하게 진행되고 있다. Recently, with the development of IT technology, researches on new fields such as Computers and Electronics in Agriculture are being actively conducted.
이러한 IT 농/축산업 분야의 연구동향에 따르면, 축사 내의 가축들의 상태를 모니터링하고 평소와 다른 이상 징후가 탐지되면 이를 관리자에게 알리거나, 가축의 움직임을 분석하여 가축의 특정 상태 및 질병 징후를 조기에 탐지하는 가축 점검 시스템 및, RFID(Radio Frequency Identification)를 이용하여 가축의 정보 및 생산 이력 등을 관리하는 등의 가축 관리 시스템 등 다양한 연구가 진행되고 있다. According to the research trends in the IT farming and livestock industry, it is possible to monitor the condition of livestock in the livestock house and notify managers when abnormal signs are unusual, or analyze the movement of livestock to identify specific condition and disease signs of livestock early. Various studies are being conducted such as a livestock inspection system to detect and a livestock management system such as managing information and production history of livestock using RFID (Radio Frequency Identification).
종래의 IT 농/축산업 분야의 연구 중에는, 젖산이 분비되는 모돈에 장착한 온도센서 정보와 해당 돼지가 하루 동안 마시는 물의 양을 측정하여 질병 유무를 탐지하는 방식, 축사 내 설치한 소리 센서로부터 유입되는 소리 신호를 분석하여 돼지가 질병이 걸렸을 때 내는 기침소리를 탐지하는 방식, 축사 내 발생하는 소리 신호를 분석하여 기침 소리의 종류를 식별하는 방식, 암퇘지에게 RFID 태그를 장착하여 수퇘지에게 방문하는 횟수를 수집하고 이를 분석하여 암퇘지의 발정기를 탐지하는 방식 등이 제안되었다. During the research in the IT farming and livestock industry, the temperature sensor information installed in the sow from which lactic acid is secreted and the amount of water that the pigs drink during the day are detected to detect disease, and the sound sensor installed in the barn is introduced. By analyzing the sound signal, the pig detects the cough sound when the disease has occurred. The method analyzes the sound signal generated in the barn to identify the type of cough sound. The RFID tag is attached to the sow and the number of visits to the boar. The method of collecting and analyzing the estrus of the sows is proposed.
그런데 종래의 방식들은 대부분 축사 내 상황 중 미리 정해진 데이터에 부합되는 상황 외의 이벤트는 탐지할 수 없다는 단점이 있다. 즉, 축사 내 침입자 발생이나 축사 내 따돌림 등으로 인한 개체 간 스트레스 상승 등과 같이 다양한 비정상 상황이 존재함에도 불구하고 기존 연구에서는 다양한 비정상 상황에 대한 반영없이 특정 이벤트만을 탐지한다. 따라서, 다양한 비정상 상황을 탐지해야하는 모니터링 시스템의 본래 목적을 제공할 수 없다.However, the conventional methods have a disadvantage in that most events in the barn cannot detect an event other than the situation that matches the predetermined data. That is, although various abnormal situations exist such as an increase in stress between individuals due to intruders in the barn or bullying, the existing research detects only specific events without reflecting various abnormal situations. Thus, it cannot serve the original purpose of the monitoring system, which must detect various abnormal situations.
이와 관련하여, 한국공개특허 제2010-0001011호(발명의 명칭: 축사용 복합센서 통합모듈)는 축사 내부 환경을 센서값으로 측정하는 센서, 센서들로부터 생성되는 센서 측정값을 전달받으며 타이니 운영체계를 탑재하고 있어 센서값들을 분석 처리하여 유선 및 무선 네트워크망으로 전송하는 중앙처리장치, 중앙처리장치 및 회로에 전원을 공급하는 전원, 중앙처리장치에서 수집한 센서값들을 무선으로 해당 네트워크망에 전달하도록 안테나와 연결되어 있는 무선모듈인 RF 송신부, 중앙처리장치에 장치 동작 운영체제를 전송시키기 위한 시리얼 통신모듈 구성을 포함하는 축사용 복합센서 통합모듈을 개시하고 있다.In this regard, Korean Laid-Open Patent Publication No. 2010-0001011 (Invention name: Combined sensor integrated module for livestock use) receives the sensor measurement value generated from the sensors and sensors that measure the internal environment of the livestock house as the sensor value, and the Tiny operating system. Equipped with the system, the sensor values are analyzed and transmitted to the wired and wireless network, the central processing unit, the power supplying the central processing unit and circuits, and the sensor values collected from the central processing unit are wirelessly transmitted to the network. The present invention discloses a livestock integrated sensor integrated module including an RF transmitter, which is connected to an antenna, and a serial communication module configured to transmit a device operating operating system to a central processing unit.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 축사 내 비정상 상황의 발생을 탐지하여 비정상 상황 유형 정보 및 경보를 제공하는 축사 모니터링 시스템 및 방법을 제공하고자 한다.The present invention is to solve the above-mentioned problems of the prior art, to provide a barn monitoring system and method for detecting the occurrence of abnormal conditions in the barn to provide abnormal situation type information and alarm.
상기와 같은 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 축사 모니터링 시스템은, 축사에 설치된 오디오 센서로부터 수신된 실시간 오디오 스트림으로부터 구간 별 평균 피치(pitch) 값을 산출하고, 상기 피치 값 및 기설정된 피치 임계 값에 기초하여 비정상 상황이 발생된 비정상 오디오 구간을 검출하는 비정상 오디오 탐지부; 상기 축사에 설치된 비디오 센서로부터 수신된 실시간 비디오 스트림으로부터 구간 별 영상 내 객체의 움직임량(momentum)을 산출하고, 상기 움직임량 및 기설정된 움직임량 임계 값에 기초하여 비정상 상황이 발생된 비정상 비디오 구간을 검출하는 비정상 비디오 탐지부; 및 상기 오디오 스트림 및 상기 비디오 스트림의 구간을 동기화하고, 상기 비정상 오디오 구간 및 비정상 비디오 구간 중 적어도 하나를 포함하는 비정상 상황 발생 구간을 상기 동기화된 구간 중에서 검출하고, 상기 비정상 상황 발생 구간의 검출 시 경보를 제공하는 비정상 상황 판별부를 포함하되, 상기 피치 임계 값 및 상기 움직임량 임계 값은 각각 사전에 저장된 정상 상황의 오디오 스트림 및 비디오 스트림으로부터 산출된 피치 값 및 움직임량에 기초하여 설정된다.The barn monitoring system according to an aspect of the present invention for achieving the above technical problem, calculates the average pitch value for each section from the real-time audio stream received from the audio sensor installed in the barn, the pitch value and the An abnormal audio detector configured to detect an abnormal audio section in which an abnormal situation occurs based on the set pitch threshold value; The motion amount of the object in the image for each section is calculated from the real-time video stream received from the video sensor installed in the barn, and an abnormal video section in which an abnormal situation is generated is generated based on the motion amount and a predetermined motion amount threshold value. Abnormal video detection unit for detecting; And synchronizing sections of the audio stream and the video stream, detecting an abnormal situation occurrence section including at least one of the abnormal audio section and the abnormal video section among the synchronized sections, and alarming when detecting the abnormal situation occurrence section. And an abnormal situation determination unit for providing the pitch threshold value and the motion amount threshold value, respectively, based on the pitch value and the motion amount calculated from the audio stream and the video stream of the normal situation stored in advance.
또한, 본 발명의 다른 측면에 따른 축사 모니터링 방법은, (a) 축사에 설치된 오디오 센서 및 비디오 센서로부터 각각 실시간 오디오 스트림 및 실시간 비디오 스트림을 수신하는 단계; (b) 상기 오디오 스트림으로부터 구간 별 평균 피치(pitch) 값을 산출하고, 상기 비디오 스트림으로부터 구간 별 움직임량을 산출하는 단계; (c) 상기 피치 값 및 기설정된 피치 임계 값에 기초하여 비정상 오디오 구간을 탐지하고, 상기 움직임량 및 기설정된 움직임량 임계 값에 기초하여 비정상 비디오 구간을 탐지하는 단계; (d) 상기 오디오 스트림 및 상기 비디오 스트림의 구간을 동기화하는 단계; (e) 상기 동기화된 구간 중 상기 비정상 오디오 구간 및 비정상 비디오 구간 중 적어도 하나를 포함하는 비정상 상황 발생 구간을 검출하는 단계; 및 (f)상기 검출된 비정상 상황 발생 구간에 따른 경보를 제공하는 단계를 포함하고, 상기 피치 임계 값 및 상기 움직임량 임계 값은 각각 사전에 저장된 정상 상황의 오디오 스트림 및 비디오 스트림으로부터 산출된 피치 값 및 움직임량에 기초하여 설정된다.In addition, the barn monitoring method according to another aspect of the present invention, (a) receiving a real-time audio stream and a real-time video stream, respectively, from an audio sensor and a video sensor installed in the barn; (b) calculating an average pitch value for each section from the audio stream and calculating an amount of motion for each section from the video stream; (c) detecting an abnormal audio section based on the pitch value and the preset pitch threshold value, and detecting the abnormal video section based on the motion amount and the preset motion amount threshold value; (d) synchronizing sections of the audio stream and the video stream; (e) detecting an abnormal situation occurrence section including at least one of the abnormal audio section and the abnormal video section among the synchronized sections; And (f) providing an alarm according to the detected abnormal situation occurrence interval, wherein the pitch threshold value and the movement amount threshold value are respectively calculated pitch values from audio streams and video streams of normal situations stored in advance. And the amount of motion.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 축사 모니터링 시스템을 통하여 축사 관리자가 실시간으로 축사 상황을 확인할 수 있으며, 축사 내 비정상 상황이 탐지 되었을 경우 경보를 제공함으로써 보다 안정적으로 축사를 운영할 수 있다. According to any one of the problem solving means of the present invention described above, the livestock manager can check the livestock situation in real time through the livestock barn monitoring system, and when the abnormal situation is detected in the livestock house, it is possible to operate the house more stably by providing an alarm. Can be.
또한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 축사 모니터링 시스템을 통해 축사에서 발생된 비정상 상황의 유형에 대한 로그 데이터와 축사 내 움직임량 그래프와 피치 그래프를 제공함으로써, 축사 관리자가 신속하게 비정상 상황의 유형을 파악하고 대응책을 마련할 수 있도록 하는 효과가 있다.In addition, according to any one of the problem solving means of the present invention, by providing a log data on the type of abnormal situation occurred in the pen via the pen monitoring system, the movement amount graph and the pitch graph in the pen, the pen manager quickly It is effective to identify the type and to prepare countermeasures.
도 1은 본 발명의 일 실시예에 따른 축사 모니터링 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에서 축사 내 움직임량의 산출 방식을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에서 오디오 및 비디오 동기화를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에서 오디오 및 비디오 동기화를 위한 타임스탬프 메타데이터의 일례를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 축사 내 비정상 상황 분석이 완료된 동영상 파일에 대응하는 메타데이터의 일례를 나타낸 도면이다.
도 6 내지 도 9는 본 발명의 일 실시예에서 축사 내 비정상 상황의 유형 별 이벤트 식별 방식을 설명하기 위한 사용자 인터페이스 화면의 일례를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 축사 모니터링 방법을 설명하기 위한 순서도이다.1 is a block diagram showing the configuration of a barn monitoring system according to an embodiment of the present invention.
2 is a view for explaining a method of calculating the amount of motion in a barn in an embodiment of the present invention.
3 is a diagram for explaining audio and video synchronization according to an embodiment of the present invention.
4 illustrates an example of time stamp metadata for audio and video synchronization according to an embodiment of the present invention.
5 is a diagram illustrating an example of metadata corresponding to a video file in which an abnormal situation analysis in a barn is completed according to an embodiment of the present invention.
6 to 9 are diagrams illustrating an example of a user interface screen for explaining an event identification method for each type of abnormal situation in a barn in an embodiment of the present invention.
10 is a flow chart for explaining the barn monitoring method according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "comprising ", it means that it can include other elements as well, without departing from the other elements unless specifically stated otherwise.
도 1은 본 발명의 일 실시예에 따른 축사 모니터링 시스템의 구성을 나타내는 블록도이다.1 is a block diagram showing the configuration of a barn monitoring system according to an embodiment of the present invention.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 축사 모니터링 시스템(100)은 오디오 수신부(110), 비디오 수신부(120), 비정상 오디오 탐지부(130), 비정상 비디오 탐지부(140), 비정상 상황 판별부(150), 및 저장부(160)를 포함하여 구성된다.As shown in FIG. 1, the
오디오 수신부(110)는 돈사 등의 축사에 설치된 적어도 하나의 오디오 센서로부터 실시간 오디오 스트림을 수신하고, 실시간 오디오 스트림을 복수의 프레임으로 구성된 구간 단위로 비정상 오디오 탐지부(130)로 전달한다.The
비디오 수신부(120)는 축사에 설치된 적어도 하나의 비디오 센서로부터 실시간 비디오 스트림을 수신하고, 실시간 비디오 스트림을 복수의 프레임으로 구성된 구간 단위로 비정상 비디오 탐지부(130)로 전달한다.The
참고로, 본 발명의 일 실시예에 따른 축사 모니터링 시스템(100)에서 축사에 설치된 오디오 센서 및 비디오 센서는 각각 별개의 센서로서 설치되거나 또는 일체형으로 설치될 수 있으며, 비디오 센서는 감시 카메라(cctv) 형태로 설치될 수 있다.For reference, in the
비정상 오디오 탐지부(130)는 실시간 오디오 스트림의 구간 별 평균 피치(pitch) 값을 산출하고, 산출된 피치 값과 기설정된 피치 임계 값을 비교하여 비정상 상황이 발생된 비정상 오디오 구간을 검출한다. 이때, 피치 임계 값은 사전에 저장된 정상 상황의 오디오 스트림으로부터 산출된 피치 값에 기초하여 설정되며, 복수의 임계 값의 범위로 구분될 수 있다. 참고로, 피치 임계 값은 실제 축사 내 실험을 통해 측정된 값일 수 있다.The
참고로, 피치는 오디오 파형의 기본 주기로서 오디오 파형이 일정 구간에서 유사한 모양이 계속적으로 반복되는 주요 주파수 주기를 의미한다.For reference, pitch is a basic period of an audio waveform, and means a main frequency period in which an audio waveform is repeatedly repeated in a certain section.
하기 수학식 1을 이용하여 오디오 파형의 반복 주기를 추출할 수 있다. The repetition period of the audio waveform may be extracted using
[수학식 1] [Equation 1]
즉, 이산적인 샘플 신호 x(k)를 정재적인 입력 신호라고 할 때 샘플 간의 유사도R(k)를 산출하고, 유사도가 높은(즉, 가장 반복 횟수가 높은) 샘플(즉, 주파수 영역)을 추출할 수 있다. 이때, 주요 주파수가 반복되는 주기를 구하게 되면 통계적 특성에 기반을 둔 피치 결과 값을 추출할 수 있다. That is, when the discrete sample signal x (k) is a static input signal, the similarity R (k) between samples is calculated, and the sample with the highest similarity (that is, the highest number of repetitions) (ie, the frequency domain) is extracted. can do. In this case, if the period in which the main frequency is repeated is obtained, the pitch result value based on the statistical characteristics may be extracted.
그런데 오디오 분석 범위를 무한대로 하는 것은 이상적인 것으로서, 본 발명의 일 실시예에서는 유한한 범위(즉, 기설정된 구간) 내에서 피치 값을 산출한다. 따라서 실시간 오디오 스트림의 모든 구간에 대해 동일한 피치 값 산출 조건을 적용하기 위하여, 하기 수학식 2를 이용하여 자기상관계수를 정규화하여 피치 값을 추출할 수 있다. However, it is ideal that the audio analysis range is infinite, and in one embodiment of the present invention, the pitch value is calculated within a finite range (that is, a predetermined section). Accordingly, in order to apply the same pitch value calculation condition to all sections of the real-time audio stream, the pitch value may be extracted by normalizing the autocorrelation
[수학식 2] &Quot; (2) "
구체적으로, 비정상 오디오 탐지부(130)는 실시간 오디오 스트림의 구간 단위로 평균 피치 값을 산출하고, 평균 피치 값이 기설정된 피치 임계 값보다 클 경우 비정상 오디오 구간으로 검출한다.Specifically, the
이때, 비정상 오디오 탐지부(130)는 기설정된 복수의 프레임으로 구성된 오디오 구간의 피치 값을 추출하되, 하나의 구간에 존재하는 복수의 프레임에 대한 평균 피치 값을 산출한다. 그리고, 비정상 오디오 탐지부(130)는 산출된 평균 피치 값이 정상 상황일 경우의 피치 임계 값보다 큰 경우 비정상 상황이 발생한 것으로 판단하여, 해당 오디오 구간을 비정상 오디오 구간으로 탐지한다.At this time, the
예를 들어, 하기 표 1에서와 같이 실험 상황하의 설정된 시간 동안 오디오 스트림에서 추출한 피치 값에 따라 복수의 임계 값의 범위를 설정할 수 있다.For example, as shown in Table 1, a range of a plurality of threshold values may be set according to the pitch value extracted from the audio stream during the set time under the experimental situation.
[표 1][Table 1]
이때, 피치 값이 ‘0 ~ 490Hz’일 경우 정상 상황의 임계 값 범위이고, ‘500 ~ 1400Hz’일 경우 갑자기 집단으로 빠르게 달려가거나 흩어지는 패닉(Panic(Group Foot Step)) 상황의 임계 값 범위이고, ‘1400Hz’를 초과할 경우 축사에 치명적인 피해를 줄 수 있는 호흡기 질환 증상(예를 들어, 기침 소리) 또는 개체 간 집단 따돌림 등으로 인한 스트레스로 인한 비명 소리 발생(Scream, Cough) 상황의 임계 값의 범위일 수 있다.At this time, if the pitch value is '0 ~ 490Hz', the threshold range of the normal situation is, and if the '500 ~ 1400Hz' is the threshold range of the panic (Group Foot Step) situation, which is suddenly running or dispersing rapidly in a group, , Thresholds for screaming (Scream, Cough) situations caused by stress caused by respiratory disease symptoms (e.g. coughing) or bullying between individuals, which can cause catastrophic damage to the barn above 1400Hz. It may be in the range of.
비정상 비디오 탐지부(140)는 실시간 비디오 스트림의 구간 별 영상 내 객체의 움직임량(momentum)을 산출하고, 산출된 움직임량 및 기설정된 움직임량 임계 값을 비교하여 비정상 상황이 발생된 비정상 비디오 구간을 검출한다. 이때, 움직임량 임계 값은 사전에 저장된 정상 상황의 비디오 스트림으로부터 산출된 움직임량에 기초하여 설정되며, 복수의 임계 값의 범위로 구분될 수 있다. 참고로, 움직임량 임계 값은 실제 돈사 내 실험을 통해 측정된 값일 수 있다.The abnormal
구체적으로, 비정상 비디오 탐지부(140)는 구간 내에서 모션 블록 별 움직임 벡터를 추출하고, 구간의 첫 번째 프레임과 마지막 프레임의 모션 블록 별 움직임 벡터의 크기의 평균 값을 산출한다.In detail, the
참고로, 도 2는 본 발명의 일 실시예에서 축사 내 움직임량의 산출 방식을 설명하기 위한 도면이다.For reference, FIG. 2 is a diagram for describing a method of calculating a motion amount in a livestock house in an embodiment of the present invention.
도 2에 도시한 mvx와 mvy는 각각 움직임 벡터의 가로축과 세로축을 의미하며, θ는 움직임 벡터의 방향을 의미한다. 그리고, 움직임 벡터의 크기(m)는 하기 수학식 3과 같이 표현할 수 있다.Mv x and mv y shown in FIG. 2 mean the horizontal axis and the vertical axis of the motion vector, respectively, and θ means the direction of the motion vector. In addition, the magnitude m of the motion vector may be expressed by
[수학식 3]&Quot; (3) "
그리고, 비정상 비디오 탐지부(140)는 하기 수학식 4에서와 같이 구간 당 복수의 프레임의 속도로 유입되는 비디오 스트림에서 매 구간의 첫 번째 프레임과 마지막 프레임의 각 모션 블록 별 움직임 벡터 크기의 평균 값을 산출하여 움직임량을 산출한다. Then, the abnormal
[수학식 4]&Quot; (4) "
이때, mb는 b번째 블록의 벡터 크기이고, N은 비디오 프레임 내에서 움직임 벡터를 구성하는 전체 블록의 개수를 의미한다.In this case, m b is the vector size of the b-th block, N is the total number of blocks constituting the motion vector in the video frame.
그리고 비정상 비디오 탐지부(140)는 기설정된 복수의 프레임으로 구성된 비디오 구간의 움직임량을 산출하되, 하나의 구간에 존재하는 복수의 프레임에 대한 평균 움직임량을 산출한다. 그리고, 비정상 오디오 탐지부(130)는 산출된 평균 움직임량이 정상 상황일 경우의 움직임량 임계 값보다 큰 경우 비정상 상황이 발생한 것으로 판단하여, 해당 비디오 구간을 비정상 비디오 구간으로 탐지한다.The
예를 들어, 실제 실험 상황하의 설정된 시간 동안 비디오 스트림에서 추출한 움직임량에 따라 복수의 임계 값의 범위를 설정할 수 있다.For example, a range of a plurality of threshold values may be set according to the amount of motion extracted from the video stream during the set time under the actual experimental situation.
구체적으로, 비디오 구간의 평균 움직임량의 값이 300 이하일 경우 움직임 거의 없거나 천천히 움직이는 정상 상황의 임계 값의 범위이고, 평균 움직임량이 300을 초과할 경우 누군가의 침입이나 개체 간 괴롭힘 등으로 인하여 특정 개체가 갑자기 뛰거나 집단 개체가 확산되는 등의 비정상 상황의 임계 값의 범위일 수 있다.Specifically, when the average amount of motion in the video section is 300 or less, it is a range of threshold values of normal or slow motion in a normal situation, and when the average amount of motion exceeds 300, a specific object is detected due to someone's intrusion or bullying. It may be in the range of thresholds for abnormal situations, such as jumping suddenly or spreading populations.
도 1로 돌아가서, 비정상 상황 판별부(150)는 오디오 스트림 및 상기 비디오 스트림의 구간을 동기화하여 동일 구간 내에서 비정상 오디오 구간 및 비정상 비디오 구간이 탐지 되었는지 판단하여 비정상 상황 발생 구간을 검출한다.Returning to FIG. 1, the abnormal
구체적으로, 비정상 상황 판별부(150)는 실시간 오디오 스트림 및 상기 실시간 비디오 스트림의 각 구간을 복수의 프레임으로 설정하고, 각 프레임의 생성 시간을 기록한 타임스탬프에 기초하여 동일한 시간의 구간들을 동기화한다.Specifically, the abnormal
참고로, 도 3은 본 발명의 일 실시예에서 오디오 및 비디오 동기화를 설명하기 위한 도면이다. 그리고, 도 4는 본 발명의 일 실시예에서 오디오 및 비디오 동기화를 위한 타임스탬프 메타데이터의 일례를 나타낸 도면이다.For reference, FIG. 3 is a diagram for describing audio and video synchronization in an embodiment of the present invention. 4 is a diagram illustrating an example of time stamp metadata for audio and video synchronization in an embodiment of the present invention.
도 3에서는, 실시간 오디오 스트림 및 실시간 비디오 스트림이 초(즉, 일구간) 당 15 프레임으로 설정된 것을 나타내었으며, 도 4에서는 오디오 구간 및 비디오 구간의 각 프레임 생성 시간을 기록한 타임스탬프를 나타내었다. 이때, 비정상 상황 판별부(150)는 오디오 구간 및 비디오 구간의 각 프레임 별 타임 스탬프에 기초하여 동일 시간에 발생된 오디오 구간 및 비디오 구간을 동기화한다.In FIG. 3, the real time audio stream and the real time video stream are set to 15 frames per second (that is, one section). In FIG. 4, a timestamp of recording each frame generation time of the audio section and the video section is shown. At this time, the abnormal
그리고, 비정상 상황 판별부(150)는 동기화된 구간 중 비정상 오디오 구간 및 비정상 비디오 구간 중 적어도 하나를 포함하는 구간을 비정상 상황 발생 구간으로 판단하고, 비정상 상황 발생 검출 시 경보를 제공한다.The
참고로, 도 1에서는 본 발명의 일 실시예에 따른 비정상 상황 판별부(150)가 별도로 구성된 관리자 단말(200)로 경보(및 이하 설명할 비정상 상황 유형의 정보 및 로그 데이터 등)를 제공하는 것을 나타내었다. 그런데 본 발명의 일 실시예에 따른 축사 모니터링 시스템(100)은 자체적으로 오디오 및 비디오 출력 수단(미도시), 알람 수단 및 디스플레이 수단(모니터 등)을 포함할 수 있으며, 이러한 별도의 출력 수단 등을 통해 경보(및 이하 설명할 비정상 상황 유형의 정보 및 로그 데이터 등)을 제공할 수 있다.For reference, in FIG. 1, an abnormal
그리고 비정상 상황 판별부(150)는 기설정된 복수의 비정상 상황 유형 중 비정상 상황 발생 구간에 대응하는 비정상 상황 유형을 검출하고, 검출된 비정상 상황 유형의 정보를 제공한다. 이때, 비정상 상황 판별부(150)는 비정상 상황 발생 구간에 대한 비정상 오디오 구간 및 비정상 비디오 구간의 포함 여부와, 비정상 상황 발생 구간의 피치 값 및 움직임량 중 적어도 하나가 매칭된 임계 값의 범위에 기초하여 상기 비정상 상황 유형을 검출한다.The abnormal
구체적으로, 비정상 상황 판별부(150)는 사전에 설정된 복수의 비정상 상황 유형 중 검출된 비정상 상황 발생 구간에 따른 비정상 상황 유형을 판별하여 저장부(160)로 전송하고, 비정상 상황 발생 구간의 오디오 및 비디오의 구간을 저장부(160)로 전송하여 저장한다. 그리고, 비정상 상황 판별부(150)는 비정상 상황 발생 구간의 피치 값 및 움직임량을 저장부(160)로 전송하여 저장하되, 피치 값 및 움직임량의 변화를 그래프 형태로 생성하여 저장할 수 있다.Specifically, the abnormal
예를 들어, 비정상 상황 발생 구간에 비정상 오디오 구간 및 비정상 비디오 구간의 포함 여부와, 복수의 임계 값의 범위에 기초한 복수의 비정상 상황 유형은 하기 표 2에서와 같이 설정될 수 있다.For example, whether the abnormal audio section and the abnormal video section are included in the abnormal situation occurrence section and the plurality of abnormal situation types based on the range of the plurality of threshold values may be set as shown in Table 2 below.
[표 2][Table 2]
표 2에서는 비정상 상황 유형(Event Type)이 4개로 구분되는 것을 나타내었다. Table 2 shows that the abnormal event type is divided into four.
첫 번째 비정상 상황 유형은 스트레스/질병 발생(Stress or Disease) 유형으로서, 비정상 상황 발생 구간이 오디오 스트림에서만 탐지되고(Only Audio), 피치 임계 값의 범위(Pitch)가1400 Hz를 초과하고(Over 1400Hz), 움직임량 임계 값의 범위(Momentum)가 정상(Normal)인 경우이다. 이러한 스트레스/질병 발생 유형은 축사 내 개체가 스트레스를 받거나 호흡기 질환과 같은 질병을 의심해볼 수 있다. The first type of anomaly is the Stress or Disease type, where an anomaly is detected only in the audio stream (Only Audio), the pitch threshold is above 1400 Hz (Over 1400 Hz) In this case, the motion amount threshold value is normal. This type of stress / disease incidence may lead to suspicion of an individual in the barn or a disease such as respiratory disease.
두 번째 비정상 상황 유형은 음영지역 패닉 발생(Blind Spot Panic) 유형으로서, 비정상 상황 발생 구간이 오디오 스트림에서만 탐지되고(Only Audio), 피치 임계 값의 범위가 500∼1400Hz의 사이이고, 움직임량 임계 값의 범위(Momentum)가 정상(Normal)인 경우이다. 이러한 음영지역 패닉 발생 유형은 위험할 정도의 높은 피치 값은 아니며, 카메라 사각 지대 밖에서의 집단 패닉 등을 의심해볼 수 있다. The second anomaly type is the blind spot panic type, where an anomaly interval is detected only in the audio stream (only audio), the pitch threshold range is between 500 and 1400 Hz, and the motion threshold is This is the case when the range of Normal is Normal. This type of shadow panic is not a dangerously high pitch value, and it is possible to suspect a group panic outside the camera blind spot.
세 번째 비정상 상황 유형은 개체 간 동요/패닉 발생(Frenzy or Panic) 유형으로서, 비정상 상황 발생 구간이 비디오 스트림에서만 탐지되고(Only Video), 움직임량 임계 값의 범위(Momentum)가 300 이상이고(Over 300), 피치 임계 값의 범위가 정상(Normal)인 경우이다. 이러한 동요/패닉 발생 유형은 축사 내 개체들의 갑작스런 흥분 등을 의심할 수 있다. The third anomaly type is a type of fluctuation or panic between objects, in which an anomaly interval is detected only in the video stream (Only Video), and the motion threshold is over 300 (Over Momentum). 300), the pitch threshold is normal. This type of agitation / panic can be suspected of sudden excitement of individuals in the house.
네 번째 비정상 상황 유형은 침입자(집단 패닉)/따돌림 발생(Invader(Group panic) or Bully) 유형으로서, 비정상 상황 발생 구간이 오디오 스트림과 비디오 스트림 모두에서 탐지되고(Both Audio and Video), 피치 임계 값의 범위가 1400Hz를 초과하고(Over 1400Hz), 움직임량 임계 값의 범위가 300 이상인 경우이다. 이러한, 침입자(집단 패닉)/따돌림 발생 유형은 축사 내 매우 심각하게 변화가 발생했다는 것으로 해석할 수 있으며, 축사 내 낯선 사람이 침입하였거나 개체 간 괴롭힘 등으로 인한 스트레스를 의심해볼 수 있다.The fourth type of anomaly is the Invader (Group panic) or Bully type, where an anomaly is detected in both the audio and video streams (Both Audio and Video), and the pitch threshold Is in the range of over 1400 Hz (over 1400 Hz), and the threshold range of the motion amount is 300 or more. This type of intruder (group panic) / bullying can be interpreted as a very serious change in the barn, and it is possible to suspect the stress caused by the invasion of strangers in the barn or harassment between individuals.
한편, 비정상 상황 판별부(150)는 비정상 상황 발생 구간에 대한 경보 및 비정상 상황 유형의 정보 중 적어도 하나를 제공한다. 이때, 비정상 상황 판별부(150)는 경보와 저장부(160)로부터 획득한 비정상 상황 발생 구간의 오디오 및 비디오의 구간 데이터, 비정상 상황 유형의 정보를 포함하는 로그 데이터, 피치 그래프 및 움직임량 그래프를 함께 출력하는 사용자 인터페이스(UI, User Interface)를 제공할 수 있다.Meanwhile, the abnormal
도 6 내지 도 9는 본 발명의 일 실시예에서 축사 내 비정상 상황의 유형 별 이벤트 식별 방식을 설명하기 위한 사용자 인터페이스 화면의 일례를 나타낸 도면이다.6 to 9 are diagrams illustrating an example of a user interface screen for explaining an event identification method for each type of abnormal situation in a barn in an embodiment of the present invention.
예를 들어, 도 6에서는 비정상 상황 발생 구간이 오디오 스트림에서만 탐지되고, 평균 피치 값이 1400Hz를 초과한 경우 제공되는 사용자 인터페이스 화면을 나타내었다. 이러한 경우는, 축사 내 실제적으로 개체 움직임이 없어 평온하지만 호흡기 질환으로 인해서 나타날 수 있는 기침 소리가 발생한 것으로 판단할 수 있어, 관리자의 입장에서 해당 정보를 이용하여 축사 내 호흡기 질환 여부를 의심해보고 대응책을 마련할 수 있다.For example, FIG. 6 illustrates a user interface screen provided when an abnormal situation occurrence section is detected only in an audio stream and an average pitch value exceeds 1400 Hz. In such a case, it is possible to judge that there is a calming cough sound due to the respiratory disease because there is no individual movement in the barn. You can arrange.
그리고, 도 7에서는 비정상 상황 발생 구간이 오디오 스트림에서만 탐지되되, 평균 피치 값이 500~1400Hz 사이에서 발생된 경우 제공되는 사용자 인터페이스 화면을 나타내었다. 이러한 경우는, 축사 내 개체 움직임이 정상이고 오디오 스트림 또한 위험할 정도의 피치 값은 아닌 경우로서, 비디오 센서의 사각 지대에서 단순히 개체 간 괴롭힘 등으로 인하여 집단 패닉의 발소리가 난 것으로 판단할 수 있다.In addition, FIG. 7 illustrates a user interface screen provided when an abnormal situation occurrence section is detected only in an audio stream and an average pitch value is generated between 500 and 1400 Hz. In this case, the movement of the individual in the barn is normal and the audio stream is not a dangerous pitch value, and it may be determined that the group panic sounds due to the bullying between the objects simply in the blind spot of the video sensor.
다음, 도 8에서는 비정상 상황 발생 구간이 비디오 스트림에서만 탐지되며, 피치 값은 정상이고 움직임량이 300이상으로 높은 경우 제공되는 사용자 인터페이스 화면을 나타내었다. 이러한 경우는, 축사 내 움직임량이 갑작스럽게 증가했지만 높은 피치 값이 발견되지 않은 것으로 보아 활동시간 때 자주 발생하는 개체간 괴롭힘으로 판단할 수 있다.Next, FIG. 8 illustrates a user interface screen provided when an abnormal situation occurrence section is detected only in the video stream and the pitch value is normal and the motion amount is higher than 300. In such a case, it can be judged that the bullying that occurs frequently during the active time because the movement amount in the barn increased abruptly but the high pitch value was not found.
마지막으로, 도 9에서는 비정상 상황 발생 구간이 오디오와 비디오 스트림 모두에서 탐지되고, 축사 내 피치 값과 움직임량이 모두 위험 수준인 경우 제공되는 사용자 인터페이스 화면을 나타내었다. 이러한 경우는, 축사 내 침입자 발생으로 판단할 수 있어, 관리자의 입장에서 청소나 먹이 보충일이 아님에도 불구하고 오디오와 비디오 스트림 모두에서 비정상 상황이 나타났을 경우에는 보다 신속히 침입자 발생을 의심해보고 대응책을 마련할 수 있다.Finally, FIG. 9 illustrates a user interface screen provided when an abnormal situation occurrence section is detected in both the audio and video streams, and both the pitch value and the movement amount in the barn are at a dangerous level. This can be judged as an intruder outbreak in the house, and if an abnormality occurs in both the audio and video streams, even if it is not a cleaning or feeding date, the manager will be able to suspect the intruder more quickly and take countermeasures. You can arrange.
다시 도 1로 돌아가서, 저장부(160)는 비정상 상황 발생 구간의 오디오 및 비디오의 구간 데이터(이하, ‘동영상’이라고 지칭함), 비정상 상황 발생 구간에 따른 비정상 상황 유형의 정보 및 메타데이터를 매칭한 로그 데이터, 피치 값 그래프 및 움직임량 그래프를 매칭하여 저장하고, 저장된 비정상 상황 발생 구간의 각종 데이터를 비정상 상황 판별부(150)로 제공한다.1 again, the
참고로, 도 5는 본 발명의 일 실시예에 따른 축사 내 비정상 상황 분석이 완료된 동영상 파일에 대응하는 메타데이터의 일례를 나타낸 도면이다.For reference, FIG. 5 is a diagram illustrating an example of metadata corresponding to a video file in which an abnormal situation analysis in a barn is completed according to an embodiment of the present invention.
도 5에서와 같이, 비정상 상황 발생 구간의 메타데이터는 동영상 생성 날짜, 설치 축사 지역, 설치 축사 번호, 이벤트 발생 시간, 이벤트 유형, 동영상 경로 등의 정보를 포함할 수 있다.As shown in FIG. 5, metadata of an abnormal situation occurrence section may include information such as a video generation date, an installation barn area, an installation barn number, an event occurrence time, an event type, a video path, and the like.
이하, 도 10을 참조하여 본 발명의 일 실시예에 따른 축사 모니터링 방법을 상세히 설명하도록 한다.Hereinafter, a barn monitoring method according to an embodiment of the present invention will be described in detail with reference to FIG. 10.
도 10은 본 발명의 일 실시예에 따른 축사 모니터링 방법을 설명하기 위한 순서도이다.10 is a flow chart for explaining the barn monitoring method according to an embodiment of the present invention.
도 10에서는 본 발명의 일 실시예에 따른 축사 모니터링 방법이 돈사에 적용된 것을 실시예로서 설명하나, 이러한 축사 모니터링 방법의 단계들은 돈사를 포함한 다양한 종류의 가축의 축사에 적용될 수 있다.In FIG. 10, the housing monitoring method according to an embodiment of the present invention will be described as an embodiment, but the steps of the housing monitoring method may be applied to a livestock house of various types of livestock including a pig house.
먼저, 돈사에 설치된 오디오 센서 및 비디오 센서로부터 각각 실시간 오디오 스트림 및 실시간 비디오 스트림을 수신한다(S110).First, a real time audio stream and a real time video stream are respectively received from an audio sensor and a video sensor installed in a pig house (S110).
그리고, 실시간으로 수신되는 오디오 스트림으로부터 기설정된 구간 단위로 피치(pitch) 값을 산출하고, 실시간으로 수신되는 비디오 스트림으로부터 기설정된 구간 단위로 움직임량을 산출한다(S120).The pitch value is calculated in units of predetermined intervals from the audio stream received in real time, and the motion amount is calculated in units of predetermined intervals from the video stream received in real time (S120).
예를 들어, 상기 구간은 초당 복수의 프레임으로 구성될 수 있으며, 실시간으로 수신되는 오디오 스트림 및 비디오 스트림을 초 단위로 분석하여 피치 값 및 움직임량을 산출할 수 있다.For example, the interval may include a plurality of frames per second, and the pitch value and the amount of motion may be calculated by analyzing the audio stream and the video stream received in real time.
그런 후, 산출된 피치 값 및 기설정된 피치 임계 값에 기초하여 비정상 오디오 구간을 탐지하고, 산출된 움직임량 및 기설정된 움직임량 임계 값에 기초하여 비정상 비디오 구간을 탐지한다(S130).Then, the abnormal audio section is detected based on the calculated pitch value and the preset pitch threshold value, and the abnormal video section is detected based on the calculated motion amount and the predetermined motion amount threshold value (S130).
참고로, 피치 값 및 움직임량은 각각 구간 내 포함된 복수의 프레임에 대한 평균 피치 값 및 평균 움직임량이다. 이때, 복수의 프레임으로 구성된 구간의 모션 블록 별 움직임 벡터를 추출하고, 구간의 첫 번째 프레임과 마지막 프레임의 모션 블록 별 움직임 벡터의 크기의 평균 값을 산출하여 움직임량을 산출할 수 있다.For reference, the pitch value and the motion amount are the average pitch value and the average motion amount for the plurality of frames included in each section. In this case, the motion amount may be calculated by extracting a motion vector for each motion block of a section composed of a plurality of frames and calculating an average value of the motion vectors for each motion block of the first and last frames of the section.
구체적으로, 실시간 오디오 스트림의 상기 구간 단위로 평균 피치 값을 산출하고 평균 피치 값이 상기 피치 임계 값보다 클 경우 비정상 오디오 구간으로 검출한다. 그리고, 실시간 비디오 스트림의 구간 단위로 평균 움직임량을 산출하고 평균 움직임량이 움직임량 임계 값보다 클 경우 비정상 비디오 구간으로 검출한다.Specifically, an average pitch value is calculated in units of the intervals of the real-time audio stream, and when the average pitch value is larger than the pitch threshold value, the average pitch value is detected. The average amount of motion is calculated in units of intervals of the real-time video stream, and when the average amount of motion is larger than the threshold of motion amount, it is detected as an abnormal video interval.
그런 다음, 오디오 스트림 및 상기 비디오 스트림의 구간을 동기화한다(S140).Then, the interval of the audio stream and the video stream is synchronized (S140).
이때, 실시간으로 수신된 오디오 및 비디오 스트림의 각 구간을 시간에 기초하여 하나의 동영상으로 동기화 할 수 있다. 구체적으로, 실시간 오디오 스트림 및 비디오 스트림의 각 구간을 복수의 프레임으로 설정하고, 각 프레임의 생성 시간을 기록한 타임스탬프에 기초하여 동일한 시간의 구간들을 동기화할 수 있다.At this time, each section of the audio and video stream received in real time may be synchronized to one video based on time. Specifically, each section of the real-time audio stream and the video stream may be set to a plurality of frames, and the sections of the same time may be synchronized based on a timestamp in which the generation time of each frame is recorded.
그런 후, 동기화된 구간 중 비정상 오디오 구간 및 비정상 비디오 구간 중 적어도 하나를 포함하는 구간을 비정상 상황 발생 구간으로서 검출한다(S150).Thereafter, a section including at least one of an abnormal audio section and an abnormal video section among the synchronized sections is detected as an abnormal situation occurrence section (S150).
그리고, 검출된 비정상 상황 발생 구간에 따른 경보를 제공한다(S160).Then, an alarm is provided according to the detected abnormal situation occurrence section (S160).
한편, 단계 (S150) 이후에 기설정된 복수의 비정상 상황 유형 중 비정상 상황 발생 구간에 대응하는 비정상 상황 유형을 검출하고, 검출된 비정상 상황 유형의 정보를 경보와 함께 제공하는 것도 가능하다.Meanwhile, after step S150, it is also possible to detect an abnormal situation type corresponding to an abnormal situation occurrence section among a plurality of preset abnormal situation types, and provide information of the detected abnormal situation type together with an alarm.
구체적으로, 비정상 상황 발생 구간에 대한 비정상 오디오 구간 및 비정상 비디오 구간의 포함 여부와 비정상 상황 발생 구간의 피치 값 및 움직임량 중 적어도 하나가 매칭된 임계 값의 범위 중 적어도 하나에 기초하여 비정상 상황 유형을 검출할 수 있다. 이때, 피치 임계 값 및 상기 움직임량 임계 값은 각각 복수의 임계 값의 범위로 구분되어 설정된 상태이다.Specifically, the abnormal situation type is determined based on whether the abnormal audio section and the abnormal video section are included in the abnormal occurrence section and at least one of the pitch value and the movement amount of the abnormal occurrence section. Can be detected. In this case, the pitch threshold value and the movement amount threshold value are each set to be divided into a range of a plurality of threshold values.
또한, 비정상 상황 발생 구간에 대한 비정상 상황 유형을 검출한 후, 비정상 상황 발생 구간에 따른 오디오 및 비디오의 구간, 비정상 상황 발생 구간에 대한 비정상 상황 유형의 정보 및 메타데이터를 매칭하여 저장해둘 수 있다. 이처럼, 저장된 비정상 상황 발생에 따른 각종 데이터는 사용자 인터페이스 형태로 제공될 수 있다.In addition, after detecting the abnormal situation type for the abnormal situation occurrence section, the audio and video sections and the abnormal situation type information and metadata regarding the abnormal situation occurrence section may be matched and stored. As such, various data according to the stored abnormal situation may be provided in the form of a user interface.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The foregoing description of the present invention is intended for illustration, and it will be understood by those skilled in the art that the present invention may be easily modified in other specific forms without changing the technical spirit or essential features of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
100: 축사 모니터링 시스템
110: 오디오 데이터 수신부
120: 비디오 데이터 수신부
130: 비정상 오디오 탐지부
140: 비정상 비디오 탐지부
150: 비정상 상황 판별부
160: 저장부
200: 관리자 단말100: barn monitoring system
110: audio data receiving unit
120: video data receiving unit
130: abnormal audio detection unit
140: abnormal video detection unit
150: abnormal situation determination unit
160:
200:
Claims (15)
축사에 설치된 오디오 센서로부터 수신된 실시간 오디오 스트림으로부터 구간 별 평균 피치(pitch) 값을 산출하고, 상기 피치 값 및 기설정된 피치 임계 값에 기초하여 비정상 상황이 발생된 비정상 오디오 구간을 검출하는 비정상 오디오 탐지부;
상기 축사에 설치된 비디오 센서로부터 수신된 실시간 비디오 스트림으로부터 구간 별 영상 내 객체의 움직임량(momentum)을 산출하고, 상기 움직임량 및 기설정된 움직임량 임계 값에 기초하여 비정상 상황이 발생된 비정상 비디오 구간을 검출하는 비정상 비디오 탐지부; 및
상기 오디오 스트림 및 상기 비디오 스트림의 구간을 동기화하고, 상기 비정상 오디오 구간 및 비정상 비디오 구간 중 적어도 하나를 포함하는 비정상 상황 발생 구간을 상기 동기화된 구간 중에서 검출하고, 상기 비정상 상황 발생 구간의 검출 시 경보를 제공하는 비정상 상황 판별부를 포함하되,
상기 피치 임계 값 및 상기 움직임량 임계 값은,
각각 사전에 저장된 정상 상황의 오디오 스트림 및 비디오 스트림으로부터 산출된 피치 값 및 움직임량에 기초하여 설정된 것인 축사 모니터링 시스템.In the barn monitoring system,
Abnormal audio detection that calculates an average pitch value for each section from a real-time audio stream received from an audio sensor installed in a barn, and detects an abnormal audio section where an abnormal situation occurs based on the pitch value and a preset pitch threshold value. part;
The motion amount of the object in the image for each section is calculated from the real-time video stream received from the video sensor installed in the barn, and an abnormal video section in which an abnormal situation is generated is generated based on the motion amount and a predetermined motion amount threshold value. Abnormal video detection unit for detecting; And
Synchronize the sections of the audio stream and the video stream, detect an abnormal situation occurrence section including at least one of the abnormal audio section and the abnormal video section among the synchronized sections, and detect an alarm when the abnormal situation occurrence section is detected. Including abnormal situation determination unit provided,
The pitch threshold value and the movement amount threshold value,
And a barn monitoring system, each set based on a pitch value and an amount of motion calculated from previously stored audio and video streams of a normal situation.
상기 비정상 상황 판별부는,
기설정된 복수의 비정상상황 유형 중 상기 비정상 상황 발생 구간에 대응하는 비정상 상황 유형을 검출하고, 상기 검출된 비정상 상황 유형의 정보를 제공하는 축사 모니터링 시스템.The method according to claim 1,
The abnormal situation determination unit,
A livestock monitoring system for detecting an abnormal situation type corresponding to the abnormal situation occurrence section among a plurality of preset abnormal types and providing information of the detected abnormal situation type.
상기 비정상 상황 판별부는,
상기 비정상 상황 발생 구간에 대한 상기 비정상 오디오 구간 및 비정상 비디오 구간의 포함 여부와 상기 비정상 상황 발생 구간의 피치 값 및 움직임량 중 적어도 하나가 매칭된 임계 값의 범위 중 적어도 하나에 기초하여 상기 비정상 상황 유형을 검출하되,
상기 피치 임계 값 및 상기 움직임량 임계 값은 각각 복수의 임계 값의 범위로 구분되는 것인 축사 모니터링 시스템.3. The method of claim 2,
The abnormal situation determination unit,
The abnormal situation type based on whether the abnormal audio section and the abnormal video section are included in the abnormal situation occurrence section and at least one of a range of a threshold value to which at least one of the pitch value and the movement amount of the abnormal situation occurrence section is matched. Detect
The pitch threshold value and the motion threshold value are each divided into a range of a plurality of threshold values.
상기 비정상 상황 발생 구간에 따른 오디오 및 비디오의 구간, 상기 비정상 상황발생 구간에 대한 비정상 상황 유형의 정보 및 메타데이터를 매칭하여 저장하는 저장부를 더 포함하는 축사 모니터링 시스템.3. The method of claim 2,
The livestock monitoring system further comprising a storage unit for matching and storing the section of the audio and video according to the abnormal situation occurrence section, the information and metadata of the abnormal situation type for the abnormal situation occurrence section.
상기 비정상 오디오 탐지부는,
상기 평균 피치 값이 상기 피치 임계 값보다 클 경우 상기 비정상 오디오 구간으로 검출하는 축사 모니터링 시스템.The method according to claim 1,
The abnormal audio detector,
And a barn monitoring system for detecting the abnormal audio section when the average pitch value is greater than the pitch threshold value.
상기 비정상 비디오 탐지부는,
상기 실시간 비디오 스트림의 상기 구간 단위로 평균 움직임량을 산출하고, 상기 평균 움직임량이 상기 움직임량 임계 값보다 클 경우 상기 비정상 비디오 구간으로 검출하는 축사 모니터링 시스템.The method according to claim 1,
The abnormal video detection unit,
A livestock monitoring system for calculating the average amount of motion in the interval unit of the real-time video stream, and detects the abnormal video interval when the average amount of motion is greater than the threshold amount of motion.
상기 비정상 비디오 탐지부는,
복수의 프레임으로 구성된 상기 구간의 모션 블록 별 움직임 벡터를 추출하고, 상기 구간의 첫 번째 프레임과 마지막 프레임의 모션 블록 별 움직임 벡터의 크기의 평균 값을 산출하여 상기 움직임량을 산출하는 축사 모니터링 시스템.The method according to claim 6,
The abnormal video detection unit,
And extracting a motion vector for each motion block of the section consisting of a plurality of frames, and calculating the motion amount by calculating an average value of the motion vectors for each motion block of the first and last frames of the section.
상기 비정상 상황 판별부는,
상기 실시간 오디오 스트림 및 상기 실시간 비디오 스트림의 각 구간을 복수의 프레임으로 설정하고, 각 프레임의 생성 시간을 기록한 타임스탬프에 기초하여 동일한 시간의 구간들을 동기화하는 축사 모니터링 시스템.The method according to claim 1,
The abnormal situation determination unit,
And setting each section of the real time audio stream and the real time video stream to a plurality of frames, and synchronizing sections of the same time based on a timestamp of recording a generation time of each frame.
(a) 상기 축사 모니터링 시스템의 비정상 오디오 탐지부 및 비정상 비디오 탐지부가 축사에 설치된 오디오 센서 및 비디오 센서로부터 각각 실시간 오디오 스트림 및 실시간 비디오 스트림을 수신하는 단계;
(b) 상기 비정상 오디오 탐지부가 상기 오디오 스트림으로부터 구간 별 평균 피치(pitch) 값을 산출하고, 상기 비정상 비디오 탐지부가 상기 비디오 스트림으로부터 구간 별 움직임량을 산출하는 단계;
(c) 상기 비정상 오디오 탐지부가 상기 피치 값 및 기설정된 피치 임계 값에 기초하여 비정상 오디오 구간을 탐지하고, 상기 비정상 비디오 탐지부가 상기 움직임량 및 기설정된 움직임량 임계 값에 기초하여 비정상 비디오 구간을 탐지하는 단계;
(d) 상기 축사 모니터링 시스템의 비정상 상황 판별부가 상기 오디오 스트림 및 상기 비디오 스트림의 구간을 동기화하는 단계;
(e) 상기 비정상 상황 판별부가 상기 비정상 오디오 구간 및 비정상 비디오 구간 중 적어도 하나를 포함하는 비정상 상황 발생 구간을 상기 동기화된 구간 중에서 검출하는 단계; 및
(f) 상기 비정상 비디오 탐지부가 상기 검출된 비정상 상황 발생 구간에 따른 경보를 제공하는 단계를 포함하고,
상기 피치 임계 값 및 상기 움직임량 임계 값은,
각각 사전에 저장된 정상 상황의 오디오 스트림 및 비디오 스트림으로부터 산출된 피치 값 및 움직임량에 기초하여 설정된 것인 축사 모니터링 방법.In the barn monitoring method through the barn monitoring system,
(a) receiving a real time audio stream and a real time video stream from an audio sensor and a video sensor installed in the livestock, respectively, the abnormal audio detector and the abnormal video detector of the livestock monitoring system;
(b) the abnormal audio detector calculating an average pitch value for each section from the audio stream, and the abnormal video detector calculating an amount of motion for each section from the video stream;
(c) the abnormal audio detector detects an abnormal audio section based on the pitch value and a preset pitch threshold value, and the abnormal video detector detects an abnormal video section based on the motion amount and a predetermined motion amount threshold value. Making;
(d) synchronizing an interval of the audio stream and the video stream by an abnormal situation determination unit of the livestock monitoring system;
(e) detecting, by the abnormal situation determination unit, an abnormal situation occurrence section including at least one of the abnormal audio section and the abnormal video section among the synchronized sections; And
(f) the abnormal video detection unit providing an alarm according to the detected abnormal situation occurrence period,
The pitch threshold value and the movement amount threshold value,
And a method of monitoring livestock, based on a pitch value and an amount of motion calculated from previously stored audio streams and video streams.
상기 (e) 단계 이후에,
(e-1) 상기 비정상 상황 판별부가 기설정된 복수의 비정상 상황 유형 중 상기 비정상 상황 발생 구간에 대응하는 비정상 상황 유형을 검출하는 단계; 및
(e-2) 상기 비정상 상황 판별부가 상기 검출된 비정상 상황 유형의 정보를 제공하는 단계를 더 포함하는 축사 모니터링 방법.The method of claim 9,
After the step (e)
(e-1) detecting, by the abnormal situation determination unit, an abnormal situation type corresponding to the abnormal situation occurrence section among a plurality of preset abnormal situation types; And
(e-2) The house monitoring method further comprising the step of providing the abnormal situation determination unit information of the detected abnormal situation type.
상기 (e-1) 단계는,
상기 비정상 상황 판별부가 상기 비정상 상황 발생 구간에 대한 상기 비정상 오디오 구간 및 비정상 비디오 구간의 포함 여부와 상기 비정상 상황 발생 구간의 피치 값 및 움직임량 중 적어도 하나가 매칭된 임계 값의 범위 중 적어도 하나에 기초하여 상기 비정상 상황 유형을 검출하되,
상기 피치 임계 값 및 상기 움직임량 임계 값은 각각 복수의 임계 값의 범위로 구분되는 것인 축사 모니터링 방법.11. The method of claim 10,
The step (e-1)
The abnormal situation discrimination unit is based on at least one of whether the abnormal audio section and the abnormal video section are included in the abnormal situation occurrence section, and at least one of a threshold value to which at least one of a pitch value and a motion amount of the abnormal situation occurrence section is matched. Detect the above abnormal situation type,
The pitch threshold value and the motion threshold value are each divided into a range of a plurality of threshold values.
상기 (e-1) 단계 이후에,
상기 축사 모니터링 시스템의 저장부가, 상기 비정상 상황 발생 구간에 따른 오디오 및 비디오의 구간, 상기 비정상 상황 발생 구간에 대한 비정상 상황 유형의 정보 및 메타데이터를 매칭하여 저장하는 단계를 더 포함하는 축사 모니터링 방법.11. The method of claim 10,
After the step (e-1),
The storage unit of the livestock monitoring system further comprises the step of matching and storing the section of the audio and video according to the abnormal situation occurrence section, the information and metadata of the abnormal situation type for the abnormal situation occurrence section.
상기 (c) 단계는,
상기 비정상 오디오 탐지부가 상기 평균 피치 값이 상기 피치 임계 값보다 클 경우 상기 비정상 오디오 구간으로 검출하고,
상기 비정상 비디오 탐지부가 상기 실시간 비디오 스트림의 상기 구간 단위로 평균 움직임량을 산출하고 상기 평균 움직임량이 상기 움직임량 임계 값보다 클 경우 상기 비정상 비디오 구간으로 검출하는 축사 모니터링 방법.The method of claim 9,
The step (c)
The abnormal audio detection unit detects the abnormal audio section when the average pitch value is larger than the pitch threshold value.
And the abnormal video detector calculates an average amount of motion in units of sections of the real-time video stream and detects the abnormal amount of video in the abnormal video section when the average amount of motion is greater than the threshold amount of motion.
상기 (c) 단계는,
상기 비정상 비디오 탐지부가 복수의 프레임으로 구성된 상기 구간의 모션 블록 별 움직임 벡터를 추출하고, 상기 구간의 첫 번째 프레임과 마지막 프레임의 모션 블록 별 움직임 벡터의 크기의 평균 값을 산출하여 상기 움직임량을 산출하는 축사 모니터링 방법.14. The method of claim 13,
The step (c)
The abnormal video detector extracts a motion vector for each motion block of the section including a plurality of frames, and calculates the motion amount by calculating an average value of the motion vectors for each motion block of the first and last frames of the section. How to monitor the barn.
상기 (d) 단계는,
상기 비정상 상황 판별부가 상기 실시간 오디오 스트림 및 상기 실시간 비디오 스트림의 각 구간을 복수의 프레임으로 설정하고, 각 프레임의 생성 시간을 기록한 타임스탬프에 기초하여 동일한 시간의 구간들을 동기화하는 축사 모니터링 방법.The method of claim 9,
The step (d)
And the abnormal situation determination unit sets each section of the real time audio stream and the real time video stream to a plurality of frames, and synchronizes sections of the same time based on a timestamp of recording a generation time of each frame.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120132619A KR101382627B1 (en) | 2012-11-21 | 2012-11-21 | System and method for monitering pen |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120132619A KR101382627B1 (en) | 2012-11-21 | 2012-11-21 | System and method for monitering pen |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101382627B1 true KR101382627B1 (en) | 2014-04-07 |
Family
ID=50656946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120132619A KR101382627B1 (en) | 2012-11-21 | 2012-11-21 | System and method for monitering pen |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101382627B1 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101607934B1 (en) * | 2014-05-14 | 2016-03-31 | 숭실대학교산학협력단 | The method for monitoring communicable disease and system using the method, recording medium for performing the method |
| KR101680375B1 (en) | 2015-02-13 | 2016-11-29 | (주)엘틱스컴퍼니 | Early detection of bacteria and virus disinfection system |
| KR101752399B1 (en) * | 2016-05-02 | 2017-06-30 | 농업회사법인 주식회사 보금 | System for business administration of livestock pens |
| KR101931270B1 (en) * | 2018-04-25 | 2018-12-20 | 주식회사 근옥 | A system of a stable pig breeding using video analysis of pig |
| KR20210049630A (en) * | 2019-10-26 | 2021-05-06 | 강현철 | System for managing breeding of cow with activity graph and breeding information |
| KR20210067409A (en) | 2019-11-29 | 2021-06-08 | 주식회사 헤드아이티 | Multi-sensor system for monitoring the environment inside the stable |
| KR20210121623A (en) | 2020-03-31 | 2021-10-08 | 전북대학교산학협력단 | Data annotation editing device for livestock surveillance based on sound |
| KR20230017517A (en) | 2021-07-28 | 2023-02-06 | 주식회사 제이앤에스테크 | SMART CATTLE SHED EQUIPMENT BASED ON IoT AND CATTLE SHED MONITORING SYSTEM INCLUDING THE SAME |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060090971A (en) * | 2003-09-15 | 2006-08-17 | 데이비드 코헨 | Emergency situation detector |
| KR100734492B1 (en) * | 2006-10-20 | 2007-07-03 | 주식회사 대영 | A remote control system for water supply and drainage handling |
| KR100803611B1 (en) * | 2006-11-28 | 2008-02-15 | 삼성전자주식회사 | Method and apparatus for encoding video, method and apparatus for decoding video |
| KR20100001011A (en) * | 2008-06-26 | 2010-01-06 | (주)이지정보기술 | Intergated module having the multi-sensor in stall |
-
2012
- 2012-11-21 KR KR1020120132619A patent/KR101382627B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060090971A (en) * | 2003-09-15 | 2006-08-17 | 데이비드 코헨 | Emergency situation detector |
| KR100734492B1 (en) * | 2006-10-20 | 2007-07-03 | 주식회사 대영 | A remote control system for water supply and drainage handling |
| KR100803611B1 (en) * | 2006-11-28 | 2008-02-15 | 삼성전자주식회사 | Method and apparatus for encoding video, method and apparatus for decoding video |
| KR20100001011A (en) * | 2008-06-26 | 2010-01-06 | (주)이지정보기술 | Intergated module having the multi-sensor in stall |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101607934B1 (en) * | 2014-05-14 | 2016-03-31 | 숭실대학교산학협력단 | The method for monitoring communicable disease and system using the method, recording medium for performing the method |
| US10058076B2 (en) | 2014-05-14 | 2018-08-28 | Foundation Of Soongsil University-Industry Cooperation | Method of monitoring infectious disease, system using the same, and recording medium for performing the same |
| KR101680375B1 (en) | 2015-02-13 | 2016-11-29 | (주)엘틱스컴퍼니 | Early detection of bacteria and virus disinfection system |
| KR101752399B1 (en) * | 2016-05-02 | 2017-06-30 | 농업회사법인 주식회사 보금 | System for business administration of livestock pens |
| KR101931270B1 (en) * | 2018-04-25 | 2018-12-20 | 주식회사 근옥 | A system of a stable pig breeding using video analysis of pig |
| KR20210049630A (en) * | 2019-10-26 | 2021-05-06 | 강현철 | System for managing breeding of cow with activity graph and breeding information |
| KR102310456B1 (en) * | 2019-10-26 | 2021-10-08 | 강현철 | System for managing breeding of cow with activity graph and breeding information |
| KR20210067409A (en) | 2019-11-29 | 2021-06-08 | 주식회사 헤드아이티 | Multi-sensor system for monitoring the environment inside the stable |
| KR20210121623A (en) | 2020-03-31 | 2021-10-08 | 전북대학교산학협력단 | Data annotation editing device for livestock surveillance based on sound |
| KR20230017517A (en) | 2021-07-28 | 2023-02-06 | 주식회사 제이앤에스테크 | SMART CATTLE SHED EQUIPMENT BASED ON IoT AND CATTLE SHED MONITORING SYSTEM INCLUDING THE SAME |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101382627B1 (en) | System and method for monitering pen | |
| CN108734055B (en) | Abnormal person detection method, device and system | |
| US9135499B2 (en) | Predictive theft notification for the prevention of theft | |
| US9286778B2 (en) | Method and system for security system tampering detection | |
| US10817710B2 (en) | Predictive theft notification | |
| CN101025825B (en) | Abnormal action detecting device | |
| US20110231419A1 (en) | Systems, methods and articles for video analysis reporting | |
| US8009041B2 (en) | Access monitoring and control system and method | |
| CN107257651A (en) | The scene detection of medical monitoring | |
| CN111919242B (en) | System and method for processing multiple signals | |
| CN105787504B (en) | Human behavior recognition method and system | |
| US11418701B2 (en) | Method and system for auto-setting video content analysis modules | |
| CN109561855A (en) | Equipment, system and method for fall detection | |
| US20180082413A1 (en) | Image surveillance apparatus and image surveillance method | |
| CN111863272A (en) | Susceptible population monitoring method and system and computer equipment | |
| JP2011259034A (en) | System for detecting and reporting abnormality in network camera | |
| JP4111660B2 (en) | Fire detection equipment | |
| CN106415578B (en) | Log analysis device and log analysis method | |
| CN109934217B (en) | Method, apparatus and system for detecting a loitering event | |
| CN104796822B (en) | Audio squealing detection method, video monitoring method and system using this method | |
| CN116883946B (en) | Method, device, equipment and storage medium for detecting abnormal behaviors of old people in real time | |
| CN103403773A (en) | Method and system for monitoring physical security via detecting potential intrusion | |
| JP6832890B2 (en) | Monitoring equipment, monitoring methods, and computer programs | |
| CN116849643A (en) | Method for detecting falling of wearable equipment based on neural network | |
| CN101826994A (en) | Method and device for acquiring information invading source host |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170328 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180403 Year of fee payment: 5 |