KR20200065733A - Intelligent security system and method for detecting abnormal situation - Google Patents

Intelligent security system and method for detecting abnormal situation Download PDF

Info

Publication number
KR20200065733A
KR20200065733A KR1020180152475A KR20180152475A KR20200065733A KR 20200065733 A KR20200065733 A KR 20200065733A KR 1020180152475 A KR1020180152475 A KR 1020180152475A KR 20180152475 A KR20180152475 A KR 20180152475A KR 20200065733 A KR20200065733 A KR 20200065733A
Authority
KR
South Korea
Prior art keywords
data
abnormality
normal situation
situation
database
Prior art date
Application number
KR1020180152475A
Other languages
Korean (ko)
Inventor
신호철
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180152475A priority Critical patent/KR20200065733A/en
Publication of KR20200065733A publication Critical patent/KR20200065733A/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Alarm Systems (AREA)

Abstract

According to the present invention, provided is an abnormal situation detecting method in an intelligent security monitoring system, which comprises the steps of: receiving collected monitoring data from fixed or mobile monitoring equipment in a monitoring area; determining whether the collected monitoring data corresponds to a normal situation based on previously learned normal situation data; setting the collected monitoring data as an abnormality candidate when the collected monitoring data does not correspond to the normal situation; and transmitting the abnormal situation filtered by the abnormality candidate to a manager terminal.

Description

지능형 보안 시스템 및 이의 이상상황 검출 방법{INTELLIGENT SECURITY SYSTEM AND METHOD FOR DETECTING ABNORMAL SITUATION}Intelligent security system and its abnormality detection method {INTELLIGENT SECURITY SYSTEM AND METHOD FOR DETECTING ABNORMAL SITUATION}

본 발명은 지능형 보안 시스템 및 이의 이상상황 검출 방법에 관한 것이다.The present invention relates to an intelligent security system and an abnormality detection method thereof.

최근 영상 감시장비와 신호처리 시스템의 성능향상으로 지능형 보안감시 시스템이 등장하고 있다.Recently, an intelligent security monitoring system has been introduced to improve the performance of video surveillance equipment and signal processing systems.

그러나 대부분의 경우 탑재된 알고리즘이 단순 반복적으로 동작하므로 해당지역의 감시 특성이나 사용자의 다양한 요구사항을 반영하기 어렵다는 단점이 있다.However, in most cases, the built-in algorithm operates simply and repeatedly, so it has a disadvantage that it is difficult to reflect the monitoring characteristics of the region or various requirements of the user.

또한, 방대한 감시 데이터를 저장, 전송 및 처리하는 과정에서 많은 비용과 문제가 발생한다.In addition, in the process of storing, transmitting, and processing vast amounts of surveillance data, a lot of costs and problems arise.

이러한 문제점에 따라, 해당 지역의 감시특성을 반영하고 사용자의 요구사항을 적극적으로 반영하며, 다양한 감시현장에서의 유연성을 높이고, 비용 절감 및 지속적으로 성장 가능한 지능형 보안감시 시스템이 필요한 실정이다.According to these problems, there is a need for an intelligent security monitoring system that reflects the monitoring characteristics of the region, actively reflects the user's requirements, increases flexibility in various monitoring sites, reduces costs, and can continuously grow.

본 발명의 실시예는 실내외 고정형 CCTV, 모바일 로봇, 드론 등을 이용한 감시 장치로부터 수집한 감시 데이터를 축약 변환하고 이상상황을 추론하여 이상상황 후보를 선정하며, 선정된 이상상황 후보를 필터링하여 관리자에게 보고하는 한편, 관리자의 피드백을 학습하여 이상상황의 검출 능력을 향상시킬 수 있는 지능형 보안감시 시스템 및 이의 이상상황 검출 방법을 제공한다.According to an embodiment of the present invention, surveillance data collected from surveillance devices using indoor and outdoor fixed CCTVs, mobile robots, and drones are abbreviated and converted, and anomalies are inferred to select candidates for anomalies, and the selected candidates for anomalies are filtered. On the other hand, it provides an intelligent security monitoring system that can improve the ability to detect anomalies by learning the feedback from the administrator, and a method for detecting the anomalies.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또다른 기술적 과제들이 존재할 수 있다.However, the technical problem to be achieved by the present embodiment is not limited to the technical problem as described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 지능형 보안감시 시스템에서의 이상상황 검출 방법은 감시지역에서의 고정형 또는 이동형 감시 장비로부터 수집된 감시 데이터를 수신하는 단계; 미리 학습된 정상상황 데이터에 기초하여 상기 수집된 감시 데이터가 정상상황에 대응하는지 여부를 판단하는 단계; 상기 수집된 감시 데이터가 상기 정상상황에 대응하지 않는 경우 이상상황 후보로 설정하는 단계; 및 상기 이상상황 후보를 필터링한 이상상황을 관리자 단말로 전송하는 단계를 포함한다.As a technical means for achieving the above-described technical problem, an abnormality detection method in an intelligent security monitoring system according to a first aspect of the present invention comprises the steps of receiving monitoring data collected from fixed or mobile surveillance equipment in a surveillance area; Determining whether the collected monitoring data corresponds to a normal situation based on previously learned normal situation data; Setting the abnormality candidate as the collected monitoring data does not correspond to the normal situation; And transmitting the abnormality filtered by the abnormality candidate to the manager terminal.

상기 감시 데이터는 이미지, 비디오, 음성 및 검출 센서의 센싱 데이터 중 하나 이상을 포함할 수 있다.The surveillance data may include one or more of image, video, audio, and sensing data of the detection sensor.

본 발명에 따른 이상상황 검출 방법은 상기 감시 데이터를 감시 지역에 대응하도록 데이터베이스에 저장하는 단계; 및 상기 데이터베이스에 저장된 감시 데이터의 통계적 분석을 통해 상기 정상상황 데이터를 학습하는 단계를 더 포함할 수 있다.An abnormality detection method according to the present invention includes the steps of storing the monitoring data in a database to correspond to the monitoring area; And learning the normal situation data through statistical analysis of monitoring data stored in the database.

본 발명에 따른 이상상황 검출 방법은 상기 수집된 감시 데이터를 동일한 타입으로 축약 변환하는 단계를 더 포함하되, 상기 감시 데이터를 감시 지역에 대응하도록 데이터베이스에 저장하는 단계는, 상기 축약 변환된 감시 데이터를 상기 데이터베이스에 저장할 수 있다.The abnormality detection method according to the present invention further includes the step of abbreviating and converting the collected surveillance data into the same type, and storing the surveillance data in a database to correspond to the surveillance region comprises: It can be stored in the database.

상기 데이터베이스에 저장된 감시 데이터의 통계적 분석을 통해 정상상황 데이터를 학습하는 단계는, 상기 저장된 감시 데이터의 발생 빈도에 기초하여 정상상황 데이터를 추출하는 단계; 및 상기 추출된 정상상황 데이터를 학습하는 단계를 포함할 수 있다.The learning of normal situation data through statistical analysis of the surveillance data stored in the database may include: extracting normal situation data based on the frequency of occurrence of the stored surveillance data; And learning the extracted normal situation data.

상기 학습된 결과에 기초하여 상기 수집된 감시 데이터가 정상상황에 대응하는지 여부를 판단하는 단계 및 상기 수집된 감시 데이터가 상기 정상상황에 대응하지 않는 경우 이상상황 후보로 설정하는 단계는, 상기 정상상황 데이터의 중심을 기준으로 기 설정된 범위를 벗어나는 감시 데이터를 상기 이상상황 후보로 설정할 수 있다.Determining whether the collected monitoring data corresponds to a normal situation based on the learned result, and setting the abnormality candidate as the abnormal situation when the collected monitoring data does not correspond to the normal situation includes: Monitoring data outside the preset range based on the center of the data may be set as the candidate for the abnormality.

본 발명에 따른 이상상황 검출 방법은 상기 추출된 정상상황 데이터 중 기 설정된 확률 이상으로 추출된 정상상황 데이터를 샘플링하는 단계; 및 상기 샘플링된 정상상황 데이터를 상기 데이터베이스의 정상상황 DB에 저장하는 단계를 더 포함할 수 있다.The abnormality detection method according to the present invention comprises the steps of sampling normalized situation data extracted with a predetermined probability or more among the extracted normal situation data; And storing the sampled normal situation data in a normal situation DB of the database.

본 발명에 따른 이상상황 검출 방법은 상기 관리자 단말로부터 상기 전송된 이상상황이 오검출된 것임을 피드백받는 단계; 및 상기 피드백받은 이상상황을 정상상황으로 정정하여 상기 데이터베이스의 정상상황 DB에 저장하는 단계를 더 포함할 수 있다.An abnormality detection method according to the present invention comprises the steps of receiving feedback from the administrator terminal that the transmitted abnormality is incorrectly detected; And correcting the feedback received abnormal situation to a normal situation and storing it in the normal situation DB of the database.

상기 이상상황 후보를 필터링한 이상상황을 관리자 단말로 전송하는 단계는, 상기 정상상황 DB에 기초하여 상기 이상상황 후보를 필터링하기 위한 정상상황 필터를 학습할 수 있다.In the step of transmitting the abnormality filtered by the abnormality candidate to the administrator terminal, the normality filter for filtering the abnormality candidate may be learned based on the normality DB.

본 발명에 따른 이상상황 검출 방법은 상기 관리자 단말로부터 상기 전송된 이상상황이 오검출된 것이 아님을 피드백받는 단계; 및 상기 피드백받은 이상상황을 상기 데이터베이스의 이상상황 DB에 저장하는 단계를 더 포함할 수 있다.The method for detecting an abnormality according to the present invention comprises the steps of receiving feedback from the manager terminal that the transmitted abnormality is not falsely detected; And it may further include the step of storing the feedback received in the abnormal situation DB of the database.

상기 이상상황 후보를 필터링한 이상상황을 관리자 단말로 전송하는 단계는, 상기 이상상황 DB에 기초하여 상기 이상상황 후보를 필터링하기 위한 이상상황 필터를 학습할 수 있다.In the step of transmitting the abnormality filtered by the abnormality candidate to the administrator terminal, the abnormality filter for filtering the abnormality candidate based on the abnormality DB may be learned.

또한, 본 발명의 제 2 측면에 따른 이상상황 검출이 가능한 지능형 보안감시 시스템은 감시지역에서의 고정형 또는 이동형 감시 장비로부터 감시 데이터를 수신하며, 관리자 단말과 데이터를 송수신하는 통신모듈, 상기 감시 데이터에 기초하여 이상상황을 검출하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 미리 학습된 정상상황 데이터에 기초하여 상기 수집된 감시 데이터가 정상상황에 대응하는지 여부를 판단하고, 상기 정상상황에 대응하지 않는 경우 이상상황 후보로 설정한 후 상기 이상상황 후보를 필터링한 이상상황을 상기 통신모듈을 통해 관리자 단말로 전송한다.In addition, the intelligent security monitoring system capable of detecting an abnormal situation according to the second aspect of the present invention receives monitoring data from fixed or mobile monitoring equipment in a monitoring area, and transmits and receives data to and from an administrator terminal. And a processor for executing a program stored in the memory and a memory in which a program for detecting an abnormal condition is stored, wherein the processor executes the program to monitor the collected data based on previously learned normal situation data. It is determined whether data corresponds to a normal situation, and if it does not correspond to the normal situation, an abnormal situation in which the candidate for the abnormal condition is filtered is transmitted to the manager terminal through the communication module after setting the candidate as an abnormal situation.

상기 프로세서는 상기 수집된 감시 데이터를 동일한 타입으로 축약 변환하여 상기 감시 지역에 대응하도록 상기 메모리의 데이터베이스에 저장하고, 상기 데이터베이스에 저장된 감시 데이터의 통계적 분석을 통해 상기 정상상황 데이터를 학습할 수 있다.The processor may convert the collected monitoring data into the same type and store it in a database of the memory to correspond to the monitoring area, and learn the normal situation data through statistical analysis of the monitoring data stored in the database.

상기 프로세서는 상기 데이터베이스에 저장된 감시 데이터의 발생 빈도에 기초하여 정상상황 데이터를 추출하여 학습할 수 있다.The processor may extract and learn normal situation data based on the frequency of occurrence of monitoring data stored in the database.

상기 프로세서는 상기 추출된 정상상황 데이터 중 기 설정된 확률 이상으로 추출된 정상상황 데이터를 샘플링하고, 상기 샘플링된 데이터를 상기 데이터베이스의 정상상황 DB에 저장할 수 있다.The processor may sample the extracted normal situation data at a predetermined probability or higher among the extracted normal situation data, and store the sampled data in the normal situation DB of the database.

상기 프로세서는 상기 샘플링된 정상상황 데이터의 중심을 기준으로 기 설정된 범위를 벗어나는 감시 데이터를 상기 이상상황 후보로 설정할 수 있다.The processor may set monitoring data outside a preset range based on the center of the sampled normal situation data as the candidate for the abnormal situation.

상기 프로세서는 상기 통신모듈을 통해 관리자 단말로부터 상기 전송된 이상상황이 오검출인지 여부를 피드백받고, 상기 피드백 결과 상기 이상상황이 오검출인 경우 상기 피드백받은 이상상황을 정상상황으로 정정하여 상기 데이터베이스의 정상상황 DB에 저장하고, 상기 피드백 결과 상기 이상상황이 오검출이 아닌 경우 상기 피드백받은 이상상황을 상기 데이터베이스의 이상상황 DB에 저장할 수 있다.The processor receives feedback from the manager terminal through the communication module whether or not the abnormal situation is detected as a false positive, and when the feedback result indicates that the abnormal situation is a false positive, the processor corrects the received abnormal situation to a normal situation, and If the abnormality is not detected as a result of the feedback, the abnormality received in the feedback may be stored in the abnormality DB of the database.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 감시정보 축약 변환단계를 거쳐 이상상황 추론단계의 해당 감시지역 데이터를 스스로 학습하여, 해당지역의 특성에 적합한 이상상황을 스스로 검출할 수 있다.According to any one of the above-described problem solving means of the present invention, it is possible to self-learn the appropriate situation suitable for the characteristics of the corresponding region by learning the data of the corresponding monitoring region in the abnormality inference step through the reduced transformation step of monitoring information.

또한, 이상상황 필터링 단계를 통해 해당 판단이 오류인 경우 관리자로부터의 피드백을 받아 오류 발생률을 지속적으로 감소시킬 수 있다.In addition, the error occurrence rate may be continuously reduced by receiving feedback from the manager when the determination is an error through the abnormality filtering step.

또한, 이상상황과 정상상황에 대한 피드백 데이터를 지속적으로 저장 및 확장하고 이를 기초로 이상상황을 필터링하는 필터를 갱신함으로써 오류율이 낮으면서 동시에 다양한 이상상황에 대한 검출이 가능하다는 효과가 있다.In addition, by continuously storing and expanding feedback data for an abnormal situation and a normal situation, and updating a filter for filtering the abnormal condition based on this, there is an effect that it is possible to detect various abnormal conditions while having a low error rate.

도 1은 본 발명의 일 실시예에 따른 지능형 보안감시 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이상상황 검출 방법의 순서도이다.
도 3 내지 도 7은 감시 데이터가 축약 변환된 예시를 설명하기 위한 도면이다.
도 8은 수집된 감시정보의 정상상황 및 이상상황에 대한 통계적 분석을 수행하는 과정을 설명하기 위한 도면이다.
도 9는 피드백을 통해 이상상황 검출 성능이 향상되는 예시를 설명하기 위한 도면이다.
1 is a block diagram of an intelligent security monitoring system according to an embodiment of the present invention.
2 is a flowchart of an abnormality detection method according to an embodiment of the present invention.
3 to 7 are diagrams for explaining an example in which the surveillance data is abbreviated and converted.
FIG. 8 is a diagram for explaining a process of performing statistical analysis on normal and abnormal conditions of the collected monitoring information.
9 is a view for explaining an example of improving the abnormality detection performance through feedback.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains may easily practice. However, the present invention can be implemented in many different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the present invention, parts not related to the description are omitted.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.When a part of the specification "includes" a certain component, it means that other components may be further included rather than excluding other components, unless otherwise stated.

도 1은 본 발명의 일 실시예에 따른 지능형 보안감시 시스템(100)의 블록도이다.1 is a block diagram of an intelligent security monitoring system 100 according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 이상상황 검출이 가능한 지능형 보안 감시 시스템은 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.An intelligent security monitoring system capable of detecting an abnormal situation according to an embodiment of the present invention includes a communication module 110, a memory 120, and a processor 130.

통신모듈(110)은 감시지역에서의 고정형 또는 이동형 감시장비로부터 감시 데이터를 수신한다. 또한, 통신모듈(110)은 관리자 단말과 데이터를 송수신한다. 이러한 통신 모듈은 무선 통신 모듈을 포함할 수 있다. 무선 통신 모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, WiFi 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다. The communication module 110 receives surveillance data from fixed or mobile surveillance equipment in the surveillance area. In addition, the communication module 110 transmits and receives data to and from the manager terminal. The communication module may include a wireless communication module. The wireless communication module may be implemented with wireless LAN (WLAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, WiFi wireless USB technology, and wireless HDMI technology.

이때, 본 발명의 일 실시예에서의 감시 장비는 고정형 CCTV, 모바일 로봇, 이동형 드론 및 적외선, 초음파 센서 등 각종 검출 센서들이 이에 해당할 수 있다. 이러한 감시 장비로부터 수집된 감시 데이터는 이미지, 비디오, 음성 및 검출 센서의 센싱 데이터 중 하나 이상을 포함할 수 있다.At this time, in the monitoring equipment in one embodiment of the present invention, a fixed CCTV, a mobile robot, a mobile drone and various detection sensors such as infrared and ultrasonic sensors may correspond to this. Surveillance data collected from such surveillance equipment may include one or more of image, video, audio, and sensing data of a detection sensor.

메모리(120)에는 감시 데이터에 기초하여 이상상황을 검출하기 위한 프로그램이 저장되며, 프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다. 이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다. A program for detecting an abnormal condition based on monitoring data is stored in the memory 120, and the processor 130 executes the program stored in the memory 120. At this time, the memory 120 is a non-volatile storage device and a volatile storage device that keeps stored information even when power is not supplied.

예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.For example, the memory 120 is a compact flash (CF) card, a secure digital (SD) card, a memory stick, a solid-state drive (SSD), and a micro SD NAND flash memory such as cards, magnetic computer storage devices such as hard disk drives (HDDs), and optical disc drives such as CD-ROMs, DVD-ROMs, and the like. Can be.

프로세서(130)는 상기 메모리(120)에 저장된 프로그램을 실행시킴에 따라, 미리 학습된 정상상황 데이터에 기초하여 상기 수집된 감시 데이터가 정상상황에 대응하는지 여부를 판단하고, 상기 정상상황에 대응하지 않는 경우 이상상황 후보로 설정한 후 이상상황 후보를 필터링한 이상상황을 통신모듈(110)을 통해 관리자 단말로 전송할 수 있다.As the processor 130 executes the program stored in the memory 120, it determines whether the collected monitoring data corresponds to the normal situation based on the previously learned normal situation data, and does not respond to the normal situation. If not, after setting the candidate as an abnormality candidate, the abnormality filtered by the abnormality candidate may be transmitted to the manager terminal through the communication module 110.

참고로, 본 발명의 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.For reference, the components shown in FIG. 1 according to an embodiment of the present invention may be implemented in software or in a hardware form such as a field programmable gate array (FPGA) or an application specific integrated circuit (ASIC), and perform predetermined roles. can do.

그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.However,'components' are not limited to software or hardware, and each component may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors.

따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.Thus, as an example, a component is a component, such as software components, object-oriented software components, class components, and task components, and processes, functions, attributes, procedures, subs. Includes routines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays and variables.

구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.Components and functions provided within those components may be combined into a smaller number of components or further separated into additional components.

이하에서는 도 2 내지 도 9를 참조하여 본 발명의 일 실시예에 따른 지능형 보안감시 시스템(100)에서 수행되는 이상상황 검출 방법에 대하여 보다 구체적으로 설명하도록 한다.Hereinafter, an abnormality detection method performed in the intelligent security monitoring system 100 according to an embodiment of the present invention will be described in detail with reference to FIGS. 2 to 9.

도 2는 본 발명의 일 실시예에 따른 이상상황 검출 방법의 순서도이다. 도 3 내지 도 7은 감시 데이터가 축약 변환된 예시를 설명하기 위한 도면이다. 도 8은 수집된 감시정보의 정상상황 및 이상상황에 대한 통계적 분석을 수행하는 과정을 설명하기 위한 도면이다. 도 9는 피드백을 통해 이상상황 검출 성능이 향상되는 예시를 설명하기 위한 도면이다.2 is a flowchart of an abnormality detection method according to an embodiment of the present invention. 3 to 7 are diagrams for explaining an example in which the surveillance data is abbreviated and converted. FIG. 8 is a diagram for explaining a process of performing statistical analysis on normal and abnormal conditions of the collected monitoring information. 9 is a view for explaining an example of improving the abnormality detection performance through feedback.

본 발명의 일 실시예에 따른 이상상황 검출 방법은 크게 감시정보 수집 단계(S110), 이상상황 추론 단계(S120) 및 이상상황 필터링 및 전송 단계(S130)로 수행된다.The abnormality detection method according to an embodiment of the present invention is largely performed by a monitoring information collection step (S110), an abnormality reasoning step (S120), and an abnormality filtering and transmission step (S130).

먼저, 감시정보 수집 단계(S110)와 관련하여, 지능형 보안감시 시스템(100)의 통신모듈(110)은 감시 지역에서의 고정형 또는 이동형 감시 장비로부터 수집된 감시 데이터를 수신한다. First, in connection with the monitoring information collection step (S110), the communication module 110 of the intelligent security monitoring system 100 receives the monitoring data collected from fixed or mobile monitoring equipment in the monitoring area.

예를 들어, 감시정보 수집 단계(S110)에서는 고정형 CCTV, 모바일 로봇, 드론 등의 감시 장비를 통해 감시지역에서 영상, 소음, 각종 센서 등을 비롯한 다양한 감시 데이터가 수집된다.For example, in the monitoring information collection step (S110), various surveillance data including video, noise, and various sensors are collected in the surveillance area through surveillance equipment such as a fixed CCTV, mobile robot, and drone.

이때, 감시정보 수집 단계(S110)에서는 도3과 같이 수집된 감시 데이터를 동일한 타입으로 축약 변환하는 단계를 추가적으로 수행할 수 있다(S115). 즉, 각각의 감시 장비에 의해 수집된 감시 데이터는 도3에 도시된 바와 같이 감시지역 전역에 대해 축약변환되어 지능형 보안감시 시스템(100)으로 전송될 수 있다.At this time, in the monitoring information collection step (S110), a step of abbreviating and converting the collected monitoring data into the same type as shown in FIG. 3 may be additionally performed (S115). That is, the monitoring data collected by each monitoring device may be reduced to the entire surveillance area as shown in FIG. 3 and transmitted to the intelligent security monitoring system 100.

구체적으로, 감시 데이터를 동일한 타입으로 축약 변환하는 단계는, 도 4와 같이 감시 영역을 격자 형태로 구획하고, 해당 격자 형태 구획에서의 사건발생 정보를 누적한다. 예를 들어, 보행자의 경우 인원수(밀도), 이동속력, 이동방향, 사람의 자세(걷기, 서기, 앉기, 뛰기, 눕기 등)을 사건발생 정보로 누적시킬 수 있다.Specifically, in the step of abbreviating and converting the monitoring data into the same type, the monitoring area is partitioned into a grid shape as shown in FIG. 4, and event occurrence information in the grid-shaped partition is accumulated. For example, in the case of a pedestrian, the number of people (density), moving speed, moving direction, and posture of a person (walking, standing, sitting, running, lying down, etc.) can be accumulated as event occurrence information.

그리고 발생한 사건에 대하여 해당 구역에서의 해당 사건 발생확률을 산출한다.And the probability of occurrence of the event in the area is calculated for the event.

다음으로 도 5의 하단 왼쪽 검은색 부분과 같이 보행자의 속력, 방향, 밀도의 행동관측정보를 표시할 수 있으며, 하단 오른쪽 흰색 부분과 같이 해당 사건의 발생 확률, 예를 들어 밀도 발생 확률, 속도 발생 확률, 방향 발생 확률을 표시할 수 있다. 이때, 발생 확률은 표시된 사각형의 색상이 어두울수록 높은 확률임을 의미한다. Next, as shown in the lower left black portion of FIG. 5, it is possible to display the behavior observation information of the speed, direction, and density of the pedestrian. Probability, direction occurrence probability can be displayed. At this time, the probability of occurrence means that the darker the color of the displayed square, the higher the probability.

다음으로 축약 표현된 정보를 도 5의 우측과 같이 과거 사건에 대해 나열하여 과거 행동이력을 판단할 수 있다.Next, it is possible to determine the past action history by listing the abbreviated information as shown in the right side of FIG.

다시 도 3을 참조하면 도 3의 (a) 내지 (d)에서 각 하단 좌측의 검은색 부분은 각 보행자의 밀도, 속력 및 방향 정보가 축약 변환된 것이다. 도 3의 (a)의 경우 5명의 사람, 도 3의 (c)의 경우 4명의 사람이 어떤 행동을 어떤 위치에서 하고 있는지를 나타내고 있으며, 각 도면의 하단 우측의 흰색 부분은 그 사건의 발생확률이 얼마인지를 표시하고 있다.Referring back to FIG. 3, in FIG. 3 (a) to (d), the black portion on the bottom left of each side is a reduced transformation of density, speed, and direction information of each pedestrian. In the case of (a) of FIG. 3, 5 persons, and in the case of (c) of FIG. 3, 4 persons indicate which action is being performed at which position, and the white part at the bottom right of each drawing indicates the probability of occurrence of the event It shows how much.

또 다른 축약변환 예시로 도 6을 참조하면, 사람뿐만 아니라 차량에 대한 관측값이 함께 표현될 수 있으며, 도 6의 경우에는 발생확률은 별도로 표시되어 있지 않다.Referring to FIG. 6 as an example of another abbreviated transformation, observation values for a vehicle as well as a person may be expressed together. In the case of FIG. 6, the probability of occurrence is not separately indicated.

또 다른 축약변환 예시로 도 7을 참조하면, 본 발명의 일 실시예는 해당 감시지역의 구조, 온도변화 등의 감시정보를 축약 변환할 수도 있다.Referring to FIG. 7 as another reduction conversion example, an embodiment of the present invention may reduce and convert the monitoring information such as a structure and a temperature change of a corresponding monitoring area.

이와 같이 본 발명의 일 실시예는 사람, 차량, 감시지역의 구조, 온도 등의 멀티모달 감시정보와 발생확률 등의 정보를 축약된 격자지도 형태로 표현할 수 있다.As described above, according to an embodiment of the present invention, information such as multi-modal monitoring information such as a person, a vehicle, a structure of a monitoring area, and temperature, and an occurrence probability may be expressed in a reduced grid map form.

이에 따라, 본 발명의 일 실시예는 감시지역의 방대한 멀티모달 감시정보(사람, 차량, 온도, 구조 등)를 일관되고 축약된 형태로 표현할 수 있다. 특히, 감시지역의 사건발생 특성 등의 통계적 정보에 대한 저장, 비교 및 처리가 용이하여 이상 상황 판단 성능을 향상시킬 수 있으며 시스템 구축비용을 획기적으로 줄일 수 있다는 장점이 있다.Accordingly, one embodiment of the present invention can express a vast amount of multi-modal monitoring information (person, vehicle, temperature, structure, etc.) of the monitoring area in a consistent and condensed form. In particular, it is easy to store, compare, and process statistical information, such as the characteristics of occurrence of events in the surveillance area, to improve the performance of judging anomalies and to significantly reduce the cost of building a system.

다음으로 이상상황 추론단계(S120)에서는 미리 학습된 정상상황 데이터에 기초하여 상기 수집된 감시 데이터가 정상상황에 대응하는지 여부를 추론한다(S125). Next, in the abnormality reasoning step (S120 ), it is inferred whether the collected monitoring data corresponds to the normal situation based on the previously learned normal situation data (S125 ).

이러한 이상상황 추론단계(S120)에서는 수집된 감시 데이터가 정상상황에 대응하는지 여부, 즉 감시지점에서 수립된 감시정보가 정상상황에서 얼마나 벗어났는지 여부를 추론하기 위하여, 미리 학습된 정상상황 데이터를 이용하는데, 이를 위해 감시정보 수집 단계(S110)에서 수집된 감시 데이터를 감시 지역에 대응하도록 데이터베이스에 저장한다(S121). 이때, 데이터베이스에 저장되는 데이터는 축약변환된 감시 데이터일 수 있다.In the abnormality reasoning step (S120), previously learned normal situation data is used to infer whether the collected monitoring data corresponds to a normal situation, that is, how far the monitoring information established at the monitoring point deviates from the normal situation. However, for this purpose, the monitoring data collected in the monitoring information collection step (S110) is stored in a database to correspond to the monitoring area (S121). At this time, the data stored in the database may be abbreviated conversion monitoring data.

그리고 데이터베이스에 저장된 감시 데이터의 통계적 분석을 통해 정상상황 데이터를 학습하여 상기 미리 학습된 정상상황 데이터를 생성할 수 있다(S123). 이때, 본 발명의 일 실시예는 통계적 학습 방법으로, 축약 변환된 감시 데이터에 대하여 오토인코더(autoencoder) 등의 비지도학습(unsupervised learng)을 수행하여 통계적으로 정상범주에서 벗어난 이상상황을 추론할 수 있다.In addition, the normal situation data may be generated by learning the normal situation data through statistical analysis of the monitoring data stored in the database (S123 ). At this time, an embodiment of the present invention is a statistical learning method, and can perform an unsupervised learng such as an autoencoder on abbreviated transformed monitoring data to infer an abnormal situation statistically deviating from a normal category. have.

도 8을 참조하면, 통계적 분석은 데이터베이스에 저장된 감시 데이터의 발생 빈도에 기초하여 감시 데이터로부터 정상상황 데이터를 추출하고, 추출된 정상상황 데이터를 대상으로 학습을 수행할 수 있다.Referring to FIG. 8, statistical analysis can extract normal situation data from the surveillance data based on the frequency of occurrence of the surveillance data stored in the database, and perform learning on the extracted normal situation data.

예를 들어, 도 8에서 발생빈도를 누적합산한 결과 발생빈도가 정상분포 그래프를 띄는 감시 데이터 영역을 정상상황 데이터로 추출하여 학습을 수행할 수 있다.For example, as a result of accumulating and accumulating occurrence frequencies in FIG. 8, a monitoring data area having a normal distribution graph may be extracted as normal situation data to perform learning.

축약변환된 감시 데이터에 대하여 통계적 분석을 실시하면, 현재 발생한 사건이 통계적으로 얼마나 희소한 사건인지 여부를 판단할 수 있다.By performing statistical analysis on the reduced transformed monitoring data, it is possible to determine whether or not the currently occurring event is a statistically rare event.

도 8의 경우 정상상황 감시데이터 부분(P1)은 평범한 사건에 대한 통계적 분석을 수행한 점수 계산 결과를 나타내며, 이상상황 감시데이터 부분(P2)은 임의로 연출한 이상상황에 대한 통계적 분석을 수행한 점수 계싼 결과를 나타낸 것이다.In the case of FIG. 8, the normal situation monitoring data portion P1 represents a score calculation result of performing statistical analysis on an ordinary event, and the abnormal condition monitoring data portion P2 is a score calculation that performs statistical analysis on an arbitrarily directed abnormal situation. The results are shown.

도 8의 그래프에서 알 수 있는 바와 같이 정상범위를 벗어난 사건에 대해 이상상황 후보설정을 하여 이를 대상으로 추후 관리자 단말로의 보고 여부를 판단할 수 있다.As can be seen from the graph of FIG. 8, it is possible to determine whether or not to report to an administrator terminal later by setting an candidate for an abnormal situation for an event outside the normal range.

이와 같이 학습된 정상상황 데이터에 기초하여, 상기 정상상황 데이터의 중심을 기준으로 기 설정된 범위를 벗어나는 감시 데이터를 이상상황 후보로 설정할 수 있다(S125).Based on the learned normal situation data, monitoring data outside a preset range based on the center of the normal situation data may be set as an abnormality candidate (S125).

다음으로, 이상상황 필터링 및 전송 단계(S130)에서는 이상상황 후보에 대하여 CNN(Convolutional Neural Network) 등의 지도학습(supervised learning) 등의 방법을 이용한 필터링을 수행하여(S131) 더 엄격한 기준으로 정상상황과 이상상황을 판단하여 관리자 단말로 보고한다.Next, in the filtering and transmission of an abnormal situation (S130), filtering using a supervised learning method such as a convolutional neural network (CNN) is performed on the candidate for the abnormal situation (S131), and the normal situation is performed on a stricter basis. And report the abnormality to the administrator terminal.

이때, 지능형 보안감시 시스템(100)에서 관리자 단말로 정상상황을 이상상황으로 판단하여 보고한 경우, 관리자 단말은 지능형 보안감시 시스템(100)으로 이상상황이 오검검출된 것임을 피드백한다(S132).At this time, when the intelligent security monitoring system 100 judges and reports the normal situation to the administrator terminal as an abnormal situation, the administrator terminal feeds back to the intelligent security monitoring system 100 that the abnormal situation is falsely detected (S132).

관리자 단말로부터 현 이상상황 보고가 오검출임을 피드백받은 지능형 보안감시 시스템(100)은 이상상황을 정상상황으로 정정하여 데이터베이스의 정상상황 DB에 저장한다(S133).The intelligent security monitoring system 100, which is fed back from the administrator terminal that the report of the current abnormality is false, corrects the abnormality to a normal situation and stores it in the normal situation DB of the database (S133).

이 과정에서 지능형 보안감시 시스템(100)은 이상상황을 정상상황으로 오검출한 유사한 사례를 자동으로 생성하여 정상상황 DB의 데이터를 확장시킬 수 있다(S134).In this process, the intelligent security monitoring system 100 may automatically generate a similar case of an abnormal situation that is detected as a normal situation to expand the data of the normal situation DB (S134).

또한, 정상상황 DB에는 이상상황 추론 단계(S120)에서 추출된 정상상황 데이터 중 기 설정된 확률 이상으로 추출된 정상상황 데이터가 샘플링되고, 샘플린된 정상상황 데이터가 저장될 수 있다. 즉, 이상상황 추론 단계(S120)에서 높은 확률로 정상이라고 판단된 감시정보를 샘플링하여 정상상황 DB에 저장함으로써 정상상황 DB에 저장된 데이터를 확장시킬 수 있다.In addition, in the normal situation DB, normal situation data extracted with a predetermined probability or higher among the normal situation data extracted in the abnormality reasoning step S120 may be sampled and sampled normal situation data may be stored. That is, the data stored in the normal situation DB can be expanded by sampling the surveillance information determined to be normal with a high probability in the abnormality reasoning step S120 and storing it in the normal situation DB.

지능형 보안감시 시스템(100)이 관리자 단말로 전송한 이상상황이 올바른 경우, 관리자 단말은 지능형 보안감시 시스템(100)으로 이상상황이 오검검출된 것이 아님을 피드백한다(S132).When the abnormality transmitted by the intelligent security monitoring system 100 to the manager terminal is correct, the manager terminal feedbacks that the abnormality is not falsely detected by the intelligent security monitoring system 100 (S132).

그리고 관리자 단말로부터 피드백받은 지능형 보안감시 시스템(100)은 현 이상상황을 데이터베이스의 이상상황 DB에 저장한다(S135).Then, the intelligent security monitoring system 100 fed back from the administrator terminal stores the current abnormal situation in the abnormal situation DB of the database (S135).

이 과정에서 지능형 보안감시 시스템(100)은 이상상황과 유사한 사례를 자동으로 생성하여 이상상황 DB의 데이터를 확장시킬 수 있다(S136).In this process, the intelligent security monitoring system 100 may automatically generate a case similar to the abnormal situation to expand the data of the abnormal situation DB (S136).

이와 같이 생성된 정상상황 DB와 이상상황 DB는 정상상황과 이상상황을 필터링하기 위한 필터 학습에 사용될 수 있다(S137). 그리고 학습된 정상상황 및 이상상황 필터는 상술한 이상상황 필터링 과정(S131)에 적용된다. The generated normal situation DB and the abnormal situation DB may be used for filter learning to filter the normal situation and the abnormal situation (S137). And the learned normal situation and abnormal condition filter is applied to the above-described abnormal condition filtering process (S131).

이 과정에서 정상상황 DB와 이상상황 DB는 관리자 단말로부터 지속적으로 피드백을 받음과 동시에 데이터 확장 과정을 통해 오류 검출 가능성을 낮추고 다양한 감시상황에 대한 적용성을 높이게 되며, 이러한 정상상황 DB와 이상상황 DB를 통해 정상상황 및 이상상황 필터가 학습되어 갱신되게 된다.In this process, the normal situation DB and the abnormal situation DB continuously receive feedback from the administrator terminal, and at the same time, through the data expansion process, the possibility of error detection is lowered and the applicability to various monitoring situations is increased, and these normal situation DB and abnormal situation DB Through this, the normal and abnormal filters are learned and updated.

이러한 과정을 통해 도 9에서와 같이 피드백을 통해 시간이 지남에 따라 실제 감시 데이터에 대한 시스템의 오검출이 급속하게 줄어드는 것을 확인할 수 있다. 참고로 상기 도 9의 경우는 2018.6.7.부터 2018.6.12.사이의 분석 결과를 나타낸 것이다.Through this process, it can be seen through the feedback as shown in FIG. 9 that the erroneous detection of the system for the actual monitoring data is rapidly reduced over time. For reference, the case of FIG. 9 shows an analysis result between 2018.6.7. and 2018.6.12.

한편, 상술한 설명에서, 단계 S110 내지 S137은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1에서 이미 기술된 내용은 도 2 내지 도 9의 이상상황 검출 방법에도 적용될 수 있다.Meanwhile, in the above description, steps S110 to S137 may be further divided into additional steps or combined into fewer steps according to an embodiment of the present invention. Also, some steps may be omitted if necessary, and the order between the steps may be changed. In addition, even if omitted, the content already described in FIG. 1 may be applied to the method for detecting an abnormality in FIGS. 2 to 9.

이와 같은 본 발명의 일 실시예에 따르면, 감시정보 축약 변환단계를 거쳐 이상상황 추론단계의 해당 감시지역 데이터를 스스로 학습하여, 해당지역의 특성에 적합한 이상상황을 스스로 검출할 수 있다.According to one embodiment of the present invention, the monitoring information is reduced through the conversion step to learn the data of the corresponding monitoring area in the abnormality reasoning step by itself, and it is possible to detect an abnormal situation suitable for the characteristics of the corresponding area.

또한, 이상상황 필터링 단계를 통해 해당 판단이 오류인 경우 관리자로부터의 피드백을 받아 오류 발생률을 지속적으로 감소시킬 수 있다.In addition, the error occurrence rate may be continuously reduced by receiving feedback from the manager when the determination is an error through the abnormality filtering step.

또한, 이상상황과 정상상황에 대한 피드백 데이터를 지속적으로 저장 및 확장하고 이를 기초로 이상상황을 필터링하는 필터를 갱신함으로써 오류율이 낮으면서 동시에 다양한 이상상황에 대한 검출이 가능하다는 효과가 있다.In addition, by continuously storing and expanding feedback data for an abnormal situation and a normal situation, and updating a filter for filtering the abnormal condition based on this, there is an effect that it is possible to detect various abnormal conditions while having a low error rate.

한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. Meanwhile, an embodiment of the present invention may be implemented in the form of a computer program stored in a medium executed by a computer or a recording medium including instructions executable by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, computer-readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically include computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism, and includes any information delivery media.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.Although the methods and systems of the present invention have been described in connection with specific embodiments, some or all of their components or operations may be implemented using a computer system having a general purpose hardware architecture.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustration only, and a person having ordinary knowledge in the technical field to which the present invention pertains can understand that it can be easily modified to other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and it should be interpreted that all changes or modifications derived from the meaning and scope of the claims and equivalent concepts thereof are included in the scope of the present invention. do.

100: 지능형 보안감시 시스템
110: 통신모듈
120: 메모리
130: 프로세서
100: intelligent security monitoring system
110: communication module
120: memory
130: processor

Claims (17)

지능형 보안감시 시스템에서의 이상상황 검출 방법에 있어서,
감시지역에서의 고정형 또는 이동형 감시 장비로부터 수집된 감시 데이터를 수신하는 단계;
미리 학습된 정상상황 데이터에 기초하여 상기 수집된 감시 데이터가 정상상황에 대응하는지 여부를 판단하는 단계;
상기 수집된 감시 데이터가 상기 정상상황에 대응하지 않는 경우 이상상황 후보로 설정하는 단계; 및
상기 이상상황 후보를 필터링한 이상상황을 관리자 단말로 전송하는 단계를 포함하는 이상상황 검출 방법.
In the abnormality detection method in the intelligent security monitoring system,
Receiving collected surveillance data from fixed or mobile surveillance equipment in the surveillance area;
Determining whether the collected monitoring data corresponds to a normal situation based on previously learned normal situation data;
Setting the abnormality candidate as the collected monitoring data does not correspond to the normal situation; And
And transmitting the abnormality filtered by filtering the abnormality candidate to an administrator terminal.
제 1 항에 있어서,
상기 감시 데이터는 이미지, 비디오, 음성 및 검출 센서의 센싱 데이터 중 하나 이상을 포함하는 것인 이상상황 검출 방법.
According to claim 1,
The monitoring data includes an image, video, audio and one or more of the sensing data of the detection sensor abnormality detection method.
제 1 항에 있어서,
상기 감시 데이터를 감시 지역에 대응하도록 데이터베이스에 저장하는 단계; 및
상기 데이터베이스에 저장된 감시 데이터의 통계적 분석을 통해 상기 정상상황 데이터를 학습하는 단계를 더 포함하는 이상상황 검출 방법.
According to claim 1,
Storing the monitoring data in a database to correspond to the monitoring area; And
And learning the normal situation data through statistical analysis of monitoring data stored in the database.
제 2 항에 있어서,
상기 수집된 감시 데이터를 동일한 타입으로 축약 변환하는 단계를 더 포함하되,
상기 감시 데이터를 감시 지역에 대응하도록 데이터베이스에 저장하는 단계는, 상기 축약 변환된 감시 데이터를 상기 데이터베이스에 저장하는 것인 이상상황 검출 방법.
According to claim 2,
Further comprising the step of abbreviating and converting the collected monitoring data to the same type,
The step of storing the monitoring data in a database to correspond to the monitoring area is to store the reduced-converted monitoring data in the database.
제 2 항에 있어서,
상기 데이터베이스에 저장된 감시 데이터의 통계적 분석을 통해 정상상황 데이터를 학습하는 단계는,
상기 저장된 감시 데이터의 발생 빈도에 기초하여 정상상황 데이터를 추출하는 단계; 및
상기 추출된 정상상황 데이터를 학습하는 단계를 포함하는 이상상황 검출 방법.
According to claim 2,
The step of learning the normal situation data through statistical analysis of the monitoring data stored in the database,
Extracting normal situation data based on the frequency of occurrence of the stored monitoring data; And
And learning the extracted normal situation data.
제 5 항에 있어서,
상기 학습된 결과에 기초하여 상기 수집된 감시 데이터가 정상상황에 대응하는지 여부를 판단하는 단계 및 상기 수집된 감시 데이터가 상기 정상상황에 대응하지 않는 경우 이상상황 후보로 설정하는 단계는,
상기 정상상황 데이터의 중심을 기준으로 기 설정된 범위를 벗어나는 감시 데이터를 상기 이상상황 후보로 설정하는 것인 이상상황 검출 방법.
The method of claim 5,
The step of determining whether the collected monitoring data corresponds to a normal situation based on the learned result, and setting the candidate as an abnormal situation when the collected monitoring data does not correspond to the normal situation include:
A method of detecting an abnormality, wherein monitoring data outside a preset range is set as the abnormality candidate based on the center of the normal situation data.
제 6 항에 있어서,
상기 추출된 정상상황 데이터 중 기 설정된 확률 이상으로 추출된 정상상황 데이터를 샘플링하는 단계; 및
상기 샘플링된 정상상황 데이터를 상기 데이터베이스의 정상상황 DB에 저장하는 단계를 더 포함하는 이상상황 검출 방법.
The method of claim 6,
Sampling the normal situation data extracted above a preset probability among the extracted normal condition data; And
And storing the sampled normal situation data in a normal situation DB of the database.
제 1 항에 있어서,
상기 관리자 단말로부터 상기 전송된 이상상황이 오검출된 것임을 피드백받는 단계; 및
상기 피드백받은 이상상황을 정상상황으로 정정하여 상기 데이터베이스의 정상상황 DB에 저장하는 단계를 더 포함하는 이상상황 검출 방법.
According to claim 1,
Receiving feedback from the manager terminal that the transmitted abnormality is incorrectly detected; And
And correcting the feedback abnormal situation to a normal situation and storing it in a normal situation DB of the database.
제 7 항 또는 제 8 항에 있어서,
상기 이상상황 후보를 필터링한 이상상황을 관리자 단말로 전송하는 단계는,
상기 정상상황 DB에 기초하여 상기 이상상황 후보를 필터링하기 위한 정상상황 필터를 학습하는 것인 이상상황 검출 방법.
The method of claim 7 or 8,
The step of transmitting the abnormality filtered by the abnormality candidate to the manager terminal is:
An abnormality detection method for learning a normality filter for filtering the abnormality candidate based on the normality DB.
제 1 항에 있어서,
상기 관리자 단말로부터 상기 전송된 이상상황이 오검출된 것이 아님을 피드백받는 단계; 및
상기 피드백받은 이상상황을 상기 데이터베이스의 이상상황 DB에 저장하는 단계를 더 포함하는 이상상황 검출 방법.
According to claim 1,
Receiving feedback from the manager terminal that the transmitted abnormality is not misdetected; And
And storing the feedback abnormal situation in an abnormal situation DB of the database.
제 10 항에 있어서,
상기 이상상황 후보를 필터링한 이상상황을 관리자 단말로 전송하는 단계는,
상기 이상상황 DB에 기초하여 상기 이상상황 후보를 필터링하기 위한 이상상황 필터를 학습하는 것인 이상상황 검출 방법.
The method of claim 10,
The step of transmitting the abnormality filtered by the abnormality candidate to the manager terminal is:
An abnormality detection method for learning an abnormality filter for filtering the abnormality candidate based on the abnormality DB.
이상상황 검출이 가능한 지능형 보안감시 시스템에 있어서,
감시지역에서의 고정형 또는 이동형 감시 장비로부터 감시 데이터를 수신하며, 관리자 단말과 데이터를 송수신하는 통신모듈,
상기 감시 데이터에 기초하여 이상상황을 검출하기 위한 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 상기 프로그램을 실행시킴에 따라, 미리 학습된 정상상황 데이터에 기초하여 상기 수집된 감시 데이터가 정상상황에 대응하는지 여부를 판단하고, 상기 정상상황에 대응하지 않는 경우 이상상황 후보로 설정한 후 상기 이상상황 후보를 필터링한 이상상황을 상기 통신모듈을 통해 관리자 단말로 전송하는 것인 지능형 보안감시 시스템.
In the intelligent security monitoring system capable of detecting an abnormal situation,
A communication module that receives surveillance data from fixed or mobile surveillance equipment in the surveillance area and transmits and receives data to and from the manager terminal,
A memory in which a program for detecting an abnormal condition is stored based on the monitoring data, and
It includes a processor for executing a program stored in the memory,
As the processor executes the program, it determines whether or not the collected monitoring data corresponds to a normal situation based on previously learned normal situation data, and sets a candidate for an abnormal situation if it does not correspond to the normal situation. Intelligent security monitoring system that transmits the abnormality filtered after the candidates to the manager terminal through the communication module.
제 12 항에 있어서,
상기 프로세서는 상기 수집된 감시 데이터를 동일한 타입으로 축약 변환하여 상기 감시 지역에 대응하도록 상기 메모리의 데이터베이스에 저장하고, 상기 데이터베이스에 저장된 감시 데이터의 통계적 분석을 통해 상기 정상상황 데이터를 학습하는 것인 지능형 보안감시 시스템.
The method of claim 12,
The processor converts the collected monitoring data into the same type and stores it in the database of the memory to correspond to the monitoring area, and learns the normal data through statistical analysis of the monitoring data stored in the database. Security monitoring system.
제 13 항에 있어서,
상기 프로세서는 상기 데이터베이스에 저장된 감시 데이터의 발생 빈도에 기초하여 정상상황 데이터를 추출하여 학습하는 것인 지능형 보안감시 시스템.
The method of claim 13,
The processor is based on the frequency of occurrence of the surveillance data stored in the database, intelligent security monitoring system to learn by extracting the normal situation data.
제 14 항에 있어서,
상기 프로세서는 상기 추출된 정상상황 데이터 중 기 설정된 확률 이상으로 추출된 정상상황 데이터를 샘플링하고, 상기 샘플링된 데이터를 상기 데이터베이스의 정상상황 DB에 저장하는 것인 지능형 보안감시 시스템.
The method of claim 14,
The processor is to extract the normal situation data extracted above a predetermined probability among the extracted normal situation data, the intelligent security monitoring system that stores the sampled data in the normal situation DB of the database.
제 15 항에 있어서,
상기 프로세서는 상기 샘플링된 정상상황 데이터의 중심을 기준으로 기 설정된 범위를 벗어나는 감시 데이터를 상기 이상상황 후보로 설정하는 것인 지능형 보안감시 시스템.
The method of claim 15,
The processor is to set the monitoring data outside the predetermined range based on the center of the sampled normal situation data, the intelligent security monitoring system to set the candidate for the abnormal situation.
제 12 항에 있어서,
상기 프로세서는 상기 통신모듈을 통해 관리자 단말로부터 상기 전송된 이상상황이 오검출인지 여부를 피드백받고,
상기 피드백 결과 상기 이상상황이 오검출인 경우 상기 피드백받은 이상상황을 정상상황으로 정정하여 상기 데이터베이스의 정상상황 DB에 저장하고,
상기 피드백 결과 상기 이상상황이 오검출이 아닌 경우 상기 피드백받은 이상상황을 상기 데이터베이스의 이상상황 DB에 저장하는 것인 지능형 보안감시 시스템.
The method of claim 12,
The processor receives feedback from the manager terminal through the communication module whether or not the transmitted abnormality is false detection,
When the abnormality is detected as a result of the feedback, the abnormality received by the feedback is corrected to a normal situation and stored in a normal situation DB of the database.
An intelligent security monitoring system for storing the feedback received abnormal situation in the abnormal DB of the database when the abnormal result is not detected as a result of the feedback.
KR1020180152475A 2018-11-30 2018-11-30 Intelligent security system and method for detecting abnormal situation KR20200065733A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180152475A KR20200065733A (en) 2018-11-30 2018-11-30 Intelligent security system and method for detecting abnormal situation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180152475A KR20200065733A (en) 2018-11-30 2018-11-30 Intelligent security system and method for detecting abnormal situation

Publications (1)

Publication Number Publication Date
KR20200065733A true KR20200065733A (en) 2020-06-09

Family

ID=71082971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180152475A KR20200065733A (en) 2018-11-30 2018-11-30 Intelligent security system and method for detecting abnormal situation

Country Status (1)

Country Link
KR (1) KR20200065733A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117596598A (en) * 2024-01-19 2024-02-23 国网冀北电力有限公司 Unmanned aerial vehicle communication protocol data anomaly detection method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117596598A (en) * 2024-01-19 2024-02-23 国网冀北电力有限公司 Unmanned aerial vehicle communication protocol data anomaly detection method
CN117596598B (en) * 2024-01-19 2024-03-29 国网冀北电力有限公司 Unmanned aerial vehicle communication protocol data anomaly detection method

Similar Documents

Publication Publication Date Title
US10699115B2 (en) Video object classification with object size calibration
US11074470B2 (en) System and method for automatically improving gathering of data using a data gathering device
US20190130188A1 (en) Object classification in a video analytics system
US20230237792A1 (en) Object detection apparatus using an image preprocessing artificial neural network model
CN111868780B (en) Learning data generation device and method, model generation system, and program
WO2021095693A1 (en) Information processing device, information processing method, and program
KR102143940B1 (en) Device for vessel detection and retinal edema diagnosis using multi-functional neurlal network and method for detecting and diagnosing same
US20210124914A1 (en) Training method of network, monitoring method, system, storage medium and computer device
CN112699808B (en) Dense target detection method, electronic equipment and related products
JP5388829B2 (en) Intruder detection device
US20150262068A1 (en) Event detection apparatus and event detection method
CN104966304A (en) Kalman filtering and nonparametric background model-based multi-target detection tracking method
KR20200080402A (en) System and method for detecting abnormal situation
KR102672220B1 (en) intelligent robot vacuum cleaner
CN111796979B (en) Data acquisition strategy determining method and device, storage medium and electronic equipment
CN105807640A (en) Terminal control method and terminal control system
CN114469076A (en) Identity feature fused old solitary people falling identification method and system
CN110751270A (en) Unmanned aerial vehicle wire fault detection method, system and equipment
KR20200065733A (en) Intelligent security system and method for detecting abnormal situation
CN115394034A (en) Fire risk determination method, device and system and robot
US20220292397A1 (en) Recognition system, model processing apparatus, model processing method, and recording medium
CN107958434B (en) Intelligent nursing method and device, electronic equipment and storage medium
CN108537105B (en) Dangerous behavior identification method in home environment
KR20210040546A (en) Method and Apparatus for Detecting Anomaly from Security Video
KR20210041328A (en) Apparatus and method for recognizing a face based on artificial intelligence