KR102264275B1 - Violent behavior management system and method - Google Patents

Violent behavior management system and method Download PDF

Info

Publication number
KR102264275B1
KR102264275B1 KR1020190122161A KR20190122161A KR102264275B1 KR 102264275 B1 KR102264275 B1 KR 102264275B1 KR 1020190122161 A KR1020190122161 A KR 1020190122161A KR 20190122161 A KR20190122161 A KR 20190122161A KR 102264275 B1 KR102264275 B1 KR 102264275B1
Authority
KR
South Korea
Prior art keywords
violence
violent
server
image
detection
Prior art date
Application number
KR1020190122161A
Other languages
Korean (ko)
Other versions
KR20210039663A (en
Inventor
고석주
김동욱
윤서원
구영준
성경화
경예지
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020190122161A priority Critical patent/KR102264275B1/en
Publication of KR20210039663A publication Critical patent/KR20210039663A/en
Application granted granted Critical
Publication of KR102264275B1 publication Critical patent/KR102264275B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • G08B21/0208—Combination with audio or video communication, e.g. combination with "baby phone" function
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems

Abstract

본 발명은 소정 장소에서 폭력행위가 발생하면, 이러한 폭력행위의 발생을 감지하면서 폭력 피해자를 정확하게 식별하고 보호자가 인지할 수 있도록 폭력 발생사실을 전송하는 폭력 행위 관리시스템 및 방법에 관한 것이다. 본 발명은 하나 이상의 카메라와, 상기 카메라가 전송한 동영상을 분석하여 폭력행위를 감지하는 폭력감지서버와, 폭력행위가 감지되면 상기 폭력감지서버가 전송하는 폭력 영상이미지 및 다수의 얼굴 이미지, 식별된 얼굴 인식 이미지를 저장하는 저장서버, 및 상기 저장서버에 저장된 폭력 영상이미지와 미리 저장된 얼굴 이미지를 비교하여 폭력 피해자를 식별하고, 폭력 행위 발생과 관련된 알림 메시지를 폭력 피해자와 관련되어 미리 지정된 스마트폰에 전송하는 분석서버를 포함하여 구성된다.The present invention relates to a violent behavior management system and method that, when a violent act occurs at a predetermined place, detects the occurrence of such violent act, accurately identifies a victim of violence, and transmits the fact of violence so that a guardian can recognize it. The present invention relates to one or more cameras, a violence detection server that detects a violent act by analyzing the video transmitted by the camera, and a violent video image and a plurality of face images transmitted by the violence detection server when a violent act is detected, identified A storage server that stores a face recognition image, and a violence video image stored in the storage server is compared with a pre-stored face image to identify a victim of violence, and a notification message related to the occurrence of an act of violence is sent to a smartphone designated in advance in relation to the victim of violence. It consists of an analysis server to transmit

Description

폭력행위 관리시스템 및 방법{VIOLENT BEHAVIOR MANAGEMENT SYSTEM AND METHOD}Violent behavior management system and method {VIOLENT BEHAVIOR MANAGEMENT SYSTEM AND METHOD}

본 발명은 폭력 행위 관리 시스템에 관한 것으로, 특히 실시간 입력되는 스트리밍 영상에서 폭력 행위를 감지하고 폭력 피해자를 식별하여 보호자 등에게 통보함으로써 폭력행위에 대한 즉각적인 대처가 가능한 폭력 행위 관리시스템 및 방법에 관한 것이다. The present invention relates to a violent behavior management system, and more particularly, to a violent behavior management system and method capable of immediately responding to a violent behavior by detecting a violent act in a streaming video input in real time, identifying a victim of violence and notifying a guardian, etc. .

어린이나 청소년을 대상으로 한 무분별한 범죄나 청소년들 사이에서의 상호 폭력은 심각한 문제라 할 수 있다. 특히 최근에는 국가나 민간에서 운영 관리하는 각종 기관이나 시설(예를 들어 지역아동청소년센터, 장애관련기관, 수련시설, 공부방 등)에서의 폭력 행위가 끊이지 않고 있고, 이는 국가나 사회적인 문제로 이슈화되고 있다.Reckless crimes against children and adolescents and mutual violence among adolescents are serious problems. In particular, recently, acts of violence at various institutions and facilities operated and managed by the state or the private sector (for example, local children and youth centers, disability-related institutions, training facilities, study rooms, etc.) have.

기관이나 시설에서 이러한 폭력행위를 예방하기 위한 노력이 전혀 없는 것은 아니다. 폭력예방교육이나 캠페인을 정기적으로 실시하고 있음은 물론 CCTV와 같은 매체를 설치하여 폭력행위를 감시 예방하고 있다.This is not to say that there are no efforts to prevent such acts of violence in institutions and facilities. Violence prevention education and campaigns are regularly conducted, and media such as CCTV are installed to monitor and prevent violent acts.

그러나 이러한 노력에도 폭력행위를 근절하는 것에는 분명한 한계가 있다. 교육이나 캠페인이 형식적일 수 있고, CCTV를 설치한다고 해도 피해자가 바로 신고를 하지 않으면 주위 누구도 이를 쉽게 인지하는 것이 어려워 폭력이 지속적으로 이뤄지기도 한다. 무엇보다 보복이 두려워 피해자가 신고를 하지 않는 경우도 있다. However, there are clear limits to eradicating acts of violence despite these efforts. Education or campaigns can be formal, and even if CCTV is installed, if the victim does not report it immediately, it is difficult for anyone around to recognize it easily, and violence may continue. Above all, there are cases where victims do not report because they fear retaliation.

또 피해자의 보호자가 폭력행위를 인지하였고 이러한 폭력행위를 촬영한 정보가 저장되었음을 알고 있더라도, 보호자 자신이 직접 녹화된 영상을 쉽게 확인하기는 어려웠다. 대부분이 경찰 신고가 이루어진 후 확인할 수 있어, 증거 조작 및 인멸 가능성도 있었다. In addition, even if the victim's guardian recognized the violent act and knew that information about the violent act was stored, it was difficult for the guardian to easily check the recorded video. Most of them can be confirmed after a police report is made, so there is a possibility of tampering and destroying evidence.

그리고 폭력행위를 감지하는 대부분의 시스템은 가해자를 식별하는데 초점이 맞춰져 있었다. 즉 실질적으로 폭력행위로 인한 정신적, 물질적인 피해를 본 피해자를 위해 적절한 대응방안을 고려한 시스템은 없었다고 할 수 있는 것이다. And most of the systems for detecting violent acts focused on identifying the perpetrators. In other words, it can be said that there is no system that considers appropriate countermeasures for victims who have suffered mental and material damage from violent acts.

따라서 본 발명의 목적은 상기한 문제점을 해결하기 위한 것으로, 폭력행위 감지되면 피해자를 식별하고, 피해자의 보호자가 이를 실시간으로 인지할 수 있게 함으로써, 폭력행위에 대한 즉각적인 대응이 가능하도록 한 폭력 행위 관리시스템 및 방법을 제공하는 것이다. Therefore, an object of the present invention is to solve the above problems, and when a violent act is detected, the victim is identified, and the victim's guardian can recognize it in real time, thereby enabling an immediate response to the violent act. To provide a system and method.

본 발명의 다른 목적은 실시간 전달되는 영상에서 폭력행위를 정확하게 감지할 수 있도록 하는 것이다.Another object of the present invention is to accurately detect a violent act in a video transmitted in real time.

본 발명의 또 다른 목적은 폭력 피해자를 정확하게 식별할 수 있도록 하는 것이다. Another object of the present invention is to enable accurate identification of victims of violence.

이와 같은 목적을 달성하기 위한 본 발명은, 하나 이상의 카메라; 상기 카메라가 전송한 동영상을 분석하여 폭력행위를 감지하는 폭력감지서버; 폭력행위가 감지되면 상기 폭력감지서버가 전송하는 폭력 영상이미지 및 다수의 얼굴 이미지, 식별된 얼굴 인식 이미지를 저장하는 저장서버; 및 상기 저장서버에 저장된 폭력 영상이미지와 미리 저장된 얼굴 이미지를 비교하여 폭력 피해자를 식별하고, 폭력 행위 발생과 관련된 알림 메시지를 폭력 피해자와 관련되어 미리 지정된 스마트폰에 전송하는 분석서버를 포함하는 폭력 행위 관리시스템을 제공한다.The present invention for achieving the above object, one or more cameras; a violence detection server for detecting a violent act by analyzing the video transmitted by the camera; a storage server for storing a violent image image transmitted by the violence detection server when an act of violence is detected, a plurality of face images, and an identified face recognition image; and an analysis server that compares the violence video image stored in the storage server with the face image stored in advance to identify the victim of violence, and transmits a notification message related to the occurrence of the violent act to a smartphone designated in advance in relation to the victim of violence. It provides a management system.

상기 폭력감지서버는 LSTM + CNN 기반의 폭력감지모델을 구비한다.The violence detection server has an LSTM + CNN based violence detection model.

상기 폭력감지서버는 상기 동영상의 현재 시점과 이전 시점의 프레임을 입력 데이터로 하여 연속된 30개의 프레임에서 일련의 폭력행위 장면이 포함될 경우 폭력 발생을 감지한다. The violence detection server detects the occurrence of violence when a series of scenes of violent acts are included in 30 consecutive frames using frames of the current and previous views of the video as input data.

상기 폭력감지서버는 상기 동영상을 분석하여 폭력이 감지되면 상기 저장서버에 폭력 영상이미지의 앞 부분의 10개의 이미지를 저장하고, 상기 분석서버로 상기 저장된 이미지 이름정보를 전송한다.The violence detection server analyzes the video and, when violence is detected, stores 10 images of the front part of the violence video image in the storage server, and transmits the stored image name information to the analysis server.

상기 분석서버는, 상기 폭력감지서버가 전송한 폭력 영상이미지의 이름 정보를 기초로 하여 상기 저장서버에 저장된 폭력 영상이미지를 리드(read)한다. The analysis server reads the violence image image stored in the storage server based on the name information of the violence image image transmitted by the violence detection server.

본 발명의 다른 특징에 따르면, 동작센서의 감지결과에 따라 하나 이상의 카메라가 주변을 촬영하는 촬영단계; 폭력감지서버가 촬영된 동영상을 분석하여 폭력행위 발생을 감지하는 감지단계; 폭력행위가 감지되면, 폭력감지서버는 저장서버에 폭력 영상이미지의 앞 부분의 일부 이미지를 저장하고, 상기 분석서버로 상기 저장된 이미지 이름정보를 전송하는 전송단계; 상기 분석서버가 상기 이름정보를 기초로 저장된 폭력 영상이미지를 리드(read) 한 후, 미리 저장된 얼굴 이미지들과 비교하여 폭력 피해자를 식별하는 식별단계; 폭력 피해자가 식별되면 상기 분석서버가 폭력 행위 발생과 관련된 알림 메시지를 미리 지정된 스마트폰으로 전송하는 전송단계를 포함하는 폭력 행위 관리방법을 제공한다.According to another feature of the present invention, according to the detection result of the motion sensor, one or more cameras to photograph the surroundings; A detection step of detecting the occurrence of a violent act by analyzing the video taken by the violence detection server; When a violent act is detected, the violence detection server stores a partial image of the front part of the violent video image in a storage server, and transmits the stored image name information to the analysis server; an identification step of identifying, by the analysis server, the violence victim by comparing it with pre-stored face images after reading the stored violence video image based on the name information; When a victim of violence is identified, the analysis server provides a violent behavior management method including a transmission step of transmitting a notification message related to the occurrence of the violent behavior to a predetermined smart phone.

상기 감지단계는 LSTM + CNN 기반의 폭력감지모델을 이용하며, 상기 동영상의 현재 시점과 이전 시점의 프레임을 입력 데이터로 하여 연속된 소정 개수의 프레임에 미리 정의된 폭력행위 장면이 포함되면 폭력 발생을 감지한다. The detection step uses an LSTM + CNN-based violence detection model, and when a predefined violence scene is included in a predetermined number of consecutive frames using the frames of the current and previous time points of the video as input data, the occurrence of violence is detected. detect

상기 스마트폰에서 폭력 영상이미지를 요청하는 요청단계; 및 상기 저장서버가 요청받은 폭력 영상이미지를 상기 스마트폰에 전송하는 단계를 더 포함한다.a request step of requesting a video image of violence from the smartphone; and transmitting, by the storage server, the requested violent video image to the smartphone.

이상과 같은 본 발명의 폭력 행위 관리시스템 및 방법에 따르면, 소정 장소에 폭력행위가 발생하면, 이러한 폭력행위의 발생을 감지하면서 폭력 피해자를 정확하게 식별하고 있다. 그리고 폭력 피해자와 관련된 보호자 등의 스마트폰에 폭력 발생사실을 전송한다. According to the violent act management system and method of the present invention as described above, when a violent act occurs in a predetermined place, the violence victim is accurately identified while detecting the occurrence of the violent act. In addition, it transmits the incident of violence to the smartphone of the guardian related to the violence victim.

따라서 보호자는 폭력발생 사실을 실시간 인지할 수 있게 되어 즉각적인 대응을 할 수 있다.Therefore, guardians can recognize the fact of violence in real time and take immediate action.

또 보호자는 폭력 영상이미지를 요청 확인할 수 있어, 폭력행위에 대한 객관적인 자료를 용이하게 취득할 수 있다. In addition, guardians can request and confirm video images of violence, so they can easily acquire objective data on violent acts.

도 1은 본 발명의 바람직한 실시 예에 따른 폭력 행위 관리시스템의 전체 구성도이다.
도 2는 본 발명의 바람직한 실시 예에 따른 폭력 행위 관리방법의 흐름도이다.1 is an overall configuration diagram of a violent behavior management system according to a preferred embodiment of the present invention.
Figure 2 is a flowchart of a violent behavior management method according to a preferred embodiment of the present invention.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.Objects and effects of the present invention, and technical configurations for achieving them will become clear with reference to the embodiments described below in detail in conjunction with the accompanying drawings. In describing the present invention, if it is determined that a detailed description of a well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.In addition, the terms described below are terms defined in consideration of functions in the present invention, which may vary according to intentions or customs of users and operators.

그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. Only the present embodiments are provided so that the disclosure of the present invention is complete, and to fully inform those of ordinary skill in the art to which the present invention belongs, the scope of the invention, the present invention is defined by the scope of the claims will only be Therefore, the definition should be made based on the content throughout this specification.

이하에서는 도면에 도시한 실시 예에 기초하면서 본 발명에 대하여 더욱 상세하게 설명하기로 한다. Hereinafter, the present invention will be described in more detail based on the embodiments shown in the drawings.

본 실시 예는 국가나 민간에서는 운영 관리하는 각종 기관이나 관리시설에서 발생할 수 있는 폭력행위를 감지하고, 이를 보호자에게 통보하는 시스템을 예를 들어 설명하지만, 반드시 이러한 기관이나 시설에만 국한되지 않는다. 즉 폭력 피해자의 보호자 등에게 통보할 수 있는 시스템이 마련된다면 이외의 어떠한 곳에도 적용할 수 있을 것이다. This embodiment describes a system that detects acts of violence that may occur in various organizations or management facilities operated and managed by the state or the private sector as an example and notifies the guardian thereof, but is not necessarily limited to these institutions or facilities. In other words, if there is a system that can notify the guardians of victims of violence, it will be applicable to any other place.

도 1을 참조하면, 본 발명의 폭력 행위 관리시스템(100)에는 주위를 촬영하기 위한 복수 개의 카메라(110)가 설치된다. 카메라(110)는 소정 간격 이격되게 설치되며, 동작센서(112)가 설치되어 동작센서(112)의 감지 결과에 따라 온/오프 구동된다. 여기서 상기 카메라(110)가 동작센서(112)와 연동되어 동작하는 것으로 설명하지만, 특정 시간대에만 동작되게 할 수도 있을 것이다. 이 경우 동작센서(112)는 필요하지 않다. Referring to FIG. 1 , a plurality of cameras 110 for photographing the surroundings are installed in the violent behavior management system 100 of the present invention. The cameras 110 are installed to be spaced apart from each other by a predetermined interval, and the motion sensor 112 is installed and is driven on/off according to the detection result of the motion sensor 112 . Here, it is described that the camera 110 operates in conjunction with the motion sensor 112, but it may be operated only during a specific time period. In this case, the motion sensor 112 is not required.

그리고 카메라(110)는 동작센서(112)의 감지 결과에 따라 하나 이상이 동시에 동작할 수도 있다. 예컨대, 카메라(110)들 사이 공간에서 대상이 감지되면 어느 하나의 카메라(110)가 아닌 상기 대상을 감지하고 있는 모든 카메라(110)가 동작하는 것이다.In addition, one or more cameras 110 may operate simultaneously according to the detection result of the motion sensor 112 . For example, when an object is detected in the space between the cameras 110 , all cameras 110 detecting the object, not any one camera 110 , operate.

폭력행위를 감지하는 폭력감지서버(120)가 구비된다. 폭력감지서버(120)는 하나 이상의 카메라(110)가 촬영한 동영상을 실시간으로 전송받아 분석하여 그 동영상에서 폭력행위를 감지한다. 구체적으로 폭력행위의 감지는 현재 시점과 이전 시점의 프레임을 입력 데이터로 하여 딥-러닝(deep-learning) 구성 요소들을 결합한 LSTM(Long Short-Term Memory) + CNN(Convolutional Neural Networks)을 기반으로 만들어진 폭력 감지 모델을 이용하며, 연속된 30개의 프레임에서 폭력 행위가 감지되면 최종적으로 그 영상에서 폭력이 발생했다고 판단한다. 상기 폭력감지서버(120)는 폭력행위가 감지되면 폭력 영상이미지를 저장서버(130)에 저장하도록 한다. A violence detection server 120 for detecting an act of violence is provided. The violence detection server 120 receives and analyzes a video shot by one or more cameras 110 in real time, and detects an act of violence in the video. Specifically, the detection of violent behavior is made based on LSTM (Long Short-Term Memory) + CNN (Convolutional Neural Networks), which combines deep-learning components with frames from the current time and the previous time as input data. It uses a violence detection model, and when an act of violence is detected in 30 consecutive frames, it is finally determined that violence occurred in the video. The violence detection server 120 stores a violent video image in the storage server 130 when a violent act is detected.

폭력행위의 감지에 따라 폭력 피해자를 식별하는 분석서버(140)가 구비된다. 분석서버(140)는 폭력 피해자의 얼굴 식별 시 "AWS rekognition API"를 활용한다. 얼굴 식별은 저장서버(130)에 저장된 폭력 영상이미지를 리드(read) 한 후 Face-collection에 등록된 얼굴과 비교하여 식별한다. 물론 분석서버(140)가 가해자를 식별할 수 있음은 당연하다. An analysis server 140 for identifying a victim of violence according to the detection of an act of violence is provided. The analysis server 140 utilizes the "AWS rekognition API" when identifying the victim's face. Face identification is identified by reading the violence video image stored in the storage server 130 and comparing it with the face registered in the Face-collection. Of course, it is natural that the analysis server 140 can identify the perpetrator.

저장서버(130)는 스토리지(storage)로서, 실시 예에서는 "AWS S3 버킷"이 이용된다. 이러한 저장서버(130)는 시설/기관에 있는 아동 및 청소년들의 얼굴이미지, 폭력감지서버(120)가 전송한 폭력 영상이미지, 상기 분석서버(140)가 식별한 피해자의 얼굴인식이미지, 아동 및 청소년들의 보호자 연락처 등을 저장하고 있다.The storage server 130 is a storage (storage), and "AWS S3 bucket" is used in the embodiment. The storage server 130 is a facial image of children and adolescents in a facility/institution, a violent video image transmitted by the violence detection server 120, a facial recognition image of the victim identified by the analysis server 140, children and adolescents It stores the contact information of their guardians.

한편, 보호자가 소지하는 스마트폰(150)에는 피해 사실을 통보받고, 폭력 영상 이미지를 요청하고 확인할 수 있는 애플리케이션(앱)이 설치되어 있어야 할 것이다. On the other hand, the smartphone 150 carried by the guardian should be notified of the damage and an application (app) capable of requesting and confirming a violent video image should be installed.

다음에는 폭력행위의 발생 시에 이를 감지하고, 폭력 피해자에게 통보하는 과정에 대해 살펴본다. 도 2와 같이 동작센서(112)의 감지 결과에 따라 하나 이상의 카메라(110)가 구동하고, 주변을 촬영한다(s100).Next, we will look at the process of detecting violence when it occurs and notifying victims of violence. As shown in FIG. 2, one or more cameras 110 are driven according to the detection result of the motion sensor 112, and the surroundings are photographed (s100).

카메라(110)는 촬영한 영상정보를 폭력감지서버(120)로 실시간 전송한다(s102). 이때 폭력감지서버(120)는 적어도 하나 이상의 카메라(110)로부터 촬영된 영상정보를 각각 전송받을 수 있고, 이 경우 둘 이상의 카메라 영상정보가 전송될 경우 촬영된 객체 이미지가 상대적으로 더 좋은 영상정보를 선택하도록 미리 셋팅할 수 있다. 물론 둘 이상의 영상정보를 결합하여 사용하는 것도 가능하다.The camera 110 transmits the captured image information to the violence detection server 120 in real time (s102). At this time, the violence detection server 120 may receive each of the photographed image information from at least one or more cameras 110, and in this case, when two or more camera image information is transmitted, the photographed object image provides relatively better image information. It can be preset to select. Of course, it is also possible to combine and use two or more image information.

폭력감지서버(120)는 카메라(110)로부터 영상정보가 전송되면, 그 영상정보에서 현재 시점과 이전 시점의 프레임을 입력데이터로 하여 LSTM + CNN 기반의 폭력감지모델을 이용하여 폭력발생 여부를 감지한다(s104). 이러한 감지 예로, 영상정보의 연속된 30개의 프레임을 기초로 하여 폭력행위를 감지할 수 있다. 예를 들어 연속된 프레임에서 주먹을 휘둘리거나 발을 뻗어 치는 영상 프레임이 있다면 이를 폭력행위로 간주하여 폭력행위가 일어났음을 인지하는 것이다.When video information is transmitted from the camera 110, the violence detection server 120 detects whether violence occurs using the LSTM + CNN-based violence detection model by using the frames of the current and previous points in the video information as input data. do (s104). As an example of such a detection, a violent act may be detected based on 30 consecutive frames of image information. For example, if there are video frames in which fists are swung or feet are stretched out in successive frames, it is regarded as an act of violence and it is recognized that an act of violence has occurred.

폭력행위가 감지되면 폭력감지서버(120)는 저장서버(130)에 폭력 영상이미지의 이름을 지정하여 저장하고, 분석서버(140)에는 이름정보를 전송한다(s106).When an act of violence is detected, the violence detection server 120 designates and stores the name of the violence video image in the storage server 130, and transmits the name information to the analysis server 140 (s106).

그러면 분석서버(140)는 이름정보를 기초로 하여 상기 저장서버(130)에 저장된 폭력 영상이미지를 리드(read) 하고, 이를 미리 저장된 아동/청소년들의 얼굴 이미지와 비교하는 분석과정을 수행한다(s108). 이러한 비교결과 일치된 얼굴이미지가 검출되면 분석서버(140)는 폭력 피해자의 얼굴을 식별할 수 있는 것이다(s110). 폭력 피해자의 얼굴 인식 이미지는 JSON 데이터 형태로 저장서버(130)에 저장된다.Then, the analysis server 140 reads the violence video image stored in the storage server 130 based on the name information, and performs an analysis process of comparing it with the pre-stored face images of children / adolescents (s108) ). When the matching face image is detected as a result of this comparison, the analysis server 140 can identify the victim's face (s110). The facial recognition image of the victim of violence is stored in the storage server 130 in the form of JSON data.

이때, 경우에 따라서 저장서버(130)에 얼굴 이미지가 저장되지 않을 수도 있다. 따라서 외부 db에 접속하여 추가로 얼굴 이미지를 비교하는 과정을 더 수행할 수 있다. In this case, in some cases, the face image may not be stored in the storage server 130 . Therefore, the process of comparing additional face images by accessing the external db can be further performed.

이와 같이 폭력 피해자가 식별되면(s110), 분석서버(140)는 SMS API를 활용하여 보호자에게 폭력이 발생했다는 알림 메시지를 전송한다(s112). 그러면 애플리케이션을 설치한 보호자는 자신의 스마트폰(150) 등을 통해 폭력이 발생한 시점에 실시간으로 알림 메시지를 수신할 수 있다. 이러한 알림 메시지를 수신하는 것에 의하여 보호자는 폭력 피해자를 확인할 수 있을 것이다. As such, when the victim of violence is identified (s110), the analysis server 140 transmits a notification message that violence has occurred to the guardian using the SMS API (s112). Then, the guardian who has installed the application can receive a notification message in real time at the time when violence occurs through their smartphone 150 or the like. By receiving such a notification message, the guardian will be able to identify the victim of violence.

그리고 보호자는 애플리케이션에 접속하여 저장서버(130)에 기록된 폭력 영상이미지를 요청, 확인할 수 있다(s114). 그만큼 폭력행위가 발생한 시점에 즉각적으로 대응할 수 있는 것이다. And the guardian can access the application and request and check the violence video image recorded in the storage server 130 (s114). Thus, it is possible to respond immediately when an act of violence occurs.

이와 같이 본 발명은 소정 장소에서 폭력 행위가 발생하면 이를 실시간으로 감지하면서 폭력 피해자를 식별하는 것이고, 폭력 피해자의 보호자가 이를 인지할 수 있도록 하고 있다. 그리고 보호자는 자신의 스마트폰을 이용하여 즉시 폭력 영상 이미지 등을 확인할 수 있어, 폭력 행위에 대한 적극적인 대처가 가능하게 됨을 알 수 있다. As described above, the present invention identifies a victim of violence while detecting it in real time when an act of violence occurs in a predetermined place, and enables the protector of the victim of violence to recognize it. In addition, it can be seen that the guardian can immediately check the violence video image using their smartphone, so that it is possible to actively respond to the violent act.

이상과 같이 본 발명의 도시된 실시 예를 참고하여 설명하고 있으나, 이는 예시적인 것들에 불과하며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 본 발명의 요지 및 범위에 벗어나지 않으면서도 다양한 변형, 변경 및 균등한 타 실시 예들이 가능하다는 것을 명백하게 알 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적인 사상에 의해 정해져야 할 것이다.Although described with reference to the illustrated embodiments of the present invention as described above, these are merely exemplary, and those of ordinary skill in the art to which the present invention pertains can use various functions without departing from the spirit and scope of the present invention. It will be apparent that modifications, variations, and other equivalent embodiments are possible. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

100: 폭력행위 관리시스템
110: 카메라
112: 동작센서
120: 폭력감지서버
130: 분석서버
140: 저장서버
150: 스마트폰100: Violence Management System
110: camera
112: motion sensor
120: violence detection server
130: analysis server
140: storage server
150: smartphone

Claims (8)

하나 이상의 카메라(110);
상기 카메라(110)가 전송한 동영상을 분석하여 폭력행위를 감지하는 폭력감지서버(120);
폭력행위가 감지되면 상기 폭력감지서버(120)가 전송하는 폭력 영상이미지 및 다수의 얼굴 이미지, 식별된 얼굴 인식 이미지를 저장하는 저장서버(140); 및
상기 저장서버(140)에 저장된 폭력 영상이미지와 미리 저장된 얼굴 이미지를 비교하여 폭력 피해자를 식별하고, 폭력 행위 발생과 관련된 알림 메시지를 폭력 피해자와 관련되어 미리 지정된 스마트폰(150)에 전송하는 분석서버(130)를 포함하고,
상기 폭력감지서버(120)는,
상기 동영상의 현재 시점과 이전 시점의 프레임을 입력 데이터로 하여 연속된 소정 개수의 프레임에서 일련의 폭력행위 장면이 포함될 경우 폭력행위를 감지하는 것을 특징으로 하는 폭력 행위 관리시스템.
one or more cameras 110;
a violence detection server 120 for detecting a violent act by analyzing the video transmitted by the camera 110;
a storage server 140 for storing a violent image image transmitted by the violence detection server 120 when a violent act is detected, a plurality of face images, and an identified face recognition image; and
An analysis server that compares the violence video image stored in the storage server 140 with the face image stored in advance to identify the victim of violence, and transmits a notification message related to the occurrence of the violence to the smartphone 150 designated in advance in relation to the victim of violence (130);
The violence detection server 120,
Violence management system, characterized in that when a series of scenes of violent acts are included in a predetermined number of consecutive frames using frames of the current and previous views of the moving picture as input data, the violent acts are detected.
 제 1 항에 있어서,
상기 폭력감지서버(120)는,
LSTM + CNN 기반의 폭력감지모델을 구비하는 폭력 행위 관리시스템.
The method of claim 1,
The violence detection server 120,
A violent behavior management system equipped with LSTM + CNN-based violence detection model.
 삭제delete 제 1 항에 있어서,
상기 폭력감지서버(120)는,
상기 동영상을 분석하여 폭력이 감지되면 상기 저장서버(140)에 폭력 영상이미지의 앞 부분의 일정 개수의 이미지를 저장하고, 상기 분석서버(130)로 상기 저장된 이미지 이름정보를 전송하는 폭력 행위 관리시스템.
The method of claim 1,
The violence detection server 120,
When violence is detected by analyzing the video, a certain number of images of the front part of the violence video image are stored in the storage server 140 , and the stored image name information is transmitted to the analysis server 130 . .
 제 1 항에 있어서,
상기 분석서버(130)는,
상기 폭력감지서버(120)가 전송한 폭력 영상이미지의 이름 정보를 기초로 하여 상기 저장서버(140)에 저장된 폭력 영상이미지를 리드(read) 하는 폭력 행위 관리시스템.
The method of claim 1,
The analysis server 130,
A violent behavior management system that reads the violent video image stored in the storage server 140 on the basis of the name information of the violent video image transmitted by the violence detection server 120 .
 동작센서(112)의 감지결과에 따라 하나 이상의 카메라(110)가 주변을 촬영하는 촬영단계;
폭력감지서버(120)가 촬영된 동영상을 분석하여 폭력행위 발생을 감지하는 감지단계;
폭력행위가 감지되면, 폭력감지서버(120)는 저장서버(140)에 폭력 영상이미지의 앞 부분의 일부 이미지를 저장하고, 분석서버(130)로 상기 저장된 이미지 이름정보를 전송하는 전송단계;
상기 분석서버(130)가 상기 이름정보를 기초로 저장된 폭력 영상이미지를 리드(read) 한 후, 미리 저장된 얼굴 이미지들과 비교하여 폭력 피해자를 식별하는 식별단계; 및
폭력 피해자가 식별되면 상기 분석서버(130)가 폭력 행위 발생과 관련된 알림 메시지를 미리 지정된 스마트폰(150)으로 전송하는 전송단계를 포함하고,
상기 감지단계는,
상기 동영상의 현재 시점과 이전 시점의 프레임을 입력 데이터로 하여 연속된 소정 개수의 프레임에 미리 정의된 폭력행위 장면이 포함되면 폭력 발생을 감지하는 것을 특징으로 하는 폭력 행위 관리방법.
A photographing step in which one or more cameras 110 photograph the surroundings according to the detection result of the motion sensor 112;
A detection step of detecting the occurrence of a violent act by analyzing the video taken by the violence detection server 120;
When an act of violence is detected, the violence detection server 120 stores a partial image of the front part of the violence video image in the storage server 140, and transmits the stored image name information to the analysis server 130;
After the analysis server 130 reads the stored violence image image based on the name information, an identification step of identifying a victim of violence by comparing it with pre-stored face images; and
When a victim of violence is identified, the analysis server 130 includes a transmission step of transmitting a notification message related to the occurrence of an act of violence to a predetermined smart phone 150,
The detection step is
Violence management method, characterized in that the occurrence of violence is detected when a predefined violent scene is included in a predetermined number of consecutive frames using frames of the current and previous views of the moving picture as input data.
 제 6 항에 있어서,
상기 감지단계는 LSTM + CNN 기반의 폭력감지모델을 이용하는 폭력 행위 관리방법.
7. The method of claim 6,
The detection step is a violent behavior management method using an LSTM + CNN-based violence detection model.
 제 6 항에 있어서,
상기 스마트폰(150)으로부터 폭력 영상이미지를 요청하는 요청단계; 및
상기 저장서버(140)가 요청받은 폭력 영상이미지를 상기 스마트폰(150)에 전송하는 단계를 더 포함하는 폭력 행위 관리방법.
7. The method of claim 6,
a request step of requesting a video image of violence from the smartphone 150; and
Violence management method further comprising the step of transmitting, by the storage server 140, the requested violent video image to the smartphone 150.
KR1020190122161A 2019-10-02 2019-10-02 Violent behavior management system and method KR102264275B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190122161A KR102264275B1 (en) 2019-10-02 2019-10-02 Violent behavior management system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190122161A KR102264275B1 (en) 2019-10-02 2019-10-02 Violent behavior management system and method

Publications (2)

Publication Number Publication Date
KR20210039663A KR20210039663A (en) 2021-04-12
KR102264275B1 true KR102264275B1 (en) 2021-06-14

Family

ID=75439719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190122161A KR102264275B1 (en) 2019-10-02 2019-10-02 Violent behavior management system and method

Country Status (1)

Country Link
KR (1) KR102264275B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102648004B1 (en) * 2021-09-23 2024-03-18 주식회사 소이넷 Apparatus and Method for Detecting Violence, Smart Violence Monitoring System having the same
CN114677826B (en) * 2022-03-24 2023-10-31 中南大学湘雅二医院 Mental patient violence early warning system based on individual behaviors and physiological characteristics
KR102510116B1 (en) * 2023-01-04 2023-03-14 퀀텀테크엔시큐 주식회사 Method, apparatus and computer-readable recording medium for recognizing a criminal act in an image and tracking a moving path of a dangerous object
KR102576651B1 (en) * 2023-01-17 2023-09-08 퀀텀테크엔시큐 주식회사 Providing method, apparatus and computer-readable medium of artificial intelligence-based detection and notification services for dangerous situations in video for protected persons

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101423873B1 (en) * 2013-03-26 2014-08-06 가천대학교 산학협력단 Integrated management system with image monitoring system and method for detecting viloent events using the smae
JP2017224050A (en) * 2016-06-13 2017-12-21 Ｎｅｃソリューションイノベータ株式会社 Service providing system
KR101919243B1 (en) * 2017-07-24 2018-11-15 신후덕 Method and system for perceiving the violence

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101423873B1 (en) * 2013-03-26 2014-08-06 가천대학교 산학협력단 Integrated management system with image monitoring system and method for detecting viloent events using the smae
JP2017224050A (en) * 2016-06-13 2017-12-21 Ｎｅｃソリューションイノベータ株式会社 Service providing system
KR101919243B1 (en) * 2017-07-24 2018-11-15 신후덕 Method and system for perceiving the violence

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
블로그*

Also Published As

Publication number Publication date
KR20210039663A (en) 2021-04-12

Similar Documents

Publication Publication Date Title
KR102264275B1 (en) Violent behavior management system and method
US10297126B2 (en) Privacy masking video content of alarm exceptions and mask verification
EP3321844B1 (en) Action recognition in a video sequence
EP3026904B1 (en) System and method of contextual adjustment of video fidelity to protect privacy
KR101747221B1 (en) Image data transmitting and receiving method and camara terminal and server for image forgery detection in security camera system
WO2016150045A1 (en) Housebreaking alarm method and device
KR102237086B1 (en) Apparatus and method for controlling a lobby phone that enables video surveillance through a communication terminal that can use a 5G mobile communication network based on facial recognition technology
KR101894399B1 (en) Monitoring system having personal information protection function and method thereof
CN110557603B (en) Method and device for monitoring moving target and readable storage medium
US20190373219A1 (en) Methods, systems, apparatuses and devices for facilitating management of emergency situations
US10417884B2 (en) Method and system for incident sharing in a monitoring system
US20040168194A1 (en) Internet tactical alarm communication system
EP3462734A1 (en) Systems and methods for directly accessing video data streams and data between devices in a video surveillance system
KR102233679B1 (en) Apparatus and method for detecting invader and fire for energy storage system
US20190096153A1 (en) Smart digital door lock and method for controlling the same
KR101046819B1 (en) Method and system for watching an intrusion by software fence
Ng et al. Surveillance system with motion and face detection using histograms of oriented gradients
Sai et al. Low cost automated facial recognition system
Chattopadhyay Developing an Innovative Framework for Design and Analysis of Privacy Enhancing Video Surveillance
KR101269081B1 (en) Violence prevention system by using image analysis
Mahmood Ali et al. Strategies and tools for effective suspicious event detection from video: a survey perspective (COVID-19)
KR20180003897A (en) Document security method, device and computer readable medium
EP3444750A1 (en) Cloud based systems and methods for locating a peace breaker
Vítek et al. Video compression technique impact on efficiency of person identification in CCTV systems
KR102008239B1 (en) Smart security system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant