WO2022102839A1 - 음향 기반의 비상벨 관제 시스템 및 그 방법 - Google Patents

음향 기반의 비상벨 관제 시스템 및 그 방법 Download PDF

Info

Publication number
WO2022102839A1
WO2022102839A1 PCT/KR2020/016613 KR2020016613W WO2022102839A1 WO 2022102839 A1 WO2022102839 A1 WO 2022102839A1 KR 2020016613 W KR2020016613 W KR 2020016613W WO 2022102839 A1 WO2022102839 A1 WO 2022102839A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
emergency bell
situation
information
crime
Prior art date
Application number
PCT/KR2020/016613
Other languages
English (en)
French (fr)
Inventor
김선만
이광훈
김회민
전성국
윤선규
이진수
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Publication of WO2022102839A1 publication Critical patent/WO2022102839A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B1/00—Systems for signalling characterised solely by the form of transmission of the signal
    • G08B1/08—Systems for signalling characterised solely by the form of transmission of the signal using electric transmission ; transformation of alarm signals to electrical signals from a different medium, e.g. transmission of an electric alarm signal upon detection of an audible alarm signal
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • G08B13/1672—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Definitions

  • the present invention relates to a sound-based emergency bell control system and method that enable rapid and accurate response to criminal situations by analyzing on-site situations based on sound information when an emergency bell is operated.
  • a crime prevention system is installed in an area where security is weak so that a report and response can be made when an emergency situation such as violence or emergency occurs.
  • the emergency bell for crime prevention is installed in a specific area, such as a crime zone, and sends a signal to a specific server that can request help according to the user's operation when a dangerous situation occurs at the site so that the administrator can detect the dangerous situation. it is a device
  • the surveillance camera installed together with such a security emergency bell is installed in the upper area of one side of the crime scene, so that when a dangerous situation occurs, the administrator can check the recorded video to help, or to use the crime video to find out the criminal. recording function.
  • a closed circuit television CCTV
  • a high-performance camera is also used.
  • the emergency bell for crime prevention is installed on site due to the advantages of simple installation and convenient operation. Since the emergency bell can only be pressed through the emergency button, it is difficult for a party in an actual emergency to press the emergency bell from the criminal's sight, and the operation of the emergency bell can be forcibly stopped, so there is a problem that it is impossible to quickly respond to an emergency situation.
  • FIG. 1 is a flowchart illustrating a method for recognizing a crime situation based on sound according to an embodiment of the prior art.
  • the sound recognition module when the sound recognition module is installed in the emergency bell device to which the sound-based security technology is applied, the sound recognition module mainly uses non-verbal sounds (warning, screaming, crying, surrounding sounds, animal sounds, etc.) After collection, only a specific event sound (such as glass breaking sound) is detected and an alarm (glass breaking notification) corresponding to the occurrence of the event is notified.
  • the emergency bell device including such a sound recognition module has a disadvantage in that the detection rate is lowered because voice recognition is not accurately performed due to noise in a public indoor space.
  • FIG. 2 is a flowchart illustrating a crime response process due to an emergency bell device according to an embodiment of the prior art.
  • the emergency bell when an emergency occurs (S11), the emergency bell is activated, and the system for managing the emergency bell device in the corresponding area detects the emergency through the emergency bell (S12).
  • the system puts first responders to the place where the emergency bell is activated (S13), identifies the on-site situation through the first responders (S14), and sends response personnel when a crime actually occurs through the situation report of the first responders. (S15).
  • the crime situation is dealt with through the first responders and response personnel deployed to the crime scene (S16).
  • the present invention provides a time, cost, and The purpose of this is to reduce the burden on mental fatigue, etc., and to provide early recognition of emergency situations and effective countermeasures for emergency situations to subjects in emergency situations.
  • the technical task to be achieved by the present embodiment is not limited to the technical task as described above, and other technical tasks may exist.
  • the sound-based emergency bell control system is installed in each crime zone, and the acoustic information collected by collecting the acoustic information generated in the crime zone.
  • an emergency bell device that detects an event for an emergency and generates an emergency bell operation signal;
  • the sound information is received from the emergency bell device in real time, the key sound sources are classified by time in the sound information, and a situation analysis result is provided for whether a crime has occurred using the classified key sound sources by time analysis server; and a control server for providing on-site dispatch information or situation response information based on the situation analysis result to the security terminal having jurisdiction over the crime area where the emergency bell operation signal is generated when the situation analysis result is received .
  • the emergency bell device has unique identification information designated by the control server, and the emergency bell operation signal and the situation analysis result include identification information of the corresponding emergency bell device.
  • the analysis server stores information of the security terminal having jurisdiction over the crime area, and calls information of the security terminal having jurisdiction over the crime area by using the identification information of the emergency bell device included in the situation analysis result and dispatches to the site It is characterized in that it transmits information or situation response information.
  • the emergency bell device further includes at least one camera device for photographing a scene image of the crime zone, and the control server uses the situation analysis result and the on-site image transmitted through the camera device for each time period. It is characterized in that the field situation is divided into a preset security level, and field dispatch information or situation response information is generated according to the divided security level.
  • the analysis server extracts an effective feature including a correlation in the time-frequency domain for sound information having a time series characteristic, and classifies at least one or more core sound sources based on the extracted effective feature using a convolutional neural network, , characterized by performing an artificial intelligence-based sound analysis algorithm that predicts a situation analysis result for a field situation using the classified core sound sources.
  • the artificial intelligence-based acoustic analysis algorithm includes: a data collection module for collecting a plurality of sample sound sources for each crime situation and storing them as a dataset for learning; a learning module for pre-processing the sample sound sources, extracting auditory characteristics as a feature vector from the pre-processed data, and generating and learning a classifier for classifying a core sound source for each crime situation using the extracted feature vector;
  • a situation analysis module that preprocesses the received sound information to extract a feature vector, and classifies at least one core sound source using the learned classifier with respect to the extracted feature vector ; and a prediction module for predicting a situation analysis result for a crime situation derived based on the classified core sound sources.
  • the artificial intelligence-based acoustic analysis algorithm classifies the situation analysis result predicted by the prediction module into a crime code of a preset security level, and according to the classified crime code, response time, response personnel, and situation response behavior information It is characterized in that it further comprises a code classification module that is set differently and provides the field dispatch information or situation response information.
  • the sound-based emergency bell control method is a sound-based emergency bell control method performed by an emergency bell control system using a sound-based emergency bell device, a) a preset crime receiving sound information generated in a corresponding crime area when an emergency bell operation signal is detected from an emergency bell device installed in the area; b) classifying core sound sources by time in the received sound information, and providing a situation analysis result on whether a crime has occurred using the classified core sound sources by time; and c) providing field dispatch information or situation response information based on the situation analysis result to a security terminal having jurisdiction over the crime area where the emergency bell operation signal is generated.
  • Step b) extracts effective features including correlation in the time-frequency domain for acoustic information having time series characteristics, and classifies at least one core sound source based on the extracted effective features using a convolutional neural network and performing an artificial intelligence-based sound analysis algorithm for predicting a situation analysis result for a field situation using the classified core sound sources.
  • the artificial intelligence-based sound analysis algorithm may include: a data collection process of collecting a plurality of sample sound sources for each crime situation and storing them as a data set for learning; a learning process of pre-processing the sample sound sources, extracting auditory characteristics from the pre-processed data as a feature vector, and generating and learning a classifier for classifying a core sound source for each crime situation using the extracted feature vector;
  • a situation analysis process of preprocessing the received sound information to extract a feature vector, and classifying at least one core sound source with respect to the extracted feature vector using the learned classifier ; and a prediction process of predicting a situation analysis result for a crime situation derived based on the classified core sound sources.
  • the artificial intelligence-based acoustic analysis algorithm classifies the situation analysis result predicted in the prediction process into a crime code of a preset security level, and the dispatch time, response manpower, and situation response behavior information are different according to the classified crime code. It is set and characterized in that it further comprises a code classification process for providing the field dispatch information or situation response information.
  • the analysis server that analyzes sound information in conjunction with the sound-based emergency bell device according to an embodiment of the present invention, when the emergency bell operation signal is received from the emergency bell device, the sound information from the emergency bell device to receive in real time, classify the key sound sources by time in the sound information through an artificial intelligence-based sound analysis algorithm, and provide a situation analysis result for whether or not a crime has occurred using the classified key sound sources by time, and the emergency bell device
  • the on-site dispatch information or situation response information is transmitted to the security terminal in charge of the crime area where the emergency bell operation signal is generated based on the situation analysis result, characterized in that do.
  • the present invention can be applied to all emergency bell devices that are currently distributed and installed, and classifies the crime situation when the emergency bell is operated based on sound information, By making an effective response, it is possible to prevent social distrust and deterioration in the effectiveness of the emergency bell service, to provide high-quality crime safety-related services and to enhance social trust in the social safety net.
  • the present invention utilizes a camera device together with an emergency bell device to minimize cost waste due to misidentified dispatch through fusion utilization with video information of the field, and enables a close response at the dispatch site.
  • FIG. 1 is a flowchart illustrating a method for recognizing a crime situation based on sound according to an embodiment of the prior art.
  • FIG. 2 is a flowchart illustrating a crime response process due to an emergency bell device according to an embodiment of the prior art.
  • FIG. 3 is a view for explaining the configuration of a sound-based emergency bell control system according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining an operation flow between each component of the sound-based emergency bell control system according to an embodiment of the present invention.
  • FIG. 5 is a view for explaining an artificial intelligence-based sound analysis algorithm performed in the analysis server according to an embodiment of the present invention.
  • FIG. 6 is a diagram for explaining the configuration of CNN applied to FIG. 5 .
  • FIG. 7 is a view for explaining a process of deriving a situation analysis result of an artificial intelligence-based acoustic analysis algorithm according to an embodiment of the present invention.
  • FIG. 8 is a view for explaining crime codes classified by crime situation according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a sound-based emergency bell control method according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a process of deriving a situation analysis result based on artificial intelligence in the sound-based emergency bell control method according to an embodiment of the present invention.
  • a 'terminal' may be a wireless communication device with guaranteed portability and mobility, for example, any type of handheld-based wireless communication device such as a smart phone, tablet PC, or notebook computer.
  • the 'terminal' may be a wired communication device such as a PC that can connect to another terminal or server through a network.
  • the network refers to a connection structure capable of exchanging information between each node, such as terminals and servers, and includes a local area network (LAN), a wide area network (WAN), and the Internet (WWW). : World Wide Web), wired and wireless data networks, telephone networks, and wired and wireless television networks.
  • wireless data communication networks examples include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi, Bluetooth communication, infrared communication, ultrasound Communication, Visible Light Communication (VLC), LiFi, and the like are included, but are not limited thereto.
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Term Evolution
  • WIMAX World Interoperability for Microwave Access
  • Wi-Fi Bluetooth communication
  • infrared communication ultrasound Communication
  • VLC Visible Light Communication
  • LiFi and the like are included, but are not limited thereto.
  • each configuration, process, process or method included in each embodiment of the present invention may be shared within a range that does not technically contradict each other.
  • FIG. 3 is a diagram for explaining the configuration of a sound-based emergency bell control system according to an embodiment of the present invention
  • FIG. 4 is an operation flow between each component of the acoustic-based emergency bell control system according to an embodiment of the present invention. is a diagram for explaining
  • the sound-based emergency bell control system includes an emergency bell device 100 , an analysis server 200 , and a control server 300 .
  • the emergency bell device 100 is installed in each crime area, collects sound information generated in the crime area, detects an event for an emergency situation from the collected sound information, and generates an emergency bell operation signal.
  • the emergency bell device 100 may include both a button-type emergency bell and a sound recognition emergency bell including a sound recognition module.
  • This emergency bell device 100 includes a microphone (not shown) for sound collection, a communication module (not shown) for transmitting an emergency bell operation signal and sound information to the analysis server 200, a memory (not shown), damage or It may include a warning device (not shown), a control module (not shown), etc. that are generated when the forced power is turned off.
  • the emergency bell device 100 stores all sound information generated in a crime area (public toilet, bus stop, etc.) in a predetermined time unit (approximately 10 seconds) in a buffer (not shown), and when an emergency event is detected The emergency bell operation signal is generated, and sound information recorded for a predetermined time before the emergency bell operation signal is generated is called from the buffer and transmitted to the analysis server 200 together with the emergency bell operation signal.
  • the emergency bell device 100 may secure a storage capacity greater than or equal to a preset capacity by deleting the sound information stored in the buffer in a first-in-first-out manner.
  • the analysis server 200 receives sound information from the corresponding emergency bell device 100 in real time, classifies the key sound sources by time in the sound information, and classifies the core sound sources by time. provides the result of situation analysis on whether or not a crime has occurred to the control server 300 .
  • the analysis server 200 may also receive and analyze the sound information recorded for a predetermined time before the emergency bell operation signal is generated, so that it is possible to more accurately grasp the current situation.
  • the control server 300 When the situation analysis result is received from the analysis server 200, the control server 300 provides on-site dispatch information or situation response information to the security terminal 400 having jurisdiction over the crime area where the emergency bell operation signal is generated based on the situation analysis result. to provide.
  • the analysis server 200 and the control server 300 may be a computer body for a server in a general sense, and may be implemented as various types of devices capable of performing a server role in addition.
  • the analysis server 200 and the control server 300 may be implemented in a computing device including a communication module (not shown), a memory (not shown), a processor (not shown) and a database (not shown), respectively.
  • a mobile phone, TV, PDA, tablet PC, PC, notebook PC, and other user terminal devices may be implemented.
  • the security terminal 400 is a terminal capable of wireless communication in connection with a police station or other organizations to notify whether security personnel are dispatched or not, crime situation, etc., to be implemented with a smartphone, tablet PC, PC, notebook PC, etc can
  • the emergency bell device 100 has unique identification information designated by the control server 300 , and the emergency bell operation signal and the situation analysis result include identification information of the corresponding emergency bell device 100 . Therefore, the analysis server 200 and the control server 300 can use the identification information of the emergency bell device 100 to identify the crime area, and can quickly transmit the information to the security terminal 400 having jurisdiction over the crime area. .
  • the analysis server 200 and the control server 300 store the identification information of each emergency bell device 100 in the database 210 and the information of the security terminal 400 having jurisdiction over each crime area.
  • the emergency bell device 100 may further include at least one camera device 150 for taking a scene image of the crime area.
  • a camera device 150 for taking a scene image of the crime area.
  • the offender area is a bus stop, an underpass, a building roof or stairs, etc.
  • a camera device 150 such as a CCTV is installed on an underground sidewalk, a roof of a building or one side of the stairs, and the camera device 150 is installed. You can take pictures of the scene.
  • the control server 300 receives the scene image in real time through the camera device 150 of the relevant crime area, and checks the scene image based on the situation analysis result while checking the current situation at a preset security level and can generate on-site dispatch information or situation response information according to the classified security level. In this case, the control server 300 may change the security level at any time according to the real-time received on-site image.
  • the emergency bell device 100 when the emergency bell device 100 is installed in a public toilet, when a crime situation sound is detected by the emergency bell device 100, the emergency bell operation signal and sound information currently generated in the public toilet are analyzed. It is transmitted in real time to the server 200 .
  • the analysis server 200 analyzes the on-site situation based on the acoustic information received from the emergency bell device 100, classifies the crime code for the analyzed on-site situation, and outputs the situation analysis result for the crime code and the on-site situation to the control server Send to 300.
  • the control server 300 interlocks with a central control system capable of providing an emergency alarm to the police, fire stations, medical institutions, private crime prevention companies, etc. based on the situation analysis result to generate an emergency bell operation signal in the public where the emergency bell device 100 is installed. Security personnel are dispatched to the bathroom so that they can respond to the situation on the spot.
  • FIG. 5 is a diagram illustrating an artificial intelligence-based acoustic analysis algorithm performed in an analysis server according to an embodiment of the present invention
  • FIG. 6 is a diagram illustrating a configuration of a CNN applied to FIG. 5 .
  • the artificial intelligence-based acoustic analysis algorithm 500 extracts an effective feature vector including a correlation in the time-frequency domain for acoustic information having a time series characteristic, and at least based on the extracted effective feature vector using a convolutional neural network.
  • a classifier that classifies one or more core sound sources is created and learned, and the situation analysis result of the field situation is predicted using the learned classifier.
  • the artificial intelligence-based acoustic analysis algorithm 500 includes, but is not limited to, a data collection module 510 , a learning module 520 , a situation analysis module 530 , a prediction module 540 , and a code classification module 550 . does not
  • the data collection module 510 collects a plurality of sample sound sources for each crime situation and stores it in the database 210 as a learning dataset.
  • the learning module 520 performs pre-processing on the sample sound sources, extracts auditory characteristics from the pre-processed learning data as a feature vector, and uses the extracted feature vector to classify a core sound source for each crime situation. create and learn
  • the situation analysis module 530 pre-processes the received sound information to extract a feature vector, and uses a classifier learned for the extracted feature vector to at least one or more core sound sources. classify
  • the prediction module 540 predicts a crime situation based on the classified core sound sources to predict a situation analysis result.
  • the code classification module 550 classifies the situation analysis result predicted by the prediction module 540 into a crime code of a preset security level, and the dispatch time, response personnel, and situation response behavior information are set differently according to the classified crime code. Provides on-site dispatch information or situation response information.
  • the above-described modules are merely an embodiment for describing the present invention, and are not limited thereto and may be implemented with various modifications.
  • the above-described modules are stored in the memory as a computer-readable recording medium that can be controlled by the analysis server 200 .
  • at least a portion of the algorithm 500 may be implemented in software, firmware, hardware, or a combination of at least two or more thereof, and may include a module, program, routine, instruction set, or process for performing one or more functions. .
  • the artificial intelligence-based acoustic analysis algorithm 500 can apply CNN to the learning module 520 and the situation analysis module 530, but in addition to CNN, RNN, YOLO (You Only Look Once), Single Shot Detector (SSD), etc. A variety of algorithms can be used.
  • CNN consists of an input layer, an output layer, and several hidden layers between the input layer and the output layer. Convolution, activation/rectified linear unit (ReLU), pooling, and more.
  • ReLU activation/rectified linear unit
  • Convolution passes the input data through a set of convolution filters that activate specific features in each sound data.
  • ReLU maps negative values to 0 and maintains positive values to enable faster and more effective learning. This process is also called activation because only activated features are transferred to the next layer. Pooling simplifies the output by performing non-linear downsampling and reducing the number of parameters the network has to learn.
  • This CNN analyzes the pattern characteristics of sound data using the training dataset given in the learning module 520, extracts a feature vector for distinguishing different patterns, and determines which sound information is newly given from the situation analysis module 530 It classifies and recognizes whether it corresponds to a pattern.
  • the situation analysis module 530 performs preprocessing and feature extraction in the same way as the learning module 520 , but may predict the final analysis result by using the classifier learned with respect to the extracted feature vector.
  • the artificial intelligence-based sound analysis algorithm 500 extracts effective feature vectors from sound information by using various algorithms. It can be extracted as a sound map (feature vector) containing
  • the artificial intelligence-based sound analysis algorithm 500 extracts a sound source from sound information in a preset unit time (about 1 second), converts it into a spectrogram, and uses CNN to obtain a feature vector based on the spectrogram. This process can be repeatedly performed while moving in a certain time unit to classify core sound sources by time.
  • the artificial intelligence-based acoustic analysis algorithm 500 may set the unit time to about 10 seconds, and perform core sound source classification and acoustic event analysis in a given unit time according to time.
  • FIG. 7 is a view for explaining a process of deriving a situation analysis result of an artificial intelligence-based acoustic analysis algorithm according to an embodiment of the present invention
  • FIG. 8 is a crime code classified by crime situation according to an embodiment of the present invention. is a diagram for explaining
  • the artificial intelligence-based acoustic analysis algorithm 500 extracts a feature vector from the acoustic information, and uses the classifier 511 learned for the extracted feature vector to provide a core Classify the songs.
  • the core sound source may include one or more sound sources such as screams, shouts, sounds of falling objects, male voices (especially in the case of women's restrooms), threatening voices, sobbing, moaning sounds, and assault sounds. Therefore, the scene situation analyzer 531 included in the situation analysis module 530 uses the core sound sources collected for each crime situation through the data collection module 510 to determine what kind of crime situation the scene is, and the situation for each code. The analyzer 532 classifies the crime codes classified into codes 0 to 4 according to the crime situation.
  • the crime code is divided into five security levels (code 0 ⁇ code 4), it can be seen that from code 4 to code 0, the time to dispatch, the number of people dispatched, and the severity of situation response increase.
  • the analysis server 200 classifies the crime code as code 0 when an emergency bell operation signal is detected and a female scream is detected in the public toilet, and control It transmits the crime code and the situation analysis result for the crime situation (the situation where the man enters the women's bathroom, the situation where the victim sobs at the threat, the situation where he is assaulted, etc.) to the server 300 .
  • control server 300 confirms that the crime code is code 0 through the situation analysis result, and crime prevention agents such as the police are dispatched in the shortest time, and ambulances, female police, It is possible to instruct on-site dispatch information or situation response information, such as coordinated dispatch with a dispatch element such as police personnel in an adjacent area.
  • FIG. 9 is a flowchart illustrating a sound-based emergency bell control method according to an embodiment of the present invention
  • FIG. 10 is a situation analysis result based on artificial intelligence in the sound-based emergency bell control method according to an embodiment of the present invention. It is a flowchart explaining the process of deriving .
  • the emergency bell device 100 screams, shouts, moans, and shatters. Detects acoustic information such as , falling sound, and generates an emergency bell operation signal.
  • the analysis server 200 receives sound information from the emergency bell device 100 when an emergency bell operation signal is detected (S120), and uses the received sound information to understand the on-site situation through an artificial intelligence-based sound analysis algorithm (S130). ).
  • the analysis server 200 largely performs a learning process and a prediction process through an artificial intelligence-based acoustic analysis algorithm.
  • a sample sound source for each crime situation is collected in connection with web crawling or the National police Agency, etc. to configure a dataset for learning (S210), and after preprocessing the sample sound source, a feature vector is extracted (S220).
  • a classifier for classifying a core sound source for each crime situation is created and learned using the extracted feature vector (S230).
  • a feature vector is extracted from the sound information (S320), and at least one core sound source is classified using a classifier learned with respect to the extracted feature vector. and (S330), the crime situation is identified using the classified core sound source, and the situation analysis result is output (S340).
  • the analysis server 200 classifies the crime code according to the on-site situation, and outputs the situation analysis result including the classified crime code and the crime situation, and identification information of the emergency bell device 100 to the control server ( 300) is sent.
  • the control server 300 analyzes the situation analysis result, generates field dispatch information and situation response information for putting a response man to the scene according to the crime code, and transmits it to the security terminal 400 (S140).
  • the security terminal 400 Through the security terminal 400 that has received the on-site dispatch information and situation response information, the security agent identifies the crime area through the identification information of the emergency bell device 100, and responds to the situation by dispatching to the crime area (S150) .
  • each of the steps of FIGS. 9 and 10 may be divided into additional steps or combined into fewer steps according to an embodiment of the present invention.
  • some steps may be omitted if necessary, and the order between steps may be changed.
  • the sound-based emergency bell control method according to the embodiment of the present invention described above may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer.
  • Such recording media includes computer-readable media, and computer-readable media can be any available media that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media also includes computer storage media, which include volatile and nonvolatile embodied in any method or technology for storage of information, such as computer readable instructions, data structures, program modules, or other data. , including both removable and non-removable media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

본 발명은 음향 기반의 비상벨 관제 시스템 및 그 방법에 관한 것으로서, 각 우범 지역에 설치되어, 해당 우범 지역 내에서 발생되는 음향 정보를 수집하여 수집된 음향 정보에서 위급 상황에 대한 이벤트를 감지하여 비상벨 작동 신호를 발생하는 비상벨 장치; 상기 비상벨 작동 신호가 수신되면 상기 비상벨 장치로부터 음향 정보를 실시간 수신하고, 상기 음향 정보에서 시간별 핵심 음원을 분류하고, 상기 분류된 시간별 핵심 음원을 이용하여 범죄 발생 여부에 대한 상황 분석 결과를 제공하는 분석 서버; 및 상기 상황 분석 결과가 수신되면 상기 비상벨 작동 신호가 발생된 우범 지역을 관할하는 보안 단말에 상기 상황 분석 결과에 근거하여 현장 출동 정보 또는 상황 대처 정보를 제공하는 관제 서버를 포함하는 시스템일 수 있다.

Description

음향 기반의 비상벨 관제 시스템 및 그 방법
본 발명은 비상벨 작동시 음향 정보에 기반하여 현장 상황을 분석하여 신속하고 정확한 범죄 상황 대처가 가능하도록 하는 음향 기반의 비상벨 관제 시스템 및 그 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 일 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
일반적으로, 범죄 예방 시스템은 폭력, 응급 상황 등의 비상 상황 발생 시 신고 및 대응을 할 수 있도록 보안이 취약한 지역에 설치된다. 범죄 예방 시스템 중 방범용 비상벨은 우범 지역과 같이 특정 지역에 설치되어 현장에서 위험상황 발생시 사용자의 조작에 따라 도움을 요청할 수 있는 특정 서버로 신호를 전송하여 관리자가 위험 상황을 감지할 수 있도록 하는 장치이다.
이러한 방범용 비상벨과 같이 설치되는 감시 카메라는 해당 우범 지역의 일측 상부 영역에 설치되어 위험 상황이 발생하는 경우에 관리자가 촬영된 영상을 확인하여 도움을 주거나, 이후 범죄자를 색출하는데 이용되도록 범행 영상을 녹화하는 기능을 수행한다. 여기서, 감시 카메라는 일반적으로 폐쇄회로 텔레비전(CCTV: Closed Circuit Television)이 사용되고 있으나, 고성능의 카메라가 사용되기도 한다.
최근, 화장실 등과 같이 공중의 이용이 가능하면서 외부와의 노출이 차단되는 공간(예를 들어, 실내 공공 장소 등)에서, 폭행, 강도, 성추행, 살인 등의 범죄사고가 빈번하게 발생하고 있고, 이에 따라 실내공공 장소를 이용하는 이용자의 불안감이 점차 증가하고 있다. 특히, 여성의 경우 남성에 비교하여 신체적 능력이 낮기 때문에 실내 공공 장소 이용에 대하여 더욱 큰 불안감 및 부담을 가지게 된다.
이에 따라, 실내 공공 장소에서의 위급상황을 미연에 방지함과 동시에 대처하기 위한 비상경보장치에 대한 다양한 연구가 진행되고 있다. 방범용 비상벨은 설치가 간단하며, 조작이 편리한 장점으로 인해 실제 현장에 설치되고 있으나, 비상벨을 구동시키기 위해서는 위급상황에 처한 당사자가 직접 비상벨이 설치된 위치로 이동하여야만 하고, 물리적인 접촉을 통해서만 비상벨을 누를 수 있기 때문에 실제 위급상황에 처한 당사자가 범죄자의 시야에서 비상벨을 누르기가 어렵고, 강제적으로 비상벨의 동작이 정지될 수 있어 위급 상황에 신속한 대응을 할 수 없다는 문제점이 있다.
이러한 문제점으로 인해, 마이크로폰을 통해 수집된 음향신호의 데시벨 크기를 임계치에 비교하여 위급상황을 감지하도록 하는 음향 기반의 보안 기술이 연구되었으나, 이러한 방식은 위급상황과 무관한 소리에도 반응하기 때문에 오동작 및 에러가 높아 신뢰도가 떨어지는 문제점이 있다.
도 1은 종래 기술의 일 실시예에 따른 음향 기반의 범죄 상황 인지 방법을 설명하는 흐름도이다.
도 1에 도시된 바와 같이, 음향 기반의 보안 기술이 적용된 비상벨 장치에 음향인식모듈이 설치된 경우에, 음향인식모듈은 주로 비언어적인 소리(경고음, 비명, 울음, 주변소리, 동물음 등)를 수집한 후 특정 이벤트 소리(유리 깨지는 소리 등)만을 검출하여 이벤트 발생에 상응하는 알람(유리 깨짐 알림)을 알려주는 것이다. 이러한 음향인식모듈을 포함하는 비상벨 장치는 실내 공공 장소의 잡음에 의하여 음성인식이 정확하게 이루어지지 않아 검지율이 떨어지는 단점을 있다.
최근, 실내 공공 장소에 설치되는 비상벨 장치는 버튼식 비상벨과 음향 인식 모듈이 적용된 비상벨을 함께 사용하고 있으나, 오동작으로 인해 매일 2~3회 정도 방범 담당자(관할 경찰 등)가 비상벨 장치가 설치된 장소로 출동하고 있어 인력 낭비가 발생하고 있다.
실제로, 비상벨 장치로 인한 출동 건수의 85.6%가 취객이나 소음으로 인한 상황이며, 출동 건수의 13.7%가 장난이나 실수로 인한 상황으로서, 99.3%가 실제 범죄 상황이 아닌 비범죄 상황에서의 불필요한 출동이 되고 있다. 이로 인해, 비상벨 장치가 동작하는 장소에 출동한 방범 당당자는 주로 범죄 상황 대처보다는 범죄 발생 여부에 대한 진위 파악을 하고 있는 실정이다.
도 2는 종래 기술의 일 실시예에 따른 비상벨 장치로 인한 범죄 대응 과정을 설명하는 흐름도이다.
도 2에 도시된 바와 같이, 위급 상황 발생시(S11), 비상벨이 작동되어 해당 지역의 비상벨 장치를 관리하는 시스템에서는 비상벨을 통한 위급 상황을 감지하게 된다(S12). 해당 시스템은 초동 인력을 비상벨이 작동한 장소로 투입하고(S13), 초동 인력을 통해 현장 상황을 파악하며(S14), 초동 인력의 상황 보고를 통해 실제로 범죄가 발생한 경우에 대응 인력을 투입한다(S15). 범죄 발생 장소에 투입된 초동 인력 및 대응 인력을 통해 범죄 상황에 대처하게 된다(S16).
이와 같이, 종래에는 비상벨 장치의 동작시 먼저 초동 인력이 출동하여 범죄 발생에 대한 진위 여부를 파악하고, 실제 범죄 상황 발생시 대응 인력이 재출동하여 범죄 상황에 대처하고 있으므로 범죄 대처에 필요한 출동 지연이 발생할 뿐만 아니라 신속한 범죄 대처가 어렵게 되는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 위급상황 발생시 초동 인력의 현장 상황 투입 후에 범죄 상황의 심각성에 따라 대응 인력이 다시 투입 요청됨으로 인해 발생되는 시간적, 비용적, 심적 피로 등에 대한 부담을 감소시키고, 위급한 상황에 처한 대상자에 위급 상황에 대한 조기 인지 및 효과적인 상황 대처 방안을 제공할 수 있도록 하는 것에 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 음향 기반의 비상벨 관제 시스템은 각 우범 지역에 설치되어, 해당 우범 지역 내에서 발생되는 음향 정보를 수집하여 수집된 음향 정보에서 위급 상황에 대한 이벤트를 감지하여 비상벨 작동 신호를 발생하는 비상벨 장치; 상기 비상벨 작동 신호가 수신되면 상기 비상벨 장치로부터 음향 정보를 실시간 수신하고, 상기 음향 정보에서 시간별 핵심 음원을 분류하고, 상기 분류된 시간별 핵심 음원을 이용하여 범죄 발생 여부에 대한 상황 분석 결과를 제공하는 분석 서버; 및 상기 상황 분석 결과가 수신되면 상기 비상벨 작동 신호가 발생된 우범 지역을 관할하는 보안 단말에 상기 상황 분석 결과에 근거하여 현장 출동 정보 또는 상황 대처 정보를 제공하는 관제 서버를 포함하는 것을 특징으로 한다.
이때, 상기 비상벨 장치는 상기 관제 서버에 의해 지정된 고유한 식별 정보를 가지고, 상기 비상벨 작동 신호와 상황 분석 결과는 해당 비상벨 장치의 식별 정보를 포함하는 것을 특징으로 한다.
상기 분석 서버는, 상기 우범 지역별 관할하는 보안 단말의 정보를 저장하고, 상기 상황 분석 결과에 포함된 비상벨 장치의 식별 정보를 이용하여 해당 우범 지역을 관할하는 보안 단말의 정보를 불러와 상기 현장 출동 정보 또는 상황 대처 정보를 전송하는 것을 특징으로 한다.
상기 비상벨 장치는, 상기 우범 지역에 대한 현장 영상을 촬영하는 적어도 하나 이상의 카메라 장치를 더 포함하고, 상기 관제 서버는, 상기 상황 분석 결과와 상기 카메라 장치를 통해 전송받은 현장 영상을 이용하여 시간별로 현장 상황을 기설정된 보안 레벨로 구분하고, 상기 구분된 보안 레벨에 따라 현장 출동 정보 또는 상황 대처 정보를 발생시키는 것을 특징으로 한다.
상기 분석 서버는, 시계열 특성을 갖는 음향 정보에 대해 시간-주파수 도메인에서 상관 관계를 포함하는 유효 특징을 추출하고, 컨볼루션 신경망을 이용하여 상기 추출된 유효 특징을 토대로 적어도 하나 이상의 핵심 음원을 분류하고, 상기 분류된 핵심 음원들을 이용하여 현장 상황에 대한 상황 분석 결과를 예측하는 인공지능 기반의 음향 분석 알고리즘을 수행하는 것을 특징으로 한다.
상기 인공 지능 기반의 음향 분석 알고리즘은, 범죄 상황별 다수의 샘플 음원을 수집하여 학습을 위한 데이터셋으로 저장하는 데이터 수집 모듈; 상기 샘플 음원들을 전처리하고, 상기 전처리가 완료된 데이터에서 청각적 특성을 특징벡터로 추출하고, 상기 추출된 특징 벡터를 이용하여 범죄 상황별 핵심 음원을 분류하기 위한 분류기를 생성하여 학습하는 학습 모듈; 상기 비상벨 장치로부터 음향 정보가 수신되면, 상기 수신된 음향 정보를 전처리하여 특징 벡터를 추출하고, 상기 추출된 특징 벡터에 대하여 상기 학습된 분류기를 이용하여 적어도 하나 이상의 핵심 음원을 분류하는 상황 분석 모듈; 및 상기 분류된 핵심 음원들을 기초로 하여 도출된 범죄 상황에 대한 상황 분석 결과를 예측하는 예측 모듈을 포함하는 것을 특징으로 한다.
또한, 상기 인공 지능 기반의 음향 분석 알고리즘은, 상기 예측 모듈에서 예측된 상황 분석 결과를 기설정된 보안 레벨의 범죄 코드로 분류하고, 상기 분류된 범죄 코드에 따라 출동 시간, 대응 인력, 상황 대응 행동 정보가 다르게 설정되어 상기 현장 출동 정보 또는 상황 대처 정보를 제공하는 코드 분류 모듈을 더 포함하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 음향 기반의 비상벨 관제 방법은, 음향 기반의 비상벨 장치를 이용하는 비상벨 관제 시스템에 의해 수행되는 음향 기반의 비상벨 관제 방법에 있어서, a) 기 설정된 우범 지역에 설치된 비상벨 장치로부터 비상벨 작동 신호가 감지되면, 해당 우범 지역 내에서 발생되는 음향 정보를 수신하는 단계; b) 상기 수신된 음향 정보에서 시간별 핵심 음원을 분류하고, 상기 분류된 시간별 핵심 음원을 이용하여 범죄 발생 여부에 대한 상황 분석 결과를 제공하는 단계; 및 c) 상기 비상벨 작동 신호가 발생된 우범 지역을 관할하는 보안 단말에 상기 상황 분석 결과에 근거하여 현장 출동 정보 또는 상황 대처 정보를 제공하는 단계를 포함하는 것을 특징으로 한다.
상기 b) 단계는, 시계열 특성을 갖는 음향 정보에 대해 시간-주파수 도메인에서 상관 관계를 포함하는 유효 특징을 추출하고, 컨볼루션 신경망을 이용하여 상기 추출된 유효 특징을 토대로 적어도 하나 이상의 핵심 음원을 분류하고, 상기 분류된 핵심 음원들을 이용하여 현장 상황에 대한 상황 분석 결과를 예측하는 인공지능 기반의 음향 분석 알고리즘을 수행하는 것을 특징으로 한다.
상기 인공 지능 기반의 음향 분석 알고리즘은, 범죄 상황별 다수의 샘플 음원을 수집하여 학습을 위한 데이터셋으로 저장하는 데이터 수집 과정; 상기 샘플 음원들을 전처리하고, 상기 전처리가 완료된 데이터에서 청각적 특성을 특징벡터로 추출하고, 상기 추출된 특징 벡터를 이용하여 범죄 상황별 핵심 음원을 분류하기 위한 분류기를 생성하여 학습하는 학습 과정; 상기 비상벨 장치로부터 음향 정보가 수신되면, 상기 수신된 음향 정보를 전처리하여 특징 벡터를 추출하고, 상기 추출된 특징 벡터에 대하여 상기 학습된 분류기를 이용하여 적어도 하나 이상의 핵심 음원을 분류하는 상황 분석 과정; 및 상기 분류된 핵심 음원들을 기초로 하여 도출된 범죄 상황에 대한 상황 분석 결과를 예측하는 예측 과정을 포함하는 것을 특징으로 한다.
상기 인공 지능 기반의 음향 분석 알고리즘은, 상기 예측 과정에서 예측된 상황 분석 결과를 기설정된 보안 레벨의 범죄 코드로 분류하고, 상기 분류된 범죄 코드에 따라 출동 시간, 대응 인력, 상황 대응 행동 정보가 다르게 설정되어 상기 현장 출동 정보 또는 상황 대처 정보를 제공하는 코드 분류 과정을 더 포함하는 것을 특징으로 한다.
한편, 상기 본 발명의 일 실시예에 따른 음향 기반의 비상벨 장치와 연동하여 음향 정보를 분석하는 분석 서버는, 상기 비상벨 장치로부터 상기 비상벨 작동 신호가 수신되면, 상기 비상벨 장치로부터 음향 정보를 실시간 수신하고, 인공지능 기반의 음향 분석 알고리즘을 통해 상기 음향 정보에서 시간별 핵심 음원을 분류하고, 상기 분류된 시간별 핵심 음원을 이용하여 범죄 발생 여부에 대한 상황 분석 결과를 제공하며, 상기 비상벨 장치가 설치된 각 우범 지역을 관할하는 관제 서버와 연동하여, 상기 비상벨 작동 신호가 발생된 우범 지역의 담당 보안 단말에 상기 상황 분석 결과에 근거하여 현장 출동 정보 또는 상황 대처 정보가 전송되도록 하는 것을 특징으로 한다.
전술한 본 발명의 과제 해결 수단에 의하면, 본 발명은 현재 보급 설치되고 있는 모든 비상벨 장치에 적용될 수 있으며, 음향 정보에 기반하여 비상벨 작동시의 범죄 상황을 분류하고, 분류된 범죄 상황에 맞는 효율적인 대응이 이루어지도록 함으로써 비상벨 서비스의 실효성에 대한 사회적 불신과 활용 저하를 방지할 수 있고, 양질의 범죄 안전 관련 서비스 제공과 사회적 안전망에 대한 사회적 신뢰를 고양시킬 수 있다.
또한, 본 발명은 비상벨 장치와 함께 카메라 장치를 활용하여 현장의 영상정보와의 융합 활용을 통해 오인 출동으로 인한 비용 낭비를 최소화할 수 있고, 출동현장에서의 긴밀한 대처를 가능하게 한다.
도 1은 종래 기술의 일 실시예에 따른 음향 기반의 범죄 상황 인지 방법을 설명하는 흐름도이다.
도 2는 종래 기술의 일 실시예에 따른 비상벨 장치로 인한 범죄 대응 과정을 설명하는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 음향 기반의 비상벨 관제 시스템의 구성을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 음향 기반의 비상벨 관제 시스템의 각 구성간 동작 흐름을 설명하는 도면이다.
도 5은 본 발명의 일 실시예에 따른 분석 서버에서 수행되는 인공지능 기반의 음향 분석 알고리즘을 설명하는 도면이다.
도 6은 도 5에 적용되는 CNN의 구성을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 인공 지능 기반의 음향 분석 알고리즘의 상황 분석 결과를 도출하는 과정을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 범죄 상황별 분류된 범죄 코드를 설명하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 음향 기반의 비상벨 관제 방법을 설명하는 순서도이다.
도 10은 본 발명의 일 실시예에 따른 음향 기반의 비상벨 관제 방법에서 인공 지능에 기반한 상황 분석 결과를 도출하는 과정을 설명하는 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 ‘단말’은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트 폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, ‘단말’은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.
무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 음향 기반의 비상벨 관제 시스템의 구성을 설명하는 도면이고, 도 4는 본 발명의 일 실시예에 따른 음향 기반의 비상벨 관제 시스템의 각 구성간 동작 흐름을 설명하는 도면이다.
도 3 및 도 4를 참조하면, 본 발명의 일 실시예에 따른 음향 기반의 비상벨 관제 시스템은 비상벨 장치(100), 분석 서버(200) 및 관제 서버(300)를 포함한다.
비상벨 장치(100)는 각 우범 지역에 설치되어, 해당 우범 지역 내에서 발생되는 음향 정보를 수집하여 수집된 음향 정보에서 위급 상황에 대한 이벤트를 감지하여 비상벨 작동 신호를 발생한다. 이러한 비상벨 장치(100)는 버튼식 비상벨과 소리인식모듈을 포함하는 소리인식 비상벨을 모두 포함할 수 있다.
이러한 비상벨 장치(100)는 음향 수집을 위한 마이크(미도시), 비상벨 작동 신호와 음향 정보를 분석 서버(200)로 전송하기 위한 통신 모듈(미도시), 메모리(미도시), 파손이나 강제 전원 꺼짐시 발생되는 경고장치(미도시), 제어모듈(미도시) 등을 포함할 수 있다.
비상벨 장치(100)는 일정 시간 단위(대략 10초)로 우범 지역(공중 화장실, 버스 정류장 등)에서 발생되는 모든 음향 정보를 버퍼(미도시)에 저장하고, 위급 상황에 대한 이벤트가 감지되면 비상벨 작동신호를 발생시키며, 비상벨 작동신호가 발생되기 이전의 일정 시간 동안 녹음된 음향 정보를 버퍼에서 불러와 비상벨 작동 신호와 함께 분석 서버(200)로 전송한다. 이때, 비상벨 장치(100)는 버퍼에 저장된 음향 정보를 선입선출 방식으로 삭제하여 기설정된 용량이상의 저장 용량을 확보할 수 있다.
분석 서버(200)는 비상벨 장치(100)로부터 비상벨 작동 신호가 수신되면 해당 비상벨 장치(100)로부터 음향 정보를 실시간 수신하고, 음향 정보에서 시간별 핵심 음원을 분류하며, 분류된 시간별 핵심 음원을 이용하여 범죄 발생 여부에 대한 상황 분석 결과를 관제 서버(300)로 제공한다. 이때, 분석 서버(200)는 비상벨 작동 신호가 발생되기 이전에 일정 시간동안 녹음된 음향 정보도 함께 수신하여 분석할 수 있어, 더욱 정확하게 현재 상황을 파악할 수 있다.
관제 서버(300)는 분석 서버(200)로부터 상황 분석 결과가 수신되면 비상벨 작동 신호가 발생된 우범 지역을 관할하는 보안 단말(400)에 상황 분석 결과에 근거하여 현장 출동 정보 또는 상황 대처 정보를 제공한다.
이때, 분석 서버(200) 및 관제 서버(300)는 일반적인 의미의 서버용 컴퓨터 본체일 수 있고, 그 외에 서버 역할을 수행할 수 있는 다양한 형태의 장치로 구현될 수 있다. 구체적으로, 분석 서버(200) 및 관제 서버(300)는 각각 통신 모듈(미도시), 메모리(미도시), 프로세서(미도시) 및 데이터베이스(미도시)를 포함하는 컴퓨팅 장치에 구현될 수 있는데, 일례로 휴대폰이나 TV, PDA, 태블릿 PC, PC, 노트북 PC 및 기타 사용자 단말 장치 등으로 구현될 수 있다.
또한, 보안 단말(400)은 경찰서 또는 타기관과 연계하여 보안 요원의 출동 여부, 범죄 상황 알림 등을 수행하기 위해 무선 통신이 가능한 단말로서, 스마트폰, 태블릿 PC, PC, 노트북 PC 등으로 구현될 수 있다.
비상벨 장치(100)는 관제 서버(300)에 의해 지정된 고유한 식별 정보를 가지고, 비상벨 작동 신호와 상황 분석 결과는 해당 비상벨 장치(100)의 식별 정보를 포함한다. 따라서, 분석 서버(200) 및 관제 서버(300)는 비상벨 장치(100)의 식별 정보를 이용하여 우범 지역을 확인할 수 있고, 우범 지역을 관할하는 보안 단말(400)로 신속히 정보를 전송할 수 있다.
따라서, 분석 서버(200)와 관제 서버(300)는 데이터베이스(210)에 각 비상벨 장치(100)의 식별 정보, 각 우범 지역을 관할하는 보안 단말(400)의 정보를 저장한다.
한편, 비상벨 장치(100)는 우범 지역에 대한 현장 영상을 촬영하는 적어도 하나 이상의 카메라 장치(150)를 더 포함할 수 있다. 예를 들어, 우범 지역이 버스정류장, 지하인도, 건물 옥상이나 건물 계단 등인 경우에 CCTV 등의 카메라 장치(150)를 지하인도, 건물 옥상이나 계단의 일측 상부에 설치하고, 카메라 장치(150)를 통해 현장 상황을 촬영할 수 있다.
관제 서버(300)는 상황 분석 결과가 수신되면, 해당 우범 지역의 카메라 장치(150)를 통해 현장 영상을 실시간 수신하고, 상황 분석 결과를 기초로 하여 현장 영상을 확인하면서 현재 상황을 기설정된 보안 레벨로 구분하고, 구분된 보안 레벨에 따라 현장 출동 정보 또는 상황 대처 정보를 발생시킬 수 있다. 이때, 관제 서버(300)는 실시간 수신되는 현장 영상에 따라 보안 레벨을 수시로 변경할 수 있다.
도 4에 도시된 바와 같이, 비상벨 장치(100)가 공중 화장실에 설치된 경우에, 비상벨 장치(100)에서 범죄상황음향이 감지되면 비상벨 작동 신호와 현재 공중 화장실에서 발생되는 음향 정보를 분석 서버(200)로 실시간 전송한다.
분석 서버(200)는 비상벨 장치(100)로부터 수신되는 음향 정보에 기반하여 현장 상황을 분석하고, 분석된 현장 상황에 대한 범죄 코드를 분류하여 범죄 코드 및 현장 상황에 대한 상황분석결과를 관제 서버(300)에 전송한다.
관제 서버(300)는 상황분석결과에 기초하여 경찰, 소방서, 의료기관, 사설 방범업체 등에 대해 긴급 알람이 가능한 중앙관제시스템과 연동하여 비상벨 작동신호가 발생되고 있는 비상벨 장치(100)가 설치된 공중 화장실로 방범 인원이 출동하여 현장 상황에 대처할 수 있도록 한다.
도 5은 본 발명의 일 실시예에 따른 분석 서버에서 수행되는 인공지능 기반의 음향 분석 알고리즘을 설명하는 도면이고, 도 6은 도 5에 적용되는 CNN의 구성을 설명하는 도면이다.
인공 지능 기반의 음향 분석 알고리즘(500)은 시계열 특성을 갖는 음향 정보에 대해 시간-주파수 도메인에서 상관 관계를 포함하는 유효 특징 벡터를 추출하고, 컨볼루션 신경망을 이용하여 추출된 유효 특징 벡터를 토대로 적어도 하나 이상의 핵심 음원을 분류하는 분류기를 생성하여 학습하고, 학습된 분류기를 이용하여 현장 상황에 대한 상황 분석 결과를 예측한다.
이러한 인공 지능 기반의 음향 분석 알고리즘(500)은 데이터 수집 모듈(510), 학습 모듈(520), 상황 분석 모듈(530), 예측 모듈(540) 및 코드 분류 모듈(550)을 포함하지만 이에 한정되지는 않는다.
데이터 수집 모듈(510)은 범죄 상황별 다수의 샘플 음원을 수집하여 학습 데이터셋으로 데이터베이스(210)에 저장한다.
학습 모듈(520)은 샘플 음원들에 대한 전처리를 수행하고, 전처리가 완료된 학습 데이터에서 청각적 특성을 특징벡터로 추출하고, 추출된 특징 벡터를 이용하여 범죄 상황별 핵심 음원을 분류하기 위한 분류기를 생성하여 학습한다.
상황 분석 모듈(530)은 비상벨 장치(100)로부터 음향 정보가 수신되면, 수신된 음향 정보를 전처리하여 특징 벡터를 추출하고, 추출된 특징 벡터에 대하여 학습된 분류기를 이용하여 적어도 하나 이상의 핵심 음원을 분류한다.
예측 모듈(540)은 분류된 핵심 음원들을 기초로 하여 범죄 상황을 예측하여 상황 분석 결과를 예측한다.
코드 분류 모듈(550)은 예측 모듈(540)에서 예측된 상황 분석 결과를 기설정된 보안 레벨의 범죄 코드로 분류하고, 분류된 범죄 코드에 따라 출동 시간, 대응 인력, 상황 대응 행동 정보가 다르게 설정되어 현장 출동 정보 또는 상황 대처 정보를 제공한다.
상술한 모듈들은 본 발명을 설명하기 위한 일 실시예일 뿐, 이에 한정되지 않고 다양한 변형으로 구현될 수 있다. 또한, 상술한 모듈들은 분석 서버(200)에 의해 제어될 수 있는 컴퓨터로 판독 가능한 기록매체로서 메모리에 저장된다. 또한, 알고리즘(500)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
인공 지능 기반의 음향 분석 알고리즘(500)은 학습 모듈(520) 및 상황 분석 모듈(530)에 CNN을 적용할 수 있지만, CNN 외에도 RNN, YOLO(You Only Look Once), Single Shot Detector(SSD) 등의 다양한 알고리즘을 사용할 수 있다.
CNN은 입력계층, 출력 계층, 입력계층과 출력계층 사이의 여러 은닉 계층으로 구성되고, 각 계층은 해당 데이터만이 갖는 특징을 학습하기 위해 데이터를 변경하는 계산을 수행하는데, 가장 사용되는 계층으로는 컨벌루션, 활성화/ReLU(Rectified Linear Unit), 풀링 등이 있다.
컨벌루션은 각 소리 데이터에서 특정 특징을 활성화하는 컨벌루션 필터 집합에 입력 데이터를 통과시킨다. ReLU는 음수 값을 0에 매핑하고 양수 값을 유지하여 더 빠르고 효과적인 학습을 가능하게 하는데, 활성화된 특징만 다음 계층으로 전달되기 때문에 이 과정을 활성화라 부르기도 한다. 풀링은 비선형 다운샘플링을 수행하고 네트워크에서 학습해야 하는 매개 변수 수를 줄여서 출력을 간소화한다.
이러한 CNN은 학습 모듈(520)에서 주어진 학습 데이터셋을 이용하여 소리 데이터의 패턴 특성을 분석하여 서로 다른 패턴들 구분하기 위한 특징 벡터를 추출하고, 상황 분석 모듈(530)에서 새롭게 주어지는 음향 정보가 어떤 패턴에 해당하는지 분류하고 인식하게 된다. 상황 분석 모듈(530)은 전처리와 특징 추출 과정은 학습 모듈(520)과 동일하게 수행되지만, 추출된 특징벡터에 대하여 학습된 분류기를 이용하여 최종 분석 결과를 예측할 수 있다.
인공 지능 기반의 음향 분석 알고리즘(500)은 여러 가지 알고리즘을 사용해서 음향정보로부터 유효한 특징벡터를 추출하는데, STFT((Short-time Fourier Transform) 알고리즘, 음향 정보에서 시간-주파수 도메인에서 국부적인 상관관계를 내포하는 소리맵(특징 벡터)으로 추출할 수 있고, 가장 널리 쓰이는 MFCC(Mel-Frequency Cepstrum Coefficients)를 이용하여 Mel-spectrum에 기반한 음성 특징을 추출할 수도 있다.
예를 들어, 인공 지능 기반의 음향 분석 알고리즘(500)은 음향 정보에서 음원을 기설정된 단위시간(대략 1초 정도)으로 추출하고, 스펙트로그램으로 변환하여 CNN을 이용하여 스펙트로그램에 기반한 특징벡터를 추출하는데, 이러한 과정을 일정 시간단위로 이동하면서 반복 수행하여 핵심음원을 시간별로 분류할 수 있다.
또는, 인공 지능 기반의 음향 분석 알고리즘(500)은 단위시간을 10초 정도로 설정하여, 주어진 단위시간에서 시간에 따른 핵심음원 분류 및 음향 사건 분석을 수행할 수도 있다.
도 7은 본 발명의 일 실시예에 따른 인공 지능 기반의 음향 분석 알고리즘의 상황 분석 결과를 도출하는 과정을 설명하는 도면이고, 도 8은 본 발명의 일 실시예에 따른 범죄 상황별 분류된 범죄 코드를 설명하는 도면이다.
도 7에 도시된 바와 같이, 인공 지능 기반의 음향 분석 알고리즘(500)은 음향 정보가 수신되면, 음향 정보에서 특징 벡터를 추출하고, 추출된 특징 벡터에 대하여 학습된 분류기(511)를 이용하여 핵심 음원들을 분류한다.
이때, 핵심 음원에는 비명, 고함, 사물의 낙상음, 남자음성(특히 여자화장실의 경우), 협박음성, 흐느낌, 신음소리, 폭행음 등의 하나 이상의 음원들이 포함될 수 있다. 따라서, 상황 분석 모듈(530)에 포함된 현장 상황 분석기(531)는 데이터 수집 모듈(510)을 통해 범죄 상황별로 수집된 핵심 음원들을 이용하여 현장 상황이 어떠한 범죄 상황인지를 파악하고, 코드별 상황 분석기(532)가 범죄 상황에 따라 코드0~코드4로 분류된 범죄 코드를 분류한다.
도 8에 도시된 바와 같이, 범죄 코드는 5개의 보안 레벨(코드0~코드4)로 구분되고, 코드4에서 코드 0으로 갈수록 출동 시간, 출동인원, 상황 대처의 심각성들이 높아짐을 알 수 있다. 예를 들어, 공중 화장실에 비상벨 장치(100)가 설치된 경우에, 분석 서버(200)는 비상벨 작동 신호가 감지되고 공중 화장실 내에서 여자 비명이 감지되면 범죄 코드를 코드0로 분류하고, 관제 서버(300)로 범죄 코드와 범죄 상황(여자 화장실에 남자 출입 상황, 협박에 피해자가 흐느끼는 상황, 폭행하는 상황 등)에 대한 상황 분석 결과를 전송한다. 그러면, 관제 서버(300)는 상황 분석 결과를 통해 범죄 코드가 코드0임을 확인하고, 최단 시간내에 경찰 등의 방범 요원이 출동하고, 피해자의 안전과 가해자의 신속한 검거 등을 위해 구급차, 여성 경찰, 인접 지역의 경찰인력 등의 출동 요소와의 공조 출동 등의 현장 출동 정보 또는 상황 대처 정보를 지시할 수 있다.
도 9는 본 발명의 일 실시예에 따른 음향 기반의 비상벨 관제 방법을 설명하는 순서도이고, 도 10은 본 발명의 일 실시예에 따른 음향 기반의 비상벨 관제 방법에서 인공 지능에 기반한 상황 분석 결과를 도출하는 과정을 설명하는 순서도이다.
도 9를 참조하면, 음향 기반의 비상벨 관제 방법은 비상벨 장치(100)가 설치된 우범 지역에서 위급 상황이 발생하면(S110), 비상벨 장치(100)는 비명, 고함, 신음소리, 파격음, 낙하음 등의 음향 정보를 감지하여 비상벨 작동신호를 발생시킨다.
분석 서버(200)는 비상벨 작동신호가 감지되면 비상벨 장치(100)로부터 음향 정보를 수신하고(S120), 수신된 음향 정보를 인공지능 기반의 음향 분석 알고리즘을 통해 현장 상황을 파악한다(S130).
도 10에 도시된 바와 같이, 분석 서버(200)는 인공지능 기반의 음향 분석 알고리즘을 통해 크게 학습 과정과 예측 과정을 수행한다.
먼저, 학습 과정에서는 웹크롤링이나 경찰청 등과 연계하여 범죄상황별 샘플 음원을 수집하여 학습을 위한 데이터셋을 구성하고(S210), 샘플 음원에 대한 전처리를 수행한 후 특징 벡터를 추출한다(S220). 추출된 특징 벡터를 이용하여 범죄 상황별 핵심 음원을 분류하기 위한 분류기를 생성하여 학습한다(S230).
예측 과정에서는 비상벨 장치(100)로부터 음향 정보가 수신되면(S310), 음향 정보에서 특징 벡터를 추출하고(S320), 추출된 특징 벡터에 대하여 학습된 분류기를 이용하여 적어도 하나 이상의 핵심 음원을 분류하며(S330), 분류된 핵심 음원을 이용하여 범죄 상황을 파악하여 상황 분석 결과를 출력한다(S340).
다시 도 9를 설명하면, 분석 서버(200)는 현장 상황에 따라 범죄 코드를 분류하고, 분류된 범죄 코드와 범죄 상황, 비상벨 장치(100)의 식별 정보를 포함하는 상황 분석 결과를 관제 서버(300)로 전송한다.
관제 서버(300)는 상황 분석 결과를 분석하여 범죄 코드에 따라 대응 인력을 현장에 투입시키기 위한 현장 출동 정보와 상황 대처 정보를 생성하여 보안 단말(400)에 전송한다(S140). 현장 출동 정보와 상황 대처 정보를 수신한 보안 단말(400)을 통해 방범 요원이 비상벨 장치(100)의 식별 정보를 통해 우범 지역을 확인하여 해당 우범 지역에 출동하여 상황에 대처하게 된다(S150).
한편 도 9 및 도 10의 각 단계들은 본 발명의 구현예에 따라서 추가적인 단계들로 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계간의 순서가 변경될 수도 있다.
이상에서 설명한 본 발명의 실시예에 따른 음향 기반의 비상벨 관제 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 특허는 2020년도 대한민국 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구 결과이다(과제 고유번호: 1711116987, 과제명: 인공지능을 이용한 음향기반 위급상황 분석 비상벨 관제 시스템 개발).

Claims (12)

  1. 각 우범 지역에 설치되어, 해당 우범 지역 내에서 발생되는 음향 정보를 수집하여 수집된 음향 정보에서 위급 상황에 대한 이벤트를 감지하여 비상벨 작동 신호를 발생하는 비상벨 장치;
    상기 비상벨 작동 신호가 수신되면 상기 비상벨 장치로부터 음향 정보를 실시간 수신하고, 상기 음향 정보에서 시간별 핵심 음원을 분류하고, 상기 분류된 시간별 핵심 음원을 이용하여 범죄 발생 여부에 대한 상황 분석 결과를 제공하는 분석 서버; 및
    상기 상황 분석 결과가 수신되면 상기 비상벨 작동 신호가 발생된 우범 지역을 관할하는 보안 단말에 상기 상황 분석 결과에 근거하여 현장 출동 정보 또는 상황 대처 정보를 제공하는 관제 서버를 포함하는 것을 특징으로 하는 음향 기반의 비상벨 관제 시스템.
  2. 제1항에 있어서,
    상기 비상벨 장치는 상기 관제 서버에 의해 지정된 고유한 식별 정보를 가지고,
    상기 비상벨 작동 신호와 상황 분석 결과는 해당 비상벨 장치의 식별 정보를 포함하는 것을 특징으로 하는 음향 기반의 비상벨 관제 시스템.
  3. 제2항에 있어서,
    상기 분석 서버는,
    우범 지역별 관할하는 보안 단말의 정보를 저장하고,
    상기 상황 분석 결과에 포함된 비상벨 장치의 식별 정보를 이용하여 해당 우범 지역을 관할하는 보안 단말의 정보를 불러와 상기 현장 출동 정보 또는 상황 대처 정보를 전송하는 것을 특징으로 하는 음향 기반의 비상벨 관제 시스템.
  4. 제1항에 있어서,
    상기 비상벨 장치는,
    상기 우범 지역에 대한 현장 영상을 촬영하는 적어도 하나 이상의 카메라 장치를 더 포함하고,
    상기 관제 서버는, 상기 상황 분석 결과와 상기 카메라 장치를 통해 전송받은 현장 영상을 이용하여 시간별로 현장 상황을 기설정된 보안 레벨로 구분하고, 상기 구분된 보안 레벨에 따라 현장 출동 정보 또는 상황 대처 정보를 발생시키는 것을 특징으로 하는 음향 기반의 비상벨 관제 시스템.
  5. 제1항에 있어서,
    상기 분석 서버는,
    시계열 특성을 갖는 음향 정보에 대해 시간-주파수 도메인에서 상관 관계를 포함하는 유효 특징을 추출하고, 컨볼루션 신경망을 이용하여 상기 추출된 유효 특징을 토대로 적어도 하나 이상의 핵심 음원을 분류하고, 상기 분류된 핵심 음원들을 이용하여 현장 상황에 대한 상황 분석 결과를 예측하는 인공지능 기반의 음향 분석 알고리즘을 수행하는 것을 특징으로 하는 음향 기반의 비상벨 관제 시스템.
  6. 제5항에 있어서,
    상기 인공 지능 기반의 음향 분석 알고리즘은,
    범죄 상황별 다수의 샘플 음원을 수집하여 학습을 위한 데이터셋으로 저장하는 데이터 수집 모듈;
    상기 샘플 음원들을 전처리하고, 상기 전처리가 완료된 데이터에서 청각적 특성을 특징벡터로 추출하고, 상기 추출된 특징 벡터를 이용하여 범죄 상황별 핵심 음원을 분류하기 위한 분류기를 생성하여 학습하는 학습 모듈;
    상기 비상벨 장치로부터 음향 정보가 수신되면, 상기 수신된 음향 정보를 전처리하여 특징 벡터를 추출하고, 상기 추출된 특징 벡터에 대하여 상기 학습된 분류기를 이용하여 적어도 하나 이상의 핵심 음원을 분류하는 상황 분석 모듈; 및
    상기 분류된 핵심 음원들을 기초로 하여 도출된 범죄 상황에 대한 상황 분석 결과를 예측하는 예측 모듈을 포함하는 것을 특징으로 하는 음향 기반의 비상벨 관제 시스템.
  7. 제6항에 있어서,
    상기 인공 지능 기반의 음향 분석 알고리즘은,
    상기 예측 모듈에서 예측된 상황 분석 결과를 기설정된 보안 레벨의 범죄 코드로 분류하고, 상기 분류된 범죄 코드에 따라 출동 시간, 대응 인력, 상황 대응 행동 정보가 다르게 설정되어 상기 현장 출동 정보 또는 상황 대처 정보를 제공하는 코드 분류 모듈을 더 포함하는 것을 특징으로 하는 음향 기반의 비상벨 관제 시스템.
  8. 음향 기반의 비상벨 장치를 이용하는 비상벨 관제 시스템에 의해 수행되는 음향 기반의 비상벨 관제 방법에 있어서,
    a) 기 설정된 우범 지역에 설치된 비상벨 장치로부터 비상벨 작동 신호가 감지되면, 해당 우범 지역 내에서 발생되는 음향 정보를 수신하는 단계;
    b) 상기 수신된 음향 정보에서 시간별 핵심 음원을 분류하고, 상기 분류된 시간별 핵심 음원을 이용하여 범죄 발생 여부에 대한 상황 분석 결과를 제공하는 단계; 및
    c) 상기 비상벨 작동 신호가 발생된 우범 지역을 관할하는 보안 단말에 상기 상황 분석 결과에 근거하여 현장 출동 정보 또는 상황 대처 정보를 제공하는 단계를 포함하는 것을 특징으로 하는 음향 기반의 비상벨 관제 방법.
  9. 제8항에 있어서,
    상기 b) 단계는,
    시계열 특성을 갖는 음향 정보에 대해 시간-주파수 도메인에서 상관 관계를 포함하는 유효 특징을 추출하고, 컨볼루션 신경망을 이용하여 상기 추출된 유효 특징을 토대로 적어도 하나 이상의 핵심 음원을 분류하고, 상기 분류된 핵심 음원들을 이용하여 현장 상황에 대한 상황 분석 결과를 예측하는 인공지능 기반의 음향 분석 알고리즘을 수행하는 것을 특징으로 하는 음향 기반의 비상벨 관제 방법.
  10. 제9항에 있어서,
    상기 인공 지능 기반의 음향 분석 알고리즘은,
    범죄 상황별 다수의 샘플 음원을 수집하여 학습을 위한 데이터셋으로 저장하는 데이터 수집 과정;
    상기 샘플 음원들을 전처리하고, 상기 전처리가 완료된 데이터에서 청각적 특성을 특징벡터로 추출하고, 상기 추출된 특징 벡터를 이용하여 범죄 상황별 핵심 음원을 분류하기 위한 분류기를 생성하여 학습하는 학습 과정;
    상기 비상벨 장치로부터 음향 정보가 수신되면, 상기 수신된 음향 정보를 전처리하여 특징 벡터를 추출하고, 상기 추출된 특징 벡터에 대하여 상기 학습된 분류기를 이용하여 적어도 하나 이상의 핵심 음원을 분류하는 상황 분석 과정; 및
    상기 분류된 핵심 음원들을 기초로 하여 도출된 범죄 상황에 대한 상황 분석 결과를 예측하는 예측 과정을 포함하는 것을 특징으로 하는 음향 기반의 비상벨 관제 방법.
  11. 제10항에 있어서,
    상기 인공 지능 기반의 음향 분석 알고리즘은,
    상기 예측 과정에서 예측된 상황 분석 결과를 기설정된 보안 레벨의 범죄 코드로 분류하고, 상기 분류된 범죄 코드에 따라 출동 시간, 대응 인력, 상황 대응 행동 정보가 다르게 설정되어 상기 현장 출동 정보 또는 상황 대처 정보를 제공하는 코드 분류 과정을 더 포함하는 것을 특징으로 하는 음향 기반의 비상벨 관제 방법.
  12. 음향 기반의 비상벨 장치와 연동하여 음향 정보를 분석하는 분석 서버에 있어서,
    상기 비상벨 장치로부터 비상벨 작동 신호가 수신되면, 상기 비상벨 장치로부터 음향 정보를 실시간 수신하고, 인공지능 기반의 음향 분석 알고리즘을 통해 상기 음향 정보에서 시간별 핵심 음원을 분류하고, 상기 분류된 시간별 핵심 음원을 이용하여 범죄 발생 여부에 대한 상황 분석 결과를 제공하며,
    상기 비상벨 장치가 설치된 각 우범 지역을 관할하는 관제 서버와 연동하여, 상기 비상벨 작동 신호가 발생된 우범 지역의 담당 보안 단말에 상기 상황 분석 결과에 근거하여 현장 출동 정보 또는 상황 대처 정보가 전송되도록 하되,
    상기 인공지능 기반의 음향 분석 알고리즘은, 시계열 특성을 갖는 음향 정보에 대해 시간-주파수 도메인에서 상관 관계를 포함하는 유효 특징을 추출하고, 컨볼루션 신경망을 이용하여 상기 추출된 유효 특징을 토대로 적어도 하나 이상의 핵심 음원을 분류하고, 상기 분류된 핵심 음원들을 이용하여 현장 상황에 대한 상황 분석 결과를 예측하는 것을 특징으로 하는 분석 서버.
PCT/KR2020/016613 2020-11-12 2020-11-23 음향 기반의 비상벨 관제 시스템 및 그 방법 WO2022102839A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0151086 2020-11-12
KR1020200151086A KR102579572B1 (ko) 2020-11-12 2020-11-12 음향 기반의 비상벨 관제 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
WO2022102839A1 true WO2022102839A1 (ko) 2022-05-19

Family

ID=81454870

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/016613 WO2022102839A1 (ko) 2020-11-12 2020-11-23 음향 기반의 비상벨 관제 시스템 및 그 방법

Country Status (3)

Country Link
US (1) US11869532B2 (ko)
KR (1) KR102579572B1 (ko)
WO (1) WO2022102839A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102573461B1 (ko) 2023-05-18 2023-09-06 주식회사 디앤샤인 스마트 인공지능 다기능 비상벨 시스템 및 이의 제어방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180093596A (ko) * 2017-02-14 2018-08-22 주식회사 케이에스디 비명인식 기반 안전감지센서
WO2019166296A1 (en) * 2018-02-28 2019-09-06 Robert Bosch Gmbh System and method for audio event detection in surveillance systems
KR20190118431A (ko) * 2018-04-10 2019-10-18 한국전자통신연구원 위험상황 알림 장치 및 방법
US20200120199A1 (en) * 2019-08-06 2020-04-16 Lg Electronics Inc. Method of providing notification according to surrounding situation of intelligent terminal and device for the same
KR102148378B1 (ko) * 2020-01-22 2020-08-26 강태욱 기계 학습 모델을 이용한 관심 이벤트의 알림 제공 장치 및 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070183604A1 (en) * 2006-02-09 2007-08-09 St-Infonox Response to anomalous acoustic environments
US8666031B2 (en) * 2007-02-07 2014-03-04 City24/7 System and method for citizen requests for assistance
US10014003B2 (en) * 2015-10-12 2018-07-03 Gwangju Institute Of Science And Technology Sound detection method for recognizing hazard situation
US10102732B2 (en) * 2016-06-28 2018-10-16 Infinite Designs, LLC Danger monitoring system
US10380863B2 (en) * 2017-04-03 2019-08-13 Oneevent Technologies, Inc. System and method for monitoring a building
US20210097827A1 (en) * 2017-08-28 2021-04-01 Blue Systems A.Y. Ltd Systems and methods for alerting disaster events
US20190180735A1 (en) * 2017-12-13 2019-06-13 Florida Power & Light Company Ambient sound classification based message routing for local security and remote internet query systems
US10978050B2 (en) * 2018-02-20 2021-04-13 Intellivision Technologies Corp. Audio type detection
US20200118418A1 (en) * 2018-10-11 2020-04-16 Toyota Motor North America, Inc. Sound monitoring and reporting system
US20200302951A1 (en) * 2019-03-18 2020-09-24 Wave2Cloud LLC Activity recognition system for security and situation awareness
WO2021001998A1 (ja) * 2019-07-04 2021-01-07 日本電気株式会社 音モデル生成装置、音モデル生成方法、および記録媒体
US11395124B2 (en) * 2020-05-06 2022-07-19 Kant AI Solutions LLC Artificial intelligence for emergency assistance
US11538332B2 (en) * 2021-03-31 2022-12-27 RapidDeploy, Inc. Enhanced situational awareness for emergency response

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180093596A (ko) * 2017-02-14 2018-08-22 주식회사 케이에스디 비명인식 기반 안전감지센서
WO2019166296A1 (en) * 2018-02-28 2019-09-06 Robert Bosch Gmbh System and method for audio event detection in surveillance systems
KR20190118431A (ko) * 2018-04-10 2019-10-18 한국전자통신연구원 위험상황 알림 장치 및 방법
US20200120199A1 (en) * 2019-08-06 2020-04-16 Lg Electronics Inc. Method of providing notification according to surrounding situation of intelligent terminal and device for the same
KR102148378B1 (ko) * 2020-01-22 2020-08-26 강태욱 기계 학습 모델을 이용한 관심 이벤트의 알림 제공 장치 및 방법

Also Published As

Publication number Publication date
US20220148616A1 (en) 2022-05-12
KR20220064702A (ko) 2022-05-19
US11869532B2 (en) 2024-01-09
KR102579572B1 (ko) 2023-09-18

Similar Documents

Publication Publication Date Title
CN104966344B (zh) 一种基于视频的安防门禁系统
KR101841882B1 (ko) 무인방범 시스템 및 방법
US20220092903A1 (en) Scalable systems and methods for monitoring and concierge service
KR101765722B1 (ko) 인지형 차량 및 인상착의 객체 및 이벤트 인식, 추적, 검색, 예측을 위한 나레이티브 보고서 작성 시스템 및 방법
CN108009488A (zh) 基于行为分析的街道安全联防系统
WO2016099084A1 (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
KR102488741B1 (ko) 현장 상황 식별성이 향상된 비상벨 시스템
CN109472895A (zh) 一种安防综合应用管理系统及其管理实现方法
KR20180118979A (ko) 다중로그 데이터 기반의 공공안전 위험상황 감지, 예측, 대응 방법 및 장치
WO2022102839A1 (ko) 음향 기반의 비상벨 관제 시스템 및 그 방법
KR102084687B1 (ko) 불법촬영 보안 관제 서비스 제공 방법 및 그 시스템
JP2020129215A (ja) 危険度判別プログラム及びシステム
WO2023022429A1 (ko) 딥러닝 기반 비식별화 데이터 분석을 통한 이상행동감지 시스템
KR20230147579A (ko) 비식별 데이터를 이용한 딥러닝 기반 이상행동 탐지 시스템
CN113222221A (zh) 公共安全风险预警系统和方法
CN115762046A (zh) 一种建筑物顶部轻生者预警与干预装置
KR20200104548A (ko) 안전 블록을 구비한 위험상황 알림 시스템
WO2022153496A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2007223691A (ja) エレベータシステム
CN105453149A (zh) 犯罪证据提供器兼辅助搜索器
KR102641750B1 (ko) 몰래 카메라 탐지 기능을 갖는 비상벨 시스템
KR20140111718A (ko) 모니터링 자동 포착기능이 구비된 보안 시스템 및 그 보안 처리방법
KR100803951B1 (ko) 직원사칭 가정 출입 범죄 예방을 위한 ｒｆｉｄ 보안장치
CN111489276A (zh) 人员管理方法及相关装置
JP2020129358A (ja) 危険度判別プログラム及びシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20961709

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20961709

Country of ref document: EP

Kind code of ref document: A1