KR101893945B1 - System for safety management using biometric information and voice information - Google Patents
System for safety management using biometric information and voice information Download PDFInfo
- Publication number
- KR101893945B1 KR101893945B1 KR1020170099464A KR20170099464A KR101893945B1 KR 101893945 B1 KR101893945 B1 KR 101893945B1 KR 1020170099464 A KR1020170099464 A KR 1020170099464A KR 20170099464 A KR20170099464 A KR 20170099464A KR 101893945 B1 KR101893945 B1 KR 101893945B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- feature parameter
- module
- safety management
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
Abstract
Description
본 발명은 생체 및 음성정보를 이용한 안전관리 시스템에 관한 것으로서, 상세하게로는 유저(User)의 생체정보, 주변 환경의 음성정보, 유저의 위치정보를 분석 및 활용하여 유저에게 돌발 상황이 발생되었는지를 판단함과 동시에 돌발 상황 발생 시 신속한 대처가 이루어지도록 하는 생체 및 음성정보를 이용한 안전관리 시스템에 관한 것이다.The present invention relates to a safety management system using biometric and voice information. More specifically, the present invention relates to a system and method for analyzing biometric information of a user, voice information of a surrounding environment, and location information of a user, And a safety management system using biometric information and voice information to promptly cope with an unexpected event.
통신 인프라가 확장되고 전자디바이스 산업이 발달함에 따라 유저(사용자)에 관련된 정보를 수집한 후 수집된 정보를 분석하여 유저의 상태를 관리 및 모니터링 하기 위한 다양한 어플리케이션이 널리 사용되고 있다.As the communication infrastructure has expanded and the electronic device industry has developed, various applications for collecting information related to users (users) and analyzing collected information to manage and monitor the status of users have been widely used.
특히 최근 들어 건강, 안전 및 의료에 대한 관심이 급증함에 따라 유저의 상태를 실시간으로 모니터링 및 관리하기 위한 안전 관리 시스템에 대한 다양한 연구가 진행되고 있다.Especially, as the interest in health, safety, and medical care has rapidly increased, various researches have been conducted on a safety management system for monitoring and managing the status of the user in real time.
도 1은 국내등록특허 제10-1422234호(발명의 명칭 : 생체정보 및 GPS 정보를 활용한 긴급상황 통보시스템)에 개시된 긴급상황 통보시스템을 나타내는 블록도이다.1 is a block diagram showing an emergency notification system disclosed in Korean Patent No. 10-1422234 (entitled: Emergency notification system using biometric information and GPS information).
도 1의 긴급상황 통보시스템(이하 종래기술이라고 함)(100)은 별도의 이동통신단말기와 무선으로 데이터를 주고받기 위한 무선통신부(141)와, 가정용 전원으로 충전하고 소정 레벨로 강하시킨 전원을 공급하기 위해 충전된 전원을 방전하는 배터리부(142)와, "도와주세요."와 같은 구조요청음성, 호루라기소리, 사이렌소리 등에서 사용자가 사전에 미리 선택한 음성데이터를 출력하는 음성출력부(143)와, 심장 박동수, 맥박 박동수, 체온수치, 진동 수치를 비롯한 각종 생체정보를 인식하고 생체정보가 사전에 미리 설정된 기준치 이상인지 여부를 판단하는 생체인식부(144)와, 사용자의 필기체를 입력받아서 이를 인식하고 사용자가 입력하는 버튼입력을 인식하는 데이터입력부(145)를 포함한다.The
또한 종래기술(100)은 긴급상황이 발생할 때 사전에 미리 설정된 연락처로 구조요청 문자메시지를 발신하는 문자발신기(146)와, 긴급상황이 발생할 때 사전에 미리 설정된 연락처로 전화를 걸어서 구조요청 음성데이터를 전화로 발신하는 전화발신기(147)와, 기기의 모션을 인식하여 사전에 미리 설정된 모션별 기능을 수행하는 모션(motion)인식부(148)를 더 포함한다.In addition, the
또한 종래기술(100)은 외부로 전송하여야 할 정보를 전기신호로 변환시키는 신호변환부(149)와, 외부로 전송하여야 할 정보를 증폭시키는 신호증폭부(152)와, 자동 페어링을 지원하고 외부의 스마트폰 또는 휴대폰과의 블루투스 무선데이터 통신을 위한 블루투스모듈(150)과, GPS위성과의 데이터통신으로 현재 위치를 파악하는 GPS모듈(151)을 더 포함한다.The
이와 같이 구성되는 종래기술(100)은 사용자의 손목에 착용 가능한 팔찌 형태로 구성되어 휴대 및 소지가 용이하며, 심박, 맥박, 체온, 진동 등의 생체정보 중 어느 하나가 사전에 미리 설정된 기준치를 초과하는 경우 사전에 미리 설정된 보호자에게 즉시 연락할 수 있기 때문에 긴급상황에 대한 신속한 대응이 이루어질 수 있는 장점을 갖는다.The
통상적으로 긴급상황을 판단할 수 있는 유용한 정보로는, 종래기술(100)에서와 같은 생체정보 뿐만 아니라 음성정보 또한 긴급상황을 판별할 수 있는 매우 유용한 정보로 활용될 수 있으나, 종래기술(100)은 단순히 생체정보만을 이용하여 긴급상황을 판단하기 때문에 긴급상황 판단에 대한 정확성 및 신뢰도가 현저히 떨어지는 구조적 한계를 갖는다.Conventionally, as useful information for determining an emergency, not only biometric information as in the
이때 만약 종래기술(100)에 공지된 음성인식기술을 적용한다고 가정하더라도, 종래의 음성인식기술은 노이즈(잡음)가 많은 야외에서 음성을 정확하게 인식하기가 어려워 인식률이 떨어지는 문제점이 발생한다.At this time, even if it is assumed that the speech recognition technology known in the
또한 종래기술(100)은 긴급상황 발생 시 단순히 보호자에게 문자를 보내거나 또는 음성을 출력하는 방식으로 긴급상황에 대한 대응이 이루어지기 때문에 보호자가 사용자와 원거리에 위치하는 경우 대응이 지체되어 신속한 대처가 이루어지지 않는 단점을 갖는다.In addition, since the prior art (100) responds to an emergency situation by simply sending a text to a guardian or outputting a voice when an emergency occurs, when the guardian is located at a remote place with the user, the correspondence is delayed, It is not accomplished.
본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 휴대단말기에 설치되는 안전관리 어플리케이션이 사용자의 생체정보, 음성정보 및 위치정보를 종합적으로 분석 및 활용하여 사용자에게 돌발 상황이 발생하였는지를 판단하도록 구성됨으로써 판단의 정확성 및 신뢰도를 획기적으로 높일 수 있는 안전관리 시스템을 제공하기 위한 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide a safety management application installed in a mobile terminal that comprehensively analyzes and utilizes biometric information, voice information and positional information of a user, And to provide a safety management system capable of dramatically increasing the accuracy and reliability of judgment.
또한 본 발명의 다른 해결과제는 안전관리 어플리케이션이 수집된 음향데이터의 데시벨의 크기를 통해 돌발 상황 발생 여부를 판단함과 동시에 수집된 음향데이터의 음성인식을 통해 돌발 상황 발생여부를 판단하되, 단일 음성 인식 알고리즘만을 이용하여 음성을 인식하는 것이 아니라, 각기 다른 복수개의 음성 인식 알고리즘들을 이용하여 음성인식을 수행하도록 구성됨으로써 노이즈(잡음)가 많은 야외에서도 음성을 정확하게 인식할 수 있는 안전관리 시스템을 제공하기 위한 것이다.According to another aspect of the present invention, a safety management application determines whether an unexpected situation occurs through a size of a decibel of collected sound data, and determines whether an unexpected situation occurs through voice recognition of collected sound data. The present invention provides a safety management system capable of correctly recognizing a voice even in an outdoor environment where there are many noises (noises) by constructing voice recognition using a plurality of different voice recognition algorithms instead of recognizing voice using only a recognition algorithm .
또한 본 발명의 또 다른 해결과제는 안전관리 어플리케이션이 사용자의 현재 GPS위치정보와, 관리서버로부터 전송받은 안전맵을 비교하여 사용자가 우범지역으로 설정된 위치에 인접한 경우 경고상황 발생데이터를 생성하여 표출함으로써 사용자가 위급한 상황을 사전에 예방할 수 있는 안전관리 시스템을 제공하기 위한 것이다.In another aspect of the present invention, the safety management application compares the current GPS position information of the user with the safety map transmitted from the management server, and generates and displays warning situation occurrence data when the user is adjacent to a location set as a superior area And to provide a safety management system in which a user can prevent an emergency in advance.
또한 본 발명의 또 다른 해결과제는 안전관리 어플리케이션이 사용자의 현재 시간대와, 기 설정된 우범시간대를 비교하여 현재 시간이 우범시간대로 진입하면, 경고상황 발생데이터를 생성하여 표출함으로써 돌발 상황을 사전에 효율적으로 방지할 수 있는 안전관리 시스템을 제공하기 위한 것이다.Yet another object of the present invention is to provide a security management system and a security management system in which when a safety management application compares a current time zone of a user with a predetermined priority time zone and generates a warning situation occurrence data when the current time enters a superior time zone, And to provide a safety management system capable of preventing a malfunction of the safety management system.
또한 본 발명의 또 다른 해결과제는 안전관리 어플리케이션에 의해 돌발 상황이 발생되었다고 판단되면, 관리서버가 사용자의 위치를 지속적으로 추적함과 동시에 경찰청 서버로 이를 신속하게 알리고, 보호자의 단말기로 이러한 정보를 전송함으로써 돌발 상황에 대한 신속한 대처가 이루어질 수 있는 안전관리 시스템을 제공하기 위한 것이다.Further, according to another aspect of the present invention, when it is determined that an unexpected situation has occurred by the safety management application, the management server continuously keeps track of the user's location, promptly notifies the police server of the location, The present invention provides a safety management system capable of promptly coping with an unexpected situation by transmitting the safety management system.
또한 본 발명에 의하면 관리서버는 돌발 상황 발생 시 해당 사용자의 현재 위치로부터 가장 인접한 위치에 있는 안전관리 어플리케이션으로 돌발 상황이 발생된 위치 및 관련 정보를 포함하는 돌발상황 발생데이터를 전송함으로써 돌발 상황 대처에 대한 신속성을 극대화시킬 수 있는 안전관리 시스템을 제공하기 위한 것이다.According to the present invention, when an unexpected event occurs, the management server transmits an unexpected situation occurrence data including a location where the unexpected situation occurred and related information to the safety management application located at the closest position from the current position of the corresponding user, And to provide a safety management system capable of maximizing the promptness of the user.
상기 과제를 해결하기 위한 본 발명의 해결수단은 사용자의 신체에 장착되어 생체신호를 측정하는 적어도 하나 이상의 센서와, 상기 센서에 의해 측정된 생체정보를 외부로 전송하는 제어기를 포함하는 웨어러블 장치; 상기 사용자가 소지한 단말기이며, 상기 웨어러블 장치로부터 전송받은 생체정보를 분석하는 응용 프로그램인 안전관리 어플리케이션이 설치되는 휴대단말기; 관리서버를 포함하고, 상기 안전관리 어플리케이션은 상기 웨어러블 장치에 의해 측정된 생체정보를 분석하는 생체신호 분석부; 기 설정된 임계범위와 비교하여 생체정보가 임계범위를 벗어나는 경우, 상기 사용자에게 돌발 상황이 발생될 수도 있다는 예측정보를 생성하며, 기 설정된 주기 동안 생성된 예측정보의 수량(N)을 산출한 후 산출된 예측정보 수량(N)을 기 설정된 설정값(TH:Threshold)에 비교하여 산출된 예측정보 수량(N)이 설정값(TH)을 초과하는 경우 사용자에게 돌발 상황이 발생하였다고 최종 판단하며, 현재 GPS위치정보 및 돌발 상황에 관련된 내용정보를 포함하는 돌발상황 발생데이터를 생성하는 돌발상황 관리부를 더 포함하고, 상기 휴대단말기는 음향을 수집하는 마이크를 더 포함하고, 상기 안전관리 어플리케이션은 상기 마이크에 의해 수집된 음향데이터의 데시벨을 검출하는 데시벨 분석부; 상기 마이크에 의해 수집된 음향데이터를 분석하여 음성을 인식하는 음성인식부를 더 포함하고, 상기 돌발 상황 관리부는 상기 데시벨 분석부에 의해 검출된 데시벨을 임계치와 비교하여 검출된 데시벨이 임계치를 초과하는 경우 예측정보를 생성하며, 상기 음성인식부에 의해 인식된 단어가 기 설정된 참조문구들 중 어느 하나인 경우 예측정보를 생성하고, 상기 음성인식부는 기 설정된 제1 음성인식 알고리즘을 이용하여 음향데이터를 분석하는 제1 음성분석모듈; 상기 제1 음성분석모듈에 의해 분석된 결과데이터로부터 특징벡터를 추출한 후 추출된 특징벡터를 이용하여 제1 특징파라미터를 검출하는 제1 특징파라미터 검출모듈; 기 설정된 제2 음성인식 알고리즘을 이용하여 음향데이터를 분석하는 제2 음성분석모듈; 상기 제2 음성분석모듈에 의해 분석된 결과데이터로부터 특징벡터를 추출한 후 추출된 특징벡터를 이용하여 제2 특징파라미터를 검출하는 제2 특징파라미터 검출모듈; 기 설정된 제3 음성인식 알고리즘을 이용하여 음향데이터를 분석하는 제3 음성분석모듈; 상기 제3 음성분석모듈에 의해 분석된 결과데이터로부터 특징벡터를 추출한 후 추출된 특징벡터를 이용하여 제3 특징파라미터를 검출하는 제3 특징파라미터 검출모듈; 상기 제1 특징파라미터 검출모듈 및 상기 제2 특징파라미터 검출모듈에 의해 검출된 제1 특징파라미터 및 제2 특징파라미터의 차이값(d1)과, 상기 제2 특징파라미터 검출모듈 및 상기 제3 특징파라미터 검출모듈에 의해 검출된 제2 특징파라미터 및 제3 특징파라미터의 차이값(d2)과, 제1 특징파라미터 검출모듈 및 상기 제3 특징파라미터 검출모듈에 의해 검출된 제1 특징파라미터 및 제3 특징파라미터의 차이값(d3)을 산출한 후 산출된 차이값(d1), (d2), (d3)들 각각을 기 설정된 임계치와 비교하며, 만약 차이값(d1), (d2), (d3)들이 임계치 이내이거나 또는 차이값(d1), (d2), (d3)들 중 어느 하나가 임계치를 초과하면 차이값(d1), (d2), (d3)들의 평균값을 최종 결정하고, 만약 차이값(d1), (d2), (d3)들 중 2개가 임계치를 초과하면 남은 한 개의 차이값을 특징파라미터로 최종 결정하는 특징파라미터 판별모듈; 상기 특징파라미터 판별모듈에 의해 결정된 특징파라미터와, 자음 및 모음으로 생성될 수 있는 음절들인 기 설정된 비교모델들의 특징파라미터들 각각의 유사도를 산출한 후 유사도가 임계치 이상인 비교모델을 해당 음절로 검출하는 음절비교모듈; 상기 음절비교모듈로부터 입력된 음절들을 합쳐 음성단어를 결정하는 단어검출모듈을 더 포함하고, 상기 돌발상황 관리부는 상기 음성인식부로부터 입력된 음성단어와, 상기 참조문구들 각각의 연관관계를 검출한 후 검출된 연관관계가 임계치를 초과하는 경우 입력된 음성단어를 해당 참고문구로 결정한 후 예측정보를 생성하고, 상기 관리서버는 상기 안전관리 어플리케이션으로부터 돌발상황 발생데이터를 전송받으면, 해당 사용자의 현재GPS정보 및 현재 구동 중인 안전관리 어플리케이션의 GPS정보를 이용하여 해당 사용자의 위치로부터 가장 인접한 위치의 안전관리 어플리케이션으로 돌발상황 발생데이터를 전송하는 것이다.According to an aspect of the present invention, there is provided a wearable device including: a wearable device including at least one sensor mounted on a user's body for measuring a bio-signal, and a controller for transmitting biometric information measured by the sensor to the outside; A mobile terminal in which a safety management application is installed as an application program for analyzing biometric information transmitted from the wearable device; And a management server, wherein the safety management application includes: a bio-signal analyzer for analyzing bio-information measured by the wearable device; Generates prediction information indicating that an unexpected situation may occur to the user when the biometric information is out of the threshold range as compared with a preset threshold range, calculates the number (N) of prediction information generated during a predetermined period, When the predicted information quantity N calculated by comparing the predicted information quantity N with the preset threshold value TH is greater than the preset value TH, the user is finally determined that an unexpected situation has occurred, Further comprising an unexpected situation management unit for generating an unexpected situation occurrence data including GPS position information and contents information related to an unexpected situation, wherein the portable terminal further includes a microphone for collecting sounds, A decibel analyzing unit for detecting a decibel of the acoustic data collected by the decoding unit; And a speech recognition unit for recognizing speech by analyzing the acoustic data collected by the microphone. The unexpected situation management unit compares the decibel detected by the decibel analyzing unit with a threshold value, and when the detected decibel exceeds the threshold value Wherein the speech recognition unit generates prediction information when the word recognized by the speech recognition unit is one of preset reference phrases and the speech recognition unit analyzes the acoustic data using a predetermined first speech recognition algorithm A first speech analysis module; A first feature parameter detection module for extracting a feature vector from the resultant data analyzed by the first speech analysis module and detecting a first feature parameter using the extracted feature vector; A second speech analysis module for analyzing the acoustic data using a predetermined second speech recognition algorithm; A second feature parameter detection module for extracting a feature vector from the resultant data analyzed by the second speech analysis module and detecting a second feature parameter using the extracted feature vector; A third speech analysis module for analyzing the sound data using a predetermined third speech recognition algorithm; A third feature parameter detection module for extracting a feature vector from the resultant data analyzed by the third speech analysis module and detecting a third feature parameter using the extracted feature vector; (D1) between the first feature parameter and the second feature parameter detected by the first feature parameter detection module and the second feature parameter detection module, and a difference value A difference value d2 between the second feature parameter and the third feature parameter detected by the module and a difference value d2 between the first feature parameter and the third feature parameter detected by the first feature parameter detection module and the third feature parameter detection module, The difference values d1, d2 and d3 are compared with predetermined threshold values after the difference value d3 is calculated and if the difference values d1, (D1), (d2), or (d3) is determined if any one of the difference values d1, d2, and d3 exceeds the threshold value, and if the difference value d1 ), (d2), and (d3) exceeds the threshold value, one remaining difference value is used as a characteristic parameter Determining characteristic parameters determination module; A syllable for calculating a similarity between each of the feature parameters determined by the feature parameter determination module and feature parameters of predetermined comparison models, which are syllables that can be generated by consonants and vowels, A comparison module; Further comprising a word detection module for determining syllables input from the syllable comparison module to determine a spoken word, wherein the unexpected situation management unit detects the association between the spoken word input from the speech recognition unit and each of the reference phrases And the management server generates predictive information after the input voice word is determined as a corresponding reference phrase, and when the management server receives the unexpected situation occurrence data from the safety management application, Information of the user and the GPS information of the currently running safety management application to transmit the incidence-occurrence data to the safety management application at the closest location from the user's location.
삭제delete
삭제delete
또한 본 발명에서 상기 관리서버는 주기적으로 범죄율이 높은 지역인 우범지대의 위치정보를 상기 안전관리 어플리케이션으로 전송하고, 상기 안전관리 어플리케이션은 경고상황 관리부를 더 포함하고, 상기 경고상황 관리부는 GPS위치정보와, 상기 관리서버로부터 전송받은 우범지대의 위치정보를 비교하여 사용자의 현재 위치가 우범지대로 진입하거나 또는 현재시간이 기 설정된 우범시간대에 포함되는 경우 사용자의 현재GPS위치정보 및 경고상황에 관련된 내용정보를 포함하는 경고상황 발생데이터를 생성하고, 상기 휴대단말기로 생성된 경고상황 발생데이터를 표출하는 것이 바람직하다.In addition, in the present invention, the management server periodically transmits location information of a crime zone, which is a high crime rate area, to the safety management application, and the security management application further includes a warning situation management unit, And the location information of the outbreak zone transmitted from the management server. If the current location of the user enters the outbreak zone or the current time is included in the predetermined time zone, And generates alert situation occurrence data including the alert situation occurrence data, and displays the alert situation occurrence data generated in the portable terminal.
또한 본 발명에서 상기 안전관리 어플리케이션은 상기 돌발상황 관리부에 의해 돌발상황 발생데이터가 생성되면, 생성된 돌발상황 발생데이터를 상기 관리서버로 전송하고, 상기 관리서버는 상기 안전관리 어플리케이션으로부터 돌발상황 발생데이터를 전송받으면, 전송받은 돌발상황 발생데이터를 기 설정된 보호자 단말기 및 경찰청서버로 전송하는 것이 바람직하다.Also, in the present invention, when the unexpected situation occurrence data is generated by the unexpected situation management unit, the safety management application transmits the generated unexpected situation occurrence data to the management server, and the management server receives the unexpected occurrence data It is preferable to transmit the received data to the predetermined guardian terminal and the police agency server.
삭제delete
상기 과제와 해결수단을 갖는 본 발명에 따르면 휴대단말기에 설치되는 안전관리 어플리케이션이 사용자의 생체정보, 음성정보 및 위치정보를 종합적으로 분석 및 활용하여 사용자에게 돌발 상황이 발생하였는지를 판단하도록 구성됨으로써 판단의 정확성 및 신뢰도를 획기적으로 높일 수 있다.According to the present invention, the safety management application installed in the portable terminal comprehensively analyzes and utilizes the user's biometric information, voice information, and location information to determine whether an unexpected situation has occurred to the user. Accuracy and reliability can be dramatically improved.
또한 본 발명에 의하면 안전관리 어플리케이션이 수집된 음향데이터의 데시벨의 크기를 통해 돌발 상황 발생 여부를 판단함과 동시에 수집된 음향데이터의 음성인식을 통해 돌발 상황 발생여부를 판단하되, 단일 음성 인식 알고리즘만을 이용하여 음성을 인식하는 것이 아니라, 각기 다른 복수개의 음성 인식 알고리즘들을 이용하여 음성인식을 수행하도록 구성됨으로써 노이즈(잡음)가 많은 야외에서도 음성을 정확하게 인식할 수 있게 된다.In addition, according to the present invention, the safety management application determines whether an unexpected event occurs through the size of the collected decoded acoustic data, and determines whether an unexpected event occurs through voice recognition of the collected sound data. Speech recognition is performed using a plurality of different speech recognition algorithms instead of recognizing the speech by using a plurality of speech recognition algorithms. Thus, it is possible to accurately recognize speech even in an outdoor environment with a large amount of noise (noises).
또한 본 발명에 의하면 안전관리 어플리케이션이 사용자의 현재 GPS위치정보와, 관리서버로부터 전송받은 안전맵을 비교하여 사용자가 우범지역으로 설정된 위치에 인접한 경우 경고상황 발생데이터를 생성하여 표출함으로써 사용자가 위급한 상황을 사전에 예방할 수 있다.According to the present invention, the safety management application compares the current GPS position information of the user with the safety map transmitted from the management server to generate and display alert situation occurrence data when the user is adjacent to a location set as a bad area, The situation can be prevented in advance.
또한 본 발명에 의하면 안전관리 어플리케이션이 사용자의 현재 시간대와, 기 설정된 우범시간대를 비교하여 현재 시간이 우범시간대로 진입하면, 경고상황 발생데이터를 생성하여 표출함으로써 돌발 상황을 사전에 효율적으로 방지할 수 있게 된다.According to the present invention, when the safety management application compares a current time zone of a user with a predetermined advantageous time zone and generates a warning situation occurrence data when the current time enters a superior time zone, the unexpected situation can be effectively prevented .
또한 본 발명에 의하면 안전관리 어플리케이션에 의해 돌발 상황이 발생되었다고 판단되면, 관리서버가 사용자의 위치를 지속적으로 추적함과 동시에 경찰청 서버로 이를 신속하게 알리고, 보호자의 단말기로 이러한 정보를 전송함으로써 돌발 상황에 대한 신속한 대처가 이루어질 수 있게 된다.According to the present invention, when it is determined that an unexpected situation has occurred due to the safety management application, the management server keeps track of the user's position, promptly notifies the police server of the location, It is possible to promptly cope with the problem.
또한 본 발명에 의하면 관리서버는 돌발 상황 발생 시 해당 사용자의 현재 위치로부터 가장 인접한 위치에 있는 안전관리 어플리케이션으로 돌발 상황이 발생된 위치 및 관련 정보를 포함하는 돌발상황 발생데이터를 전송함으로써 돌발 상황 대처에 대한 신속성을 극대화시킬 수 있다.According to the present invention, when an unexpected event occurs, the management server transmits an unexpected situation occurrence data including a location where the unexpected situation occurred and related information to the safety management application located at the closest position from the current position of the corresponding user, It is possible to maximize the promptness.
도 1은 국내등록특허 제10-1422234호(발명의 명칭 : 생체정보 및 GPS 정보를 활용한 긴급상황 통보시스템)에 개시된 긴급상황 통보시스템을 나타내는 블록도이다.
도 2는 본 발명의 일실시예인 안전관리 시스템을 나타내는 구성도이다.
도 3은 도 2의 휴대단말기를 나타내는 블록도이다.
도 4는 도 2의 웨어러블 장치를 설명하기 위한 예시도이다.
도 5는 도 2의 안전관리 어플리케이션을 나타내는 블록도이다.
도 6은 도 5의 음성인식부를 나타내는 블록도이다.
도 7은 도 6의 특징파라미터 판별모듈을 설명하기 위한 블록도이다.
도 8은 도 5의 돌발상황 관리부를 나타내는 블록도이다.
도 9는 도 5의 경고상황 관리부를 나타내는 블록도이다.1 is a block diagram showing an emergency notification system disclosed in Korean Patent No. 10-1422234 (entitled: Emergency notification system using biometric information and GPS information).
2 is a configuration diagram illustrating a safety management system according to an embodiment of the present invention.
3 is a block diagram illustrating the portable terminal of FIG.
Fig. 4 is an exemplary view for explaining the wearable device of Fig. 2;
5 is a block diagram illustrating the safety management application of FIG.
6 is a block diagram showing the speech recognition unit of FIG.
FIG. 7 is a block diagram for explaining the feature parameter determination module of FIG. 6;
8 is a block diagram showing the unexpected situation management unit of Fig.
FIG. 9 is a block diagram showing the warning situation management unit of FIG. 5;
이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.
도 2는 본 발명의 일실시예인 안전관리 시스템을 나타내는 구성도이다.2 is a configuration diagram illustrating a safety management system according to an embodiment of the present invention.
본 발명의 일실시예인 안전관리 시스템(1)은 유저(User)로부터 수집되는 생체정보와, 마이크를 통해 수집되는 음향정보, GPS위치정보를 활용 및 분석하여 돌발 상황 발생 여부를 다각적으로 판단하며, 돌발 상황 발생 시 후속대처가 자동으로 이루어지도록 하여 돌발 상황에 대한 신속한 대처가 이루어지도록하기 위한 것이다.The
또한 안전관리 시스템(1)은 도 2에 도시된 바와 같이, 사용자(User)가 소지한 단말기인 휴대단말기(3)와, 사용자의 신체에 장착되어 생체신호를 수집한 후 근거리통신망(11)을 통해 휴대단말기(3)로 수집된 데이터를 송신하는 웨어러블 장치(2)와, 휴대단말기에 설치되는 응용프로그램인 안전관리 어플리케이션(5)과, 안전관리 어플리케이션(5)을 관리 및 제어하는 관리서버(7)와, 관리서버(7) 및 휴대단말기(3) 사이의 데이터 이동경로를 제공하는 통신망(10)과, 휴대단말기(3) 및 웨어러블 장치(2) 사이의 데이터 이동경로를 제공하는 근거리통신망(11)과, 휴대단말기(3)로부터 가장 인접한 위치에 위치하면서 안전관리 어플리케이션(5)이 설치된 휴대단말기인 인접단말기(9)로 이루어진다.2, the
통신망(10)은 휴대단말기(3) 및 관리서버(7) 사이의 데이터 이동경로를 제공하며, 상세하게로는 광역통신망(WAN) 등의 유무선 네트워크(Network)망, 이동통신망, LTE 등으로 구성될 수 있다.The
근거리 통신망(11)은 접속된 웨어러블 장치(2) 및 휴대단말기(3) 사이의 데이터 통신을 지원하며, 상세하게로는 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zig-bee), 유선케이블 등으로 구성될 수 있다.The
휴대단말기(3)는 안전관리 서비스를 제공받고자 하는 사용자(User)가 소지한 디지털 단말기이다.The
또한 휴대단말기(3)는 스마트폰(Smart-phone), 태블릿 PC, 노트북, PDA 등과 같이 휴대가 용이하면서 데이터통신을 지원하는 디지털 단말기이며, 상세하게로는 스마트폰인 것이 바람직하다.Also, the
또한 휴대단말기(3)는 통신망(10)과의 접속이 지원되어 통신망(10)을 통해 관리서버(7)와 데이터통신을 수행한다.The
또한 휴대단말기(3)에는 안전관리 어플리케이션(5)이 설치된다.In addition, the
또한 휴대단말기(3)는 GPS모듈을 포함하여 안전관리 어플리케이션(5) 구동 시 안전관리 어플리케이션(5)으로 현재 GPS위치정보를 입력한다.Also, the
또한 휴대단말기(3)는 근거리 통신망(11)을 통해 웨어러블 장치(2)와 데이터를 송수신하며, 웨어러블 장치(2)로부터 전송받은 생체정보를 안전관리 어플리케이션(5)으로 입력한다.The
도 3은 도 2의 휴대단말기를 나타내는 블록도이다.3 is a block diagram illustrating the portable terminal of FIG.
휴대단말기(3)는 도 3에 도시된 바와 같이, 통상의 스마트폰에 구비되어 콘텐츠가 전시되는 모니터(31)와, 통신망(10)에 접속하여 관리서버(7)와 데이터를 송수신하는 통신 인터페이스모듈(32)과, 근거리 통신망(11)에 접속하여 웨어러블 장치(2)와 근거리 통신을 수행하는 근거리 통신 인터페이스모듈(33)과, 음향데이터를 수집하는 마이크(34)와, 휴대단말기(3)의 O.S를 담당하며 제어대상을 제어하는 제어모듈(35)과, 사용자로부터 문자 및 기호를 입력받는 입력모듈(36)과, GPS 위성으로부터 GPS 위치정보를 수신 받는 GPS 모듈(37)과, 본 발명의 목적을 달성하기 위한 후술되는 도 5 내지 9의 의 안전관리 어플리케이션(5)을 관리 및 제어하는 어플리케이션 관리모듈(38)로 이루어진다.3, the
이와 같이 구성되는 휴대단말기(3)는 안전관리 어플리케이션(5) 구동 시, 마이크(34)를 통해 수집되는 음향데이터와, GPS 모듈(37)에 의해 검출된 GPS위치정보와, 근거리 통신 인터페이스모듈(32)을 통해 웨어러블 장치(2)로부터 전송받은 생체정보를 안전관리 어플리케이션(5)으로 입력한다.When the
도 4는 도 2의 웨어러블 장치를 설명하기 위한 예시도이다.Fig. 4 is an exemplary view for explaining the wearable device of Fig. 2;
웨어러블 장치(2)는 사용자(User)의 신체에 장착되어 생체신호를 측정할 수 있는 장치이다.The wearable device 2 is a device mounted on the body of a user and capable of measuring a living body signal.
또한 웨어러블 장치(2)는 도 4에 도시된 바와 같이, 사용자의 체온을 측정하는 제1 센서(41)와, 사용자의 심박수를 측정하는 제2 센서(42)와, 제1, 2 센서(41), (42)들로부터 측정된 데이터를 근거리 통신망(11)을 통해 휴대단말기(3)로 전송하는 제어기(43)로 이루어진다.4, the wearable device 2 includes a
다시 말하면, 제어기(43)는 제1 센서(41) 및 제2 센서(42)로부터 측정된 체온정보 및 심박수정보를 입력받으며, 근거리 통신망(11)에 접속하여 접속된 휴대단말기(3)로 입력된 체온정보 및 심박수정보를 전송한다. 이때 휴대단말기(3)는 웨어러블 장치(2)의 제어기(43)로부터 전송받은 체온정보 및 심박수정보를 안전관리 어플리케이션(5)으로 입력함으로써 안전관리 어플리케이션(5)에 의한 돌발 상황 발생여부 판단에 활용될 수 있게 된다.In other words, the
이때 본 발명에서는 설명의 편의를 위해 웨어러블 장치(2)가 체온 및 심박수의 생체정보를 측정하는 것으로 예를 들어 설명하였으나, 웨어러블 장치(2)에서 측정되는 생체정보의 종류는 이에 한정되지 않으며, 공지되 다양한 종류의 생체정보들이 적용될 수 있음은 당연하다.In the present invention, the wearable apparatus 2 measures the body temperature and the heart rate of the wearer's body for convenience of explanation. However, the kind of the body information measured by the wearable apparatus 2 is not limited thereto, It is natural that various types of biometric information can be applied.
안전관리 어플리케이션(5)은 휴대단말기(3)에 설치되어 안전관리 서비스를 제공하는 응용 프로그램이다.The
또한 안전관리 어플리케이션(5)은 웨어러블 장치(2)로부터 휴대단말기(3)로 전송된 체온정보를 입력받으며, 입력된 체온정보를 기 설정된 제1 임계범위와 비교하여 만약 체온정보가 제1 임계범위를 벗어나는 경우 돌발 상황이 발생하였을 수도 있다고 예측한다.The
이때 제1 임계범위는 사용자가 정상이라고 판단할 수 있는 정상 체온의 범위로 정의된다.The first critical range is defined as a range of normal body temperature that the user can determine is normal.
또한 안전관리 어플리케이션(5)은 웨어러블 장치(2)로부터 휴대단말기(3)로 전송된 심박수정보를 입력받으며, 입력된 심박수정보를 기 설정된 제2 임계범위와 비교하여 만약 입력된 심박수가 제2 임계범위를 벗어나는 경우 돌발 상황이 발생하였을 수도 있다고 예측한다. 이때 제2 임계범위는 사용자가 정상이라고 판단할 수 있는 정상 심박수의 범위로 정의된다.Also, the
또한 안전관리 어플리케이션(5)은 마이크(34)에 의해 수집된 음향데이터의 데시벨을 검출한 후 검출된 데시벨을 기 설정된 임계치와 비교하며, 만약 검출된 데시벨이 임계치를 초과하는 경우 돌발 상황이 발생하였을 수도 있다고 예측한다. 이때 임계치는 사용자에게 돌발 상황이 발생하였다고 예측할 수 있는 데시벨 최소값으로 정의된다. The
또한 안전관리 어플리케이션(5)은 마이크(34)에 의해 수집된 음향데이터가 입력되면, 입력된 음향데이터를 분석하여 음성을 인식한 후 인식된 음성이 기 설정된 참조문구들 중 어느 하나일 경우 돌발 상황이 발생하였다고 판단한다. 이때 참조문구는 사용자에게 돌발 상황이 발생하였다고 판단할 수 있는 문구로 정의되며, 예를 들어 ‘살려주세요’, ‘도와주세요’, ‘도둑’, ‘강도’ 등으로 이루어질 수 있다.When the sound data collected by the
즉 안전관리 어플리케이션(5)은 마이크(34)를 통해 수집된 음향데이터를 분석하여 음성을 인식한 후 인식된 음성이 기 설정된 참조문구들 중 어느 하나일 때, 돌발 상황이 발생하였다고 자동으로 판단함으로써 돌발 상황에 대한 신속한 대처가 이루어질 수 있게 된다.That is, the
또한 안전관리 어플리케이션(5)은 주기적으로 관리서버(7)로부터 범죄율이 높은 지역(이하 우범지역이라고 함)이 설정된 안전맵을 전송받아 저장하며, 휴대단말기(3)로부터 GPS위치정보를 입력받으면, 입력된 GPS위치정보 및 안전맵의 우범지역의 위치정보를 비교하여 사용자가 우범지역에 임계치 이내로 근접한 경우 경고데이터를 생성한다. In addition, the
이때 안전맵은 실제 수치 지도상에서 우범지역으로 설정된 위치들이 맵핑된 지도로 정의되고, 관리서버(7)는 경찰청서버와 연동하여 범죄사건이 많은 지역인 우범지역을 설정한 후 설정된 우범지역의 위치정보를 주기적으로 안전관리 어플리케이션(5)으로 전송한다.At this time, the safety map is defined as a map in which the locations set as the bad areas on the actual digital map are mapped, and the management server 7 sets the bad area, which is the area with many crime incidents, in cooperation with the police office server, To the
또한 안전관리 어플리케이션(5)은 범죄율이 높은 시간대인 우범시간대를 기 설정하여 저장하며, 현재시간 및 우범시간대를 비교하여 현재 시간이 우범시간대가 되면 경고데이터를 생성한다.In addition, the
또한 안전관리 어플리케이션(5)은 만약 돌발 상황이 발생되었다고 판단되는 경우, 1)관리서버(7)로 돌발 상황이 발생되었음을 나타내는 돌발 상황 발생데이터를 전송함과 동시에 2)휴대단말기(3)를 통해 이를 외부로 표출한다.In addition, when it is determined that an unexpected situation has occurred, the
이때 관리서버(7)는 안전관리 어플리케이션(5)으로부터 돌발상황 발생데이터를 전송받으면, 전송받은 돌발상황 발생데이터를 경찰청 서버, 보호자 단말기 및 인접단말기(9)로 전송함으로써 돌발 상황에 대한 신속한 대처가 이루어지도록 한다.At this time, when the management server 7 receives the unexpected situation occurrence data from the
특히 본 발명에서는 돌발 상황 발생 시 관리서버(7)가 안전관리 어플리케이션(5)을 사용하면서 돌발 상황이 발생된 위치로부터 가장 인접한 인접단말기(9)를 검출한 후 검출된 인접단말기(9)로 돌발상황 발생데이터를 전송함으로써 인접단말기(9)의 사용자가 주변에 도움을 요청하거나 신속하게 해당 현장으로 이동하는 등의 행동을 통해 대처의 신속성을 극대화시킬 수 있도록 하였다.Particularly, in the present invention, when the unexpected situation occurs, the management server 7 detects the nearest neighboring terminal 9 from the location where the unexpected situation occurred while using the
도 5는 도 2의 안전관리 어플리케이션을 나타내는 블록도이다.5 is a block diagram illustrating the safety management application of FIG.
안전관리 어플리케이션(5)은 도 5에 도시된 바와 같이, 제어부(50)와, 메모리(51), 입출력부(52), 인터페이스 관리부(53), 생체신호 분석부(54), 데시벨 분석부(55), 음성인식부(56), 돌발상황 관리부(57), 경고상황 관리부(58)로 이루어진다.5, the
제어부(50)는 안전관리 어플리케이션(5)의 O.S(Operating System)이며, 제어대상(51), (52), (53), (54), (55), (56), (57), (58)들을 관리 및 제어한다.The
또한 제어부(50)는 입출력부(52)를 통해 휴대단말기(3)로부터 데이터를 입력받으면, 입력된 데이터를 대응되는 구성부로 입력하여 해당 구성부에 의하여 입력데이터에 따른 연산처리가 이루어지도록 한다.When receiving data from the
또한 제어부(50)는 입출력부(52)를 통해 휴대단말기(3)로부터 GPS위치정보를 입력받으면, 입력된 GPS위치정보를 경고상황 관리부(58)로 입력한다.When receiving the GPS position information from the
또한 제어부(50)는 돌발상황 관리부(57)에 의해 돌발상황이 발생되었다고 판단되면, GPS위치정보를 돌발상황 관리부(57)로 입력한다.If it is determined that an unexpected situation has occurred by the unexpected
또한 제어부(50)는 돌발상황 관리부(57)에 의해 돌발상황 발생데이터가 생성되면, 생성된 돌발상황 발생데이터가 관리서버(7)로 전송되도록 휴대단말기(3)를 제어한다.The
또한 제어부(50)는 경고상황 관리부(58)에 의해 경고상황 발생데이터가 생성되면, 생성된 경고상황 발생데이터가 관리서버(7)로 전송되도록 휴대단말기(3)를 제어한다.The
또한 제어부(5)는 돌발상황 발생데이터 또는 경고상황 발생데이터가 생성되면, 휴대단말기(3)를 통해 돌발상황 발생데이터 또는 경고상황 발생데이터가 외부로 표출되도록 휴대단말기(3)를 제어한다. 이때 휴대단말기()에서 돌발상황 또는 경고상황을 표출하는 표출방식은 기 설정된 경고음성, 경고음 등의 출력, 진동, 경고문자 디스플레이 등과 같이 다양한 방식으로 이루어질 수 있다.The
메모리(51)에는 기 제작된 그래픽 사용자 인터페이스(GUI, Graphic User Interface)들이 저장된다.The built-in graphic user interface (GUI) is stored in the
또한 메모리(51)에는 기 설정된 제1 임계범위와, 제2 임계범위, 임계치가 저장된다. 이때 제1 임계범위는 사용자가 정상이라고 판단할 수 있는 정상 체온의 범위이고, 제2 임계범위는 사용자가 정상이라고 판단할 수 있는 정상 심박수의 범위이고, 임계치는 사용자에게 돌발 상황이 발생하였다고 예측할 수 있는 데시벨 최소값이다.The
또한 메모리(51)에는 기 설정된 음성인식 알고리즘이 저장된다.In the
입출력부(52)는 휴대단말기(3)와 데이터를 입출력한다.The input /
인터페이스 관리부(53)는 기 제작된 그래픽 사용자 인터페이스(GUI)들을 관리한다. 이때 그래픽 사용자 인터페이스는 어플리케이션에서 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 하고, 공지된 다양한 방식, 디자인 등이 적용될 수 있음은 당연하다.The
생체신호 분석부(54)는 웨어러블 장치(2)에 의해 측정된 생체신호, 즉 체온정보 및 심박수정보를 분석하며, 분석된 체온정보 및 심박수정보를 돌발상황 관리부(57)로 입력한다.The
데시벨 분석부(55)는 휴대단말기(3)의 마이크(34)에 의해 측정된 음향데이터의 데시벨을 검출하며, 검출된 데시벨을 돌발상황 관리부(57)로 입력한다.The
도 6은 도 5의 음성인식부를 나타내는 블록도이다.6 is a block diagram showing the speech recognition unit of FIG.
음성인식부(56)는 휴대단말기(3)의 마이크(34)에 의해 측정된 음향데이터를 분석하여 음성단어들을 인식한다.The
또한 음성인식부(56)는 도 6에 도시된 바와 같이, 제1 음성분석모듈(560)과, 제1 특징파라미터 검출모듈(561), 제2 음성분석모듈(562), 제2 특징파라미터 검출모듈(563), 제3 음성분석모듈(564), 제3 특징파라미터 검출모듈(565), 특징파라미터 판별모듈(566), 음절비교모듈(567), 비교모델 메모리(568), 단어검출모듈(569)로 이루어진다.6, the
제1 음성분석모듈(560)은 입력된 음향데이터로부터 노이즈(잡음)를 제거한 후 기 설정된 제1 음성인식 알고리즘을 이용하여 노이즈가 제거된 음향데이터를 분석한다.The first
이때 제1 음성인식 알고리즘은 공지된 다양한 음성인식 알고리즘들 중 어느 하나가 적용될 수 있다.At this time, the first speech recognition algorithm can be applied to any one of various known speech recognition algorithms.
제1 특징파라미터 검출모듈(561)은 제1 음성분석모듈(560)에 의해 분석된 결과데이터를 이용하여 입력된 음향신호의 특징벡터를 추출한다.The first feature
이때 제1 특징파라미터 검출모듈(561)은 선형 예측 부호화(LPC, Linear Predictive Coding)를 통해 특징벡터를 추출하고, 이러한 선형 예측 부호화는 음성인식 시스템에서 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 한다.At this time, the first feature
또한 제1 특징파라미터 검출모듈(561)은 추출된 특징벡터를 이용하여 입력된 음성신호에 대한 제1 특징파라미터를 생성한다. 이때 제1 특징파라미터는 음성신호를, 비교모델과의 비교 알고리즘의 수행이 가능하도록 처리한 데이터로 정의된다.The first feature
제2 음성분석모듈(562)은 입력된 음향데이터로부터 노이즈(잡음)를 제거한 후 기 설정된 제2 음성인식 알고리즘을 이용하여 노이즈가 제거된 음향데이터를 분석한다.The second
이때 제2 음성인식 알고리즘은 공지된 다양한 음성인식 알고리즘들 중 제1 음성인식 알고리즘과 다른 어느 하나가 적용될 수 있다.At this time, the second speech recognition algorithm may be applied to any one of the known speech recognition algorithms other than the first speech recognition algorithm.
제2 특징파라미터 검출모듈(563)은 제2 음성분석모듈(562)에 의해 분석된 결과데이터를 이용하여 입력된 음향신호의 특징벡터를 추출한 후 추출된 특징벡터를 이용하여 입력된 음향신호에 대한 제2 특징파라미터를 검출한다. 이때 제2 특징파라미터 검출모듈(563)은 전술하였던 선형 예측 부호화(LPC)를 이용하여 특징벡터를 검출한다.The second feature
제3 음성분석모듈(564)은 입력된 음향데이터로부터 노이즈(잡음)를 제거한 후 기 설정된 제1 음성인식 알고리즘을 이용하여 노이즈가 제거된 음향데이터를 분석한다.The third
이때 제3 음성인식 알고리즘은 공지된 다양한 음성인식 알고리즘들 중 제1, 2 음성인식 알고리즘들과 다른 어느 하나가 적용될 수 있다.In this case, the third speech recognition algorithm may be applied to any one of the known speech recognition algorithms other than the first and second speech recognition algorithms.
제3 특징파라미터 검출모듈(565)은 제3 음성분석모듈(563)에 의해 분석된 결과데이터를 이용하여 입력된 음향신호의 특징벡터를 추출한 후 추출된 특징벡터를 이용하여 제3 특징파라미터를 검출한다. 이때 제3 특징파라미터 검출모듈(565)은 전술하였던 선형 예측 부호화(LPC)를 이용하여 특징벡터를 검출한다.The third feature
특징파라미터 판별모듈(566)은 제1, 2, 3 특징파라미터 검출모듈(561), (563), (565)들에 의해 검출된 제1, 2, 3 특징파라미터들 각각의 차이값들을 각각 산출한다. 더욱 상세하게로는 특징파라미터 판별모듈(566)은 제1, 2 특징파라미터들의 차이값(d1)과, 제1, 3 특징파라미터들의 차이값(d2)과, 제2, 3 특징파라미터들의 차이값(d3)을 산출한다.The feature
또한 특징파라미터 판별모듈(566)은 차이값(d1), (d2), (d3)들 각각을 기 설정된 임계치와 비교한다.The feature
또한 특징파라미터 판별모듈(566)은 만약 차이값(d1), (d2), (d3)들이 모두 임계치 이내이면, 차이값(d1), (d2), (d3)들의 평균값을 특징파라미터로 최종 결정한다.If the difference values d1, d2, and d3 are all within the threshold value, the feature
또한 특징파라미터 판별모듈(566)은 만약 차이값(d1), (d2), (d3)들 중 어느 하나가 임계치를 초과하면, 차이값(d1), (d2), (d3)들의 평균값을 특징파라미터로 최종 결정한다.The feature
또한 특징파라미터 판별모듈(566)은 만약 차이값(d1), (d2), (d3)들 중 2개가 임계치를 초과하면, 남은 한 개의 차이값을 특징파라미터로 최종 결정한다.Also, the feature
도 7은 도 6의 특징파라미터 판별모듈을 설명하기 위한 블록도이다.FIG. 7 is a block diagram for explaining the feature parameter determination module of FIG. 6;
특징파라미터 판별모듈(566)은 도 7에 도시된 바와 같이, 제1, 2 특징파라미터들의 차이값(d1)을 산출하는 제1 차이값 산출모듈(5661)과, 제1, 3 특징파라미터들의 차이값(d2)을 산출하는 제2 차이값 산출모듈(5662)과, 제2, 3 특징파라미터들의 차이값(d3)을 산출하는 제3 차이값 산출모듈(5663)과, 차이값(d1), (d2), (d3)들 각각을 기 설정된 임계치와 비교하는 비교모듈(5664)과, 비교모듈(5664)에 의한 결과에 따라 특징파라미터를 최종 결정하는 결정모듈(5665)로 이루어진다.7, the feature
결정모듈(5665)은 전술하였던 바와 같이, 1)만약 차이값(d1), (d2), (d3)들이 모두 임계치 이내이면, 차이값(d1), (d2), (d3)들의 평균값을 특징파라미터로 최종 결정하고, 2)만약 차이값(d1), (d2), (d3)들 중 어느 하나가 임계치를 초과하면, 차이값(d1), (d2), (d3)들의 평균값을 특징파라미터로 최종 결정하고, 3)만약 차이값(d1), (d2), (d3)들 중 2개가 임계치를 초과하면, 남은 한 개의 차이값을 특징파라미터로 최종 결정한다.The
다시 도 6으로 돌아가면, 도 6의 음절비교모듈(567)은 특징파라미터 판별모듈(566)에 의해 결정된 특징파라미터와, 기 설정된 비교모델들의 특징파라미터들을 음절단위로 비교 및 분석한다. 이때 비교모델들은 자음 및 모음으로 생성될 수 있는 음절들로 정의되며, 예를 들어 가, 나, 카, 커, 호 등으로 이루어질 수 있다.6, the
또한 음절비교모듈(567)은 만약 특정파라미터와의 유사도가 기 설정된 임계치 이내인 비교모델이 2개 이상인 경우 동적 시간 워핑 방식 보다 인식률이 우수한 분석을 다시 수행, 상세하게로는 음성신호를 음소단위로 분리한 후 은닉 마르포크 모델(Hidden Markov model)을 통해 패턴 비교 알고리즘을 수행한다. 이때 은닉 마르코프 모델은, 모델링하는 시스템이 미지의 파라미터를 가진 Markov process일 것이라고 가정하여, 그 가정에 기초해서 관측된 파라미터로부터 숨겨진 파라미터를 결정하는 하나의 통계모델이며, 음성인식분야에서 널리 사용되는 방식 중 하나이기 때문에 상세한 설명은 생략하기로 한다.Further, the
즉 음절비교모듈(567)은 입력된 음향데이터에 포함된 음성을 음절단위로 검출하며, 검출된 음절을 단어검출모듈(569)로 입력한다.That is, the
단어검출모듈(569)은 음절비교모듈(567)로부터 입력된 음절들을 합쳐서 음성단어를 결정한다. 예를 들어 음절비교모듈(567)로부터 검출된 음절이 ‘살’, ‘려’, ‘주’, ‘세’, ‘요’의 5개의 음절로 이루어진 경우 단어검출모듈(569)은 ‘살’, ‘려’, ‘주’, ‘세’, ‘요’의 5개의 음절을 합쳐서 ‘살려주세요’라는 음성단어를 결정한다.The
또한 단어검출모듈(569)에 의해 결정된 음성단어는 돌발상황 관리부(57)로 입력된다.The voice word determined by the
도 8은 도 5의 돌발상황 관리부를 나타내는 블록도이다.8 is a block diagram showing the unexpected situation management unit of Fig.
돌발상황 관리부(57)는 도 8에 도시된 바와 같이, 제1 비교모듈(571)과, 제2 비교모듈(572), 제3 비교모듈(573), 단어비교모듈(574), 돌발상황 발생여부 판단모듈(575), 돌발상황 발생데이터 생성모듈(576)로 이루어진다.8, the unexpected
제1 비교모듈(571)은 생체신호 분석부(54)로부터 입력된 체온정보를 기 설정된 제1 임계범위와 비교하며, 상세하게로는 입력된 체온값이 제1 임계범위에 포함되는지 또는 제1 임계범위를 벗어나는지를 비교한다.The
제2 비교모듈(572)은 생체신호 분석부(54)로부터 입력된 심박수정보를 기 설정된 제2 임계범위와 비교하며, 상세하게로는 입력된 심박수 측정값이 제1 임계범위에 포함되는지 또는 제1 임계범위를 벗어나는지를 비교한다.The
제3 비교모듈(573)은 데시벨 분석부(55)로부터 입력된 데시벨을 기 설정된 제1 임계치와 비교하며, 상세하게로는 입력된 데시벨이 제1 임계치를 초과하는지를 비교한다.The third comparing
단어비교모듈(574)은 음성인식부(56)에 의해 검출된 단어와, 전술하였던 도 6의 비교모델 메모리(568)에 저장된 ‘참조문구’들 각각의 연관관계를 검출한 후 검출된 연관관계가 임계치를 넘어서는지를 비교한다. 이때 ‘참조문구’는 사용자가 돌발 상황이라고 판단할 수 있는 단어들로 정의되며, 예를 들어 ‘살려’, ‘도와’ 등으로 이루어질 수 있다.The
돌발상황 발생여부 판단모듈(575)은 제1 비교모듈(571), 제2 비교모듈(572), 제3 비교모듈(573) 및 단어비교모듈(574)에 의한 비교데이터를 종합적으로 분석하여 사용자에게 돌발 상황이 발생하였는지를 판단한다.The occurrence
또한 돌발상황 발생여부 판단모듈(575)은 제1 비교모듈(571)에 의해 만약 체온값이 제1 임계범위에 포함되는 경우 사용자가 정상 상태라고 판단하되, 만약 체온값이 제1 임계범위를 벗어나는 경우 사용자에게 돌발 상황이 발생될 수도 있다는 예측정보를 검출한다.If the temperature value is within the first threshold range, the
또한 돌발상황 발생여부 판단모듈(575)은 제2 비교모듈(572)에 의해 만약 심박수 측정값이 제2 임계범위에 포함되는 경우 사용자가 정상 상태라고 판단하되, 만약 체온값이 제2 임계범위를 벗어나는 경우 예측정보를 검출한다.If the heart rate measurement value is included in the second threshold range, the
또한 돌발상황 발생여부 판단모듈(575)은 제3 비교모듈(573)에 의해 만약 데시벨이 제1 임계치 미만인 경우 사용자가 정상 상태라고 판단하되, 만약 데시벨이 제1 임계치를 초과하는 경우 예측정보를 검출한다.The erroneous condition
또한 돌발상황 발생여부 판단모듈(575)은 단어비교모듈(574)에 의해 만약 검출된 음성단어가 ‘참조단어’들 중 어느 하나와 연관관계가 임계치를 넘어서는 경우 예측정보를 검출한다.In addition, the breakdown occurrence
또한 돌발상황 발생여부 판단모듈(575)은 기 설정된 주기 동안 생성된 예측정보의 수량(N)을 산출한 후 산출된 예측정보 수량(N)과 기 설정된 설정값(TH:Threshold)을 비교한다. 이때 설정값(TH)은 사용자에게 돌발 상황이 발생하였다고 판단할 수 있는 예측정보 수량의 최소값으로 정의된다.The unexpected occurrence
또한 돌발상황 발생여부 판단모듈(575)은 만약 예측정보 수량(N)이 설정값(TH)을 초과하는 경우 사용자에게 돌발 상황이 발생하였다고 최종적으로 판단한다. 이때 제어부(50)는 돌발상황 발생여부 판단모듈(575)에 의해 사용자에게 돌발 상황이 발생하였다고 판단되는 경우 돌발상황 발생데이터 생성모듈(576)을 구동시킨다.In addition, the unexpected occurrence
돌발상황 발생데이터 생성모듈(576)은 돌발상황 발생여부 판단모듈(575)에 의해 돌발상황이 발생되었다고 판단될 때 구동된다.The unexpected condition occurrence
또한 돌발상황 발생데이터 생성모듈(576)은 돌발 상황에 관련된 내용 정보와, 사용자의 현재GPS정보를 포함하는 돌발상황 발생데이터를 생성한다.Also, the unexpected occurrence
이때 제어부(50)는 돌발상황 발생데이터 생성모듈(576)에 의하여 돌발상황 발생데이터가 생성되면, 생성된 돌발상황 발생데이터가 관리서버(7)로 전송되도록 휴대단말기(3)를 제어함과 동시에 생성된 돌발상황 발생데이터가 휴대단말기(3)를 통해 외부로 표출되도록 한다. 이때 돌발상황 발생데이터의 외부 표출방식은 경고음 또는 비상음을 출력하거나 또는 휴대단말기의 모니터에 경고문구를 디스플레이 하는 등의 다양한 방식으로 이루어질 수 있음은 당연하다.At this time, the
도 9는 도 5의 경고상황 관리부를 나타내는 블록도이다.FIG. 9 is a block diagram showing the warning situation management unit of FIG. 5;
경고상황 관리부(58)는 위치 비교모듈(581)과, 시간대 비교모듈(582), 경고상황 발생여부 판단모듈(583), 경고상황 데이터 생성모듈(584)로 이루어진다.The warning
위치 비교모듈(581)은 사용자의 현재 위치를 나타내는 GPS정보와, 관리서버(7)로부터 주기적으로 전송받은 안전맵을 비교한다. 이때 안전맵은 실제 수치 지도상에서 우범지역으로 설정된 위치들이 맵핑된 지도로 정의된다.The
즉 위치 비교모듈(581)은 안전맵 상에서 사용자의 위치를 맵핑시킨 후 사용자가 우범지역과 기 설정된 거리 이내인지를 비교한다.That is, the
시간대 비교모듈(582)은 현재 시간과, 기 설정된 우범 시간대를 비교하여 현재 시간이 우범시간대에 포함되는지를 비교한다.The time
경고상황 발생여부 판단모듈(583)은 위치 비교모듈(581)에 의해 만약 사용자가 우범지역과 기 설정된 거리 이내인 경우 경고상황이 발생되었다고 판단하여 경고상황 발생데이터 생성모듈(584)을 구동시킨다.The warning situation
또한 경고상황 발생여부 판단모듈(583)은 시간대 비교모듈(582)에 의해 만약 현재 시간이 우범시간대에 포함되는 경우 경고상황이 발생되었다고 판단하여 경고상황 발생데이터 생성모듈(584)을 구동시킨다.In addition, the warning situation
경고상황 발생데이터 생성모듈(584)은 사용자가 우범지역과 인접하거나 또는 현재 시간이 우범시간대인 경우 구동된다.The warning situation occurrence
또한 경고상황 발생데이터 생성모듈(584)은 경고상황에 관련된 내용 정보와, 사용자의 현재GPS정보, 현재시간정보를 포함하는 경고상황 발생데이터를 생성한다.Also, the warning situation occurrence
이때 제어부(50)는 경고상황 발생데이터 생성모듈(584)에 의해 경고상황 발생데이터가 생성되면, 생성된 경고상황 발생데이터가 관리서버(7)로 전송되도록 휴대단말기(3)를 제어함과 동시에 생성된 경고상황 발생데이터가 휴대단말기(3)를 통해 외부로 표출되도록 한다.At this time, when the warning situation occurrence data is generated by the warning situation occurrence
다시 도 2로 돌아가서 관리서버(7)를 살펴보면, 관리서버(7)는 안전관리 어플리케이션(5)을 관리 및 제어하며, 경찰정 서버(미도시)와 연계하여 안전관리 서비스를 제공하기 위한 서버이다.2, the management server 7 manages and controls the
또한 관리서버(7)는 안전관리 어플리케이션(5)의 로그인정보, 인적정보 및 보호자 정보를 저장한다.The management server 7 also stores login information, human information, and guardian information of the
또한 관리서버(7)는 안전관리 어플리케이션(5)으로부터 전송받은 GPS 위치정보, 돌발 상황 발생데이터 및 경고상황 발생데이터가 저장된다.In addition, the management server 7 stores GPS position information, unexpected situation occurrence data, and warning situation occurrence data transmitted from the
또한 관리서버(7)는 경찰청 서버(미도시)와 연계하여 실제 수치 지도상에서 우범지역으로 설정된 위치들이 맵핑된 지도인 안전맵을 주기적으로 생성 및 갱신한다.In addition, the management server 7 periodically generates and updates a safety map, which is a map to which the locations set as the bad areas on the actual numerical map are mapped, in association with the police server (not shown).
또한 관리서버(7)는 주기적으로 안전관리 어플리케이션(5)으로 생성 및 갱신된 안전맵을 전송한다.In addition, the management server 7 periodically transmits the safety map generated and updated to the
또한 관리서버(7)는 만약 안전관리 어플리케이션(5)으로부터 돌발 상황 발생데이터를 전송받으면, 해당 사용자의 GPS위치정보와, 안전관리 어플리케이션(5)을 현재 사용 중인 사용자들의 GPS위치정보들 각각을 비교하여 돌발 상황이 발생된 사용자로부터 가장 인접한 거리에 위치한 사용자인 인접사용자를 검출하며, 검출된 인접사용자의 안전관리 어플리케이션(5)으로 돌발상황 발생데이터를 전송한다.The management server 7 also compares the GPS position information of the user with the GPS position information of the users currently using the
이때 인접단말기(9)의 안전관리 어플리케이션(5)은 관리서버(7)로부터 돌발 상황 발생데이터를 전송받으면, 전송받은 돌발 상황 발생데이터를 모니터에 디스플레이 함으로써 돌발 상황에 대한 대응이 더욱 신속하게 이루어질 수 있게 된다.At this time, when the
이와 같이 본 발명의 일실시예인 안전관리 시스템(1)은 휴대단말기에 설치되는 안전관리 어플리케이션이 사용자의 생체정보, 음성정보 및 위치정보를 종합적으로 분석 및 활용하여 사용자에게 돌발 상황이 발생하였는지를 판단하도록 구성됨으로써 판단의 정확성 및 신뢰도를 획기적으로 높일 수 있다.As described above, the
또한 본 발명의 안전관리 시스템(1)은 안전관리 어플리케이션이 수집된 음향데이터의 데시벨의 크기를 통해 돌발 상황 발생 여부를 판단함과 동시에 수집된 음향데이터의 음성인식을 통해 돌발 상황 발생여부를 판단하되, 단일 음성 인식 알고리즘만을 이용하여 음성을 인식하는 것이 아니라, 각기 다른 복수개의 음성 인식 알고리즘들을 이용하여 음성인식을 수행하도록 구성됨으로써 노이즈(잡음)가 많은 야외에서도 음성을 정확하게 인식할 수 있게 된다.Further, the
또한 본 발명의 안전관리 시스템(1)은 안전관리 어플리케이션이 사용자의 현재 GPS위치정보와, 관리서버로부터 전송받은 안전맵을 비교하여 사용자가 우범지역으로 설정된 위치에 인접한 경우 경고상황 발생데이터를 생성하여 표출함으로써 사용자가 위급한 상황을 사전에 예방할 수 있다.In the
또한 본 발명의 안전관리 시스템(1)은 안전관리 어플리케이션이 사용자의 현재 시간대와, 기 설정된 우범시간대를 비교하여 현재 시간이 우범시간대로 진입하면, 경고상황 발생데이터를 생성하여 표출함으로써 돌발 상황을 사전에 효율적으로 방지할 수 있게 된다.In the
또한 본 발명의 안전관리 시스템(1)은 안전관리 어플리케이션에 의해 돌발 상황이 발생되었다고 판단되면, 관리서버가 사용자의 위치를 지속적으로 추적함과 동시에 경찰청 서버로 이를 신속하게 알리고, 보호자의 단말기로 이러한 정보를 전송함으로써 돌발 상황에 대한 신속한 대처가 이루어질 수 있게 된다.In addition, when the
또한 본 발명의 안전관리 시스템(1)은 관리서버가 돌발 상황 발생 시 해당 사용자의 현재 위치로부터 가장 인접한 위치에 있는 안전관리 어플리케이션으로 돌발 상황이 발생된 위치 및 관련 정보를 포함하는 돌발상황 발생데이터를 전송함으로써 돌발 상황 대처에 대한 신속성을 극대화시킬 수 있다.In the
1:안전관리 시스템 2:웨어러블 장치 3:휴대단말기
5:안전관리 어플리케이션 7:관리서버 9:인접단말기
10:통신망 11:근거리 통신망 41:제1 센서
42:제2 센서 43:제어기 50:제어부
51:메모리 52:입출력부 53:인터페이스 관리부
54:생체신호 분석부 55:데시벨 분석부 56:음성인식부
57:돌발상황 관리부 58:경고상황 관리부1: safety management system 2: wearable device 3: portable terminal
5: safety management application 7: management server 9: neighboring terminal
10: communication network 11: local area network 41: first sensor
42: second sensor 43: controller 50:
51: memory 52: input / output unit 53: interface management unit
54: biological signal analysis unit 55: decibel analysis unit 56: speech recognition unit
57: an unexpected situation management unit 58: a warning situation management unit
Claims (6)
상기 사용자가 소지한 단말기이며, 상기 웨어러블 장치로부터 전송받은 생체정보를 분석하는 응용 프로그램인 안전관리 어플리케이션이 설치되는 휴대단말기;
관리서버를 포함하고,
상기 안전관리 어플리케이션은
상기 웨어러블 장치에 의해 측정된 생체정보를 분석하는 생체신호 분석부;
기 설정된 임계범위와 비교하여 생체정보가 임계범위를 벗어나는 경우, 상기 사용자에게 돌발 상황이 발생될 수도 있다는 예측정보를 생성하며, 기 설정된 주기 동안 생성된 예측정보의 수량(N)을 산출한 후 산출된 예측정보 수량(N)을 기 설정된 설정값(TH:Threshold)에 비교하여 산출된 예측정보 수량(N)이 설정값(TH)을 초과하는 경우 사용자에게 돌발 상황이 발생하였다고 최종 판단하며, 현재 GPS위치정보 및 돌발 상황에 관련된 내용정보를 포함하는 돌발상황 발생데이터를 생성하는 돌발상황 관리부를 더 포함하고,
상기 휴대단말기는 음향을 수집하는 마이크를 더 포함하고,
상기 안전관리 어플리케이션은
상기 마이크에 의해 수집된 음향데이터의 데시벨을 검출하는 데시벨 분석부;
상기 마이크에 의해 수집된 음향데이터를 분석하여 음성을 인식하는 음성인식부를 더 포함하고,
상기 돌발 상황 관리부는
상기 데시벨 분석부에 의해 검출된 데시벨을 임계치와 비교하여 검출된 데시벨이 임계치를 초과하는 경우 예측정보를 생성하며, 상기 음성인식부에 의해 인식된 단어가 기 설정된 참조문구들 중 어느 하나인 경우 예측정보를 생성하고,
상기 음성인식부는
기 설정된 제1 음성인식 알고리즘을 이용하여 음향데이터를 분석하는 제1 음성분석모듈;
상기 제1 음성분석모듈에 의해 분석된 결과데이터로부터 특징벡터를 추출한 후 추출된 특징벡터를 이용하여 제1 특징파라미터를 검출하는 제1 특징파라미터 검출모듈;
기 설정된 제2 음성인식 알고리즘을 이용하여 음향데이터를 분석하는 제2 음성분석모듈;
상기 제2 음성분석모듈에 의해 분석된 결과데이터로부터 특징벡터를 추출한 후 추출된 특징벡터를 이용하여 제2 특징파라미터를 검출하는 제2 특징파라미터 검출모듈;
기 설정된 제3 음성인식 알고리즘을 이용하여 음향데이터를 분석하는 제3 음성분석모듈;
상기 제3 음성분석모듈에 의해 분석된 결과데이터로부터 특징벡터를 추출한 후 추출된 특징벡터를 이용하여 제3 특징파라미터를 검출하는 제3 특징파라미터 검출모듈;
상기 제1 특징파라미터 검출모듈 및 상기 제2 특징파라미터 검출모듈에 의해 검출된 제1 특징파라미터 및 제2 특징파라미터의 차이값(d1)과, 상기 제2 특징파라미터 검출모듈 및 상기 제3 특징파라미터 검출모듈에 의해 검출된 제2 특징파라미터 및 제3 특징파라미터의 차이값(d2)과, 제1 특징파라미터 검출모듈 및 상기 제3 특징파라미터 검출모듈에 의해 검출된 제1 특징파라미터 및 제3 특징파라미터의 차이값(d3)을 산출한 후 산출된 차이값(d1), (d2), (d3)들 각각을 기 설정된 임계치와 비교하며, 만약 차이값(d1), (d2), (d3)들이 임계치 이내이거나 또는 차이값(d1), (d2), (d3)들 중 어느 하나가 임계치를 초과하면 차이값(d1), (d2), (d3)들의 평균값을 최종 결정하고, 만약 차이값(d1), (d2), (d3)들 중 2개가 임계치를 초과하면 남은 한 개의 차이값을 특징파라미터로 최종 결정하는 특징파라미터 판별모듈;
상기 특징파라미터 판별모듈에 의해 결정된 특징파라미터와, 자음 및 모음으로 생성될 수 있는 음절들인 기 설정된 비교모델들의 특징파라미터들 각각의 유사도를 산출한 후 유사도가 임계치 이상인 비교모델을 해당 음절로 검출하는 음절비교모듈;
상기 음절비교모듈로부터 입력된 음절들을 합쳐 음성단어를 결정하는 단어검출모듈을 더 포함하고,
상기 돌발상황 관리부는
상기 음성인식부로부터 입력된 음성단어와, 상기 참조문구들 각각의 연관관계를 검출한 후 검출된 연관관계가 임계치를 초과하는 경우 입력된 음성단어를 해당 참고문구로 결정한 후 예측정보를 생성하고,
상기 관리서버는 상기 안전관리 어플리케이션으로부터 돌발상황 발생데이터를 전송받으면, 해당 사용자의 현재GPS정보 및 현재 구동 중인 안전관리 어플리케이션의 GPS정보를 이용하여 해당 사용자의 위치로부터 가장 인접한 위치의 안전관리 어플리케이션으로 돌발상황 발생데이터를 전송하는 것을 특징으로 하는 안전관리 시스템.A wearable device including at least one sensor attached to a user's body for measuring a bio-signal, and a controller for transmitting biometric information measured by the sensor to the outside;
A mobile terminal in which a safety management application is installed as an application program for analyzing biometric information transmitted from the wearable device;
A management server,
The safety management application
A bio-signal analyzer for analyzing the bio-information measured by the wearable device;
Generates prediction information indicating that an unexpected situation may occur to the user when the biometric information is out of the threshold range as compared with a preset threshold range, calculates the number (N) of prediction information generated during a predetermined period, When the predicted information quantity N calculated by comparing the predicted information quantity N with the preset threshold value TH is greater than the preset value TH, the user is finally determined that an unexpected situation has occurred, Further comprising an unexpected situation management unit for generating an unexpected situation occurrence data including GPS position information and contents information related to an unexpected situation,
The portable terminal further includes a microphone for collecting sound,
The safety management application
A decibel analyzing unit for detecting a decibel of the acoustic data collected by the microphone;
Further comprising: a voice recognition unit for recognizing voice by analyzing the acoustic data collected by the microphone,
The unexpected situation management unit
A decoding unit for comparing the decibel detected by the decibel analyzing unit with a threshold value to generate prediction information when the detected decibel exceeds a threshold value; and, if the word recognized by the speech recognition unit is one of preset reference phrases, Information,
The speech recognition unit
A first speech analysis module for analyzing the acoustic data using a predetermined first speech recognition algorithm;
A first feature parameter detection module for extracting a feature vector from the resultant data analyzed by the first speech analysis module and detecting a first feature parameter using the extracted feature vector;
A second speech analysis module for analyzing the acoustic data using a predetermined second speech recognition algorithm;
A second feature parameter detection module for extracting a feature vector from the resultant data analyzed by the second speech analysis module and detecting a second feature parameter using the extracted feature vector;
A third speech analysis module for analyzing the sound data using a predetermined third speech recognition algorithm;
A third feature parameter detection module for extracting a feature vector from the resultant data analyzed by the third speech analysis module and detecting a third feature parameter using the extracted feature vector;
(D1) between the first feature parameter and the second feature parameter detected by the first feature parameter detection module and the second feature parameter detection module, and a difference value A difference value d2 between the second feature parameter and the third feature parameter detected by the module and a difference value d2 between the first feature parameter and the third feature parameter detected by the first feature parameter detection module and the third feature parameter detection module, The difference values d1, d2 and d3 are compared with predetermined threshold values after the difference value d3 is calculated and if the difference values d1, (D1), (d2), or (d3) is determined if any one of the difference values d1, d2, and d3 exceeds the threshold value, and if the difference value d1 ), (d2), and (d3) exceeds the threshold value, one remaining difference value is used as a characteristic parameter Determining characteristic parameters determination module;
A syllable for calculating a similarity between each of the feature parameters determined by the feature parameter determination module and feature parameters of predetermined comparison models, which are syllables that can be generated by consonants and vowels, A comparison module;
Further comprising a word detection module for summing the syllables input from the syllable comparison module to determine a spoken word,
The unexpected situation management unit
If the detected relation is greater than a threshold after detecting the association between each of the speech words input from the speech recognition unit and the reference phrases, the input speech word is determined as a corresponding reference phrase,
When the management server receives the unexpected situation occurrence data from the safety management application, it uses the current GPS information of the user and the GPS information of the currently running safety management application, And transmits the situation occurrence data.
상기 안전관리 어플리케이션은 경고상황 관리부를 더 포함하고,
상기 경고상황 관리부는
GPS위치정보와, 상기 관리서버로부터 전송받은 우범지대의 위치정보를 비교하여 사용자의 현재 위치가 우범지대로 진입하거나 또는 현재시간이 기 설정된 우범시간대에 포함되는 경우 사용자의 현재GPS위치정보 및 경고상황에 관련된 내용정보를 포함하는 경고상황 발생데이터를 생성하고, 상기 휴대단말기로 생성된 경고상황 발생데이터를 표출하는 것을 특징으로 하는 안전관리 시스템.The security management system according to claim 1, wherein the management server periodically transmits location information of a crime zone, which is a high crime rate area, to the safety management application,
The safety management application further includes a warning situation management unit,
The warning situation management unit
When the current position of the user enters the bad zone or the current time is included in the pre-established time zone by comparing the GPS position information with the location information of the bad zone transmitted from the management server, Generates warning condition occurrence data including content information related to the warning condition occurrence data, and displays the warning condition occurrence data generated in the portable terminal.
상기 관리서버는 상기 안전관리 어플리케이션으로부터 돌발상황 발생데이터를 전송받으면, 전송받은 돌발상황 발생데이터를 기 설정된 보호자 단말기 및 경찰청서버로 전송하는 것을 특징으로 하는 안전관리 시스템.The security management application according to claim 4, wherein, when the unexpected situation occurrence data is generated by the unexpected situation management unit, the safety management application transmits the generated unexpected situation occurrence data to the management server,
Wherein when the management server receives the unexpected state occurrence data from the safety management application, the management server transmits the received unexpected state occurrence data to the predetermined parent terminal and the police server.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170099464A KR101893945B1 (en) | 2017-08-07 | 2017-08-07 | System for safety management using biometric information and voice information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170099464A KR101893945B1 (en) | 2017-08-07 | 2017-08-07 | System for safety management using biometric information and voice information |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101893945B1 true KR101893945B1 (en) | 2018-08-31 |
Family
ID=63407699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170099464A KR101893945B1 (en) | 2017-08-07 | 2017-08-07 | System for safety management using biometric information and voice information |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101893945B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210034821A (en) * | 2019-09-23 | 2021-03-31 | 장훈 | Portable device for coping with critcal situation and system for coping with critcal situation using the same |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140046170A (en) * | 2012-10-10 | 2014-04-18 | 에스케이네트웍스서비스 주식회사 | System for reporting school violence |
KR20150009729A (en) * | 2013-07-17 | 2015-01-27 | 전남대학교산학협력단 | System and method for measuring health in vehicle |
KR20150098288A (en) * | 2014-02-19 | 2015-08-28 | 이동원 | the emergency situation sensing device responding to physical and mental shock and the emergency situation sensing method using the same |
KR20160133820A (en) * | 2015-05-13 | 2016-11-23 | 주식회사 메디플러스솔루션 | System for urgent rescue using portable device and treating service of urgent rescue |
KR20170018140A (en) * | 2015-08-05 | 2017-02-16 | 한국전자통신연구원 | Method for emergency diagnosis having nonlinguistic speech recognition function and apparatus thereof |
-
2017
- 2017-08-07 KR KR1020170099464A patent/KR101893945B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140046170A (en) * | 2012-10-10 | 2014-04-18 | 에스케이네트웍스서비스 주식회사 | System for reporting school violence |
KR20150009729A (en) * | 2013-07-17 | 2015-01-27 | 전남대학교산학협력단 | System and method for measuring health in vehicle |
KR20150098288A (en) * | 2014-02-19 | 2015-08-28 | 이동원 | the emergency situation sensing device responding to physical and mental shock and the emergency situation sensing method using the same |
KR20160133820A (en) * | 2015-05-13 | 2016-11-23 | 주식회사 메디플러스솔루션 | System for urgent rescue using portable device and treating service of urgent rescue |
KR20170018140A (en) * | 2015-08-05 | 2017-02-16 | 한국전자통신연구원 | Method for emergency diagnosis having nonlinguistic speech recognition function and apparatus thereof |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210034821A (en) * | 2019-09-23 | 2021-03-31 | 장훈 | Portable device for coping with critcal situation and system for coping with critcal situation using the same |
KR102324656B1 (en) * | 2019-09-23 | 2021-11-09 | 장훈 | Portable device for coping with critcal situation and system for coping with critcal situation using the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109407504B (en) | Personal safety detection system and method based on smart watch | |
KR102408257B1 (en) | The method and apparatus for early warning the danger | |
EP3588455B1 (en) | Identifying a location of a person | |
US10455342B2 (en) | Sound event detecting apparatus and operation method thereof | |
US8237571B2 (en) | Alarm method and system based on voice events, and building method on behavior trajectory thereof | |
US9462444B1 (en) | Cloud based collaborative mobile emergency call initiation and handling distribution system | |
US7356473B2 (en) | Management and assistance system for the deaf | |
US9934658B1 (en) | Visually-impaired-accessible building safety system | |
JP2018159991A (en) | Learning model construction device, abnormality detection device, abnormality detection system, and server | |
CN109671234A (en) | A kind of alarm method and device of monitoring device | |
CN110719553A (en) | Smart speaker system with cognitive sound analysis and response | |
KR101893945B1 (en) | System for safety management using biometric information and voice information | |
Zhang et al. | A novel fuzzy logic algorithm for accurate fall detection of smart wristband | |
CN112384974A (en) | Electronic device and method for providing or obtaining data for training an electronic device | |
Wu et al. | Robot-assisted intelligent emergency system for individual elderly independent living | |
KR102029760B1 (en) | System for detecting event using user emotion analysis and method thereof | |
CN112700765A (en) | Assistance techniques | |
US11069213B2 (en) | Fall detection system and method | |
Hassan et al. | Comparative analysis of machine learning algorithms for classification of environmental sounds and fall detection | |
KR20200101479A (en) | Home care management system utilizing IOT and voice recognition function | |
KR20200047083A (en) | Emergency monitoring system for people with disabilities and the elderly according to voice recognition | |
Jat et al. | Speech-based automation system for the patient in orthopedic trauma ward | |
KR102303633B1 (en) | Smart Home Care System Using Emotional and Status Analysing of Compansion Animal | |
WO2013056335A1 (en) | Emergency detection and response system and method | |
CN113744761A (en) | Notification device, wearable device and notification method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |