KR101840644B1 - 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법 - Google Patents
감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법 Download PDFInfo
- Publication number
- KR101840644B1 KR101840644B1 KR1020110121599A KR20110121599A KR101840644B1 KR 101840644 B1 KR101840644 B1 KR 101840644B1 KR 1020110121599 A KR1020110121599 A KR 1020110121599A KR 20110121599 A KR20110121599 A KR 20110121599A KR 101840644 B1 KR101840644 B1 KR 101840644B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- sensing
- risk
- image
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000008451 emotion Effects 0.000 title claims abstract description 49
- 230000001149 cognitive effect Effects 0.000 title claims description 9
- 230000008909 emotion recognition Effects 0.000 claims abstract description 103
- 230000035945 sensitivity Effects 0.000 claims abstract description 57
- 230000001953 sensory effect Effects 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 23
- 230000009471 action Effects 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 18
- 238000012544 monitoring process Methods 0.000 claims description 16
- 230000035807 sensation Effects 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 15
- 230000002996 emotional effect Effects 0.000 claims description 12
- 230000035772 mutation Effects 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 8
- 230000017531 blood circulation Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000002089 crippling effect Effects 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims 2
- 230000010485 coping Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- 210000003403 autonomic nervous system Anatomy 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 208000020016 psychiatric disease Diseases 0.000 abstract 1
- 230000006870 function Effects 0.000 description 25
- 238000004458 analytical method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000013507 mapping Methods 0.000 description 9
- 230000001276 controlling effect Effects 0.000 description 8
- 230000004927 fusion Effects 0.000 description 8
- 230000008921 facial expression Effects 0.000 description 7
- 238000013186 photoplethysmography Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 210000001124 body fluid Anatomy 0.000 description 4
- 239000010839 body fluid Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 208000007101 Muscle Cramp Diseases 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003647 oxidation Effects 0.000 description 2
- 238000007254 oxidation reaction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 208000005392 Spasm Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000002079 cooperative effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000001671 psychotherapy Methods 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
- G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Child & Adolescent Psychology (AREA)
- Alarm Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Emergency Alarm Devices (AREA)
Abstract
본 발명은 감성인지를 기반으로 한 신변보호 기술에 관한 것으로, 인간의 자율신경계 반응을 통해 나타나는 생체신호의 센싱을 통한 감성 신호인지 및 환경 신호의 센싱을 통한 상황인지 정보를 기반으로 위험 감성 및 범행 감성을 인지하고, 인지된 위험 및 범행 감성에 기반한 스마트 CCTV 제어 및 연동을 통한 신변보호 관리 장치의 제어 및 연동을 통해 위험 상황이나 범행 상황을 예방하고 자동 대처하는 것을 특징으로 한다. 본 발명에 의하면, 감성인식 기술 적용으로 자동화된 보호/감시 체제를 구현하여 범죄에 대한 예방 및 해결에 도움을 줄 수 있고 노약자나 여성이 심리적 혼란 상태에 빠져 피해상황에서 제대로 된 대처를 하지 못하거나 급작스런 신체적 이상으로 자기 대처가 불가능한 경우를 자동으로 감지하여 도움을 요청함으로써 만일의 사태에 대비하게 할 수 있다.
Description
본 발명은 감성인지를 기반으로 한 신변보호 기술에 관한 것으로서, 특히 사람의 위험감성 또는 범행감성을 인지하여 이를 기반으로 사람들의 신변을 보호해주는데 적합한 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법에 관한 것이다.
최근 아동대상성범죄의 이슈화로 인해 휴대폰을 이용한 안심 알림이 서비스 등이 더욱 활성화되고 성범죄자 감시체제의 강화 요구가 높아지고 있지만 이에 대한 예방이나 자동화된 신고 혹은 호신 기술은 아직 없는 상태이다.
특히, 최근 사회적인 문제가 되고 있는 아동 및 여성관련 성범죄나 납치 사건 등의 피해자의 위험감성이나 범행자의 범행감성을 자동 인지하여 대처하는 기술로 위험상황이나 범행상황 발생을 미리 예측, 예방할 수 있는 방법이 필요하다.
상기한 바와 같이 종래 기술에 의한 신변보호 방식에 있어서는, 사용자가 직접 휴대폰에 설정된 버튼을 눌러서 SOS 서비스를 이용하거나, 위험을 알릴 수 있는 호신기기 등을 사용하여야 하므로, 위험 및 범죄 상황에서 사용자가 당황하거나 신변 보호 행동을 취할 수 없는 경우에는 소용이 없다는 문제점이 있었다.
이에 본 발명의 실시예는, 인간의 위험감성 및 범행감성을 자동으로 인지하여 위험상황이나 범행상황 발생을 예방할 수 있는 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법을 제공할 수 있다.
또한 본 발명의 실시예는, 인간의 자율신경계 반응을 통해 나타나는 생체신호를 센싱을 통한 감성 신호인지 및 환경 신호 센싱을 통한 상황인지 정보를 기반으로 위험 감성 및 범행 감성을 인지하고, 인지된 위험 및 범행 감성에 기반한 스마트 CCTV 제어 및 연동이 가능한 보디가드 디바이스와 스마트 CCTV 및 신변보호 관리 장치의 제어 및 연동을 통해 위험 상황이나 범행상황을 예방하고 자동 대처할 수 있는 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법을 제공할 수 있다.
본 발명의 일 실시예에 따른 감성인지 디바이스는, 입력 관련 메뉴를 표시하고, 제어 명령을 입력 받는 사용자 인터페이스와, 적어도 하나의 센서로부터 사용자의 생체 신호 또는 주변 환경 신호를 센싱하는 센싱부와, 상기 센싱된 신호를 토대로 상기 사용자에 대한 위험 또는 범행 신호의 변이 여부를 판단하여 연동된 영상 및 센서 제어 장치로 추적 요청을 수행하는 감성인지 관리부와, 위험 또는 범행 감성에 따라 연동된 신변보호 관리 장치로 위험 또는 범행 상황 대처 요청을 수행하는 위험 및 범행 상황 조치부를 포함할 수 있다.
그리고 상기 센싱부는, 광전용적맥파(PPG), 피부 전기 활동(GSR), 피부 전기 전도도(SC), 피부 온도(ST) 센서, 음성 센서 및 체액 센서 중 적어도 하나의 센서를 통해 생체신호를 센싱하여 감성요소를 추출하는 생체 신호 센싱부와, 온도, 습도, 조도, 영상, 가속도, 기울기 센서 중 적어도 하나의 센서를 통해 사용자 주변의 환경 신호를 센싱하여 공간 감성요소를 추출하는 환경신호 센싱부를 포함할 수 있다.
그리고 상기 감성인지 관리부는, 혈류, 피부 전기 전도도, 피부 온도, 음성, 영상 및 움직임 중 적어도 하나의 센싱된 신호를 분석하여 해당 신호의 위험 감성 또는 범행 감성 신호의 변이 여부를 기 설정된 임계치를 토대로 판단하고, 상기 위험 감성 또는 범행 감성 신호의 변이가 인지된 경우, 상기 영상 및 센서 제어 장치로 추적 요청을 수행하여 객체 추적 정보를 수신하고, 분석 및 수신된 정보를 토대로 기 설정된 위험 및 범행 감성 알고리즘을 이용하여 위험 또는 범행 감성 여부를 판단할 수 있다.
그리고 상기 감성인지 관리부는, 센싱된 음성 신호를 토대로 음파의 피치 및 진동을 분석하여 추출하고, 상기 음성 신호로부터 음성 단어를 분석하여 추출할 수 있다.
그리고 상기 감성인지 관리부는, 센싱된 영상 신호를 토대로 사용자 얼굴의 표정 변화 여부를 분석하고, 상기 영상 신호로부터 사용자의 피부색 변화 여부를 분석할 수 있다.
그리고 상기 위험 및 범행 상황 조치부는, 경보음을 출력하는 경보 상황 처리부와, 실시간 위치를 추적하는 위치 추적 관리부와, 현장 상황에 대한 영상 및 소리를 녹화하는 녹화부와, 위험 및 범행 상황에 대해 기 설정된 상황 메시지 전송 및 관할 부서로의 신고를 수행하는 관할부처 연동부 중 위험 또는 범행 감성에 따라 적어도 하나를 수행할 수 있다.
본 발명의 일 실시예에 따른 영상 및 센서 제어 장치는, 생체 신호 및 주변 환경 신호를 센싱하여 위험 및 범행 감성을 인지하는 감성인지 디바이스로부터 객체 추적 요청 메시지를 수신하는 연동부와, 상기 추적 요청된 객체에 대한 영상 인식 및 주변 환경에 대한 센싱을 수행하고, 다른 영상 및 센서 제어 장치와 연동하여 위치 추적을 수행하는 센싱부와, 인식된 영상, 주변 환경 센싱 정보 및 위치 추적 정보를 상기 감성인지 디바이스 및 연동된 신변보호 관리 장치로 전송하는 처리부를 포함할 수 있다.
본 발명의 일 실시예에 따른 신변 보호 관리 장치는, 생체 신호 및 주변 환경 신호를 센싱하여 위험 및 범행 감성을 인지하는 감성인지 디바이스와, 상기 감성인지 디바이스로부터 요청된 객체에 대한 추적을 통해 영상 및 위치정보 등 수집을 수행하는 영상 및 센서 제어 장치를 연동하는 연동부와, 상기 감성인지 디바이스 및 상기 영상 및 센서 제어 장치로부터 해당 객체에 대한 정보를 수신한 경우, 이를 분석하여 위험 및 범행 감성 인지 알고리즘을 수행하는 모니터링부와, 분석 결과 위험 또는 범행 감성으로 판단된 경우, 상기 감성인지 디바이스로 경보음 발생 요청 메시지를 전송하고, 위험 및 범행에 따른 관할부처로 해당 객체에 대한 위급 상황 요청을 수행하는 위급 상황 조치부를 포함할 수 있다.
그리고 상기 모니터링부는, 상기 감성인지 디바이스로부터 수신한 환경 정보, 생체 정보, 음성 정보, 영상 정보 중 적어도 하나와, 상기 영상 및 센서 제어 장치로부터 수신한 영상 및 위치 추적 정보에 대한 분석을 수행할 수 있다.
본 발명의 일 실시예에 따른 감성인지 기반 보디가드 시스템은, 사용자에 대한 생체신호의 센싱을 통해 감성 신호를 수신하고, 상기 사용자의 주변 환경 신호의 센싱을 통한 상황 정보 수신을 통해 위험 감성 및 범행 감성 여부를 기 설정된 임계치를 토대로 판단하는 감성 인지 디바이스와, 연동된 상기 감성인지 디바이스의 객체 추적 요구에 따라 영상 신호 및 주변 환경 정보를 센싱하고, 해당 객체의 위치 정보를 토대로 추적을 수행하고, 상기 해당 객체에 대한 추적 관련 정보를 상기 감성 인지 디바이스로 전송하는 영상 및 센서 제어 장치와, 상기 감성인지 디바이스, 상기 영상 및 센서 제어 장치와 연동하여 상황 관리 및 대처 요청 메시지를 수신하고, 상기 해당 객체에 대한 정보를 분석하여 위험 또는 범행 감성으로 판단된 경우, 긴급 출동 부서로 신고하고, 상기 해당 객체에 대한 위치 추적 및 모니터링을 수행하는 신변보호 관리 장치를 포함할 수 있다.
본 발명의 일 실시예에 따른 감성인지 디바이스의 제어 방법은, 센싱부에서 적어도 하나의 센서로부터 사용자의 생체 신호 또는 주변 환경 신호를 센싱하는 과정과, 감성인지 관리부에서 상기 센싱된 신호를 토대로 상기 사용자에 대한 위험 또는 범행 신호의 변이 여부를 판단하여 연동된 영상 및 센서 제어 장치로 추적 요청 메시지를 전송하는 과정과, 조치부를 통해 위험 또는 범행 감성에 따라 연동된 신변보호 관리 장치로 위험 또는 범행 상황 대처 요청 메시지를 전송하는 과정을 포함할 수 있다.
그리고 상기 센싱하는 과정은, 광전용적맥파(PPG), 피부 전기 활동(GSR), 피부 전기 전도도(SC), 피부 온도(ST) 센서, 음성 센서 및 체액 센서 중 적어도 하나의 센서를 통해 생체신호를 센싱하여 감성요소를 추출하는 과정과, 온도, 습도, 조도, 영상, 가속도, 기울기 센서 중 적어도 하나의 센서를 통해 사용자 주변의 환경 신호를 센싱하여 공간 감성요소를 추출하는 과정을 포함할 수 있다.
그리고 상기 추적 요청 메시지를 전송하는 과정은, 혈류, 피부 전기 전도도, 피부 온도, 음성, 영상 및 움직임 중 적어도 하나의 센싱된 신호를 분석하여 해당 신호의 위험 감성 또는 범행 감성 신호의 변이 여부를 기 설정된 임계치를 토대로 판단하는 과정과, 상기 위험 감성 또는 범행 감성 신호의 변이가 인지된 경우, 상기 영상 및 센서 제어 장치로 추적 요청을 수행하여 객체 추적 정보를 수신하는 과정과, 분석 및 수신된 정보를 토대로 기 설정된 위험 및 범행 감성 알고리즘을 이용하여 위험 또는 범행 감성 여부를 판단하는 과정을 포함할 수 있다.
그리고 상기 기 설정된 임계치를 토대로 판단하는 과정은, 센싱된 음성 신호를 토대로 음파의 피치 및 진동을 분석하여 추출하고, 상기 음성 신호로부터 음성 단어를 분석하여 추출할 수 있다.
그리고 상기 기 설정된 임계치를 토대로 판단하는 과정은, 센싱된 영상 신호를 토대로 사용자 얼굴의 표정 변화 여부를 분석하고, 상기 영상 신호로부터 사용자의 피부색 변화 여부를 분석할 수 있다.
그리고 상기 위험 또는 범행 상황 대처 요청 메시지를 전송하는 과정은, 경보음을 출력하는 경보 상황 처리부와, 실시간 위치를 추적하는 위치 추적 관리부와, 현장 상황에 대한 영상 및 소리를 녹화하는 녹화부와, 위험 및 범행 상황에 대해 기 설정된 상황 메시지 전송 및 관할 부서로의 신고를 수행하는 관할부처 연동부 중 위험 또는 범행 감성에 따라 적어도 하나를 수행하는 것을 특징으로 하는 감성인지 디바이스 제어 방법.
본 발명의 일 실시예에 따른 영상 및 센서 제어 장치의 제어 방법은, 연동부에서 생체 신호 및 주변 환경 신호를 센싱하여 위험 및 범행 감성을 인지하는 감성인지 디바이스로부터 객체 추적 요청 메시지를 수신하는 과정과, 센싱부에서 상기 추적 요청된 객체에 대한 영상 인식 및 주변 환경에 대한 센싱을 수행하고, 다른 영상 및 센서 제어 장치와 연동하여 위치 추적을 수행하는 과정과, 처리부에서 인식된 영상, 주변 환경 센싱 정보 및 위치 추적 정보를 상기 감성인지 디바이스 및 연동된 신변보호 관리 장치로 전송하는 과정을 포함할 수 있다.
본 발명의 일 실시예에 따른 신변 보호 관리 장치 제어 방법은, 연동부에서 생체 신호 및 주변 환경 신호를 센싱하여 위험 및 범행 감성을 인지하는 감성인지 디바이스와, 상기 감성인지 디바이스로부터 요청된 객체에 대한 추적을 통해 영상 및 위치정보 등 수집을 수행하는 추적을 수행하는 영상 및 센서 제어 장치를 연동하는 과정과, 모니터링부에서 상기 감성인지 디바이스 및 상기 영상 및 센서 제어 장치로부터 해당 객체에 대한 정보를 수신한 경우, 이를 분석하여 위험 및 범행 감성 인지 알고리즘을 수행하는 과정과, 위급 상황 조치부에서 분석 결과 위험 또는 범행 감성으로 판단된 경우, 상기 감성인지 디바이스로 경보음 발생 요청 메시지를 전송하고, 위험 및 범행에 따른 관할부처로 해당 객체에 대한 위급 상황 요청을 수행하는 과정을 포함할 수 있다.
그리고 상기 위험 및 범행 감성 인지 알고리즘을 수행하는 과정은, 상기 감성인지 디바이스로부터 수신한 환경 정보, 생체 정보, 음성 정보, 영상 정보 중 적어도 하나와, 상기 영상 및 센서 제어 장치로부터 수신한 영상 및 위치 추적 정보에 대한 분석을 수행하는 것을 특징으로 하는 신변보호 관리 장치 제어 방법.
본 발명의 일 실시예에 따른 감성인지 기반 보디가드 시스템 제어 방법은, 감성 인지 디바이스에서 사용자에 대한 생체신호의 센싱을 통해 감성 신호를 수신하는 과정과, 상기 사용자의 주변 환경 신호의 센싱을 통한 상황 정보를 수신하는 과정과, 각 수신된 정보를 통해 위험 감성 및 범행 감성 여부를 기 설정된 임계치를 토대로 판단하는 과정과, 영상 및 센서 제어 장치에서 연동된 상기 감성인지 디바이스의 객체 추적 요구 메시지를 수신한 경우, 영상 신호 및 주변 환경 정보를 센싱하는 과정과, 해당 객체의 위치 정보를 토대로 추적을 수행하고, 상기 해당 객체에 대한 추적 관련 정보를 상기 감성 인지 디바이스로 전송하는 과정과, 신변보호 관리 장치에서 상기 감성인지 디바이스, 상기 영상 및 센서 제어 장치와 연동하여 상황 관리 및 대처 요청 메시지를 수신하는 과정과, 상기 해당 객체에 대한 정보를 분석하여 위험 또는 범행 감성으로 판단된 경우, 긴급 출동 부서로 신고하는 과정과, 상기 해당 객체에 대한 위치 추적 및 모니터링을 수행하는 과정을 포함할 수 있다.
상기와 같은 본 발명의 실시예에 따른 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상이 있다.
본 발명의 실시예에 따르면, 감성인식 기술 적용으로 자동화된 보호/감시 체제를 구현하여 범죄에 대한 예방 및 해결에 도움을 줄 수 있고 노약자나 여성이 심리적 혼란 상태에 빠져 피해상황에서 제대로 된 대처를 하지 못하거나 급작스런 신체적 이상으로 자기 대처가 불가능한 경우를 자동으로 감지하여 도움을 요청함으로써 만일의 사태에 대비할 수 있고, 평상시 심리적으로 안정감을 더해 줄 수 있다.
또한, 재범 가능성이 높은 전과자나 보호 관찰 중인 사람 등의 심리적 상태를 지속적으로 체크하여 충동적, 우발적인 범죄의 재발을 감지, 혹은 예방할 수 있으며 성범죄자 중 성도착증 등 정신적인 문제가 있는 경우 자신의 상태를 모니터링하고 스스로에게 알람으로 경고하거나 정보를 주는 등의 서비스를 통해 심리치료 및 자기통제에 도움을 줄 수 있다.
특히, 정상적인 의사소통이 어려운 사람들에게 자신의 위험이나 상황을 남에게 전달할 수 있는 수단으로 제공하여 삶의 질을 높여 복지를 증진시키는 효과를 기대할 수 있다.
도 1은 본 발명의 실시예에 따른 감성인지기반 보디가드 시스템의 구조를 간략히 도시한 블록도,
도 2는 본 발명의 실시예에 따른 감성인지 디바이스의 세부 구조를 도시한 블록도,
도 3은 본 발명의 실시예에 따른 영상 및 센서 제어 장치의 세부 구조를 도시한 블록도,
도 4는 본 발명의 실시예에 따른 신변 보호 관리 장치의 세부 구조를 도시한 블록도,
도 5 내지 도 8은 본 발명의 실시예에 따른 감성인지 디바이스의 동작 절차를 도시한 흐름도,
도 9는 본 발명의 실시예에 따른 영상 및 센서 제어 장치의 동작 절차를 도시한 흐름도,
도 10은 본 발명의 실시예에 따른 신변 보호 관리 장치의 동작 절차를 도시한 흐름도.
도 2는 본 발명의 실시예에 따른 감성인지 디바이스의 세부 구조를 도시한 블록도,
도 3은 본 발명의 실시예에 따른 영상 및 센서 제어 장치의 세부 구조를 도시한 블록도,
도 4는 본 발명의 실시예에 따른 신변 보호 관리 장치의 세부 구조를 도시한 블록도,
도 5 내지 도 8은 본 발명의 실시예에 따른 감성인지 디바이스의 동작 절차를 도시한 흐름도,
도 9는 본 발명의 실시예에 따른 영상 및 센서 제어 장치의 동작 절차를 도시한 흐름도,
도 10은 본 발명의 실시예에 따른 신변 보호 관리 장치의 동작 절차를 도시한 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 발명의 실시예는, 일상생활에서 사용자가 접한 상황에 따라 반응하는 감성중 위험 감성 및 범행 감성을 인지하여 위험 상황이나 범행 행위를 예방하거나 자동 대처하기 위한 것으로서, 인간의 자율신경계 반응을 통해 나타나는 생체신호를 센싱을 통한 감성 신호인지 및 환경 신호 센싱을 통한 상황인지 정보를 기반으로 위험 감성 및 범행 감성을 인지하고, 인지된 위험 및 범행 감성에 기반한 스마트 CCTV 제어 및 연동이 가능한 보디가드 디바이스와 스마트 CCTV 및 신변보호 관리 장치의 제어 및 연동을 통해 위험 상황이나 범행상황을 예방하고 자동 대처하는 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 감성인지기반 보디가드 시스템의 구조를 간략히 도시한 블록도이다.
도 1을 참조하면, 감성인지기반 보디가드 시스템(100)은 위험/범행 감성을 인지하는 감성인지 디바이스(110), 스마트 CCTV로서 감성인지 디바이스(110)와 연동하여 추적 객체에 대한 영상 및 환경정보를 센싱하고 감성인지 디바이스(110)와 신변보호 관리 장치(130)로 센싱된 정보를 제공하는 영상 및 센서 제어 장치(120), 감성인지 디바이스(110) 및 영상 및 센서 제어 장치(120)와의 연동을 통한 상황 조치 및 대처 기능을 수행하는 신변보호 관리 장치(130) 등을 포함할 수 있다.
감성인지 디바이스(110), 영상 및 센서 제어 장치(120) 및 신변보호 관리 장치(130)는 각각 기 설정된 유무선 통신방식으로 연동될 수 있다. 예컨대, 유무선 네트워크 통신 수단으로서, TCP/IP 방식의 인터넷망, WCDMA 및 와이브로 등의 이동통신망, 근거리 네트워크 통신 수단으로서, 무선랜, 블루투스(bluetooth), NFC(Near Field Communication), RFID(Radio Frequency Identification), UWB(Ultra-Wideband), 및 지그비(Zigbee) 등의 근거리 무선 네트워크 통신 방식이 적용될 수 있다.
도 2는 본 발명의 실시예에 따른 감성인지 디바이스의 세부 구조를 도시한 블록도이다.
도 2를 참조하면, 감성인지 디바이스(110)는 위험/범행 감성인지 디바이스 사용자 인터페이스(UI: User Interface)(210), 다채널 생체 신호 센싱부(220), 다채널 환경 신호 센싱부(230), 감성인지 관리부(240) 및 위험/범행 상황 조치부(250) 등을 포함할 수 있다.
위험/범행 감성인지 디바이스 UI(210)는 키패드 또는 터치 스크린 방식으로 사용자로부터 입력된 명령을 감지 및 획득하고, 시스템 조작에 필요한 메뉴 또는 현재의 감성상태 관련 정보 등을 표시할 수 있다.
다채널 생체신호 센싱부(220)는 광전용적맥파(PPG: Photoplethysmography), 피부 전기 활동(GSR: Galvanic Skin Response), 피부 전기 전도도(SC: Skin Conductivity), 피부 온도(ST: Skin Temperature) 등과 같이 자율신경계의 반응에 의해 나타나는 인체의 생리신호를 센싱하는 다채널 (생체신호) 센서부(121), 센싱된 신호를 처리하는 감성 신호 처리부(222), 처리된 감성신호를 분석 및 관리하는 감성 센싱정보 관리부(223), 센싱된 정보로부터 감성인지에 필요한 요소를 추출하는 감성요소 추출부(224) 등을 포함할 수 있다.
다채널 환경신호 센싱부(230)는 조도, 온습도, 위치, 시간, 영상 등의 환경 및 상황 신호를 센싱하는 다채널 (환경신호) 센서부(231), 센싱된 환경신호를 처리하는 환경신호 처리부(232), 처리된 환경신호를 분석 및 관리하는 환경 센싱정보 관리부(233), 센싱된 정보로부터 공간 및 상황 감성인지에 필요한 요소를 추출하는 공간 감성요소 추출부(234) 등을 포함할 수 있다.
이와 같이 다채널 생체신호 센싱부(220) 및 다채널 환경신호 센싱부(230)는 감성인지 디바이스(110)에 연동되어 분리되거나 장착될 수 있다.
감성인지 관리부(240)는 다채널 생체 신호 센싱부(220)로부터 센싱되어 추출된 감성 요소를 전달 받고, 다채널 환경 신호 센싱부(230)로부터 센싱되어 추출된 공간 감성 요소를 전달 받을 수 있으며, 이를 토대로 위험 및 범행 감성을 인지하고 관리할 수 있다.
이러한 위험/범행 감성인지 관리부(240)는 다채널로 센싱된 생체신호를 기반 감성인지에 필요한 정보를 분석하는 다중 생체신호기반 감성신호 분석부(241), 위험감성의 임계치 정의 및 관리를 수행하는 위험감성 임계치 관리부(242), 범행 감성의 임계치 정의 및 관리를 수행하는 범행감성 임계치 관리부(243), 정확한 위험 및 범행 상황인지를 위해 스마트 CCTV로부터 추적객체에 대한 정보 수집을 위한 스마트 CCTV 연동부(244), 상황 발생의 위치를 인지하는 위치 인지부(245), 스마트 CCTV로부터 추적 객체에 영상정보를 수신하는 영상정보 수신부(246), 수신된 영상정보를 분석하는 영상정보 분석부(247), 생체, 환경 및 영상정보를 관리하는 상황인지 및 상황정보 관리부(248), 생체, 환경, 상황정보를 기반으로 위험감성 및 범행감성을 인지하는 위험감성/범행감성 융합추론부(249) 등을 포함할 수 있다.
위험/범행 상황 조치부(250)는 감성인지 관리부(240)로부터 전달 받은 인지 결과를 기반으로 위험 및 범행상황에 대한 조치를 수행할 수 있다.
이러한 위험/범행상황 조치부(250)는 스마트 CCTV 연동을 통한 상황대처 처리부(251), 위험/범행 상황을 알리는 경보상황 처리부(252), 스마트 CCTV 연동을 통한 객체에 대한 위치추적 관리부(253), 상황 등급 등을 고려하여 스마트 CCTV의 제어를 수행할 수 있는 스마트 CCTV 제어부(254), 사건의 위급성 등을 고려한 신변보호 관리 장치(130)와의 공동 대처를 위한 신변보호 관리 장치 연동부(255), 스마트CCTV로부터 수신된 영상정보 및 감성 인지 디바이스(110) 자체에서 센싱된 영상, 음성신호의 현장상황 자동 녹화부(256), 지인이나 가족에게 위험상황을 알리는 위험상황 자동 메세지 송출부(257), 긴급 전화번호(112, 119 등)로 위험상황을 신고하는 위험 상황 자동 신고부(258) 등을 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 영상 및 센서 제어 장치의 세부 구조를 도시한 블록도이다.
도 3을 참조하면, 감성 인지 기반의 영상 및 센서 제어 장치(120)는 감성인지 디바이스(110) 및 신변보호 관리 장치(130)와 연동을 수행하는 연동부(310), 객체추적을 통한 영상신호 및 상황정보를 센싱하는 센싱부(320), 센싱된 정보를 처리 및 제어하는 처리부(330) 등을 포함할 수 있다.
연동부(310)는 감성인지 디바이스(110)와의 연동을 관리하는 디바이스 연동부(311), 감성인지 디바이스(110)로부터 객체추적요구 등을 수신하고 추적된 정보를 전송처리하는 디바이스 메시지 처리부(312), 신변보호 관리 장치(130)와의 정보교류를 위한 신변보호 관리 장치 연동부(313) 등을 포함할 수 있다.
센싱부(320)는 추적 객체에 대한 영상신호를 센싱하는 영상신호 센싱부(321), 스마트 CCTV 주변의 온도 및 습도를 센싱하는 온습도 센싱부(322), 스마트 CCTV 주변의 조도를 센싱하는 조도 센싱부(323), 객체추적을 위한 스마트 CCTV 간 연동추적을 제어하는 객체추적부(324), 센싱된 환경신호를 처리하고 분석하는 환경 다중정보 분석부(325), 센싱된 영상신호를 처리하고 분석하는 영상신호 분석부(326) 등을 포함할 수 있다.
처리부(330)는 분석된 영상정보를 관리하고 메시지화하는 영상신호 관리부(331), 분석된 환경정보를 관리하고 메시지화하는 환경신호 관리부(332), 영상정보 및 환경정보를 감성인지 디바이스(110)로 송출하는 디바이스 메시지 송출부(333), 위험 감성인지 수신시 스마트 CCTV의 제어를 수행하는 위험감성 CCTV 제어부(334), 범행감성인지 수신시 스마트 CCTV 제어를 수행하는 범행감성 CCTV 제어부(335), 객체추적 연동 및 감성인지 디바이스(110), 신변보호 관리 장치(130)의 연동을 위한 CCTV 제어 인터페이스부(336) 등을 포함할 수 있다.
도 4는 본 발명의 실시예에 따른 신변 보호 관리 장치의 세부 구조를 도시한 블록도이다.
도 4를 참조하면, 신변 보호 관리 장치(130)는 감성인지 디바이스 연동부(410), 영상 및 센서 제어 장치(120)와 연동하는 스마트 CCTV 연동부(420), 현재 상황에 대한 위치 관리 및 모니터링을 수행하는 현 상황/위치 관리 및 모니터링부(430), 신변보호 관리 장치(130) 관점에서의 위급상황에 대한 조치를 수행하는 위급상황 조치부(440), 112 및 119 등으로 연결되는 긴급출동 관할 부처 연동부(450) 등을 포함할 수 있다.
도 5 내지 도 8은 본 발명의 실시예에 따른 감성인지 디바이스의 동작 절차를 도시한 흐름도이다.
먼저 도 5를 참조하면, 감성인지 디바이스(110)는 PPG 또는 ECG 센서를 이용하여 혈류 산화포화도 및 맥박, 심전도 등의 신호를 센싱하고(502), GSR 센서를 이용하여 피부 전기 전도도 및 피부온도 신호를 센싱하고(504), 마이크와 같은 음성 센서를 이용한 음성/음파를 센싱하고(506), 체액 센서를 이용하여 혈액, 땀, 침 등의 체액을 센싱하고(508), 가속도 센서 및 기울기 센서를 이용한 움직임 센싱(510), 광학식 카메라와 같은 영상 센서를 이용한 영상인식(512) 등을 수행하게 된다.
즉, 502 단계 내지 512단계에는 순차적으로 수행되는 것은 아니며, 다채널 생체 신호 센싱부(220) 및 다채널 환경신호 센싱부(230)로부터 센싱되는 각 단계가 비 순차적으로 동작하게 된다.
먼저, 502단계의 PPG 센서(ECG 센서) 또는 508단계의 체액 센서를 이용한 생체신호 기반의 위험 및 범행감성 인지 과정으로, 514단계에서 감성 신호 처리부(222) 및 환경 신호 처리부(232)를 통해 각 센서별로 센싱된 신호에 대한 전처리 기능을 수행하게 된다. 그리고 516단계에서 감성요소 추출부(224)는 PPG, ECG, 체액 센싱 신호의 후처리 기능으로 정제된 신호로부터 심박변이도(HRV: Heart Rate Variability), 맥파, 혈류 산화 포화도, 혈류 세기 등의 신호를 검출하게 된다. 검출된 신호는 감성인지 관리부(240)로 전달된다.
감성인지 관리부(240) 내 다중 생세 신호 기반 감성 신호 분석부(241)에서는 528단계에서 HRV, 맥파, 혈류산화포화도, 혈류 세기 등의 신호를 분석하게 된다. 그리고 530단계에서 위험감성 임계치 관리부(242) 및 범행감성 임계치 관리부(243)를 통해 각 신호에 대한 위험감성 변이 임계치와 범행감성 변이 임계치를 구한 후, 532단계에서 위험감성 및 범행감성 신호의 맵핑을 수행하게 된다.
이후 546단계에서는 위험감성으로의 신호변이가 인지되는지를 조사하게 된다. 이에 위험감성으로의 신호변이가 인지되면, 감성인지 디바이스(110)의 위험/범행상황 조치부(250)는 도 8에 도시한 바와 같이 802단계에서 인근 스마트 CCTV 즉, 영상 및 센서 제어 방치(120)로 연동 작동 요청 메시지를 보내고, 804단계에서 감성인지 디바이스(110) 소지자에 대한 객체 상세 추적 요구 메시지를 송출하게 된다.
이후 감성인지 디바이스(110)는 스마트 CCTV로부터 추적 객체에 대한 정보 수집모드로 동작하며, 806단계에서 스마트 CCTV로부터 객체 추적정보를 수신한 경우에는 다중 생체신호 분석(808), 음성정보 분석(810), 영상정보 분석(812), 환경정보 분석(814) 등을 통해 816단계에서 다중 감성요소 추출 및 수집 작업을 수행하게 된다.
그리고 위험감성 임계치 관리부(242) 및 범행감성 임계치 관리부(243)는 818단계에서 해당 다중신호에 대한 위험감성신호 최적 임계치를 추출하고, 820단계에서 범행감성 신호 최적 임계치를 추출하고, 위험감성/범행 가성 융합 추론부(249)에서는 822단계에서 다중감성 신호 기반 위험감성 융합감성인지 알고리즘과 범행감성 융합인지 알고리즘을 수행하게 된다.
이에 824단계에서는 위험감성/범행 감성 융합 추론부(249)를 통해 인지된 감성을 조사하여 위험감성이 인지되면, 신변보호 관리 장치(130)로 감성인지 디바이스(1120) 객체에 대한 위험 상황 관리 및 대처 요구 메시지를 전송하게 된다.
이후, 806단계로 복귀하여 806단계 내지 826단계까지의 객체 추적, 위험 및 범행 감성의 인지 여부를 반복하여 진행하게 되며, 위험/범행 감성인지 디바이스 UI(210)를 통해 사용자로부터 감성인지 종료 요구 메시지를 입력 받은 경우에는 이를 종료하게 된다.
한편, 824단계에서 위험 감성이 인지되지 않은 경우에는 828단계로 진행하여 범행 감성의 인지 여부를 판단하게 된다. 이에 범행 감성이 판단된 경우에는 826단계로 진행하여 신변보호 관리 장치(130)로 보디가드 디바이스 객체에 대한 범행 상황 관리 및 대처 요구 메시지를 전송하게 된다.
그리고 806단계로 복귀하여 806단계 내지 826단계까지의 객체 추적, 위험 및 범행 감성의 인지 여부를 반복하여 진행하게 되며, 위험/범행 감성인지 디바이스 UI(210)를 통해 사용자로부터 감성인지 종료 요구 메시지를 입력 받은 경우에는 이를 종료하게 된다.
그러나 828단계에서 범행 감성이 인지 되지 않은 경우에는 도 5의 502 단계로 복귀하여 502단계 내지 548단계와, 도 8의 802단계 내지 828 단계를 반복하여 수행하게 되며, 위험/범행 감성인지 디바이스 UI(210)를 통해 사용자로부터 감성인지 종료 요구 메시지를 입력 받은 경우에는 이를 종료하게 된다.
한편, 546단계에서 위험감성으로의 신호변이가 인지되지 않는 경우에는 548단계로 진행하여 범행감성으로의 신호변이가 인지되는지를 조사하게 된다. 이에 범행감성으로의 신호변이가 인지 되면, 도 8의 802단계 내지 828 단계를 반복하여 수행하게 되며, 위험/범행 감성인지 디바이스 UI(210)를 통해 사용자로부터 감성인지 종료 요구 메시지를 입력 받은 경우에는 이를 종료하게 된다.
그러나 548단계에서 범행감성으로의 신호변이가 인지되지 않는 경우에는 도 5의 502단계로 복귀하게 된다.
한편, 도 5의 504단계에서 GSR 센서를 이용한 피부로부터의 센싱 신호에 대한 위험 및 범행감성 인지 과정으로, 514단계에서 GSR 센서를 통해 센싱된 신호에 대한 전처리 기능을 수행한 경우, 518단계에서 GSR 신호의 후처리 기능으로 정제된 신호로부터 피부 전기 전도도(SC) 신호를 검출하게 된다.
이에 534단계에서는 피부 전기 전도도 신호를 분석하고, 536단계에서 해당 신호에 대한 위험감성 변이 임계치와 범행감성 변이 임계치를 구하여, 538단계에서 위험감성 및 범행감성 신호 맵핑 기능을 수행하게 된다.
이후, 546단계에서는 피부 전기 전도도 신호에 대해 위험감성으로의 신호변이가 인지되는지 여부를 조사하여 위험감성으로의 신호변이가 인지된 경우에는 도 8의 802단계로 진행하여 인근 스마트 CCTV로 감성보디가드 디바이스는 연동 작동 요청 메시지를 전송하며, 804단계에서 감성인지 디바이스(110) 소지자에 대한 객체 상세 추적 요구 메시지를 송출하게 된다. 이에 806단계에서 스마트 CCTV로부터 객체 추적정보를 수신한 경우에는 808단계 내지 814단계를 통해 다중 감성요소 추출 및 수집 작업을 수행하게 된다.
이를 통해 818단계 및 820단계에서는 다중신호에 대한 위험감성신호 최적 임계치 및 범행감성신호 최적 임계치를 추출하고, 822단계에서 다중감성신호 기반 위험감성 융합감성인지 알고리즘과 범행감성 융합인지 알고리즘을 수행하여 위험 감성 및 범행 감성 여부를 추론하게 된다.
이에 824단계에서 추론된 감성을 조사하여, 위험감성이 인지되는 경우에는 신변보호 관리 장치(130)로 감성인지 디바이스(110) 객체에 대한 위험/범행 상황 관리 및 대처 요구 메시지를 전송하고, 806단계로 복귀하게 된다.
이후, 806단계 내지 826단계까지의 객체 추적, 위험 및 범행 감성의 인지 여부를 반복하여 진행하게 되며, 위험/범행 감성인지 디바이스 UI(210)를 통해 사용자로부터 감성인지 종료 요구 메시지를 입력 받은 경우에는 이를 종료하게 된다.
한편, 824단계에서 위험 감성이 인지되지 않은 경우에는 828단계로 진행하여 범행 감성의 인지 여부를 판단하게 된다. 이에 범행 감성이 판단된 경우에는 826단계로 진행하여 신변보호 관리 장치(130)로 보디가드 디바이스 객체에 대한 범행 상황 관리 및 대처 요구 메시지를 전송하게 된다.
그러나 828단계에서 범행 감성이 인지 되지 않은 경우에는 도 5의 502 단계로 복귀하여 502단계 내지 548단계와, 도 8의 802단계 내지 828 단계를 반복하여 수행하게 되며, 위험/범행 감성인지 디바이스 UI(210)를 통해 사용자로부터 감성인지 종료 요구 메시지를 입력 받은 경우에는 이를 종료하게 된다.
또한, 도 5의 504단계에서 GSR 센서를 통해 피부로부터 신호가 센싱된 경우, 514단계에서 센싱된 신호에 대한 전처리 기능을 수행하고, 520단계에서 GSR 신호의 후처리 기능으로 정제된 신호로부터 피부온도(ST) 신호를 검출하게 된다.
이에 540단계에서는 피부온도 신호를 분석하고, 542단계에서 피부온도 신호에 대한 위험감성 변이 임계치와 범행감성 변이 임계치를 구하여 544단계에서 위험감성 및 범행감성 신호 맵핑 기능을 수행하게 된다.
이후, 546단계에서는 피부온도 신호에 대해 위험감성으로의 신호변이가 인지되는지 여부를 조사하고, 548단계에서는 피부온도 신호에 대해 범행감성으로의 신호변이가 인지되는지 여부를 조사하게 된다.
이에 위험감성 또는 범행감성으로의 신호변이가 인지된 것으로 판단된 경우에는 도 8의 802단계 내지 828 단계를 통해 객체 추적, 위험 및 범행 감성의 인지 여부를 반복하여 진행하게 되며, 위험/범행 감성인지 디바이스 UI(210)를 통해 사용자로부터 감성인지 종료 요구 메시지를 입력 받은 경우에는 이를 종료하게 된다.
그러나 위험감성 또는 범행감성으로의 신호변이가 인지되지 않은 경우에는 도 5의 502 단계 내지 512 단계로 복귀하게 된다.
한편, 도 5의 506단계에서 음성 센서, 예를 들어 마이크를 이용한 음성신호 기반 위험 및 범행감성 인지 과정으로, 514단계에서 음성 센서를 통해 센싱된 신호에 대한 전처리 기능을 수행한 경우, 522단계에서 마이크 신호의 후처리 기능으로 정제된 신호로부터 음성 신호를 검출하게 된다.
이후, 도 6의 602단계에서는 음성 신호로부터 음색 및 음파를 검출하게 되며, 614단계에서는 음성 단어를 검출하게 된다. 각 단계는 병렬처리될 수 있으므로, 먼저 음색 및 음파가 검출된 경우의 동작 절차를 설명하면, 602단계에서 음색 및 음파를 검출한 경우, 604단계에서 음파의 피치를 분석하고, 606단계에서 음의 진동을 분석하게 된다. 그리고 608단계 및 610단계에서는 위험감성 변이 임계치와 범행감성에 따른 음파 피치 및 변이 임계치를 구하여 612단계에서 위험감성 및 범행감성 신호의 맵핑 기능을 수행하게 된다.
그리고 도 6의 614단계에서는 사용자의 음성 즉, 음성 신호로부터 음성 단어를 검출한 경우에는 단어를 분류한 후, 616단계에서 위험상황에 따른 사용 단어를 분석하고, 618단계에서 위험 감성등급에 따른 사용단어 비중을 조사하게 된다. 또한, 620단계에서는 범행상황에 따른 사용 단어를 분석하고, 618단계에서 범행 감성등급에 따른 사용단어 비중을 조사하게 된다. 그리고 624단계에서는 위험감성 및 범행감성 단어에 대한 맵핑 기능을 수행하게 된다.
612단계 및 624단계를 통해 맵핑 후에는 626단계 및 628단계를 통해 이들로부터 위험감성 또는 범행감성으로의 신호변이가 인지되는지 여부를 조사하게 된다. 이에 위험감성 또는 범행감성으로의 신호변이가 인지된 것으로 판단된 경우에는 도 8의 802단계 내지 828 단계를 통해 객체 추적, 위험 및 범행 감성의 인지 여부를 반복하여 진행하게 되며, 위험/범행 감성인지 디바이스 UI(210)를 통해 사용자로부터 감성인지 종료 요구 메시지를 입력 받은 경우에는 이를 종료하게 된다.
영상신호 기반 위험 및 범행감성 인지 과정으로, 도 5의 512단계에서 영상 센서, 예를 들어, 광학식 카메라 등을 통해 신호가 센싱된 경우, 514단계에서는 센싱된 신호에 대한 전처리 기능을 수행하고, 524단계에서 광학식 카메라 신호의 후처리 기능으로 정제된 신호로부터 영상 신호를 검출하게 된다.
이후 도 7의 708단계에서 감성인지 디바이스(110) 사용자의 표정을 추출하고, 718단계에서는 사용자의 피부색 추출 및 분석을 수행하게 된다. 즉, 708단계 및 718단계는 병렬처리될 수 있으므로, 먼저 사용자의 표정을 추출하는 절차를 설명하면, 710단계에서 추출된 표정을 분석하게 된다.
이에 712단계에서 표정 분석 결과를 토대로 위험상황에 따른 표정 및 근육 경련 등이 표출되었는지 여부를 조사하게 된다. 그리고 714단계에서 영상 신호를 분석하여 움직임 상황을 토대로 위험상황에 따른 움직임 모션 등을 인지하게 된다.
이를 통해 716단계에서는 분석된 표정, 근육 경련, 움직임 정보 등을 이용하여 위험감성 및 범행감성 신호의 맵핑을 수행하게 된다. 이에 맵핑 후에는 724단계 및 726단계를 통해 이들로부터 위험감성 또는 범행감성으로의 신호변이가 인지되는지 여부를 조사하게 된다. 이에 위험감성 또는 범행감성으로의 신호변이가 인지된 것으로 판단된 경우에는 도 8의 802단계 내지 828 단계를 통해 객체 추적, 위험 및 범행 감성의 인지 여부를 반복하여 진행하게 되며, 위험/범행 감성인지 디바이스 UI(210)를 통해 사용자로부터 감성인지 종료 요구 메시지를 입력 받은 경우에는 이를 종료하게 된다.
가속도 센서 기반 움직임 분석을 통한 위험 및 범행감성 인지 과정으로는 도 5의 510단계에서 가속도 및 기울기 센서 등을 통해 신호가 센싱된 경우, 514단계에서 센싱된 신호에 대한 전처리 기능을 수행하고, 526단계에서 가속도 및 기울기 신호의 후처리 기능으로 정제된 신호로부터 움직임 신호를 검출하게 된다.
이후 도 7의 702단계에서는 움직임을 검출하여, 704단계에서 움직임의 상태를 분석하고, 위험상황에 따른 움직임 강도 및 모션 등이 표출되었는지를 조사하게 된다. 그리고 706단계에서는 조사 결과를 토대로 위험감성 및 범행감성 신호 맵핑 기능을 수행하게 된다.
이에 맵핑 후에는 724단계 및 726단계를 통해 이들로부터 위험감성 또는 범행감성으로의 신호변이가 인지되는지 여부를 조사하게 된다. 이에 위험감성 또는 범행감성으로의 신호변이가 인지된 것으로 판단된 경우에는 도 8의 802단계 내지 828 단계를 통해 객체 추적, 위험 및 범행 감성의 인지 여부를 반복하여 진행하게 되며, 위험/범행 감성인지 디바이스 UI(210)를 통해 사용자로부터 감성인지 종료 요구 메시지를 입력 받은 경우에는 이를 종료하게 된다.
도 9는 본 발명의 실시예에 따른 영상 및 센서 제어 장치의 동작 절차를 도시한 흐름도이다.
도 9를 참조하면, 감성인지 기반의 보디가드 디바이스, 즉 감성인지 디바이스(110)와 연동 가능한 영상 및 센서 제어 장치(120)가 902단계에서 감성인지 디바이스(110)로부터 연동 요구 메시지를 수신한 경우, 904단계에서 연동부(310)를 통해 해당 감성인지 디바이스(110)와 연동 동작 모드로 전환하고 센싱부(320)를 통해 해당 객체에 해당하는 추적모니터링 프로세스를 구동시키게 된다.
이후, 906단계에서 객체 추적 요구 메시지를 수신한 경우에는 908단계에서 센싱부(320)를 통해 요구된 객체에 대하여 추적을 통한 영상인식을 수행하게 된다. 그리고 910단계에서 추적 객체가 위치한 환경정보를 인식하고, 912단계에서는 주변상황 인식을 위한 영상정보도 수집하게 된다.
이에, 914단계에서는 요구된 객체에 대한 위치정보를 계속 추적하며, 916단계에서 처리부(330)는 이동상황을 고려하여 다른 영상 및 센서 제어 장치들과 연동하여 추적을 수행하게 된다. 918단계에서는 해당 추적 객체에 대해 센싱된 영상신호 정보들(예커대, 영상정보, 위치 정보, 환경 정보 상황 정보 등)을 메시지화하고, 920단계에서 감성인지 디바이스(110)로 센싱된 정보를 전송하게 된다.
그리고 922단계에서는 해당 추적 객체에 대해 센싱된 영상정보, 위치정보 및 상황정보들을 신변보호 관리 장치(330)로 전송하게 된다. 이후, 924단계에서는 감성인지 디바이스(110)로부터 해당 객체에 대한 추적 모니터링 중지 요청 메시지의 수신 여부를 확인하여 수신한 경우에는 926단계로 진행하여 해당 객체에 대한 추적 및 인식(모니터링) 프로세스를 종료하게 된다.
다만, 924단계에서 감성인지 디바이스(110)로부터 해당 객체에 대한 추적 모니터링 중지 요청 메시지를 수신하지 못한 경우에는 추적 모니터링 중지 요청 메시지를 수신할 때까지 908단계 내지 924단계의 객체 추적 동작을 반복하게 된다.
도 10은 본 발명의 실시예에 따른 신변 보호 관리 장치의 동작 절차를 도시한 흐름도이다.
도 10을 참조하면, 신변 보호 관리 장치(130)는 복수의 감성인지 디바이스(110) 및 복수의 영상 및 센서 제어 장치(스마트 CCTV)(120)와 연동하며, 1002단계에서 위험 감성 및 범행 감성이 확인된 감성인지 디바이스(110)로부터 임의의 객체에 대한 위험/범행 상황관리 및 대처 요구 메시지를 수신한 경우, 1004단계에서 해당 객체에 대한 관리 프로세스를 구동시키게 된다.
이에 1006단계에서는 감성인지 디바이스(110) 및 영상 및 센서 제어 장치(120)로부터 위험/범행 객체에 대한 정보들을 수신하고, 수신 정보들에 대하여 세밀하고 정확한 분석과정으로 1880단계의 환경정보 분석, 1010단계의 다채널 생체정보 분석, 1012단계의 음성정보 분석, 1014단계의 영상정보 분석 등을 수행하게 된다. 이때, 각각의 분석 과정은 순차적으로 또는 병렬적으로 수행되며, 해당 객체의 상황 관리에 따라 적어도 하나의 분석 과정이 수행된다.
이후, 1016단계에서는 현 상황/위치 관리 및 모니터링부(430)를 통해 감성인지 디바이스(110) 및 영상 및 센서 제어 장치(120)로부터 수신된 모든 정보를 기반으로 최적화된 위험감성인지 알고리즘을 수행하게 된다.
이에 1018 단계에서 위험감성 여부를 조사하여 위험감성으로 판단된 경우, 1022단계에서 긴급출동 관할부처 연동부(450)를 통해 위험상황 자동신고를 수행하고, 1028단계에서 현재의 위치 추적 및 상황 관리를 수행하게 된다.
이후, 1030단계에서는 감성인지 디바이스(110) 및 영상 및 센서 제어 장치(120)로 자동화된 경보음 발생 요구를 송출하고, 1032단계에서 관리/대처 모드 프로세스를 수행한다. 그리고 1034단계에서는 감성인지 디바이스(110)로부터 해당 객체에 대한 위험/범행 상황관리 및 대처 해제 메시지를 수신하여는지 여부를 판단하여 수신한한 경우에는, 1036단계로 진행하여 위험/범행 상황관리 프로세스를 종료하게 된다.
그러나 1034단계에서 해당 객체에 대한 위험/범행 상황관리 및 대처 해제 메시지를 수신하지 못한 경우에는 1006단계로 복귀하여 1006단계 내지 1032단계를 반복하게 된다.
한편, 1018단계에서 위험감성이 아닌 것으로 판단된 경우에는 1020단계로 진행하여 최적화된 범행감성인지 알고리즘을 수행하게 된다. 그리고 1024단계에서 범행감성 여부를 조사하여 범행감성으로 판단된 경우에는 1026단계로 진행하여 범행상황 자동신고를 수행하고, 1028단계에서 현재의 위치 추적 및 상황 관리를 수행하게 된다.
이후, 1030단계에서는 감성인지 디바이스(110) 및 영상 및 센서 제어 장치(120)로 자동화된 경보음 발생 요구를 송출하고, 1032단계에서 관리/대처 모드 프로세스를 수행한다. 그리고 1034단계에서는 감성인지 디바이스(110)로부터 해당 객체에 대한 위험/범행 상황관리 및 대처 해제 메시지를 수신한 경우, 1036단계로 진행하여 위험/범행 상황관리 프로세스를 종료하게 된다.
그러나 1034단계에서 해당 객체에 대한 위험/범행 상황관리 및 대처 해제 메시지를 수신하지 못한 경우에는 1006단계로 복귀하여 1006단계 내지 1032단계를 반복하게 된다.
이상 설명한 바와 같이, 본 발명의 실시예에 따른 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법은, 일상생활에서 사용자가 접한 상황에 따라 반응하는 감성중 위험 감성 및 범행 감성을 인지하여 위험 상황이나 범행 행위를 예방하거나 자동 대처하기 위한 것으로서, 인간의 자율신경계 반응을 통해 나타나는 생체신호를 센싱을 통한 감성 신호인지 및 환경 신호 센싱을 통한 상황인지 정보를 기반으로 위험 감성 및 범행 감성을 인지하고, 인지된 위험 및 범행 감성에 기반한 스마트 CCTV 제어 및 연동이 가능한 보디가드 디바이스와 스마트 CCTV 및 신변보호 관리 장치의 제어 및 연동을 통해 위험 상황이나 범행상황을 예방하고 자동 대처한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
100: 감성인지기반 보디가드 시스템 110: 감성인지 디바이스
120: 영상 및 센서 제어 장치 130: 신변보호 관리 장치
120: 영상 및 센서 제어 장치 130: 신변보호 관리 장치
Claims (20)
- 입력 관련 메뉴를 표시하고, 제어 명령을 입력 받는 사용자 인터페이스와,
적어도 하나의 센서로부터 사용자의 생체 신호 또는 주변 환경 신호를 센싱하는 센싱부와,
센싱된 신호를 분석하여 해당 신호의 위험 감성 또는 범행 감성 신호의 변이 여부를 기 설정된 임계치를 토대로 판단하고, 상기 위험 감성 또는 범행 감성 신호의 변이가 인지된 경우, 영상 및 센서 제어 장치로 추적 요청을 수행하여 객체 추적 정보를 수신하고, 분석 및 수신된 정보를 토대로 기 설정된 위험 및 범행 감성 알고리즘을 이용하여 위험 또는 범행 감성 여부를 판단하는 감성인지 관리부와,
위험 또는 범행 감성에 따라 연동된 신변보호 관리 장치로 위험 또는 범행 상황 대처 요청을 수행하는 위험 및 범행 상황 조치부를 포함하고,
상기 감성인지 관리부는,
센싱된 음성 신호를 토대로 음파의 피치 및 진동을 분석하여 추출하고, 상기 음성 신호로부터 음성 단어를 분석하여 추출하는, 감성인지 디바이스.
- 제 1항에 있어서,
상기 센싱부는,
광전용적맥파(PPG), 심전도(ECG), 피부 전기 활동(GSR), 피부 전기 전도도(SC), 피부 온도(ST) 센서, 음성 센서 및 체액 센서 중 적어도 하나의 센서를 통해 생체신호를 센싱하여 감성요소를 추출하는 생체 신호 센싱부와,
온도, 습도, 조도, 영상, 가속도, 기울기 센서 중 적어도 하나의 센서를 통해 사용자 주변의 환경 신호를 센싱하여 공간 감성요소를 추출하는 환경신호 센싱부
를 포함하는 것을 특징으로 하는 감성인지 디바이스.
- 제 1항에 있어서,
상기 센싱된 신호는,
혈류, 피부 전기 전도도, 심전도, 피부 온도, 영상 및 움직임 중 적어도 하나를 포함하는, 감성인지 디바이스.
- 삭제
- 제 3항에 있어서,
상기 감성인지 관리부는,
센싱된 영상 신호를 토대로 사용자 얼굴의 표정 변화 여부를 분석하고,
상기 영상 신호로부터 사용자의 피부색 변화 여부를 분석하는 것을 특징으로 하는 감성인지 디바이스.
- 제 1항에 있어서,
상기 위험 및 범행 상황 조치부는,
경보음을 출력하는 경보 상황 처리부와,
실시간 위치를 추적하는 위치 추적 관리부와,
현장 상황에 대한 영상 및 소리를 녹화하는 녹화부와,
위험 및 범행 상황에 대해 기 설정된 상황 메시지 전송 및 관할 부서로의 신고를 수행하는 관할부처 연동부 중 위험 또는 범행 감성에 따라 적어도 하나를 수행하는 것을 특징으로 하는 감성인지 디바이스.
- 생체 신호 및 주변 환경 신호를 센싱하여 위험 및 범행 감성을 인지하는 감성인지 디바이스로부터 객체 추적 요청 메시지를 수신하는 연동부와,
상기 추적 요청된 객체에 대한 영상 인식 및 주변 환경에 대한 센싱을 수행하고, 다른 스마트 CCTV와 연동하여 위치 추적을 수행하는 센싱부와,
상기 위치 추적에 따라 인식된 영상, 주변 환경 센싱 정보 및 위치 추적 정보를 상기 감성인지 디바이스 및 연동된 신변보호 관리 장치로 전송하는 처리부를 포함하고,
상기 센싱부는,
상기 추적 요청된 객체에 대한 이동상황에 기초하여 다른 스마트 CCTV와 연동하는 스마트 CCTV.
- 삭제
- 삭제
- 사용자에 대한 생체신호의 센싱을 통해 감성 신호를 수신하고, 상기 사용자의 주변 환경 신호의 센싱을 통한 상황 정보 수신을 통해 위험 감성 및 범행 감성 여부를 기 설정된 임계치를 토대로 판단하는 감성 인지 디바이스와,
연동된 상기 감성 인지 디바이스의 객체 추적 요구에 따라 영상 신호 및 주변 환경 정보를 센싱하고, 해당 객체의 위치 정보를 토대로 추적을 수행하고, 상기 해당 객체에 대한 추적 관련 정보를 상기 감성 인지 디바이스로 전송하는 영상 및 센서 제어 장치와,
상기 감성인지 디바이스, 상기 영상 및 센서 제어 장치와 연동하여 상황 관리 및 대처 요청 메시지를 수신하고, 상기 해당 객체에 대한 정보를 분석하여 위험 또는 범행 감성으로 판단된 경우, 긴급 출동 부서로 신고하고, 상기 해당 객체에 대한 위치 추적 및 모니터링을 수행하는 신변보호 관리 장치를 포함하고,
상기 감성 인지 디바이스는,
상기 생체신호 중 음성 신호를 토대로 음파의 피치 및 진동을 분석하여 추출하고, 상기 음성 신호로부터 음성 단어를 분석하여 상기 음성 신호의 위험 감성 또는 범행 감성 신호의 변이 여부를 기 설정된 임계치를 토대로 판단하는,
감성인지 기반 보디가드 시스템.
- 센싱부에서 적어도 하나의 센서로부터 사용자의 생체 신호 또는 주변 환경 신호를 센싱하는 과정과,
감성인지 관리부에서 상기 센싱된 신호를 토대로 상기 사용자에 대한 위험 또는 범행 신호의 변이 여부를 판단하여 연동된 영상 및 센서 제어 장치로 추적 요청 메시지를 전송하는 과정과,
조치부를 통해 위험 또는 범행 감성에 따라 연동된 신변보호 관리 장치로 위험 또는 범행 상황 대처 요청 메시지를 전송하는 과정을 포함하고,
상기 추적 요청 메시지를 전송하는 과정은,
센싱된 신호를 분석하여 해당 신호의 위험 감성 또는 범행 감성 신호의 변이 여부를 기 설정된 임계치를 토대로 판단하는 과정과,
상기 위험 감성 또는 범행 감성 신호의 변이가 인지된 경우, 상기 영상 및 센서 제어 장치로 추적 요청을 수행하여 객체 추적 정보를 수신하는 과정과,
분석 및 수신된 정보를 토대로 기 설정된 위험 및 범행 감성 알고리즘을 이용하여 위험 또는 범행 감성 여부를 판단하는 과정을 포함하며,
상기 기 설정된 임계치를 토대로 판단하는 과정은,
센싱된 영상 신호를 토대로 사용자 얼굴의 표정 변화 여부를 분석하고, 상기 영상 신호로부터 사용자의 피부색 변화 여부를 분석하는 감성인지 디바이스 제어 방법.
- 제 11항에 있어서,
상기 센싱하는 과정은,
광전용적맥파(PPG), 심전도(ECG), 피부 전기 활동(GSR), 피부 전기 전도도(SC), 피부 온도(ST) 센서, 음성 센서 및 체액 센서 중 적어도 하나의 센서를 통해 생체신호를 센싱하여 감성요소를 추출하는 과정과,
온도, 습도, 조도, 영상, 가속도, 기울기 센서 중 적어도 하나의 센서를 통해 사용자 주변의 환경 신호를 센싱하여 공간 감성요소를 추출하는 과정
을 포함하는 것을 특징으로 하는 감성인지 디바이스 제어 방법.
- 제 11항에 있어서,
상기 센싱된 신호는,
혈류, 피부 전기 전도도, 피부 온도, 음성 및 움직임 중 적어도 하나를 포함하는, 감성인지 디바이스 제어 방법.
- 제 13항에 있어서,
상기 기 설정된 임계치를 토대로 판단하는 과정은,
센싱된 음성 신호를 토대로 음파의 피치 및 진동을 분석하여 추출하고, 상기 음성 신호로부터 음성 단어를 분석하여 추출하는 것을 특징으로 하는 감성인지 디바이스 제어 방법.
- 삭제
- 제 11항에 있어서,
상기 위험 또는 범행 상황 대처 요청 메시지를 전송하는 과정은,
경보음을 출력하는 경보 상황 처리부와, 실시간 위치를 추적하는 위치 추적 관리부와, 현장 상황에 대한 영상 및 소리를 녹화하는 녹화부와, 위험 및 범행 상황에 대해 기 설정된 상황 메시지 전송 및 관할 부서로의 신고를 수행하는 관할부처 연동부 중 위험 또는 범행 감성에 따라 적어도 하나를 수행하는 것을 특징으로 하는 감성인지 디바이스 제어 방법.
- 생체 신호 및 주변 환경 신호를 센싱하여 위험 및 범행 감성을 인지하는 감성인지 디바이스로부터 객체 추적 요청 메시지를 수신하는 과정과,
상기 추적 요청된 객체에 대한 영상 인식 및 주변 환경에 대한 센싱을 수행하고, 다른 스마트 CCTV와 연동하여 위치 추적을 수행하는 과정과,
상기 위치 추적에 따라 인식된 영상, 주변 환경 센싱 정보 및 위치 추적 정보를 상기 감성인지 디바이스 및 연동된 신변보호 관리 장치로 전송하는 과정을 포함하고,
상기 위치 추적을 수행하는 단계는,
상기 추적 요청된 객체에 대한 이동상황에 따라 다른 스마트 CCTV와 연동하는 과정을 포함하는 스마트 CCTV의 제어 방법.
- 삭제
- 삭제
- 감성 인지 디바이스에서 사용자에 대한 생체신호의 센싱을 통해 감성 신호를 수신하는 과정과,
상기 사용자의 주변 환경 신호의 센싱을 통한 상황 정보를 수신하는 과정과,
각 수신된 정보를 통해 위험 감성 및 범행 감성 여부를 기 설정된 임계치를 토대로 판단하는 과정과,
영상 및 센서 제어 장치에서 연동된 상기 감성 인지 디바이스의 객체 추적 요구 메시지를 수신한 경우, 영상 신호 및 주변 환경 정보를 센싱하는 과정과,
해당 객체의 위치 정보를 토대로 추적을 수행하고, 상기 해당 객체에 대한 추적 관련 정보를 상기 감성 인지 디바이스로 전송하는 과정과,
신변보호 관리 장치에서 상기 감성인지 디바이스, 상기 영상 및 센서 제어 장치와 연동하여 상황 관리 및 대처 요청 메시지를 수신하는 과정과,
상기 해당 객체에 대한 정보를 분석하여 위험 또는 범행 감성으로 판단된 경우, 긴급 출동 부서로 신고하는 과정과,
상기 해당 객체에 대한 위치 추적 및 모니터링을 수행하는 과정을 포함하고,
상기 기 설정된 임계치를 토대로 판단하는 과정은,
센싱된 영상 신호를 토대로 사용자 얼굴의 표정 변화 여부를 분석하고, 상기 영상 신호로부터 사용자의 피부색 변화 여부를 분석하는, 감성인지 기반 보디가드 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110121599A KR101840644B1 (ko) | 2011-05-31 | 2011-11-21 | 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법 |
| US13/484,860 US20120308971A1 (en) | 2011-05-31 | 2012-05-31 | Emotion recognition-based bodyguard system, emotion recognition device, image and sensor control apparatus, personal protection management apparatus, and control methods thereof |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110051857 | 2011-05-31 | ||
| KR20110051857 | 2011-05-31 | ||
| KR1020110121599A KR101840644B1 (ko) | 2011-05-31 | 2011-11-21 | 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120133979A KR20120133979A (ko) | 2012-12-11 |
| KR101840644B1 true KR101840644B1 (ko) | 2018-03-22 |
Family
ID=47261943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110121599A KR101840644B1 (ko) | 2011-05-31 | 2011-11-21 | 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20120308971A1 (ko) |
| KR (1) | KR101840644B1 (ko) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101299220B1 (ko) * | 2010-01-08 | 2013-08-22 | 한국전자통신연구원 | 감성 신호 감지 장치와 감성 서비스 제공 장치 간의 감성 통신 방법 |
| CN103892792B (zh) * | 2012-12-24 | 2017-05-10 | 中国科学院深圳先进技术研究院 | 情感识别模型生成装置及其生成情感识别模型的方法 |
| CN103892821A (zh) * | 2012-12-25 | 2014-07-02 | 中国科学院深圳先进技术研究院 | 基于心电信号的情感识别模型生成装置及其方法 |
| US9270877B2 (en) | 2013-02-20 | 2016-02-23 | Kristin Elizabeth Slater | Method and system for generation of images based on biorhythms |
| US20140308930A1 (en) * | 2013-04-12 | 2014-10-16 | Bao Tran | Timely, glanceable information on a wearable device |
| US9576445B2 (en) | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
| US9619980B2 (en) * | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
| US10546657B2 (en) | 2014-07-21 | 2020-01-28 | Centinal Group, Llc | Systems, methods and computer program products for reducing the risk of persons housed within a facility being sexual predators or victims |
| US20170344713A1 (en) * | 2014-12-12 | 2017-11-30 | Koninklijke Philips N.V. | Device, system and method for assessing information needs of a person |
| US9953028B2 (en) * | 2015-01-09 | 2018-04-24 | International Business Machines Corporation | Cognitive contextualization of emergency management system communications |
| KR102407127B1 (ko) * | 2016-01-05 | 2022-06-10 | 삼성전자주식회사 | 디스플레이 시스템, 디스플레이 장치 및 그의 제어 방법 |
| CA3013943A1 (en) * | 2016-02-08 | 2017-08-17 | Nuralogix Corporation | Deception detection system and method |
| KR101647634B1 (ko) * | 2016-04-28 | 2016-08-11 | (주)비에네스소프트 | 휠체어 탑승자의 위급 상황 처리 장치 및 방법 |
| US10335045B2 (en) | 2016-06-24 | 2019-07-02 | Universita Degli Studi Di Trento | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
| CN106503646B (zh) * | 2016-10-19 | 2020-07-10 | 竹间智能科技（上海）有限公司 | 多模态情感辨识系统及方法 |
| WO2018118977A1 (en) * | 2016-12-20 | 2018-06-28 | Plain Louie, Llc | Systems and methods for capturing images based on biorhythms |
| DE102017103887B4 (de) | 2017-02-24 | 2018-12-13 | Getac Technology Corporation | Umgebungsüberwachungssystem und Verfahren zum Auslösen eines tragbaren Datenaufzeichnungsgeräts |
| US20190027018A1 (en) * | 2017-07-21 | 2019-01-24 | Accenture Global Solutions Limited | Artificial intelligence based service control and home monitoring |
| CN107736894A (zh) * | 2017-09-24 | 2018-02-27 | 天津大学 | 一种基于深度学习的心电信号情绪识别方法 |
| KR102584459B1 (ko) | 2018-03-22 | 2023-10-05 | 삼성전자주식회사 | 전자 장치 및 이의 인증 방법 |
| KR102419007B1 (ko) * | 2018-04-10 | 2022-07-08 | 한국전자통신연구원 | 위험상황 알림 장치 및 방법 |
| CN108717567A (zh) * | 2018-05-03 | 2018-10-30 | 合肥工业大学 | 多模态的情感数据存储方法及装置 |
| CN108922564B (zh) * | 2018-06-29 | 2021-05-07 | 北京百度网讯科技有限公司 | 情绪识别方法、装置、计算机设备及存储介质 |
| CN108986408A (zh) * | 2018-08-27 | 2018-12-11 | 漳州市爵晟电子科技有限公司 | 一种智能报警系统 |
| US10943101B2 (en) | 2018-09-28 | 2021-03-09 | Accenture Global Solutions Limited | Target recognition and verification using image processing techniques and/or artifical intelligence |
| CN109508640A (zh) * | 2018-10-12 | 2019-03-22 | 咪咕文化科技有限公司 | 一种人群情感分析方法、装置和存储介质 |
| ES2762277A1 (es) * | 2018-11-21 | 2020-05-22 | Univ Madrid Carlos Iii | Sistema y metodo para determinar un estado emocional de un usuario |
| CN109584907A (zh) * | 2018-11-29 | 2019-04-05 | 北京奇虎科技有限公司 | 一种异常报警的方法和装置 |
| CN109740531B (zh) * | 2018-12-29 | 2022-12-30 | 中山大学南方学院 | 监护设备及监护轮椅 |
| TWI711942B (zh) * | 2019-04-11 | 2020-12-01 | 仁寶電腦工業股份有限公司 | 聽力輔助裝置之調整方法 |
| CN112102850B (zh) * | 2019-06-18 | 2023-06-20 | 杭州海康威视数字技术股份有限公司 | 情绪识别的处理方法、装置、介质及电子设备 |
| CN110705584A (zh) * | 2019-08-21 | 2020-01-17 | 深圳壹账通智能科技有限公司 | 情绪识别方法、装置、计算机装置及存储介质 |
| US10946793B1 (en) * | 2020-04-06 | 2021-03-16 | Ekin Teknoloji Sanayi Ve Ticaret Anonim Sirketi | Threat detection and mitigation apparatus and use thereof |
| CN112132095B (zh) * | 2020-09-30 | 2024-02-09 | Oppo广东移动通信有限公司 | 危险状态的识别方法、装置、电子设备及存储介质 |
| US20240032835A1 (en) * | 2021-03-15 | 2024-02-01 | Mitsubishi Electric Corporation | Emotion estimation apparatus and emotion estimation method |
| KR102545383B1 (ko) * | 2022-02-22 | 2023-06-21 | (주) 원모어시큐리티 | 신변 보호 알람 제공 방법 및 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100999665B1 (ko) * | 2008-09-18 | 2010-12-08 | 한국전자통신연구원 | 이벤트 기반의 상황 인식 정보 제공장치 및 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7076737B2 (en) * | 1998-12-18 | 2006-07-11 | Tangis Corporation | Thematic response to a computer user's context, such as by a wearable personal computer |
| JP4627152B2 (ja) * | 2004-06-01 | 2011-02-09 | 三星電子株式会社 | 危機監視システム |
| US7539532B2 (en) * | 2006-05-12 | 2009-05-26 | Bao Tran | Cuffless blood pressure monitoring appliance |
| WO2011011413A2 (en) * | 2009-07-20 | 2011-01-27 | University Of Florida Research Foundation, Inc. | Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data |
| KR101302092B1 (ko) * | 2009-12-18 | 2013-08-30 | 한국전자통신연구원 | 개인통신 단말기의 보안제어 시스템 및 방법 |
-
2011
- 2011-11-21 KR KR1020110121599A patent/KR101840644B1/ko active IP Right Grant
-
2012
- 2012-05-31 US US13/484,860 patent/US20120308971A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100999665B1 (ko) * | 2008-09-18 | 2010-12-08 | 한국전자통신연구원 | 이벤트 기반의 상황 인식 정보 제공장치 및 방법 |
Non-Patent Citations (1)
| Title |
|---|
| 김동욱, "생체신호를 이용한 저부하형 감성평가알고리즘의 개발", 한국산학기술학회, 한국산학기술학회 학술대회논문집 , 2006.5, 252-257 (6 pages)* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120133979A (ko) | 2012-12-11 |
| US20120308971A1 (en) | 2012-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101840644B1 (ko) | 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법 | |
| US10433788B2 (en) | Earpiece life monitor with capability of automatic notification system and method | |
| El-Bendary et al. | Fall detection and prevention for the elderly: A review of trends and challenges | |
| KR101654609B1 (ko) | 거동이 불편한 자, 장애인 및 독거노인을 위한 원격 스마트 모니터링 시스템 및 그 방법 | |
| CN101742981B (zh) | 佩戴式微型智能健康监护系统 | |
| KR101090086B1 (ko) | 생체신호 측정단말기, 이를 이용한 응급구호 서비스 제공방법 및 응급구호 시스템 | |
| US10446017B1 (en) | Smart personal emergency response systems (SPERS) | |
| KR102202262B1 (ko) | 치매 증상 인지 및 치매 환자 관리 서비스 제공 장치 및 방법 | |
| KR101030311B1 (ko) | 휴대형 생체신호 통합감지장치 및 이를 이용한 원격지의료정보 서비스 시스템과 방법 | |
| EP3288000A1 (en) | Fall warning for a user | |
| Geman et al. | Ubiquitous healthcare system based on the sensors network and android internet of things gateway | |
| KR20200104759A (ko) | 위험 상황을 판단하고, 사용자의 안전을 관리하는 시스템 | |
| KR20200104758A (ko) | 위험 상황을 판단하고, 사용자의 안전을 관리하는 방법 및 장치 | |
| KR101489896B1 (ko) | 비상호출 장치 및 그 방법 | |
| KR20190073118A (ko) | 사용자의 건강 관리를 위한 모니터링 로봇 | |
| KR20060084916A (ko) | 위치 이동이 가능한 지능형 로봇을 이용한 원격건강관리시스템 및 서비스 | |
| Karunanithi et al. | An innovative technology to support independent living: the smarter safer homes platform | |
| KR100935879B1 (ko) | 친생활 지능형 로봇을 이용한 헬스 케어 및 위험 진단 모니터링 방법 및 시스템 | |
| KR100894605B1 (ko) | 환자 감시관리 무선 호출시스템 | |
| CN114821962B (zh) | 紧急求助功能的触发方法、装置、终端及存储介质 | |
| KR101997225B1 (ko) | 노약자 안심케어 시스템 | |
| CN114903449A (zh) | 一种远程健康监护系统 | |
| KR102190759B1 (ko) | 긴급상황 모니터링 시스템 및 방법 | |
| JP2018147452A (ja) | ドアシステム、およびドアシステムを用いた監視方法 | |
| Patel et al. | Vitafall: Nxtgeuh system for well-being monitoring with fall recognition and real-time vital sign monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |