KR102141657B1 - 음성 및 영상기반 비상유도시스템 - Google Patents

음성 및 영상기반 비상유도시스템 Download PDF

Info

Publication number
KR102141657B1
KR102141657B1 KR1020190016555A KR20190016555A KR102141657B1 KR 102141657 B1 KR102141657 B1 KR 102141657B1 KR 1020190016555 A KR1020190016555 A KR 1020190016555A KR 20190016555 A KR20190016555 A KR 20190016555A KR 102141657 B1 KR102141657 B1 KR 102141657B1
Authority
KR
South Korea
Prior art keywords
emergency
voice
image
module
data
Prior art date
Application number
KR1020190016555A
Other languages
English (en)
Inventor
윤태식
김성진
서유덕
Original Assignee
인성 엔프라 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인성 엔프라 주식회사 filed Critical 인성 엔프라 주식회사
Priority to KR1020190016555A priority Critical patent/KR102141657B1/ko
Application granted granted Critical
Publication of KR102141657B1 publication Critical patent/KR102141657B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • G08B13/1672—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/06—Electric actuation of the alarm, e.g. using a thermally-operated switch
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0415—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting absence of activity per se

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Psychology (AREA)
  • Multimedia (AREA)
  • Alarm Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 감지영역(S)의 주기 동안의 이동피사체 수량을 검출하여 피사체 수량(N)이 기 설정된 제1 설정값(TH1, Threshold1) 이상인 경우, 음성인식은 이용하지 않고 영상만을 이용하여 비상상황 발생여부를 판단함으로써 판단의 정확성 및 신뢰도를 높일 수 있으며, 감지영역(S)의 주기 동안의 이동피사체 수량이 설정값(TH) 미만인 경우, 획득된 음성데이터를 기 설정된 비교데이터들과 비교하여 음성데이터가 특정 비교데이터와의 유사도가 임계치 이상인 경우, 비상상황이 발생하였다고 판단함으로써 비상상황을 정확하게 검출할 수 있고, 카메라에 의해 획득된 영상을 분석하여 피사체들 중 어느 하나의 움직임벡터가 임계시간 이상 동안 정지하는 경우, 비상상황이 발생되었다고 판단함으로써 사고를 즉각적으로 판별할 수 있으며, 카메라에 의해 획득된 피사체들의 평균 이동속도를 검출한 후, 평균 이동속도의 변화율이 기 설정된 제2 설정값(TH2) 이상일 때, 비상상황이 발생되었다고 판단함으로써 화재 등의 비상상황을 즉각적으로 판별할 수 있는 비상유도시스템에 관한 것이다.

Description

음성 및 영상기반 비상유도시스템{Emergency guidance system based on voice and video}
본 발명은 음성 및 영상기반 비상유도시스템에 관한 것으로서, 상세하게로는 음성인식 및 영상 분석을 종합적으로 활용하여 비상상황 발생여부 판단의 정확성 및 신뢰도를 높이기 위한 음성 및 영상기반 비상유도시스템에 관한 것이다.
최근 들어 특정 장소에서 폭행, 강도, 성추행, 살인 등의 범죄사고와, 안전사고, 건강위험으로 인한 사고 등이 빈번하게 발생하고 있다. 예를 들어, 화장실 등과 같이 범죄사고가 빈번하게 발생하는 장소의 경우, 특히 남성에 비교하여 신체적 능력이 떨어지는 여성의 경우, 해당 특정장소의 이용에 대한 불안감을 갖게 된다.
이에 따라 범죄, 사고 등의 비상상황 발생 시 경찰관에게 이러한 정보가 곧바로 전달되며, 비상상황이 발생되었다는 정보를 외부로 표출하기 위한 경보시스템에 대한 다양한 연구가 진행되고 있다.
이러한 경보시스템 중 비상벨은 최근 들어 가장 대중적으로 설치되고 있는 장치이나, 비상벨의 경우 피해자가 비상벨이 위치한 장소까지 이동하여야하고, 범죄자가 피해자의 비상벨 사용여부를 육안으로 확인할 수 있기 때문에 실제 비상상황 발생 시 이용률이 떨어지는 단점을 갖는다.
또한 복도 등과 같은 실내공중장소에서 화재 등의 비상상황이 발생하는 경우 대처가 늦을 경우 인명사고 및 막대한 재산피해로 이어질 수 있기 때문에 건물에는 화재 등의 비상상황을 검출하기 위한 감지수단들이 설치되고, 감지수단들에 의하여 비상상황이 감지되었을 때 비상등 또는 유도등을 구동시키도록 운용하고 있으나, 이러한 방식은 감지수단들, 비상등, 유도등을 별도로 설치하여야하기 때문에 설치 및 운용비용이 증가함과 동시에 건물의 미관을 떨어뜨리는 단점을 갖는다.
도 1은 국내등록특허 제10-1651158호(발명의 명칭 : 음향 및 하이브리드 인식 기반의 긴급상황 인지 CCTV 방범 시스템 및 CCTV 방범 제공 방법)에 개시된 CCTV 방범 시스템을 나타내는 블록도이다.
도 1의 CCTV 방범 시스템(이하 종래기술이라고 함)(100)은 특정 영역을 촬영하여 영상을 획득하며 획득된 영상으로부터 피사체의 존재 여부를 감지하는 고정형 카메라(110)와, 팬-틸트 회전하여 피사체를 정밀 촬영하는 이동형 카메라(120)와, 마이크를 통해 입력되는 음향 주파수 신호를 인식하는 음향 주파수 인식 장치(130)와, 음향 주파수 인식 장치(130)에 의해 인식된 주파수를 분석하여 긴급 상황 발생여부를 판별하는 제어 장치(160)와, 평판형 스피커(140), 비콘 무선 신호 송수신부(150)로 이루어진다.
제어 장치(160)는 음향 주파수 인식 장치(130)에 의해 인식된 주파수와, 카메라(110)에 의해 획득된 영상을 다각적으로 분석하여 긴급상황이 발생되었는지를 판단한다.
그러나 종래기술(100)은 관리자가 이동형 카메라(120)에 의해 획득된 정밀영상의 열람을 통해 비상상황이 발생되었는지를 판단하는 방식으로 이루어지기 때문에 관리자가 해당 정밀영상을 열람하지 못하는 경우, 비상상황에 대한 대처가 지체되거나 누락되는 문제점이 발생한다.
또한 종래기술(100)은 입력된 음향신호로부터 음성을 인식하여 단어를 검출하는 과정이 기재되어 있지 않기 때문에 범죄에 주로 사용되는 대화가 이루어지더라도 이를 전혀 감지할 수 없는 구조적 한계를 갖는다.
또한 종래기술(100)은 만약 음성인식모듈이 설치된다고 가정하더라도, 해당 장소의 잡음에 의하여 음성인식이 정확하게 이루어지지 않아 검지율이 떨어지는 단점을 갖는다.
또한 종래기술(100)은 음성인식과 피사체의 정밀영상을 어떻게 통합적으로 분석하여 비상상황을 얼마나 정확하고 신속하게 검출하는지에 대한 기재가 이루어지지 않았기 때문에 시스템의 정확성 및 신뢰도가 떨어지는 단점을 갖는다.
본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 감지영역(S)의 주기 동안의 이동피사체 수량을 검출하여 피사체 수량(N)이 기 설정된 제1 설정값(TH1, Threshold1) 이상인 경우, 음성인식은 이용하지 않고 영상만을 이용하여 비상상황 발생여부를 판단함으로써 판단의 정확성 및 신뢰도를 높일 수 있는 음성 및 영상기반 비상유도시스템을 제공하기 위한 것이다.
또한 본 발명의 다른 해결과제는 감지영역(S)의 주기 동안의 이동피사체 수량이 설정값(TH) 미만인 경우, 획득된 음성데이터를 기 설정된 비교데이터들과 비교하여 음성데이터가 특정 비교데이터와의 유사도가 임계치 이상인 경우, 비상상황이 발생하였다고 판단함으로써 비상상황을 정확하게 검출할 수 있는 음성 및 영상기반 비상유도시스템을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 카메라에 의해 획득된 영상을 분석하여 피사체들 중 어느 하나의 움직임벡터가 임계시간 이상 동안 정지하는 경우, 비상상황이 발생되었다고 판단함으로써 사고를 즉각적으로 판별할 수 있는 음성 및 영상기반 비상유도시스템을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 카메라에 의해 획득된 피사체들의 평균 이동속도를 검출한 후, 평균 이동속도의 변화율이 기 설정된 제2 설정값(TH2) 이상일 때, 비상상황이 발생되었다고 판단함으로써 화재 등의 비상상황을 즉각적으로 판별할 수 있는 음성 및 영상기반 비상유도시스템을 제공하기 위한 것이다.
상기 과제를 해결하기 위한 본 발명의 해결수단은 비상유도등(77)을 포함하며 간격을 두고 설치되는 비상유도장치(7)들과, 기 설정된 촬영영역들 각각을 촬영하여 영상을 획득하는 카메라(9)들과, 상기 카메라(9)들로부터 전송받은 영상을 저장하는 관제센터서버(3)를 포함하는 비상유도시스템(1)에 있어서: 상기 관제센터서버(3)는 상기 카메라(9)로부터 전송받은 영상을 분석하여 피사체들을 검출한 후, 각 피사체의 궤적을 추적하는 영상분석부(33); 상기 영상분석부(33)로부터 입력된 궤적정보를 활용하여 피사체들 중 어느 하나가 임계시간 이상 움직임이 제로일 때 비상상황이 발생하였다고 판단하는 영상기반 판단부(35); 상기 영상기반 판단부(35)에 의해 비상상황이 발생하였다고 판단될 때, 비상 확인데이터를 생성하는 비상 확인데이터 생성부(37); 상기 비상 확인데이터 생성부(37)에 의해 생성된 비상 확인데이터를 해당 촬영영역에 대응되는 비상유도장치로 전송하는 제어부(30)를 포함하고, 상기 관제센터서버(3)로부터 비상 확인데이터를 전송받은 비상유도장치(7)는 상기 비상유도등(77)을 점멸 또는 점등시키고, 상기 비상유도장치(7)들은 음향신호를 수집하는 마이크로폰(73)들과, 상기 마이크로폰(73)들에 의해 수집된 음향신호를 분석하여 음성데이터를 검출하는 음성인식모듈(75)과, 상기 음성인식모듈(75)에 의해 검출된 음성데이터를 상기 관제센터서버(3)로 전송하는 데이터 송수신모듈(71)을 더 포함하고, 상기 관제센터서버(3)는 상기 비상유도장치들로부터 전송받은 음성데이터를 기 설정된 비교데이터들 중 어느 하나인 경우, 비상상황이 발생하였다고 판단하는 음성기반 판단부(36)를 더 포함하고, 상기 비상 확인데이터 생성부(37)는 상기 음성기반 판단부(36)에 의해 비상상황이 발생되었다고 판단될 때, 비상 확인데이터를 생성하고, 상기 관제센터서버(3)의 상기 영상분석부(33)는 상기 카메라(9)로부터 전송받은 영상의 피사체들의 수량(N)을 검출한 후, 만약 검출된 피사체 수량(N)을 기 설정된 제1 설정값(TH1, Threshold)과 비교하고, 상기 제어부(30)는 상기 영상분석부(33)에 의해 상기 피사체 수량(N)이 상기 제1 설정값(TH1) 이상이면, 상기 음성기반 판단부(36)를 구동시키지 않고 상기 영상기반 판단부(35)를 구동시키며, 상기 피사체 수량(N)이 상기 제1 설정값(TH1) 미만이면, 상기 음성기반 판단부(36) 및 상기 영상기반 판단부(35)를 모두 구동시키는 것이다.
삭제
삭제
또한 본 발명에서 상기 영상기반 판단부(35)는 상기 영상분석부(33)로부터 입력된 궤적정보를 활용하여 피사체들의 평균 이동속도를 산출한 후, 임계시간 동안 평균 이동속도 변화율(ΔV)을 산출하며, 산출된 평균 이동속도 변화율(ΔV)이 기 설정된 제2 설정값(TH2) 이상일 때, 비상상황이 발생하였다고 판단하는 것이 바람직하다.
또한 본 발명에서 상기 음성기반 판단부(36)는 상기 비상유도장치(7)들로부터 전송받은 음성데이터를 입력받는 음성데이터 입력모듈(361); 입력된 음성데이터와 상기 비교데이터들과의 유사도를 각각 산출하는 유사도 산출모듈(362); 상기 유사도 산출모듈(362)에 의해 산출된 유사도를 임계치와 비교하여 산출된 유사도가 임계치 미만인 경우, 입력된 음성데이터가 해당 비교데이터라고 판별하여 비상상황이 발생하였다고 결정하는 음성기반 결정모듈(365)을 더 포함하는 것이 바람직하다.
상기 과제와 해결수단을 갖는 본 발명에 따르면 감지영역(S)의 주기 동안의 이동피사체 수량을 검출하여 피사체 수량(N)이 기 설정된 제1 설정값(TH1, Threshold1) 이상인 경우, 음성인식은 이용하지 않고 영상만을 이용하여 비상상황 발생여부를 판단함으로써 판단의 정확성 및 신뢰도를 높일 수 있게 된다.
또한 본 발명에 의하면 감지영역(S)의 주기 동안의 이동피사체 수량이 설정값(TH) 미만인 경우, 획득된 음성데이터를 기 설정된 비교데이터들과 비교하여 음성데이터가 특정 비교데이터와의 유사도가 임계치 이상인 경우, 비상상황이 발생하였다고 판단함으로써 비상상황을 정확하게 검출할 수 있다.
또한 본 발명에 의하면 카메라에 의해 획득된 영상을 분석하여 피사체들 중 어느 하나의 움직임벡터가 임계시간 이상 동안 정지하는 경우, 비상상황이 발생되었다고 판단함으로써 사고를 즉각적으로 판별할 수 있게 된다.
또한 본 발명에 의하면 카메라에 의해 획득된 피사체들의 평균 이동속도를 검출한 후, 평균 이동속도의 변화율이 기 설정된 제2 설정값(TH2) 이상일 때, 비상상황이 발생되었다고 판단함으로써 화재 등의 비상상황을 즉각적으로 판별할 수 있게 된다.
도 1은 국내등록특허 제10-1651158호(발명의 명칭 : 음향 및 하이브리드 인식 기반의 긴급상황 인지 CCTV 방범 시스템 및 CCTV 방범 제공 방법)에 개시된 CCTV 방범 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일실시예인 비상유도시스템을 나타내는 구성도이다.
도 3은 도 2의 비상유도장치를 나타내는 블록도이다.
도 4는 도 2의 관제센터서버를 나타내는 블록도이다.
도 5는 도 4의 영상분석부를 나타내는 블록도이다.
도 6은 도 4의 영상기반 판단부를 나타내는 블록도이다.
도 7은 도 4의 음성기반 판단부를 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.
도 2는 본 발명의 일실시예인 비상유도시스템을 나타내는 구성도이다.
본 발명의 일실시예인 비상유도시스템(1)은 도 2에 도시된 바와 같이, 관제센터서버(3)와, 로컬서버(5-1), ..., (5-N)들, 비상유도장치(7)들, 카메라(9)들, 통신망(10)으로 이루어진다.
이때 본 발명에서는 음성 및 영상분석을 이용한 비상상황 발생 여부의 판단이 관제센터서버(3)에서 이루어지는 것으로 예를 들어 설명하였으나, 이러한 연산처리는 관제센터서버(3)에서 이루어지는 것으로 한정되지 않으며, 로컬서버(5) 및 비상유도장치(7)에서 이루어지는 것으로 구성될 수 있음은 당연하다.
통신망(10)은 관제센터서버(3) 및 로컬서버(5-1), ..., (5-N)들 사이의 데이터 이동경로를 제공하며, 상세하게로는 광역통신망(WAN) 등으로 이루어질 수 있다.
도 3은 도 2의 비상유도장치를 나타내는 블록도이다.
비상유도장치(7)들은 기 할당된 감지영역(S)들 각각에 설치된다.
또한 비상유도장치(7)는 도 3에 도시된 바와 같이, 데이터 송수신모듈(71)과, 복수개의 음향신호들을 수집하기 위한 마이크로폰(73)들과, 마이크로폰(73)들에 의해 수집된 음향신호를 분석하여 음성을 인식하는 음성인식모듈(75)과, 비상상황 발생 시 점멸 또는 점등되는 비상유도등(77)들을 포함한다.
또한 비상유도장치(7)는 음성인식모듈(75)에 의해 음성이 인식되면 인식된 음성데이터를 해당 로컬서버(5)로 전송한다.
이때 음성인식모듈(75)에서 수집된 음향신호로부터 음성을 인식하는 방법 및 기술은 음성인식시스템에서 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 하고, 본 발명에서는 예시적으로 국내등록특허 제10-1794260호(발명의 명칭 : 음성인식을 이용한 보안등 및 보안시스템)에 개시된 음성인식방식을 적용하였다.
또한 비상유도장치(7)는 비상상황 발생 시, 로컬서버(5)로부터 전송받은 비상 확인데이터를 전송받으며, 비상 확인데이터를 수신 받으면 비상유도등(77)의 점멸 또는 점등되게 된다.
로컬서버(5-1), ..., (5-N)들은 자신에게 할당된 비상유도장치(7)들 및 카메라(9)들을 관리 및 제어하며, 이들로부터 전송받은 음성데이터 및 영상을 관제센터서버(3)로 전송한다.
또한 로컬서버(5-1), ..., (5-N)들은 관제센터서버(3)로부터 비상상황이 발생되었다는 비상확인데이터를 전송받으면, 비상유도장치(7)들로 비상확인데이터를 전송하여 비상유도장치(7)들에서 비상유도등이 점등되도록 한다.
관제센터서버(3)는 로컬서버(5-1), ..., (5-N)들로부터 전송받은 영상 및 신호데이터를 저장함과 동시에 분석하여 비상상황 발생여부를 판별한다.
또한 관제센터서버(3)는 비상상황이 발생되었다고 판단되면, 해당 로컬서버(5)로 비상 확인데이터를 전송함과 동시에 관리자 단말기(미도시)로 비상상황이 발생되었음을 나타내는 정보를 전송하여 신속한 대처가 이루어지도록 한다.
도 4는 도 2의 관제센터서버를 나타내는 블록도이다.
관제센터서버(3)는 도 4에 도시된 바와 같이, 제어부(30)와, 데이터베이스 서버(31), 통신 인터페이스부(32), 영상분석부(33), 영상기반 판단부(35), 음성기반 판단부(36), 비상 확인데이터 생성부(37)로 이루어진다.
제어부(30)는 관제센터서버(3)의 O.S(Operating System)이며, 제어대상(31), (32), (33), (35), (36), (37)들을 관리 및 제어한다.
또한 제어부(30)는 통신 인터페이스부(32)를 통해 로컬서버(5-1), ..., (5-N)들로부터 전송받은 영상 및 음성데이터를 영상분석부(33) 및 음성기반 판단부(36)로 입력한다.
또한 제어부(30)는 만약 1)영상분석부(33)에 의해 피사체 수량(N)이 제1 설정값(TH1:Threshold1) 이상이면, 영상기반 판단부(35)를 실행시키고, 2)영상분석부(33)에 의해 피사체 수량(N)이 제1 설정값(TH1) 미만이면, 영상기반 판단부(35) 및 음성기반 판단부(36)를 모두 실행시킨다.
또한 제어부(30)는 영상기반 판단부(35) 또는 음성기반 판단부(36)에 의해 비상상황이 발생되었다고 판단되면 비상 확인데이터 생성부(37)를 구동시키고, 비상 확인데이터 생성부(37)에 의해 비상 확인데이터가 생성되면, 생성된 비상 확인데이터가 해당 로컬서버(5)로 전송되도록 통신 인터페이스부(32)를 제어한다.
데이터베이스 서버(31)에는 로컬서버(5-1), ... ,(5-N)들 각각의 식별정보 및 위치정보들과, 각 로컬서버(5)에 할당된 카메라(9)들 및 비상유도장치(7)들 각각의 위치정보, 감지영역 정보 등이 기 설정되어 저장된다.
또한 데이터베이스 서버(31)에는 기 설정된 제1 설정값(TH1) 및 제2 설정값(TH2)이 저장된다. 이때 제1 설정값(TH1)은 음성신호 분석이 필요한지를 판단하기 위한 최소 피사체 수량(N)으로 정의되고, 제2 설정값(TH2)은 비상상황이라고 판단할 수 있는 피사체들의 평균 이동속도 변화율(ΔV)의 최대값으로 정의된다.
또한 데이터베이스 서버(31)에는 영상으로부터 피사체를 검출 및 트래킹 하기 위한 영상분석 알고리즘이 기 설정되어 저장된다.
통신 인터페이스부(32)는 로컬서버(5-1), ..., (5-N)들과 데이터를 송수신한다.
도 5는 도 4의 영상분석부를 나타내는 블록도이다.
영상분석부(33)는 도 5에 도시된 바와 같이, 영상입력모듈(331)과, 피사체 검출모듈(332), 궤적추적모듈(333), 피사체 수량 검출모듈(334), 제1 비교모듈(335), 제1 판별모듈(336)로 이루어진다.
영상입력모듈(331)은 제어부(30)의 제어에 따라 로컬서버(5)로부터 전송받은 영상이 입력된다.
피사체 검출모듈(332)은 기 설정된 영상분석 알고리즘을 이용하여 영상입력모듈(331)을 통해 입력된 피사체들을 검출한다. 이때 피사체를 검출한다고 함은, 피사체의 픽셀좌표계상의 위치정보를 검출함을 의미한다.
궤적추적모듈(333)은 피사체 검출모듈(332)에 의해 검출된 피사체들 각각의 위치정보를 활용하여 각 피사체의 궤적을 추적한다.
또한 궤적추적모듈(333)에 의해 검출된 궤적정보는 제어부(30)의 제어에 따라 영상기반 판단부(35)로 입력된다.
피사체 수량 검출모듈(334)은 궤적추적모듈(333)에 의해 검출된 각 피사체의 궤적정보를 활용하여 기 설정된 주기(t) 동안의 촬영된 피사체들의 수량인 피사체 수량(N)을 검출한다.
제1 비교모듈(335)은 피사체 수량 검출모듈(334)에 의해 검출된 피사체 수량(N)을 기 설정된 제1 설정값(TH1)과 비교한다.
제1 판별모듈(336)은 제1 비교모듈(335)에서, 피사체 수량(N)이 제1 설정값(TH1) 이상이면, 해당 장소에 다수의 피사체들이 이동하여 높은 잡음으로 인해 음성신호 분석이 무의미하다고 판단한다. 이때 제어부(30)는 제1 판별모듈(336)에 의해 음성신호 분석이 무의미하다고 판단되는 경우, 영상기반 판단부(5)가 실행되도록 한다.
또한 제1 판별모듈(336)은 제1 비교모듈(335)에서, 피사체 수량(N)이 제1 설정값(TH1) 미만이면, 해당 장소에 잡음이 심하지 않아 음성신호 분석이 유의미하다고 판단한다. 이때 제어부(30)는 제1 판별모듈(336)에 의해 음성신호 분석이 유의미하다고 판단되는 경우, 영상기반 판단부(35) 및 음성기반 판단부(36)가 모두 실행되도록 한다.
도 6은 도 4의 영상기반 판단부를 나타내는 블록도이다.
영상기반 판단부(35)는 영상분석부(33)에 의해 음성신호 분석이 유의미한지 또는 무의미한지와 상관없이 실행되며, 영상분석부(33)로부터 각 피사체의 궤적정보를 입력받는다.
또한 영상기반 판단부(35)는 도 6에 도시된 바와 같이, 평균 이동속도 산출모듈(351)과, 이동속도 변화율 산출모듈(352), 제2 비교모듈(353), 궤적지속여부 판별모듈(354), 영상기반 결정모듈(355)로 이루어진다.
평균 이동속도 산출모듈(351)은 영상분석부(33)로부터 입력된 각 피사체의 궤적정보를 활용하여 각 피사체의 이동속도를 산출한 후, 피사체들의 평균 이동속도(V)를 산출한다.
이동속도 변화율 산출모듈(352)은 평균 이동속도 산출모듈(351)에 의해 산출된 평균 이동속도(V)들을 이용하여 기 설정된 기간 동안의 평균 이동속도(v)의 변화율(ΔV)을 산출한다.
제2 비교모듈(353)은 이동속도 변화율 산출모듈(352)에 의해 산출된 평균 이동속도 변화율(ΔV)을 기 설정된 제2 설정값(TH2)과 비교하며, 만약 평균 이동속도 변화율(ΔV)이 제2 설정값(TH2) 미만이면, 별도의 동작을 수행하지 않되, 만약 평균 이동속도 변화율(ΔV)이 제2 설정값(TH2) 이상이면, 영상기반 결정모듈(355)이 실행되게 된다.
궤적지속여부 판별모듈(354)은 영상분석부(33)로부터 입력된 각 피사체의 궤적정보를 활용하여 움직임이 정지된 피사체를 검출하며, 만약 움직임이 정지된 피사체가 검출되는 경우, 정지경과시간이 임계시간에 도달하면, 영상기반 결정모듈(355)을 실행시킨다.
영상기반 결정모듈(355)은 제2 비교모듈(353)에 의해 평균 이동속도 변화율(ΔV)이 제2 설정값(TH2) 이상일 때, 제어부(30)의 제어에 따라 실행되며, 비상상황이 발생되었다고 결정한다.
즉 영상기반 결정모듈(355)은 피사체들의 이동속도가 이전과 비교하여 현저히 증가하였을 때, 비상상황이 발생되었다고 판단한다.
또한 영상기반 결정모듈(355)은 궤적지속여부 판별모듈(354)에 의해 임계시간 이상 움직임이 정지된 피사체가 검출될 때, 제어부(30)의 제어에 따라 실행되며, 비상상황이 발생되었다고 결정한다.
또한 영상기반 결정모듈(355)에 의해 비상상황이 발생되었다고 결정되는 경우, 제어부(30)의 제어에 따라 도 4의 비상 확인데이터 생성부(37)가 실행된다.
도 7은 도 4의 음성기반 판단부를 나타내는 블록도이다.
음성기반 판단부(36)는 영상분석부(33)에 의해 피사체 수량(N)이 제1 설정값(TH1) 미만일 때, 제어부(30)의 제어에 따라 실행된다.
또한 음성기반 판단부(36)는 도 7에 도시된 바와 같이, 음성데이터 입력모듈(361)과, 유사도 산출모듈(362), 제3 비교모듈(363), 제3 판별모듈(364), 음성기반 결정모듈(365)로 이루어진다.
음성데이터 입력모듈(361)은 제어부(30)의 제어에 따라 로컬서버(5)로부터 전송받음 음성데이터가 입력된다.
유사도 산출모듈(362)은 음성데이터 입력모듈(341)을 통해 입력된 음성데이터와, 기 설정된 비교데이터들 각각의 유사도를 산출한다. 이때 텍스트들의 유사도를 산출하는 방법 및 기술은 음성인식시스템에서 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 한다.
제3 비교모듈(363)은 유사도 산출모듈(362)에 의해 음성데이터와 각 비교데이터의 유사도를 비교한다.
제3 판별모듈(364)은 제3 비교모듈(363)에서 음성데이터와의 유사도가 임계치 이상인 비교데이터가 검출될 때, 음성데이터가 해당 비교데이터와 동일한 음성이라고 판단한다. 이때 제어부(30)는 제3 판별모듈(364)에 의해 음성데이터가 비교데이터들 중 어느 하나와 동일하다고 판단될 때, 음성기반 결정모듈(365)을 실행시킨다.
음성기반 결정모듈(365)은 제3 판별모듈(364)에 의해 입력된 음성데이터가 기 저장된 비교데이터들 중 어느 하나라고 판단될 때 실행되며, 비상상황이 발생되었다고 결정한다.
또한 음성기반 결정모듈(365)에 의해 비상상황이 발생되었다고 결정되는 경우, 제어부(30)의 제어에 따라 도 4의 비상 확인데이터 생성부(37)가 실행된다.
다시 도 4로 돌아가서 비상 확인데이터 생성부(37)를 살펴보면, 비상 확인데이터 생성부(37)는 전술하였던 도 6의 영상기반 판단부(35)의 비상상황 발생 결정모듈(355)에 의해 비상상황이 발생되었다고 결정되거나 또는 전술하였던 도 7의 음성기반 판단부(36)의 음성기반 결정모듈(365)에 의해 비상상황이 발생되었다고 결정될 때, 제어부(30)의 제어에 따라 실행되며, 비상 상황이 발생되었음을 나타내는 비상 확인데이터를 생성한다.
이때 비상 확인데이터 생성부(37)에 의해 생성된 비상 확인데이터는 제어부(30)의 제어에 따라 해당 로컬서버(5)로 전송되고, 로컬서버(5)는 관제센터서버(3)로부터 비상 확인데이터를 전송받으면, 해당 비상유도장치(7)로 비상 확인데이터를 전송하여 비상유도등(77)들의 점등 또는 점멸이 이루어지도록 한다.
이와 같이 본 발명의 일실시예인 비상유도시스템(1)은 감지영역(S)의 주기 동안의 이동피사체 수량을 검출하여 피사체 수량(N)이 기 설정된 제1 설정값(TH1, Threshold1) 이상인 경우, 음성인식은 이용하지 않고 영상만을 이용하여 비상상황 발생여부를 판단함으로써 판단의 정확성 및 신뢰도를 높일 수 있게 된다.
또한 본 발명의 비상유도시스템(1)은 감지영역(S)의 주기 동안의 이동피사체 수량이 설정값(TH) 미만인 경우, 획득된 음성데이터를 기 설정된 비교데이터들과 비교하여 음성데이터가 특정 비교데이터와의 유사도가 임계치 이상인 경우, 비상상황이 발생하였다고 판단함으로써 비상상황을 정확하게 검출할 수 있다.
또한 본 발명의 비상유도시스템(1)은 카메라에 의해 획득된 영상을 분석하여 피사체들 중 어느 하나의 움직임벡터가 임계시간 이상 동안 정지하는 경우, 비상상황이 발생되었다고 판단함으로써 사고를 즉각적으로 판별할 수 있게 된다.
또한 본 발명의 비상유도시스템(1)은 카메라에 의해 획득된 피사체들의 평균 이동속도를 검출한 후, 평균 이동속도의 변화율이 기 설정된 제2 설정값(TH2) 이상일 때, 비상상황이 발생되었다고 판단함으로써 화재 등의 비상상황을 즉각적으로 판별할 수 있게 된다.
1:비상유도시스템 3:관제센터서버 5-1, ..., 5-N:로컬서버들
7:비상유도장치 9:카메라 10:통신망
30:제어부 31:데이터베이스 서버
32:통신 인터페이스부 33:영상분석부 35:영상기반 판단부
36:음성기반 판단부 37:비상 확인데이터 생성부
71:데이터 송수신모듈 73:마이크로폰들 75:음성인식모듈
77:비상유도등들 331:영상입력모듈 332:피사체 검출모듈
333:궤적추적모듈 334:피사체 수량 검출모듈
335:제1 비교모듈 336:제1 판별모듈 351:평균 이동속도 산출모듈
352:이동속도 변화율 산출모듈 353:제2 비교모듈
354:궤적지속여부 판별모듈 355:비상상황 발생 결정모듈
361:음성데이터 입력모듈 362:유사도 산출모듈
363:제2 비교모듈 364:제2 판별모듈 365:음성기반 결정모듈

Claims (5)

  1. 비상유도등(77)을 포함하며 간격을 두고 설치되는 비상유도장치(7)들과, 기 설정된 촬영영역들 각각을 촬영하여 영상을 획득하는 카메라(9)들과, 상기 카메라(9)들로부터 전송받은 영상을 저장하는 관제센터서버(3)를 포함하는 비상유도시스템(1)에 있어서:
    상기 관제센터서버(3)는
    상기 카메라(9)로부터 전송받은 영상을 분석하여 피사체들을 검출한 후, 각 피사체의 궤적을 추적하는 영상분석부(33);
    상기 영상분석부(33)로부터 입력된 궤적정보를 활용하여 피사체들 중 어느 하나가 임계시간 이상 움직임이 제로일 때 비상상황이 발생하였다고 판단하는 영상기반 판단부(35);
    상기 영상기반 판단부(35)에 의해 비상상황이 발생하였다고 판단될 때, 비상 확인데이터를 생성하는 비상 확인데이터 생성부(37);
    상기 비상 확인데이터 생성부(37)에 의해 생성된 비상 확인데이터를 해당 촬영영역에 대응되는 비상유도장치로 전송하는 제어부(30)를 포함하고,
    상기 관제센터서버(3)로부터 비상 확인데이터를 전송받은 비상유도장치(7)는 상기 비상유도등(77)을 점멸 또는 점등시키고,
    상기 비상유도장치(7)들은
    음향신호를 수집하는 마이크로폰(73)들과, 상기 마이크로폰(73)들에 의해 수집된 음향신호를 분석하여 음성데이터를 검출하는 음성인식모듈(75)과, 상기 음성인식모듈(75)에 의해 검출된 음성데이터를 상기 관제센터서버(3)로 전송하는 데이터 송수신모듈(71)을 더 포함하고,
    상기 관제센터서버(3)는
    상기 비상유도장치들로부터 전송받은 음성데이터를 기 설정된 비교데이터들 중 어느 하나인 경우, 비상상황이 발생하였다고 판단하는 음성기반 판단부(36)를 더 포함하고,
    상기 비상 확인데이터 생성부(37)는 상기 음성기반 판단부(36)에 의해 비상상황이 발생되었다고 판단될 때, 비상 확인데이터를 생성하고,
    상기 관제센터서버(3)의 상기 영상분석부(33)는
    상기 카메라(9)로부터 전송받은 영상의 피사체들의 수량(N)을 검출한 후, 만약 검출된 피사체 수량(N)을 기 설정된 제1 설정값(TH1, Threshold)과 비교하고,
    상기 제어부(30)는
    상기 영상분석부(33)에 의해 상기 피사체 수량(N)이 상기 제1 설정값(TH1) 이상이면, 상기 음성기반 판단부(36)를 구동시키지 않고 상기 영상기반 판단부(35)를 구동시키며, 상기 피사체 수량(N)이 상기 제1 설정값(TH1) 미만이면, 상기 음성기반 판단부(36) 및 상기 영상기반 판단부(35)를 모두 구동시키는 것을 특징으로 하는 비상유도시스템(1).
  2. 삭제
  3. 삭제
  4. 청구항 제1항에 있어서, 상기 영상기반 판단부(35)는
    상기 영상분석부(33)로부터 입력된 궤적정보를 활용하여 피사체들의 평균 이동속도를 산출한 후, 임계시간 동안 평균 이동속도 변화율(ΔV)을 산출하며, 산출된 평균 이동속도 변화율(ΔV)이 기 설정된 제2 설정값(TH2) 이상일 때, 비상상황이 발생하였다고 판단하는 것을 특징으로 하는 비상유도시스템(1).
  5. 청구항 제1항에 있어서, 상기 음성기반 판단부(36)는
    상기 비상유도장치(7)들로부터 전송받은 음성데이터를 입력받는 음성데이터 입력모듈(361);
    입력된 음성데이터와 상기 비교데이터들과의 유사도를 각각 산출하는 유사도 산출모듈(362);
    상기 유사도 산출모듈(362)에 의해 산출된 유사도를 임계치와 비교하여 산출된 유사도가 임계치 미만인 경우, 입력된 음성데이터가 해당 비교데이터라고 판별하여 비상상황이 발생하였다고 결정하는 음성기반 결정모듈(365)을 더 포함하는 것을 특징으로 하는 비상유도시스템(1).
KR1020190016555A 2019-02-13 2019-02-13 음성 및 영상기반 비상유도시스템 KR102141657B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190016555A KR102141657B1 (ko) 2019-02-13 2019-02-13 음성 및 영상기반 비상유도시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190016555A KR102141657B1 (ko) 2019-02-13 2019-02-13 음성 및 영상기반 비상유도시스템

Publications (1)

Publication Number Publication Date
KR102141657B1 true KR102141657B1 (ko) 2020-08-05

Family

ID=72041495

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190016555A KR102141657B1 (ko) 2019-02-13 2019-02-13 음성 및 영상기반 비상유도시스템

Country Status (1)

Country Link
KR (1) KR102141657B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130138392A (ko) * 2012-06-11 2013-12-19 휴앤에스(주) 돌발검지 시스템
KR101618605B1 (ko) * 2014-04-01 2016-05-09 주식회사 아이히어 비상구 위치로 유도하는 효과를 극대화하기 위한 사운드 기반의 비상유도장치
KR101826278B1 (ko) * 2017-02-02 2018-03-22 인성 엔프라 주식회사 유도시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130138392A (ko) * 2012-06-11 2013-12-19 휴앤에스(주) 돌발검지 시스템
KR101618605B1 (ko) * 2014-04-01 2016-05-09 주식회사 아이히어 비상구 위치로 유도하는 효과를 극대화하기 위한 사운드 기반의 비상유도장치
KR101826278B1 (ko) * 2017-02-02 2018-03-22 인성 엔프라 주식회사 유도시스템

Similar Documents

Publication Publication Date Title
KR101445367B1 (ko) 이상 음원에 대한 인식율 향상을 통하여 긴급상황 판별 성능을 개선한 지능형 영상감시 시스템 및 이를 이용한 긴급상황 판별방법
EP3229214B1 (en) System and method for tracking unauthorized intruders using drones integrated with a security system
US9761248B2 (en) Action analysis device, action analysis method, and action analysis program
GB2585800A (en) People counting and tracking systems and methods
KR101485022B1 (ko) 행동 패턴 분석이 가능한 객체 추적 시스템 및 이를 이용한 방법
KR101858396B1 (ko) 지능형 침입 탐지 시스템
JP6729793B2 (ja) 情報処理装置、制御方法、及びプログラム
KR101899436B1 (ko) 비명인식 기반 안전감지센서
KR101687296B1 (ko) 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템 및 객체 추적 방법
KR20160074208A (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
KR20120124785A (ko) 물체의 이동 경로를 추적하는 물체 추적 시스템 및 그 방법
KR101894399B1 (ko) 개인 정보 보호 기능을 포함한 모니터링 시스템 및 그 방법
KR102472369B1 (ko) 긴급도움 요청 음원을 통한 객체 추적시스템 및 추적방법
CN114937237A (zh) 一种基于ai智能识别的工地安全监测方法及系统
KR20180007615A (ko) 네트워크 카메라 및 이를 이용한 폭력 감지 방법
KR102046591B1 (ko) 영상 감시 시스템 및 영상 감시방법
KR101794260B1 (ko) 음성인식을 이용한 보안등 및 보안시스템
KR102141657B1 (ko) 음성 및 영상기반 비상유도시스템
KR102513372B1 (ko) 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 및 제어방법
KR20210103172A (ko) 방범 경비 시스템
KR101882309B1 (ko) 음성인식을 이용한 보안등 및 보안시스템
JP4175180B2 (ja) 監視通報システム
US11869532B2 (en) System and method for controlling emergency bell based on sound
JP2017062594A (ja) 迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラム
KR102313283B1 (ko) 영상 분석 기능을 탑재한 인공지능 다목적 비상벨 시스템

Legal Events

Date Code Title Description
GRNT Written decision to grant