KR101864388B1 - Cctv 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템 및 방법 - Google Patents

Cctv 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템 및 방법 Download PDF

Info

Publication number
KR101864388B1
KR101864388B1 KR1020180036919A KR20180036919A KR101864388B1 KR 101864388 B1 KR101864388 B1 KR 101864388B1 KR 1020180036919 A KR1020180036919 A KR 1020180036919A KR 20180036919 A KR20180036919 A KR 20180036919A KR 101864388 B1 KR101864388 B1 KR 101864388B1
Authority
KR
South Korea
Prior art keywords
sound source
noise
abnormal sound
microphone
camera
Prior art date
Application number
KR1020180036919A
Other languages
English (en)
Inventor
김혜원
정재훈
Original Assignee
주식회사 경림이앤지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 경림이앤지 filed Critical 주식회사 경림이앤지
Priority to KR1020180036919A priority Critical patent/KR101864388B1/ko
Application granted granted Critical
Publication of KR101864388B1 publication Critical patent/KR101864388B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/16Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • G08B13/1672Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Electromagnetism (AREA)
  • Alarm Systems (AREA)

Abstract

CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템 및 방법이 개시된다. 상기 시스템은 CCTV 카메라에 둘레에 설치된 다수의 마이크들(MIC)이 이상 음원 탐지 단말과 연결되고, 이상음원 탐지 단말은 음성 신호 처리부에 의해 각 마이크로 입력된 음파 상쇄에 의해 현장 소음의 노이즈가 상쇄된 음원 데이터를 생성하며 공유기 또는 모뎀을 통해 이상 음원 분석 서버로 노이즈가 상쇄된 음원 데이터를 전송하며, 카메라 동영상 모니터링을 하는 VMS 서버와 음원 데이터를 저장하는 ATT 서버를 구비하는 이상음원 분석 서버가 ATT 모듈에 의해 음원 데이터를 텍스트로 변환하고, 위기 상황을 표시하는 특정 단어를 추출하며, 특정 단어의 이상 음원 탐지시에 이상 음원 분석 서버로부터 카메라 PTZ 콘트롤러로 PTZ 제어 신호를 전송하여 이상 음원이 탐지된 마이크(MIC) 방향으로 카메라를 포커싱하여 동영상이 VMS 서버로 녹화되며, 알람을 발생하며 위기 상황으로 판단시에 비상벨을 울리며, 관제 요원 또는 경찰관의 이동통신 단말로 이상 음원 탐지 위치와 특정 단어가 포함된 문자를 전송하여 긴급 대응 조치를 취한다.

Description

CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템 및 방법{Peculiar sound detection system and method to be cancelled out the noise by using array microphone in CCTV camera system}
본 발명은 이상 음원 탐지 시스템 및 방법에 관한 것으로, 보다 상세하게는CCTV 카메라에 둘레에 다수의 마이크들(MIC)을 구비하는 어레이 마이크가 이상 음원 탐지 단말과 연결되고, 이상 음원 탐지 단말은 각 마이크로 입력된 음원 데이터를 음성신호 처리부에 의해 음파 상쇄를 사용하여 현장 소음의 노이즈가 상쇄된 음원 데이터를 생성하여 공유기 또는 모뎀을 통해 이상 음원 분석 서버로 전송하며, 이상 음원 분석 서버는 카메라의 동영상을 모니터링하는 VMS(Video Management System) 서버와 음원 데이터를 저장하는 ATT(Audio To Text) 서버를 구비하며, 이상 음원 분석 서버의 ATT 서버가 ATT 모듈에 의해 현장 소음의 노이즈가 상쇄된 음원 데이터를 텍스트로 변환하고 위기 상황을 표시하는 특정 단어를 추출하며, 특정 단어의 이상 음원 탐지시에 이상 음원 분석 서버로부터 카메라 PTZ 콘트롤러로 PTZ 제어 신호를 전송하여 이상 음원이 탐지된 마이크(MIC) 방향으로 카메라를 포커싱하여 동영상이 녹화되어 관제 센터의 VMS 서버로 전송되어 모니터링되며, 관제센터에서 위기 상황을 표시하는 특정 단어 검출시에 알람을 발생하며, 위기상황으로 판단시에 비상벨을 울리며, 관제 요원 또는 경찰관의 이동통신 단말로 문자 메시지를 전송하는, CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템 및 방법에 관한 것이다.
CCTV 시스템은 동영상을 촬영하는 다수의 카메라와, 다수의 카메라와 UTP 케이블로 연결되어 각 카메라의 영상 데이터를 압축하여 하드디스크에 저장하는 DVR(Digital Video Recorder) 또는 NVR(Network Video Recorder)과, DVR 또는 NVR에 연결된 하드디스크 스토리지로 구성되며, 통신망을 통해 각 카메라 채널의 동영상과 음성을 수신하는 관제센터 모니터링 서버로 전송되며, 관제센터 모니터링 서버에 연결된 모니터링 PC의 멀티뷰어 화면을 통해 원격 CCTV 카메라 모니터링을 한다.
CCTV 카메라는 고정 카메라, 돔 카메라(Dome camera), PTZ(Pan Tilt Zoom) 카메라, 야간에 촬영되는 적외선 LED를 구비하는 돔 적외선 카메라 등이 사용된다.
카메라는 렌즈와 카메라, 전원장치를 구비하며, 이를 커버하는 돔 또는 상부 덮개형 카메라 하우징을 구비하며, 고정식 카메라와 회전식 카메라로 분류된다.
PTZ 카메라는 PTZ(Pan, Tilt, Zoom) 제어 기능을 구비하며, Pan은 카메라의 위치를 고정하고 카메라를 좌우로 움직이는 기능, Tilt(tilt up, tilt down)는 카메라를 상하로 움직이는 기능이며, Zoom in/out은 카메라의 초점 거리를 근거리 또는 원거리로 포커싱하여 영상 화면을 축소/확대하는 기능을 제공한다.
DVR(디지털 비디오 레코더)는 1.7km 거리 내에서 케이블로 연결된 다수의 카메라가 촬영한 영상을 인코딩하여 하드 디스크에 저장하고, 각 카메라 채널별 영상을 분배하여 표시되도록 하는 디지털 영상 녹화 저장 장치이며, 화면 전환 스위치, 화면 분할기, VCR(비디오 재생기) 센서 및 알람 제어기 등이 구비된다.
NVR은 네트워크상에 설치된 카메라나 비디오 서버의 영상 녹화, 모니터링, 이벤트 관리, 재생을 위한 전용 PC 서버이며, IP 카메라를 통해 디지털 영상을 전송받아 압축하여 저장하고, IP 전용 저장 장치이므로 아날로그 카메라 영상 신호를 디지털 카메라 영상 신호로 변환하는 장치가 필요 없고, 기존 디지털 비디오 녹화기(DVR)를 대체하는 장치이다.
도 1을 참조하면, 기존 CCTV와 센서를 구비한 DVR 시스템은 감시 지역의 CCTV 영상을 촬영하는 적어도 하나 이상의 카메라(710); 화재 발생시 열을 감지하는 센서(712); 상기 적어도 하나 이상의 카메라(710) 및 상기 센서(712)와 연결되고, 장치 ID가 할당되며, 감시 지역의 영상을 촬영하는 적어도 하나 이상의 카메라와 연결되며, 카메라들로부터 녹화된 영상 데이터를 저장하는 하드 디스크가 내장된 DVR(720); 상기 DVR(720)에 연결되고, 감시 지역의 각 CCTV 카메라의 화면 분할기를 통해 출력하는 컴퓨터와 HD 모니터(723); 상기 DVR(720)과 연결되고, 감시 지역의 카메라들의 영상을 모니터링하며, 침입 탐지 시 기 관제 PC에서 알람을 발생하고 설정된 이동 전화번호의 이동통신 단말기(780)에 침입 알람을 전송하는 관제센터 서버(740); 및 감시 지역의 적어도 하나 이상의 카메라들로부터 녹화된 CCTV 영상에 대한 CMS 모니터링을 위한 화면 분할기 클라이언트가 설치된 DVR용 카드가 장착된 관제 PC(790);를 포함한다.
상기 센서(712)는 출입문 자석 감지기, 인체감지 센서(PIR 센서), 음파 감지 센서, 무선 도어 센서, 화재 감지 센서 중 어느 하나의 센서가 사용될 수 있다.
이와 관련된 선행기술1로써, 특허 등록번호 10-1384781에서는 "광섬유 센서를 이용한 이상 정보 탐지 장치 및 방법"이 개시된다. 이상 음원 탐지 장치는 감시 영역 주변에서 발생하는 소리에 대한 정보를 수집하는 복수개의 마이크와 상기 감시 영역 주변에서 발생하는 진동 및 음압에 대한 정보를 수집하는 광섬유 센서를 포함하는 정보 수집부 및 상기 정보 수집부에서 수집되는 정보들을 기반으로 이상 음원을 탐지하여 이상 음원 정보를 생성하는 제어부를 포함한다. 감시 영역 주변에서 발생하는 초저주파 진동 및 가청주파수 대역의 정보를 수집함으로써 범죄 예방 및 방범의 효과를 제공한다.
각 지자체가 매년 대규모 사업비를 들여 범죄 및 주민안전을 위한 CCTV를 설치하고 있으며, 현장에 설치되는 카메라 및 네트워크 장비들 또한 고해상도의 카메라 및 네트워크를 통해 전송하기 위한 고도의 장비들이 설치되고 있다. 또한, 카메라의 감시 사각 지역을 없애기 위해 많은 자원을 집중적으로 투입하고 있다.
하지만 현장에 설치되어 있는 많은 고가의 장비들을 제한된 인력으로 운영하다 보니 대부분 실시간 위험을 파악하기 보다는 사후 범죄 증거 자료 수집용으로만 CCTV가 활용되고 있는 실정이며, 정작 긴급 상황 발생 시 물리적으로 현장에 설치된 비상벨을 호출하여 경찰관 또는 관제요원에게 SOS를 요청하기 어렵고, 주로 야간에 발생하는 폭력상황과 사건 상황을 관제센터에서 24시간 모니터링 하고 대응하기가 현실적으로 매우 어려운 현실이다.
"현장에 설치된 고도화된 장비를 열악한 관제환경에서 보다 효율적이고 효과적으로 운영하는 방법은 없을까?", "위험에 처한 사람을 보다 신속하게 확인하고 위험상황을 전파하여 범죄를 예방하는 방법을 없을까?" 하는 문제가 CCTV 장비의 숫자를 늘리고, 고도화된 장비를 설치하는 것 만큼이나 해결할 문제로 남아 있다.
특허 등록번호 10-1384781 (등록일자 2014년 04월 07일), "이상 음원 탐지 장치 및 방법", 아이브스 주식회사
상기한 문제점을 해결하기 위한 본 발명의 목적은 CCTV 카메라에 둘레에 다수의 마이크들(MIC)을 구비하는 어레이 마이크가 이상 음원 탐지 단말과 연결되고, 이상 음원 탐지 단말은 각 마이크로 입력된 음원 데이터를 음성신호 처리부에 의해 음파 상쇄를 사용하여 현장 소음의 노이즈가 상쇄된 음원 데이터를 생성하여 공유기 또는 모뎀을 통해 이상 음원 분석 서버로 전송하며, 이상 음원 분석 서버는 카메라의 동영상을 모니터링하는 VMS 서버와 음원 데이터를 저장하는 ATT 서버를 구비하며, 이상음원 분석 서버의 ATT 서버가 ATT 모듈에 의해 현장 소음의 노이즈가 상쇄된 음원 데이터를 텍스트로 변환하고 위기 상황을 표시하는 특정 단어를 추출하며, 특정 단어의 이상 음원 탐지시에 이상 음원 분석 서버로부터 카메라 PTZ 콘트롤러로 PTZ 제어 신호를 전송하여 이상 음원이 탐지된 마이크(MIC) 방향으로 카메라를 포커싱하여 동영상이 녹화되어 관제 센터의 VMS 서버로 전송되어 모니터링되며, 관제센터에서 위기 상황을 표시하는 특정 단어 검출시에 알람을 발생하며, 위기상황으로 판단시에 비상벨을 울리며, 관제 요원 또는 경찰관의 이동통신 단말로 문자 메시지를 전송하는, CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템을 제공한다.
본 발명의 다른 목적은 CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 방법을 제공한다.
본 발명의 목적을 달성하기 위해, CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템은, 카메라의 둘레에 마이크 설치대에 부착되는 다수의 마이크(MIC)들과 카메라 PTZ 콘트롤러와 연결된 카메라가 구비된 CCTV 카메라 시스템; 상기 다수의 마이크(MIC)들과 상기 카메라와 연결되며, 각 마이크로부터 음원 신호를 입력받고 각각의 음원 신호에 대하여 음성 신호 처리부에 의해 각각 기 설정된 주파수 이하를 커트하고 초과하는 주파수를 통과시키는 저역 커트 필터(LCF)에 의해 저역 커트되고 HSF(High Shelving Filter)에 의해 고음의 주파수를 기 정의된 주파수 이하로 낮추어 음원 신호의 고음을 완화시켜 저역 커트되고 고음이 완화된 음원 신호를 제공하며, 음성 신호 처리부에 의해 "음파 상쇄"에 의해 특정 카운터파트 마이크에 수집된 주변소음 음원의 위상을 180도 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 노이즈를 상쇄시킨 현장 소음의 노이즈가 상쇄된 음원 데이터 및 장치 ID를 전송하는 이상 음원 탐지 단말; 및 상기 카메라의 동영상 데이터를 입력받는 VMS 서버와, 상기 이상 음원 탐지 단말로부터 유무선 통신망을 통해 상기 장치ID와 상기 현장 소음의 노이즈가 상쇄된 음원 데이터를 입력받는 ATT 서버를 포함하며, ATT 변환 모듈에 의해 상기 현장 소음의 노이즈가 상쇄된 음원 데이터를 텍스트 데이터로 변환하며, 위기 상황이 표시된 특정 단어를 검출하며, 특정 단어의 이상 음원 탐지시에 알람을 발생하며, 위기 상황으로 판단시에 비상벨을 울리며, 담당자의 이동통신 단말로 문자 메시지를 전송하는 이상 음원 분석 서버를 포함하며,
상기 다수의 마이크들(MIC)에서 어느 하나의 마이크를 현장 소음의 노이즈 상쇄를 위한 카운터파트 마이크가 설정되며, 상기 이상음원 탐지 단말은 시간대별로 카운터파트 마이크에 수집된 음원을 주변소음으로 판단한다.
본 발명의 다른 목적을 달성하기 위해, CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 방법은 (a) 다수의 마이크들(MIC)에서 어느 하나의 마이크를 현장 소음의 노이즈 상쇄를 위한 카운터파트 마이크가 설정되며, 이상음원 탐지 단말은 시간대별로 카운터파트 마이크에 수집된 음원을 주변소음으로 판단하며, 상기 다수의 마이크들로부터 상기 이상 음원 탐지 단말로 입력된 각각의 음원 신호에 대하여 음성 신호 처리부의 저역 커트 필터(LCF)에 의해 저역 커트되고 HSF(High Shelving Filter)에 의해 고음의 주파수를 기 정의된 주파수 이하로 낮추어 음원 신호의 고음을 완화시켜 저역 커트되고 고음이 완화된 음원 신호를 제공하며, "음파 상쇄"에 의해 특정 카운터파트 마이크에 수집된 주변소음 음원의 위상을 180도 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 현장 소음의 노이즈가 상쇄된 음원 데이터와 장치 ID를 이상 음원 분석 서버로 전송하는 단계; 및 (b) 상기 이상 음원 분석 서버는 상기 장치 ID와 상기 현장 소음의 노이즈가 상쇄된 음원 데이터를 수신하여 상기 이상 음원 분석 서버에 저장되며, 상기 이상 음원 분석 서버의 ATT 서버가 ATT 변환 모듈에 의해 오디오 데이터를 텍스트로 변환하며, 특정 단어 필터링 모듈에 의해 변환된 텍스트 정보 중 위기 상황을 표시하는 특정 단어를 필터링하며, 특정 음원의 명령어 트리거 모듈에 의해 특정 단어가 검출된 이상 음원을 탐지하며, 상기 특정 단어의 이상 음원 탐지시에 스마트 모니터링 알람을 발생하며, 이상 음원 전후의 섬네일 이미지를 저장하고, 음원 데이터와 VMS 서버에 카메라 동영상 데이터를 저장하는 단계를 포함한다.
본 발명에 따른 CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템 및 방법은 CCTV 카메라에 둘레에 설치된 다수의 마이크들(MIC)를 구비하는 어레이 마이크를 이상 음원 탐지 단말과 연결되고, 이상 음원 탐지 단말은 각 마이크로 입력된 음원 데이터를 음성신호 처리부에 의해 음파 상쇄를 사용하여 현장 소음의 노이즈가 상쇄된 음원 데이터를 생성하여 공유기 또는 모뎀을 통해 이상 음원 분석 서버로 전송하며, 이상 음원 분석 서버는 카메라의 동영상을 모니터링하는 VMS 서버와 음원 데이터를 저장하는 ATT 서버를 구비하며, 이상 음원 분석 서버의 ATT 서버가 ATT 모듈에 의해 현장 소음의 노이즈가 상쇄된 음원 데이터를 텍스트로 변환하고 위기 상황을 표시하는 특정 단어를 추출하며, 특정 단어의 이상 음원 탐지시에 이상 음원 분석 서버로부터 카메라 PTZ 콘트롤러로 PTZ 제어 신호를 전송하여 이상 음원이 탐지된 마이크(MIC) 방향으로 카메라를 포커싱하여 동영상이 녹화되어 관제 센터의 VMS 서버로 전송되어 모니터링되며, 관제센터에서 위기 상황을 표시하는 특정 단어 검출시에 알람을 발생하며, 위기상황으로 판단시에 비상벨을 울리며, 관제 요원 또는 경찰관의 이동통신 단말로 문자 메시지를 전송하여 긴급 대응 조치를 취하도록 하며 향상된 방범 효과와 범죄를 예방하게 되었다.
사건 사고 시, 어레이 마이크가 설치된 CCTV 카메라 현장에서 통상적으로 발생하는 음원에 대해 소음의 음파 상쇄에 의해 현장 소음의 노이즈가 제거된 선명한 음원 데이터를 추출하고, 추출된 음원을 ATT 변환하여 음원 데이터를 특정 단어로 변환하며, 특정 단어가 포함된 이상음원 검출 시 이상 음원 전후 섬네일 이미지를 제공하고, CCTV 카메라 PTZ 제어, 비상벨의 제어 및 스마트 모니터링 연계 방안을 제공하였다.
도 1은 기존 CCTV와 센서를 구비한 DVR 시스템 구성도이다.
도 2는 CCTV 카메라에 주위에 다수의 마이크를 구비한 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템의 개념도이다.
도 3은 본 발명에 따른 CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 음파가 상쇄된 이상 음원 탐지 시스템 구성도이다.
도 4는 이상 음원 탐지 단말의 내부 구성도이다.
도 5는 이상 음원 분석 서버의 내부 구성도이다.
도 6은 본 발명에 따른 CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 방법을 나타낸 플로차트이다.
도 7은 위기 상황을 표시하는 특정 단어 이상 음원 탐지와 알람, 카메라 PTZ 콘트롤러에 연결되는 이상 음원 탐지 마이크의 방향으로 카메라의 PTZ 포커싱이 조절되는 개념을 보인 도면이다.
도 8은 "음파 상쇄"에 의해 특정 카운터파트 마이크에 수집된 주변소음 음원의 위상을 180도 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 노이즈를 상쇄시킨 현장 소음의 노이즈가 상쇄된 음원 데이터를 보인 도면이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다.
도 2는 CCTV 카메라에 주위에 다수의 마이크를 구비한 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템의 개념도이다.
CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템은
CCTV 카메라의 둘레에 N. NE, E, SE, S, SW, W, NW의 사면 방향으로 설치된 다수의 마이크들(MIC)을 구비하는 어레이 마이크 및 CCTV 카메라가 이상 음원 탐지 단말과 연결되고, 이상 음원 탐지 단말은 각 마이크로 입력된 음원 데이터를 음성신호 처리부에 의해 음파 상쇄를 사용하여 현장 소음의 노이즈가 상쇄된 음원 데이터를 생성하여 장치ID와 함께 공유기 또는 모뎀을 통해 이상 음원 분석 서버로 전송하며, 이상 음원 분석 서버는 카메라로부터 전송된 동영상을 모니터링하는 VMS(Video Management System) 서버와 음원 데이터를 저장하는 ATT(Audio To Text) 서버를 구비하며, 이상 음원 분석 서버의 ATT 서버는 ATT 모듈에 의해 현장 소음의 노이즈가 상쇄된 음원 데이터를 텍스트로 변환하고 위기 상황을 표시하는 특정 단어를 추출하며, 특정 단어의 이상 음원 탐지시에 이상 음원 분석 서버로부터 카메라 PTZ 콘트롤러로 PTZ 제어 신호를 전송하여 이상 음원이 탐지된 마이크(MIC) 방향으로 카메라를 포커싱하여 동영상이 녹화되어 관제 센터의 VMS 서버로 전송되어 모니터링되며, 관제센터에서 위기 상황을 표시하는 특정 단어 검출시에 알람을 발생하며, 위기상황으로 판단시에 비상벨을 울리며, 관제 요원 또는 경찰관의 이동통신 단말기로 이상 음원 탐지 위치와 특정 단어가 포함된 문자를 전송하여 긴급 대응 조치하게 한다.
도 3은 본 발명에 따른 CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템 구성도이다.
CCTV 카메라 시스템에서 이상 음원 탐지 시스템은
수직 지지대(300)와 그 상부의 수평 지지부에 구비된 카메라 둘레에 마이크 설치대에 부착되는 사면 방향으로 설치된 다수의 마이크(MIC)들(210)과 카메라 PTZ 콘트롤러(201)와 연결된 카메라(200)가 구비된 CCTV 카메라 시스템;
카메라 둘레에 마이크 설치대에 부착된 다수의 마이크(MIC)들(210)과 카메라(200)가 연결되며, 각 마이크로부터 음원 데이터를 입력받고, 음성 신호 처리부에 의해 "음파 상쇄"에 의해 특정 카운터파트 마이크에 수집된 주변소음 음원의 위상을 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 노이즈를 상쇄시키고 현장 소음의 노이즈가 상쇄된 음원 데이터를 제공하며, 이상음원 탐지 단말의 장치ID와 상기 현장 소음의 노이즈가 상쇄된 음원 데이터를 통신부로 전송하는 이상 음원 탐지 단말(100); 및
카메라(200)의 동영상 데이터를 입력받는 VMS 서버와, 상기 이상 음원 탐지 단말로부터 유무선 통신망을 통해 상기 장치ID와 상기 현장 소음의 노이즈가 상쇄된 음원 데이터를 수신하는 ATT 서버를 포함하며, ATT 변환 모듈에 의해 상기 현장 소음의 노이즈가 상쇄된 음원 데이터를 텍스트 데이터로 변환하며, 위기 상황이 표시된 특정 단어를 검출하며, 특정 단어의 이상 음원 탐지시에 알람을 발생하며, 위기 상황으로 판단시에 비상벨을 울리며, 관제요원 또는 경찰관의 이동통신 단말로 이상 음원 탐지 위치와 특정 단어가 포함된 문자 메시지를 전송하는 이상 음원 분석 서버(700)를 포함한다.
마이크(MIC)들은 카메라 둘레로 마이크 설치대에 3방향, 4방향, 5방향, 6방향, 7방향, 8방향으로 소형 지향성 마이크가 설치될 수 있다.
CCTV 카메라와 같이 설치된 어레이 마이크의 다수의 마이크들(MIC)에서 어느 하나의 마이크를 현장 소음의 노이즈 상쇄를 위한 카운터파트 마이크가 설정되며, 이상음원 분석 서버는 시간대별로 카운터파트 마이크에 수집된 음원을 주변소음으로 판단한다.
상기 이상 음원 분석 서버가 특정 단어의 이상 음원 탐지시에,
상기 CCTV 카메라 시스템은
상기 이상 음원 분석 서버로부터 이상 음원이 탐지된 마이크(MIC) 방향으로 카메라가 포커싱 되도록 PTZ 제어 신호를 전송받는 상기 카메라 PTZ 콘트롤러를 구비하며, 상기 카메라 PTZ 콘트롤러는 해당 장치ID의 카메라를 이상 음원이 탐지된 마이크(MIC) 방향으로 포커싱하여 동영상을 녹화하여 녹화된 동영상 데이터를 상기 VMS 서버로 전송한다.
이상음원 분석 서버(700)는 ATT 서버를 구비하며, VMS 서버, 비상벨 시스템, 및 GIS 서버와 연동된다.
상기 시스템은 이상음원 분석 서버(700)와 연결되며, 이상음원 분석 서버(700)가 기 등록된 특정 단어가 포함된 이상 음원 탐지 시에, GIS 지도에 이상 음원 탐지 위치를 ROI(Region of Interest) 정보와 함께 GIS 지도에 표시하는 GIS 서버를 더 포함한다.
도 4는 이상 음원 탐지 단말의 내부 구성도이다.
이상 음원 탐지 단말(100)은
다수의 마이크들(MIC)과 각각 연결되며, 각 마이크의 아날로그 오디오 신호를 A/D 변환하여 디지털 오디오 데이터를 제공하는 다수의 ADC(Analogue to Digital Convertor);
다수의 마이크들로부터 입력된 각각의 음원 신호를 각각 기 설정된 주파수(예, 153 Hz 이하 cut, 153 Hz 초과 통과) 이하를 커트(cut)하고 기 설정된 주파수를 초과하는 주파수를 통과시키는 저역 커트 필터(LCF, low cut filter)에 의해 가우시안 노이즈를 저역 필터링하고, HSF(High Shelving Filter)에 의해 고음의 주파수를 기 정의된 주파수 이하로 낮추어 음원 신호의 고음이 완화되며, 저역 커트되고 고음이 완화된 음원 신호를 제공하며, "음파 상쇄"에 의해 특정 카운터파트 마이크에 수집된 주변소음 음원의 위상을 180도 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 노이즈를 상쇄시킨 현장 소음의 노이즈가 상쇄된 음원 신호를 A/D 변환하여 현장 소음의 노이즈가 상쇄된 음원 데이터를 제공하는 음성 신호 처리부(101);
음성 신호 처리부(101)와 연결되며, 이상 음원 탐지 단말의 각 기능을 제어하는 제어부(102); 구동 프로그램을 저장하는 저장부(103); 및
제어부(102)와 연결되며 케이블로 연결되는 이더넷 연결부(109)를 포함한다.
이상 음원 탐지 단말(100)은 제어부와 연결되며, 다수의 마이크들로터 녹음된 음원 데이터를 전송하는 LTE 모뎀 또는 Wi-Fi 모뎀을 포함하는 통신부(107)를 더 포함한다.
도 8은 "음파 상쇄"에 의해 특정 카운터파트 마이크에 수집된 주변소음 음원의 위상을 180도 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 노이즈를 상쇄시킨 현장 소음의 노이즈가 상쇄된 음원 데이터를 보인 도면이다.
음파 상쇄는 소음 신호의 주파수 a가 있다고 할 때 이 신호의 크기는 같고 동기 신호도 정확하게 일치하게 하면서 신호의 크기와 주파수는 같고 위상만 180˚로 바꾸어(phase, 위상을 반전) 같이 더하면, a-a =0이 되어 버리기 때문에 상쇄가 된다. 카운터파트 마이크에 수집된 소음 신호의 크기와 주파수가 동일하고, 위상만 180도로 바꾸어 역으로 발사하면 전체 잡음이 감소하게 된다.
다수의 마이크들(MIC)로부터 수집된 음원 신호들 중에서, 음원 신호의 크기가 제일 큰 신호가 해당 음원 탐지 마이크로 결정된다.
도 5는 이상 음원 분석 서버의 내부 구성도이다.
이상음원 분석 서버(700)는
카메라로부터 동영상 데이터를 수집하고, 다수의 마이크들로부터 음원 데이터를 수집하는 정보수집부;
음성정보 생성모듈, 이상 음원 판단 모듈, 음원 크기 비교 모듈, 카운터 파트 음원 상쇄 모듈, 음원 전처리 모듈, 및 ATT 서버 전송 통신 모듈을 구비하는 제어부;
전송된 음원의 텍스트 변환 모듈(ATT 변환 모듈), 특정 단어 필터링 모듈, 특정 음원의 명령어 트리거 모듈, 관제센터 알람 전송 모듈, 및 스마트 모니터링 서비스 모듈을 구비하는 ATT 서버부; 및
관제센터 대시보드 표출 모듈, 이상 음원 목록 제공부, 이상 음원 전후 섬네일 이미지 제공부, 이상 발생 시간대의 녹화 영상 연계부, 및 ATT 텍스트 보기 연계부를 구비하는 스마트모니터링 연계부를 포함한다.
이상 음원 판단 모듈은 i) CCTV 카메라와 마이크의 장비들 설치현장 분석을 통한 시간대별 음압의 임계치를 설정하여 기준치 이상의 음압(dB) 발생 시 이상음원으로 판단하고, ii) 최근 30분 평균치 보다 높은 음압이 발생할 경우 이상음원으로 판단하며, iii) 현장 마이크(MIC)로 수집된 오디오 데이터를 ATT 서버(음원 분석 서버)로 실시간 전송하여 오디오 데이터를 텍스트로 변환 후 위기 상황을 표시하는 특정 단어 등이 검출 시 이상음원으로 판단한다.
음원 크기 비교 모듈은 각 마이크(MIC)로부터 수집된 음원의 크기를 비교한다.
카운터 파트 음원 상쇄 모듈은 "음파 상쇄"에 의해 카운터파트 마이크에 수집된 주변소음 음원의 위상(phase)을 180도 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭(amplitude)을 줄여 노이즈를 상쇄시켜 현장 소음의 노이즈가 상쇄된 음원 데이터를 제공한다.
음원 전처리 모듈은 현장 소음의 노이즈가 제거된 음원의 인식율을 높이기 위한 전처리로써, 현장 소음의 노이즈가 상쇄된 음원의 볼륨 확대, 이상 음원 탐지 단말의 음성 신호 처리부의 저역 통과 필터(LPF, Low Pass Filter)에 의해 가우시안 노이즈(Gaussian Noise)로 판단되는 현장 소음의 저음의 대역폭을 삭제하며, 이상 음원 탐지 단말의 음성 신호 처리부의 고역 완화 필터(High Shelving Filter)에 의해 고음 영역 보정된 음원 데이터를 수신한다.
전송된 음원의 텍스트 변환 모듈(ATT 변환 모듈)은 오디오 데이터를 텍스트로 변환하며, 특정 단어 필터링 모듈은 변환된 텍스트 정보 중 위기 상황을 표시하는 특정 단어를 필터링하며, 특정 음원의 명령어 트리거 모듈은 필터링 된 정보 중에서 위기 상황을 표시하는 특정 단어가 검출된 이상 음원 탐지 시에, 현장 긴급상황으로 판단하여 카메라 PTZ 콘트롤러로 PTZ 제어 신호를 전송하여 현장에 설치된 이상 음원이 탐지된 마이크(MIC)의 방향으로 카메라 포커싱되도록 하며, 알람을 발생하며, 특정 단어의 이상 음원 탐지 후 위기 상황으로 판단시에 관제요원 또는 관할 지역 경찰관의 이동통신 단말로 이상 음원 탐지 위치를 포함하는 문자 메시지를 전달한다.
스마트 모니터링 서비스 모듈은 스마트폰과 태블릿 PC에 원격으로 이상 음원 모니터링과 동영상 모니터링 서비스를 제공한다.
스마트 모니터링 연계부는 현장에서 발생한 특정 단어를 트리거로 관제센터 대시보드 알람을 발생하는 관제센터 대시보드 표출 모듈; 추출된 이상음원과 이상음원 목록을 제공하는 이상 음원 목록 제공부; 이상음원의 전후 섬네일 이미지를 제공하는 이상 음원 전후 섬네일 이미지 제공부; 이상음원 발생시간의 카메라의 녹화영상을 연계하는 이상 발생 시간대의 녹화 영상 연계부; 및 이상 음원 분석 서버의 ATT 서버에서 변환된 현장 텍스트 보기 연계 기능을 제공하는 ATT 텍스트 보기 연계부를 포함한다.
도 6은 본 발명에 따른 CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 방법을 나타낸 플로차트이다.
CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 방법은
(a) 다수의 마이크로부터 이상 음원 탐지 단말로 다수의 마이크들로부터 입력된 각각의 음원 신호에 대하여 저역 커트되고 고음이 완화된 음원 신호를 제공하며, "음파 상쇄"에 의해 특정 카운터파트 마이크에 수집된 주변소음 음원의 위상을 180도 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 현장 소음의 노이즈가 상쇄된 음원 데이터와 장치 ID를 이상 음원 분석 서버로 전송하는 단계;
(b) 상기 이상 음원 분석 서버는 상기 장치 ID와 상기 현장 소음의 노이즈가 상쇄된 음원 데이터를 수신하여 이상 음원 분석 서버에 저장하며, 이상 음원 분석 서버의 ATT 서버가 ATT 변환 모듈에 의해 오디오 데이터를 텍스트로 변환하며, 특정 단어 필터링 모듈에 의해 변환된 텍스트 정보 중 위기 상황을 표시하는 특정 단어를 필터링하며, 특정 음원의 명령어 트리거 모듈에 의해 특정 단어가 검출된 이상 음원을 탐지하며, 상기 특정 단어의 이상 음원 탐지시에 스마트 모니터링 알람을 발생하며, 이상 음원 전후의 섬네일 이미지를 저장하고, 음원 데이터와 VMS 서버에 카메라 동영상 데이터를 저장하는 단계; 및
특정 단어의 이상 음원 탐지와 카메라 모니터링을 통해 위기 상황으로 판단시에 관제요원 또는 경찰관의 이동통신 단말로 골든 타임 내에 긴급 출동하도록 이상 음원 탐지 위치를 포함하는 문자 메시지를 전송하는 단계(S17-S22)를 포함한다.
상기 단계 (a)는, 상기 다수의 마이크들(MIC)에서 어느 하나의 마이크를 현장 소음의 노이즈 상쇄를 위한 카운터파트 마이크가 설정되며, 상기 이상음원 탐지 단말의 음성 신호처리부와 제어부는 시간대별로 카운터파트 마이크에 수집된 음원을 주변소음으로 판단한다.
상기 단계 (a)는
상기 이상 음원 탐지 단말은 이상 음원을 판단하며, 이상 음원이면 음원 크기 비교 모듈에 의해 마이크별 오디오의 음원 크기를 비교하여 제일 진폭의 크기가 큰 음원 데이터를 선택하는 단계; 및
카운터 파트 음원 상쇄 모듈에 의해 이상 음원 마이크의 음원 데이터에 대하여 "음파 상쇄"에 의해 현장 소음의 노이즈가 상쇄된 음원 데이터를 제공하는 단계를 포함한다.
상기 단계 (a)는 다수의 마이크들로부터 이상 음원 탐지 단말로 입력된 각각의 음원 신호를 저장부에 임시로 저장하며 일정 시간(40분) 후 삭제되며, 음성 신호 처리부에 의해 각각 기 설정된 주파수 이하를 커트(cut)하고 초과하는 주파수를 통과시키는 저역 커트 필터(LCF, low cut filter)에 의해 가우시안 노이즈를 필터링하는 단계;
상기 음성 신호 처리부에 의해 HSF(High Shelving Filter)에 의해 고음의 주파수를 기 정의된 주파수 이하로 낮추어 음원 신호의 고음을 완화시키는 단계; 및
저역 커트되고 고음이 완화된 음원 신호를 제공하며, 상기 음성 신호처리부에 의해 "음파 상쇄"에 의해 특정 카운터파트 마이크에 수집된 주변소음 음원의 위상을 180도 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 노이즈를 상쇄시킨 현장 소음의 노이즈가 상쇄된 음원 신호를 A/D 변환하여 현장 소음의 노이즈가 상쇄된 음원 데이터와 장치 ID를 이상 음원 분석 서버로 전송하는 단계를 포함한다.
상기 방법은 (c) 상기 특정 단어가 포함된 이상 음원 탐지 시에, 카메라 프리셋을 이동하여 해당 장치 ID의 카메라 PTZ 콘트롤러로 PTZ 제어 신호를 전송하여 현장에 설치된 이상 음원이 탐지된 마이크(MIC)의 방향으로 카메라를 포커싱하는 단계를 더 포함한다.
상기 방법은 (d) 상기 특정 단어가 포함된 이상 음원 탐지와 VMS 서버의 비디오 모니터링에 의해 위험 상황으로 판단 시에, 골든 타임 내에 긴급 출동하도록 관제요원 또는 경찰관의 이동통신 단말로 이상 음원 탐지 위치를 포함하는 문자 메시지를 전송하는 단계를 더 포함한다.
도 7은 위기 상황을 표시하는 특정 단어 이상 음원 탐지와 알람, 카메라 PTZ 콘트롤러에 연결되는 이상 음원 탐지 마이크의 방향으로 카메라의 PTZ 포커싱이 조절되는 개념을 보인 도면이다.
사건 사고 시, 어레이 마이크가 설치된 CCTV 카메라 현장에서 통상적으로 발생하는 음원에 대해 소음의 음파 상쇄에 의해 현장 소음의 노이즈가 제거된 선명한 음원 데이터를 추출하고, 추출된 음원을 ATT 변환하여 음원 데이터를 특정 단어로 변환하며, 특정 단어가 포함된 이상음원 검출 시 이상 음원 전후 섬네일 이미지를 제공하고, CCTV 카메라 PTZ 제어, 비상벨의 제어 및 스마트 모니터링 연계 방안을 제공하였다.
* 사건 사고 시, CCTV 카메라와 마이크가 구비된 현장에서 발생하는 이상음원 수집 방법
1) 현장의 CCTV 카메라의 둘레에 사면 방향으로 균일한 간격의 어레이 마이크 설치 또는 어레이 마이크를 내장한 CCTV 카메라 설치
2) 설치 장소에 따른 유형 선택 (3방향, 4방향, 5방향, 6방향, 7방향, 8방향 마이크 설치 등 설치유형 선택)
3) 이상 음원 탐지 방법
가) CCTV 카메라와 마이크의 장비들 설치현장 분석을 통한 시간대별 음압의 임계치를 설정하여 기준치 이상의 음압(dB) 발생 시 이상음원으로 판단
나) 최근 30분 평균치 보다 높은 음압이 발생할 경우 이상음원으로 판단
다) 현장 마이크(MIC)로 수집된 오디오 데이터를 ATT 서버(음원 분석 서버)로 실시간 전송하여 텍스트 검지 후 특정 단어 등이 검출 시 이상음원으로 판단
* 이상 음원 판단 시 주변 현장 노이즈 제거 방법
1) 어레이 마이크 중 각각의 마이크(MIC)에 수집되는 음원 신호의 크기를 비교하여 가장 큰 음압이 발생한 마이크의 음원이 이상음원이라고 판단
2) 각각의 마이크는 현장 소음의 노이즈 상쇄를 위한 카운터파트 마이크를 설정하고, 기준이 되는 카운터파트 마이크에 수집된 음원을 주변소음으로 판단
3) 카운터파트 마이크에 수집된 주변소음 음원 신호의 위상을 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 노이즈를 상쇄하여 음원의 명확도를 높인다.
4) 현장 소음의 노이즈가 제거된 음원의 인식율을 높이기 위한 전처리
가) 현장 소음의 노이즈가 상쇄된 음원의 볼륨 확대
나) 음성 신호 처리부의 저역 통과 필터(LPF, Low Pass Filter)를 통해 가우시안 노이즈(Gaussian Noise)로 판단되는 현장 소음의 저음의 대역폭 삭제
다) 음성 신호 처리부의 고역 완화 필터(High Shelving Filter)로 고음 영역 보정
* 소음이 필터링된 이상음원을 탐지하여 CCTV 프리셋 이동 및 비상벨 제어
1) 상기 노이즈 제거(1~4번의) 과정을 거친 음원을 ATT 서버(음원 분석 서버)로 전송하여 입력된 음원을 텍스트로 변환
2) ATT 서버의 ATT(Audio to Text) 모듈에 의해 오디오 데이터를 텍스트로 변환된 정보 중 위기 상황을 표시하는 특정 단어를 필터링
3) 필터링 된 정보 중에서 위기 상황을 표시하는 특정 단어 검출 시, 이상 음원 탐지, 현장 긴급상황으로 판단
예를 들면, 위기 상황을 표시하는 특정 단어는 “살려주세요”, “사람살려”,“도와주세요”,“불이야”,“도둑이야”,“죽여랴”, “으악” 등
4) 특정 단어가 포함된 이상 음원 검출시, 카메라 PTZ 콘트롤러로 PTZ 제어 신호를 전송하여 현장에 설치된 이상 음원이 탐지된 마이크(MIC)의 방향으로 카메라 포커싱 및 비상벨, 관제요원 이동통신 단말로 특정단어를 명령어로 자동 전달
5) 이상음원 발생 방향으로 카메라 자동 프리셋 이동 및 비상벨 연결, 관제요원 또는 경찰관 연결중 입니다 등의 자동계도 방송 실행
* 스마트 모니터링 연계 방안
1) 현장에서 발생한 특정 단어를 트리거로 관제센터 대시보드 알람, 비상벨
2) 추출된 이상음원의 목록 제공
3) 이상음원의 전후 섬네일 이미지 제공
4) 이상음원 발생시간의 녹화영상 연계
5) 이상 음원 분석 서버의 ATT 서버에서 변환된 현장 텍스트 보기 연계 기능 제공
이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있음을 이해할 수 있을 것이다.
100: 이상 음원 탐지 단말 110: 공유기 또는 모뎀
200: 카메라 210: 다수의 마이크(MIC)
300: 지지대 400: 방화벽
700: 이상 음원 분석 서버

Claims (14)

  1. 카메라의 둘레에 마이크 설치대에 부착되는 다수의 마이크(MIC)들과 카메라 PTZ 콘트롤러와 연결된 카메라가 구비된 CCTV 카메라 시스템;
    상기 다수의 마이크(MIC)들과 상기 카메라와 연결되며, 각 마이크로부터 음원 신호를 입력받고, 각각의 음원 신호에 대하여 음성 신호 처리부에 의해 각각 기 설정된 주파수 이하를 커트하고 초과하는 주파수를 통과시키는 저역 커트 필터(LCF)에 의해 저역 커트되고 HSF(High Shelving Filter)에 의해 고음의 주파수를 기 정의된 주파수 이하로 낮추어 음원 신호의 고음을 완화시켜 저역 커트되고 고음이 완화된 음원 신호를 제공하며, "음파 상쇄"에 의해 특정 카운터파트 마이크에 수집된 주변소음 음원의 위상을 180도 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 노이즈를 상쇄시킨 현장 소음의 노이즈가 상쇄된 음원 데이터 및 장치 ID를 전송하는 이상 음원 탐지 단말; 및
    상기 카메라의 동영상 데이터를 입력받는 VMS 서버와, 상기 이상 음원 탐지 단말로부터 유무선 통신망을 통해 상기 장치ID와 상기 현장 소음의 노이즈가 상쇄된 음원 데이터를 입력받는 ATT 서버를 포함하며, ATT 변환 모듈에 의해 상기 현장 소음의 노이즈가 상쇄된 음원 데이터를 텍스트 데이터로 변환하며, 위기 상황이 표시된 특정 단어를 검출하며, 특정 단어의 이상 음원 탐지시에 알람을 발생하며, 위기 상황으로 판단시에 비상벨을 울리며, 담당자의 이동통신 단말로 문자 메시지를 전송하는 이상 음원 분석 서버를 포함하며,
    상기 다수의 마이크들(MIC)에서 어느 하나의 마이크를 현장 소음의 노이즈 상쇄를 위한 카운터파트 마이크가 설정되며, 상기 이상음원 탐지 단말은 시간대별로 카운터파트 마이크에 수집된 음원을 주변소음으로 판단하는, CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 이상 음원 분석 서버가 특정 단어의 이상 음원 탐지시에,
    상기 CCTV 카메라 시스템은 상기 이상 음원 분석 서버로부터 이상 음원이 탐지된 마이크(MIC) 방향으로 카메라가 포커싱 되도록 PTZ 제어 신호를 전송받는 상기 카메라 PTZ 콘트롤러를 구비하며,
    상기 카메라 PTZ 콘트롤러는 해당 장치ID의 카메라를 이상 음원이 탐지된 마이크(MIC) 방향으로 포커싱하여 동영상을 녹화하여 녹화된 동영상 데이터를 상기 VMS 서버로 전송하는, CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템.
  4. 제1항에 있어서,
    상기 이상 음원 탐지 단말은
    다수의 마이크들(MIC)과 각각 연결되는 다수의 ADC;
    다수의 마이크들로부터 입력된 각각의 음원 신호를 각각 기 설정된 주파수 이하를 커트(cut)하고 초과하는 주파수를 통과시키는 저역 커트 필터(LCF, low cut filter)에 의해 가우시안 노이즈를 저역 필터링하고, HSF(High Shelving Filter)에 의해 고음의 주파수를 기 정의된 주파수 이하로 낮추어 음원 신호의 고음이 완화되며, 저역 커트되고 고음이 완화된 음원 신호를 제공하며, "음파 상쇄"에 의해 특정 카운터파트 마이크에 수집된 주변소음 음원의 위상을 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 노이즈를 상쇄시킨 현장 소음의 노이즈가 상쇄된 음원 신호를 A/D 변환하여 현장 소음의 노이즈가 상쇄된 음원 데이터를 제공하는 음성 신호 처리부;
    상기 음성 신호 처리부와 연결되며, 이상 음원 탐지 단말의 각 기능을 제어하는 제어부;
    구동 프로그램을 저장하는 저장부; 및
    상기 제어부와 연결되는 이더넷 연결부;
    를 포함하는 CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템.
  5. 제4항에 있어서,
    상기 이상 음원 탐지 단말은 상기 제어부와 연결되며, 다수의 마이크들로터 녹음된 음원 데이터를 전송하는 LTE 모뎀 또는 Wi-Fi 모뎀을 포함하는 통신부를 더 포함하는 CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템.
  6. 제1항에 있어서,
    상기 이상음원 분석 서버는
    카메라로부터 동영상 데이터를 수집하고, 다수의 마이크들로부터 음원 데이터를 수집하는 정보수집부;
    음성정보 생성모듈, 이상 음원 판단 모듈, 음원 크기 비교 모듈, 카운터 파트 음원 상쇄 모듈, 음원 전처리 모듈, 및 ATT 서버 전송 통신 모듈을 구비하는 제어부; 및
    전송된 음원의 텍스트 변환 모듈, 특정 단어 필터링 모듈, 특정 음원의 명령어 트리거 모듈, 관제센터 알람 전송 모듈, 및 스마트 모니터링 서비스 모듈을 구비하는 ATT 서버부;
    를 포함하는 CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템.
  7. 제6항에 있어서,
    상기 이상 음원 판단 모듈은 i) CCTV 카메라와 마이크의 장비들 설치현장 분석을 통한 시간대별 음압의 임계치를 설정하여 기준치 이상의 음압(dB) 발생 시 이상음원으로 판단하고, ii) 최근 30분 평균치 보다 높은 음압이 발생할 경우 이상음원으로 판단하며, iii) 현장 마이크(MIC)로 수집된 오디오 데이터를 ATT 서버로 실시간 전송하여 오디오 데이터를 텍스트로 변환 후 위기 상황을 표시하는 특정 단어 검출 시 이상음원으로 판단하며,
    상기 음원 크기 비교 모듈은 각 마이크(MIC)로부터 수집된 음원의 크기를 비교하고,
    상기 카운터 파트 음원 상쇄 모듈은 "음파 상쇄"에 의해 카운터파트 마이크에 수집된 주변소음 음원의 위상을 180도 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 노이즈를 상쇄시켜 현장 소음의 노이즈가 상쇄된 음원 데이터를 제공하며,
    상기 음원 전처리 모듈은 현장 소음의 노이즈가 제거된 음원의 인식율을 높이기 위한 전처리로써, 현장 소음의 노이즈가 상쇄된 음원의 볼륨 확대, 이상 음원 탐지 단말의 음성 신호 처리부의 저역 커트 필터(LCF)에 의해 가우시안 노이즈로 판단되는 현장 소음의 저음의 대역폭을 삭제하며, 이상 음원 탐지 단말의 음성 신호 처리부의 고역 완화 필터(High Shelving Filter)에 의해 고음 영역 보정된 음원 데이터를 수신하며,
    상기 전송된 음원의 텍스트 변환 모듈(ATT 변환 모듈)은 오디오 데이터를 텍스트로 변환하며, 상기 특정 단어 필터링 모듈은 변환된 텍스트 정보 중 위기 상황을 표시하는 특정 단어를 필터링하며, 상기 특정 음원의 명령어 트리거 모듈은 필터링 된 정보 중에서 위기 상황을 표시하는 특정 단어가 검출된 이상 음원 탐지 시에, 현장 긴급상황으로 판단하여 카메라 PTZ 콘트롤러로 PTZ 제어 신호를 전송하여 현장에 설치된 이상 음원이 탐지된 마이크(MIC)의 방향으로 카메라 포커싱되도록 하며, 관제요원 또는 경찰관의 이동통신 단말로 이상 음원 탐지 위치와 특정단어를 문자 메시지로 전달하며,
    상기 스마트 모니터링 서비스 모듈은 스마트폰과 태블릿 PC에 원격으로 이상 음원 모니터링과 동영상 모니터링 서비스를 제공하는, CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템.
  8. 제6항에 있어서,
    상기 이상음원 분석 서버는
    현장에서 발생한 특정 단어를 트리거로 관제센터 대시보드 알람을 발생하는 관제센터 대시보드 표출 모듈;
    추출된 이상음원과 이상음원 목록을 제공하는 이상 음원 목록 제공부;
    이상음원의 전후 섬네일 이미지를 제공하는 이상 음원 전후 섬네일 이미지 제공부;
    이상음원 발생시간의 카메라의 녹화영상을 연계하는 이상 발생 시간대의 녹화 영상 연계부; 및
    이상 음원 분석 서버의 ATT 서버에서 변환된 현장 텍스트 보기 연계 기능을 제공하는 ATT 텍스트 보기 연계부를 포함하는 스마트 모니터링 연계부를 더 포함하는 CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템.
  9. (a) 다수의 마이크들(MIC)에서 어느 하나의 마이크를 현장 소음의 노이즈 상쇄를 위한 카운터파트 마이크가 설정되며, 이상음원 탐지 단말은 시간대별로 카운터파트 마이크에 수집된 음원을 주변소음으로 판단하며, 상기 다수의 마이크들로부터 상기 이상 음원 탐지 단말로 입력된 각각의 음원 신호에 대하여 음성 신호 처리부의 저역 커트 필터(LCF)에 의해 저역 커트되고 HSF(High Shelving Filter)에 의해 고음의 주파수를 기 정의된 주파수 이하로 낮추어 음원 신호의 고음이 완화시켜 저역 커트되고 고음이 완화된 음원 신호를 제공하며, "음파 상쇄"에 의해 특정 카운터파트 마이크에 수집된 주변소음 음원의 위상을 180도 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 현장 소음의 노이즈가 상쇄된 음원 데이터와 장치 ID를 이상 음원 분석 서버로 전송하는 단계; 및
    (b) 상기 이상 음원 분석 서버는 상기 장치 ID와 상기 현장 소음의 노이즈가 상쇄된 음원 데이터를 수신하여 상기 이상 음원 분석 서버에 저장되며, 상기 이상 음원 분석 서버와 연동된 ATT 서버가 ATT 변환 모듈에 의해 오디오 데이터를 텍스트로 변환하며, 특정 단어 필터링 모듈에 의해 변환된 텍스트 정보 중 위기 상황을 표시하는 특정 단어를 필터링하며, 특정 음원의 명령어 트리거 모듈에 의해 특정 단어가 검출된 이상 음원을 탐지하며, 상기 특정 단어의 이상 음원 탐지시에 스마트 모니터링 알람을 발생하며, 이상 음원 전후의 섬네일 이미지를 저장하고, 음원 데이터와 VMS 서버에 카메라 동영상 데이터를 저장하는 단계;
    를 포함하는 CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 단계 (a)는
    상기 이상 음원 탐지 단말은 이상 음원을 판단하며, 이상 음원이면 음원 크기 비교 모듈에 의해 마이크별 오디오의 음원 크기를 비교하여 제일 진폭의 크기가 큰 음원 데이터를 선택하는 단계;
    카운터 파트 음원 상쇄 모듈에 의해 이상 음원 마이크의 음원 데이터에 대하여 "음파 상쇄"에 의해 현장 소음의 노이즈가 상쇄된 음원 데이터를 제공하는 단계;
    를 포함하는 CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 방법.
  12. 제9항에 있어서,
    상기 단계 (a)는
    다수의 마이크들로부터 이상 음원 탐지 단말로 입력된 각각의 음원 신호를 음성 신호 처리부에 의해 각각 기 설정된 주파수 이하를 커트(cut)하고 초과하는 주파수를 통과시키는 저역 커트 필터(LCF, low cut filter)에 의해 가우시안 노이즈를 필터링하는 단계;
    상기 음성 신호 처리부에 의해 HSF(High Shelving Filter)에 의해 고음의 주파수를 기 정의된 주파수 이하로 낮추어 음원 신호의 고음을 완화시키는 단계; 및
    저역 커트되고 고음이 완화된 음원 신호를 제공하며, 상기 음성 신호처리부에 의해 "음파 상쇄"에 의해 특정 카운터파트 마이크에 수집된 주변소음 음원의 위상을 180도 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 노이즈를 상쇄시킨 현장 소음의 노이즈가 상쇄된 음원 신호를 A/D 변환하여 현장 소음의 노이즈가 상쇄된 음원 데이터와 장치 ID를 이상 음원 분석 서버로 전송하는 단계;
    를 포함하는 CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 방법.
  13. 제9항에 있어서,
    (c) 상기 특정 단어가 포함된 이상 음원 탐지 시에, 카메라 프리셋을 이동하여 해당 장치 ID의 카메라 PTZ 콘트롤러로 PTZ 제어 신호를 전송하여 현장에 설치된 이상 음원이 탐지된 마이크(MIC)의 방향으로 카메라를 포커싱하는 단계를 더 포함하는 CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 방법.
  14. 제9항에 있어서,
    (d) 상기 특정 단어가 포함된 이상 음원 탐지와 VMS 서버의 비디오 모니터링에 의해 위험 상황으로 판단 시에, 골든 타임 내에 긴급 출동하도록 관제요원 또는 경찰관의 이동통신 단말로 이상 음원 탐지 위치를 포함하는 문자 메시지를 전송하는 단계를 더 포함하는 CCTV 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 방법.
KR1020180036919A 2018-03-29 2018-03-29 Cctv 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템 및 방법 KR101864388B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180036919A KR101864388B1 (ko) 2018-03-29 2018-03-29 Cctv 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180036919A KR101864388B1 (ko) 2018-03-29 2018-03-29 Cctv 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101864388B1 true KR101864388B1 (ko) 2018-06-04

Family

ID=62628421

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180036919A KR101864388B1 (ko) 2018-03-29 2018-03-29 Cctv 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101864388B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109168110A (zh) * 2018-09-29 2019-01-08 芜湖星途机器人科技有限公司 外挂式语音盒
KR20210065639A (ko) * 2019-11-27 2021-06-04 넥서스텍(주) 모션과 감성 감지를 통한 cctv 시스템 및 그 운영 방법
CN114179107A (zh) * 2021-12-28 2022-03-15 北京北控京奥建设有限公司 一种桌面机器人智能健康管理系统及方法
WO2022092548A1 (ko) * 2020-10-29 2022-05-05 한국자연환경연구소㈜ 생태 조사 시스템
WO2022114620A1 (ko) * 2020-11-25 2022-06-02 (주)비에스소프트 이상음원 감지 시스템 및 방법
CN117591383A (zh) * 2024-01-19 2024-02-23 中电科申泰信息科技有限公司 一种基于服务器声音判定服务器工作状态的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101332754B1 (ko) * 2013-03-19 2013-11-25 주식회사 포엔시스 지능형 중앙 관제 서버 시스템 및 그의 제어 방법
JP2014053717A (ja) * 2012-09-06 2014-03-20 Hitachi Kokusai Electric Inc 映像監視システム
KR101384781B1 (ko) 2013-09-13 2014-04-14 아이브스테크놀러지(주) 이상 음원 탐지 장치 및 방법
KR101445367B1 (ko) * 2014-04-01 2014-10-02 주식회사 다이나맥스 이상 음원에 대한 인식율 향상을 통하여 긴급상황 판별 성능을 개선한 지능형 영상감시 시스템 및 이를 이용한 긴급상황 판별방법
KR101602753B1 (ko) * 2015-10-27 2016-03-11 주식회사 삼주전자 음성인식 비상 호출 시스템
KR20160037484A (ko) * 2014-09-29 2016-04-06 현대모비스 주식회사 음성 인식 장치 및 방법
KR20180007615A (ko) * 2016-07-13 2018-01-23 엘지이노텍 주식회사 네트워크 카메라 및 이를 이용한 폭력 감지 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014053717A (ja) * 2012-09-06 2014-03-20 Hitachi Kokusai Electric Inc 映像監視システム
KR101332754B1 (ko) * 2013-03-19 2013-11-25 주식회사 포엔시스 지능형 중앙 관제 서버 시스템 및 그의 제어 방법
KR101384781B1 (ko) 2013-09-13 2014-04-14 아이브스테크놀러지(주) 이상 음원 탐지 장치 및 방법
KR101445367B1 (ko) * 2014-04-01 2014-10-02 주식회사 다이나맥스 이상 음원에 대한 인식율 향상을 통하여 긴급상황 판별 성능을 개선한 지능형 영상감시 시스템 및 이를 이용한 긴급상황 판별방법
KR20160037484A (ko) * 2014-09-29 2016-04-06 현대모비스 주식회사 음성 인식 장치 및 방법
KR101602753B1 (ko) * 2015-10-27 2016-03-11 주식회사 삼주전자 음성인식 비상 호출 시스템
KR20180007615A (ko) * 2016-07-13 2018-01-23 엘지이노텍 주식회사 네트워크 카메라 및 이를 이용한 폭력 감지 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109168110A (zh) * 2018-09-29 2019-01-08 芜湖星途机器人科技有限公司 外挂式语音盒
KR20210065639A (ko) * 2019-11-27 2021-06-04 넥서스텍(주) 모션과 감성 감지를 통한 cctv 시스템 및 그 운영 방법
KR102330346B1 (ko) * 2019-11-27 2021-11-29 넥서스텍(주) 모션과 감성 감지를 통한 cctv 시스템 및 그 운영 방법
WO2022092548A1 (ko) * 2020-10-29 2022-05-05 한국자연환경연구소㈜ 생태 조사 시스템
KR20220057102A (ko) * 2020-10-29 2022-05-09 한국자연환경연구소(주) 생태 조사 시스템
KR102397880B1 (ko) * 2020-10-29 2022-05-13 한국자연환경연구소(주) 생태 조사 시스템
WO2022114620A1 (ko) * 2020-11-25 2022-06-02 (주)비에스소프트 이상음원 감지 시스템 및 방법
CN114179107A (zh) * 2021-12-28 2022-03-15 北京北控京奥建设有限公司 一种桌面机器人智能健康管理系统及方法
CN114179107B (zh) * 2021-12-28 2023-12-26 北京北控京奥建设有限公司 一种桌面机器人智能健康管理系统及方法
CN117591383A (zh) * 2024-01-19 2024-02-23 中电科申泰信息科技有限公司 一种基于服务器声音判定服务器工作状态的方法
CN117591383B (zh) * 2024-01-19 2024-03-29 中电科申泰信息科技有限公司 一种基于服务器声音判定服务器工作状态的方法

Similar Documents

Publication Publication Date Title
KR101864388B1 (ko) Cctv 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템 및 방법
US6690411B2 (en) Security system
KR101773173B1 (ko) 가정용 홈 모니터링 및 제어 시스템 및 방법
JP5043940B2 (ja) ビデオおよびオーディオ認識を組み合わせたビデオ監視システムおよび方法
US9300921B2 (en) Video security systems and methods
US8520068B2 (en) Video security system
US7015806B2 (en) Distributed monitoring for a video security system
KR101471846B1 (ko) Fx 감시카메라를 제어하는 콘트롤박스 및 fx 보안 시스템 및 fx 보안시스템 제어방법
EP1855482A2 (en) Video surveillance with satellite communication access
US20080212685A1 (en) System for the Capture of Evidentiary Multimedia Data, Live/Delayed Off-Load to Secure Archival Storage and Managed Streaming Distribution
KR20190125232A (ko) 카메라와 마이크와 a/v 컨트롤러를 구비하는 이상음원 탐지 단말과 cctv 시스템에서 이상 음원 탐지 시스템 및 방법
KR20040106964A (ko) 실시간 동영상 원격 감시 시스템
JP3460680B2 (ja) 現場状況報知システム並びにこれに用いる撮像ユニット
KR100936784B1 (ko) 방범용 감시카메라 시스템
KR20110026753A (ko) 영상 감시 시스템 및 그의 동작 방법
KR102017329B1 (ko) Ai 기반 지능형 다목적 영상관제 시스템
JP2000099862A (ja) 住宅の侵入監視装置
CN107833421A (zh) 一种电子产品销售监控系统
KR100902275B1 (ko) 지능형 보안방범을 위한 폐쇄회로티브이 시스템 및 그 방법
JP2009111677A (ja) 映像撮像制御システム
JP2002245572A6 (ja) 遠隔監視方式の動画警備システム
JP2002245572A (ja) 遠隔監視方式の動画警備システム
CN106558183A (zh) 一种汽车生产制造厂安全监控系统
CN104702886A (zh) 一种音视频插播监控系统装置
KR101561946B1 (ko) 실시간 지능형 보안 감시 시스템 및 그 운용방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant