KR20160110790A - 위험인지 가능 영상감시시스템 - Google Patents

Abstract

이 발명은 2개 이상의 마이크를 통해 감지된 2개 이상의 음향신호과 카메라로 촬영된 영상신호를 기반으로 위험 발생 위치를 보다 정확하게 인지할 수 있는 영상감지시스템에 관한 것이다.
이 발명에 따른 위험인지 가능 영상감시시스템은, 카메라를 이용하여 비디오 신호를 획득하는 비디오입력부와, 제1마이크를 이용하여 제1오디오신호를 획득하는 제1오디오입력부와, 상기 제1마이크와는 다른 위치에 장착된 제2마이크를 이용하여 제2오디오신호를 획득하는 제2오디오입력부와, 상기 제1오디오신호로부터 잡음을 제거하고 특정 기준에 기반한 채널을 추출하는 제1채널추출부와, 상기 제2오디오신호로부터 잡음을 제거하고 상기 특정 기준에 기반한 채널을 추출하는 제2채널추출부와, 상기 제1채널추출부에서 추출된 제1채널 신호가 위험상황신호인지를 판단하는 제1위험상황검출부와, 상기 제2채널추출부에서 추출된 제2채널 신호가 위험상황신호인지를 판단하는 제2위험상황검출부와, 상기 제1위험상황검출부와 제2위험상황검출부에서 위험상황으로 판단된 상기 제1채널 신호와 상기 제2채널 신호를 기반으로 위험상황소리의 근원지를 추출하는 근원지추출부와, 상기 위험상황신호의 근원지 정보를 상기 비디오신호에 표시하는 근원지표시부를 포함한다.

Description

위험인지 가능 영상감시시스템 {Danger Recognizable Video Surveillance System}

이 발명은 위험인지 가능 영상감시스템에 관한 것으로서, 보다 상세하게는 2개 이상의 마이크를 통해 감지된 2개 이상의 음향신호과 카메라로 촬영된 영상신호를 기반으로 위험 발생 위치를 보다 정확하게 인지할 수 있는 영상감지시스템에 관한 것이다.

최근 강력 범죄의 잦은 발생으로 사회적 불안감이 증가됨에 따라 개인이나 공공 안전에 대한 관심이 증가되고 있다. 이러한 이유로 범죄의 사전 예방과 사후분석 및 신속한 해결을 위한 영상감시시스템의 개발 및 활용에 대한 중요성이 증대되고 있다. 영상감시시스템에서 카메라의 화질개선, 영상전송 및 저장 기술은 과거 시스템에 비해 많이 발전되었다.

그러나, 기존의 영상감시시스템은 영상의 전송 및 확인 정도만 가능하고 사용자가 상시 확인할 수 없어 문제가 발생하였을 때 저장된 영상을 확인하는 정도만 가능하였다. 이로 인해 위험한 상황이 발생하였을 때 사용자가 해당 영상을 지켜보지 않았을 경우 실시간으로 상황을 발견하지 못할 뿐 아니라 상황에 맞는 즉각적인 대처를 할 수 없고, 사후대응밖에 할 수 없는 문제점이 있었다.

이러한 문제점을 해결하기 위하여, 대한민국 등록특허 제1367196호, "상황인지 기반 무선충전형 스마트 CCTV 장치"가 제안되었다. 이 선행특허는 실시간 상황인식분석표출모듈, 무선충전모듈로 구성됨으로서, 특정단어를 인식할 수 있는 음성인식 모듈을 탑재하고 상황인지 기능을 탑재하여 특정한 상황에 이벤트를 발생함으로 해서 돌발 상황에 대해 즉각적인 대처를 할 수 있으며, 원격지의 상황통제서버가 아닌 현장의 CCTV 카메라에서 영상분석결과데이터와 음성분석결과데이터를 융합해서 위험 상황인지여부를 검출시킬 수 있고, 검출된 위험상황에 따라 경보를 받는 대상에게 경보음성을 출력시킬 수 있는 상황인지 기반 무선충전형 스마트 CCTV 장치를 제공한다.

다른 선행특허로서, 대한민국 등록특허 제1377029호, "지능형 하이브리드 감시제어모듈을 통한 단계별 자율 경보형 스마트 CCTV 감시장치 및 감시방법"가 제안되었다. 이 선행특허는 지능형 하이브리드 감시제어모듈, WiFi형 감시존 형성부, 스마트중앙통제서버로 구성됨으로서, CCTV가 설치되어 있는 지역 내 이상 행위가 발생하였을 경우에 CCTV 내에서 자체적으로 영상을 분석하는 지능형 영상 분석 기능과 주변의 음성 정보를 분석하는 위험 상황 음성 분석 기능을 활용하여 영상 분석 결과와 음성 분석 결과를 융합한 융합데이터를 단계적으로 분석하여 자율적으로 위험 상황을 알릴 수 있어, 범죄를 사전에 예방시킬 수 있고, 위급 상황에 따라 관리자급, 관제센터급, 긴급출동 서비스 연동으로 이상 행위에 대해 신속한 대처를 수행하여 큰 사고를 예방할 수 있으며, CCTV 영상의 자동 분석의 기술과 CCTV 내 탑재된 음성 모듈을 통해 음성 단어를 통하여 위급, 응급 상황을 인지시킬 수 있으며, 저위험도인 경우에 관리자 통보, 중위험도인 경우에 관리자와 관제센터 통보, 고위험도인 경우에, 관리자와 관제센터, 긴급출동 서비스를 자동적으로 연계시킬 수 있고, 작업 현장에 설치된 CCTV를 이용하여 이동체의 속도 측정, 측정 대상물 사이의 거리 및 측정 대상물의 면적을 실시간으로 확인할 수 있는 CCTV 감시장치를 제공한다.

그러나, 이러한 선행특허들은 하나의 마이크를 통해 입력되는 음향신호가 잡음이 포함되어 음성신호를 정확하게 추출하지 못하고, 따라서 그 음성신호를 분석하여 단어를 정확하게 추출하지 못하는 문제점이 있다.

또한, 음성 분석 결과 위험상황 음성(예컨대, '살려주세요', '도와주세요' 등의 단어)의 발생지점과 영상 속의 사람이 위치한 지점이 상이한 경우를 찾아내지 못한다. 이로 인해, 영상 속의 인물과 서로 다른 지점에서 발생된 위험상황 가능 음향을 해당 영상 속의 인물에 의해 발생한 신호로 오인할 가능성이 있으며, 이럴 경우 임의의 인물을 음해하기 위해 악용될 위험이 있다.

상술한 종래기술의 문제점을 해결하기 위하여 안출된 이 발명의 목적은, 적어도 둘 이상의 마이크를 통해 입력되는 둘 이상의 오디오신호와, 카메라를 통해 입력되는 비디오신호를 분석하여, 둘 이상의 오디오신호를 각각 다수의 채널로 분리하고 상호 동일한 종류의 채널을 비교 분석하여 해당 채널에 대응하는 소리의 근원지 위치를 추출하고, 추출된 소리의 근원지 위치를 영상에 표시함으로써, 위험 발생 위치를 보다 정확하게 인지할 수 있는 영상감지시스템을 제공하기 위한 것이다.

상술한 목적을 달성하기 위한 이 발명에 따른 위험인지 가능 영상감시시스템은, 카메라를 이용하여 비디오 신호를 획득하는 비디오입력부와, 제1마이크를 이용하여 제1오디오신호를 획득하는 제1오디오입력부와, 상기 제1마이크와는 다른 위치에 장착된 제2마이크를 이용하여 제2오디오신호를 획득하는 제2오디오입력부와, 상기 제1오디오신호로부터 잡음을 제거하고 특정 기준에 기반한 채널을 추출하는 제1채널추출부와, 상기 제2오디오신호로부터 잡음을 제거하고 상기 특정 기준에 기반한 채널을 추출하는 제2채널추출부와, 상기 제1채널추출부에서 추출된 제1채널 신호가 위험상황신호인지를 판단하는 제1위험상황검출부와, 상기 제2채널추출부에서 추출된 제2채널 신호가 위험상황신호인지를 판단하는 제2위험상황검출부와, 상기 제1위험상황검출부와 제2위험상황검출부에서 위험상황으로 판단된 상기 제1채널 신호와 상기 제2채널 신호를 기반으로 위험상황소리의 근원지를 추출하는 근원지추출부와, 상기 위험상황신호의 근원지 정보를 상기 비디오신호에 표시하는 근원지표시부를 포함한 것을 특징으로 한다.

보다 바람직하게는, 상기 제1마이크 및 상기 제2마이크와 동일선상이 아닌 다른 위치에 장착된 제3마이크를 이용하여 제3오디오신호를 획득하는 제3오디오입력부와, 상기 제3오디오신호로부터 잡음을 제거하고 상기 특정 기준에 기반한 제3채널 신호를 추출하는 제3채널추출부를 더 포함하고, 상기 근원지추출부는 상기 제1채널 신호와 상기 제2채널 신호와 상기 제3채널 신호를 기반으로 위험상황소리의 3차원적 근원지를 추출하는 것을 특징으로 한다.

이상과 같이 이 발명에 따르면, 위험 상황 오디오의 근원지 위치를 추출하여 영상과 매칭함으로써, 위험 발생위치 및 원인을 정확하게 인지할 수 있는 효과가 있다.

도 1은 이 발명에 따른 위험인지 가능 영상감시시스템의 구성 블록도이다.
도 2는 이 발명에 따른 위험인지 가능 영상감시시스템의 동작 흐름도이다.

이하, 첨부된 도면을 참조하며 이 발명의 한 실시예에 따른 위험인지 가능 영상감시시스템을 보다 상세하게 설명하면 다음과 같다.

도 1은 이 발명에 따른 위험인지 가능 영상감시시스템의 구성 블록도이다.

이 발명에 따른 위험인지 가능 영상감시시스템은, 카메라를 이용하여 비디오 신호를 획득하는 비디오입력부(11)와, 제1마이크를 이용하여 제1오디오신호를 획득하는 제1오디오입력부(12)와, 상기 제1마이크와는 다른 위치에 장착된 제2마이크를 이용하여 제2오디오신호를 획득하는 제2오디오입력부(13)와, 상기 제1오디오신호로부터 잡음을 제거하고 특정 기준에 기반한 채널을 추출하는 제1채널추출부(14)와, 상기 제2오디오신호로부터 잡음을 제거하고 상기 특정 기준에 기반한 채널을 추출하는 제2채널추출부(15)와, 상기 제1채널추출부(14)에서 추출된 제1채널 신호가 위험상황신호인지를 판단하는 제1위험상황검출부(16)와, 상기 제2채널추출부(15)에서 추출된 제2채널 신호가 위험상황신호인지를 판단하는 제2위험상황검출부(17)와, 상기 제1위험상황검출부(16)와 제2위험상황검출부(17)에서 위험상황으로 판단된 상기 제1채널 신호와 상기 제2채널 신호를 기반으로 위험상황소리의 근원지를 추출하는 근원지추출부(18)와, 상기 위험상황신호의 근원지 정보를 상기 비디오신호에 표시하는 근원지표시부(19)를 포함한다.

도 2는 이 발명에 따른 위험인지 가능 영상감시시스템의 동작 흐름도이다.

비디오 입력부(11)는 CCTV 카메라로부터 촬영한 비디오신호를 입력받는다(S21).

제1오디오입력부(12)와 제2오디오입력부(13)는 각각 다른 위치에 장착된 제1마이크와 제2마이크로부터 외부 소리를 집속하여 제1오디오신호와 제2오디오신호를 각각 획득한다(S22). 이 획득된 제1오디오신호와 제2오디오신호에는 백색잡음과, 개 짖는 소리 등과 같은 무의미한 소리와, '살려주세요' 또는 '도와주세요'라는 위험상황 음성과, 사람을 때리는 소리 또는 넘어지는 소리 등과 같은 위험상황 음향이 모두 뒤섞여 있다.

제1채널추출부(14)와 제2채널추출부(15)는 제1오디오신호 및 제2오디오신호에서 백색잡음을 제거하고, 특정 기준-주파수와 패턴과 파워에 기반함-을 기반하여 하나의 하나의 채널 신호를 추출한다(S23). 제1오디오신호로부터 상기 특정 기준으로 기반하여 추출된 채널 신호를 제1채널 신호라 하고, 제2오디오신호로부터 상기 특정 기준을 기반하여 추출된 채널 신호를 제2채널 신호라 한다.

제1위험상황검출부(16)는 추출된 제1채널 신호가 개짖는 소리 등과 같은 무의미한 소리인지 혹은 위험상황 음성 내지 위험상황 음향인지를 판단한다. 제1위험상황검출부(16)는 추출된 제1채널 신호가 위험상황 음성인지를 판단하기 위해, 화자독립방식의 음성인식기능을 포함할 수 있으며, 위험상황 단어를 데이터베이스로 저장하여 음성 인식으로부터 추출된 단어를 위험상황 단어 데이터베이스에서 검색하여 제1채널 신호가 위험상황 음성인지를 판단한다. 제1위험상황검출부(16)는 추출된 제1채널 신호가 위험상황 음향인지를 판단하기 위해, 위험상황 음향의 패턴을 데이터베이스로 저장하여 제1채널 신호의 패턴을 위험상황 음향패턴 데이터베이스에서 검색하여 제1채널신호가 위험상황 음향인지를 판단한다(S24).

제1위험상황검출부(16)와 동일한 방법으로, 제2위험상황검출부(17)는 추출된 제2채널신호가 무의미한 소리인지 혹은 위험상황 음성 내지 위험상황 음향인지를 판단한다(S24).

제1위험상황검출부(16)와 제2위험상황검출부(17)에서 위험상황 음성 내지 위험상황 음향으로 판단되면, 근원지 추출부(18)는 제1채널 신호와 제2채널 신호의 위상 차이를 이용하여 근원지 위치를 검출하고(S25), 근원지표시부(19)는 검출된 근원지 위치를 비디오입력부(11)에서 획득한 비디오 신호에 표시한다(S26).

이 발명에 따른 위험인지 가능 영상감시시스템은, 비디오입력부를 통해 입력된 비디오 신호의 영상 데이터와 기준영상설정값과 비교분석해서 영상분석결과데이터를 생성시키는 비디오 분석부를 더 포함할 수 있다.

이 비디오분석부는 DM365 멀티미디어 프로세서로 구성할 수 있다. 이 DM365 멀티미디어 프로세서는 고화질 H.264 비디오 인코딩 및 디코딩 데모 응용 프로그램을 실행시키고, 얼굴인식비디오 프런트 엔드 프로그램이 내장되어 구성되는 특성을 가진다.

상기 기준영상설정값은 이상행동을 보이는 객체가 또 다른 객체에게 접근하여 특정장소로 끌고가는 영상데이터로 이루어진 제1기준영상설정값과, 이상행동을 보이는 객체가 또 다른 객체에게 접근하여 또 다른 객체의 중요 물건을 날치기해서 특정장소로 이동하는 영상데이터로 이루어진 제2기준영상설정값과, 특정객체가 아파서 쓰러지거나, 길을 잃어서 방황하고 있을 때의 영상데이터로 이루어진 제3기준영상설정값으로 구성된다.

비디오 분석부는 입력된 비디오 신호로부터 추출된 객체의 상호 관계를 상기 제1기준영상설정값 내지 제3기준영상설정값과 비교하여, 위험상황인지를 판단할 수 있다.

근원지표시부는 비디오 분석부에서 위험상황으로 판단된 영상에 대해 위험상황소리 근원지를 표시할 수 있다.

이 경우, 이상행동을 보이는 객체가 또 다른 객체에게 접근하여 특정장소로 끌고가는 듯한 영상과 '살려주세요'라는 위험상황 음성이 상호 매칭되는지 혹은 영상과 위험상황 음성이 전혀 다른 곳에서 발생된 것인지를 추출하여 위의 범죄 여부에 대한 판단을 보다 정확하게 할 수 있게 된다.

또한, 이상행동을 보이는 객체가 또 다른 객체에게 접근하여 또 다른 객체의 중요물건을 날치기해서 특정장소로 이동하는 듯한 영상과, "도둑이야"라는 위험상황 음성이 상호 매칭되는지 혹은 영상과 위험상황 음성이 전혀 다른 곳에서 발생된 것인지를 추출하여 위의 범위 여부에 대한 판단을 보다 정확하게 할 수 있게 된다.

이 발명에 따른 위험인지 가능 영상감시시스템은, 위험상황소리가 감지되면 위험상황에 따라 경보를 받는 대상에서 출력하는 경보출력부(20)를 더 포함할 수 있다.

이 발명에 따른 위험인지 가능 영상감시시스템은, 제1마이크 및 제2마이크와 동일선상이 아닌 다른 위치에 장착된 제3마이크를 이용하여 제3오디오신호를 획득하는 제3오디오입력부와, 상기 제3오디오신호로부터 잡음을 제거하고 상기 특정 기준에 기반한 제3채널 신호를 추출하는 제3채널추출부를 더 포함하고, 근원지추출부는 상기 제1채널 신호와 상기 제2채널 신호와 상기 제3채널 신호를 기반으로 위험상황소리의 3차원적 근원지를 추출할 수 있다.

이상에서 본 발명에 대한 기술사상을 첨부도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

11 : 비디오입력부 12 : 제1오디오입력부
13 : 제2오디오입력부 14 : 제1채널추출부
15 : 제2채널추출부 16 : 제1위험상황검출부
17 : 제2위험상황추출부 18 : 근원지추출부
19 : 근원지표시부 20 : 경보출력부

Claims (4)

1. 카메라를 이용하여 비디오 신호를 획득하는 비디오입력부와,
   제1마이크를 이용하여 제1오디오신호를 획득하는 제1오디오입력부와,
   상기 제1마이크와는 다른 위치에 장착된 제2마이크를 이용하여 제2오디오신호를 획득하는 제2오디오입력부와,
   상기 제1오디오신호로부터 잡음을 제거하고 특정 기준에 기반한 채널을 추출하는 제1채널추출부와,
   상기 제2오디오신호로부터 잡음을 제거하고 상기 특정 기준에 기반한 채널을 추출하는 제2채널추출부와,
   상기 제1채널추출부에서 추출된 제1채널 신호가 위험상황신호인지를 판단하는 제1위험상황검출부와,
   상기 제2채널추출부에서 추출된 제2채널 신호가 위험상황신호인지를 판단하는 제2위험상황검출부와,
   상기 제1위험상황검출부와 제2위험상황검출부에서 위험상황으로 판단된 상기 제1채널 신호와 상기 제2채널 신호를 기반으로 위험상황소리의 근원지를 추출하는 근원지추출부와,
   상기 위험상황신호의 근원지 정보를 상기 비디오신호에 표시하는 근원지표시부를 포함한 것을 특징으로 하는 위험인지 가능 영상감시시스템.
2. 제 1 항에 있어서, 상기 비디오입력부를 통해 입력된 비디오 신호의 영상 데이터와 기준영상설정값과 비교분석해서 영상분석결과데이터를 생성시키는 비디오 분석부를 더 포함한 것을 특징으로 하는 위험인지 가능 영상감시시스템.
3. 제 1 항에 있어서, 상기 위험상황소리가 감지되면 위험상황에 따라 경보를 받는 대상에서 출력하는 경보출력부를 더 포함한 것을 특징으로 하는 위험인지 가능 영상감시시스템.
4. 제 1 항에 있어서, 상기 제1마이크 및 상기 제2마이크와 동일선상이 아닌 다른 위치에 장착된 제3마이크를 이용하여 제3오디오신호를 획득하는 제3오디오입력부와, 상기 제3오디오신호로부터 잡음을 제거하고 상기 특정 기준에 기반한 제3채널 신호를 추출하는 제3채널추출부를 더 포함하고,
   상기 근원지추출부는 상기 제1채널 신호와 상기 제2채널 신호와 상기 제3채널 신호를 기반으로 상기 위험상황소리의 3차원적 근원지를 추출하는 것을 특징으로 하는 위험인지 가능 영상감시스템.
   

Images