KR20150144636A - 이상음원 위치 추적 시스템 및 방법 - Google Patents

Abstract

본 발명은 이상음원 위치 추적 시스템 및 방법에 관한 것으로, 하나 이상의 음원 신호가 포함된 음향 신호를 획득하는 다수개의 음원 수신부; 획득된 음향 신호에 포함된 음원 신호가 이상 음원 여부를 판단하는 이상음원 판단부; 각각의 상기 음원 수신부가 획득한 음향 신호에 포함된 음원 신호가 이상 음원인 경우에 음원 신호의 음원 세기 값을 추출하는 음원세기 추출부; 및 상기 음원세기 추출부의 추출 결과에 따라 상기 이상음원의 발생 위치를 추정하는 위치 추정부를 포함한다. 이와 같은 본 발명에 따르면, 비정상적인 음원이나 소음 등에 포함된 이상 음원을 정확하게 분석할 수 있게 되어, 이상음원에 대한 즉각적인 대처가 가능한 이점이 있다.

Description

이상음원 위치 추적 시스템 및 방법{Position Tracking System and Method for Unusual sound}

본 발명은 위치 추적 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 마이크로폰으로 전달되는 음향 신호에서 모든 음원 신호를 분리하고 그 음원 신호가 이상 음원인지를 판단하는 이상음원 위치 추적 시스템 및 방법에 관한 것이다.

위치 추적 시스템이나 방범 시스템에는 여러 음원을 이용하여 위험상황을 인지하는 방안이 제안된바 있다. 예컨대, 비명소리, 호루라기 소리, 폭발 소리 등과 같이 안전에 위협이 되는 소리가 발생한 경우 해당 장소에 대한 정보를 관제 센터 등에 전달하는 시스템 방식이다.

그러나, 상기한 방식은 단순히 입력된 소리의 크기 값을 이용하여 판단하는 경우가 많아 불확실성이 존재한다. 특히 사람들이 밀집된 혼잡한 지역에서 비정상적인 신호가 혼합된 경우 혼합되기 이전의 음원을 분리해야 하는 어려움이 있다.

물론 음원의 명료성 확보를 위한 방안이 전혀 존재하지 않은 것은 아니다. 즉 현재에도 암묵 신호 분리(blind source separation) 기술과 같은 음원 분리방식이 제안되고 있다. 암묵 신호 분리 기술은 두 개 이상의 마이크로폰으로부터 획득된 혼합신호에서 관심 음원을 분리하는 기술이다. 상기 방식에는 독립성분분석(ICA : Independent Component Analysis)이나 스펙트로그램(spectrogram)을 이용하는 방법이 있다.

하지만, 상기 독립성분분석은 음원 분리를 위한 성능은 우수한 반면 혼합된 음원의 수가 마이크로폰의 수를 초과하지 않아야 하는 제약이 있다. 그리고 스펙트로그램을 이용하는 방법은 두 개의 마이크로폰을 이용하여 혼합된 음원 수에 상관없이 분리 작업을 수행하지만 각각의 마이크로폰에 입력된 혼합신호의 상대적 감쇠와 지연에 대한 합성 파라미터의 추정에 기반한 신호 분리를 수행하기 때문에 추정된 파리미터의 정확도에 따라 분리 성능이 좌우되는 특성이 있다.

한국공개특허 10-2009-0120640호(2009. 11. 25. 음성신호의 스펙트럴 엔트로피를 이용한 감정 인식 방법 및 장치)

따라서 본 발명의 목적은 상기한 문제점을 해결하기 위한 것으로, 마이크로폰에 입력된 음향신호에서 각각의 음원을 분리하는 음원 분리방법을 제공하는 것이다. 즉 기존 스펙트로그램을 이용한 방법 중 하나인 DUET(Degenerate Unmixing Estimation Technique) 방법에서 상대적 지연(Relative delay)에 대한 합성 파라미터 추정을 배제하면서도 독립성분분석 방법 중 하나인 엔트로피 최대화 방법을 결합시켜서 새로운 방식의 음원 분리방법을 제안하는 것이라 할 수 있다.

본 발명의 다른 목적은 새로운 방식의 음원 분리방법을 적용하여 마이크로폰에 전달된 음원이 이상 음원인지를 판단할 수 있도록 한 이상음원 위치 추적 시스템 및 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 마이크로폰에 입력되는 음원에 대한 분석을 수행하여, 실시간 또는 비 실시간으로 이상 음원에 대한 대처가 가능하도록 한 이상음원 위치 추적 시스템 및 방법을 제공하는 것이다.

한편, 본 발명은 복수 개의 마이크로폰으로 전달되는 음원의 신호 세기 값을 이용하여 음원의 발생 위치를 정확하게 추정하는 이상음원 위치 추적 시스템 및 방법을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따르면, 하나 이상의 음원 신호가 포함된 음향 신호를 획득하는 다수개의 음원 수신부; 획득된 음향 신호에 포함된 음원 신호가 이상 음원 여부를 판단하는 이상음원 판단부; 각각의 상기 음원 수신부가 획득한 음향 신호에 포함된 음원 신호가 이상 음원인 경우에 음원 신호의 음원 세기 값을 추출하는 음원세기 추출부; 및 상기 음원세기 추출부의 추출 결과에 따라 상기 이상음원의 발생 위치를 추정하는 위치 추정부를 포함하는 위치 추적 시스템을 제공한다.

상기 이상음원의 발생 위치가 추정되면, 그 추정된 발생 위치와 가장 가까운 촬상기기 또는 고 해상도 촬상 기기를 동작시키는 관제센터를 더 포함한다.

상기 이상음원의 발생 위치 추정은, 상기 마이크로폰이 입력받는 이상 음원의 데시벨에 따라 기 정의된 거리 값을 포함하는 음원 세기 테이블을 이용한다.

상기 음원 수신부에 의하여 획득된 음향 신호를 디지털로 변환하는 A/D 변환부; 변환된 디지털 형태의 음향 신호에서 음원 신호를 분리하는 음원 분리부; 및 분리된 음원 신호의 특징 파라미터를 추출하는 특징 추출부; 를 더 포함하고, 상기 이상음원 판단부는, 추출된 특징 파라미터의 음원 신호와 기 저장된 참조 음원을 비교하여 이상 음원 여부를 판단한다.

상기 음원 분리부는, 음원 분리 노드 및 우선 탐색 방법을 이용하여 상기 음향 신호 내의 모든 음원 신호가 분리될 때까지 반복 수행한다.

상기 음원 분리부는, 음원 분리 동작에 따라 무신호(NO SIGNAL), 후보 신호(CANDIDATE), 단일 신호(SINGLE) 및 혼합 신호(MIXED SIGNAL)로 분리하고, 상기 후보 신호 및 단일 신호는 메모리 풀(Memory pool)에 저장한다.

상기 무신호(NO SIGNAL), 후보 신호(CANDIDATE), 단일 신호(SINGLE) 및 혼합 신호(MIXED SIGNAL)는 분리된 신호의 에너지가 임계값 이상인지를 판단하는 식 1 및 분리된 신호에 대해 입력 신호 오차에 대한 출력 신호의 민감도인 조건수를 나타내는 식 2를 이용하여 분류한다.

[식 1]

E_n(dB)은 분리된 신호의 에너지를 나타내면, x는 분리된 신호임

[식 2]

여기서, 조건수(CN: condition number)는 임계값 이상일 경우에만 음원 신호로 평가하며, g(R)은 마스킹 연산에 의해 분리된 시간 영역 신호

및

에 대한 공분산 행렬 R의 고유값을 말함

상기 특징 추출부는, 음원 신호의 프레임별로 멜 주파수 캡스트럼(MFCC : Mel-frequency cepstral coefficient)를 추출한다.

상기 이상음원 판단부는, 가우시안 혼합 모델(GMM: Gaussian Mixture Model) 알고리즘을 이용하여 기 저장된 참조 음원과 분리된 상기 음원 신호의 유사도를 판단하여 이상 음원 여부를 판단한다.

본 발명의 다른 특징에 따르면, 다수개의 음원 수신부가, 음향 신호를 수신하는 수신단계; 음원 분리부가, 수신된 음향 신호에 포함된 음원 신호를 분리하는 분리단계; 및 이상음원 판단부가, 분리된 음원이 이상 음원임을 판단하는 판단단계; 음원세기 추출부가, 분리된 음원이 이상 음원이면, 음원 신호의 음원 세기 값을 추출하는 세기 추출 단계; 및 위치 추정부가, 음원 세기값에 따라서 이상음원의 발생 위치를 추적하는 위치 추적 단계를 포함하는 이상음원 판단방법을 제공한다.

상기 음원 분리단계는, 신호 분리를 수행하는 함수를 노드로 정의한 상태에서 이진트리 구조의 깊이 우선 탐색 방법을 이용하여 상기 음향 신호 내의 모든 음원 신호를 분리한다.

상기 음원 분리단계는, 음원 분리 마스크 생성단계; 상기 생성된 음원 분리 마스크를 적용하여 상기 음향 신호 내의 음원 신호를 4가지 종류의 신호로 분리하는 단계; 및 상기 분리된 음원 신호의 특징 파라미터를 추출하는 추출 단계를 포함한다.

상기 음원 분리 마스크는, 입/출력이 두 개인 엔트로피 최대화 방법의 출력신호에 대하여 스펙트로 그램의 크기 비율을 이용한다.

상기 4가지 종류의 신호는, 분리된 신호의 에너지가 임계값 이상인지를 평가하는 척도와, 분리된 신호에 대해 입력신호 오차에 대한 출력신호의 민감도가 임계값 이상인지를 평가하여, 무신호(NO SIGNAL), 후보 신호(CANDIDATE), 단일 신호(SINGLE) 및 혼합 신호(MIXED SIGNAL)로 분리된다.

상기 4가지 신호 중, 분리된 신호가 상기 무신호, 후보 신호, 단일 신호인 경우에는 음원 분리 노드의 정지(stop) 기준에 해당하여 현재 노드의 분리작업을 종료하고, 분리된 신호가 상기 혼합 신호인 경우에는 노드 확장 과정이 계속 수행된다.

상기 분리된 신호가 후보 신호 및 단일 신호인 경우에는 그 분리된 신호와 신호 분리에 사용된 이진 마스크를 메모리 풀에 저장하고 부모 노드로 복귀한다.

상기 판단 단계는 가우시안 혼합 모델(GMM: Gaussian Mixture Model) 알고리즘을 이용한 참조 음원과의 유사도 판단을 수행하여 분리된 신호가 이상음원인지 판단

이와 같은 본 발명에 따르면 다음과 같은 효과가 있다.

즉 본 발명은 엔트로피 최대화 방법 및 이진 트리 구조의 우선 탐색방법을 이용한 새로운 음원 분리 방법을 적용하여 마이크로폰에 수신된 음향 신호의 모든 음원 신호를 분리하고 있다. 그리고 분리된 음원 신호와 기 저장된 참조 음원과의 유사도 판단을 통해 그 음원 신호의 이상 여부를 판단하고 있다.

따라서, 비정상적인 음원이나 소음 등에 포함된 이상 음원을 정확하게 분석할 수 있게 되어, 이상음원에 대한 즉각적인 대처가 가능하다.

이에 각종 범죄나 사고의 적극적인 예방 효과를 기대할 수 있다.

또한, 이상 음원의 발생 위치(즉, 좌표)를 정확하게 추정할 수 있기 때문에, 사고/위험 지역 등에 대한 정보 수집이나 범죄 현장에 대한 구체적인 정보를 정확하면서 용이하게 획득하고 이를 활용할 수 있다.

b도 1은 본 발명의 바람직한 실시 예에 따른 이상음원 판단장치를 보인 구성도
도 2는 본 발명의 바람직한 실시 예에 따라 이상음원을 판단하는 전체 흐름도
도 3은 도 2의 음원 분리 과정을 구체적으로 설명하는 흐름도
도 4는 본 발명에 적용되는 깊이 우선 탐색방법을 나타낸 예시도
도 5는 본 발명의 음원 분리 노드에서 생성된 음원 분리 마스크의 예시도
도 6은 도 2의 신호 평가 단계에서 분리된 신호가 '후보 신호'로 판단된 경우의 처리 과정을 보인 흐름도
도 7은 도 2의 신호 평가 단계에서 분리된 신호가 '단일 신호'로 판단된 경우의 처리 과정을 보인 흐름도
도 8은 본 발명의 다른 실시 예에 따라 제안된 위치 추적 시스템의 구성도
도 9는 도 8에 따라 사용자의 위치 정보를 추정하는 과정을 보인 흐름도

이하 본 발명에 의한 이상음원 위치 추적 시스템 및 방법의 바람직한 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 바람직한 실시 예에 따른 이상음원 판단장치를 보인 구성도이다. 이때, 도 1의 이상음원 판단장치는 마이크로폰을 통해 입력된 음향 신호로부터 모든 음원 신호를 분리하는 구성을 포함하는바, 이를 함께 설명하기로 한다.

도 1을 보면, 이상음원 판단장치(100)에는 외부로부터 혼합된 음향 신호를 수신하는 음원 수신부(102)가 구성된다. 음향 신호는 복수의 음원들을 포함한다. 또한 음원 수신부는 소리를 입력받을 수 있는 마이크로폰과 같은 수단을 말하며, 복수 개가 제공될 수 있다.

음원 수신부(102)를 통해 수신된 아날로그 형태의 음향 신호를 디지털 신호로 변환하는 아날로그/데이터 신호 변환부(이하, 'A/D 변환부'라 함)(104)가 구성된다. A/D 변환부(104)는 음성 데이터를 디지털 신호로 변환하는 일반적인 컨버터 등이 사용될 것이다.

디지털 형식의 음향 신호에 포함된 복수의 음원 신호를 음원 분리 노드를 이용하여 분리하는 음원 분리부(106)가 구성된다. 본 실시 예에서 음원 분리부(106)는 독립성분분석방법 중 하나인 엔트로피 최대화 방법과, 이진 트리 구조의 우선 탐색 방법을 이용하여, 혼합 신호에 포함된 모든 음원을 분리하는 새로운 음원 분리방법이 적용된다. 상기 엔트로피 최대화 방법 및 이진 트리 구조를 이용한 우선 탐색 방법에 대한 구체적인 동작은 후술하여 상세하게 설명하기로 한다.

음원 분리부(106)에 의해 분리된 음원 신호에 대한 특징을 추출하는 특징 추출부(108)가 구성된다. 특징 추출부(108)는, 분리된 음원 신호가 이상 음원인지를 판단하기 위한 것이다.

특징 추출부(108)에 의해 추출된 음원 신호의 특징 파라미터와 이상음원 참조부(112)에 저장된 참조 음원들의 정보에 기반하여 이상 음원을 판단하는 이상음원 판단부(110)가 구성된다. 이상음원 판단부(110)의 판단 결과는 이상 음원 또는 정상 음원이 된다.

여기서 이상음원 참조부(112)는, 미리 이상 음원으로 정의된 정보들이 저장된 저장부의 역할을 한다. 예로, 이상음원 참조부(112)에는 이상음원으로 정의될 수 있는 음원들, 예컨대, 비명소리, 호루라기 소리, 경적소리, 폭발소리, 창문 깨지는 소리, 개 짖는 소리 등이 저장되는 것이다.

한편, 본 실시 예는 관제센터(120)를 더 포함할 수 있다. 관제센터(120)는, 이상음원 판단부(110)를 포함한 이상음원 판단장치(100)가 유무선 네트워크를 통해 연결되며, 이상 음원에 대한 정보를 전달받는 경우에만 이에 대처할 수 있는 일련의 과정이 수행되게 한다. 예를 들어, 가장 가까운 경찰관서에 연락을 취하도록 하는 과정을 말한다.

다음, 상기와 같이 구성된 이상음원 판단장치의 동작을 살펴본다. 이는 도 1과 관련 도면들을 함께 참조하면서 설명하기로 한다.

도 2는 본 발명의 바람직한 실시 예에 따라 이상음원을 판단하는 전체 흐름도이다.

우선, 도 2를 보면 음향신호 수신과정(s100), 음원 분리과정(s110) 및 이상 음원 판단과정(s140)과 같이 단계를 구분할 수 있다.

음향신호 수신과정(s100)은 위치 추적 시스템이나 방범 시스템 등에 설치된 음원 수신부(102), 즉 마이크로폰이 주위의 음향 신호를 입력받는 과정을 말한다.

음원 분리과정(s110)은 음원 분리부(106)가 입력받은 디지털 형식의 음향 신호에 포함된 모든 음원 신호를 분리하는 과정을 말한다. 이는 음향 신호에 다른 사람의 음성 정보, 자동차 소리 등과 같은 비정상적인 신호가 혼합된 경우, 음원 신호가 이상 음원 또는 정상 음원인지를 쉽게 판단할 수 없기 때문이다. 즉 음원 분리 기술이 이용된다.

이상 음원 판단과정(s140)은 분리된 음원 신호가 이상 음원인지를 판단한다. 이는 분리된 음원 신호에 대해 특징 추출부(108)가 특징 파라미터를 추출하고, 이를 저장된 참조 음원 정보와 비교하여 이상 음원 여부를 판단하는 과정이 포함된다. 판단 결과에 따라 범죄 등에 대처할 수 있는 것이다.

이어서는 도 2의 과정을 좀 더 구체적으로 설명하기로 한다.

음향신호 수신과정(s100)에서는 음원 수신부(102)가 음향 신호를 수신한다(s102). 음향 신호는 상술한 비명소리, 호루라기 소리, 경적소리, 폭발소리, 창문 깨지는 소리, 개 짖는 소리 등만 되거나 아무 의미 없는 소리, 차량 주행소리, 혼잡한 거리에서 사람들의 이야기 소리 등이 함께 수신되게 된다. 따라서 각각의 소리를 음원이라고 한다면 음향 신호는 하나 이상의 음원 신호가 음원 수신부(102)를 통해 입력되는 것이다.

이와 같이 입력된 음향 신호는 A/D 변환부(104)에 의해 디지털 신호로 변환된다(s104). 디지털 신호로의 변환은 음향신호에서 음원을 분리하고 이상 음원을 판단하기 위한 조건이기 때문이다. 즉 아날로그 신호는 아래에서 설명하는 음원 분리과정 및 이상 음원 판단과정을 수행할 수 없는 것이다.

다음에는 디지털 신호로 변환된 음향 신호에 대해 음원 분리과정(s110)이 수행된다. 음원 분리과정은 음원 분리 노드를 이용하여 수행하는데, 이는 도 3을 참조한다. 이때, 도 3의 음원 분리과정은 도 1의 음원 분리부(106)가 수행하는 것이다.

도 3을 보면, 먼저 부모 노드(Parent Node)는 음원을 분리하기 위해 분리 노드를 호출하고, 이진 마스크(BMparent)를 입력신호의 스펙트로그램에 적용한다(s112). 그러면 음원 수신부(102)인 마이크로폰에 입력된 혼합된 음향 신호에서 마스크가 지시하는 (τ,ω) 성분을 분리할 수 있다(s114).

그리고 상기 분리된 (τ,ω) 신호에 대해 시간영역 신호로 변환된 다음(s116), 신호 분리 노드의 정지 기준에 만족하는지를 검사한다(s118).

검사결과, 상기 신호 분리 노드의 정지 기준에 만족하면 상기 분리된 신호와 신호 분리에 사용된 해당 이진 마스크를 메모리 풀에 저장한다. 그리고 현재 동작중인 분리 노드를 호출한 부모 노드로 복귀한다(s120).

반면, 상기 정지 기준에 만족하지 못한 경우에는 독립성분분석 방법 중 하나인 엔트로피 최대화 방법(ICA)과 스케일링(Scaling)을 통해 음향 신호의 시간-주파수 영역 표현인 스펙트로그램으로 변환한다(s122)(s124). 그리고 이를 통해 이진 형태의 음원 분리 마스크를 추정한다(s126). 상기 엔트로피 최대화 방법은 후술하여 설명한다. 그리고 추정된 음원 분리 마스크는 후술하여 설명하는 이진트리 구조의 깊이 우선 탐색(DFS: Depth First Search) 방법을 적용한다(s128). 상기 깊이 우선 탐색 방법은 왼쪽 자식노드부터 우선적으로 전달하며, 이는 혼합된 음향 신호 내의 모든 음원 신호를 분리할 때까지 반복 수행된다(s130).

이때, 상기 이진트리 구조의 깊이 우선 탐색방법은 최근 첨가된 노드를 선택하고, 상기 노드에 적용 가능한 동작자 중 하나를 적용하여 트리(tree)에 다음 수준의 한 개의 자식 노드를 첨가하여, 첨가된 자식 노드가 목표 노드일 때까지 자식 노드의 첨가 과정을 반복해가는 방식이다. 이러한 탐색 방법의 예는 도 4에 도시하고 있다. 즉, 상기 이진트리 구조의 깊이 우선 탐색 방법은 프로그램의 메모리 사용량과 수행속도를 향상시키기 위해 신호 분리를 수행하는 함수를 노드로 정의할 필요가 있는 경우에 활용할 수 있다.

한편 상기한 바 있는 엔트로피 최대화(entropy maximization) 방법에 대해 살펴본다. 엔트로피 최대화 방법은 엔트로피의 변화를 극대화하고 변화된 신호에서 최대 엔트로피를 갖는 분리행렬 W를 검색하여 상호 독립적인 신호를 획득하는 방법을 말한다. 즉 이는 추정된 신호 y가 원 신호에 대한 누적 분포 함수를 모사하는 비선형 활성함수 Y=g(y)을 통과할 때, 변환된 신호 Y가 균등 분포를 이루게 함으로써 가능하다.

이때 엔트로피 최대화 방법에서 사용된 변환된 신호에 대한 엔트로피 h(Y)는 다음 수학식 1과 같다.

여기서,

는 음원 신호의 확률밀도함수, N 은 시간샘플 개수, M 은 혼합된 신호의 수이다.

그리고 상기 h(Y)을 최대화하는 분리행렬 W은 다음 수학식 2로 표현되는 비교사(unsupervised) 학습 방법인 'Gradient Ascent' 알고리즘을 수행하여 획득한다.

여기서, η은 스텝 사이즈이고, ▽h는 엔트로피 기울기이다.

상기 엔트로피 기울기는 엔트로피 h(Y)을 분리행렬 W로 편미분하여 다음 수학식 3으로 나타낸다.

여기서,

는 활성함수 g(y)와 관련되며, 활성함수가 음원 신호의 누적분포함수 형태가 되어야만 상기 변환된 신호 Y가 균등분포를 이루게 되므로, 상기

는 다음 수학식 4로 나타낼 수 있다.

그 결과 분리행렬 W을 최적화하는 표현은 수학식 5와 같다.

여기서, W_new는 갱신된 분리행렬, W_old는 이전 분리행렬, N은 시간샘플 개수, y는 추정된 신호, x는 마이크로폰을 통해 입력된 입력신호를 나타낸다.

이와 같이, 도 3의 음원 분리 과정에 따라 음향 신호 내에 포함된 모든 음원 신호를 분리할 수 있게 된다.

다시 도 2를 참조한다.

상기와 같이 음향 신호 내의 모든 음원 신호가 분리되면, 음원 분리 마스크를 생성한다(s142) 음원 분리 마스크는 하기 수학식 6, 수학식 7과 같이 스펙트로그램의 크기 비율을 이용한다.

이를 보면, 2개의 입력과 2개의 출력을 가진 상기한 엔트로피 최대화 방법의 출력신호에 대한 스펙트로그램

,

을 이용하여 부모 노드에서 생성한 두 개의 형제 노드가 서로 다른 값을 갖도록 한다.

이처럼 서로 다른 값을 가지는 음원 분리 마스크의 예는 도 5에 표시하였다. 도 5를 보면, 루트 노드에서 좌/우 루트 노드로 계속해서 분리되는 상태가 나타나 있다.

상기 음원 분리 마스크에 의해 분리된 신호에 대한 신호 평가가 수행된다(s144).

본 실시 예에서 신호 평가 방법은 2가지 방식이 적용된다.

첫 번째는, 마스킹 연산을 통해 분리된 신호의 에너지가 임계값 이상인지를 평가하는 것이다. 즉 분리된 신호가 음향 신호를 얼마만큼 포함하고 있는가를 판단하기 위한 척도로서, 다음 수학식 8이 사용된다.

여기서, E_n(dB)은 분리된 신호의 에너지를 나타내면, x는 분리된 신호를 나타낸다.

두 번째는, 하기 수학식 9를 이용하여 분리된 신호에 대해 입력신호 오차에 대한 출력신호의 민감도인 조건수(CN: Condition Number)를 검사하여 임계값 이상일 경우 음원 신호로 평가하는 방법이다. 즉, 상기 마스킹 연산을 통해 분리된 신호가 단일 신호일 경우 분리된 신호의 공분산 행렬은 단수형(singular)에 가까우며, 이때 조건수는 높은 값을 가지기 때문이다.

여기서, eig(R)은 마스킹 연산에 의해 분리된 시간 영역 신호

및

에 대한 공분산 행렬 R의 고유 값을 나타낸다.

이와 같은 신호 평가방법에 따라 상술한 바 있는 신호 분리 노드에서 사용하는 노드의 정지기준(Stop)은 상기한 신호평가 척도와 임계값을 이용하여 1. NO_SIGNAL(무신호), 2. CANDIDATE(후보신호), 3. SINGLE(단일신호), 4, MIXED SIGNAL(혼합신호)의 4가지로 분류하고 평가가 이루어진다.

이때 '무신호'는 분리된 신호가 에너지를 거의 포함하지 않는 경우이고, '후본신호'는 분리된 신호가 일정한 수준의 에너지를 포함한 경우이고, '단일신호'는 분리된 신호의 에너지가 일정한 수준의 에너지를 가지면서 상기 수학식 9를 만족하는 경우이고, 혼합신호는 무신호, 후보신호, 단일신호 이외의 신호를 말한다.

한편 분류된 신호 종류에 따라 다른 작업이 수행된다. 즉, '무신호'의 경우에는 분리된 신호와 마스크를 버리고 부모 노드로 복귀하여 현재 노드의 분리 작업을 정지한다. 그리고 '후보 신호' 및 '단일 신호'는 분리된 신호와 해당 마스크를 메모리 풀에 저장한 후 부모 노드로 복귀하고 현재 노드의 분리작업을 종료한다. 그러나 '혼합 신호'의 경우에는 신호 내에 분리를 할 수 있는 신호가 더 존재하기 때문에 지속적으로 노드를 확장하는 작업이 수행된다.

여기서, 분류된 신호 중 상기 '후보 신호'와 '단일 신호'인 경우 유사도 평가를 통해 음원 신호를 합병하고 저장하는 과정이 수행되는데(s146), 이는 도 6 및 도 7을 참조하여 더 자세하게 설명한다.

도 6은 신호가 '후보 신호'로 판단된 경우 처리 과정을 보인 흐름도이다.

분리된 신호의 신호 평가를 통해 '후보 신호'로 판단되면(s200), 기존에 저장되어 있는 '단일 신호'가 있는지 판단한다(s202). 그리고 저장된 '단일 신호'가 있는 경우 입력된 후보 신호와 기존의 단일 신호에 대하여

로 정규화된 상호 상관 함수의 수학식 10을 이용하여 n이 0, 1, 2일 때의 값을 계산하고, 계산된 값들 중 최대 값이 임계값 이상일 경우 두 신호가 유사하다고 판단한다(s204).

여기서, x(k)는 기존에 저장된 단일 신호, y(k)는 후보 신호를 나타낸다.

그런 다음, 후보 신호의 마스크와 음원 신호의 마스크를 논리- 합 연산하여 합병한 뒤(s206), 기존에 저장되어 있는 단일 신호의 마스크를 갱신한다(s208). 이후, 갱신된 마스크를 원 신호와 마스킹 연산하여 새로운 마스크에 대한 단일 신호를 분리/저장하고(s210), 기존 마스크와 신호는 메모리 풀에서 제거한 뒤 부모 노드로 복귀한다(s212).

하지만, 상기 제202 단계 및 제204 단계의 판단 결과, 메모리 풀에 '단일 신호'가 존재하지 않거나 또는 상관계수 값이 임계값보다 작을 경우에는 후보 신호와 해당 마스크를 새로운 후보 신호로 라벨링(labeling)하여 메모리 풀에 저장하는 과정이 수행된다(s214).

도 7은 신호가 '단일 신호'로 판단된 경우의 처리 과정을 보인 흐름도이다.

분리된 신호가 신호 평가를 통해 '단일 신호'로 판단되면(s300), 기존에 저장되어 있는 단일 신호와 후보 신호가 있는지 확인한다(s302).

확인 결과, 단일 신호가 있는 경우 입력된 단일 신호와 기존 단일 신호의 상관계수를 계산한다. 그리고 계산된 값이 임계값(T_SS=0.2) 이상인 경우(s304), 기존 단일 신호의 마스크와 새로운 단일 신호의 마스크를 합병하여 기존 단일 신호의 마스크를 갱신한다(s306). 그리고 갱신된 단일 신호의 마스크를 이용하여 새로운 단일 신호를 분리하고 기존 단일 신호와 마스크는 메모리 풀에서 제거한 뒤 부모 노드로 복귀한다(s308).

반면, 후보 신호만 있는 경우(s310)에는, 입력된 단일 신호와 저장된 후보 신호의 상관계수를 계산한다. 그리고 계산된 값이 임계값(T_SS=0.2) 이상인 경우(s312), 기존 후보 신호의 마스크와 새로운 단일 신호의 마스크를 합병하여 새로운 단일 신호 마스크를 갱신한다(s314). 그리고 갱신된 마스크를 이용해 새로운 단일 신호를 분리하고 기존 후보 신호와 해당 마스크는 메모리 풀에서 제거한 뒤 부모 노드로 복귀한다.

한편, 단일 신호 및 후보 신호가 없거나 또는 상관계수 값이 임계값보다 작은 경우에는 단일 신호와 해당 마스크를 새로운 단일 신호로 라벨링하여 메모리 풀에 저장하게 된다.

상기한 과정에 따라 음향 신호에 포함된 음원 신호가 분리되면, 다시 도 2와 같이 이상 음원의 판단을 위해 그 분리된 음원 신호의 특징을 추출하는 과정이 선행된다(s148).

이를 위해 멜 주파수 캡스트럼(MFCC : Mel-frequency cepstral coefficient)를 구한다.

상기 MFCC는 다음 과정을 통해 획득된다. 먼저 16kHz 샘플링을 위해 8kHz의 LPF에 의해 대역 제한된 음성신호는 A/D 변환을 통해 디지털 신호 x(n)으로 변환된다. 변환된 x(n)은 수학식 11의 고역 강조를 통해 감쇄되는 고주파 신호를 보상하게 된다.

상기 식에서

는 20~30 ms의 길이를 갖는 윈도우 함수를 씌워서 블록 단위의 프레임으로 나눈 다음, 프레임별로 FFT(fast fourier transform)를 이용해 주파수 영역으로 변환된 값을 말한다.

이렇게 변환된 주파수 영역을 인간의 청각 특성을 반영한 여러 개의 멜 스케일드 필터 뱅크(Mel-Scaled Filter Bank)로 구분한다. 그리고 각각의 뱅크에서 에너지를 계산한 후 계산된 에너지에 로그를 취한 다음 DCT(Discrete Cosine Transform)를 하면, 음원 신호의 프레임별로 MFCC가 최종적으로 얻어진다.

모든 음원 신호에 대한 특징 파라미터가 추출된 다음에는 이상 음원 여부를 판단하는 과정이 수행된다(s150).

이상음원 판단은 이상음원 판단부(110)가 이상음원 참조부(112)에 저장된 참조 음원과 상기 분리된 음원 신호의 유사도를 평가하여 실행한다. 이때 유사도는 가우시안 혼합 모델(GMM: Gaussian Mixture Model) 알고리즘이 이용된다.

상기 GMM 알고리즘은 다수의 서로 다른 가중치를 가지는 가우시안 확률 밀도 함수(probability density function)로부터 전체 확률 분포를 추정하여 대상 패턴을 모델링하고 인식에 이용하는 알고리즘이다. 이때 인식 대상이 되는 모든 음원은 각각 다음 수학식 12로 모델링된다.

여기서,

는 재구성된 D-차원 음원 특징 벡터,

, i= 1, …, M는 특징 벡터의 확률 밀도 함수, P_i는 혼합 가중치이다.

그리고 상기 특징 벡터의 확률 밀도 함수는 다음 수학식 13과 같다.

여기서,

는 평균 벡터,

는 공분산 행렬이다. 그리고 상기 파라미터들은 다음과 같이 파라미터 집합으로 표현된다.

상기한 유사도 판단 결과는 이상 음원 판단부(110)에 전달된다.

이상 음원 판단부(110)는 상기 유사도 판단 결과에 따라 분리된 최종 음원이 상기 참조 음원과 유사하다고 판단된 경우 이상 음원으로 판단한다.

그리고 이상 음원이 발생한 것으로 판단되면 이상 음원 판단장치(100)는 관제 센터(120) 등으로 이를 통보하여 후속 조치가 이루어지도록 한다(s160).

이와 같이 상기 실시 예는 마이크로 폰을 통해 들어오는 음향신호 내의 모든 음원 신호를 분리하고, 분리된 음원 신호와 기 저장된 참조 음원과의 유사도 평가를 통해 이상 음원 여부를 판단하도록 하고 있다.

한편, 본 발명은 마이크로폰으로 전달되는 음향 신호에서 모든 음원 신호를 분리하고 그 음원 신호가 이상 음원인지를 판단하는 구성 이외에도, 복수 개가 제공된 각 마이크로폰으로 전달되는 음원의 세기 값을 추출하여 사용자의 위치 정보를 정확하게 추정하는 실시 예도 제공한다. 이는 도 8 및 도 9를 참조한다.

도 8은 본 발명의 다른 실시 예에 따라 제안된 위치 추적 시스템의 구성도이다.

이에 도시된 바와 같이, 위치 추적 시스템(300)에는 음원을 수신하는 음원 수신부(310)로서 마이크로폰이 구성된다. 마이크로폰은 복수 개가 제공되나, 실시 예에서는 제1 마이크로폰(312) 및 제2 마이크로폰(314)이 제공되는 것으로 설명한다. 이러한 마이크로폰(312)(314)은 일정 거리를 기준으로 이격되어 설치된다.

제1 및 제2 마이크로폰(312)(314)으로 입력되는 음원 신호의 세기 값을 추출하는 음원 세기 추출부(320)가 구성된다. 상기 음원 신호의 세기 값은 사용자와 제1 및 제2 마이크로폰(312)(314) 간의 거리에 따라 서로 상이하다. 예컨대 도시된 바와 같이 사용자가 A 지점에 있는 경우 제1 마이크로폰(312)과의 거리(X1)가 제2 마이크로폰(314)과의 거리(X2)보다 더 가깝기 때문에 음원 세기가 더 클 것이다.

음원 세기 추출부(320)가 추출한 값을 전달받고 음원 발생 위치를 추정하는 위치 추정부(330)가 구성된다. 위치 추정부(330)는 상기와 같이 서로 상이한 음원 세기 값에 따라 사용자의 위치 좌표를 계산하게 된다.

사용자의 위치가 추정되면, 주변에 있는 방범 장치, 예컨대 CCTV 등의 카메라를 구동시켜 사용자를 촬영하도록 제어하는 관제센터(340)가 구성된다.

이와 같이 구성되는 위치 추적 시스템을 이용하여 사용자(예를 들면, 시민 등)의 위치를 정확하게 추정하고 그 결과에 따라 방범 처리를 수행하는 과정을 도 9와 함께 설명하기로 한다.

위치 추적 시스템(300)을 구성하는 제1 및 제2 마이크로폰(312)(314)은 항상 주위의 음향 신호를 수신하고 있다(s300). 음향 신호는 비명소리, 호루라기 소리, 경적소리, 폭발소리, 창문 깨지는 소리, 개 짖는 소리 등을 예를 들 수 있으며, 여기서는 이상 음원으로 명칭하여 설명한다.

음향신호 수신 중, 소정 레벨 이상의 음향 신호로서 이상 음원이 발생하면(s312), 그 이상 음원은 서로 이격 설치된 제 1 및 제2 마이크로폰(312)(314)으로 입력된다(s314).

그러면 제1 및 제2 마이크로폰(312)(314)은 이상 음원이 입력되면, 입력된 이상 음원 정보는 음원세기 추출부(320)로 전달된다(s316). 이에 음원 세기 추출부(320)는 제1 및 제2 마이크로폰(312)(314)으로 입력된 음원 세기를 추출한다(s318). 추출 과정은 이상 음원 발생지점과 제1 및 제2 마이크로폰(312)(314)과의 거리 차이로 인해 서로 다른 값을 가지는 음원 세기 값을 추출하는 것이다. 예를 들면 도 8에서와 같이 A 지점에서 이상 음원이 발생한 경우 제1 마이크로폰(312)이 전달받은 음원의 세기 값이 제2 마이크로폰(314)의 음원 세기 값보다는 더 크게 추출되는 것이다.

제1 및 제2 마이크로폰(312)(314)에 대한 음원 세기 값이 추출되면 이는 위치 추정부(330)로 전달된다. 그러면 위치 추정부(330)는, 상기 음원 세기 값에 따라 이상 음원의 발생 위치를 추정하게 된다(s320). 즉, 이 경우 음원 세기 테이블이 이용될 수 있다. 음원 세기 테이블은 마이크로폰으로 전달되는 음원 신호의 데시벨 값에 따라 마이크로폰과 이격되고 있는지를 미리 저장해놓은 정보를 말한다. 물론 이 경우, 음원 신호에 무의미한 정보가 포함될 수도 있기 때문에 상술한 바 있는 실시 예에서 설명된 음원 분리기술을 적용하여 음원 신호에 대한 세기 값을 추출하면 더 정확한 위치 정보를 추정할 수 있을 것이다.

그와 같은 과정에 따라 이상 음원의 위치가 추정되면, 관제센터(340)는 현재 추정된 이상 음원의 발생 위치와 가장 가까운 CCTV나 고 해상도 CCTV를 선택적으로 동작시켜 현장을 촬영하고, 필요한 경우 이를 외부로 전송한다. 그 결과, 위험 발생시 관련 자료를 획득할 수 있음은 물론 이에 대한 대처가 가능하게 될 것이다.

한편, 상기 실시 예에서는 이상 음원의 위치 추정을 위해 음원 신호의 세기 값으로 한정하여 설명하였지만 다른 값을 충분히 적용할 수 있다. 예컨대, 마이크로폰에 전달되는 시간 정보를 이용할 수도 있다.

이상과 같이 본 발명의 도시된 실시 예를 참고하여 설명하고 있으나, 이는 예시적인 것들에 불과하며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진자라면 본 발명의 요지 및 범위에 벗어나지 않으면서도 다양한 변형, 변경 및 균등한 타 실시 예들이 가능하다는 것을 명백하게 알 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적인 사상에 의해 정해져야 할 것이다.

100 : 이상음원 판단장치
103 : 음원 수신부 104 : A/D 변환부
106 : 음원 분리부 108 : 특징 추출부
110 : 이상음원 판단부 112 : 이상음원 참조부
120 : 관제센터

Claims (17)

1. 하나 이상의 음원 신호가 포함된 음향 신호를 획득하는 다수개의 음원 수신부;
   획득된 음향 신호에 포함된 음원 신호가 이상 음원 여부를 판단하는 이상음원 판단부;
   각각의 상기 음원 수신부가 획득한 음향 신호에 포함된 음원 신호가 이상 음원인 경우에 음원 신호의 음원 세기 값을 추출하는 음원세기 추출부; 및
   상기 음원세기 추출부의 추출 결과에 따라 상기 이상음원의 발생 위치를 추정하는 위치 추정부를 포함하는 위치 추적 시스템.
2. 제 1 항에 있어서,
   상기 이상음원의 발생 위치가 추정되면, 그 추정된 발생 위치와 가장 가까운 촬상기기 또는 고 해상도 촬상 기기를 동작시키는 관제센터를 더 포함하는 위치 추적 시스템.
3. 제 2 항에 있어서,
   상기 이상음원의 발생 위치 추정은, 상기 마이크로폰이 입력받는 이상 음원의 데시벨에 따라 기 정의된 거리 값을 포함하는 음원 세기 테이블을 이용하는 위치 추적 시스템.
4. 제 1 항에 있어서,
   상기 음원 수신부에 의하여 획득된 음향 신호를 디지털로 변환하는 A/D 변환부;
   변환된 디지털 형태의 음향 신호에서 음원 신호를 분리하는 음원 분리부; 및
   분리된 음원 신호의 특징 파라미터를 추출하는 특징 추출부; 를 더 포함하고,
   상기 이상음원 판단부는, 추출된 특징 파라미터의 음원 신호와 기 저장된 참조 음원을 비교하여 이상 음원 여부를 판단하는 위치 추적 시스템.
5. 제 2 항에 있어서,
   상기 음원 분리부는,
   음원 분리 노드 및 우선 탐색 방법을 이용하여 상기 음향 신호 내의 모든 음원 신호가 분리될 때까지 반복 수행하는 위치 추적 시스템.
6. 제 5 항에 있어서,
   상기 음원 분리부는,
   음원 분리 동작에 따라 무신호(NO SIGNAL), 후보 신호(CANDIDATE), 단일 신호(SINGLE) 및 혼합 신호(MIXED SIGNAL)로 분리하고,
   상기 후보 신호 및 단일 신호는 메모리 풀(Memory pool)에 저장하는 위치 추적 시스템.
7. 제 6 항에 있어서,
   상기 무신호(NO SIGNAL), 후보 신호(CANDIDATE), 단일 신호(SINGLE) 및 혼합 신호(MIXED SIGNAL)는 분리된 신호의 에너지가 임계값 이상인지를 판단하는 식 1 및 분리된 신호에 대해 입력 신호 오차에 대한 출력 신호의 민감도인 조건수를 나타내는 식 2를 이용하여 분류하는 위치 추적 시스템.
   [식 1]
   

   

   
   E_n(dB)은 분리된 신호의 에너지를 나타내면, x는 분리된 신호임
   [식 2]
   

   

   
   여기서, 조건수(CN: condition number)는 임계값 이상일 경우에만 음원 신호로 평가하며, g(R)은 마스킹 연산에 의해 분리된 시간 영역 신호

   

   및

   

   에 대한 공분산 행렬 R의 고유값을 말함
8. 제 4 항에 있어서,
   상기 특징 추출부는,
   음원 신호의 프레임별로 멜 주파수 캡스트럼(MFCC : Mel-frequency cepstral coefficient)를 추출하는 위치 추적 시스템.
9. 제 4 항에 있어서,
   상기 이상음원 판단부는,
   가우시안 혼합 모델(GMM: Gaussian Mixture Model) 알고리즘을 이용하여 기 저장된 참조 음원과 분리된 상기 음원 신호의 유사도를 판단하여 이상 음원 여부를 판단하는 위치 추적 시스템.
10. 다수개의 음원 수신부가, 음향 신호를 수신하는 수신단계;
    음원 분리부가, 수신된 음향 신호에 포함된 음원 신호를 분리하는 분리단계; 및
    이상음원 판단부가, 분리된 음원이 이상 음원임을 판단하는 판단단계;
    음원세기 추출부가, 분리된 음원이 이상 음원이면, 음원 신호의 음원 세기 값을 추출하는 세기 추출 단계; 및
    위치 추정부가, 음원 세기값에 따라서 이상음원의 발생 위치를 추적하는 위치 추적 단계를 포함하는 이상음원 위치 추적 방법.
11. 제 10 항에 있어서,
    상기 음원 분리단계는,
    신호 분리를 수행하는 함수를 노드로 정의한 상태에서 이진트리 구조의 깊이 우선 탐색 방법을 이용하여 상기 음향 신호 내의 모든 음원 신호를 분리하는 이상음원 위치 추적 방법.
12. 제 11 항에 있어서,
    상기 음원 분리단계는,
    음원 분리 마스크 생성단계;
    상기 생성된 음원 분리 마스크를 적용하여 상기 음향 신호 내의 음원 신호를 4가지 종류의 신호로 분리하는 단계; 및
    상기 분리된 음원 신호의 특징 파라미터를 추출하는 추출 단계를 포함하는 이상음원 위치 추적 방법.
13. 제 12 항에 있어서,
    상기 음원 분리 마스크는,
    입/출력이 두 개인 엔트로피 최대화 방법의 출력신호에 대하여 스펙트로 그램의 크기 비율을 이용하는 이상음원 위치 추적 방법.
14. 제 12 항에 있어서,
    상기 4가지 종류의 신호는,
    분리된 신호의 에너지가 임계값 이상인지를 평가하는 척도와, 분리된 신호에 대해 입력신호 오차에 대한 출력신호의 민감도가 임계값 이상인지를 평가하여,
    무신호(NO SIGNAL), 후보 신호(CANDIDATE), 단일 신호(SINGLE) 및 혼합 신호(MIXED SIGNAL)로 분리되는 이상음원 위치 추적 방법.
15. 제 14 항에 있어서,
    상기 4가지 신호 중,
    분리된 신호가 상기 무신호, 후보 신호, 단일 신호인 경우에는 음원 분리 노드의 정지(stop) 기준에 해당하여 현재 노드의 분리작업을 종료하고,
    분리된 신호가 상기 혼합 신호인 경우에는 노드 확장 과정이 계속 수행되는 이상음원 위치 추적 방법.
16. 제 15 항에 있어서,
    상기 분리된 신호가 후보 신호 및 단일 신호인 경우에는 그 분리된 신호와 신호 분리에 사용된 이진 마스크를 메모리 풀에 저장하고 부모 노드로 복귀하는 이상음원 위치 추적 방법.
17. 제 10 항에 있어서,
    상기 판단 단계는 가우시안 혼합 모델(GMM: Gaussian Mixture Model) 알고리즘을 이용한 참조 음원과의 유사도 판단을 수행하여 분리된 신호가 이상음원인지 판단하는 이상음원 위치 추적 방법.

Images