KR20120059827A

KR20120059827A - 다중 음원 위치추적장치 및 그 위치추적방법

Info

Publication number: KR20120059827A
Application number: KR1020100121295A
Authority: KR
Inventors: 신기훈
Original assignee: 삼성전자주식회사
Priority date: 2010-12-01
Filing date: 2010-12-01
Publication date: 2012-06-11
Also published as: US20120140947A1

Abstract

주어진 샘플링 주파수에서 공간 에일리어싱을 최소화할 수 있는 간격으로 배치된 복수의 마이크를 가진 마이크로폰 어레이를 사용하여 음원 방향을 추적함에 있어서 마이크로폰 어레이의 실제 마이크 신호에 근거하여 가상 마이크 신호를 생성하고 실제 마이크 신호와 가상 마이크 신호를 이용하여 음원의 방향을 추적함으로써 마이크로폰 어레이의 개구 길이를 늘이지 않고서도 개구 길이가 상대적으로 긴 마이크론 어레이를 사용한 경우와 거의 동등한 수준의 분해능을 구현할 수 있는 다중 음원 위치추적장치 및 그 위치추적방법을 개시한다.

Description

다중 음원 위치추적장치 및 그 위치추적방법{APPARATUS FOR MULTIPLE SOUND SOURCE LOCALIZATION AND METHOD THE SAME}

본 발명은 다중 음원 위치추적장치 및 그 위치추적방법에 관한 것으로, 더욱 상세하게는 마이크로폰 어레이를 이용하여 다중 음원의 방향을 추정하는 다중 음원 위치추적장치 및 그 위치추적방법에 관한 것이다.

다수의 마이크로폰으로 구성된 선형 마이크로폰 어레이를 사용하여 음원의 방향을 추정하는 빔포밍(beamforming) 기술은 마이크로폰간 거리와 마이크로폰 어레이의 전체 길이인 개구 길이에 의해 방향 추적 성능과 각도 분해능이 결정된다.

예를 들어, 추적하고자 하는 음원으로부터 마이크로폰 어레이에 도달하는 음파 신호가 해당 신호의 가장 높은 주파수 성분의 반 파장 당 최소한 한 번은 샘플링 돼야 해당 음원의 방향이 정확히 추정될 수 있기 때문에 마이크간 거리는 해당 음원의 가장 높은 주파수 성분의 반 파장보다 짧아야 한다. 마이크간 거리가 이보다 길 경우 임의의 방향에서 각 마이크에 도달하는 신호들 간의 위상차가 정확하게 측정되지 않아 마치 한 개의 소리가 여러 개의 방향에서 전달되는 것처럼 추정되는데 이 현상을 공간 에일리어싱이라 한다.

또한, 마이크간 거리가 결정되면 마이크 개수에 따라 전체 마이크로폰 어레이 길이인 개구 길이가 결정되는데, 개구 길이가 크면 같은 샘플링 주파수로 신호를 샘플링할 경우 작은 개구 길이에 비해 임의의 방향에서 오는 소리가 각 마이크에 수신될 때 그 신호들 간의 위상차가 더욱 두드러지게 되므로 더욱 세밀한 방향 추적이 가능해지므로 방향 추적 성능의 분해능이 높아진다.

그러므로 주어진 샘플링 주파수에서 개구 길이가 최대한 길고 그 안에 많은 개수의 마이크가 좁은 간격으로 촘촘히 설치된 빔포머가 공간 에일리어싱이 적게 일어나고 추적 성능의 분해능도 높아 복수 개의 음원을 동시에 추적하는데 최적의 빔포머가 된다.

하지만 대부분의 경우 제품의 디자인이나 크기 때문에 개구 길이를 늘이는데 한계가 있고 제품 단가 때문에 쓸 수 있는 마이크의 개수도 제한되기 마련이다. 이럴 때는 보통 주어진 공간 내에 제한된 개수의 마이크를 사용하여 마이크로폰 어레이를 설치해야하기 때문에 공간 에일리어싱과 분해능 사이에 트레이드오프(trade-off)가 일어나게 된다. 즉, 분해능 개선에 초점을 맞추려면 개구 길이를 늘려야 하는데 마이크의 개수는 제한적이므로 마이크 사이간격이 벌어져 공간 에일리어싱이 생기는 것을 방지할 수 없고, 공간 에일리어싱 방지에 초점을 맞추면 마이크 사이간격이 음원의 가장 높은 주파수 성분의 반 파장보다 짧게 설치해야 하는데 마이크의 개수가 제한적이므로 전체 개구 길이가 줄어 분해능이 낮아지게 된다.

따라서 제한된 공간에 제한된 개수의 마이크로서 마이크로폰 어레이를 구성할 때, 실제 개구 길이를 늘이지 않고도 방향 추적 성능의 분해능을 높이고 공간 에일리어싱도 줄일 수 있는 새로운 방법이 필요하다.

본 발명의 일 측면은 마이크로폰 어레이의 마이크 간격을 주어진 샘플링 주파수에서 공간 에일리어싱을 최소화할 수 있는 간격으로 유지하면서도 마이크로폰 어레이 개구 길이의 늘임 없이 음원 방향 추적 성능의 분해능을 높이는 다중 음원 위치추적장치 및 그 위치추적방법을 제공한다.

이를 위해 본 발명의 일 측면에 따른 다중 음원 위치추적장치는 복수의 마이크로폰이 선형으로 배치된 마이크로폰 어레이와, 상기 마이크로폰 어레이로부터 수신된 마이크 신호를 이용하여 복수의 음원 방향을 1차 추정하고, 상기 1차 추정된 음원 방향별로 상기 수신된 마이크 신호를 바탕으로 가상 마이크 신호를 생성하고, 상기 수신된 마이크 신호와 상기 생성된 가상 마이크 신호를 이용하여 상기 복수의 음원 방향을 2차 추정하는 음원 추적부를 포함한다.

또한, 상기 음원추적부는, 각 마이크로폰 어레이로부터 마이크신호를 수신하고, 복수의 음원 방향을 1차 추정하도록 상기 수신된 마이크신호를 이용하여 빔포밍을 수행하는 제1 빔포머와, 상기 1차 추정된 음원 방향별로 상기 수신된 마이크 신호를 바탕으로 가상 마이크 신호를 생성하는 가상 마이크 신호 생성기와, 상기 복수의 음원 방향을 2차 추정하도록 상기 수신된 마이크 신호와 상기 생성된 가상 마이크 신호를 이용하여 빔포밍을 수행하는 제2 빔포머를 포함한다.

또한, 상기 제1 빔포머는 상기 마이크로폰 어레이의 마이크 쌍별로 복수의 음원 방향에 대한 지연값을 산출하고, 상기 마이크로폰 어레이로부터 입력된 마이크 신호를 이산 푸리에 변환하고, 이산 푸리에 변환된 마이크 신호로 각 마이크 쌍의 상호 스펙트럼을 산출하고, 산출된 각 마이크 쌍의 상호 스펙트럼에 따라 각 마이크 쌍의 상호 상관을 산출하고, 상기 산출된 상호 상관과 상기 산출된 지연값에 따라 해당 음원 방향에 대한 각 음원의 빔포머 에너지를 산출하고, 상기 산출된 각 음원의 빔포머 에너지가 가장 큰 값을 가지는 방향을 해당 음원의 방향으로 추정하는 것을 포함한다.

또한, 상기 제1 빔포머는 상기 상호 상관 산출시 상기 상호 상관에 가중치를 적용하되, 상기 마이크 신호의 주파수 대역이 미리 설정된 대역보다 높으면 가중치를 높이고, 상기 미리 설정된 대역보다 낮으면 상기 가중치를 낮추는 것을 포함한다.

또한, 상기 가상 마이크 신호 생성기는 상기 마이크로폰 어레이의 중심에서 양 옆으로부터 미리 설정된 거리에 위치한 지점에 가상 마이크가 있다고 가정하고, 상기 가상 마이크 신호를 상기 마이크로폰 어레이로부터 수신되는 마이크 신호와 상기 1차 추정된 음원 방향을 근거로 하여 생성하는 것을 포함한다.

또한, 상기 제2 빔포머는 상기 1차 추정된 음원 방향별로 상기 생성된 가상 마이크 신호의 푸리에 변환된 값과 상기 마이크로폰 어레이로부터 수신된 마이크 신호의 푸리에 변환된 값과, 상기 제1 빔포머에 의해 산출된 상호 상관을 근거로 하여 해당 음원 방향을 추정하는 것을 포함한다.

또한, 상기 제2 빔포머는 상기 마이크로폰 어레이의 마이크들과 상기 가상 마이크를 포함한 전체 마이크 쌍별로 해당 음원 방향에 대한 지연값을 산출하고, 상기 가상 마이크 신호의 푸리에 변환된 값과 상기 마이크로폰 어레이로부터 수신된 마이크 신호의 푸리에 변환된 값에 따라 전체 마이크 쌍의 상호 스펙트럼을 산출하고, 산출된 전체 마이크 쌍의 상호 스펙트럼에 따라 전체 마이크 쌍의 상호 상관을 산출하고, 상기 산출된 상호 상관과 상기 산출된 지연값에 따라 해당 음원 방향에 대한 각 음원의 빔포머 에너지를 산출하고, 상기 산출된 각 음원의 빔포머 에너지가 가장 큰 값을 가지는 방향을 해당 음원의 방향으로 추정하는 것을 포함한다.

또한, 상기 마이크로폰 어레이는 마이크 간격이 주어진 샘플링 주파수에서 공간 에일리어싱을 최소화할 수 있는 간격으로 배치된 것을 포함한다.

본 발명의 다른 측면에 따른 다중 음원 위치추적방법은 마이크로폰이 선형으로 배치된 마이크로폰 어레이와 상기 마이크로폰 어레이로부터 수신된 마이크 신호에 따라 음원 방향을 추정하는 음원 추적부를 포함하는 다중 음원 위치추적장치의 제어방법에 있어서, 상기 마이크로폰 어레이로부터 수신된 마이크 신호를 이용하여 복수의 음원 방향을 1차 추정하고, 상기 1차 추정된 음원 방향별로 상기 수신된 마이크 신호를 바탕으로 가상 마이크 신호를 생성하고, 상기 수신된 마이크 신호와 상기 생성된 가상 마이크 신호를 이용하여 상기 복수의 음원 방향을 2차 추정하는 것을 포함한다.

또한, 상기 복수의 음원 방향 1차 추정은, 상기 마이크로폰 어레이의 마이크 쌍별로 복수의 음원 방향에 대한 지연값을 산출하고, 상기 마이크로폰 어레이로부터 입력된 마이크 신호를 이산 푸리에 변환하고, 이산 푸리에 변환된 마이크 신호로 각 마이크 쌍의 상호 스펙트럼을 산출하고, 산출된 각 마이크 쌍의 상호 스펙트럼에 따라 각 마이크 쌍의 상호 상관을 산출하고, 상기 산출된 상호 상관과 상기 산출된 지연값에 따라 해당 음원 방향에 대한 각 음원의 빔포머 에너지를 산출하고, 상기 산출된 각 음원의 빔포머 에너지가 가장 큰 값을 가지는 방향을 해당 음원의 방향으로 추정하는 것을 포함한다.

또한, 상기 상호 상관 산출은, 상기 상호 상관에 가중치를 적용하되, 상기 마이크 신호의 주파수 대역이 미리 설정된 대역보다 높으면 가중치를 높이고, 상기 미리 설정된 대역보다 낮으면 상기 가중치를 낮추는 것을 포함한다.

또한, 상기 가상 마이크 신호 생성은, 상기 마이크로폰 어레이의 중심에서 양 옆으로부터 미리 설정된 거리에 위치한 지점에 가상 마이크가 있다고 가정하고, 상기 가상 마이크 신호를 상기 마이크로폰 어레이로부터 수신되는 마이크 신호와 상기 1차 추정된 음원 방향을 근거로 하여 생성하는 것을 포함한다.

또한, 상기 복수의 음원 방향 2차 추정은, 상기 1차 추정된 음원 방향별로 상기 생성된 가상 마이크 신호의 푸리에 변환된 값과 상기 마이크로폰 어레이로부터 수신된 마이크 신호의 푸리에 변환된 값과, 상기 제1 빔포머에 의해 산출된 상호 상관을 근거로 하여 해당 음원 방향을 추정하는 것을 포함한다.

또한, 상기 복수의 음원 방향 2차 추정은, 상기 마이크로폰 어레이의 마이크들과 상기 가상 마이크를 포함한 전체 마이크 쌍별로 해당 음원 방향에 대한 지연값을 산출하고, 상기 가상 마이크 신호의 푸리에 변환된 값과 상기 마이크로폰 어레이로부터 수신된 마이크 신호의 푸리에 변환된 값에 따라 전체 마이크 쌍의 상호 스펙트럼을 산출하고, 산출된 전체 마이크 쌍의 상호 스펙트럼에 따라 전체 마이크 쌍의 상호 상관을 산출하고, 상기 산출된 상호 상관과 상기 산출된 지연값에 따라 해당 음원 방향에 대한 각 음원의 빔포머 에너지를 산출하고, 상기 산출된 각 음원의 빔포머 에너지가 가장 큰 값을 가지는 방향을 해당 음원의 방향으로 추정하는 것을 포함한다.

이상에서 설명한 본 발명의 일 측면에 따르면, 주어진 샘플링 주파수에서 공간 에일리어싱을 최소화할 수 있는 간격으로 배치된 복수의 마이크를 가진 마이크로폰 어레이의 실제 마이크 신호에 근거하여 가상 마이크 신호를 생성하고 실제 마이크 신호와 가상 마이크 신호를 이용하여 음원의 방향을 추적함으로써 마이크로폰 어레이의 개구 길이를 늘이지 않고서도 개구 길이가 상대적으로 긴 마이크론 어레이를 사용한 경우와 거의 동등한 수준의 분해능을 구현할 수 있다.

또한, 본 발명의 다른 측면에 따르면, 마이크로폰 어레이의 양옆에 가상 마이크가 있다고 가정하고 실제 마이크 및 가상 마이크를 이용하여 음원 방향을 추정함으로써 적은 개수의 마이크로 구성된 마이크로폰 어레이로 더 많은 마이크를 쓰거나 마이크 사이 간격을 늘여서 전체 개구 사이즈(aperture size)가 커진 마이크로폰 어레이와 거의 동등한 수준으로 분해능을 높일 수 있어 음원의 방향을 보다 효과적으로 추적할 수 있다.

또한, 본 발명의 또 다른 측면에 따르면, 동일한 분해능을 구현하는 마이크로폰 어레이와 비교하여 사이즈를 크게 작게 할 수 있어 모바일 기기에의 적용이 용이하며 디지털 TV를 포함한 제품의 디자인 차별화에 큰 기여를 할 수 있다.

도 1은 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 구성도이다.
도 2는 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 제어블록도이다.
도 3은 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 제어방법을 설명하기 위한 제어흐름도이다.
도 4는 본 발명의 일실시예에 따른 다중 음원 위치추적장치에서 선형으로 배치된 마이크로폰 어레이와 음원 방향과의 관계를 나타낸 도면이다.
도 5a는 본 발명의 일실시예에 따른 다중 음원 위치추적장치에서 0도와 40도에 음원이 있을 경우 8kHz의 샘플링 주파수에서 개구 길이를 16cm로 고정시키고 마이크 간격을 4cm로 고정시킨 마이크로폰 어레이의 빔포밍 결과를 나타낸 도면이다.
도 5b는 본 발명의 일실시예에 따른 다중 음원 위치추적장치에서 0도와 20도에 음원이 있을 경우 8kHz의 샘플링 주파수에서 개구 길이를 16cm로 고정시키고 마이크 간격을 4cm로 고정시킨 마이크로폰 어레이의 빔포밍 결과를 나타낸 도면이다.
도 6a 및 도 6b는 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 제1 빔포머의 작동을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 다중 음원 위치추적장치에서 가상 마이크 신호의 개념을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 가상 마이크 신호 생성기의 작동을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 제2 빔포머의 작동을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 설명한다.

도 1은 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 구성을 나타낸 도면이다. 도 2는 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 제어방법을 설명하기 위한 제어흐름을 나타낸 도면이다.

도 1에 도시된 바와 같이, 다중 음원 위치추적장치는 마이크로폰 어레이(10)와 음원 추적부(20)를 포함한다.

마이크로폰 어레이(10)는 다수 개의 마이크로폰으로 이루어지고, 각 마이크로폰은 서로 같은 간격으로 선형으로 배치되어 음원신호를 입력받는다.

음원 추적부(20)는 마이크로폰 어레이(10)에 의해 수신된 실제 마이크 신호를 이용하여 빔포밍을 수행하여 복수의 음원 방향을 1차 추정하고, 1차 추정된 음원 방향별로 마이크로폰 어레이(10)에 의해 수신된 실제 마이크 신호를 바탕으로 가상의 마이크 신호를 생성하고, 생성된 가상 마이크 신호와 마이크로폰 어레이(10)에 의해 수신된 실제 마이크 신호를 이용하여 빔포밍을 수행하여 복수의 음원 방향을 2차 추정한다.

음원 추적부(20)의 작동을 도 2를 참조하여 살펴보면, 먼저, 음원 추적부(20)는 마이크로폰 어레이(10)로부터 복수 개의 마이크 신호를 입력받는다(100).

그리고, 음원 추적부(20)는 입력된 복수 개의 마이크 신호를 이용하여 후술하는 빔포밍 기법을 수행함으로써 복수 개의 음원 방향을 1차적으로 추정하고(120).

복수 개의 음원 방향을 1차적으로 추정한 후 음원 추적부(20)는 1차 방향 추정치와 각 마이크 신호로부터 마이크로폰 어레이(10)의 양쪽으로 개구 길이의 수배에 해당되는 거리에 각 한 개씩의 가상 마이크가 있다고 가정하고, 각각의 1차 방향 추정치별로 1개 세트(set)의 가상 마이크 신호를 생성한다(140).

가상 마이크 신호를 생성한 후 음원 추적부(20)는 생성된 가상 마이크 신호와 마이크로폰 어레이(10)로부터 입력된 실제 마이크 신호를 이용하여 상기한 빔포밍 기법을 수행함으로써 복수 개의 음원 방향을 2차 추정한다(160).

이와 같이 본 발명의 일실시예에 따른 다중 음원 위치추적장치에서는 마이크로폰 어레이(10)의 양쪽에 가상 마이크가 추가된 것으로 가정하여 음원 방향을 추정함으로써 실제 마이크 간격을 늘리지 않고도 분해능을 높일 수 있다.

도 3은 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 제어블록을 나타낸 도면이다.

도 3에 도시된 바와 같이, 음원 추적부(20)는 제1 빔포머(21)(Frequency-Domain Steered Beamformer I ; FDSB-I), 가상 신호 생성기(22)(Virtual Microphone Generator ; VMG), 제2 빔포머(23)(Frequency-Domain Steered Beamformer II ; FDSB-II)를 포함한다.

제1 빔포머(21)는 마이크로폰 어레이(10)로부터 실제 마이크신호를 수신하고, 복수의 음원 방향을 1차 추정하도록 상기 수신된 실제 마이크신호를 이용하여 빔포밍을 수행한다. 즉, 제1 빔포머(21)는 마이크로폰 어레이(10)로부터 수신된 실제 마이크 신호들에 기초하여 각 음원 방향을 추정하고, 추정된 각 음원 방향을 각 가상 마이크 신호 생성기(22)에 전달한다.

가상 마이크 신호 생성기(22)는 제1 빔포머(21)에 의해 1차 추정된 음원 방향별로 마이크로폰 어레이(10)로부터 수신된 실제 마이크 신호를 바탕으로 가상의 마이크 신호를 생성한다. 즉, 가상 마이크 신호 생성기(22)는 제1 빔포머(21)에 의해 추정된 각 음원 방향별로 각 마이크 신호에 근거한 가상 마이크 신호를 생성하고, 가상 마이크 신호 생성기(22)는 생성된 가상 마이크 신호를 제2 빔포머(23)에 전달한다.

제2 빔포머(23)는 복수의 음원 방향을 2차 추정하도록 마이크로폰 어레이(10)로부터 수신된 실제 마이크 신호와 가상 마이크 신호 생성기(22)에 의해 생성된 가상 마이크 신호를 이용하여 빔포밍을 수행한다. 즉, 제2 빔포머(23)는 마이크로폰 어레이(10)로부터 수신된 실제 마이크 신호와 가상 마이크 신호 생성기(22)에 의해 생성된 가상 마이크 신호를 이용하여 해당 음원 방향을 추정한다.

이하에서는 제1 빔포머에서 수행되는 일반적인 빔포밍 기법에 대하여 설명한다.

제1 빔포머(21)는 M개의 마이크가 일렬로 배치된 마이크로폰 어레이(10)로부터 음원신호를 입력받는다.

제1 빔포머(21)의 출력은 다음과 같이 정의된다.

식 [1]

여기서 xm(n)는 m번째 마이크 신호이고 τm은 m번째 마이크까지의 도래지연(delay of arrival ; DOA)을 나타낸다.

길이 L의 마이크 신호 프레임마다 이러한 제1 빔포머(21)의 출력 에너지 E를 구하면 다음과 같다.

식 [2]

임의의 방향에 음원이 존재할 경우 해당 방향으로부터 각 마이크에 전달되는 신호의 지연(delay)이 곧 τm이 되며 위 식 [2]처럼 이를 보정하여 더해주면 제1 빔포머(21)의 에너지 E는 최대값을 가지게 된다. 식 [2]를 다시 각 마이크 쌍별로 정리하면 다음과 같다.

식 [3]

식 [3]의 첫 번째 항은 각 마이크 신호의 자기 상관(auto-correlation)의 합이고 이는 여러 값의 τm에 대해 거의 일정한 값을 가지므로 상수로 처리하여 무시하고, 두 번째 항을 서로 다른 i번째 마이크와 j번째 마이크간의 상호 상관으로 표현하고 두 번째 항의 맨 앞에 "2"를 무시하면 제1 빔포머(21)의 에너지(E)는 아래와 같이 서로 다른 마이크 신호간의 상호 상관들의 합에 비례하게 된다.

식 [4]

여기서 τ는 i번째 마이크와 j번째 마이크간의 상대적 지연인 τi-τj이며 이는 마이크 신호가 광의의 정상(Wide-Sense Stationary ; WSS)이라 가정하여 상호 상관(cross-correlation)값들이 마이크 신호 간 상대적 지연의 함수가 됨을 뜻한다. 주파수 영역에서 상호 상관은 다음과 같은 근사치로 표현된다.

식 [5]

위 식에서 Xi(k)는 i번째 마이크 신호 xi(n)의 이산 푸리에 변환(Discrete Fourier transform ; DFT)이며, Xi(k)Xj*(k)는 xi(n)와 xj(n)의 상호 스펙트럼(cross-spectrum)이고, (ㅇ)*는 복수켤레(complex conjugate)을 뜻한다. k는 DFT의 주파수 인덱스이며 L은 마이크 신호의 각 프레임 길이임과 동시에 DFT 사이즈이다.

하지만 식 [5]를 그대로 쓰면 상호 상관의 피크가 날카롭지(sharp) 못할 뿐 아니라 모든 주파수 성분이 서로 대등하게 적용되어 추적 대상이 아닌 주변소음이 대부분인 특정 주파수 성분도 상관 산출에 똑같이 기여하게 되어 음성과 같은 좁은 대역폭(bandwidth)을 갖는 음원의 검출이 다소 어려워진다.

따라서 다음과 같이 각 DFT의 절대값에 의한 정규화(normalization)로 백색화(whitening)해주고 신호 대 잡음비(Signal-to-Noise Ratio ; SNR)가 높은 스펙트럼에 보다 높은 가중치를 주는 스펙트럼 가중치(spectral weighting)을 적용한다.

식 [6]

위 식에서 주파수별 가중치인 w(k)는 현재 시간에서 구한 전체 마이크 신호의 파워 스펙트럼 밀도(power spectral density)의 평균인 Y(k)와 이전 시간에서 구한 Y(k) 값들의 평균인 YN(k)에 기반하여 다음과 같이 구한다.

식 [7]

여기서 β(0<β<1)는 이전 신호의 평균 스펙트럼(spectrum)보다 큰 값을 갖는 주파수 성분에 가중치를 주게 된다.

일정한 시간 주기(예를 들면, 200msec)동안 구한 Xi(k)Xj*(k)의 평균을 취하여 이를 식 [6]에 대입하여 각 마이크 쌍의 상호 상관을 구한다.

M개의 마이크로 구성된 마이크로폰 어레이(10)에는 모두 M*(M-1)/2개의 서로 다른 마이크 쌍이 존재하므로 M*(M-1)/2개의 상호 상관을 산출하고 이를 식 [4]에 대입하여 빔포머 에너지 E를 구한다.

이렇게 구한 제1 빔포머(21)의 에너지 E는 각 마이크 쌍 간 지연차의 함수인데, i번째 마이크와 j번째 마이크 간 지연차인 τij는 도 4와 같이 M개의 마이크로폰 어레이(10)에서 해당 마이크 쌍의 사이간격 dij와 음원의 방향 θs로 다음과 같이 표현된다.

식 [8]

여기서 c는 음속이다. 제1 빔포머(21)의 샘플링 주파수 fs와 마이크 간격 d가 정해지면 제1 빔포머(21)가 추적할 수 있는 방향의 개수 Nd은 다음의 식으로 유추할 수 있다.

식 [9]

마이크로폰 어레이(10)로 빔포밍을 할 경우 방향 추적 범위는 전방을 0˚로 했을 때 -90˚와 90˚ 사이에 국한되므로 180˚를 Nd로 나누면 제1 빔포머(21)의 각도 분해능이 나온다. 이 Nd개의 방향에 대한 각 마이크 쌍의 지연차를 식 [8]로 구하고, 미리 산출된 상호 상관(식 [6])에 대입하여 식 [4]로 각 Nd개의 방향마다 제1 빔포머(21)의 에너지 E를 구한다. 이 중 가장 큰 에너지 E를 가진 방향을 곧 매 시간 주기마다의 음원 방향으로 판단한다.

복수 개의 음원을 동시에 추적할 경우 한 개의 음원을 추적할 때와 마찬가지로 전 방향을 스캔하며 제1 빔포머(21)의 에너지 E를 구하지만 이미 찾은 음원의 방향은 제외하고 나머지 방향을 스캔하여 이 중 에너지 E가 최대치가 되는 방향을 그 다음 음원의 방향이라고 판단한다.

한편, 특정 제품이나 시스템에 장착될 빔포머의 샘플링 주파수가 정해지면 공간 에일리어싱을 방지할 수 있게 마이크 간격을 설정하여 마이크를 배치해야 하는데 이를 위해선 마이크 간격 d가 샘플링 주파수의 절반인 나이키스트(Nyquist) 주파수 f_Nyquist의 반파장과 비슷하거나 이보다 작아야 한다. 즉, 공간 에일리어싱을 막으려면 마이크 간격 d는 다음의 식을 만족시켜야 한다.

식 [10]

예를 들어 샘플링 주파수가 8kHz이면 마이크를 4cm마다 배치하고, 16kHz이면 마이크를 2cm마다 배치해야 공간 에일리어싱을 방지할 수 있다.

하지만 일반적으로 제품의 제조 단가에 따라 사용 가능한 마이크의 개수는 제한되어 있고 제한된 개수의 마이크를 촘촘히 배치하면 전체 개구 길이가 줄어 각도 분해능이 떨어진다.

그래서 보통은 공간 에일리어싱은 무시하고 마이크 간격을 넓게 배치하여 분해능을 높이는데 초점을 맞추나 이는 특정 방향에서 오는 소리를 더 잘 수신하는 음원분리용 빔포머에나 적합할 뿐 음원의 방향을 정확히 추적해야 하는 음원추적용 빔포머에는 적합하지 못하다.

도 5a는 본 발명의 일실시예에 따른 다중 음원 위치추적장치에서 0도와 40도에 음원이 있을 경우 8kHz의 샘플링 주파수에서 개구 길이를 16cm로 고정시키고 마이크 간격을 4cm로 고정시킨 마이크로폰 어레이(10)의 빔포밍 결과를 나타낸 도면이다. 도 5b는 본 발명의 일실시예에 따른 다중 음원 위치추적장치에서 0도와 20도에 음원이 있을 경우 8kHz의 샘플링 주파수에서 개구 길이를 16cm로 고정시키고 마이크 간격을 4cm로 고정시킨 마이크로폰 어레이(10)의 빔포밍 결과를 나타낸 도면이다. 도 5a 및 도 5b에서 그래프의 세로축은 샘플링 주파수의 절반인 나이키스트(Nyquist) 주파수 f_Nyquist(NI)를 나타내고, 가로축은 각도를 나타낸다.

도 5a 및 도 5b에 도시된 바와 같이, 샘플링 주파수가 8kHz일 때 마이크로폰 어레이(10)의 마이크 간격이 4cm인 조건은 식 [10]을 만족하므로 공간 에일리어싱은 일어나지 않지만 분해능이 낮은 관계로 빔이 두꺼워져 복수 개의 음원을 추적하는데 적합치 못함을 볼 수 있다. 화살표는 각 음원의 방향을 가리키며 색상이 밝을수록 해당 각도의 신호가 증폭됨을 나타낸다.

식 [9]에 이 조건을 대입하면 추적 가능한 방향의 개수는 대략 3으로 나오며 전체 추적 범위인 180도(-90도 ~ 90도)를 3으로 나누면 60도가 나오므로 이 제1 빔포머(21)의 분해능은 60도가 되는 것이다. 도 5a는 0도와 40도에 대한 빔포밍 결과이고 도 5b는 0도와 20도에 대한 빔포밍 결과이다.

도 5a와 같이 음원의 간격이 넓으면 2.5kHz 이상의 고주파 성분은 0도와 40도, 즉 실제 음원 방향대로 분리되지만 그 이하의 중, 저주파 대역은 이의 중간쯤으로 분리됨을 알 수 있다.

다시 말해 추정 대상 음원의 시간별 주파수 성분의 분포에 따라 방향 추적 결과도 시간에 따라 여러 값으로 나타나게 되는 것이다. 이에 반해 도 5b와 같이 두 음원의 간격이 좁아지면 두 개의 빔이 하나로 합쳐져서 더 두꺼운 빔이 형성되므로 두 음원의 추적 결과는 낮은 주파수를 제외한 전 주파수 영역에서 두 음원의 실제 방향 사이에서 시간에 따라 고른 값을 띄게 된다.

따라서 본 발명의 일실시예에서는 마이크로폰 어레이의 마이크 간격을 주어진 샘플링 주파수에서 공간 에일리어싱을 차단할 수 있는 마이크 간격으로 유지하면서 마이크로폰 어레이의 양옆에 가상 마이크가 있다고 가정하고, 이 가상 마이크의 신호를 별도로 생성하여 실제 마이크 신호와 함께 음원 방향 추정에 이용함으로써 마이크로폰의 개구 길이를 늘이지 않고서도 분해능을 높인다.

계속해서 제1 빔포머(21)의 작동을 설명하면, 제품의 디자인이나 크기 때문에 마이크로폰 어레이의 개구 길이를 늘이는 데 한계가 있는 경우 제1 빔포머(21)에 의해 추정된 각 음원 방향은 실제 마이크로폰 어레이의 낮은 분해능으로 인해 각 음원별로 매 시간 주기마다 일정치 못한 값을 가진다.

따라서, 마이크로폰 어레이(10)에서 멀리 떨어진 지점의 가상 마이크 신호를 실제 마이크 신호에 가깝게 생성하려면 실제 음원의 위치를 더 정확히 추정할 필요가 있다.

음원의 사이 간격이 크면, 도 5a와 같이 고주파 대역에서는 각 음원의 방향을 대략적이나마 가리키게 되므로 고주파 대역에 더 큰 가중치를 두어 각 마이크 쌍 간 상호 상관을 다음과 같이 구한다.

식 [11]

여기서 w(k)는 식 [7]로 구하고 별도의 가중치인 μ(k)는 전체 주파수 대역을 반으로 나누어 아래와 같이 저주파 영역은 1보다 작은 값, 고주파 영역은 1보다 큰 값을 적용한다.

식 [12]

M개로 이루어진 마이크로폰 어레이(10)에서 서로 다른 마이크 쌍의 개수 Np는 총 M*(M-1)/2가 되며 식 [11]의 np는 마이크 쌍의 인덱스이다. 예를 들어, 표 1과 같이, 마이크 개수가 5개이면 총 10개의 마이크 쌍이 존재하므로 np는 1부터 10의 값을 가진다. 각 마이크 쌍의 상호 상관을 식 [11]로 미리 구해둔다.

Mic. Index	j=2	j=3	j=4	j=5
i=1	1	2	3	4
i=2	-	5	6	7
i=3	-	-	8	9
i=4	-	-	-	10

여기서, 표 1은 마이크가 5개인 경우 마이크 쌍 인덱스의 일예를 나타낸다.

도 5b와 같이 음원의 사이 간격이 비교적 작으면 빔 폭(beamwidth)이 저주파 영역에서 매우 넓어지므로 위 식[12]으로 고주파 영역에 더 큰 가중치를 주는 것이 전 주파수 영역에 고른 가중치를 주는 것보다 실제 음원의 방향을 보다 정확히 추적하는데 유리하다.

또한 가상 마이크의 위치가 마이크로폰 어레이(10)의 중심으로부터 멀면 멀수록 좁은 간격으로 서로 떨어진 두 음원이 가상 마이크 신호에 미치는 영향의 차이는 적어질 수밖에 없다.

따라서, 제1 빔포머(21)는 마이크 쌍 간 상호 상관 산출식(식 [6])을 식 [11]로 대체하여 위에서 설명한 순서대로 빔포밍 기술을 수행한다.

이하에서는 제1 빔포머(21)의 작동에 대하여 설명한다.

도 6a 및 도 6b는 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 제1 빔포머의 작동을 설명하기 위한 도면이다.

도 6a 및 도 6b를 살펴보면, 먼저, 제1 빔포머(21)는 마이크로폰 어레이(10)로부터 마이크 신호가 입력되면, 마이크로폰 어레이(10)의 마이크 쌍마다 Nd개의 음원 각도

에 대한 지연 τ을 식 [8]로 산출한다(210). 산출된 각 지연값들은 각 지연값들이 마이크쌍별로 저장되는 테이블에 저장된다(표 1 참조).

이와 함께 마이크로폰 어레이(10)로부터 입력된 마이크 신호 x(n)의 이산 푸리에 변환(DFT)인 X(k)를 산출하도록 마이크 신호 x(n)를 이산 푸리에 변환한다(211).

마이크 신호에 대한 이산 푸리에 변환 후 제1 빔포머(21)는 일정 시간 T 동안 수신된 마이크 신호로 각 마이크 쌍의 상호 스펙트럼(cross-spectrum)인 Xi(k)Xj*(k)를 산출한다(212).

각 마이크 쌍의 상호 스펙트럼을 산출 후 제1 빔포머(21)는 각 마이크 쌍의 상호 상관 Rnp(τ)을 식 [11]로 산출한다. 예를 들면, 마이크로폰 어레이(10)의 마이크 개수가 M개인 경우, 모두 M*(M-1)/2개의 서로 다른 마이크 쌍이 존재하므로 M*(M-1)/2개의 상호 상관 Rnp(τ)을 산출한다(213). 이때, 식 [11]에서 스펙트럼 가중치 w(k)는 식 [7]로 구하고 별도의 주파수 대역 가중치인 μ(k)는 전체 주파수 대역을 반으로 나누어 아래와 같이 저주파 영역은 1보다 작은 값, 고주파 영역은 1보다 큰 값을 적용한다. 한편, 제1 빔포머(21)는 산출된 각 마이크 쌍의 상호 상관 Rnp(τ)은 제2 빔포머(23)로 보낸다.

그리고 제1 빔포머(21)는 특정 방향에 대한 각 마이크 쌍 간 지연 τ을 테이블에서 읽어 상호 상관 Rnp(τ)에 대입한 결과 값을 모든 마이크 쌍에 대해 구하고 이를 더하여 해당 방향에 대한 각 음원의 빔포머 에너지 Edir를 산출한다(214).

해당 방향에 대한 각 음원의 빔포머 에너지 Edir를 산출 후 제1 빔포머(21)는 각 음원 당 총 Nd개의 에너지 Edir 중 가장 큰 값을 가지는 방향을 해당 음원의 방향

으로 추정한다(215). 추정된 음원의 방향은 가상 마이크 신호 생성기(22)로 보내진다. 가장 먼저 찾은 방향이 곧 마이크로폰 어레이(10)에 가장 가깝거나 가장 파워가 큰 음원의 방향이다.

그런 후 제1 빔포머(21)는 먼저 찾은 음원 방향에 대한 각 마이크 쌍 간 지연 τ에 해당되는 Rnp(τ)를 0으로 설정하고 위 과정을 반복하여 다음 음원의 방향을 추정한다(216). 이렇게 추정된 다음 음원 방향들은 가상 마이크 신호 생성기(22)로 보내진다.

도 6b에서 ns는 추적 대상 음원의 인덱스이며 Ns는 추적할 음원의 총 개수를 뜻한다. dir은 음원 방향의 인덱스이며 Nd는 빔포머의 방향 추적 범위 내에 추적 가능한 방향 개수로써 식 [9]에 의해 산출된다.

이하에서는 가상 마이크 신호의 개념을 설명한다.

도 7은 본 발명의 일실시예에 따른 다중 음원 위치추적장치에서 가상 마이크 신호의 개념을 설명하기 위한 도면이다.

도 7에 도시된 바와 같이, 1 세트의 가상 마이크가 마이크로폰 어레이(10)의 중심에서 양 옆으로 개구 길이의 수배 거리에 위치한 것으로 가정한다.

이하에서는 가상 마이크 신호 생성기(22)의 작동에 대하여 설명한다.

도 8은 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 가상 마이크 신호 생성기의 작동을 설명하기 위한 도면이다.

도 8을 살펴보면, 가상 마이크 신호 생성기(22)는 마이크로폰 어레이(10)의 중심에서 양 옆으로부터 미리 설정된 거리에 위치한 지점(예를 들면 마이크로폰 어레이의 중심에서 양 옆으로 개구 길이의 수배 거리에 위치한 지점)을 가상 마이크의 위치로 선정하고 이 두 지점에 도달하는 음원 신호인 가상 마이크 신호를 실제 마이크 신호와 각 음원 방향의 1차 추정치

로부터 아래와 같이 유추한다.

즉, 가상 마이크 신호 생성기(22)는 마이크로폰 어레이(10)로부터 마이크 신호가 입력되면, 입력된 마이크 신호 x(n)의 이산 푸리에 변환(DFT)인 X(k)를 산출하도록 마이크 신호 x(n)를 이산 푸리에 변환한다(220).

마이크 신호에 대한 이산 푸리에 변환 후 가상 마이크 신호 생성기(22)는 가상 마이크 신호를, 마이크 신호 x(n)에 대한 이산 푸리에 변환인 X(k)와 제1 빔포머(21)로부터 수신한 각 음원 방향의 1차 추정치

로부터 다음과 같이 산출한다(221).

식 [13]

식 [14]

가상 마이크는 실제 마이크로폰 어레이(10)보다 음원에서 멀리 떨어져 있다고 가정하지만 가상 마이크의 신호 크기가 너무 작으면 상호 상관식 산출에 지장을 초래하고 정확한 방향 추적은 크기(magnitude)보다 위상(phase)에 더 의존하므로 가상 마이크 신호의 크기는 식 [13]을 사용하여 실제 M개 마이크 신호의 평균값으로 대체한다.

가상 마이크 신호 생성기(22)는 마이크로폰 어레이(10)의 중심에서 가상 마이크까지의 거리

,

와 제1 빔포머(21)에서 산출된 1차 방향 추정치

로부터 가상 마이크 신호의 위상을 식 [14]를 사용하여 각 방향 추정치마다 별도로 구한다.

또한, 가상 마이크 신호 생성기(22)는 식 [13]과 [14]로 계산된 가상 마이크 신호의 크기와 위상을 사용하여 각 방향 추정치에 대한 가상 마이크 신호의 푸리에 변환(Fourier transform)을 아래와 같이 생성하고, 실제 마이크 신호의 푸리에 변환(Fourier transform)

,...

과 함께 제2 빔포머(23)로 넘겨준다.

식 [15]

이하에서는 제2 빔포머(23)의 작동에 대하여 설명한다.

도 9는 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 제2 빔포머의 작동을 설명하기 위한 도면이다.

도 9을 살펴보면, 제2 빔포머(23)는 해당 음원 방향별로 가상 마이크 신호 생성기(23)로부터 전달받은 각 방향 추정치에 대한 가상 마이크 신호의 푸리에 변환인

및

와, 실제 마이크 신호의 푸리에 변환

,...

과, 그리고, 제2 빔포머(21)로부터 전달받은 각 마이크 쌍의 상호 상관 Rnp(τ)를 근거로 하여 해당 음원 방향을 추정한다.

좀더 자세히 살펴보면, 가상 마이크 신호

,

가 추가됨으로 인해 총 M+2개의 마이크 신호가 생겼으므로 마이크 쌍의 개수 Np도 (M+2)*(M-1)/2가 된다.

따라서 제2 빔포머(23)는 새로 추가된 마이크 쌍의 지연 τ를 식 [8]로 계산하여 기존의 지연 테이블에 추가하고, 새로 추가된 마이크 쌍의 상호 상관도 다음의 식 [16]으로 산출한다(230).

식 [16]

위 식 [16]에서 np는 새로 추가된 마이크 쌍의 인덱스이고 Np는 마지막 쌍인 가상 마이크 쌍을 가리킨다. i는 실제 마이크의 인덱스, j는 가상 마이크의 인덱스이다.

제1 빔포머(21)에서 산출된 실제 마이크 쌍 간 상호 상관 Rnp(τ)에 식 [16]의 결과를 추가하여 확장된 상호 상관을 가지고 해당 음원의 빔포머 에너지 Edir를 산출한다(231).

그리고 해당 음원의 빔포머 에너지 Edir를 산출 후 제2 빔포머(23)는 해당 음원 당 총 Nd개의 에너지 Edir 중 가장 큰 값을 가지는 방향을 해당 음원의 방향 으로 추정한다(232).

이상에서와 같이, 도 6의 제1 빔포머(21)은 Ns개의 음원의 방향을 모두 추정하지만 제2 빔포머(23)는 도 9와 같이 Ns개의 각 음원마다 별도로 유추된 가상 마이크 신호와 실제 마이크 신호에 기반하여 해당 음원의 방향만을 산출한다.

따라서 도 3에 도시된 바와 같이, 각각의 1차 방향 추정치마다 가상 마이크 신호 생성기(22)와 제2 빔포머(23)가 병렬로 구동된다. 경우에 따라서는 제1 빔포머(21)에서 방향 추정치가 업데이트될 때마다 동일한 가상 마이크 신호 생성기(22)와 제2 빔포머(23)가 매번 재구동될 수도 있다.

10 : 마이크로폰 어레이 20 : 음원 추적부
21 : 제1 빔포머 22 : 가상 마이크 신호 생성기
23 : 제2 빔포머

Claims

복수의 마이크로폰이 선형으로 배치된 마이크로폰 어레이와,
상기 마이크로폰 어레이로부터 수신된 마이크 신호를 이용하여 복수의 음원 방향을 1차 추정하고, 상기 1차 추정된 음원 방향별로 상기 수신된 마이크 신호를 바탕으로 가상 마이크 신호를 생성하고, 상기 수신된 마이크 신호와 상기 생성된 가상 마이크 신호를 이용하여 상기 복수의 음원 방향을 2차 추정하는 음원 추적부를 포함하는 다중 음원 위치추적장치.
제1항에 있어서,
상기 음원추적부는, 각 마이크로폰 어레이로부터 마이크신호를 수신하고, 복수의 음원 방향을 1차 추정하도록 상기 수신된 마이크신호를 이용하여 빔포밍을 수행하는 제1 빔포머와,
상기 1차 추정된 음원 방향별로 상기 수신된 마이크 신호를 바탕으로 가상 마이크 신호를 생성하는 가상 마이크 신호 생성기와,
상기 복수의 음원 방향을 2차 추정하도록 상기 수신된 마이크 신호와 상기 생성된 가상 마이크 신호를 이용하여 빔포밍을 수행하는 제2 빔포머를 포함하는 다중 음원 위치추적장치.
제2항에 있어서,
상기 제1 빔포머는 상기 마이크로폰 어레이의 마이크 쌍별로 복수의 음원 방향에 대한 지연값을 산출하고, 상기 마이크로폰 어레이로부터 입력된 마이크 신호를 이산 푸리에 변환하고, 이산 푸리에 변환된 마이크 신호로 각 마이크 쌍의 상호 스펙트럼을 산출하고, 산출된 각 마이크 쌍의 상호 스펙트럼에 따라 각 마이크 쌍의 상호 상관을 산출하고, 상기 산출된 상호 상관과 상기 산출된 지연값에 따라 해당 음원 방향에 대한 각 음원의 빔포머 에너지를 산출하고, 상기 산출된 각 음원의 빔포머 에너지가 가장 큰 값을 가지는 방향을 해당 음원의 방향으로 추정하는 것을 포함하는 다중 음원 위치추적장치.
제3항에 있어서,
상기 제1 빔포머는 상기 상호 상관 산출시 상기 상호 상관에 가중치를 적용하되, 상기 마이크 신호의 주파수 대역이 미리 설정된 대역보다 높으면 가중치를 높이고, 상기 미리 설정된 대역보다 낮으면 상기 가중치를 낮추는 것을 포함하는 다중 음원 위치추적장치.
제2항에 있어서,
상기 가상 마이크 신호 생성기는 상기 마이크로폰 어레이의 중심에서 양 옆으로부터 미리 설정된 거리에 위치한 지점에 가상 마이크가 있다고 가정하고, 상기 가상 마이크 신호를 상기 마이크로폰 어레이로부터 수신되는 마이크 신호와 상기 1차 추정된 음원 방향을 근거로 하여 생성하는 것을 포함하는 다중 음원 위치추적장치.
제3항에 있어서,
상기 제2 빔포머는 상기 1차 추정된 음원 방향별로 상기 생성된 가상 마이크 신호의 푸리에 변환된 값과 상기 마이크로폰 어레이로부터 수신된 마이크 신호의 푸리에 변환된 값과, 상기 제1 빔포머에 의해 산출된 상호 상관을 근거로 하여 해당 음원 방향을 추정하는 것을 포함하는 다중 음원 위치추적장치.
제6항에 있어서,
상기 제2 빔포머는 상기 마이크로폰 어레이의 마이크들과 상기 가상 마이크를 포함한 전체 마이크 쌍별로 해당 음원 방향에 대한 지연값을 산출하고, 상기 가상 마이크 신호의 푸리에 변환된 값과 상기 마이크로폰 어레이로부터 수신된 마이크 신호의 푸리에 변환된 값에 따라 전체 마이크 쌍의 상호 스펙트럼을 산출하고, 산출된 전체 마이크 쌍의 상호 스펙트럼에 따라 전체 마이크 쌍의 상호 상관을 산출하고, 상기 산출된 상호 상관과 상기 산출된 지연값에 따라 해당 음원 방향에 대한 각 음원의 빔포머 에너지를 산출하고, 상기 산출된 각 음원의 빔포머 에너지가 가장 큰 값을 가지는 방향을 해당 음원의 방향으로 추정하는 것을 포함하는 다중 음원 위치추적장치.
제1항에 있어서,
상기 마이크로폰 어레이는 마이크 간격이 주어진 샘플링 주파수에서 공간 에일리어싱을 최소화할 수 있는 간격으로 배치된 것을 포함하는 다중 음원 위치추적장치.
복수의 마이크로폰이 선형으로 배치된 마이크로폰 어레이와 상기 마이크로폰 어레이로부터 수신된 마이크 신호에 따라 음원 방향을 추정하는 음원 추적부를 포함하는 다중 음원 위치추적장치의 제어방법에 있어서,
상기 마이크로폰 어레이로부터 수신된 마이크 신호를 이용하여 복수의 음원 방향을 1차 추정하고,
상기 1차 추정된 음원 방향별로 상기 수신된 마이크 신호를 바탕으로 가상 마이크 신호를 생성하고,
상기 수신된 마이크 신호와 상기 생성된 가상 마이크 신호를 이용하여 상기 복수의 음원 방향을 2차 추정하는 것을 포함하는 다중 음원 위치추적방법.
제9항에 있어서,
상기 복수의 음원 방향 1차 추정은, 상기 마이크로폰 어레이의 마이크 쌍별로 복수의 음원 방향에 대한 지연값을 산출하고, 상기 마이크로폰 어레이로부터 입력된 마이크 신호를 이산 푸리에 변환하고, 이산 푸리에 변환된 마이크 신호로 각 마이크 쌍의 상호 스펙트럼을 산출하고, 산출된 각 마이크 쌍의 상호 스펙트럼에 따라 각 마이크 쌍의 상호 상관을 산출하고, 상기 산출된 상호 상관과 상기 산출된 지연값에 따라 해당 음원 방향에 대한 각 음원의 빔포머 에너지를 산출하고, 상기 산출된 각 음원의 빔포머 에너지가 가장 큰 값을 가지는 방향을 해당 음원의 방향으로 추정하는 것을 포함하는 다중 음원 위치추적방법.
제10항에 있어서,
상기 상호 상관 산출은, 상기 상호 상관에 가중치를 적용하되, 상기 마이크 신호의 주파수 대역이 미리 설정된 대역보다 높으면 가중치를 높이고, 상기 미리 설정된 대역보다 낮으면 상기 가중치를 낮추는 것을 포함하는 다중 음원 위치추적방법.
제9항에 있어서,
상기 가상 마이크 신호 생성은, 상기 마이크로폰 어레이의 중심에서 양 옆으로부터 미리 설정된 거리에 위치한 지점에 가상 마이크가 있다고 가정하고, 상기 가상 마이크 신호를 상기 마이크로폰 어레이로부터 수신되는 마이크 신호와 상기 1차 추정된 음원 방향을 근거로 하여 생성하는 것을 포함하는 다중 음원 위치추적방법.
제9항에 있어서,
상기 복수의 음원 방향 2차 추정은, 상기 1차 추정된 음원 방향별로 상기 생성된 가상 마이크 신호의 푸리에 변환된 값과 상기 마이크로폰 어레이로부터 수신된 마이크 신호의 푸리에 변환된 값과, 상기 제1 빔포머에 의해 산출된 상호 상관을 근거로 하여 해당 음원 방향을 추정하는 것을 포함하는 다중 음원 위치추적방법.
제13항에 있어서,
상기 복수의 음원 방향 2차 추정은, 상기 마이크로폰 어레이의 마이크들과 상기 가상 마이크를 포함한 전체 마이크 쌍별로 해당 음원 방향에 대한 지연값을 산출하고, 상기 가상 마이크 신호의 푸리에 변환된 값과 상기 마이크로폰 어레이로부터 수신된 마이크 신호의 푸리에 변환된 값에 따라 전체 마이크 쌍의 상호 스펙트럼을 산출하고, 산출된 전체 마이크 쌍의 상호 스펙트럼에 따라 전체 마이크 쌍의 상호 상관을 산출하고, 상기 산출된 상호 상관과 상기 산출된 지연값에 따라 해당 음원 방향에 대한 각 음원의 빔포머 에너지를 산출하고, 상기 산출된 각 음원의 빔포머 에너지가 가장 큰 값을 가지는 방향을 해당 음원의 방향으로 추정하는 것을 포함하는 다중 음원 위치추적방법.