KR101761312B1 - 마이크 어레이를 이용한 방향성 음원 필터링 장치 및 그 제어방법 - Google Patents

마이크 어레이를 이용한 방향성 음원 필터링 장치 및 그 제어방법 Download PDF

Info

Publication number
KR101761312B1
KR101761312B1 KR1020100133002A KR20100133002A KR101761312B1 KR 101761312 B1 KR101761312 B1 KR 101761312B1 KR 1020100133002 A KR1020100133002 A KR 1020100133002A KR 20100133002 A KR20100133002 A KR 20100133002A KR 101761312 B1 KR101761312 B1 KR 101761312B1
Authority
KR
South Korea
Prior art keywords
sound source
area
source signal
delay value
image
Prior art date
Application number
KR1020100133002A
Other languages
English (en)
Other versions
KR20120071452A (ko
Inventor
현경학
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100133002A priority Critical patent/KR101761312B1/ko
Publication of KR20120071452A publication Critical patent/KR20120071452A/ko
Application granted granted Critical
Publication of KR101761312B1 publication Critical patent/KR101761312B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Abstract

마이크 어레이를 이용한 방향성 음원 필터링 장치 및 그 제어방법이 개시된다. 본 발명에 따른 마이크 어레이를 이용한 방향성 음원 필터링 장치는 목적영역의 영상을 검출하는 영상 검출부, 영상검출부에서 검출된 영상과 함께 음원을 검출하기 위해 복수의 마이크로폰이 배치된 마이크 어레이로 구성된 집음부 및 집음부에서 검출된 음원에서 영상 내의 음원을 추출하기 위해 영상 내 음원의 시간지연값을 미리 산출하고, 산출된 시간지연값을 통해 빔포밍을 수행하는 제어부를 포함한다.
따라서, 본 발명에 따르면 복수의 빔포밍을 이용하여 영상 내의 음성신호만을 선택적으로 증폭할 수 있고 이로 인해 주변잡음 대비 영상영역 내의 음원신호의 비율(Signal-to-Interference Ratio:SIR)이 향상될 수 있다.

Description

마이크 어레이를 이용한 방향성 음원 필터링 장치 및 그 제어방법{Directonal sound source filtering apparatus using microphone array and controlling method thereof}
본 발명은 마이크 어레이에서 검출된 음원 신호를 빔포밍하여 선택적으로 음원을 증폭시키는 마이크 어레이를 이용한 방향성 음원 필터링 장치 및 그 제어방법에 관한 것이다.
휴대용 기기를 사용하여 전화 통화를 하거나 외부 음원을 녹음하거나 동영상을 취득하는 것이 일상화되는 시대가 도래하였다.
CE(Consumer Electronics) 기기, 휴대 전화 및 디지털 캠코더 등 다양한 디지털 기기, 차내 음원 인식 장치에서는 음원을 취득하기 위한 수단으로서 마이크로폰(microphone)을 사용한다.
이러한 디지털 기기를 통해 음원을 녹음하거나 음원 신호를 입력받는 환경은 주변 간섭음이 없이 조용한 환경이기 보다는 다양한 소음과 주변 간섭음이 모두 포함되어 있는 환경일 경우가 많다.
특히, 디지털 기기를 통해 음원과 화상을 동시에 수집할 시에는 화상 영역에 해당하는 음원만을 증폭시켜 전달해야 한다. 하지만, 음원 신호는 회절 특성이 강하기 때문에 화상 영역 밖에 있는 음원이라도 화상 영역 내의 음원과 결합하여 간섭을 일으키거나 잡음원으로 존재할 가능성이 많다. 따라서, 카메라 화상 영역 밖의 소리를 효과적으로 제거하면서 화상 영역 내의 소리만을 집음할 방법 및 장치의 개발이 필요하다.
이를 위해 카메라 화상 정보에서 화자의 얼굴을 인식하여 화자의 위치 정보를 파악하고, 화자의 위치 정보에서 획득된 음원 정보만을 증폭하는 방법 및 장치가 고안되었다. 하지만, 이러한 방법은 얼굴 인식이라는 image processing이 요구되고, 얼굴 인식의 성능이 선택적 음원 증폭의 성능에도 영향을 미치는 단점이 존재한다.
본 발명의 일 측면은 카메라의 화각 정보에 따른 목적 영역에서 검출되는 인필드 음원 신호만을 선택적으로 증폭하여 출력하는 마이크 어레이를 이용한 방향성 음원 필터링 장치 및 그 제어방법을 제공하고자 한다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 마이크 어레이를 이용한 방향성 음원 필터링 장치는 목적영역의 영상을 검출하는 영상 검출부, 영상검출부에서 검출된 영상과 함께 음원을 검출하기 위해 복수의 마이크로폰이 배치된 마이크 어레이로 구성된 집음부 및 집음부에서 검출된 음원에서영상 내의 음원을 추출하기 위해 영상 내 음원의 시간지연값을 미리 산출하고, 산출된 시간지연값을 통해 빔포밍을 수행하는 제어부를 포함한다.
한편, 제어부는 목적영역인 인필드(In-Field) 영역과 인필드 영역 외의 영역인 아웃필드(Out-Field) 영역의 범위를 미리 설정된 영상검출부의 화각(angle of view)에 따라 설정하고, 설정된 인필드 영역과 아웃필드 영역에서 검출된 음원의 시간지연값을 각각 미리 산출하는 지연값 산출부 및 산출된 시간지연값을 이용하여 검출된 음원에서 인필드 영역과 아웃필드 영역의 음원을 추출하고, 추출된 음원신호에 시간지연값을 보상한 후 주파수 변환을 수행하는 빔포밍부를 포함할 수 있다.
또한, 지연값 산출부는 영상검출부의 화각 내에 위치하여 영상 내의 영역인 인필드 영역과 영상 밖의 영역인 아웃필드 영역을 설정할 수 있다.
또한, 지연값 산출부는 인필드 영역의 시간지연값인 제 1 지연값과 아웃필드 영역의 시간지연값인 제 2 지연값을 산출할 수 있다.
또한, 빔포밍부는 검출된 음원에서 제 1 지연값을 가지는 음원을 추출하고,추출된 음원에 제 1 지연값을 보상한뒤 주파수변환을 수행하여 인필드 영역 내의 음원을 빔포밍하는 제 1 빔포밍부 및 검출된 음원에서 제 2 지연값을 가지는 음원을 추출하고, 추출된 음원에 제 2 지연값을 보상한 뒤 주파수변환을 수행하여 아웃필드 영역 내의 음원을 빔포밍하는 제 2 빔포밍부를 포함할 수 있다.
또한, 지연값 산출부는 미리 설정된 복수의 마이크로폰의 배치에 따라 적어도 하나 이상의 아웃필드 영역을 설정하고, 설정된 아웃필드 영역에 대응하도록 적어도 하나 이상의 제 2 지연값을 산출할 수 있다.
또한, 제 2 빔포밍부는 설정된 아웃필드 영역에 대응하도록 적어도 하나 이상으로 구비될 수 있다.
또한, 제어부는 제 2 빔포밍부에서 빔포밍된 음원을 제거하여 제 1 빔포밍부에서 빔포밍된 인필드 영역의 음원만을 검출하는 연산부를 더 포함할 수 있다.
또한, 연산부는 제 1 빔포밍부에서 빔포밍된 음원은 덧셈연산하고, 제 2 빔포밍부에서 빔포밍된 음원은 뺄셈연산을 수행하여 인필드 영역의 음원만을 검출할 수 있다.
또한, 제어부는 연산부에 의해 검출된 인필드 영역의 음원에서 무지향성 잡음을 제거하는 필터부를 더 포함할 수 있다.
또한, 필터부는 LMS(Least Mean Square)필터로 구성되어 무지향성 잡음신호를 제거할 수 있다.
또한, 검출된 목적영역의 영상과 목적영역의 영상 내에서 검출되는 음원을 출력하는 출력부를 더 포함할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 마이크 어레이를 이용한 방향성 음원 필터링 장치의 제어방법은 목적영역의 영상을 검출하는 영상 검출부 및 영상검출부에서 검출된 영상과 함께 음원을 검출하기 위해 복수의 마이크로폰이 배치된 마이크 어레이로 구성된 집음부를 포함하는 마이크 어레이를 이용한 방향성 음원 필터링 장치의 제어방법으로서, 집음부에서 검출된 음원에서 영상 내의 음원을 추출하기 위해 영상 내 음원의 시간지연값을 미리 산출하고, 산출된 시간지연값을 이용하여 빔포밍을 수행한다.
한편, 시간지연값을 산출하는 것은 목적영역인 인필드(In-Field) 영역과 인필드 영역 외의 영역인 아웃필드(Out-Field) 영역의 범위를 미리 설정된 영상검출부의 화각(angle of view)에 따라 설정하고, 설정된 인필드 영역과 아웃필드 영역에서 검출된 음원의 시간지연값을 각각 미리 산출할 수 있다.
또한, 인필드 영역과 아웃필드 영역을 설정하는 것은 영상검출부의 화각 내에 위치하여 영상 내의 영역인 인필드 영역과 영상 밖의 영역인 아웃필드 영역을 설정할 수 있다.
또한, 시간지연값을 산출하는 것은 인필드 영역의 시간지연값인 제 1 지연값과 아웃필드 영역의 시간지연값인 제 2 지연값을 산출할 수 있다.
또한, 빔포밍을 수행하는 것은 검출된 음원에서 제 1 지연값을 가지는 음원을 추출하고 추출된 음원에 제 1 지연값을 보상한뒤 주파수 변환을 수행하여 인필드 영역 내의 음원을 빔포밍하고, 검출된 음원에서 제 2 지연값을 가지는 음원을 추출하고 추출된 음원에 제 2 지연값을 보상한뒤 주파수 변환을 수행하여 아웃필드 영역 내의 음원을 빔포밍할 수 있다.
또한, 아웃필드 영역은 미리 설정된 복수의 마이크로폰의 배치에 따라 적어도 하나 이상으로 설정되고, 제 2 지연값은 설정된 아웃필드 영역에 대응되도록 적어도 하나 이상으로 산출될 수 있다.
또한, 빔포밍된 아웃필드 영역 내의 음원을 제거하여 빔포밍된 인필드 영역 내의 음원만을 검출하는 것을 더 포함할 수 있다.
또한, 인필드 영역 내의 음원만을 검출하는 것은 아웃필드 영역 내의 음원이 존재하는지 판단하고, 아웃필드 영역 내의 음원이 존재하면, 인필드 영역 내의 음원은 덧셈연산하고, 아웃필드 영역 내의 음원은 뺄셈연산을 수행하여 인필드 영역 내의 음원만을 검출할 수 있다.
또한, 검출된 인필드 영역 내의 음원에서 무지향성 잡음을 제거하는 것을 더 포함할 수 있다.
또한, 검출된 목적영역의 영상과 목적영역의 영상 내에서 검출되는 음원을 함께 출력하는 것을 더 포함할 수 있다.
상술한 본 발명에 따른 마이크 어레이를 이용한 방향성 음원 필터링 장치 및 그 제어방법에 따르면 카메라에 의한 화상 영역 내의 음원 신호만을 선택적으로 증폭하는 공간 필터링의 효과가 있다.
또한, 이로써 주변 잡음 대비 화상 영역 내의 음원 신호의 비율(Signal-to-Interference Ratio:SIR)을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 마이크 어레이를 이용한 방향성 음원 필터링 장치의 외관 구성도이다.
도 2는 도 1에 도시된 마이크 어레이를 이용한 방향성 음원 필터링 장치의 제어 블록도이다.
도 3은 도 1에 도시된 마이크 어레이를 이용한 방향성 음원 필터링 장치의 회로도이다.
도 4는 본 발명의 다른 실시예에 따른 마이크 어레이를 이용한 방향성 음원 필터링 방법의 순서도이다.
이하 첨부된 도면을 참조하여 본 발명의 마이크 어레이를 이용한 방향성 음원 필터링 장치 및 방법의 바람직한 실시예를 설명한다.
도 1은 본 발명의 일 실시예에 따른 마이크 어레이를 이용한 방향성 음원 필터링 장치의 외관 구성도이다.
도 1을 참조하면, 본 실시예에 따른 마이크 어레이를 이용한 방향성 음원 필터링 장치(100)는 정면에 영상을 촬영하는 영상 검출부(110)와, 영상 검출부(110) 주변에 등간격으로 배치되어 영상의 음원을 수집하는 집음부(120)를 포함한다.
집음부(120)는 복수의 마이크로폰(MA1 내지 MA4)이 선형 배치된 마이크 어레이로 구성된다.
한편, 본 실시예는 4개의 마이크로폰(MA1 내지 MA4)으로 마이크 어레이를 구성하였으나 그보다 적거나 많은 개수의 마이크로폰으로 마이크 어레이를 구성하는 것도 본 발명의 범주에 포함된다. 또한, 본 실시예는 복수의 마이크로폰이 선형 배치된 마이크 어레이를 구성하였으나, 이는 하나의 실시예일 뿐 복수의 마이크로폰으로 구성된 마이크 어레이라면 선형 배치되어 있지 않더라도 본 발명의 범주에 포함됨은 물론이다.
마이크 어레이를 이용한 방향성 음원 필터링 장치(100)는 음원과 영상을 동시에 수집하고, 수집된 음원에서 영상 내의 음원인 목적 음원만을 증폭하여 출력한다. 구체적으로, 마이크 어레이를 이용한 방향성 음원 필터링 장치(100)는 빔포밍 기술을 이용하여 영상 검출부(100)에 의해 촬영되는 목적 영역인 인필드(In-Field) 영역 내의 목적 음원을 필터링한다.
이러한 마이크 어레이를 이용한 방향성 음원 필터링 장치(100)는 영상 통화, 영상 회의 시스템에 이용되어 화자의 목소리를 보다 분명히 전달할 수 있다.
이하, 인필드 영역 내의 목적 음원만을 필터링하는 마이크 어레이를 이용한 방향성 음원 필터링 장치를 제어 블록도와 회로도를 이용하여 상세히 설명한다.
도 2는 도 1에 도시된 마이크 어레이를 이용한 방향성 음원 필터링 장치의 제어 블록도이고, 도 3은 도 1에 도시된 마이크 어레이를 이용한 방향성 음원 필터링 장치의 회로도이다.
본 실시예에 따른 마이크 어레이를 이용한 방향성 음원 필터링 장치(100)는 단말기나 회의실과 같은 특정 공간 등 영상과 음원을 동시에 수집하고자 하는 영역에 고정 설치되는 것으로서, 영상 검출부(110), 집음부(120), 제어부(130), 출력부(140) 및 메모리부(150)를 포함한다.
영상 검출부(110)는 카메라로 구성되며, 특정 공간의 영상을 수집한다. 영상 검출부(110)는 카메라의 화각(angle of view) 정보에 따라 일정 영역인 인필드(In-Field) 영역의 영상만을 검출할 수 있다. 즉, 인필드 영역은 영상 검출부(110)에 의해 수집된 영상 내의 영역이다.
집음부(120)는 마이크로폰 어레이로 이루어지고, 마이크로폰 어레이는 음원의 음파를 검출하고, 음파에 대응하는 전기 신호를 발생시킨다. 발생된 전기 신호는 음원 신호로 정의될 수 있다.
마이크로폰 어레이는 복수의 마이크로폰으로 이루어지고, 복수의 마이크로폰은 영상 검출부(110) 주변에 서로 등간격 또는 비등간격으로 마련될 수 있다. 한편, 서로 인접한 마이크로폰 간의 간격과 위치 정보는 메모리부(150)에 미리 저장되어 음원의 빔포밍 시 이용된다.
집음부(120)는 마이크로폰 어레이에 의해 인필드 영역 뿐만 아니라 영상 밖의 영역인 아웃필드(Out-Field) 영역의 음원을 검출한다.
제어부(130)는 빔포밍 기술을 이용하여 인필드 영역 내의 음원만을 출력하는 제어를 수행한다.
이러한 제어부(130)는 지연값 산출부(131), 음원 증폭부(132), 판단부(133), 빔포밍부(134), 연산부(135) 및 필터부(136)를 포함한다.
지연값 산출부(131)는 메모리부(150)에 미리 저장된 영상 검출부(110)의 화각정보를 이용하여 목적 영역인 인필드 영역과 목적 영역 밖의 필터링 영역인 아웃필드 영역을 설정한다. 인필드 영역은 카메라에 의해 촬상 가능한 영역으로서, 카메라의 화각 정보에 의해 미리 결정되는 것이다. 즉, 인필드 영역은 카메라 정면에 위치하며, 카메라의 화각(angle of view) 영역 내에 위치하는 영역이다.
한편, 아웃필드 영역은 복수의 마이크로폰의 배치에 따라 적어도 하나 이상으로 설정될 수 있다. 예컨대, 복수의 마이크로폰이 카메라를 중심으로 좌우 일직선으로 배치되면, 우측 아웃필드 영역과 좌측 아웃필드 영역이 설정된다. 또한, 복수의 마이크로폰이 카메라를 중심으로 상하좌우 일직선으로 각각 배치되면, 좌측과 우측의 아웃필드 영역 뿐만 아니라 상측 하측 아웃필드가 더 설정될 수 있다.
지연값 산출부(131)는 설정된 인필드 영역과 아웃필드 영역에서 검출된 음원이 집음부(120)까지 도달하는데 걸리는 시간 정보를 이용하여 시간 지연값을 산출한다.
구체적으로, 지연값 산출부(131)는 인필드 영역으로부터 검출되는 음원 신호에 보상할 제 1 지연값(t1)을 산출한다. 또한, 지연값 산출부(131)는 적어도 하나 이상의 아웃필드 영역으로부터 검출되는 음원 신호에 보상할 적어도 하나 이상의 제 2 지연값(t2,t3...tn)을 산출한다.
이렇게 산출된 시간 지연값(t1,t2...tn)은 메모리부(150)에 미리 저장되고, 빔포밍부(134)는 미리 저장된 시간 지연값(t1,t2...tn)을 이용하여 음원을 빔포밍한다.
음원 증폭부(132)는 집음부(120)의 복수의 마이크로폰에 각각 연결되며, 복수의 마이크로폰의 개수만큼 구비된다. 이러한 음원 증폭부(132)는 복수의 마이크로폰으로부터 각각 전송된 음원 신호를 증폭시킨다.
판단부(133)는 음원 증폭부(132)를 통해 검출된 음원이 증폭되면 음원 중 특정 신호가 존재하는지 판단한다. 판단부(133)는 특정 신호가 존재한다고 판단되면 빔포밍부(134)로 특정 신호를 전송하여 빔포밍이 수행되도록 한다.
한편, 전술한 특정 신호는 음성 신호일 수 있다. 따라서, 판단부(133)는 사람이 귀로 들을 수 있는 주파수 범위 20 내지 20000Hz이고 음압 레벨이 0 내지 130dB인 사운드 신호가 검출된 음원 신호에 존재하는지 여부를 판단한다.
특정 신호가 존재한다고 판단되면, 빔포밍부(134)는 산출된 제 1 지연값(t1)과 제 2 지연값(t2,t3...tn)을 이용하여 특정 방향에서 검출되는 음원 신호를 빔포밍한다.
빔포밍부(134)는 딜레이 앤 섬 빔포머(Delay-and-Sum Beamformer)로 구성되어, 특정 방향에서 검출된 음원 신호를 빔포밍한다.
딜레이 앤 섬 빔포머는 각 마이크로폰에 도달하는 신호의 시간차를 이용하여 소리의 방향을 찾아내고 특정 방향에 위치한 음원 신호만을 강화하거나, 역으로 불필요한 간섭 잡음을 제거하는 것이다.
이러한 빔포밍 기술을 이용하면 화자 주변의 다른 잡음원을 배제하거나 분리해내는 음원 분리(Sound Separation)나 화자 위치 인식(Speaker Localization) 등의 성능 향상이 가능하고 후처리(Post-Filtering)를 통해 방향성이 존재하지 않는 잡음이나 잔향을 줄일 수도 있다.
즉, 마이크로폰 어레이를 이용하여 원거리에 존재하는 음원 신호들을 취득함으로써 특정 방향으로부터 입력되는 음원 신호를 강조하거나 억제할 수 있고 특정 방향 이외의 소리를 제거한다.
이러한 빔포머는 공간상의 특정 영역의 신호만 필터링 해 주는 공간 필터(spatial filter)와 같은 역할을 수행할 수 있다.
본 실시예에 따른 빔포밍부(134)는 지연값 산출부(131)에 의해 산출된 인필드 영역과 아웃필드 영역에 대응하는 시간 지연값(t1,t2...tn)을 이용하여 특정 방향에 존재하는 음원 신호만을 선택적으로 출력하고 나머지 방향에 존재하는 음원 신호는 제거한다.
빔포밍부(134)는 인필드 영역의 음원 신호를 빔포밍하는 제 1 빔포밍부(134a)와 아웃필드 영역의 음원 신호를 빔포밍하는 제 2 빔포밍부(134b)를 포함한다.
제 1 빔포밍부(134a)는 영상 검출부(110)에서 검출된 영상 내의 음원 신호만을 출력하고 나머지 방향의 음원 신호는 제거한다.
제 2 빔포밍부(134b)는 지연값 산출부(131)에 의해 설정된 적어도 하나 이상의 아웃필드 영역에 대응하여 각각 구비되며, 대응되는 아웃필드 영역 내의 음원 신호만을 출력한다.
이하, 빔포밍부(134)의 음원 신호 출력 과정을 상세히 설명한다.
빔포밍부(134)는 음원 증폭부(132)로부터 전송된 각 음원 신호(X1,X2....Xn)를 저장하는 버퍼부와, 버퍼부로부터 음원 신호(X1,X2....Xn)를 전송받아 특정 시간 지연 특성을 갖는 음원 신호만을 추출하는 추출부와, 추출부에 의해 추출된 음원 신호에 대해 주파수 변환을 수행하여 주파수별로 신호를 분해하는 주파수 변환부와, 주파수 변환부에 의해 주파수 영역으로 변환된 음원 신호에 역주파수 변환을 수행하여 시간 영역으로 변환하는 역주파수 변환부를 포함한다.
제 1 빔포밍부(134a)는 음원 신호에서 제 1 지연값(t1)에 해당하는 시간 지연을 가지는 음원 신호만을 추출하고, 추출된 음원 신호에 제 1 지연값(t1)을 보상한 후 주파수 변환 및 역주파수 변환을 수행한다.
제 2 빔포밍부(134b)는 음원 신호에서 제 2 지연값(t2,t3...tn)에 해당하는 시간 지연을 가지는 음원 신호를 각각 추출하고, 각 대응하는 제 2 지연값(t2,t3...tn)을 보상한 후 주파수 변환 및 역주파수 변환을 수행한다.
이로써 각 빔포밍부(134a, 134b)는 음원 신호가 도달하는데 걸리는 시간 지연 정보를 이용하여 미리 설정된 방향으로부터 검출되는 음원 신호를 선택적으로 출력하고 나머지 방향의 음원 신호는 제거한다.
이렇게 빔포밍부(134)에서 빔포밍된 음원 신호는 연산부(135)로 전송된다. 연산부(135)는 Spectral Subtraction 등을 이용하여 특정 주파수에 해당하는 음원 신호만을 추출한다.
구체적으로, 본 실시예의 연산부(135)는 제 1 빔포밍부(134a)에서의 음원 신호는 덧셈 연산하고, 제 2 빔포밍부(134b)에서의 음원 신호는 뺄셈 연산을 수행함으로써, 제 1 빔포밍부(134a)에서의 연산 신호만이 출력부(140)에 의해 출력되게 한다.
즉, 연산부(135)에서의 신호 처리 결과, 인필드 영역 내의 음원 신호는 강화되고, 아웃필드 영역 내의 음원 신호는 제거될 수 있다.
연산부(135)에서 출력된 인필드 영역 내의 음원 신호는 다시 필터부(136)로 전송된다.
필터부(136)는 Wiener Filter 등의 LMS(Least Mean Square) 필터로 구성되어 인필드 영역 내의 음원 신호에서 무지향성 잡음 신호를 제거한다.
여기서 무지향성 잡음 신호란, 모든 방향에서 검출되는 신호의 세기가 동일한 신호로서, 공조기 소리 등의 저주파 소리가 이에 해당한다.
이러한 무지향성 잡음 신호는 특정한 방향성이 존재하지 않아 빔포밍이 불가능하므로 필터부(136)에 의해 제거된다.
출력부(140)는 무지향성 잡음 신호가 제거된 인필드 영역 내의 음원 신호(y)를 영상 검출부(110)에 의해 검출된 영상 신호와 함께 출력한다. 이러한 출력부(140)는 영상 신호를 출력하는 디스플레이와 음원 신호를 출력하는 스피커로 구성될 수 있다.
특히, 스피커는 제어부(130)에 의해 인필드 영역 내의 음원 신호(y)만이 검출되어 역주파수 변환된 음원 신호를 진동판의 진동으로 바꾸어 공기에 음파를 출력한다.
또한, 스피커는 음성 신호를 출력하는 경우 역주파수 변환된 음성 신호를 진동판의 진동으로 바꾸어 공기에 소밀파를 발생시키는 방법으로 음파를 출력한다.
이로써, 잡음이 제거된 영상 내의 음성 신호만이 영상과 함께 출력되어 주변잡음 대비 영상 영역 내의 음원 신호의 비율인 본 실시예에 따른 마이크 어레이를 이용한 방향성 음원 필터링 장치(100)의 성능을 향상시킬 수 있다.
도 4는 본 발명의 다른 실시예에 따른 마이크 어레이를 이용한 방향성 음원 필터링 방법의 순서도이다.
먼저, 지연값 산출부(131)는 미리 저장된 영상 검출부(110)의 화각(angle of view) 정보를 이용하여 인필드(In-Field) 영역과 아웃필드(Out-Field) 영역을 설정한다(210).
인필드 영역은 본 실시예에 따른 마이크 어레이를 이용한 방향성 음원 필터링 방법의 증폭 음원이 검출되는 목적 영역이다. 즉, 인필드 영역은 영상 검출부(110)의 정면에 위치하는 영역으로서, 화각 영역 내의 위치하여 영상 검출부(110)에 의해 검출되는 영상 내의 영역이다.
아웃필드 영역은 영상 검출부(110)에 의해 검출되는 영상 밖의 영역으로서, 복수의 마이크로폰의 배치에 따라 적어도 하나 이상으로 설정될 수 있다.
이렇게 인필드 영역과 아웃필드 영역이 설정되면(210), 지연값 산출부(131)는 인필드 영역과 아웃필드 영역으로부터 도달한 음원 신호의 시간 지연값을 산출한다(220).
즉, 지연값 산출부(131)는 음원 신호의 방향성을 이용하여 시간 지연값을 산출하는 것이다.
구체적으로, 지연값 산출부(131)는 인필드 영역에 대응하는 시간 딜레이인 제 1 지연값(t1)을 산출한다.
또한, 지연값 산출부(131)는 적어도 하나 이상의 아웃필드 영역의 각각에 대응하는 시간 딜레이인 제 2 지연값(t2,t3...tn)을 산출한다.
이렇게 산출된 각 영역의 시간 지연값인 제 1 지연값(t1) 및 제 2 지연값(t2,t3...tn)은 빔포밍부(134)로 전송된다.
마이크 어레이를 이용한 방향성 음원 필터링 장치(100)의 제어부(130)는 집음부(120)를 통해 음원이 검출되면 검출된 음원 중 특정 신호가 존재하는지 여부를 판단한다(230). 제어부(130)는 특정 신호가 존재한다고 판단되면(230에서의 '예') 빔포밍부(134)의 구동을 제어한다.
여기서 특정 신호는 음성 신호일 수 있다. 음성 신호의 경우 제어부(130)는 사람이 귀로 들을 수 있는 주파수 범위 20 내지 20000Hz이고 음압 레벨이 0 내지 130dB인 사운드 신호가 검출된 음원 신호에 존재하는지 여부를 판단한다.
특정 신호가 존재한다고 판단되면(230에서의 '예'), 빔포밍부(134)는 산출된 제 1 지연값(t1)과 제 2 지연값(t2,t3...tn)을 이용하여 특정 방향에서 검출되는 음원 신호를 빔포밍한다.
제 1 빔포밍부(134a)는 제 1 지연값(t1)을 이용하여 인필드 영역 내의 음원 신호만을 출력하고 나머지 방향의 음원 신호는 제거한다(240).
구체적으로, 제 1 빔포밍부(134a)는 복수의 마이크로폰 어레이로 구성된 집음부(120)에서 검출되고 증폭된 음원 신호에서 제 1 지연값(t1)을 가지는 음원 신호만을 추출하고, 추출된 음원 신호에 제 1 지연값(t1)을 보상한 후 주파수 변환 및 역주파수 변환을 수행하여 연산부(135)로 전송한다.
제 1 빔포밍부(134a)에 의해 인필드 영역 내의 음원 신호가 빔포밍되면, 제 2 빔포밍부(134b)는 아웃필드 영역 내의 음원 신호를 빔포밍한다(250).
구체적으로, 제 2 빔포밍부(134b)는 집음부(120)에서 검출되어 음원 증폭부(132)에서 증폭된 음원신호에서 제 2 지연값(t2,t3...tn)을 가지는 음원 신호를 추출한다. 이렇게 추출된 음원 신호는 대응하는 제 2 지연값(t2,t3...tn)이 보상되며 주파수 변환 및 역주파수 변환이 수행되어 연산부(135)로 전송된다.
이렇게 인필드 영역 및 아웃필드 영역 내의 음원 신호가 빔포밍되면, 연산부(135)는 아웃필드 영역 내의 음원 신호가 존재하는지 판단하고(260), 아웃필드 영역 내의 음원 신호가 존재한다고 판단되면(260에서의 '예') Spectral Subtraction 등의 방법을 이용하여 아웃필드 영역 내의 음원 신호를 제거한다(270).
구체적으로, 연산부(135)는 제 1 빔포밍부(134a)에서 전송된 음원 신호는 덧셈 연산하고, 제 2 빔포밍부(134b)에서 전송된 음원 신호는 뺄셈 연산을 수행하여 인필드 영역 내의 음원 신호를 강화시킨다.
이렇게 강화된 인필드 영역 내의 음원 신호는 필터부(136)로 전송되며, 필터부(136)는 인필드 영역 내의 음원 신호에서 무지향성 잡음 신호를 제거한다(280).
구체적으로, 필터부(136)는 공조기 소리 등의 저주파 소리로서 모든 방향에서 검출되는 신호의 세기가 동일하여 빔포밍이 불가능한 잡음 신호를 제거한다.
이렇게 잡음이 제거된 음원 신호는 최종적으로 영상 검출부(110)에서 검출된 인필드 영역 내의 영상 신호와 함께 저장되고, 출력부(140)로 전송된다.
출력부(140)는 디스플레이 및 스피커로 구성되어, 인필드 영역 내의 영상 신호와 음원 신호를 출력한다(290).
이로써, 영상에 출력되지 않은 영역에서의 음성 신호가 차단되고, 영상 내의 음성 신호만이 영상과 함께 출력될 수 있다.
또한 본 발명은 종래의 화자의 얼굴을 인식하여 화자의 위치를 파악하고, 파악된 위치에서의 음성 신호만을 출력하는 방식과는 달리 비교적 간단한 복수의 빔포밍을 이용하여 영상 내의 음성 신호만을 선택적으로 증폭할 수 있다.
이로써 주변잡음 대비 영상 영역 내의 음원 신호의 비율(Signal-to-Interference Ratio:SIR)을 향상시킬 수 있다.
100: 마이크 어레이를 이용한 방향성 음원 필터링 장치
110: 영상 검출부
120: 집음부
130: 제어부
140: 출력부
150: 메모리부

Claims (22)

  1. 목적 영역의 영상을 검출하는 영상 검출부;
    상기 영상 검출부에 의해 검출된 영상과 함께 음원 신호를 검출하기 위해 복수의 마이크로폰이 배치된 마이크 어레이로 구성된 집음부; 및
    상기 집음부에 의해 검출된 음원 신호에서 상기 영상 내의 음원 신호를 추출하기 위해 상기 영상 내의 음원 신호의 시간 지연값을 미리 산출하고, 상기 산출된 시간 지연값을 통해 빔포밍을 수행하는 제어부를 포함하되,
    상기 제어부는 상기 영상 검출부의 화각(angle of view)에 따라 상기 목적 영역인 인필드(In-Field) 영역과 상기 인필드 영역 외의 영역인 아웃필드(Out-Field) 영역을 설정하고, 상기 인필드 영역과 상기 아웃필드 영역에서 검출된 음원 신호의 시간 지연값을 미리 산출하는 지연값 산출부를 포함하는 마이크 어레이를 이용한 방향성 음원 필터링 장치.
  2. 제1항에 있어서,
    상기 제어부는 상기 산출된 시간 지연값을 이용하여 상기 검출된 음원 신호에서 상기 인필드 영역과 상기 아웃필드 영역의 음원 신호를 추출하고, 상기 추출된 음원 신호에 상기 시간 지연값을 보상한 후 주파수 변환을 수행하는 빔포밍부를 더 포함하는 마이크 어레이를 이용한 방향성 음원 필터링 장치.
  3. 제2항에 있어서,
    상기 지연값 산출부는 상기 영상 검출부의 화각 내에 위치하며 상기 영상 내의 영역인 상기 인필드 영역 및 상기 영상 밖의 영역인 상기 아웃필드 영역을 설정하는 마이크 어레이를 이용한 방향성 음원 필터링 장치.
  4. 제2항에 있어서,
    상기 지연값 산출부는 상기 인필드 영역의 시간 지연값인 제 1 지연값 및 상기 아웃필드 영역의 시간 지연값인 제 2 지연값을 산출하는 마이크 어레이를 이용한 방향성 음원 필터링 장치.
  5. 제4항에 있어서,
    상기 빔포밍부는:
    상기 검출된 음원 신호에서 상기 제 1 지연값을 가지는 음원 신호를 추출하고, 상기 추출된 음원 신호에 상기 제 1 지연값을 보상한 후 상기 주파수 변환을 수행하여 상기 인필드 영역 내의 음원 신호를 빔포밍하는 제 1 빔포밍부; 및
    상기 검출된 음원 신호에서 상기 제 2 지연값을 가지는 음원 신호를 추출하고, 상기 추출된 음원 신호에 상기 제 2 지연값을 보상한 후 상기 주파수 변환을 수행하여 상기 아웃필드 영역 내의 음원 신호를 빔포밍하는 제 2 빔포밍부를 포함하는 마이크 어레이를 이용한 방향성 음원 필터링 장치.
  6. 제5항에 있어서,
    상기 지연값 산출부는 상기 복수의 마이크로폰의 배치에 따라 적어도 하나 이상의 아웃필드 영역을 설정하고, 상기 설정된 아웃필드 영역에 대응하도록 적어도 하나 이상의 상기 제 2 지연값을 산출하는 마이크 어레이를 이용한 방향성 음원 필터링 장치.
  7. 제6항에 있어서,
    상기 제 2 빔포밍부는 상기 설정된 아웃필드 영역에 대응하도록 적어도 하나 이상 구비되는 마이크 어레이를 이용한 방향성 음원 필터링 장치.
  8. 제5항에 있어서,
    상기 제어부는 상기 제 2 빔포밍부에서 빔포밍된 음원 신호를 제거하여 상기 제 1 빔포밍부에서 빔포밍된 상기 인필드 영역의 음원 신호만을 검출하는 연산부를 더 포함하는 마이크 어레이를 이용한 방향성 음원 필터링 장치.
  9. 제8항에 있어서,
    상기 연산부는 상기 제 1 빔포밍부에서 빔포밍된 음원 신호에 대해서는 덧셈 연산을 수행하고, 상기 제 2 빔포밍부에서 빔포밍된 음원 신호에 대해서는 뺄셈 연산을 수행하여 상기 인필드 영역의 음원 신호만을 검출하는 마이크 어레이를 이용한 방향성 음원 필터링 장치.
  10. 제8항에 있어서,
    상기 제어부는 상기 연산부에 의해 검출된 상기 인필드 영역의 음원 신호에서 무지향성 잡음 신호를 제거하는 필터부를 더 포함하는 마이크 어레이를 이용한 방향성 음원 필터링 장치.
  11. 제10항에 있어서,
    상기 필터부는 LMS(Least Mean Square) 필터로 구성되어 상기 무지향성 잡음신호를 제거하는 마이크 어레이를 이용한 방향성 음원 필터링 장치.
  12. 제1항에 있어서,
    상기 목적 영역의 영상 및 상기 목적 영역의 영상 내에서 검출되는 음원 신호를 출력하는 출력부를 더 포함하는 마이크 어레이를 이용한 방향성 음원 필터링 장치.
  13. 목적 영역의 영상을 검출하는 영상 검출부 및 상기 영상 검출부에 의해 검출된 영상과 함께 음원 신호를 검출하기 위해 복수의 마이크로폰이 배치된 마이크 어레이로 구성된 집음부를 포함하는 마이크 어레이를 이용한 방향성 음원 필터링 장치의 제어방법에 있어서,
    상기 집음부에 의해 검출된 음원 신호에서 상기 영상 내의 음원 신호를 추출하기 위해 상기 영상 내의 음원 신호의 시간 지연값을 미리 산출하고;
    상기 산출된 시간 지연값을 이용하여 빔포밍을 수행하되,
    상기 시간 지연값을 미리 산출하는 것은:
    상기 영상 검출부의 화각(angle of view)에 따라 상기 목적 영역인 인필드(In-Field) 영역과 상기 인필드 영역 외의 영역인 아웃필드(Out-Field) 영역을 설정하고;
    상기 인필드 영역과 상기 아웃필드 영역에서 검출된 음원 신호의 시간 지연값을 미리 산출하는 것인 마이크 어레이를 이용한 방향성 음원 필터링 장치의 제어방법.
  14. 삭제
  15. 제13항에 있어서,
    상기 인필드 영역 및 상기 아웃필드 영역을 설정하는 것은 상기 영상 검출부의 화각 내에 위치하며 상기 영상 내의 영역인 상기 인필드 영역 및 상기 영상 밖의 영역인 상기 아웃필드 영역을 설정하는 것인 마이크 어레이를 이용한 방향성 음원 필터링 장치의 제어방법.
  16. 제13항에 있어서,
    상기 시간 지연값을 미리 산출하는 것은 상기 인필드 영역의 시간 지연값인 제 1 지연값 및 상기 아웃필드 영역의 시간 지연값인 제 2 지연값을 산출하는 것인 마이크 어레이를 이용한 방향성 음원 필터링 장치의 제어방법.
  17. 제16항에 있어서,
    상기 빔포밍을 수행하는 것은:
    상기 검출된 음원 신호에서 상기 제 1 지연값을 가지는 음원 신호를 추출하고, 상기 추출된 음원 신호에 상기 제 1 지연값을 보상한 후 주파수 변환을 수행하여 상기 인필드 영역 내의 음원 신호를 빔포밍하고;
    상기 검출된 음원 신호에서 상기 제 2 지연값을 가지는 음원 신호를 추출하고, 상기 추출된 음원 신호에 상기 제 2 지연값을 보상한 후 상기 주파수 변환을 수행하여 상기 아웃필드 영역 내의 음원 신호를 빔포밍하는 것인 마이크 어레이를 이용한 방향성 음원 필터링 장치의 제어방법.
  18. 제17항에 있어서,
    상기 아웃필드 영역은 상기 복수의 마이크로폰의 배치에 따라 적어도 하나 이상 설정되고, 상기 제 2 지연값은 상기 설정된 아웃필드 영역에 대응하도록 적어도 하나 이상 산출되는 마이크 어레이를 이용한 방향성 음원 필터링 장치의 제어방법.
  19. 제17항에 있어서,
    상기 빔포밍된 상기 아웃필드 영역 내의 음원 신호를 제거하여 상기 빔포밍된 상기 인필드 영역 내의 음원 신호만을 검출하는 것을 더 포함하는 마이크 어레이를 이용한 방향성 음원 필터링 장치의 제어방법.
  20. 제19항에 있어서,
    상기 인필드 영역 내의 음원 신호만을 검출하는 것은:
    상기 아웃필드 영역 내의 음원 신호가 존재하는지 여부를 판단하고;
    상기 아웃필드 영역 내의 음원 신호가 존재한다고 판단되면, 상기 인필드 영역 내의 음원 신호에 대해서는 덧셈 연산을 수행하고, 상기 아웃필드 영역 내의 음원 신호에 대해서는 뺄셈 연산을 수행하여 상기 인필드 영역 내의 음원 신호만을 검출하는 것인 마이크 어레이를 이용한 방향성 음원 필터링 장치의 제어방법.
  21. 제19항에 있어서,
    상기 검출된 상기 인필드 영역 내의 음원 신호에서 무지향성 잡음 신호를 제거하는 것을 더 포함하는 마이크 어레이를 이용한 방향성 음원 필터링 장치의 제어방법.
  22. 제13항에 있어서,
    상기 목적 영역의 영상 및 상기 목적 영역의 영상 내에서 검출되는 음원 신호를 함께 출력하는 것을 더 포함하는 마이크 어레이를 이용한 방향성 음원 필터링 장치의 제어방법.
KR1020100133002A 2010-12-23 2010-12-23 마이크 어레이를 이용한 방향성 음원 필터링 장치 및 그 제어방법 KR101761312B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100133002A KR101761312B1 (ko) 2010-12-23 2010-12-23 마이크 어레이를 이용한 방향성 음원 필터링 장치 및 그 제어방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100133002A KR101761312B1 (ko) 2010-12-23 2010-12-23 마이크 어레이를 이용한 방향성 음원 필터링 장치 및 그 제어방법
US13/373,300 US9226070B2 (en) 2010-12-23 2011-11-10 Directional sound source filtering apparatus using microphone array and control method thereof

Publications (2)

Publication Number Publication Date
KR20120071452A KR20120071452A (ko) 2012-07-03
KR101761312B1 true KR101761312B1 (ko) 2017-07-25

Family

ID=46316846

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100133002A KR101761312B1 (ko) 2010-12-23 2010-12-23 마이크 어레이를 이용한 방향성 음원 필터링 장치 및 그 제어방법

Country Status (2)

Country Link
US (1) US9226070B2 (ko)
KR (1) KR101761312B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112012031656A2 (pt) * 2010-08-25 2016-11-08 Asahi Chemical Ind device, and method of separating sound sources, and program
EP2795931B1 (en) 2011-12-21 2018-10-31 Nokia Technologies Oy An audio lens
US9531948B2 (en) 2013-01-09 2016-12-27 Lg Electronics Inc. Voice tracking apparatus and control method therefor
TW201443875A (zh) * 2013-05-14 2014-11-16 Hon Hai Prec Ind Co Ltd 收音方法及收音系統
KR102150013B1 (ko) 2013-06-11 2020-08-31 삼성전자주식회사 음향신호를 위한 빔포밍 방법 및 장치
US9530426B1 (en) * 2015-06-24 2016-12-27 Microsoft Technology Licensing, Llc Filtering sounds for conferencing applications
US9747920B2 (en) 2015-12-17 2017-08-29 Amazon Technologies, Inc. Adaptive beamforming to create reference channels
CN107026934B (zh) 2016-10-27 2019-09-27 华为技术有限公司 一种声源定位方法和装置
KR20180080006A (ko) 2017-01-03 2018-07-11 삼성전자주식회사 오디오 출력 장치 및 제어방법
WO2018140618A1 (en) 2017-01-27 2018-08-02 Shure Acquisiton Holdings, Inc. Array microphone module and system
US10178490B1 (en) * 2017-06-30 2019-01-08 Apple Inc. Intelligent audio rendering for video recording
US10110994B1 (en) * 2017-11-21 2018-10-23 Nokia Technologies Oy Method and apparatus for providing voice communication with spatial audio
KR20190086214A (ko) 2018-01-12 2019-07-22 서울과학기술대학교 산학협력단 지향성 마이크를 이용한 실감 시청 극대화 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060104458A1 (en) * 2004-10-15 2006-05-18 Kenoyer Michael L Video and audio conferencing system with spatial audio

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139029B2 (en) * 2006-03-08 2012-03-20 Navisense Method and device for three-dimensional sensing
US8319858B2 (en) 2008-10-31 2012-11-27 Fortemedia, Inc. Electronic apparatus and method for receiving sounds with auxiliary information from camera system
US8174932B2 (en) * 2009-06-11 2012-05-08 Hewlett-Packard Development Company, L.P. Multimodal object localization
US8558894B2 (en) * 2010-11-16 2013-10-15 Hewlett-Packard Development Company, L.P. Support for audience interaction in presentations

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060104458A1 (en) * 2004-10-15 2006-05-18 Kenoyer Michael L Video and audio conferencing system with spatial audio

Also Published As

Publication number Publication date
US9226070B2 (en) 2015-12-29
KR20120071452A (ko) 2012-07-03
US20120163624A1 (en) 2012-06-28

Similar Documents

Publication Publication Date Title
US9674604B2 (en) Dual cartridge directional microphone
US9913022B2 (en) System and method of improving voice quality in a wireless headset with untethered earbuds of a mobile device
CN108370470B (zh) 会议系统以及会议系统中的语音获取方法
US9723422B2 (en) Multi-microphone method for estimation of target and noise spectral variances for speech degraded by reverberation and optionally additive noise
US9838785B2 (en) Methods circuits devices systems and associated computer executable code for acquiring acoustic signals
EP2887697B1 (en) Method of audio signal processing and hearing aid system for implementing the same
US9438985B2 (en) System and method of detecting a user's voice activity using an accelerometer
US9769552B2 (en) Method and apparatus for estimating talker distance
US9247334B2 (en) Portable electronic device
US9338549B2 (en) Acoustic localization of a speaker
US20160066088A1 (en) Utilizing level differences for speech enhancement
US8755536B2 (en) Stabilizing directional audio input from a moving microphone array
US7586513B2 (en) Arrangement and method for audio source tracking
US7995773B2 (en) Methods for processing audio input received at an input device
EP1489596B1 (en) Device and method for voice activity detection
JP5401760B2 (ja) ヘッドフォン装置、音声再生システム、音声再生方法
JP3789685B2 (ja) マイクロホンアレイ装置
EP1116961B1 (en) Method and system for tracking human speakers
KR101490007B1 (ko) 제어 가능한 전면 이득 및 후면 이득을 갖는 마이크로폰을 구비한 전자 장치
CN101682809B (zh) 声音辨别方法和装置
CN102164328B (zh) 一种用于家庭环境的基于传声器阵列的音频输入系统
US20150022636A1 (en) Method and system for voice capture using face detection in noisy environments
KR101415026B1 (ko) 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치
US9997173B2 (en) System and method for performing automatic gain control using an accelerometer in a headset
EP1470736B1 (en) Wind noise insensitive hearing aid

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant