KR20040019362A - 후처리기로서 멀티 마이크로폰 에코 억제기를 가지는 음향보강 시스템 - Google Patents

Abstract

음향 보강 시스템(1)은, 적어도 하나의 마이크로폰(2)과, 마이크로폰 신호를 생성하기 위해 상기 마이크로폰(2)에 결합된 적응성 에코 보상(EC) 수단(4)과, EC 수단(4)에 결합된 하나 또는 그 이상의 확성기(3)를 포함한다. 부가적으로, 이는 마이크로폰 신호 주파수의 진폭들과 동 잔여 에코 주파수 성분 사이의 시간 지연을 사용함으로써 잔여 에코들을 억제하기 위해, 적응성 EC 수단(4)과 상기 적어도 하나의 확성기(3) 사이에 결합된 동적 에코 억제기(DES; 7)를 포함한다. 청취자가 위치하는 룸으로부터 발산되는 에코가 효과적으로 제거되고, 또한, 화자(들)가 이동하는 경우에 미세 조율 모델이 효과적으로 이루어질 수 있다. 핸즈-프리 시스템일 수 있는 이 음향 보강 시스템(1)은 공중 어드레스 시스템, 의회 시스템, 회의 시스템 또는 차, 비행기 등 같은 탈 것을 위한 승객 통신 시스템 같은 통신 시스템으로서 구현될 수 있다.

Description

후처리기로서 멀티 마이크로폰 에코 억제기를 가지는 음향 보강 시스템{Sound reinforcement system having an multi microphone echo suppressor as post processor}

이러한 음향 보강 시스템은 본 출원인의 미국 특허 제 5,748,751 호로부터 알려져 있다. 공지된 음향 보강 시스템은 마이크로폰 및 마이크로폰에 결합된 적응성 에코 소거기 필터 형태의 적응성 에코 보상(이하, EC라 표시) 수단을 구비한다. 이 시스템은 또한 적응성 EC 수단에 결합된 확성기 및 증폭기를 구비한다.

공지된 음향 보강 시스템의 단점은 모든 출현 에코가 소거되지 않는다는 것 및 적응성 에코 소거 이후에 일부 에코들이 잔류한다는 것이다. 화자 룸내의 형상부들로부터 발생하는 잔여 에코들은 단지 대략적으로만 고려되고, 반면에 이 룸내에서 이동하는 하나이상의 화자들과 연계된 에코들의 변화는 매우 정확하게 모델링되어 있다.

본 발명은, 적어도 하나의 마이크로폰과, 상기 적어도 하나의 마이크로폰에 결합되어 마이크로폰 신호를 생성하기 위한 적응성 에코 보상(EC) 수단과, 적응성 EC 수단에 결합된 적어도 하나의 확성기를 포함하는 음향 보강 시스템에 관한 것이다.

또한, 본 발명은 음향 보강 시스템내의 어플리케이션에 적합한 동적 에코 억제기(DES) 후처리기(dynamic ech suppressor(DES) postprocessor)에 관한 것이다.

도 1은 몇몇 가능한 시스템의 하위 실시예들이 설명되어 있은 완전히 장비된음향 보강 시스템의 개략도.

도 2는 도 1의 음향 보강 시스템내의 어플리케이션을 위한 동적 에코 억제기(DES)의 가능한 실시예를 도시하는 도면.

도 3은 도 2의 DES의 동작을 설명하기 위한 근 단부(near end) 신호(실선) 및 에코 신호(점선)의 진폭 대 시간 그래프들을 각각 도시하는 도면.

따라서, 본 발명의 목적은 복수의 마이크로폰들 및/또는 확성기들이 사용되는 경우에도 다양한 유형의 에코들을 효과적으로 소거할 수 있는 개선된 음향 보강 시스템을 제공하는 것이다.

또한, 본 발명에 따른 음향 보강 시스템은 음향 보강 시스템이 마이크로폰 신호 주파수의 진폭들과 동 잔여 에코 주파수 성분 사이의 시간 지연을 사용함으로써 잔여 에코들을 억제하기 위한 적응성 EC 수단과 상기 적어도 하나의 확성기 사이에 결합된 동적 에코 억제기(DES)를 포함하는 것을 특징으로 한다.

본 발명에 따른 음향 보강 시스템의 장점은 동적 에코 억제기 또는 DES의 어플리케이션이 화자 룸내에서 이동하는 사람으로 인한 룸 임펄스 응답 및 내부 변화들이 이제 에코 소거 프로세스에 포함되도록 에코 소거를 적합화하기 위한 가능성들을 연다는 것이다. 이는 주로 DES가 본질적으로 가능한 멀티 마이크로폰 신호 주파수 성분과 그 연계된 잔여 에코 주파수 성분의 진폭들 사이의 시간 지연을 식별하도록 시간 도메인에서 동작한다는 사실에 기인한다. 따라서, 잔여 에코는 보다 효과적으로 필터링될 수 있으며, 이는 음향 보강 시스템들을 위한 향상된 스피치(speech) 명료도를 초래한다. 이는 사람이 룸내에서 배회하는 경향이 있으며, 결과적으로, 룸의 에코 및 반향 특성들이 현저히 변화할 수 있는 핸즈-프리 음향 보강 시스템들에 대해 특히 중요하다. 이들 변화하는 특성들은 이제 개선된 에코 소거에 포함되며, 부가적으로, 확성기(들)로부터 마이크로폰(들)으로의 피드백으로 인한 하울링(howling)이 발생할 수 있는 기회를 감소시킨다.

본 발명에 따른 음향 보강 시스템의 일 실시예는 DES가 동적 에코 노이즈 억제기(DENS)인 것을 특징으로 한다.

이러한 DENS는 정상 노이즈(stationary noise)를 억제하기 위해 스펙트럼 차감을 사용하며, 그 입력 신호들의 크기 스펙트럼들의 단기 출력을 이용한다.

멀티 마이크로폰 시스템을 형성할 수 있는 본 발명에 따른 음향 보강 시스템의 다른 실시예는 음향 보강 시스템이 적응성 EC 수단과 둘 이상의 상기 마이크로폰들 사이에 결합된 마이크로폰 빔성형기를 포함하는 것을 특징으로 한다.

본 발명에 따른 음향 보강 시스템의 다른 실시예는 음향 보강 시스템이 마이크로폰 신호의 무관성을 위해 적어도 하나의 확성기와 적응성 EC 수단 사이에 결합된 역상관기(decorrelator)를 포함하는 것을 특징으로 한다.

적응성 EC 수단이 화자 신호내의 소정의 자동-상관성을 제거하려하기 때문에, 원하는 화자 신호의 "백화(whitening)"를 방지하기 위해 본 발명에 따른 음향 보강 시스템에 역상관기가 포함된다.

본 발명에 따른 음향 보강 시스템의 또 다른 실시예는 음향 보강 시스템이 음향 보강 시스템의 이득을 제한하기 위해 적어도 하나의 확성기와 적응성 EC 수단 사이에 결합된 제한기를 포함하는 것을 특징으로 한다.

본 발명에 따른 음향 보강 시스템의 장점은 증폭기 이득들이 급격히 확대되고 마이크로폰들 및/또는 확성기들이 룸 내에서 주변으로 이동하는 경우에도 시스템이 안정하게 남아있는다는 것이다. 또한, 이는 라운드트립 이득을 감소시킴으로서, 비정상적 상황들에서의 하울링을 추가로 방지한다.

본 발명에 따른 음향 보강 시스템의 다른 실시예는 음향 보강 시스템이 적응성 EC 수단과 둘 이상의 상기 확성기들 사이에 확성기 빔성형자를 포함하는 것을 특징으로 한다.

선택적 확성기 빔성형자는 청취자들에게 집중하는 빔 패턴을 생성하여 유리하다. 화자(들)의 방향으로 "널(null)"을 생성함으로써, 하울링이 추가로 방지된다.

본 발명에 따른 음향 보강 시스템의 또 다른 실시예는 역상관기와 확성기 빔성형자 사이에 결합된 이퀄라이저를 포함하는 것을 특징으로 한다.

이퀄라이저는 확성기와 청취자 사이의 경로의 가능한 조잡한 주파수 특성을 평활화하여 유리하다.

핸즈-프리 시스템일 수 있는 본 발명에 따른 음향 보강 시스템은 공중 어드레스 시스템, 의회 시스템, 회의 시스템 또는 차, 비행기 등 같은 탈것을 위한 승객 통신 시스템 같은 통신 시스템으로서 유리하게 구현될 수 있다.

이제, 본 발명에 따른 음향 보강 시스템은 동일 구성요소들이 동일 참조 번호들로 표시되어 있는 첨부 도면을 참조로 그 부가적인 장점들과 함께 설명될 것이다.

도 1은 전체 음향 보강 시스템(1)의 블록도를 도시한다. 시스템(1)은, 단 한 명의 화자가 많은 청중들을 어드레스하는 공중 어드레스 시스템으로부터 청취자와 화자의 역할이 관계자들 사이에서 지속적으로 변화하는 의회 시스템까지의 범위일 수 있다. 시스템(1)은 하나 이상의 마이크로폰들(2)과 하나 이상의 확성기들(3)을 포함한다. 적절한 신호 처리와 함께, 확성기 어레이(3)와 마이크로폰 어레이(3) 양자 모두를 위해 방사선 패턴들을 생성할 수 있다.

이런 시스템(1)의 모든 어플리케이션들에 있어서, 그 목적은 스피치 명료도(intelligibility)를 향상시키는 것이다. 이런 시스템이 없는 경우에, 낮은 신호대 잡음비(SNR)로 인하여, 또는, 반향(reverberation)이 너무 높기 때문에 스피치 명료도가 낮아지는 경우가 많다. 부가적인 조치 없이, 사용되는 마이크로폰(들)(2)은 관계자들의 입에 근접되어야만 하며, 특정 시간에 단 하나의 화자만 활성화될 수 있다. 그때에만, 확성기(들)(3)와 마이크로폰(들) 사이의 음향학적 피드백이 낮고 충분히 높은 음향 출력 파워들에서 하울링이 발생하지 않는 것이 보증된다. 이는 또한 마이크로폰 신호가 양호한 SNR을 가지고, 직접 음향 필드 성분이 확산 음향 필드 성분보다 우세한 것, 즉, 마이크로폰 신호가 반향된 음향이 아니게 되는 것이 보증된다.

다수의 어플리케이션들에 있어서, 관계자들은 마이크로폰들(2)을 그 입에 접근시키는 것을 원하지 않으며, 그들이 말하기를 원할 때 버튼을 누르기를 원하지 않는다. 일예는 회의실 회의이며, 이 경우는 사람들이 큰 테이블 둘레에 착석하여 통신 장비에 의한 제약 없이 연구 또는 통신하기를 원한다. 이는 마이크로폰들(2) 및 확성기들(3)을 보다 멀리 배치하고, 동시 대화를 가능하게 함으로써 가능하다. 다른 어플리케이션은 차안에서의 회의이다. 큰 배경 노이즈 및 운전자 및 승객들의 위치로 인해, 스피치 명료도는 일반적으로 낮다. 여기서 매력적인 해법은 관계자들의 부근(예로서, 천장에)에 마이크로폰들(2)을 위치시키고, 차 내의 오디오 시스템의 분산된 확성기들(3)을 사용하는 것이다.

상술한 상황들에서, 원하는 음압 레벨들에서 하울링이 발생하지 않는 것 및 마이크로폰들(2)에 의해 픽업된 스피치가 강조되는 것, 즉, 배경 노이즈가 제거되고, 원하는 스피치 신호의 반향이 억제되는 것을 보증하기 위해 부가적인 신호 처리가 적용되어야 한다.

시스템들(1)과 같은 확성(또는 핸즈-프리) 전화 또는 비디오 회의 시스템들에서 유사한 문제점을 만나게 된다. 또한, 이때 사용자는 자유롭게 주위를 이동하기를 원하며, 통신 장비에 의해 구애받기를 원하지 않는다. 후자는 접속이 완전-이중통신(full-duplex)인 것을 포함한다. 이때, 음향학적 에코 및 원하는 스피치의 반향을 제거하기 위해 신호 처리가 필요하며, 배경 노이즈를 제거하기 위해 부가적인 처리가 필요할 수 있다.

시스템(1)은 적응성 에코 소거(EC) 필터 수단(4)을 더 포함한다. 이 필터 수단(4)내에는 각 확성기-마이크로폰 쌍의 전달 함수가 추정되고, 이 전달 함수에서, 각 마이크로폰 신호(z_s(n))내의 에코(y_s(n))(s는 채널 인덱스)가 추정될 수 있으며, 이어서 각 마이크로폰 신호로부터 차감될 수 있다. 관련 신호는 잔류 신호(r_s(n))라 지칭된다. 적응성 필터 수단(4)의 출력들은 각 채널(s)에 대하여 추정 에코(y_s(n)) 및 잔류 신호(r_s(n)) 양자 모두를 가진다.

시스템(1)은 또한, 필터 수단(4)에 결합된 마이크로폰 빔성형기(5)를 포함한다. 이 빔성형기(5)의 임무는 액티브 화자상에 빔을 초점형성하도록 하는 것, 즉, 액티브 화자 신호가 강조되고 반향 및 가능한 배경 노이즈가 억제되는 방식으로 입력 신호들(r_s(n))이 필터링(또는 가중)되고, 함께 합쳐지도록 하는 것이다. 필터 계수들(또는 가중치들)은 적응적으로 결정되지만, 적응 동안 어떠한(강한) 에코도 존재하지 않을 것을 필요로 한다. 근단(near-end) 화자가 활성화될 때에만 마이크로폰 빔성형기(5)를 적용할 수 있는 회의 어플리케이션들과는 대조적으로, 이제 항상 이중 대화를 가지고 에코를 먼저 제거하여야만 한다. 마이크로폰 빔성형기(5)는 입력으로서 잔류 신호(r_s(n))를 가지고, 그 출력(6)에서 강조된 신호(r(n))를 전달한다. 부가적으로, 추정 에코들(y_s(n))은 잔류 신호들(r_s(n))과 완전히 동일한 방식으로 처리되어 출력 신호(y(n))를 제공한다. 신호(y(n))는 동적 에코 억제기(DES)(7)에 의해 소요되며, 이는 후술될 바와 같이, 동적 에코 노이즈 억제기(DENS)일 수 있다.

DES(7)는 잔여 에코들을 억제하고, DENS(7)로서 구현될 때에도 근단 신호를 열화하지 않고(가능시) 노이즈 성분들을 억제(정상화)한다. 잔류 신호들내에는 하기의 이유들 때문에 일부 잔여 에코들이 항상 존재한다. 먼저, 적응성 필터들(4)의 계수들의 수는 룸 임펄스 응답들을 완전히 모델링하기에는 너무 작고, 두 번째로, 적응성 필터(4)는 사람이 움직일 때의 임펄스 응답의 변화를 추적할 수 없다. DENS(7)는 정상 노이즈 억제를 위한 스펙트럴 차감과 강한 유사성들을 가지며, 각각 y(n), r(n) 및 z(n)의 단기 파워 또는 크기 스펙트럼들을 사용하며, 여기서 z(n)는 DENS내에서 z(n) = y(n)+r(n)으로서 계산되고, 필터들(4)의 입력들로서 신호(z_s(n))를 가지는 마이크로폰 빔성형기(5)의 출력(6)으로서 보여질 수 있다. 원격 회의와 비교시 DNES(7)를 위한 요구 조건들이 보다 강하다. 원격 회의에서, 원단측에서의 DENS로 인한 원단 화자의 가능한 열화들은 근단 화자 자체에 의해 차폐된다. 또한, 이중 대화는 원격 회의에서도 자주 발생하지 않는다. 음향 보강 시스템(1)에서, 항상 이중 대화가 존재하며, 청취자들에 의해 인지되는 확성기 출력은 일반적으로 근단 화자에서 보다 매우 강하며, 결과적으로, 가능한 아티팩트들이 근단 화자에 의해 차폐되지 않는다.

또한, 시스템(1)은 제한기(8)를 포함할 수 있다. 증폭기 이득들이 급격히 증가하고, 마이크로폰(2) 및/또는 확성기(3)가 이동하는 경우에도 시스템(1)이 안정하게 남아있는 것을 보증하기 위해, 제한기(8)가 시스템(1)에 추가된다. 그 임무는 비정상 상황들에서 이득을 감소시킴으로써 하울링을 방지하는 것이다.

역상관기(9)도 음향 보강 시스템에 포함된다. 역상관기는 일반적으로 적응성 필터(4)의 적절한 동작을 위해 필요하다. 적응성 필터(4)는 그 입력 신호(x)로 그 잔류 신호(r_s)를 역상관을 시도한다. 역상관기(9)가 없으면, x는 단지 r의 스케일된 버전이며, 결과적으로, 적응성 필터(4)는 원하는 화자의 자동 상관을 제거하기를 시도, 즉, 원하는 화자를 "백화"하기를 시도한다. 역상관기를 적용함으로써, 우리는 이 문제점을 해결할 수 있다. 물론, 역상관이 원하는 신호의 지각 품질을 변경시키지 않는 것은 필수적이다. 스피치 신호들에 대하여, 주파수 시프터로서 구현된 역상관기(9)는 매우 양호한 후보자이다. 약 5Hz의 시프트를 사용하여 역상관 특성들이 양호하고, 인지 품질이 양호하게 남아 있게 되며, 이는 심지어 음향학적 경로가 급작스럽게 변경되는 상황들에서 총 시스템(1)을 안정하게 유지하는 것을 돕는다.

이퀄라이저(10)는 시스템(1)에 포힘될 수도 있다. 이런 이퀄라이저의 세부사항들은 그 내용을 본원에서 참조하고 있는 본 출원인의 공개된 국제 특허 출원 WO96/32776호에 기술되어 있다. 이퀄라이저(10)를 사용하여, 확성기-청취자 경로(들)의 조잡한 주파수 특성이 평활화된다. 확성기(들)-마이크로폰(들) 경로들이 이를 위한 양호한 추정일 때(일반적으로 확성기(들)(3) 및 마이크로폰(들)(2)이 함께 근접하지 않을 때의 경우), 이때도 적응성 필터(4)로부터의 전달 함수들로부터의정보가 이퀄라이저내에 존재하는 필터들을 자동으로 적응시키도록 사용될 수 있다.

다른 가능한 실시예에서, 시스템(1)은 둘 이상의 확성기들(3)이 존재하는 경우에 확성기 빔성형기(11)를 포함한다. 확성기 빔성형기(11)는 청취자들상에 집중하는 빔 패턴을 생성하기 위해 사용될 수 있다. 그후, 이는 마이크로폰 빔성형자(5)로부터 정보를 취하고, 그후, 화자의 방향으로 널(null)을 달성할 수 있다.

비록, 핸즈프리 원격회의 시스템들로서 적용된 음향 보강 시스템(1)과, "핸즈프리(handsfree)"음향 보강 시스템들 사이의 문제점들이 유사하지만, 음향 보강의 경우를 기술적으로 보다 곤란하게 만드는 세 가지 양태를 여기에 언급한다.

1) 에코가 근단 화자에 의해 교란되는 경우의 상황에서 추정된 에코를 제거하기 위해 사용된 적응성 필터는 절대 학습할 수 없다. 이는 근단 화자가 확성기 신호를 위한 구동력으로서 작용하는 반면에, 원격회의의 경우는 원단 화자가 구동력으로서 작용하기 때문이다.

2) 가장 곤란한 상황인 이중 대화의 상황이 지속적으로 존재한다. 원격회의 어플리케이션에서, 대부분의 시간은 원단 화자 또는 근단 화자 중 어느 한쪽이 활성 상태가 된다. 이중 대화 동안, 원단측에서의 부적합한 에코 소거 때문에, 원단 대화는 미소하게 열화되며, 이는 근단 화자에 의해 쉽게 차폐된다. 이는 근단 화자 자체뿐 아니라 근단 룸내의 청취자를 위해서 유지된다. 음향 보강 시스템들에서, 인지된 확성기 신호는 보다 강하며, 마스킹 효과의 사용이 보다 적게 이루어질 수 있다.

3) 알고리즘 지연이 최소화되어야 한다. 마이크로폰 신호와 확성기 신호 사이의 총 지연은 10msec 미만이여야 한다.

직전에 언급한 난점들에 맞서는 "핸즈-프리" 음향 보강 시스템(1)을 위한 일반적 아키텍쳐가 제안되어 있다. 그러나, 기술된 아키텍처는 이미 언급한 것들 뿐만 아니라 다양한 변형들을 허용한다.

적응성 필터 섹션(4)은 음향 보강 시스템(1)내에 포함된 마이크로폰(2) 및 확성기(3)의 수에 대한 특정 배열에 의존하여 구현된다. 하나의 마이크로폰 및 하나의 확성기, 하나의 마이크로폰 및 다수의 확성기들, 다수의 마이크로폰들 및 하나의 확성기, 또는 다수의 마이크로폰들 및 다수의 확성기들을 가지는 이런 특정 배열들인 종래 기술에 공지되어 있다.

마이크로폰 빔성형기(5)는 액티브 화자 신호가 강조되고, 배경 노이즈 및 반향이 억제되는 방식으로, 서로 다른 입력들을 필터링 또는 가중하고, 이들을 함께 합함으로써 액티브 화자상에 빔을 집중시키는 임무를 갖는다. 일부 어플리케이션들에서, 이동하는 화자를 추적할 수 있는 적응성 빔성형기를 사용할 수 있은 것이 중요하다. 가장 널리 알려진 적응성 빔성형기는 딜레이-앤-섬(Delay-and-Sum) 빔성형기이며, 여기서 마이크로폰 신호들내의 원하는 스피치 신호들이 도착방향에 따라 서로의 지연된 버전들이라 가정한다. 마이크로폰 신호들을 상관시킴으로써, 지연들이 결정될 수 있고, 공간적 화이트 노이즈에 대하여, 대수적 감쇠가 얻어질 수 있다. 딜레이-앤-섬 빔성형기가 기반이되는 자유장 가정은 종종 실제로는 유효하지 못하다. 특히, 마이크로폰 어레이(2)가 테이블이나 벽 같은 다른 물체들에 근접 배치되거나, 모니터의 상단에 배치되는 경우에, 스피치 신호들은 단순히 서로의 지연된 버전들이 아니며, 가혹한 반사들 및 반향들을 포함한다. 이때, 지연들의 결정은 명백하지 못하며, 전체 성능은 최적이 아니다. 대안적인 적응성 빔성형기는 가중형 합산 빔성형기(WSB) 및 필터형 합산 빔성형기(FSB)이다. 이런 적응성 빔성형기의 세부사항들은 그 내용을 본 명세서에서 참조하고 있는 본 출원인의 공개된 국제 특허 출원 WO 99/27522에 기술되어 있다. WSB에서, 각 마이크로폰 신호는 가중 및 합산된다. 가중들은 출력 파워가 특정 제약들하에서 최대화되도록 (적응적으로) 결정된다. 이런 WSB는 마이크로폰(2)이 점점이 서로 떨어져 있은 어플리케이션들 또는 마이크로폰들(2)이 서로 멀리 떨어져 있는 어플리케이션들에 특히 적합하다. FSB에서, 각 마이크로폰 신호는 FIR 필터로 필터링되고 합산된다. 또한, 여기서 가중들은 출력 파워가 특정 제약하에서 최대화되는 방식으로 적응적으로 결정된다. 필터형 합산 빔성형기는 마이크로폰들이 모두 제 1 반사들과 함께 음향의 현저한 부분을 픽업하는 경우에 특히 적합하다. FSB 필터들은 지연들 및 제 1 반사들을 자동으로 보상한다. WSB 및 FSB 필터들(5)은 소위 일반형 사이드로브 소거기로 확장될 수 있다. 강조된 스피치 신호를 제외하면, WSB 및 FSB는 주로 노이즈를 포함하는 부가적인 출력들로 확장될 수 있다. 출력들은 순차 다채널 적응형 노이즈 소거기를 위한 기준 입력들로서 기능할 수 있으며, 여기서 빔성형기의 강조된 스피치 출력은 주 입력으로서 기능한다. 이 방식으로 노이즈는 추가로 감소될 수 있다.

가능하게는 동적 에코 노이즈 억제기(DENS)(7)로 확장될 수 있는 동적 에코 억제기(DES)(7)는 음향학적 에코 소거를 위해 성공적으로 사용될 수 있다. 도 2를참조로 그 동작에 대한 간단한 설명이 이어지지만, 먼저 이후 사용된 일부 표기 약조들을 설명한다.

샘플링 인덱스는 n(n=...,1,0,1,..)으로 표시된다. 우리는 x(Bl_B-1)에 따라 실제값 이산 시간 신호(x(n))가 세그먼트화되는 블록 처리를 사용하며, B는 데이터 블록 크기이고, l_B는 l_B=(여기서는 정수 절사를 나타냄)에 따른 블록 인덱스이며, l=0,1,...,B-1이다. 따라서, x(n)의 최신 가용 데이터 샘플은 x(Bl_B)이다. x의 M-포인트 DFT 결과는 X(k;l_B)로 나타내지며, 여기서, k는 주파수 인덱스(k=0.1.....M-1)이다. 실제값 시간 도메인 데이터에서, 우리는 실제 이행시 네거티브 주파수들을 고려할 필요가 없지만, 표기 약조에 대하여 우리는 여기서 계속 그렇게 사용한다. F_samp는 Hertz 단위 샘플링 레이트이며, FIR은 유한 임펄스 응답을 의미하고, IIR은 무한 임펄스 응답을 의미하며, N은 FIR 필터 계수들의 수를 나타낸다.

DES(7)(우리는 잠시동안 노이즈 성분을 남겨둔다)는 그 입력으로서 세그먼트화된 시간 프레임들을 받아들이며, 이들 프레임들을,및로 표시되는 크기 스팩트럼들로 변환한다. 다음에 이는 주파수-의존(비-네거티브) 감쇠 G(k;l_B)를에 적용하여를 산출한다. 시간 도메인 신호(q(n))는 잔류 스펙트럼()의 위상()을 사용하여에 대한 역 스펙트럴 변환에 의해 재구성된다. 감쇠 함수(G(k;l_B))는 하기와 같이 계산된다.먼저, 프레임당 감쇠 함수(G(k;l_B))가 하기와 같이 계산된다.

여기서, l_B는 프레임 번호이고, γ_e는 에코 항에 대한 감산 펙터이며,는 적응성 필터가 완전한(무한 길이) 룸 임펄스 응답을 모델링하기에 너무 작은 계수들을 가진다는 사실을 보상하기 위한 잔류 에코 크기의 추정치이다. G(k;l_B)이 반복들 사이에서 급속하게 변화하는 것을 방지하기 위해, 우리는 하기에 따라 로우-패스 재귀를 적용한다.

,

따라서, 근단 신호와 비교할 때, 강한 원단 에코(Y는 에코의 추정치)를 가지는 주파수 대역에서, 잔류 R은 감쇠되고, 근단 신호가 원단 에코 보다 강한 대역에서, 잔류는 거의 동일하게 남아있는다. 원격 회의 어플리케이션들에서 원단 신호의 단기 스펙트럼이 근단 신호의 단기 스펙트럼과 다르다는 가정을 사용하며, 우리는 근단 신호를 억제하지 않고 에코 성분들을 억제할 수 있다. 음향 보강 시스템들에서, 상황들은 다르다. 근단 스피치의 스펙트럼은 에코의 스펙트럼과 크게 다르지 않으며, 그 이유는 근단 화자가 구동력이기 때문이다.

그러나, 근단 스피치와 에코들 사이의 시간 스케일의 차이가 사용될 수 있다.

도 3에서, 마이크로폰 신호의 특정 주파수 성분을 위한 진폭은 시간의 함수로서 주어진다. 실선은 근단 신호를 나타내고, 점선은 에코들을 제공한다. 에코들은 처리 지연 및 확성기와 마이크로폰 사이의 음향학적 전파 지연으로 인해 근단 신호 이후 시작한다. 부패는 시스템의 개루프 이득과 룸의 반향 시간에 양자 모두에 의해 결정된다. 이제 DES가 이 경우에 반응하는 방식을 검토하면,+는 에코의 추정치이다(도 3의 점선). 추정치가 정확할 때, 에코들은 근단 신호와 상관되지 않으며, 이는 제곱된 z-신호로부터 제곱된 추정치를 차감하고, 이때, 결과는 제곱된 근단 스피치 신호와 같다. 그러나, 추정치는 그렇게 정확하지 않고, 실험들은 과차감(γ_e>1)과 함께 진폭들을 취할 수 있다는 것을 보여줬다. 에코를 과차감하는 경우에, 이때, 이는 근단 스피치의 부패 만이 왜곡되는 도 3을 따른다. 공격 동안, 그리고, 부패 이후, 어떠한 왜곡도 없다. 부패 동안 왜곡은 그렇게 중요하지 않다. 룸내의 반향으로 인해 우리는 심지어 스피치의 부패가 l 반향에 의해 이미 왜곡되어 있다고 말할 수도 있다. 실험들은 동일 과차감을 적용한 경우에, 실제 일부 역반향 효과가 존재한다는 것을 보여준다. 루프 이득이 크면 클수록, 적응성 필터와 DES 차감 또는 에코들의 억제의 조합이 보다 중요해진다. 매우 큰 이득들(20dB 이상)에서, 안정성은 루프 이득이 1보다 작은 경우의 상황과는 반대로 근단 스피치의 부패 동안 동일 왜곡 보다 중요한 문제가 된다. 그 이유는 γ_e가 루프 이득에 의존하기 때문이다. 루프 이득은 적응서 필터 수단(4)의 가중들로부터 직접적으로 얻어질 수 있으며, 그 이유는 그들이 마이크로폰(2)과 확성기(3) 사이의 주파수 특성을 나타내고, 시스템의 나머지가 단위 이득을 갖는 경우에 개루프 이득을 결정하기 때문이다. γ_e는 최대 루프 이득이 1 보다 작은 경우 1보다 작게 선택되고, 최대 루프 이득이 1 보다 큰 경우 1 보다 크게 선택된다.

조치하여야할 다른 문제점은 DENS의 알고리즘 지연이다. 일반적으로 DENS는 선형 위상 필터이며, 이는 DES의 데이터 블록 길이(B)와 같은 여분의 지연을 제공한다. DNES가 최소 위상 필터로 구현되는 경우, 어떠한 잉여 지연도 추가되지 않는다.

제한기(8)의 임무는 마이크로폰 또는 확성기의 이동으로 인해, 또는, 확성기 볼륨의 갑작스러운 증가로 인해, 시스템(1)이 불안정한 경우에 시스템의 이득을 감소시키는 것이다. 이는 시스템이 하울링 보다 매우 위에서 동작하도록 설계된 경우에 특히 중요하다. 이런 상황에서, 에코들은 근단 화자의 신호 보다 강하며, 마이크로폰 프리증폭기의 이득은 에코에 의해 결정된다. 결과적으로, 에코를 적응성 필터(4) 및 DES 또는 DENS(7)로 보상한 이후, 근단 스피치를 위해 큰 헤드-룸이 존재할 것이다. 제한기는 확성기-마이크로폰 경로(들)의 극적 변화들 동안 에코들이 양호하게 압축되지 않은 경우에, 이득을 감소시키기 위해 필요하다. 제한기 기능 그 자체는 독립적이다. 제한기 이득은 두 이득들, 즉, 공격 이득 및 부패 이득의 적(product)이 될 수 있다.

G₁= G_bG_d

일반적으로, G₁은 1과 같다. 출력 신호(q(n))의 평활화된 파워(P_s)가 임계값(P_limit)을 초과하고 나면, 이득율(G_r)은 하기와 같이 결정된다.

및

T_a및 T_b를 위한 통상적인 값들은 각각 0.01 및 5.0초이다. 결과적으로 G₁은 G_g/G_r을 향해 급속히 감소하며, 후속해서, 1까지 다시 느리게 성장한다.

상술한 바와 같이, 역상관기는 적응성 필터(4)가 원하는 신호를 "백화(whiten)"하기를 시도하는 것을 방지하기 위해 필요하다. 이런 역상관기의 세부사항은 그 내용을 본 명세서에서 참조하고 있는 본 출원인의 미국 특허 5,748,751에 기술되어 있다. 스피치 어플리케이션들에 대하여, 주파수 시프터는 매우 양호하게 동작한다. 대략 5Hz의 주파수 시프트가 적용될 때, 이는 신호를 역상관하며, 시스템(1)을 마찬가지로 안정하게 유지하는 것을 돕는다. 룸내의 확성기(3)와 마이크로폰(2) 사이의 주파수 특성은 다수의 피크들 및 골들(dips)을 나타낸다. 인접 최소값과 최대값 사이의 평균 주파수 간격은 단지 수 Hz이다. 주파수 시프터가 적용될 때, 최대 루프 이득 대신 평균 루프 이득이 중요하다.

0dB 이상의 최대 루프 이득 및 0dB 미만 평균 루프 이득을 가지는 이득들에 대하여, 주파수 시프터를 가지지만 적응성 필터를 갖지 않는 시스템은 안정하게 남아있는다. 그러나, 아티팩트들은 교란하며, 그 이유는 루프를 통한 음향의 라운드트립들(각 시기는 5Hz의 시프트를 가짐) 때문이다. 적응성 필터(4)(및 DE(N)S)에서, 적응성 필터에 의해 제공된 감쇠는 이들 아티팩트들을 억제시키기에 충분하다.

음향 보강 시스템(1)의 가능한 실시예들에서, 주파수 응답을 조절하기 위해 파라미터형 이퀄라이저(10)가 사용된다. 즉, 주파수 증가와 함께 대역폭이 증가한다. 이퀄라이저(10)의 조절은 대부분 오프라인으로 수행된다. 화이트 또는 핑크 노이즈 소스는 여기 소스로서 사용되며, 마이크로폰은 청취자의 위치에 배치된다. 옥타브들 또는 1/3 옥타브들에서 응답이 측정되고, 이퀄라이저(10)는 평활한(또는 다른 양호한) 응답이 얻어질 때까지 조절된다. 보다 많은 청취자들이 가용한 경우에(빈번한 경우), 프로시져는 반복되고 평균 곡선이 얻어진다. 이 방법의 단점은 조절이 고정되어 있다는 것이다. 조건들이 변화하면, (예로서 가득차거나 빈 방)더 이상 어떠한 조절들도 이루어질 수 없다. 실험으로부터, 확성기(3) 및 마이크로폰(특히, 확성기가 마이크로폰에 너무 근접한 경우) 사이의 주파수 특성은 옥타브 또는 1/3 옥타브에서 측정될 때, 확성기와 관련자(들) 사이의 전달 함수를 대표하는 것을 발견하였다. 이런 상황에서, 우리는 이퀄라이저(10)의 조절을 위해 적응성 필터(4)의 추정을 사용할 수 있다. 이퀄라이저가 도 1에 도시된 바와 같이 적응성 필터 수단(4)의 입력(12) 이후에 배치되는 경우에, 조절은 자동으로, 그리고, 반복적으로 이루어질 수 있다. 즉, 적응성 필터(4)는 이퀄라이저(10)와 음향학적 경로의 조합의 전달 함수를 추정하기를 시도한다. 단일 확성기-다중 마이크로폰 경우에 대하여, 동일한 것이 이루어질 수 있다. 이 경우에는 적응성 필터내의 가용 전달 함수들로부터 평균 전달 함수를 계산하여야만 한다. 다수 확성기 - 단일 마이크로폰의 경우에, 두 가지 가능성들이 존재한다. 이퀄라이저(10)는 각 확성기 경로내에 배치될 수 있으며, 단일 확성기-단일 마이크로폰의 경우에 대한 것과 동일한 절차가 사용될 수 있거나, 확성기 빔성형기(11) 이전에 이퀄라이저가 배치될 수 있다. 적응성 필터(4)의 배경 모델 개념을 사용할 때, 이퀄라이저 계수들을 추정하기 위해 사용되는 전달 함수는 확성기 빔성형기(11)의 FIR 필터들 도는 계수들에 의해 가중 또는 콘볼루트된 개별 전단 함수들의 함에 의해 제공된다.

확성기 빔성형기(11)에서, 우리는 확성기 어레이(3)의 방향 패턴을 성형할 수 있다. 마이크로폰 빔성형기(5)의 경우에서와 같이, 확성기 빔성형기는 적응형이다. 마이크로폰 빔성형기(5)와는 대조적으로, 확성기 빔성형기를 적응시키는 방식, 즉, 어디에 확성기 빔성형기를 위치시켜야 하는지가 불명확하다. 가능성들은 미팅의 시작시의 주목 버튼(회의 어플리케이션), 청중들 등의 위치를 추출하기 위해 카메라를 사용하는 비디오 추적이다. 확성기 구성에 따라서, 가중형 합산 빔성형기, 지연 및 합산 빔성형기 또는 심지어 필터형 합산 빔성형기가 사용될 수 있다. 무엇보다도 개별 증폭기들이 동일한 이득을 가지고, 어떠한 전체적 이득 조절도 존재하지 않는 것이 중요하다. 그렇지 않으면, 방사 패턴은 개별 증폭기들의 증폭 값들의 편차들에 의존한다. 청취자들에 대한 정보가 가용하지 않은 경우, 이때, 빔성형기는 여전히 액티브 화자를 지향하지 않음으로써 유용할 수 있다. 화자에 대하여 그를 향한 음향학적 음향은 사용되지 않으며, 심지어 방해가 된다. 또한, 확성기에 지향된 확성기 빔과, 마이크로폰 빔(역시 화자에 지향됨)은 일반적으로 커진다. 이 결합을 감소시키는 것은 전체 시스템 거동을 향상시킨다. 이 경우, 확성기 비 성형기(11)는 마이크로폰 빔성형기(5)의 설정에 의해 결정된다. 예로서, 마이크로폰 및 확성기 빔성형기 양자 모두가 가중형 합산 빔성형기들인 경우에, 그리고, 마이크로폰 빔성형기(5)의 계수들(w₁, w₂,....w_s)이 (1,0,...,0)인 경우에, 이때, 확성기 빔성형기(11)의 계수들(w₁₁, w₁₂,,....w_1s)은 (0,1,...1)과 같다. 부가적으로, 이 경우에, 확성기들 및 마이크로폰들은 관련 룸내의 동일 음향학적 영역을 관장한다.

본 섹션에서 세 가지 어플리케이션들이 설명되었다. 첫 번째 것은 다중 마이크로폰을 가지는 하이-엔드 스피커폰 유니트 및 신호 확성기로 수행하여야만 한다. 두 번째 것은 다수의 유니트들과 함께 수행되어야만 하며, 세 번째 것은 차 내의 음향 보강 시스템과 함께 수행되어야 한다.

스피커폰 유니트는 청각적 회의 어플리케이션들에 사용될 수 있다. 그러나, 또한, 회의실내의 음향 요구조건을 위해 사용하는 것도 가능하다. 처리의 블록도가 도 1에 도시되어 있다. 이 경우의 마이크로폰 빔성형기(5)는 청각적 회의의 경우에서와 같이 스피치 신호를 픽업하는 가중형 합산 빔성형기로 구성된다. 또한, 이 경우에, 외부 마이크로폰들(2)은 후보자들이 유니트로부터 매우 멀리 있는 경우에 사용될 수 있다. 빔성형기(5)의 출력은 DES/DENS(7), 제한기(8), 주파수 시프터 역상관기(9)를 통해 적응형 필터 수단(4)의 입력(12)에 공급되며, 이퀄라이저(10)를 통과한 이후, 확성기(3)에 공급된다. 각각 대응 마이크로폰의 방향을 지향하는 3개의 확성기들을 가진 스피커폰 유니트를 생각할 수 있다. 마이크로폰 빔성형기(5)에 결합된 확성기 빔성형기(11)가 그후 설명된 바와 같이 사용될 수 있다. 확성기(3)는 음향을 방출하고, 적응성 필터(4)는 에코들을 보상한다. 보다 큰 회의실에서, 하나의 음향 유니트는 불충분하다. 이때, 확장 마이크로폰들이 다른 음향 유니트들로 교체되어야 한다. 이런 어플리케이션에서, 우리는 마스터 음향 유니트와 하나 이사의 슬래이브 사운드 유니트들을 가진다. 슬레이브들로부터 마스터로의 에코 보정된 마이크로폰 신호들에 부가하여, 이제 또한 마스터로부터의 확성기 신호가 슬레이브들로 전달되어야 한다. 이때 여분의 가중형 합산 빔성형기(WSB)가 제한기와 역상관기(9) 사이에 추가될 수 있으며, 이 WSB는 (가중 이후) 슬레이브 사운드 유니트들로부터 도입하는 신호들 및 사운드 유니트 자체의 정화된 에코 신호를 합한다. 슬레이브 사운드 유니트로 전송되는 출력 신호는 주파수 시프터 역상관기 이후 얻어진다.

차 환경에서 관심 어플리케이션 분야가 발견된다. 차의 뒤에 있는 승객들은 화자의 방향과 배경 노이즈로 인해, 종종 운전자 및 차의 전방 승객들을 이해하지 못한다. 모든 관계자들에 근접하게 마이크로폰을 배치하고(예로서, 차의 천정), 이미 현존하는 차내 확성기(3)를 사용함으로써, 음향 보강 시스템(1)은 도 1에 도시된 바와 같이 설정될 수 있다. 적응성 빔성형기(5)는 다시 급속 마이크로폰 선택기로서 작용하는 WSB이고, DENS는 잔류 에코들을 억제할 뿐만 아니라, 정상 노이즈도억제한다. 우리는 단일 확성기-다중 마이크로폰 구성을 연구할 수 있지만, 우리는 또한 확성기 빔성형기(11)를 도입하고, 화자를 위해 사용되는 확성기를 억제할 수도 있다. 이 경우에, 우리는 상술한 바와 같은 적응성 배경 모델 개념이 필요하다.

본 장에서, 일부 구현의 세부사항들이 이퀄라이저(10)를 갖지 않고 단 하나의 확성기(3)를 가지는 음향 시스템에 대해 제공된다. 시스템은 16kHz의 샘플 주파수로 개발되어왔다. 알고리즘 지연을 감소시키기 위해, 단지 64 샘플들만을 가지는 블록 크기 B를 사용한 블록 처리가 사용된다(오디오 회의 어플리케이션의 256 샘플들과 비교시). 도면에 명시된 바와 같이, 적응형 필터(4)의 프로그램형 필터부, 빔성형기(5), DES/DENS(7)의 필터부, 제한기(8) 및 역상관기(9) 모두는 B 샘플들의 블록들상에서 동작한다. 폐루프 시스템내의 블록들을 사용한 동작은 적어도 B 샘플들의 지연이 소정의 위치에 존재하지 않는 한 몇몇 문제들을 제공한다. 마이크로폰 경로의 직렬대 병렬 변환 및 확성기 경로의 병렬대 직렬 변환으로 인해, 임펄스 응답은 항상 적어도 2B 샘플들을 포함한다. 이때, 적응성 필터 수단(4) 양자 모두의 전방에 적어도 2B 샘플들의 지연을 부여하는 것이 유리하며, 그 이유는 이 지연이 임펄스 응답의 적어도 최초 2B 샘플들을 모델링하기 때문이다. 적응성 필터의 필터 길이에 대하여 N=2048이 선택되었다. 적응성 필터 수단(4) 자체에 대하여, 비구속 블록 주파수 도메인 적응성 필터(BFDAF)가 사용되며, (구속) 파티션 블록 주파수 도메인 적응성 필터(PBFDAF)가 사용되었다. 이에 대해서는 US 5,748,751을 다시 참조하라. PFDAF에 대하여 512 RP수들의 파티션 길이가 사용되었다. 512지점들의 DENS 데이터 블록 크기의 부분이 취해졌다.

적응성 필터 섹션(4), 마이크로폰 빔성형기(5), 동적 에코 억제기(DES(7) 및 가능 노이즈 억제기(DENS)(7) 및 역상관기(9)를 포함하는 "핸즈-프리" 음향 보강 시스템이 설명되었다. 선택적으로, 제한기(8), 이퀄라이저(10) 및 확성이 빔성형기(11)가 추가될 수 있다. 우리는 두 가지 주된 어플리케이션들을 제시하였다. 첫 번째 것은 회의실 어플리케이션들을 다루며, 여기서는 지도자의 보드가 실제 핸즈프리 음향 보강 시스템(1)을 필요로하며, 두 번째는 차 환경에서의 핸즈 프리 음향 보강 시스템(1)을 다룬다.

실질적으로 양호한 실시예 및 최상의 가능한 모드들을 참조로 상술하였지만, 이들 실시예들은 관련된 장치들의 예들을 한정하는 것으로서 구성되어있는 것은 아니라는 것을 이해하여야만 하며, 첨부된 청구항에의 범주내에 포함되는 다양한 변형들, 특징들 및 특징들의 조합을 본 기술 분야의 숙련자들이 안출할 수 있기 때문이다.

Claims (10)

1. 적어도 하나의 마이크로폰(2)과, 마이크로폰 신호를 생성하기 위한 상기 적어도 하나의 마이크로폰(2)에 결합된 적응성 에코 보상(EC) 수단(4)과, 상기 적응성 EC 수단(4)에 결합된 적어도 하나의 확성기(3)를 포함하는 음향 보강 시스템(1)에 있어서,

   상기 음향 보강 시스템(1)은, 상기 적응성 EC 수단(4)과 상기 적어도 하나의 확성기(3) 사이에 결합되어, 마이크로폰 신호 주파수 성분의 진폭들과 동 잔여 에코 주파수 성분 사이의 시간 지연을 사용하여 잔여 에코들을 억제하기 위한 동적 에코 억제기(DES 7)를 포함하는 것을 특징으로 하는, 음향 보강 시스템(1).
2. 제 1 항에 있어서, 상기 DES(7)는 동적 에코 노이즈 억제기(DENS)인 것을 특징으로 하는, 음향 보강 시스템(1).
3. 제 1 항 또는 제 2 항에 있어서, 상기 음향 보강 시스템(1)은 상기 적응성 EC 수단(4)과 둘 또는 그 이상의 상기 마이크로폰들(2) 사이에 결합된 마이크로폰 빔성형기(5)를 포함하는 것을 특징으로 하는, 음향 보강 시스템(1).
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 음향 보강 시스템(1)은 상기 마이크로폰 신호의 역상관을 위해 상기 적응성 EC 수단(4)과 상기 적어도 하나의 확성기(3) 사이에 결합된 역상관기(9)를 포함하는 것을 특징으로 하는, 음향 보강 시스템(1).
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 음향 보강 시스템(1)은 상기 음향 보강 시스템(1)에서 이득을 제한하기 위해 상기 적응성 EC 수단(4)과 상기 적어도 하나의 확성기(3) 사이에 결합된 제한기(8)를 포함하는 것을 특징으로 하는, 음향 보강 시스템(1).
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 음향 보강 시스템(1)은 상기 적응성 EC 수단(4)과 둘 또는 그 이상의 상기 확성기들(3) 사이에 결합된 확성기 빔성형기(11)를 포함하는 것을 특징으로 하는, 음향 보강 시스템.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 음향 보강 시스템(1)은 상기 역상관기(9)와 상기 확성기 빔성형기(11) 사이에 결합된 이퀄라이저(10)를 포함하는 것을 특징으로 하는, 음향 보강 시스템(1).
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 상기 음향 보강 시스템(1)은 핸즈-프리 시스템일 수 있고, 공중 어드레스 시스템, 의회 시스템, 회의 시스템 또는 차, 비행기 등 같은 차(vehicle)용 승객 통신 시스템 같은 통신 시스템으로서 구현되는 것을 특징으로 하는, 음향 보강 시스템(1).
9. 제 1 항 내지 제 8 항 중 어느 한 항에 따른 음향 보강 시스템(1)에서 어플리케이션에 적합한 DES(7) 후-처리기.
10. 제 9 항에 있어서, 상기 DES는 DENS로서 구현되는 것을 특징으로 하는, DES(7) 후-처리기.