KR20010072937A - 음향 에코 및 잡음 제거 적응 필터 - Google Patents

Abstract

스테레오 에코 제거는 예컨데, 원격지간 회의, 음성 제어 비디오/오디오 장치 등에 의해 고찰된 결함들을 극복하는 것이 필요하다. 종래의 필터들을 개선하기 위해, 본 발명은 변환된 영역내의 계수 갱신을 획득하고 요구된 계산의 복잡성을 감소시키는 신호 처리 디바이스 및 적응 필터를 제공한다. 또한, 상기 필터는 계수 갱신에 입력 신호간의 상관을 감소시키는 수단을 포함한다.

Description

음향 에코 및 잡음 제거 적응 필터{Acoustic echo and noise cancellation}

오디오 및 비디오 시스템에서 최근 발전은 음향 에코 제거기(AEC) 및 잡음 제거기로 다중 채널 처리 및 재생의 사용을 요구한다. 예컨데, 미니 그룹 비디오 회의 시스템에서, 다중 채널 전송은 실내에서 다양한 사람들의 보다 나은 "위치 측정(localization)"이 된다.

다른 다중 채널 에코 제거는 텔레비전 수신기, 라디오 수신기, CD 플레이어 등과 같은 비디오 장비 및 음성 제어 스테레오 오디오를 필요로 한다. 다중 채널 AEC는 통상적으로 다중 단일 채널 AEC의 간단한 조합으로 생성될 수 없다.

본 발명은 청구항 제 1항의 전제부에 기술된 바와 같은 필터에 관한 것이다. 본 발명은 또한 그러한 필터를 포함하는 신호 처리 디바이스에 관한 것이다. 본 발명은 또한 원격지간 회의(teleconferencing) 시스템에 관한 것이다. 또한 본 발명은 음성 제어 전자 디바이스에 관한 것이다. 본 발명은 또한 잡음 제거 시스템에 관한 것이다. 본 발명은 또한 청구항 14항의 전제부에 기술된 바와 같은 방법에 관한 것이다.

도 1는 본 발명에 따라, 다중 입력 적응 FIR 필터를 개략적으로 도시하는 도면.

도 2는 본 발명에 따라, FIR 필터의 출력의 개략적 계산을 도시하는 도면.

도 3는 직접 역전압 추정을 갖는 경우에 본 발명에 따라, 다중 입력 분할 주파수 영역 적응 필터내의 Y의 개략적 계산을 도시하는 도면.

도 4는 본 발명에 따라, 계수 벡터들(ω _i)의 개략적 계산을 도시하는 도면.

도 5는 본 발명에 따라 원격지간 회의 시스템내의 스테레오 에코 제거의 개략적인 예를 도시하는 도면.

도 6는 본 발명에 따라 원격지간 회의 시스템의 더 자세한 개략적 예를 도시하는 도면.

도 7는 본 발명에 따라 음성 제어 디바이스의 개략적인 예를 도시하는 도면.

도 8는 본 발명에 따라 잡음 제거기의 개략적인 예를 도시하는 도면.

미국 특허 US-A 5,828,756호로부터 방법 및 장치는 스테레오 시스템의 개별채널 신호들간의 상관을 선택적으로 감소시키는 것을 수반하는, 원격지간 회의 시스템과 같은 공지된 스테레오 통신 시스템이다. 비선형성은 상관을 감소시키도록 입력 신호들에 부가된다. 또한, 이러한 비선형성을 부가시킴으로써, 출력 신호들에 가청 물질이 삽입된다. 이러한 비선형성은 원격지간 회의 시스템에서 허용할(때때로) 수 있지만 음악 등을 제공하는 것과 같은 다른 응용에서 확실히 허용가능하지 않다.

특히, 본 발명의 목적은 종래 기술의 장애를 극복하는 필터를 제공하는 것이다. 이러한 목적을 위해, 본 발명의 제 1 관점은 청구항 제 1항에 기술된 바와 같은 필터를 제공한다.

이로써, 상기 적응 필터들의 성능은 계산의 복잡성의 큰 증가없이 개선된다.

본 발명의 제 2 관점은 청구항 제 8항에 기술된 바와 같은 신호 처리 디바이스를 제공한다.

본 발명의 제 3 관점은 청구항 제 11항에 기술된 바와 같은 원격지간 회의 시스템을 제공한다.

본 발명의 제 4관점은 청구항 제 12항에 기술된 바와 같은 음성 제어 전자 디바이스를 제공한다.

본 발명의 제 5관점은 청구항 제 13항에 기술된 바와 같은 잡음 제거 시스템을 제공한다.

본 발명의 제 6관점은 청구항 제 14항에 기술된 바와 같은 방법을 제공한다.

본 발명의 실시예는 제 2항의 특징을 포함한다.

장점에 대한 본 발명을 실행하기 위해 선택적으로 사용될 수 있는, 본 발명 및 부가적인 특징은 아래, 하기에 설명되고, 도면에 도시된 예를 참조하여 명확하고 명료해질 것이다.

본 명세서에서, 방정식, 행렬, 등은 아래에 기술되는 바와 같이 도시된다. 신호들은 소문자 문자로 표시되고, 대문자에 의해 상수가 표시된다. 밑줄은 시간 영역에 대해 소문자로, 주파수 영역에 대해 대문자인, 벡터에 사용된다. 행렬들은I와 같은, 굵은 면의 대문자에 의해 표시된다. 차원은 위 첨자를 넣는다(예컨데, 제 2 차원이 생략된 정방행렬에 대해,행렬X는로 주어짐). 대각 행렬은로 표시된 그것의 대각을 갖는,와 같이, 이중의 밑줄로 표시된다.w _i와 같이, 아래 첨자 i는 i번째 버전(version)을 표시한다.w의 k번째 원소는 (w)_k로 주어진다. 결국, 첨부한 [k]는 시간 지수를 표시하고, (.)^t는 전치(transpose)를 표시하고, (.)* 복소 공액 및 (.)h 허미튼 전치(복소 공액 전치)를 표시한다.

도 1에 도시된, 통상적인 다중 입력 적응 FIR 필터는 신호내의 이러한 신호들과 상관된 요구되지 않은 원소들을 제거하기 위해에서까지의 S신호를 사용한다.에서까지의 신호들은에서까지의 출력을 갖는, W₀에서 W_s-1까지의 S FIR 필터에 대한 입력이다. 갱신 알고리즘의 목적은와 입력 신호들및간의 상관이 제거되는 그러한 방법으로 FIR 필터들의 계수들에 적용시키는 것이다.

S 〉a ≥0 에 대해, FIR 필터(W_a)는 상기 필터의 계수들(...)과 신호()간의 콘볼루션(convolution)을 실행한다. 그러한 필터의 출력 신호는 다음과 같이 묘사될 수 있다.

S > a ≥ 0에 대해

다중 입력 적응 필터의 출력은

로 주어진다.

개별(적응)필터들 W₀에서 W_S-1의 이러한 필터부들은 분할, 블록 처리, 이산 푸리에 변환(DFT)으로 주파수 영역내에서 유효하게 실시될 수 있다. 시간 영역에서 샘플당 콘볼루션(convolution)이 주파수 영역에서 블록당 원소방향 곱으로 변환되기 때문에, 계산의 복잡성의 감소가 획득된다. M ≥ N + B - 1에 대해, 우리는 블록 길이 B 및 , 길이 M의 DFT를 갖는 블록 처리를 사용한다. 입력 신호들의 변환은 S > a ≥ 0에 대해

로 기술될 수 있고, 여기에서F ^M은 M x M 푸리에 행렬이다. 푸리에 행렬의 (a,b)'번째 원소(0 ≤ a 〈 M, 0 ≤ b〈 M 에 대해)은

으로 주어진다.

그 후에, 필터는 주파수 영역에서

에 의해 계산될 수 있다.

모든 S 〉a ≥ 0에 대해, 주파수 영역 필터 계수들은 시간 영역 계수들에 관련하며 이것은

에 의해 표시될 수 있다.

효율적으로 실행하기 위해, 블록 길이(B)는 큰 처리 딜레이가 되는, 필터 길이(N)와 동일한 순서로 선택되어야 한다.

처리 딜레이를 감소시키기 위해, 필터는 우리가 도 2의 실행으로 얻을수 있는 길이(B)의 더 작은 부분과를 갖는 더 작은 부분으로 분할될 수 있고,

에 의해 설명될 수 있다.

필터의 갱신 부분에 대해, 어떤 부분은 큰 계산 복잡성이 되는, 알고리즘과 같은 RLS를 사용하여 시간 영역에서 입력 신호들이 개별적으로 상호관련될 수 없는 수렴 동작을 개선하도록 개별 갱신 알고리즘 S를 사용할 수 있다.

1995년 11월, Eindhoven(Netherlands), Eindhoven University of Technology, G.P.M. Egelmeers에 의해 저술된, Real time realization of large adaptive filters, Ph.D. 논문에 기술된 바과 같이 (분할된)블록 주파수 영역 적응 필터로 주파수 영역에서의 실시에 의해 복잡성의 감소가 획득될 수 있다. 필터들의 입력 신호들사이에 상관관계가 있을 때, 비유일한(non-uniqueness) 문제에 기인하여, 이것은 매우 부적당한 수렴 동작이 될 수도 있다.

본 출원서에서, 알고리즘의 수렴 동작상의 입력 신호들사이의 교차 상관(crosscorrelation)의 영향을 감소시키는 주파수 영역에서 분할된 알고리즘을사용하는 것이 제안된다. 복잡성을 감소시키기 위해, 각각의 반복에서 A 연속적인 갱신의 합을 계산하도록 블록 길이(A)를 갖는 블록 처리가 사용된다. S 〉j ≥ 0에 대해, 계수 벡터는 S 〉j ≥ 0에 대해,

S 〉j ≥ 0 및 g_u〉j ≥0에 대해,

되도록를 갖는 길이(Z)의 g_u부분들로 분할된다.

푸리에 변환 길이(L)는 L ≥ Z + A - 1로 사용되고, 우리는 S 〉a ≥ 0에 대한 입력 신호 푸리에 변환을

로서 규정한다.

대각 행렬은 주요 대각으로 벡터를 포함하고, S 〉a ≥ 0에 대해,

중첩 저장 방법은 주파수 영역에서 적응 처리에 수반된 상관관계를 계산하기 위해 사용되고, 나머지 신호 벡터의 주파수 영역 변환은과 동일하다. MFDAF(자동 입력 주파수 영역 적응 필터) 알고리즘내의 필터 계수에 대한 갱신 방정식의 해는

로서 g_u〉i ≥ 0 에 대해 지금 규정될 수 있고 변환 행렬은

단,

로서 주어진다.

입력 채널의 파워 행렬은

단,

로서 규정된다.

상기 방적식의 기대값 연산자(ε{})는 추정 루틴에 의해 대체되어야 한다.

파워 행렬은

에 의해 추정될 수 있다.

곱셈의 횟수를 감소시키기 위해, 방정식의 스텝사이즈(stepsize) 변수(α)는

그러므로,

을 규정하여 상기 파워 추정 루틴에 결합된다.

그 후에, 파워 행렬의 추정은

에 의해 행하여 질수 있다.

이러한 알고리즘의 직접적인 적용은 안정성의 문제가 된다. 어떤 주파수 빈(bin)내의 입력 신호 파워이 매우 적을 때, 상기 빈내의 파워은 (매우) 적은 값으로 감소할 것이다. 그 다음에, 행렬의 역은 큰 값을 가질 것이고 부정확하게 될 것이다(숫자 및 추정 에러들에 기인하여). 이상적인 경우에, 파워 행렬 추정의 고유값들은 입력 신호 파워 행렬의 고유값들을 제거한다. 추정 에러에 기인하여, 이러한 목적은 단지 근접하게 되고, 부정합은 이상적인 수렴 동작으로부터 편이를 시작하여 불안정성을 발생시킬 수도 있다. 특히, 역 파워 행렬(inverse power matrix)의 추정값의 몇몇 고유값이 커지고, 입력 신호 파워 행렬의 (작은)고유값을 (정확히) 제거하지 않을 때, 불안정성이 발생할 수 있다. 파워 행렬의 추정값의 고유값에 대한 하한은 이러한 문제를 해결할 수 있다. 단일 채널의 경우에(또는 우리가 교차항(corss-term)을 잊었을때), 우리는 하위값에 하한을 적용하여 이러한 문제를 해결할 수 있다. 대각 행렬의 고유값이 대각선의 원소들과 동일하기 때문에 우리는 이렇게 할 수 있으며, 또한, 우리는 실제로 고유값을 제한한다. 다중 채널의 경우에, 우리는 또한 안정성을 확보하도록 고유값을 제한해야 하지만, 이러한 것들은 더이상 대각의 원소들과 동일하지 않다.

그러나, 우리는 파워 행렬의 모든 고유값이 포지티브(positive)이라는 것을 알고 있다. 우리는 제안된 최소값에 의해 그것들을 이동시킴으로써 고유값에 하한을 생성할 수 있다. 행렬(A)의 모든 고유값(λ)에 대해, 우리는A+ (P _min -λ')ㆍI의 행렬식이 0이 되어야 한다는 것을 알고 있다.A+P _min ㆍI의 고유값, 모든 λ'에 대해, λ' = λ + P_min(또한 다른 방법)되도록A의 고유값, λ가 되어야 한다. 이것은 행렬의 주요 대각선에 대한 상수(P_min)를 부가하여, 상기 행렬의 모든 고유값이 P_min에 의해 이동되는 것을 의미한다. 그러므로, 우리는 아래와 같이 규정한다;

된다.

알고리즘의 (이론적으로 이상적인)수렴 동작의 고유값들의 이러한 이동의 영향은 매우 적을 것이며, 실제로 상기 알고리즘은 훨씬 더 안정하다.

가 스파스 행렬(sparse matrix)이지만, 그것의 역을 계산하는 것은 SχS 매트릭스들의 L 반전을 더욱 요구할 것이고, LㆍS³연산 순서로 취해진다. 그러나, 우리가 역 그자체가 아닌, 입력 신호들을 갖는 그것의 행렬 벡터 곱을 필요로하는 것과 같이, 우리는 LㆍS²연산 순서로 요구하는 시스템

을 해결함으로서 그것을 또한 고찰할 수 있다.

또다른 선택은의 역을 직접적으로 추정하는 것이며, 또한 상기 역은 LㆍS²와 비례하는 다수의 연산이 된다. 그러나, 또한 이러한 경우에, 우리는 안정성을 확보하도록 고유값을 제한해야 한다.

단순 알고리즘은 다음과 같이 주어진다;

단,

우리는 α를 통합할 수 있고,

이 된다.

상기 알고리즘은 포지티브의 고유값을 갖는 행렬을 보증하지 않으므로 많은 안정성 문제들을 생긴다. 단일 채널의 경우에, 우리는 추정값에 하한을 사용하여 알고리즘을 안정화할 수 있고, 상기 행렬이 대각이기 때문에 자동적으로 포지티브의 추정값이 되지만, 다중 채널의 경우에서는 불가능하다.

포지티브의 고유값

포지티브의 고유값들을 갖는를 추정하는 알고리즘의 정확한 변환은 포지티브의 고유값을 갖는 역에 대한 추정 알고리즘이 될 것이다. 이것은 행렬 반전 보조정리(matrix inversion lemma)를 사용하여 행해질 수 있다.

되는 행렬A이 있을 때, 역행렬A의 (A)^-1은

으로 표현될 수 있다.

및

를 선택함으로써, 우리는 방정식(14)를 사용하여

단,

을 획득한다.

알고리즘(19)은 행렬 반전을 수반하지 않고, 방정식(20)의 행렬로서,L /2 + 1 나눗셈만이 실수값 대각 행렬(real valued diagonal matrix)이다.

고유값의 극한

(비 반전(non-inverse))파워 행렬의 대각에 상수를 부가하는 것과 동일한 역파워 행렬의 연산은 상기 문제를 해결할 것이다. 전체 ( SㆍL )x( SㆍL ) 항등식 매트릭스를 부가하고 행렬 반전 보조 정리로 역 파워 행렬의 동일한 연산을 구하도록 하는 것은, 우리가 회피하기를 원하는 행렬 반전을 요구하는 알고리즘이 되며, 그래서, 우리는

단

하게 한다.

행렬I이 계수SㆍL및 곱 행렬들(product matrices)(및) 모두가 (많아야)L의 계수를 가질 때, 이것은 S＞1에 대해 불가능하다. 우리가의 평균값을 필요로 할 때, 우리는 연속적인 갱신(S)를 통해 평균값을 취함으로써 해답을 구할 수 있다. 우리는

단 i=l mod S,

단,

하도록를 구할 것이다.

S = 1일 때, 우리는

을 얻는다.

S ＞ 1일 때, 해답은 무한한 수이다. 우리가 가능한 작게 최대 왜곡(가장 큰 행렬 원소)을 유지하려면, 우리는 모든 S ＞ j ≥ 0과 S ＞ i ≥ 0에 대한

선택되어야 한다.

S = L인 경우, 실수 대칭 행렬U ^L이 있다면, S = 2L인 경우, 실수 대칭 행렬U ^2L은

으로 주어진다.

상기 방정식을 사용하여, 우리는 i＞0를 가지고 모든를 구성할 수 있다. S + 1이 2개의 파워이 아니라면, 우리는 2ⁱ＞ S + 1 ＞ 2^i-1인 경우에 행렬을 사용하고, 마지막 S 열을 사용할 것이다. 표 1에서, 고유값에 극한에 따른 직접 역추정을 사용하는 파워 행렬 추정 알고리즘이 요약된다.

초기화

반복

의 역은 동일한 구조를 갖는 스파스 행렬이며 우리는

를 규정하고, 0 ≤ i ＜ S 및 0 ≤ j ＜ S 일때,

것을 주목하라.

도 5는 적응 필터(AF5)(하나만 도시됨)를 갖는 스테레오 에코 제거기(SEC5)를 사용하는 원격지간 회의 시스템(TS5)의 예를 개략적으로 도시한다. 원격지간 회의 시스템은 멀리 떨어진 방(FR5)과 가까운 방(NR5)를 포함한다. 적응 필터(AF5)는 스테레오 에코 신호들을 필터링해야 한다.

도 6는 원격지간 회의 시스템(TS6)에 사용된 스테레오 에코 제거기(SEC6)의 예를 도시한다. 스테레오 에코 해체는 가까운 방(NR6)과 멀리 떨어진 방(FR6)사이에서 실행되어야 한다. 이러한 예에서, 또한 프로그램 가능한 필터들(PF61 및 PF62)은 에코 제거의 성능을 개선시키기 위해 사용된다. 프로그램 가능한 필터들은 US-A-4,903,247에 기술된다.

또한, 프로그램 가능한 필터들의 출력은 동적 에코 억제기(DES6)에 공급되고, 스테레오 에코 제거기의 출력마다 연결된다. 동적 에코 억제기는 WO-97-45995에 기술된다.

전체 스테레오 통신은 가까운 말단측에 2개와 먼 말단측에 2개, 4개의 스테레오 AEC를 요구한다. 도 6에서, 그러한 에코 제거기들 중 하나만이 도시된다. 각각의 측에서, 입력 신호 지연선들, FFT 및 2개의 에코 제거기의 역 파워 행렬에 의한 곱셈을 결합할 수 있고, 상관을 제거하는 관련한 별도의 계산의 복잡성이 훨씬 더 감소되는 것을 의미한다. AEC의 성능은 도시된 바와 같이, 동적 에코 억제기에 의해 더욱 개선되었다.

도 7는 다른 응용을 도시하며, 스테레오 에코 제거기(SEC7)가 음성 제어 오디오(및 비디오) 시스템(VCS7)에 사용된다. 음성 인식 엔진에 의해 지역 스피커를 인식할 수 있도록, 우리는 확성기를 통해 오디오 셋트로 발산된 소리를 제거해야 한다. 이것은 스테레오 에코 제거기(SEC7)을 사용하여 행해진다. 이러한 예에서 또한 스테레오 에코 제거를 개선하도록, 프로그램 가능 필터들(PF71 및 PF72)이 사용되고, 동적 에코 억제기(DES7)가 사용된다. 동적 에코 억제기의 출력은 필터링된 신호를 처리하는 음성 인식기(VR7)에 연결된다.

도 8는 방안의 사람으로부터의 음성 신호(sp1)와 함께 방(R8)안의 마이크에 수신된 잡음을 제거하는 잡음 제거기(NC8)의 예를 도시한다. 이러한 예에서, 마이크는 빔 포머(beam former)가 잡음 제거기(NC8) 및 프로그램 가능한 필터들(PF81, PF82, 및 PF83)에 신호들을 공급하는 빔 포머(beam former)(BF8)에 신호들을 공급한다. 또한, 잡음 제거기는 동적 에코 억제기(DES8)을 포함한다. 동적 에코 억제기의 출력은 수신된 음성(sp2)의 추정값을 공급하도록 잡음 억제기의 출력에 연결된다.

또한, 다중 입력 잡음 제거기에서, 도 8에 도시되는 바와 같이, 성능을 개선하도록 우리는 DES(사실상 에코를 억압하지 않지만, AEC의 경우에 DES와 유사함) 및 성능을 개선하도록 프로그램 가능한 필터들을 적용할 수 있다. 별도의 문제는 빔포머가 완벽하지 않기 때문에, 필터들의 입력들이 원하는 신호("신호 누출")의 몇몇 원소들을 포함할 수 있는 것이다. 원하는 신호가 음성 신호일 때, 음성 감지기가 MFDAF의 동작을 개선하는데 사용될 수 있다.

스테레오 에코 제거기 및 잡음 제거기의 응용의 상기 몇몇 예들이 기술되었다. 본 발명은 다른 응용에 사용될 수 있고 상술된 응용에 제한되지 않는 것이 주목되어야 한다.

Claims (14)

1. 적어도 2개의 신호들을 수신하는 적어도 2개의 입력들 및 출력 신호를 공급하는 출력을 포함하는 적응 필터에 있어서,

   계수 갱신은 변환된 영역내에서 결정되고, 상기 필터는 상기 계수 갱신에 대한 상기 입력들사이의 상관 영향을 감소시키는 수단을 포함하는 것을 특징으로 하는 적응 필터.
2. 제 1항에 있어서,

   상기 변환된 영역은 주파수 영역인 것을 특징으로 하는 적응 필터.
3. 제 2항에 있어서,

   상기 필터는 변환된 자기 상관 및 교차 상관 행렬들을 갖는 갱신 알고리즘을 포함하는 적응 필터.
4. 제 2항에 있어서,

   상기 상관 영향의 감소는 상기 입력 채널의 파워 행렬의 역과 상기 주파수 영역 입력 신호들을 곱하여 획득되는 것을 특징으로 하는 적응 필터.
5. 제 4항에 있어서,

   입력 채널 파워 행렬은, 1차 순환 네트워크에 의해 입력으로서 상기 주파수 영역 입력 신호들과 그것들의 공액들(conjugates)의 곱으로, 또한 각각의 반복에서 임의의 포지티브의 값이 주요 대각선의 모든 원소들에 부가되는 것을 특징으로 하는 적응 필터.
6. 제 4항에 있어서,

   상기 알고리즘은 방정식의 원소들 중 한 원소로서 상기 입력 채널 파워 행렬을 갖는 1차 집합 방정식의 해를 포함하는 것을 특징으로 하는 적응 필터.
7. 제 3항에 있어서,

   상기 입력 채널의 행렬의 역은 순환 갱신 알고리즘을 사용하여 직접적으로 추정되며, 또한 극한이 상기 행렬의 고유값에 부가되는 것을 특징으로 하는 적응 필터.
8. 제 1항에 따른 필터를 포함하는 신호 처리 디바이스.
9. 제 8항에 있어서,

   상기 디바이스는 상기 필터의 출력에 연결된 후처리 디바이스로서 동적 에코 및 잡음 억제기를 더 포함하는 신호 처리 디바이스.
10. 제 8항에 있어서,

    상기 신호 처리 디바이스는 프로그램 가능 필터를 포함하는 것을 특징으로 하는 신호 처리 디바이스.
11. 제 8항에 따른 적어도 하나의 신호 처리 디바이스를 포함하는 원격지간 회의 시스템.
12. 제 8항에 따른 적어도 하나의 신호 처리 디바이스를 포함하는 음성 제어 전자 디바이스.
13. 제 8항에 따른 적어도 하나의 신호 처리 디바이스를 포함하는 잡음 제거 시스템.
14. 적어도 2개의 신호들을 필터링하여 출력 신호를 공급하는 방법에 있어서,

    상기 주파수 영역내의 상기 계수 갱신들을 결정하고, 상기 계수 갱신에 대한 상기 입력 신호들사이의 상관 영향을 감소시키는 것을 특징으로 하는 방법.