KR102423744B1

KR102423744B1 - 음향 반향 제거

Info

Publication number: KR102423744B1
Application number: KR1020197018266A
Authority: KR
Inventors: 마르쿠스 크리스토프; 게르하르트 파핑거
Original assignee: 하만 베커 오토모티브 시스템즈 게엠베하
Priority date: 2016-12-30
Filing date: 2017-12-08
Publication date: 2022-07-21
Also published as: US20200152219A1; EP3563561A1; CN110140346A; CN110140346B; KR20190098981A; US11081124B2; WO2018121972A1

Abstract

음향 반향을 제거하기 위한 시스템 및 방법은 하나 이상의 마이크를 이용하여 음원에 의해 발생되고 음원으로부터 하나 이상의 알려지지 않은 전달 함수를 갖는 하나 이상의 알려지지 않은 전달 경로를 통해 하나 이상의 마이크로 전달되는 음을 수신(pick up)하고, 그로부터 하나 이상의 전기 마이크 신호를 제공하는 단계를 포함한다. 상기 시스템 및 방법은 하나 이상의 적응적 필터의 하나 이상의 추정되는 전달 함수를 이용하여 하나 이상의 알려지지 않은 전달 함수의 근사치를 내고 하나 이상의 추정되는 전달 함수를 이용하여 음원에 의해 발생되는 음을 나타내는 하나 이상의 전기 신호를 필터링하여 그로부터 하나 이상의 추정되는 신호를 제공하는 단계를 더 포함한다. 상기 시스템 및 방법은 하나 이상의 추정되는 전달 함수에 따라 하나 이상의 전기 마이크 신호를 각각, 주파수 의존적으로 또는 독립적으로 감쇠 또는 증폭시키는 단계를 더 포함한다.

Description

음향 반향 제거

본 개시 내용은 음향 반향 제거의 시스템 및 방법("음향 반향 제거기"로 총칭됨)에 관한 것이다.

예를 들어, 음악, 음성 등을 비롯한 음과 같은 음향 신호들을 동시에 송수신하면서 반향 또는 잔향 효과를 억제, 소거 또는 보상하는 것은 통상적으로 음향 반향 제거(AEC, acoustic echo cancellation)로 지칭된다. 예를 들어, 핸즈프리 전화기들로 통화 중, 발신자의 목소리는 라우드 스피커로부터 원격 가입자의 마이크에 도달되고 발신자에게 다시 송신되어 발신자가 말하면서 자신의 목소리의 반향을 듣게 된다. 반향 제거는 그러한 원치 않는 효과를 감소시키기 위해 채용된다.

음향 반향을 제거하기 위한 시스템은 음원에 의해 발생되고 상기 음원으로부터 하나 이상의 알려지지 않은 전달 함수를 갖는 하나 이상의 알려지지 않은 전달 경로를 통해 하나 이상의 마이크로 전달되는 음을 수신(pick up)하도록, 그리고 그로부터 하나 이상의 전기 마이크 신호를 제공하도록 구성된 상기 하나 이상의 마이크를 포함한다. 상기 시스템은 하나 이상의 추정되는 전달 함수를 이용하여 상기 하나 이상의 알려지지 않은 전달 함수의 근사치를 내도록 그리고 상기 하나 이상의 추정되는 전달 함수를 이용하여 상기 음원에 의해 발생되는 상기 음을 나타내는 하나 이상의 전기 신호를 필터링하여 그로부터 하나 이상의 추정되는 신호를 제공하도록 구성된 하나 이상의 적응적 필터를 더 포함한다. 상기 시스템은 상기 하나 이상의 추정되는 전달 함수에 따라 상기 하나 이상의 전기 마이크 신호를 각각, 주파수 의존적으로 또는 독립적으로 감쇠 또는 증폭시키도록 구성된 마이크 보정 블록을 더 포함한다.

음향 반향을 제거하기 위한 방법은 하나 이상의 마이크를 이용하여 음원에 의해 발생되고 상기 음원으로부터 하나 이상의 알려지지 않은 전달 함수를 갖는 하나 이상의 알려지지 않은 전달 경로를 통해 상기 하나 이상의 마이크로 전달되는 음을 수신하고, 그로부터 하나 이상의 전기 마이크 신호를 제공하는 단계를 포함한다. 상기 방법은 하나 이상의 적응적 필터의 하나 이상의 추정되는 전달 함수를 이용하여 상기 하나 이상의 알려지지 않은 전달 함수의 근사치를 내고 상기 하나 이상의 추정되는 전달 함수를 이용하여 상기 음원에 의해 발생되는 상기 음을 나타내는 하나 이상의 전기 신호를 필터링하여 그로부터 하나 이상의 추정되는 신호를 제공하는 단계를 더 포함한다. 상기 방법은 상기 하나 이상의 추정되는 전달 함수에 따라 상기 하나 이상의 전기 마이크 신호를 각각, 주파수 의존적으로 또는 독립적으로 감쇠 또는 증폭시키는 단계를 더 포함한다.

그 외 다른 시스템들, 방법들, 특징들 및 이점들은 다음의 구체적인 설명및 첨부된 도면들을 검토할 때 당업자에게 명백하거나 명백해질 것이다. 그러한 모든 추가 시스템, 방법, 특징 및 이점은 이 설명 내에 포함되고, 본 발명의 범위 내에 있으며, 이하의 청구범위에 의해 보호되는 것으로 의도된다.

시스템은 이하의 도면들 및 설명을 참조하여 더 잘 이해될 수 있다. 도면들에서, 동일한 참조 부호들은 상이한 도면들 전반에 걸쳐 대응하는 부분들을 나타낸다.
도 1은 음향 반향 제거기의 원리를 도시하는 신호 흐름도이다.
도 2는 중첩-저장 기반, 주파수 도메인 적응적 필터의 신호 흐름도이다.
도 3은 잔류 반향 억제 역할을 하는 적응적 후 필터를 이용한 음향 반향 제거기를 도시하는 신호 흐름도이다.
도 4는 다중 단일-채널 음향 반향 제거기의 원리를 도시하는 신호 흐름도이다.
도 5는 근사, 2차원, 전 방향성 파동-장을 생성하기 위한 다수의 라우드 스피커, 및 동일한 디바이스에 설치되는 다수의 에러 마이크를 갖는 대표적인 디바이스를 도시하는 개략도이다.
도 6은 자동 마이크 보정이 되는 다중 단일-채널 음향 반향 제거기를 도시하는 신호 흐름도이다.

도 1은 음향 반향 제거(AEC, acoustic echo cancellation)에 적용 가능한 적응적 시스템 식별의 원리를 도시하는 신호 흐름도이다. 간략함을 위해, 도 1은 시간 도메인에서 동작하는 음향 반향 제거기를 나타내나 그 외 예를 들어, 서브 대역들 또는 주파수 도메인에서 동작하는 것과 같은 다른 음향 반향 제거기들도 적용 가능하다. 음향 반향 제거는 예를 들어, 반향을 포함하는 전체 음 신호에서 이러한 반향의 추정을 나타내는 추정되는 반향 신호를 제함으로써, 이루어질 수 있다. 실제 반향 신호의 추정을 제공하기 위해, 시간 도메인에서 동작하고 시간 이산 신호들을 처리하기 위해 적응적 디지털 필터들을 채용할 수 있는 알고리즘들이 개발되어져 왔다. 채용되는 적응적 디지털 필터들은 필터의 송신 특성들을 정의하는 네트워크 파라미터들이 미리 결정된 품질 기능을 참조하여 최적화되는 것과 같은 방식으로 동작할 수 있다. 품질 함수는 예를 들어, 기준 신호를 참조로 적응적 네트워크의 출력 신호의 평균 제곱 오차을 최소화함으로써, 구현된다.

도 1에 도시된 대표적인 배열에서, 알려지지 않은 시스템(101) 및 적응적 필터(102)는 병렬로 동작한다. 알려지지 않은 시스템(101)은 그것의 전달 함수(w(n))에 따라, 입력 신호(x(n))를 신호원(103)으로부터 신호(y(n))로 변환한다. 신호원(103)은 라우드 스피커일 수 있고 입력 신호(x(n))는 라우드 스피커에 공급되고 그에 의해 재생되는 신호일 수 있다. 신호(y(n))는 라우드 스피커에 의해 재생되고 알려지지 않은 시스템(101)을 통해 마이크(104)로 전달되는 음을 수신(pick up)하는 마이크(104)의 출력 신호일 수 있다. 적응적 필터(102)는 그것의 전달 함수(

(n))에 따라, 입력 신호(x(n))를 신호(

(n))로 변환한다. 알려지지 않은 전달 함수(w(n))를 갖는 알려지지 않은 시스템(101)에 의해 변조되는 입력 신호(x(n))인 신호(y(n))는 원하는(desired) 신호로서의 역할을 한다. 적응적 필터(102)의 출력, 즉, 신호(

(n))는 입력 신호(x(n)) 및 에러 신호(e(n))에 따른 필터 제어기(105)의 제어를 받아 적응적 필터(102)에 의해 입력 신호(x(n))에서 제하여 진다. 예를 들어, 알려져 있는 최소 평균 제곱(LMS, Least Men Square) 알고리즘을 채용하면, 필터 제어기(105)는 도 1의 감산기(106)에 의해 나타내어지는 바와 같이 신호(y(n))와 신호(

(n)) 간 차인 에러 신호(e(n))가 최소화되도록 적응적 필터(102)의 필터 계수들을 반복 루프로 조절한다. 그에 따라, 신호(

(n))는 신호(y(n))에 접근하고 알려지지 않은 전달 함수(w(n))는 전달 함수(

(n))로 근사화되어, 제거의 면에서, 신호(y(n)), 예를 들어, 반향 신호의 최대 제거가 신호(

(n))에 의해 이루어지게 된다.

LMS 알고리즘은 소위 최급 강하법(강하법)에 기초하여 간단한 방식으로 경사를 근사화한다. 알고리즘은 시간-순환 방식으로 동작한다, 즉, 알고리즘은 각 새로운 데이터 세트와 반복해서 실행되고 그에 따라 해가 업데이트된다. 그것의 작은 복잡성, 그것의 수치 안정성 및 낮은 메모리 요건에 기인하여, LMS 알고리즘은 적응적 필터들 및 적응적 제어에 특히 적합하다. 대안적으로, 적응 방법은 예를 들어, 순환 최소 자승, QR 분해 최소 자승, 최소 자승 격자, QR 분해 격자 또는 경사 적응 격자, 제로 강압, 통계적 경사 알고리즘들 등을 채용할 수 있다. 상기한 적응 알고리즘들과 관련하여 무한 임펄스 응답(IIR, Infinite Impulse Response) 필터들 또는 유한 임펄스 응답(FIR, Finite Impulse Response) 필터들이 적응적 필터들로 사용될 수 있다.

시간 도메인 음향 반향 제거기가 메모리의 최소 소비 및 낮은 레이턴시와 같은 몇몇 이점을 갖는다는 사실에도 불구하고, 낮은 제거 성능, 높은 프로세서 부하 및 알고리즘의 제한된 제어와 같은 시간 도메인 동작에 수반되는 몇몇 단점도 있다. 예를 들어, 서브 대역들 또는 주파수 도메인에서 동작하는 것들과 같은, 그 외 다른 유형들의 음향 반향 제거기들이 몇몇 적용 예에 더 적합할 수 있고, 예를 들어, 적응 단계 크기를 제어하거나 잔류 반향 억제(RES, residual echo suppression) 기능을 구현하는 적응적 후 필터(APF, adaptive post filter)를 채용하기 위해, 더 높은 정도의 유연성을 버릴 수 있다. 매우 효율적인 음향 반향 제거기는 신호 처리 프레임 역할을 하는 중첩-저장(OLS, overlap-save) 방법을 사용할 수 있고 최소 50%의 중첩을 이용할 수 있는 알려져 있는 주파수 도메인 적응적 필터(FDAF, frequency domain adaptive filter) 구조에 기초한다.

중첩-저장 기반, 주파수 도메인 적응적 필터를 이용하는 음향 반향 제거기가 도 2에 상세하게 도시되어 있다. 입력 신호와 출력 신호간 레이턴시는 중첩 크기에 의해 제어될 수 있다는 것이 주의되어야 한다. 고효율은 N/2(N은 고속 푸리에 변환(FFT, Fast Fourier Transformation)의 길이를 나타냄)인 최소 50%의 중첩이 사용될 경우 이루어질 수 있다. 동시에 이는 또한 N/2[샘플들]의 최대 가능한 레이턴시를 반영한다. 이제 자유롭게 중첩의 크기를 선택하고 그로 인해 시스템을 최소 용인 가능한 레이턴시로 조절하고/거나 이용 가능한 처리 능력으로 조절하여, 처리 능력과 레이턴시 간 양호한 절충점을 찾을 수 있다.

주파수 도메인 블록 최소 평균 제곱(FBLMS, Frequency Domain Block Least Mean Square) 알고리즘은 주파수 도메인에서 적응적 필터를 구현하기 위한 매우 효율적인 접근법이다. FBLMS 알고리즘은 중첩-저장 알고리즘 또는 중첩-가산 알고리즘으로 구현될 수 있다. 중첩-저장 알고리즘은 중첩-가산 알고리즘보다 더 효율적으로 구현될 수 있고 그에 따라 후술될 음향 반향 제거기에서 사용된다. 중첩-저장 FBLMS 알고리즘을 사용하는 음향 반향 제거기는 도 2에 따라, 신 입력 블록 신호를 제공하기 위한 기능 블록(219), 출력 블록 신호의 후반을 사용(50% 중첩의 경우)하기 위한 기능 블록(205), 제로들을 채우기 위한 기능 블록(207), 블록의 하반을 삭제하기 위한 기능 블록(214), 제로들을 추가하기 위한 기능 블록(215) 및 켤레 복소수 스펙트럼을 형성하기 위한 기능 블록(217)을 포함할 수 있다. 나아가, 음향 반향 제거기에는, 신호 승산기들(203, 210 및 218), FFT를 위한 기능 블록들(220, 208 및 216), 역 고속 푸리에 변환(IFFT, Inverse Fast Fourier Transformation)을 위한 두 개의 기능 블록(204 및 213), 지연 요소(212) 및 두 개의 신호 가산기(206 및 211)가 포함된다.

기능 블록(219)의 출력은 FFT를 실행하기 위한 기능 블록(220)으로 공급되는 신 입력 블록 신호를 제공한다. 기능 블록(220)의 출력은 신호 승산기(203)로 그리고 켤레 복소수 스펙트럼을 형성하기 위한 기능 블록(217)으로 공급된다. 신호 승산기(203)의 출력은 IFFT를 위한 기능 블록(204)으로 공급되며, 이의 출력은 출력 블록 신호의 후반을 사용(50% 중첩의 경우)하기 위한 기능 블록(205)으로 공급된다. 기능 블록(205)의 출력은 신호 가산기(206)로 공급되며, 이의 출력은 블록의 상반을 제로들로 채우기 위한(50% 중첩의 경우) 기능 블록(207)으로 공급된다.

블록의 상반을 제로들로 채우기 위한(50% 중첩의 경우) 기능 블록(207)의 출력은 FFT를 위한 기능 블록(208)으로 공급되며, 이의 출력은 신호 승산기(218)로 공급된다. 신호 승산기(218)의 출력은 신호 승산기(210)로 공급된다. 차례로, 신호 승산기(210)의 출력은 신호 가산기(211)로 공급된다. 지연 요소(212)의 출력은 신호 가산기(211)의 다른 입력으로 공급되고 IFFT를 위한 기능 블록(213)으로 입력된다.

IFFT를 위한 기능 블록(213)의 출력은 블록의 후반을 삭제하기 위한 기능 블록(214)으로 공급되며, 이의 출력은 제로들을 추가하기 위한 기능 블록(215)으로 공급된다. 블록의 후반에 제로을 추가하기 위한 기능 블록(215)의 출력은 FFT를 위한 기능 블록(216)으로 공급되며, 이의 출력은 신호 승산기(203)의 다른 입력으로 공급된다. FFT를 위한 기능 블록(220)의 출력은 또한 켤레 복소수 스펙트럼을 형성하기 위한 기능 블록(217)으로 공급되며, 이의 출력은 신호 승산기(218)의 다른 입력으로 공급된다.

신 입력 블록 신호를 만들어 내기 위한 기능 블록(219)의 입력은 입력 신호(x(n))를 수신하고 입력 블록 신호를 형성하며, 이는 선택된 중첩에 따라, 이전에 처리된 신호 블록 "구"의 신호 부분 및 현재 수신된 입력 신호(x(n))의 신호 부분으로 이루어진다. 이러한 입력 블록 신호는 FFT를 위한 기능 블록(220)으로 공급되며, 그에 따라 이의 출력에 주파수 도메인으로 변환되는 신호(X(e^jΩ, n))가 제공된다. 그 후 이러한 출력 신호(X(e^jΩ, n))는 신호 승산기(203) 뿐만 아니라 켤레 복소수 스펙트럼을 형성하기 위한 기능 블록(217)으로 공급된다.

신호(

(e^jΩ, n))는 신호 승산기(203)에서 신호(X(e^jΩ, n))를 기능 블록(216)의 출력 신호(

(e^jΩ, n))로 곱함으로써 IFFT를 위한 기능 블록(204)으로 공급되며, 이에 의해 기능 블록(204)의 출력에서 시간 도메인으로 변환되는 대응하는 출력 신호가 형성된다. 그 후 출력 신호는 추가 처리를 위해 출력 블록 신호의 후반을 사용(50% 중첩의 경우)하기 위한 기능 블록(205)으로 공급된다. 이러한 기능 블록에서, 블록 신호의 하반(중첩이 50%)은 신호(

(n))를 만들어 내기 위해 사용된다.

출력 신호(

(n))는 신호 가산기(206)로 공급되며, 이의 다른 입력은 신호(y(n))를 수신한다. 신호(

(n))는 신호 가산기(206)에서 신호(y(n))에서 제하여지며, 이에 의해 신호 가산기(206)의 출력에서 에러 신호(e(n))가 형성된다. 에러 신호(e(n))는 제로들을 채우기 위한 기능 블록(207)으로 공급되어, 이러한 에러 블록 신호의 상반이 제로들로 채워지게 된다(중첩은 50%, 신 입력 블록 신호를 만들어 내기 위한 기능 블록(219) 참조).

제로들을 채우기 위한 기능 블록(207)의 출력에 이러한 방식으로 구현되는 신호는 FFT를 위한 기능 블록(208)의 입력으로 라우팅되며, 이의 출력에 주파수 범위로 변환되는 신호(E(e^jΩ, n))가 제공된다. 후속 신호 승산기(218)에서, 이러한 신호(E(e^jΩ, n))는 켤레 복소수 스펙트럼을 형성하기 위해 기능 블록(217)에서의 처리에 의해 FFT를 위한 기능 블록(220)의 출력 신호(X(e^jΩ, n))로부터 나오는 신호(X^*(e^jΩ, n))로 승산된다. 그 후 신호 승산기(218)의 출력에서 그로부터 나오는 신호는 신호 승산기(210)로 공급된다.

신호 승산기(210)에서, 이러한 출력 신호는 2·μ(e^jΩ, n)으로 승산되며 여기서 μ(e^jΩ, n)은 적응적 필터의 시간 및 주파수 의존 단계 크기에 대응한다. 그 후 그러한 방식으로 형성된 신호 승산기(210)의 출력 신호는 신호 가산기(211)에서 신호(

(e^jΩ, n))에 추가되고 신호(

)는 지연 요소(212)를 통해 대응 지연에 의해 FFT를 위한 기능 블록(216)의 출력 신호(

(e^jΩ, n+1))로부터 나온다. 그 후 그 결과로 생긴 신호 가산기(211)의 출력 신호(W(e^jΩ, n+1))는 IFFT를 위한 기능 블록(213)으로 공급되며, 이는 그에 따라 출력 신호를 제공하고 다시 시간 도메인으로 변환된다.

그 후, FIR 필터의 필터 계수들의 블록의 후반은 기능 블록(214)에서 폐기되고 기능 블록(215)에서 계수 값들, 제로들로 대체된다. 차례로, 신호는 기능 블록(216)에 의해 주파수 도메인의 신호로 변환되고 신호(X(e^jΩ, n))로의 승산을 위해 신호 승산기(203)로 공급된다. IFFT를 위한 기능 블록(213), 블록의 하반의 계수들을 소거하기 위한 기능 블록(214), 제로들을 추가하기 위한 기능 블록(215) 및 FFT를 위한 기능 블록(216)에 의해 도 2에 따른 신호 흐름도로 구현되는 신호 처리 블록은 중첩 저장 FBLMS 알고리즘에 대응한 "제약"으로 확인된다.

본 예들에서, FBLMS 알고리즘은 표준화된, 주파수-선택적, 시변 적응 단계 크기(μ(e^jΩ, n))를 포함한다. 이러한 적응 단계 크기(μ(e^jΩ, n))는 입력 신호(X(e^jΩ, n))의 전력 밀도 스펙트럼으로 정규화된다. 정규화는 입력 신호의 진폭의 변동을 보상하는 효과를 가지며, 이는 적응적 필터들이 더 빠른 속도도 수렴하게 한다. 이러한 정규화는 뚜렷한 진폭의 변동을 포함하는 음성 신호가 입력 신호로 사용되고 그에 따라 통상적인 적응적 필터들은 항상 느린 수렴 속도를 포함하기 때문에 음향 반향 제거기 시스템에서 특히 FBLMS 알고리즘에 기인하여 긍정적인 효과를 갖는다. 이러한 통상적인 적응적 필터들의 난점은 주파수 도메인에서의 정규화에 의해 간단한 방식으로 회피될 수 있다.

도 3을 참조하면, 도 1에 도시된 음향 반향 제거기가 단지 알려지지 않은 시스템의 선형 부분만을 제어할 수 있기 때문에, 알려지지 않은 시스템(101)의 예를 들어, 비선형 부분들로부터 비롯되는 반향을 또한 감소시키기 위해 추가 APF(301)가 감산기(106)의 다운스트림에 연결될 수 있다. 신호원(103)과 같은 라우드 스피커로부터 방사되어 마이크(104)와 같은 마이크로 수신되는 신호들과 같은 반향을 감소시키려 하는 상황들에서, 예를 들어, 핸즈프리 시스템들, 핸드헬드 또는 모바일 디바이스들에 공통적으로, 라우드 스피커가 특정 상한 레벨을 너머 구동되면 문제가 발생한다. 그러한 상황에서, 주로 라우드 스피커에 기인하여, 특히 그것이 소형일 경우, 비선형성은 필연적으로 발생될 것이다. 비선형성은 통상적인 음향 반향 제거기에 의해 핸들링될 수 없기 때문에, 소위 잔류 반향이 바람직하지 않게 출력 신호에 남아 있을 것이다. 이러한 이유로 잔류 반향 억제기가 채용될 수 있다. 라우드 스피커에 의해 발생되는 비선형성의 정도는 입력 신호의 함량뿐만 아니라 볼륨에 따른다.

후술될 대표적인 음향 반향 제거기들에서, 잔류 반향 억제기는 현재 상황으로 예를 들어, 입력 신호의 에너지 함량으로 그리고 그에 따라 발생된 비선형성의 가능한 정도로 자동으로 조절된다. 잔류 반향 억제기를 고정된, 적극적인 상태로 설정하는 것은 특히 잔류 반향이 전혀 존재하지 않거나 거의 존재하지 않는 경우들에서, 출력 신호의, 예를 들어, 음성 신호의 음질에 부정적인 영향을 미칠 것이다. 후술될 본 시스템들 및 방법들은 잔류 반향 억제기가 현재 입력 신호 에너지에 따라 그것의 성능이 조절되는 동시에 가능한 낮은 정도를 유지하여 사용되게 설계된다. 본 시스템들 및 방법들은 처리 능력 및 메모리를 많이 필요로 하지 않는다.

음향 반향 제거기는 부가 경로로도 지칭되어, 실내 임펄스 응답(RIR, room impulse response)의 갑작스런 변화 또는 동시 통화와 같은 다양한 바람직하지 않은 상황에서 동작될 수 있다. 적응 단계 크기(μ(e^jΩ, n))의 적응 제어는 다음과 같이 설명될 수 있다:

μ(e^jΩ, n) = Dist(e^jΩ, n) SNR(e^jΩ, n), 여기서

Ω는 정규화된 주파수(k/ f_s)이며, k는 이산 주파수 빈이고,

n은 이산 시간 인덱스이고,

Dist(e^jΩ, n)은 시간 및 주파수 의존적, 추정 시스템 거리이며,

SNR(e^jΩ, n)은 시간 및 주파수 의존적, 추정 신호 대 잡음비이다.

도 2에 도시된 바와 같은 FDAF와 관련되어, Gerald Enzner, Peter Varymay, "Robust and Elegant, Purely Statistical Adaptation of Acoustic Echo Canceler and Post Filter, International Workshop on Acoustic Echo and Noise Control(IWAENC2003), 2003. 9., 일본, 교토와 유사한 통계 접근법에 기초하여 적응적, 적응 단계 크기(μ(e^jΩ, n)) 및 적응적 후 필터를 계산하기 위한 시스템 및 방법이 사용되며 이는 다음과 같이 기술될 수 있다:

단계 크기:

,

후 필터:

시스템 거리:

, 여기서 C는 동시 통화 검출 시, 각각 재적응의 속도가 제어될 수 있는 상수이다.

주파수 및 시간 의존 APF 필터 전달 함수(H (e ^jΩ, n))는 적응적 적응 단계 크기(μ(e ^jΩ, n))가 알려지면, 간단히 1에서 후자를 제함으로써 계산될 수 있다. 나아가, 시스템 거리(G(e^jΩ, n))는 순수하게 통계적 접근법을 이용하여 추정될 수 있다. 튜닝 파라미터(C)를 이용하여, 동시 통화 상황들에서 더 양호하게 수행하도록 - C가 작을수록, 동시 통화 검출(DTD, double talk detection) 성능이 양호해짐 - 또는 음향 반향 제거기가 급격한 부가 경로 변화의 경우 빠르게 재적응할 수 있게 하도록 적응 단계 크기(μ(e^jΩ, n))를 제어할 수 있다. 이러한 모든 계산 단계는 도 1에 도시된 음향 반향 제거기에 사용되는 제어기(105)를 대신하고 필터들(102 및 301)을 제어하는 필터 제어 블록(302)에서 일어날 수 있다.

적응적 후 필터(301)의 목적은 (선형) 음향 반향 제거기의 출력 신호(e(n)) 내에 남아 있는 것이 가능한 잔류 반향을 억제하는 것이다. 음향 반향 제거기의 기능적 원리는 예를 들어, 주파수 차감 면에서, 단일 채널 잡음 감소 방법에 필적할 만하다. 그에 따라, 적응적 후 필터(301)는 원치 않는 음향 인공물, 예를 들어, 악음(musical tone)을 생성할 수 있는 비선형 신호 처리 스테이지를 나타낸다. 인공물들을 회피하기 위한 방식은 이하에 제시되는 바와 같이, 적응적 후 필터(301)의 (주파수 의존) 댐핑을 최소 임계(H_min)로 제한하는 것이다:

.

H_min이 대략 H_min ≥ -6[dB]의 값들로 설정될 경우, 음향상 분산되는 인공물들이 적게 발생되거나 심지어 전혀 발생되지 않을 것인 한편, 약 H_min ≤ -9[dB]의 값들에서는 더 많은 인공물들이 인지될 수 있어 이러한 값 범위 내에 있는 최소 임계(H_min)가 선택될 수 있게 된다.

전술한 바와 같이, 적응적 후 필터(301)의 목적은 그렇지 않으면 예를 들어, 알려지지 않은 시스템의 비선형성에 기인하여, 선형 적응적 반향 제거기에 의해 감소될 수 없을 잔류 반향을 억제하는 것이다. 가장 관련 있는, 알려지지 않은 라우드 스피커-인클로저-마이크(LEM, loudspeaker-enclosure-microphone) 시스템은 이용되는 라우드 스피커에 따른다. 그에 의해, 볼륨이 높을수록, 즉, 음성 코일의 행정이 높을수록, 라우드 스피커가 비선형성을 발생시킬 개연성이 더 높다는 것이 유효하다. 이는 볼륨 설정(입력 신호의 진폭을 나타내는), 또는 더 일반적으로, 입력 전력(즉, 입력 신호의 전력) 제어, 최소 임계(H_min(p_x(n))) 사용 결정으로 이어지며, 여기서 p_x(n)은 입력 신호(x(n))의 추정되는, 시변 전력을 나타낸다:

,

이때 α는 평활 파라미터(α∈[0,...,1[ )이다.

그에 의해, 입력 전력 제어, 최소 임계(H_min(p_x(n)))는 다음과 같은 것으로 파악될 수 있다:

(

(n)) =

, 이때

H_MinInit는 입력 신호 전력과 무관한, 고정 최소 임계이고,

p_xdB(n) = 10log₁₀{p_x(n)}은 입력 신호 전력[dB]이고,

p_x _{dB TH}는 입력 신호 전력[dB]에 대한 임계이다.

이는 현재 입력 전력(p_xdB(n)(단위 [dB]))이 특정 입력 전력 임계(p_xdBTH) 아래로 유지될 경우, H_min(p_x(n))에 대해 고정 최소 임계(H_MinInit)가 사용될 것이라는 것을 의미한다. 그렇지 않으면, 입력 전력이 높을 수록, 그것이 선형적으로 상승할(대수 도메인에서) 것과 같은 방식으로 순시 입력 전력(p_xdB(n)), 최소 임계(H_MinInit) 및 입력 전력 임계(p_xdBTH)에 기초하여 순시 임계(H_min(p_x(n)))가 계산될 것이다.

도 4는 단일 채널 기준 신호(신호원(103)으로부터의 모노 입력 신호(x(n))를 재생하는 단일 라우드 스피커) 및 알려지지 않은 시스템들(경로들)(101₁ ... 101_M)의 전달 함수들(w₁(z) ... w_M(z))을 통해 신호원(103)에 음향상 결합되는 M>1개의 에러 마이크(104₁ ... 104_M)를 이용하는 다중 단일 채널 음향 반향 제거기를 도시한다. 보다시피, 이 경우 도 1에 도시된 바와 같은 이전에 개시된, 단일 채널 음향 반향 제거기를 M배 채용하는 것이 충분하다. 알려지지 않은 시스템들(경로들)(101₁ ... 101_M)의 전달 함수들(w₁(z) ... w_M(z))은 적응적 필터들(102₁ ... 102_M)에 의해 입력 신호(x(n)) 및 에러 신호들(e₁(n) ... e_M(n))에 기초하여 필터 제어기들(105₁ ... 105_M)의 제어를 받아 전달 함수들(

₁(z) ...

_M(z))로 근사화된다. 적응적 필터들(102₁ ... 102_M)은 감산기들(106₁ ... 106_M)에 의해 알려지지 않은 시스템들(경로들)(101₁ ... 101_M)의 출력 신호들(y₁(n) ... y_M(n))로부터 제하여지는 신호들(

₁(n) ...

_M(n))을 제공하여 에러 신호들(e₁(n) ... e_M(n))을 생성한다.

도 4에 도시된 바와 같은 상황은 작은 치수들을 갖고 전체 수평면을, 이상적으로는 전체 3차원 공간을 음으로 채울 수 있는, 즉, 이상적인 전방향성 방사기와 흡사하게 동작할 수 있는, 예를 들어, 모바일 또는 핸드헬드 디바이스들에서 발생한다. 이 경우, 중점이 이상적인 (모노) 전방향성 파동-장을 생성하는 것이 때문에, 디바이스가 스테레오를 재생할 수 있는지 또는 5.1 서라운드 사운드 채널들 또는 기타 같은 종류의 것과 같은 다중 채널 신호들을 재생할 수 있는지는 중요하지 않다. 이러한 특수한 경우에, 수반되는 모든 스피커는 다소 무지향성의, 원통형 또는 구형 방사 패턴을 갖는 하나의 가상 스피커(신호원(103))로 간주될 수 있다. 그 다음 이러한 가상의, 무지향성 신호원 부근 마이크들(그것까지 유사한 거리를 갖는)은 이상적으로는, 동일한 음압 레벨(SPL, sound pressure level)을 수신할 것이다.

위에서 개설된 요건들을 거의 준수하는 디바이스(500)가 도 5에 도시되어 있다. 그것은 원통형 바디(502)에 장착된 다섯 개의 규칙적으로 분산된 광대역 스피커(501)(도 5에서 두 개는 보이지 않음) 및 디바이스의 하단에 장착된 다운-파이어링 서브 우퍼(503)(도 5에서 보이지 않음), 및 각각 디바이스(500)의 바디(502)에 장착된 공동(505)의 중심에 위치되는 여덟 개의 등각으로 분산된 무지향성 마이크(504)(도 5에서 다섯 개는 보이지 않음)를 포함한다. 보다시피, 스피커들(501)이 원통형 바디(502)에 장착된 레이어, 및 마이크들(504)이 평행하게 장착된 레이어 간 거리, 즉, 마이크들(504)의 가상의, 원통형 방사 스피커(501)까지의 거리들은 동일하다.

도 6을 참조하면, 도 5에 도시된 바와 같은 디바이스들과 관련되어, 음향 반향 제거기 및 가능한 다음 단계들, 이를테면 빔 형성기의 반향 제거 성능이 또한 도 4에 도시된 음향 반향 제거기로 통합될 수 있는 자기 보정 다중 마이크 배열체를 도입함으로써 향상될 수 있다. 자기 보정 다중 마이크 배열체는 (하나 또는) 다수의 마이크(104₁ ... 104_M), 마이크 보정 블록(601) 및 제어 가능한 이득 블록들(602₁ ... 602_M)을 포함할 수 있다. 제어 가능한 이득 블록들(602₁ ... 602_M)은 감산기들(106₁ ... 106_M)의 업스트림에 연결되고 필터 제어 블록들(105₁ ... 105_M)로부터의 신호들(

₁(z) ...

_M(z))에 따라 마이크 보정 블록(601)에 의해 제어된다.

그에 의해, 다수의 적응적 필터(102₁ ... 102_M)가 수렴되면(이는 에러 신호들의 최대 전력(max{p_e(n)}, p_e(n) = [p_e1(n),..., p_eM(n)] 그리고 p_em(n), ∀m∈[1,..., M](이들은

와 유사하게 계산됨))이 조절 가능한 하한(p_eTH)을 언더컷할 경우 나타내어질 수 있음), 모든 현재 필터 계수 세트(

_z (z), ∀m∈[1,...,M] )는 M개의 마이크 신호(y_m(n),∀m ∈[1,..., M])에 대한 스케일링 값들(g_m(n),∀m∈[1,... ,M])을 다음과 같이 계산하기 위해 사용될 것이다:

다수의 마이크(104₁ ... 104_M) 대신 단지 단일 마이크(미도시)가 음원(103)에 의해 발생되어 음원(103)으로부터 하나 이상의 알려지지 않은 전달 함수를 갖는 알려지지 않은 전달 경로를 통해 단일 마이크로 전달되는 음을 수신하기 위해, 그리고 그에 따라, 단지 단일 전기 마이크 신호를 제공하기 위해 사용될 경우, 마이크 보정 블록은 미리 결정된 기준 레벨을 나타낼 수 있는 제1 기준 신호 또는 하나 이상의 원하는 (추정되는) 전달 함수에 따라 단일 전기 마이크 신호를 각각 감쇠 또는 증폭시킬 수 있다. 제1 기준 신호는 제1 기준 신호를 저장 및 공급하는 메모리 블록(미도시)에 의해 제공될 수 있다.

그러나, 다수의 마이크(104₁ ... 104_M)가 음원(103)에 의해 발생되어 음원(103)으로부터 다수의 알려지지 않은 전달 함수를 갖는 다수의 알려지지 않은 전달 경로를 통해 다수의 마이크(104₁ ... 104_M)로 전달되는 음은 수신하기 위해, 그리고 다수의 전기 마이크 신호를 제공하기 위해 사용될 경우, 마이크 보정 블록(601)은 다수의 추정되는 전달 함수 중 하나 이상으로부터 유도되는 하나 이상의 제2 기준 신호에 따라 다수의 전기 마이크 신호를 각각, 주파수 의존적으로 또는 주파수와 무관하게 감쇠 또는 증폭, 예를 들어, 필터링할 수 있다. 하나 이상의 제2 기준 신호는 하나의 미리 결정된 이득(주파수 의존 또는 무관 증폭 또는 감쇠) 또는 다수의 미리 결정된 이득을 나타낼 수 있다. 대안적으로, 하나 이상의 제2 기준 신호는 추정될 그 외 다른 전달 함수들의 하나, 일부 또는 전부를 적응시키기 위한 기준으로서의 역할을 하는 다수의 추정되는 전달 함수의 일부 또는 전부의 평균 또는 추정되는 전달 함수들 중 선택된 하나를 나타낼 수 있다. 예를 들어, 단일 제2 기준 신호는 이러한 단일 제2 기준 신호에 따라 필터링될 전기 마이크 신호에 대응하여 추정되는 전달 함수 외에 추정되는 전달 함수들 중 하나를 나타낼 수 있다.

음향 반향 제거기 회로의 부분들 또는 전부는 프로세서 또는 프로그램 가능한 디지털 회로에 의해 실행되는 소프트웨어 및 펌웨어로 구현될 수 있다. 본 명세서에 개시된 임의의 음향 반향 제거기 회로는 임의의 수의 마이크로 프로세서, 집적 회로, 메모리 디바이스(예를 들어, 플래시, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적으로 프로그램 가능한 판독 전용 메모리(EPROM), 전기적으로 소거 가능한 프로그램 가능한 판독 전용 메모리(EEPROM) 또는 이들의 그 외 다른 적합한 변형들) 및 본 명세서에 개시된 동작(들)을 수행하기 위해 서로 협력하는 소프트웨어를 포함할 수 있는 것으로 인식된다. 또한, 개시된 임의의 음향 반향 제거기 회로는 개시된 임의의 수의 기능을 수행하도록 프로그램된 비일시적인 컴퓨터 판독 가능한 매체에 구현된 컴퓨터 프로그램을 실행하기 위한 임의의 하나 이상의 마이크로 프로세서를 이용할 수 있다. 나아가, 본 명세서에 제공되는 임의의 제어기는 하우징 및 다양한 수의 마이크로 프로세서, 집적 회로, 메모리 디바이스, (예를 들어, 플래시, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적으로 프로그램 가능한 판독 전용 메모리(EPROM) 및/또는 전기적으로 소거 가능한 프로그램 가능한 판독 전용 메모리(EEPROM)를 포함한다.

실시 예들에 대한 설명은 예시 및 설명 목적들로 제시되었다. 실시 예들에 적합한 변형 및 변경이 상기한 설명을 고려하여 수행될 수 있거나 방법들을 실시함으로써 얻어질 수 있다. 예를 들어, 다르게 언급되지 않는 한, 설명된 방법들 중 하나 이상의 방법이 적합한 디바이스 및/또는 디바이스들의 조합에 의해 수행될 수 있다. 설명된 방법들 및 관련 동작들은 또한 본 출원에 설명된 순서에 더하여 다양한 순서로, 병렬적으로 그리고/또는 동시에 수행될 수도 있다. 설명된 시스템들은 사실상 대표적인 것이고, 추가 요소들을 포함하고/거나 요소들을 생략할 수 있다.

본 출원에서 사용될 때, 단수 및 "하나" 또는 "한"이라는 단어가 선행되어 언급된 요소 또는 단계는 배제가 언급되지 않는 한, 상기 요소들 또는 단계들의 복수를 배제하지 않는 것으로 이해되어야 한다. 또한, 본 개시 내용의 "일 실시 예" 또는 "일례"의 언급들은 또한 나열된 특징들을 통합하는 추가 실시 예들의 존재를 배제하는 것으로 해석되도록 의도되지 않는다. "제1", "제2", 및 "제3" 등의 용어들은 단지 라벨들로서 사용되는 것이고, 그것들의 대상들에 수치적 요건들 또는 특정한 위치적 순서를 지우는 것으로 의도되지 않는다.

본 발명의 다양한 실시 예가 설명되었지만, 본 발명의 범위 내에서 더 많은 실시 예 및 구현 예가 가능하다는 것이 당업자들에게 명백할 것이다. 특히, 당업자는 상이한 실시 예들로부터의 다양한 특징의 호환성을 인식할 것이다. 이러한 기술들 및 시스템들이 특정 실시 예들 및 예들의 상황에서 개시되었지만, 이러한 기술들 및 시스템들은 구체적으로 개시된 실시 예들을 넘어서 그 외 다른 실시 예들 및/또는 용례들 및 명백한 변형 예들로 확장될 수 있다.

Claims

음향 반향을 제거하기 위한 시스템으로서,
음원에 의해 발생되고 상기 음원으로부터 다수의 알려지지 않은 전달 함수를 갖는 다수의 알려지지 않은 전달 경로를 통해 다수의 마이크에 전달되는 음을 수신(pick up)하도록, 그리고 그로부터 다수의 전기 마이크 신호를 제공하도록 구성된 상기 다수의 마이크(104₁- 104_M);
다수의 추정되는 전달 함수를 이용하여 상기 다수의 알려지지 않은 전달 함수의 근사치를 내도록 그리고 상기 다수의 추정되는 전달 함수를 이용하여 상기 음원에 의해 발생되는 상기 음을 나타내는 다수의 전기 신호를 필터링하여 그로부터 다수의 추정되는 신호를 제공하도록 구성된 다수의 적응적 필터; 및
상기 다수의 추정되는 전달 함수로부터 유도된 하나 이상의 기준 신호에 따라 상기 다수의 전기 마이크 신호를 각각, 주파수 의존적으로 또는 독립적으로 감쇠 또는 증폭시키도록 구성되고, 상기 하나 이상의 기준 신호는 단일의 미리 결정된 이득 또는 다수의 미리 결정된 이득 또는 하나 이상의 원하는 전달 함수인 마이크 보정 블록을 포함하는, 시스템.
청구항 1에 있어서, 상기 마이크 보정 블록은 마이크 보정 제어 블록 및 상기 마이크 보정 제어 블록에 의해 제어되는 다수의 제어 가능한 이득 요소를 포함하되, 상기 다수의 제어 가능한 이득 요소는 주파수 의존 또는 주파수 독립 이득들을 갖고, 상기 다수의 마이크의 다운스트림에 연결되며, 상기 마이크 보정 제어 블록의 제어 하에 상기 다수의 전기 마이크 신호를 주파수 의존적으로 또는 독립적으로 감쇠 또는 증폭시키도록 구성되는, 시스템.
청구항 2에 있어서, 상기 마이크 보정 제어 블록은 상기 다수의 적응적 필터가 수렴되면 상기 다수의 추정되는 전달 함수에 따라 상기 다수의 제어 가능한 이득 요소의 상기 주파수 의존 또는 주파수 독립 이득들을 조절하도록 구성되는, 시스템.
청구항 3에 있어서, 상기 마이크 보정 제어 블록은 에러 신호들의 전력 최대가 미리 결정된 임계를 언더컷하는지 여부를 평가함으로써 상기 다수의 적응적 필터가 수렴했는지 여부를 검출하도록 구성되며, 각 에러 신호는 상기 각각의 마이크 신호와 각각의 상기 추정되는 신호 간 차이 신호인, 시스템.
청구항 4에 있어서, 상기 다수의 추정되는 전달 함수는 상기 다수의 적응적 필터의 필터 계수들로 나타내어지며, 상기 마이크 보정 제어 블록은 다수의 상기 적응적 필터의 상기 필터 계수들에 기초하여 다수의 상기 이득 요소의 상기 주파수 의존 또는 주파수 독립 이득들을 제어하도록 구성되는, 시스템.
삭제
삭제
삭제
삭제
청구항 1 내지 5 중 어느 한 항에 있어서, 상기 하나 이상의 원하는 전달 함수는 상기 다수의 추정되는 전달 함수 중 일부 또는 전부의 평균, 또는 감쇠 또는 증폭될 전기 마이크 신호에 대응하는 상기 추정되는 전달 함수 외 상기 추정되는 전달 함수들 중 하나를 나타내는, 시스템.
음향 반향을 제거하기 위한 방법으로서,
다수의 마이크를 이용하여, 음원에 의해 발생되고 상기 음원으로부터 다수의 알려지지 않은 전달 함수를 갖는 다수의 알려지지 않은 전달 경로를 통해 상기 다수의 마이크에 전달되는 음을 수신하고, 그로부터 다수의 전기 마이크 신호를 제공하는 단계;
다수의 적응적 필터의 다수의 추정되는 전달 함수를 이용하여 상기 다수의 알려지지 않은 전달 함수의 근사치를 내고 상기 다수의 추정되는 전달 함수를 이용하여 상기 음원에 의해 발생되는 상기 음을 나타내는 다수의 전기 신호를 필터링하여 그로부터 다수의 추정되는 신호를 제공하는 단계; 및
상기 다수의 추정되는 전달 함수로부터 유도된 하나 이상의 기준 신호에 따라 상기 다수의 전기 마이크 신호를 각각, 주파수 의존적으로 또는 독립적으로 감쇠 또는 증폭시키되, 상기 하나 이상의 기준 신호는 단일의 미리 결정된 이득 또는 다수의 미리 결정된 이득 또는 하나 이상의 원하는 전달 함수인, 단계를 포함하는, 방법.
청구항 11에 있어서, 상기 다수의 적응적 필터가 수렴되면 상기 다수의 추정되는 전달 함수에 따라 상기 다수의 제어 가능한 이득 요소를 조절하는 단계를 더 포함하는, 방법.
청구항 12에 있어서, 에러 신호들의 전력 최대가 미리 결정된 임계를 언더컷하는지 여부를 평가함으로써 상기 다수의 적응적 필터가 수렴했는지 여부를 검출하는 단계를 더 포함하며, 각 에러 신호는 상기 각각의 마이크 신호와 각각의 상기 추정되는 신호 간 차이 신호인, 방법.
청구항 13에 있어서, 상기 다수의 추정되는 전달 함수는 상기 다수의 적응적 필터의 필터 계수들로 나타내어지고; 다수의 상기 적응적 필터의 상기 필터 계수들에 기초하여 상기 필터 계수들을 제어하는 단계를 더 포함하는, 방법.
삭제
삭제
삭제
삭제
청구항 11 내지 14 중 어느 한 항에 있어서, 상기 하나 이상의 원하는 전달 함수는 상기 다수의 추정되는 전달 함수 중 일부 또는 전부의 평균, 또는 감쇠 또는 증폭될 전기 마이크 신호에 대응하는 상기 추정되는 전달 함수 외 상기 추정되는 전달 함수들 중 하나를 나타내는, 방법.