KR20060051582A

KR20060051582A - 잡음 감소를 위한 다중채널 적응형 음성 신호 처리

Info

Publication number: KR20060051582A
Application number: KR1020050088728A
Authority: KR
Inventors: 마르쿠스 부크; 팀 하울릭; 필 헤더링톤; 피에르 자카라우스카스
Original assignee: 하만 베커 오토모티브 시스템즈 게엠베하
Priority date: 2004-09-23
Filing date: 2005-09-23
Publication date: 2006-05-19
Also published as: CN1753084A; KR101239604B1; DE602004015987D1; CA2518684C; JP4734070B2; JP2006094522A; ATE405925T1; CA2518684A1; CN1753084B; US20060222184A1; EP1640971A1; US8194872B2; EP1640971B1

Abstract

본 발명은 잡음 감소를 위한 음성 신호 처리 시스템에 대한 것으로, 이는 마이크로폰 신호를 탐지하는 적어도 두 개의 마이크로폰을 포함하는 마이크로폰 어레이를 포함하고, 마이크로폰 신호를 받기 위하여 마이크로폰 어레이에 연결되며 전처리 신호를 얻기 위하여 마이크로폰 신호의 시간 지연 보상을 수행하기 위한 수단을 포함하는 전처리 수단을 포함하고, 전처리된 신호를 받기 위하여 전처리 수단에 연결되며 적어도 하나의 잡음 기준 신호, 보다 상세하게는 각 마이크로폰 신호에 대한 하나의 잡음 기준 신호를 발생하기 위한 수단을 포함하는 제1 신호 처리 수단을 포함하고, 전처리된 신호를 받기 위하여 전처리 수단에 연결되며 빔 형성된 신호를 얻기 위한 적응형 빔 형성기를 포함하는 제2 신호 처리 수단을 포함하고, 적어도 하나의 잡음 기준 신호를 기초로 하여 빔 형성된 신호의 잡음을 감소하기 위한 적응형 잡음 제거 수단을 포함한다.

Description

잡음 감소를 위한 다중채널 적응형 음성 신호 처리{MULTI-CHANNEL ADAPTIVE SPEECH SIGNAL PROCESSING WITH NOISE REDUCTION}

도 1은 적응형 빔 형성기(adaptive beamformer), 시간 지연 보정(time delay compensation)을 수행하기 위해 형성된 수단, 차단 매트릭스(a block matrix), 그리고 적응형 잡음 제거 수단(adaptive noise cancelling means)을 포함하는 본 발명에 따른 음성 신호 처리 수단의 하나의 실시예를 도시하고 있다.

도 2는 도 1과 유사하나 추가적으로 적응형 자기 보상 수단(adaptive self-calibration means)을 추가한 음성 신호 처리 수단의 또 다른 실시예를 도시하고 있다.

도 3은 잡음 감소를 위한 음성 신호 처리를 위한 적응형 방법의 선택된 단계를 도시하고 있다.

본 발명은 잡음 감소를 위한 음성신호 처리에 관한 것으로서, 보다 상세하게는 다중채널 음성신호 처리에 관한 것이다.

음성 신호 처리는 소음이 많은 주위 환경에서 자주 수행된다. 그 주요한 예 가 차량 내에서의 핸즈프리 음성 통신이다. 이러한 핸즈프리 통신에서, 마이크로폰 신호의 신호 대 잡음비(Signal-to-Noise Ratio, SNR)는 비교적 낮다. 따라서 음성 신호의 질적 향상을 위하여 잡음을 감소시켜야만 한다.

멀리 떨어져서 말하는 음성을 포착하는데 있어서 신호의 질적 향상을 위한 일반적인 방법은 다중채널 시스템을 이용하는 것이다. 즉 마이크로폰 어레이를 이용하는 것이며, 이는 "Microphone Arrays: Signal Processing Techniques and Applications", eds. Brandstein, M. and Ward, D., Springer, Berlin 2001 에 설명되어 있다.

현재 다중채널 시스템은 이른바 "범용 측대파 제거기(General Sidelobe Canceller, GSC)"라 불리는 방법을 주로 사용하고 있다(참고:"An alternative approach to linearly constrained adaptive beamforming", by Griffiths, L.J. and Jim, C.W., IEEE Transactions on antennas and Propagatin, vol. 30., p.27, 1982.). GSC는 두 개의 신호 처리 경로(signal processing paths)로 구성되는데, 이 경로는 차단 매트릭스(blocking matrix)와 적응형 잡음 제거 수단(adaptive noise cancelling means)을 구비한 제1(또는 하위) 적응형 경로(first(or lower) adaptive path)와 고정 빔 형성기(fixed beamformer)를 구비한 제2(또는 상위) 비적응형 경로(upper non-adaptive path)이다.

고정 빔 형성기는 고정 빔 패턴을 사용하는 시간 지연 보상(time delay compensation) 수단을 통한 전처리(pre-process)에 의해 두 신호를 향상시킨다. 적응형 처리 방법은 시스템이 작동하는 동안 필터 계수와 같은 프로세싱 파라미터의 적응이 변하지 않는 것을 특징으로 한다. GSC의 하위 신호 처리 경로는 고정 빔 형성기의 출력 신호의 잔여 잡음을 제거하는데 사용되는 잡음 기준 신호(noise reference signals)의 발생을 위해 최적화되어 있다.

하위 신호 처리 수단(lower signal processing means)은 마이크로폰 신호로부터 잡음 기준 신호를 발생하기 위해 사용하는 차단 매트릭스를 포함할 수 있다(참고: "Adaptive Beamforming for audio signal acquisition", by Herbordt, W. and Kellermann, W., in "Adaptive signal processing: applications to real-world problems", p.155, Springer, Berlin 2003). 이러한 간섭 신호(interfering signals)에 의해 적응형 필터를 채용하는 적응형 잡음 제거 수단을 통하여 고정 빔 형성기의 출력 신호의 잔여 잡음을 제거할 수 있다.

현재의 GSC 설계는 고정 빔 형성기의 출력 신호를 왜곡시키지 않고 하위 신호 처리 경로를 통해 잡음 억제를 최적화하는 것에 그 초점을 맞추고 있다. 그러나 고정 빔 형성기에 대하여는 지금까지 어떠한 최적화도 이루어지지 않고 있다. 더구나 음성 신호는 약간의 시간 지연에 의해서도 달라지고 마이크로폰 어레이(microphone array)의 각 마이크로폰에서 음성 신호와 잡음 신호는 같은 에너지 레벨을 갖는다.

대부분의 실제 적용에 있어서, 마이크로폰 어레이의 각 마이크로폰의 신호 대 잡음비(SNR)가 서로 달라 GSC의 성능 저하를 가져온다. 심지어 SNR이 낮은 채널의 경우 최적화되지 않은(non-optimized) 고정 빔 형성기의 성능이 향상되는 대신 오히려 저하된다. 따라서 실제 GSC 구현에는 충분히 신뢰 가능할 정도로 동작하지 않고 전방향성(omnidirectional) 마이크로폰이나 동일한 방향을 향하는 동일 타입의 방향성 마이크로폰에 있어서 약간 사용되고 있을 뿐이다.

본 발명이 이루고자 하는 기술적 과제는 상기 언급한 결점을 극복하고 향상된 음향장치, 보다 상세하게는 향상된 SNR과 저렴한 비용을 만족하는 음성 신호 처리 및 핸즈프리 시스템을 위한 시스템과 방법을 제공하는 것이다.

상기의 과제는 청구항 제1항에서의 잡음 감소를 위한 음성 신호 처리 시스템과 청구항 제12항에서의 방법에 의해 해결된다. 본 발명의 시스템은,

마이크로폰 신호를 탐지하는 적어도 두 개의 마이크로폰을 포함하는 마이크로폰 어레이와,

마이크로폰 어레이에 연결되어 마이크로폰 신호를 받고, 마이크로폰 신호의 시간 지연 보상(time delay compensation) 수단을 포함하여 전처리된 신호(pre-processed signals)를 얻는 전처리 수단(pre-processing means)과,

전처리 수단에 연결되어 전처리된 신호를 받고, 적어도 하나의 잡음 기준 신호(noise reference signal), 보다 상세하게는 각 마이크로폰 신호에 대한 하나의 잡음 기준 신호를 발생하기 위한 수단을 포함하는 제1 신호 처리 수단(first signal processing means)과,

전처리 수단에 연결되어 전처리된 신호를 받고, 빔 형성된 신호를 얻기 위한 적응형 빔 형성기를 포함하는 제2 신호 처리 수단(second signal processing means)과,

적어도 하나의 잡음 기준 신호를 기초로 하여 빔 형성된 신호의 잡음을 감소하기 위한 적응형 잡음 제거 수단(adaptive noise cancelling means)

을 포함하는 잡음 감소를 위한 음성 신호 처리 시스템이다.

마이크로폰 어레이의 각 마이크로폰에서 음성 신호와 잡음 신호가 동일 레벨을 보여주지 않는 상황에서 본 발명의 음성 신호 처리 시스템, 보다 상세하게는 제2 신호 처리 수단의 최적화를 통하여 음성 신호의 SNR이 향상된다. 그러한 상황은 실제 적용에 있어서 일상적으로 나타나는 것으로 예를 들면 a) 대화하는 동안 스피커와 마이크로폰 사이의 거리가 달라질 수 있고 그 결과 마이크로폰에서 다른 음성 레벨이 발생하는 경우, b) 잡음 영역(noise field)이 불균일할 수 있어 마이크로폰에서 다른 잡음 레벨이 발생하는 경우, c) 마이크로폰 어레이가 다른 방향을 향하는 방향성 마이크로폰으로 구성될 수 있고 그 결과 다른 잡음 레벨과 음성 레벨이 발생하는 경우가 있다.

요구 목표 신호에 일치하는 마이크로폰 신호를 동기시키기 위하여 각 신호의 시간 지연이 전처리 수단에 의해 계산되고 보상되어야 한다.

제2 신호 처리 수단은 빔 형성기를 포함한다. 본 발명에 따른 빔 형성기는 향상된 SNR을 가지는 하나의 출력 신호

를 얻기 위해

개 마이크로폰의 전처리된, 보다 상세하게는 시간 지연된 신호

을 합한 적응형 가중합 빔형성기(adap- tive weighted sum beamformer)이다.

가중치

은 종래의 지연-합 빔 형성기(delay-and-sum-beamformer)처럼 같이 시간독립적이 아니고, 예를 들어 요구 방향에서는 감도를 유지하고 잡음원의 방향에서는 감도를 최소화하기 위해 요구되는 값으로 반복적으로 재계산되어야 한다.

보다 상세하게는 제1 신호 처리 수단은 가능한 정확하게 잡음 기준 신호를 계산하도록 설계되어야 한다. 이러한 잡음 기준 신호는 당해 기술분야에서 잘 알려진 적응형 잡음 제거 수단에 대한 입력 신호로 사용된다.

적응형 잡음 제거 수단은 제2 신호 처리 수단에 의해 발생하는 출력 신호로부터 제거되기 위한 잡음 신호를 만들어낸다. 적응형 잡음 제거 수단은, 예를 들어 정규 최소평균 제곱(Normalized Least-Mean Square, NLMS) 알고리즘에 의해 반복적으로 계산되는 적응형 필터를 포함할 수 있다.

유익하게 적어도 하나의 잡음 기준 신호를 발생하기 위한 수단은 비적응형 또는 적응형 차단 매트릭스(non-adaptive or adaptive blocking matrix)를 포함할 수 있다.

비적응형 차단 매트릭스가 기술적으로 사용하기 쉽고 생산이 저렴한 반면, 적응형 차단 매트릭스의 경우 잡음 기준 신호에서의 음성 신호 부분의 감소가 현저하게 향상된다. 차단 매트릭스는 인접 채널을 간단히 제거함으로써 그 기능을 할 수 있다. 이러한 경우 서로 다른 채널들 중 하나를 제외한 각각의 채널에 대하여 시간 지연된 마이크로폰 신호를 통하여 기준 잡음 신호가 발생한다.

전처리 수단은 시간 지연 보상된 마이크로폰 신호들의 위상과 진폭을 정합시키기 위한 적응형 자기보정 수단(an adaptive self-calibration means)을 더 포함할 수 있다. 적응형 잡음 제거 수단의 경우처럼 적응형 자기보정 수단의 적응형 필터는 NLMS 알고리즘에 의해 계산될 수 있다.

시간 지연 보상 후 마이크로폰 신호는 스피커의 이동과 서로 다른 마이크로폰의 위상 및 진폭의 부정합(mismatch)으로 인하여 정확하게 정합(match)되지 않을 수 있다. 적응형 자기보정에 의해 위상과 진폭들에 관한 부정합은 최소화된다. 따라서, 각 채널들의 요구 신호들은 시간(위상) 정렬이 되고, 요구 신호의 진폭 부분들은 각 채널에서 동일하며, 그 신호들은 매우 유사한 주파수 특성을 나타낸다.

그 결과, 적어도 하나의 잡음 기준 신호를 얻기 위한 제1 신호 처리 수단에서 비적응형 차단 매트릭스를 이용하는 것이 실제 적용에서 요구되는 SNR에 따라 충분할 수도 있다. 그러나 적어도 하나의 잡음 기준 신호의 정확성을 향상시키기 위하여 적응형 차단 매트릭스를 사용할 수 있다.

본 발명 시스템의 선택된 실시예에 따라 적응형 처리 수단의 적응을 제어하기 위한 적응 제어부(adaptation control)를 사용할 수 있다. 이러한 적응형 처리 수단은 적응형 빔 형성기와 적응형 잡음 제거 수단, 그리고 적응형으로 선택된 경우의 차단 매트릭스를 포함할 수 있다.

더구나 적응 제어부는 순시 SNR 및/또는 음성의 탐지 여부 및/또는 미리 정 하여진 값만큼 동시에 탐지된 배경 잡음의 에너지를 탐지된 음성 신호의 에너지가 초과하는지 여부 및/또는 음향 신호가 오는 방향에 따라 적응을 시작하도록 형성될 수 있다.

제2 적응형 처리 수단(second adaptive processing means)의 적응에 의해 제1 적응형 처리 수단(first adaptive processing means)의 적응이 시작되도록 적응 제어부를 형성하는 것이 바람직할 수 있고, 그 경우 제1 및 제2 적응형 처리 수단은 적응형 빔 형성기, 적응형 차단 매트릭스, 적응형 잡음 제거 수단 중 하나이다.

만약, 예를 들어, 적응형 빔 형성기에서 사용된 가중치가 적응되면, 선택된 경우의 적응형 차단 매트릭스 및/또는 적응형 잡음 제거 수단의 필터를 적응시키는 것이 바람직할 수 있다.

나아가 전처리 수단 및/또는 제1 및/또는 제2 처리 수단들은 시간 영역 또는 주파수 영역 또는 서브밴드(subband) 주파수 영역에서 음성 신호 처리를 수행하도록 형성될 수 있다.

만일 이후의 신호 처리가 주파수 영역에서 행해진다면, 전처리 수단은 고속 푸리에 변환(Fast Fourier Transform)을 수행하는 수단을 포함할 수 있다. 푸리에변환을 피하기 위해 전체 시간 영역(full time domain)에서 적어도 부분적인 처리가 이루어질 수 있다.

본 발명 시스템의 마이크로폰 어레이는 적어도 하나의 방향성 마이크로폰을 포함할 수 있다. 보다 상세하게는, 그 마이크로폰 어레이는, 예를 들어 적어도 두 개의 서로 다른 방향을 향하는 방향성 마이크로폰을 포함하는 소형 마이크로폰 어 레이처럼, 다른 방향을 향하는 하나 이상의 방향성 마이크로폰을 포함할 수 있다. 고정 빔 형성기(fixed beamformers)를 사용하는 기존의 음성 신호 처리 시스템의 경우 같은 방향을 향하지 않는 다수의 마이크로폰에 적용될 때에는 상대적으로 낮은 성능을 보여주는데 반하여, 본 발명은 마이크로폰들이 다른 방향을 향하고 있더라도 높은 SNR을 보장한다.

하나의 유리한 실시예에 따라 본 발명 시스템은 적어도 두 개의 서브 어레이(sub-arrays)를 포함할 수 있다. 이러한 경우 전반적으로 방향성과 감도를 향상시키는 특정 주파수대에 대하여 각 서브 어레이를 최적화할 수 있다.

바람직하게, 본 발명 시스템은 프레임을 포함할 수 있고 이 경우 프레임 내 또는 프레임 상의 미리 정하여진 위치, 보다 상세하게는 고정된 위치에 마이크로폰 어레이의 각 마이크로폰이 배열된다. 이로 인해 그 마이크로폰들이 있는 프레임의 제작 후 마이크로폰들의 상대적인 위치를 알 수 있게 된다.

본 발명의 감소한 잡음에 의해 향상된 음성 신호 처리 시스템과 방법은 핸즈프리 시스템에서 특히 유용한다. 왜냐하면, 핸즈프리 통신은 잡음이 많은 환경(noise environment)에서 종종 이루어지기 때문이다.

더욱이 본 발명은 상기 언급한 차량 내부에서의 음성 신호 처리 시스템 및 핸즈프리 시스템의 사용에 유도된다. 향상된 SNR은 차량 내부에서 통신 장치가 음향적으로 자극되는 상태에서 특히 요구된다. 만약 마이크로폰 어레이가 상기 언급한 실시예에 따른 프레임 안에 배열된다면 차량 내부에서 SNR은 쉽게 향상될 것이다.

또한, 이점은 본 발명에 의해 상기 언급한 음성 신호 처리 시스템 및 핸즈프리 시스템 중 하나를 포함하는 차량에 대해 제공된다.

더욱이 본 발명은 잡음 감소를 위한 음성 처리 방법을 제공한다. 이는,

적어도 두 개의 마이크로폰을 포함하는 마이크로폰 어레이에 의해 마이크로폰 신호들을 탐지하는 단계와,

전처리된 신호를 얻기 위하여 마이크로폰 신호들의 시간 지연 보상하는 것을 포함하는 마이크로폰 신호들의 전처리 단계,

적어도 하나의 잡음 기준 신호를 발생하는 단계를 포함하는 제1 신호 처리와 빔 형성된 신호를 얻기 위한 적응형 빔 형성 단계를 포함하는 제2 신호 처리에 대한 입력 신호로써 전처리된 신호를 사용하는 단계와,

적응형 잡음 제거 수단을 사용하여 빔 형성된 신호의 잡음을 제거하는 단계

를 포함하는 잡음 감소를 위한 음성 신호 처리 방법이다.

적어도 하나의 잡음 기준 신호는 비적응형 또는 적응형 차단 매트릭스를 사용하여 발생할 수 있다.

마이크로폰 신호의 전처리는 시간 지연 보상된 신호들(time delay com- pensated signals)의 위상과 진폭을 정합시키기 위해 시간 지연 보상된 신호들에 대한 적응형 자기보정을 행하는 단계를 포함한다.

적응형 처리 단계들, 보다 상세하게는, 적응형 빔 형성 단계, 적응형으로 선택된 경우 차단 매트릭스의 계산 단계, 적응형 잡음 제거 단계의 적응은 적응 제어 수단(adaptation control means)이 수행할 수 있다.

더구나 적응 단계의 제어는 제2 적응형 처리 수단의 적응에 따라 제1 적응형 처리 수단을 적응시키는 것을 포함할 수 있다. 그 경우 제1 및 제2 적응형 처리 수단은 적응형 빔 형성기, 적응형 차단 매트릭스, 적응형 잡음 제거 수단 중 하나이다.

유리하게 적응은 순시 SNR 및/또는 음성의 탐지 여부 및/또는 미리 정하여진 값만큼 동시에 탐지되는 배경 잡음(background noise)의 에너지를 탐지된 음성 신호의 에너지가 초과하는지 여부 및/또는 음향 신호가 오는 방향에 따라 조절될 수 있다.

상기 전처리 단계 및/또는 제1 및/또는 제2 신호 처리는 시간 영역 또는 주파수 영역 또는 서브밴드 주파수 영역에서 처리를 수행할 수 있다.

더욱이 본 발명은 컴퓨터 프로그램 제품을 제공하며, 이는 상기 언급한 본 발명의 잡음 감소를 위한 음성 신호 처리 방법의 단계들의 수행에 대한 컴퓨터에서 실행가능한 명령을 포함하는 하나 이상의 컴퓨터 판독가능한 기록매체를 포함한다.

본 발명의 추가적인 특징과 장점들에 대하여 도면을 참조하여 설명할 것이다. 명세서에서 첨부되는 도면은 본 발명의 선택된 실시예를 설명하기 위한 것이다. 그러한 실시예들은 본 발명의 모든 범위를 나타내지 못한다고 생각된다.

본 발명에 따른 음성 신호 처리 수단의 한가지 실시예의 일반적인 구조가 도 1에 도시되어 있다. 설명을 위하여, 서브밴드 영역에서 이루어진 처리가 도시되어 있다. 선택적으로 이 알고리즘은 전체 시간 영역(full time domain)에서 적용될 수 있다.

도 1에서 도시된 음성 처리 수단은 GSC의 일반화된 버전으로 생각될 수 있다. 그러나 표준 GSC 방법의 경우 두 개의 신호처리 수단 또는 경로, 즉 하나의 비적응형 경로(상위 경로, 고정 빔 형성기)와 하나의 적응형 경로(하위 경로, 적응형 잡음 제거 장치)가 있다. 본 발명에서는, 이에 대해 상위 경로에서 빔 형성기를 적응시키는 것이 제시된다.

예를 들어 차량 안에 탑재된 마이크로폰 어레이(도시안됨)는 음성 신호들을 탐지한다. 그 탐지된 마이크로폰 신호들은 잡음 제거 전에 전처리된다. 그 전처리는 고속 푸리에 변환을 포함한다. 서브밴드 영역의 복소 마이크로폰 신호

내지

는 시간 지연 보상(11)되며, 여기서

은 마이크로폰의 수를,

과

는 각각 특정 폭을 갖는 주파수 대역(frequency bin)과 시간 지수를 표시한다. 각 마이크로폰 신호에서 시간 지연은, 요구 목표 신호에 대응하는 마이크로폰 신호를 동기시키기 위하여, 마이크로폰의 기하학적 구조에 기초하여 계산되고 보상되어야 한다. 그 지연은 음속으로 진행하고 다른 방향 및/또는 위치에서 오는 소리에 대한 음향 시간 지연(acoustic time delay)에 대응한다.

시간 지연된 신호

내지

은 두 개의 다른 신호 처리 수단에 의해 더 처리된다. 다시 말해, 그들은 두 개의 신호 처리 경로, 즉 차단 매트릭스(12)와 적응형 잡음 제거 수단(13)가 있는 제1(또는 하위) 적응형 경로와 적응형 가중합 빔 형성기(14)가 있는 제2(또는 상위) 경로로 입력된다.

각 채널에서의 신호 부분의 잡음 레벨은 항상 서로 다르다. 서로 다른 채널( 지연-합 빔 형성기)들에 대해 단순 평균값을 구하는 경우 매우 낮은 SNR을 가진 채널들이 출력 신호의 SNR을 저하할 수 있다. 그래서 서로 다른 채널들에 대해 가중 계수(가중치)를 도입하는 것이 바람직하다.

평균값을 구하기 전에 각

서브밴드 안의 각

채널에 실수 가중치

을 적용함으로써 출력 신호

의 SNR은 원칙적으로 최대화될 수 있다.

다음 과정을 거쳐 가중치

이 결정된다. 입력 신호

은 각각 신호 부분

와 잡음 부분

로 구성된다.

간소화를 위해, 신호 부분은 양의 실수인 스케일링 팩터(positive real- valued scaling factors)

에 의해서만 변경되도록 가정하면 다음과 같다.

잡음 부분이 완벽하게 서로 직교한다고 가정하면, 잡음 부분은 서로 다른 파워

를 가질 수 있다. 여기서

은 양의 실수이다. 이러한 가정하에서 최적의 가중치는

로 계산될 수 있다(참고:"Beamforming: A Versatile Approach to Spatial Filtering", by Van Veen, B.D. and Buckley, K.M., IEEE ASSP Magazine, vol. 5, no.2, p.4, 1999).

이 가중치는 요구되는 신호 부분에 대한 단위 응답을 얻기 위해 정규화되어야하고 이는 다음과 같다.

실제 적용에 있어서

과

의 수는 시간의존적(time-dependent)일 수 있다. 따라서, 시간적 변화를 측정할 필요가 있다(예를 들면, 다 른 채널들의 잡음의 파워

또는 음성 진폭의 비를 계산하는 방법이 있다). 결과적으로 최적의 가중치

는 또한 시계열성(time variant)이며, 반복적으로 계산되어야 하고 그에 따라 빔 형성기는 적응형이 된다.

적응형 가중합 빔형성기(adaptive weighted sum beamformer)의 출력 신호

는 중간 결과로서 작용한다. 이를 위해 SNR은 가능한 양호해야 하고, 이는 가중치

의 적응형 결정(adaptive determination)에 의해 이루어진다.

차단 매트릭스(12)는 잡음 기준 신호를 얻기 위하여 설계되었다. 이 신호에는 음성이 가능한 거의 없어야 한다. 가장 간단한 구현으로 차단 매트릭스는 인접 채널의 제거를 수행한다.

차단 매트릭스(12)는 적응형인 것이 바람직하다. 입력신호

내지

는 "잡음 평면(noise plane)"위로 투영된다.

내지

은 입력 신호로부터 요구 신호 또는 유용한 신호를 이상적으로 완벽하게 차단하는 차단 매트릭스에 의해 잡음 기준 신호로서 출력된 것이다. 차단 매트릭스 중 왈쉬-아다마르(Walsh-Hadamard) 유형이 일반적으로 그리피스-짐(Grffiths-Jim) 차단 매트릭스를 대신하여 선호되고 있다. 왜냐하면, 왈쉬-아다마르(Walsh-Hadamard) 차단 매트릭스에서 더 많은 필터를 아낄 수 있기 때문이다. 한편, 왈쉬-아다마르(Walsh-Hadamard) 차단 매트릭스는

인 마이크로폰으로 구성된 어레이에 대해서만 성립될 수 있다.

잡음 기준 신호

내지

는 적응형 잡음 제거 수단(13)에 대하여 입력 신호로 사용되는 것이 바람직하다. (복소) 필터

가 적응형 잡음 제거를 수행한다. 이 필터는 출력 신호의 파워

가 최소화되는 방향으로 적응된다. 그 기준 신호(reference signal)가 이상적으로는 어떠한 신호 부분도 포함하고 있지 않기 때문에 신호

의 잔여 잡음이 제거되고, 그에 의해 SNR이 증가한다.

필터의 적응을 위해, NLMS 알고리즘을 아래와 같이 사용할 수 있다.

여기서 별표는 잡음 기준 신호의 복소공액을 표시한다. 따라서 잡음 기준 신호와 필터

는 적응형 빔 형성기(14)에서 출력된 빔 형성된 신호

로부터 제거될 잡음 신호를 발생하기 위하여 사용된다. 이러한 제거를 통하여 얻은 최종 출력 신호

는 선행 기술로부터 알려진 것보다 더 향상된 음성 수집에 의해 매우 깨끗해진 음성신호가 된다.

제1 및 제2 신호 처리의 적응 단계들은 적응 제어(adaptation control)(15)에 의해 제어된다. 만일 상위 신호 처리 경로가 적응되면, 하위 신호 처리 경로의 최적의 솔루션의 세팅이 변한다. 그러므로 그 하위 신호 처리 경로는 유리하게 재적응되어야 한다.

그 출력 신호에서 어떠한 아티팩트도 얻지 않기 위해서, 적응 단계들은 조심스럽게 제어되어야만 한다. SNR-최적화 가중합 빔형성기(SNR-optimized weighted sum beamformer)(14)는 (음성) 신호가 배경 잡음 이상의 충분한 에너지를 가지는 경우에만 적응될 수 있는 것이 바람직하다. 적응형 잡음 제거 수단(13)은 잡음은 존재하고 음성 신호는 탐지되지 않거나 거의 탐지되지 않을 때에만 적응될 수 있는 것이 유리하다.

다른 유닛의 적응을 위한 스텝 사이즈(step sizes)를 제어하기 위하여, 수개의 정보원(source of information)을 고려하여야 한다. 예를 들면, 스텝 사이즈(step sizes)는 SNR 및/또는 음성의 탐지 여부 및/또는 소리가 오는 방향에 좌우된다.

도 2는 본 발명의 GSC의 다른 실시예를 설명하고 있다. 여기서는 도 1에서 보이는 구조에서 적응형 자기보정 유닛(self-calibrating unit)(26)이 보충된다. 이 실시예에 따른 전처리 수단은 마이크로폰 입력의 전처리(pre-rocessing)를 위해 시간 지연 보상부(21)와 적응형 자기보정 유닛(adaptive self-calibrating unit)(26)을 포함한다.

실제 적용에서 시간 지연 보상 후 마이크로폰 신호들은 아직 최적의 상태에 있지 않다. 어떤 마이크로폰들은 다른 채널들에서의 위상과 진폭에 대하여 불일치할 수 있다. 왜냐하면, 요구 방향에 어긋나는 스피커의 움직임과, 예를 들어 모서리에서의 반사와 같은, 소리가 울리는 방에서의 음향상태(echoic room acoustics)가 일반적으로 비이상적인 조건을 초래하기 때문이다.

적응형 자기보정 유닛(26)에 의해 다른 채널 간의 불일치가 최소화된다. 이는 위상과 진폭에 대하여 행하여진다. 그 후에 각 채널의 원하는 신호는 시간 정렬(time aligned) 되어야 하며 매우 유사한 주파수 특성(characteristics)을 가져야 한다.

적응형 자기보정을 위한 하나의 효과적인 방법은 다음과 같다. 자기보정 필터(self-calibration filters)

는 다음과 같이 각 채널에서의 신호들을 일치시킨다.

여기서

는 오류 신호(error signals)를 나타낸다. (복소) 필터

는 오류 신호의 파워

의 최소화를 목적으로 NLMS 알고리즘에 의해 다시 적응될 수 있다.

이 필터들은 단위 평균 응답(unity mean response)을 얻기 위하여 다시 공식화된다.

이때

이다.

도 2에서 보여주는 실시예에 따른 전처리 장치는 제1 및 제2 처리 수단(하위 및 상위 처리 경로), 보다 상세하게는 본 발명의 실시예에 따른 차단 매트릭스(22)와 적응형 빔 형성기(24)에 의해 더욱 처리될 적응형 자기보정된 신호(adaptively self-calibrated signal)

을 출력한다.

차단 매트릭스(22)는 비적응형 또는 적응형이 될 수 있다. 입력 신호들은 미리 적응형 자기보정되기 때문에, 실제 적용에 있어서 비적응형 매트릭스가 충분히 정확한 잡음 기준 신호를 발생할 수 있을 것으로 생각한다.

적응형 자기보정 유닛(adaptive self-calibration unit)(26)이 쓰일 때에는, 음성 신호가 배경 잡음 이상의 충분한 에너지를 가지고 존재하는 경우에만 적응을 수행한다.

도 3은 본 발명의 잡음 감소를 위한 음성 신호 처리(speech signal processing with noise reduction) 방법의 선택된 단계의 기능을 도시하고 있다. 적어도 두 개의 마이크로폰이 음성을 탐지한다(31). 32에서 마이크로폰 출력이 발생하고, 그 후 발생한 마이크로폰 출력은, 예를 들어 주파수영역에서 마이크로폰 출력(32)을 고속푸리에변환(33)으로, 예를 들어 초당 128포인트 변환 속도로, 통과시킴으로써 처리된다. 다음 단계에서, 시간 지연 보상을 주파수 공간(frequency space)(34)에서 수행한다. 이 단계가 마이크로폰 신호를 전처리 단계 중 마지막 단계가 될 수 있다.

대부분의 적용에 있어서 시간 지연 보상 후 마이크로폰 신호들이 충분히 정합(match)하지 않는다. 그러므로 신호를 적응형 자기보정함으로써(35) 다중 채널간의 부정합(mismatch)을 최소화하는 것이 유리하다. 이상적으로, 전처리 단계(step of pre-processing) 후에는 보정된 신호들이 원하는 신호에 대하여 위상 정렬(phase-aligned)되고 원하는 신호의 진폭이 각각의 다중 채널에서 동일하게 된다.

일반적으로, 잡음 부분의 레벨은 여전히 채널마다 서로 다르다. 보정된 신호는 SNR이 최대화된 빔 형성된 신호를 얻기 위하여 적응형 빔 형성기에 의해 더 처리된다. 이러한 목적으로 다른 전처리된 입력 신호들의 가중합을 구하기 위해 가중 계수(가중치)

가 계산되어야 한다(36). 본 발명 방법에 따른 이러한 계산은 종래의 지연-합 빔형성기(delay-and-sum beamformers)와 달리 시간의존적으로 수행된다.

계산된 가중 계수

에 의해 적응형 빔 형성기의 출력 신호

가 결정된다(37). 이 신호는 뒤이어 (표시되어 있지는 않으나) 차단 매트릭스에 의해 얻어진 서로 다른 채널들에 대한 잡음 기준 신호를 기초로 적응형 잡음 제거 수단에 의해 잡음 부분이 제거되도록 더 처리된다. 그리고 결과적으로 나온 신호는 역 고속 푸리에 변환(inverse Fast Fourier Transform)에 의해 시간 영역으로 다시 변환된다.

앞서 언급한 모든 실시예는 한계로써 의도된 것이 아니고 본 발명의 특징과 장점을 설명하는 예로써 제공된 것이다. 상기 언급한 특징 중 일부 또는 전부가 또한 다른 방법에 결합할 수 있다고 생각된다.

본 발명의 음성 신호 처리 시스템, 보다 상세하게는 제2 신호 처리 수단의 최적화를 통해 마이크로폰 어레이의 각 마이크로폰에서 음성 신호와 잡음 신호가 동일 레벨을 보여주지 않는 상황에서 음성 신호의 SNR이 향상된다. 그러한 상황은 실제 적용에 있어서 일상적으로 나타나는 것으로 예를 들면 a) 대화하는 동안 스피커와 마이크로폰 사이의 거리가 달라질 수 있고 그 결과 마이크로폰에서 다른 음성 레벨이 발생하는 경우, b) 잡음 영역(noise field)이 불균일할 수 있고 그 결과 마이크로폰에서 다른 잡음 레벨이 발생하는 경우, c) 마이크로폰 어레이가 다른 방향을 향하는 방향성 마이크로폰으로 구성될 수 있고 그 결과 다른 잡음 레벨과 음성 레벨이 발생하는 경우가 있다.

Claims

잡음 감소를 위한 음성 신호 처리 시스템으로서,

마이크로폰 신호들을 탐지하는 적어도 두 개의 마이크로폰을 포함하는 마이크로폰 어레이와;

마이크로폰 어레이에 연결되어 마이크로폰 신호를 받고, 마이크로폰 신호의 시간 지연 보상(time delay compensation)을 수행하기 위한 수단을 포함하여 전처리된(pre-processed) 신호를 얻는 전처리 수단과;

전처리 수단에 연결되어 전처리된 신호를 받고, 적어도 하나의 잡음 기준 신호(noise reference signal), 보다 상세하게는 각 마이크로폰 신호에 대한 하나의 잡음 기준 신호를 발생하기 위한 수단을 포함하는 제1 신호 처리 수단과;

전처리 수단에 연결되어 전처리된 신호를 받고, 적응형 빔 형성기(beamformer)를 포함하여 빔형성된(beamformed) 신호를 얻는 제2 신호 처리 수단과;

적어도 하나의 잡음 기준 신호를 기초로 하여 빔 형성된 신호의 잡음을 감소하기 위한 적응형 잡음 제거 수단;

을 포함하는 잡음 감소를 위한 음성 신호 처리 시스템.
제1항에 있어서, 상기 적어도 하나의 잡음기준 신호를 발생하기 위한 수단은 비적응형 또는 적응형 차단 매트릭스(blocking matrix)를 포함하는 것인 잡음 감소 를 위한 음성 신호 처리 시스템.
제1항 또는 제2항에 있어서, 상기 전처리 수단은 시간 지연 보상된 마이크로폰 신호의 위상과 진폭을 일치시키기 위한 적응형 자기보정(self-calibration) 수단을 더 포함하는 것인 잡음 감소를 위한 음성 신호 처리 시스템.
제1항 내지 제3항 중 어느 한 항에 있어서, 적응형 처리 수단, 보다 상세하게는 적응형 빔 형성기와 적응형 잡음 제거 수단의 적응을 제어하기 위한 적응 제어부(adaption control)를 더 포함하는 것인 잡음 감소를 위한 음성 신호 처리 시스템.
제4항에 있어서, 상기 적응 제어부가 제2 적응형 처리 수단의 적응에 따라 제1 적응형 처리 수단의 적응을 시작하도록 되며, 상기 제1 및 제2 적응형 처리 수단은 적응형 빔 형성기, 적응형 차단 매트릭스 그리고 적응형 잡음 제거 수단 중 하나인 것인 잡음 감소를 위한 음성 신호 처리 시스템.
제4항 또는 제5항에 있어서, 상기 적응 제어부가 순시 SNR 및/또는 음성의 탐지 여부 및/또는 미리 정하여진 값만큼 동시에 탐지된 배경 잡음의 에너지를 탐지된 음성 신호의 에너지가 초과하는지 여부 및/또는 음향 신호가 오는 방향에 의하여 적응을 시작하도록 형성된 것인 잡음 감소를 위한 음성 신호 처리 시스템.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 전처리 수단 및/또는 제1 및/또는 제2 처리 수단은 시간 영역 또는 주파수 영역 또는 서브밴드(subband) 주파수 영역에서 처리를 수행하도록 형성된 것인 잡음 감소를 위한 음성 신호 처리 시스템.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 마이크로폰 어레이는 적어도 하나의 방향성 마이크로폰, 보다 상세하게는 서로 다른 방향을 향하는 하나 이상의 방향성 마이크로폰을 포함하는 것인 잡음 감소를 위한 음성 신호 처리 시스템.
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 마이크로폰 어레이는 적어도 두 개의 서브 어레이(sub-arrays)를 포함하는 것인 잡음 감소를 위한 음성 신호 처리 시스템.
제1항 내지 제9항 중 어느 한 항에 있어서, 프레임을 더 포함하며, 상기 마이크로폰 어레이의 각 마이크로폰은 프레임 내 또는 프레임 상의 미리 정하여진 위치, 보다 상세하게는 고정된 위치에 배열되는 것인 잡음 감소를 위한 음성 신호 처리 시스템.
제1항 내지 제10항 중 어느 한 항에 따른 잡음 감소를 위한 음성 신호 처리 시스템을 포함하는 핸즈프리 시스템.
잡음 감소를 위한 음성 신호 처리 방법으로서,

적어도 두 개의 마이크로폰을 포함하는 마이크로폰 어레이에 의해 마이크로폰 신호를 탐지하는 단계와;

전처리된 신호를 얻기 위하여 마이크로폰 신호의 시간 지연 보상하는 것을 포함하는 마이크로폰 신호를 전처리하는 단계와;

적어도 하나의 잡음 기준 신호를 발생하는 단계를 포함하는 제1 신호 처리와 빔 형성된 신호를 얻기 위한 적응형 빔 형성 단계를 포함하는 제2 신호 처리에 대한 입력 신호로써 전처리된 신호를 사용하는 단계와;

상기 잡음 기준 신호를 기초로 적응형 잡음 제거 수단을 사용하여 빔 형성된 신호의 잡음을 제거하는 단계;

를 포함하는 잡음 감소를 위한 음성 신호 처리 방법.
제12항에 있어서, 상기 적어도 하나의 잡음 기준 신호는 비적응형 또는 적응형 차단 매트릭스를 사용하여 발생하는 것인 잡음 감소를 위한 음성 신호 처리 방법.
제12항 또는 제13항에 있어서, 마이크로폰 신호의 전처리가 시간 지연 보상 된 신호들의 위상 및 진폭을 정합시키기 위해 시간 지연 보상된 신호들에 대해 적응형 자기보정을 행하는 단계를 더 포함하는 것인 잡음 감소를 위한 음성 신호 처리 방법.
제12항 내지 제14항 중 어느 한 항에 있어서, 적응형 처리 단계, 보다 상세하게는 적응형 빔 형성과 적응형 잡음 제거의 적응을 제어하는 단계를 더 포함하는 것인 잡음 감소를 위한 음성 신호 처리 방법.
제15항에 있어서, 상기 제어단계는 제2 적응형 처리 수단의 적응에 따라 제1 적응형 처리 수단을 적응시키는 것을 포함하고, 상기 제1 및 제2 적응형 처리 수단은 적응형 빔 형성기, 적응형 차단 매트릭스 그리고 적응형 잡음 제거 수단 중 하나인 것인 잡음 감소를 위한 음성 신호 처리 방법.
제12항 내지 제16항 중 어느 한 항에 있어서, 상기 적응형 처리 단계는 순시 SNR 및/또는 음성의 탐지 여부 및/또는 미리 정하여진 값만큼 동시에 탐지된 배경 잡음의 에너지를 탐지된 음성 신호의 에너지가 초과하는지 여부 및/또는 음향 신호가 오는 방향에 의하여 적응이 제어되는 것인 잡음 감소를 위한 음성 신호 처리 방법.
제12항 내지 제17항 중 어느 한 항에 있어서, 상기 전처리 단계 및/또는 제1 및/또는 제2 신호 처리는 시간 영역 또는 주파수 영역 또는 서브밴드 주파수 영역에서 처리를 수행하는 것인 잡음 감소를 위한 음성 신호 처리 방법.
제12항 내지 제18항 중 어느 한 항에 따른 방법의 단계들을 수행하기 위한 컴퓨터에서 실행가능한(computer-executable) 명령을 포함하는 하나 이상의 컴퓨터 판독가능한 기록매체를 포함하는 컴퓨터 프로그램 제품.