KR20110021419A - 복소 스펙트럼 잡음 제거 장치 및 방법 - Google Patents
복소 스펙트럼 잡음 제거 장치 및 방법 Download PDFInfo
- Publication number
- KR20110021419A KR20110021419A KR1020090079209A KR20090079209A KR20110021419A KR 20110021419 A KR20110021419 A KR 20110021419A KR 1020090079209 A KR1020090079209 A KR 1020090079209A KR 20090079209 A KR20090079209 A KR 20090079209A KR 20110021419 A KR20110021419 A KR 20110021419A
- Authority
- KR
- South Korea
- Prior art keywords
- noise
- signal
- estimator
- estimating
- circles
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000001228 spectrum Methods 0.000 title abstract description 10
- 230000003595 spectral effect Effects 0.000 claims description 25
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 230000000903 blocking effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
적어도 2 이상의 마이크로폰으로 수신된, 잡음과 목적 음성이 혼합된 입력 신호로부터 목적 신호만를 추출하는 복소 스펙트럼 잡음 제거 장치 및 방법이 개시된다. 본 발명의 일 양상에 따라, 잡음은 사전 신호 대 잡음 비율에 따라 업데이트되는 필터 학습 계수를 갖는 필터를 이용하여 추정될 수 있다. 그리고 신뢰도 가중치에 기초하여 잡음 추정의 정확도를 높이는 것이 가능하다. 추정된 잡음을 이용하여 복소 스펙트럼 영역에서 적어도 2 개의 원을 설정하고, 원의 교점을 기하학적으로 계산해서 목적 신호를 추정한다.
잡음 신호, 목적 신호, 신호 대 잡음 비율, 신뢰도 가중치, 적응형 차단 행렬
Description
2 이상의 마이크로폰으로부터 수신된 각각의 혼합 신호에서 목적 신호를 추출하는 잡음 제거 기술과 관련된다.
작은 크기를 갖는 휴대 기기에서 깨끗한 사운드를 취득하려는 요구가 늘어감에 따라, 적은 계산 량으로도 좋은 잡음 제거 성능을 갖는 마이크로폰 어레이 기술에 대한 연구개발이 활발하다.
대표적인 잡음 제거 방식으로는, 목적 음성 신호와 간섭 잡음 신호가 혼합된 신호에서, 목적 음성 신호만 추출하기 위해 혼합된 신호의 파워 스펙트럼에 적절한 선형 필터링을 적용하는 방식이 있다.
그러나 이러한 방식은 잡음 신호와 목적 음성 신호의 위상이 직교한다는 가정 또는 잡음 신호의 크기가 모두 동일하고 위상만 차이가 난다는 가정하에 가능한 것으로, 일반적인 환경에서 적용하기에 적절치 아니하다.
본 명세서에서는, 듀얼 채널 마이크로폰 기반의 잡음 제거 장치 및 방법이 개시된다.
본 발명의 일 양상에 따른 복소 스펙트럼 잡음 제거 장치는, 적어도 2 이상의 마이크로폰을 통해 수신된 각각의 입력 신호에 포함된 목적 신호를 추출하는 잡음 제거 장치에 있어서, 사전 신호 대 잡음 비율(prior signal-to-noise ratio)에 따라 업데이트되는 필터 학습 계수를 갖는 필터를 이용하여 제 1 잡음을 추정하는 제 1 잡음 추정부를 포함할 수 있다.
또한, 추정된 제 1 잡음 및 신호 대 잡음 비율(signal-to-noise ratio)을 고려한 신뢰도 가중치를 이용하여 제 2 잡음을 추정하는 제 2 잡음 추정부를 더 포함하는 것이 가능하다.
또한, 목적 신호를 복소 스펙트럼 영역에서 적어도 2 이상의 원으로, 입력 신호를 원의 중심으로, 추정된 제 1 잡음 또는 추정된 제 2 잡음을 원의 반경으로 설정하고, 원 간의 교점에 기초하여 목적 신호를 추정하는 목적 신호 추정부를 더 포함할 수 있다.
본 발명의 다른 양상에 따른 복소 스펙트럼 잡음 제거 장치는, 적어도 2 이상의 마이크로폰을 통해 수신된 각각의 입력 신호에 포함된 목적 신호를 추출하는 잡음 제거 장치에 있어서, 적응형 차단 행렬(adaptive blocking matrix)을 통해 제 1 잡음을 추정하는 제 1 잡음 추정부 및 추정된 제 1 잡음 및 신호 대 잡음 비율(signal-to-noise ratio)을 고려한 신뢰도 가중치를 이용하여 제 2 잡음을 추정하는 제 2 잡음 추정부를 포함할 수 있다.
또한, 목적 신호를 복소 스펙트럼 영역에서 적어도 2 이상의 원으로, 입력 신호를 원의 중심으로, 추정된 제 2 잡음을 원의 반경으로 설정하고, 원 간의 교점에 기초하여 목적 신호를 추정하는 목적 신호 추정부를 더 포함하는 것이 가능하다.
본 발명의 일 양상에 따라, 신뢰도 가중치는 사전 신호 대 잡음 비율에 기초하여 정의될 수 있다. 또한, 신뢰도 가중치는 최소 트래킹(minima tracking) 상의 평탄화된 잡음 음성 파워에 기초하여 정의될 수도 있다.
본 발명의 일 양상에 따른 복소 스펙트럼 잡음 제거 방법은, 적어도 2 이상의 마이크로폰을 통해 수신된 각각의 입력 신호에 포함된 목적 신호를 추출하는 잡음 제거 방법에 있어서, 적응형 차단 행렬(adaptive blocking matrix) 또는 사전 신호 대 잡음 비율(prior signal-to-noise ratio)에 따라 업데이트되는 필터 학습 계수를 갖는 필터를 통해 제 1 잡음을 추정하는 단계, 추정된 제 1 잡음 및 신호 대 잡음 비율(signal-to-noise ratio)을 고려한 신뢰도 가중치를 이용하여 제 2 잡음을 추정하는 단계 및 목적 신호를 복소 스펙트럼 영역에서 적어도 2 이상의 원으로, 입력 신호를 원의 중심으로, 추정된 제 1 잡음 또는 추정된 제 2 잡음을 원의 반경으로 설정하고, 원 간의 교점에 기초하여 상기 목적 신호를 추정하는 단계를 포함하는 것이 가능하다.
개시된 내용에 의하면, 사전 신호 대 잡음 비율에 따라 필터 학습 계수가 업데이트되고 신뢰도 가중치에 따라 잡음을 추정하기 때문에 보다 정확하게 잡음을 추정하는 것이 가능하다. 또한, 이렇게 추정된 잡음을 이용하여 복소 영역에서 기하학적으로 목적 신호를 추정하기 때문에 잡음 제거의 계산 량을 줄이고 효과적으로 잡음을 제거하는 것이 가능해진다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 잡음 제거 장치를 도시한다.
도 1에서, 잡음 제거 장치(100)는 적어도 2 이상의 마이크로폰으로부터 수신된 각각의 입력 신호에 포함된 목적 신호를 추출하는 것이 가능하다. 예컨대, 잡음 제거 장치(100)는 듀얼 채널 마이크로폰을 통해 수신된 입력 신호에서 잡음을 제거하고 목적 신호만 분리하는 것이 가능하다.
잡음 제거 장치(100)는 제 1 잡음 추정부(101), 제 2 잡음 추정부(102), 목적 신호 추정부(103), 변환부(105) 및 역 변환부(106)를 포함할 수 있다.
입력 신호 x(t)는 변환부(105)를 통해 복소 스펙트럼 영역의 신호인 X(τ, k)로 변환된다. 여기서 τ는 시간-프레임을 나타내는 변수이고 k는 주파수를 나타내는 변수다. 복소 스펙트럼 영역의 신호인 X(τ, k)는 목적 신호 추정부(103)로 입력된다. 목적 신호 추정부(103)는 수신된 신호에서 잡음을 제거하고 목적 신호 S(τ, k)를 출력한다. 목적 신호 S(τ, k)는 역 변환부(105)를 통해 시간 영역의 신호인 S(t)로 변환된다.
목적 신호 추정부(103)에서 제거되는 잡음은 제 1 잡음 추정부(101) 또는 제 2 잡음 추정부(102)에서 추정된 잡음을 이용할 수 있다. 일 예로써, 목적 신호 S(τ, k)는 입력 신호 X(τ, k)에서 제 1 잡음 추정부(101)의 추정 잡음 N(τ, k)을 뺀 신호가 될 수 있다. 다른 예로써, 목적 신호 S(τ, k)는 입력 신호 X(τ, k)에서 제 2 잡음 추정부(102)의 추정 잡음 σ2 N(τ, k)을 뺀 신호가 될 수 있다.
도 1에서는, 제 1 잡음 추정부(101)가 1차적으로 잡음을 추정하고 제 2 잡음 추정부(102)가 잡음 추정의 정확도를 높여서 2차적으로 잡음을 추정한 후, 제 2 잡음 추정부(102)에서 추정된 잡음인 σ2 N(τ, k)이 목적 신호 추정부(103)로 입력되는 것을 예시하였다. 그러나 반드시 이에 한정하는 것은 아니며, 제 1 잡음 추정부(101)의 출력이 제 2 잡음 추정부(102)를 거치지 않고 직접 목적 신호 추정부(103)로 입력될 수도 있다.
제 1 잡음 추정부(101)는 적응형 차단 행렬(adaptive blocking matrix)을 통해 제 1 잡음인 N(τ, k)을 추정하는 것이 가능하다. 또한, 제 1 잡음 추정부(101)는 사전 신호 대 잡음 비율(prior signal-to-noise ratio, prior-SNR)에 따라 업데이트되는 학습 계수를 갖는 필터를 이용하여 제 1 잡음인 N(τ, k)을 추정하는 것도 가능하다.
제 2 잡음 추정부(102)는 신뢰도 가중치(confidential weighted score)를 이용하여 잡음 추정의 정확도를 높이는 것이 가능하다. 이 때, 신뢰도 가중치는 신호 대 잡음 비율(signal-to-noise ratio, SNR)에 따라 다른 값을 가질 수 있다. 예컨대, 제 2 잡음 추정부(102)에서 추정된 잡음 σ2 N(τ, k)은 신뢰도 가중치를 이용하여 제 1 잡음 추정부(101)에서 추정된 잡음 N(τ, k)을 적절하게 가공한 값이 될 수 있다. 신뢰도 가중치는 사전 신호 대 잡음 비율(prior signal-to-noise ratio, prior-SNR)을 이용한 시그모이드(sigmoid) 함수에 기초하여 정의될 수가 있다. 또한, 신뢰도 가중치는 minima tracking 기법에 있어서 잡음 음성 파워와 평탄화된 잡음 음성 파워 간의 비율을 이용한 시그모이드 함수에 기초하여 정의될 수도 있다.
목적 신호 추정부(103)는 제 1 잡음 추정부(101)에서 추정된 잡음 N(τ, k) 또는 제 2 잡음 추정부(102)에서 추정된 잡음 σ2 N(τ, k)을 이용하여 입력 신호 X(τ, k)에서 잡음을 분리하고 목적 신호 S(τ, k)를 추정한다. 이 때, 목적 신호 추정부(103)는 복소 스펙트럼 영역에서 기하학적으로 목적 신호를 추정하는 것이 가능하다.
일 예로써, 목적 신호 추정부(103)는, 복소 스펙트럼 영역에서, 후보 목적 신호를 적어도 2 이상의 원으로 나타내고, 각각의 입력 신호 X1(τ, k) 및 X2(τ, k)를 각 원의 중심으로 나타내고, 제 1 잡음 추정부(101)에서 추정된 잡음 N1(τ, k) 및 N2(τ, k)를 각 원의 반경으로 설정한 후, 원 간의 교점을 구해서 목적 신호 S(τ, k)를 구하는 것이 가능하다.
다른 예로써, 목적 신호 추정부(103)는, 복소 스펙트럼 영역에서, 후보 목적 신호를 적어도 2 이상의 원으로 나타내고, 각각의 입력 신호 X1(τ, k) 및 X2(τ, k)를 각 원의 중심으로 나타내고, 제 2 잡음 추정부(102)에서 추정된 잡음 σ2 N1(τ, k) 및 σ2 N2(τ, k)를 각 원의 반경으로 설정한 후, 원 간의 교점을 구해서 목적 신호 S(τ, k)를 구하는 것이 가능하다.
도 2는 본 발명의 일 실시 예에 따른 제 1 잡음 추정부를 도시한다.
도 2를 참조하면, 제 1 잡음 추정부(200)는 필터링부(201)와 필터링부(201)의 필터를 업데이트하기 위한 업데이트부(202)를 포함할 수 있다.
도 2에서, 각각의 입력 신호 X1(τ, k) 및 X2(τ, k)는 신호 합성기(203) 및 증폭기(204)를 거쳐 고정 빔 형성기 신호(fixed beamformer signal) Y(τ, k)로 변환된다. 그리고 각각의 잡음 신호 N1(τ, k) 및 N2(τ, k)는 고정 빔 형성기 신호 Y(τ, k)의 필터링 신호를 각각의 입력 신호 X1(τ, k) 및 X2(τ, k)에서 빼서 구할 수 있다. 이 때, 필터링부(201)의 필터 B1(τ, k) 및 B2(τ, k)는 업데이트부(202)의 필터 학습 계수, 즉 α1(τ) 및 α2(τ)와, 추정된 잡음 신호 N1(τ, k) 및 N2(τ, k)에 의해 업데이트가 된다. 그리고 필터 학습 계수는 사후 신호 대 잡음 비율에 따라 업데이트되는 것이 가능하다.
이를 구체적인 수식을 통해 살펴보면 다음과 같다.
먼저, 고정 빔 형성기 신호 Y(τ, k)는 다음과 같다.
그리고 각 채널 별 잡음은 다음과 같이 구할 수 있다.
수학식 2에서, Bi(τ, k)는 다음과 같이 NLMS(normalized least mean square error minimization) 방식으로 학습이 이루어질 수 있다.
수학식 3에서, αi(τ)는 필터 학습 계수를 나타내며, 사후 신호 대 잡음 비율(posterior signal-to-noise ratio, posterior-SNR)을 이용하여 다음과 같이 업데이트 되는 것이 가능하다.
수학식 4를 참조하면, 고정 빔 형성기 신호 Y(τ, k)와 추정된 잡음 Ni(τ, k)의 비율에 따라 학습 계수가 업데이트 되는 것을 알 수 있다.
도 3은 본 발명의 다른 실시 예에 따른 제 1 잡음 추정부를 도시한다.
도 3을 참조하면, 제 1 잡음 추정부(300)는 필터링부(301)와 필터링부(301)의 필터를 업데이트하기 위한 업데이트부(302)를 포함할 수 있다.
도 3에서, 각각의 입력 신호 X1(τ, k) 및 X2(τ, k)는 신호 합성기(303) 및 증폭기(304)를 거쳐 고정 빔 형성기 신호(fixed beamformer signal) Y(τ, k)로 변환된다. 그리고 각각의 잡음 신호 N1(τ, k) 및 N2(τ, k)는 고정 빔 형성기 신호 Y(τ, k)의 필터링 신호를 각각의 입력 신호 X1(τ, k) 및 X2(τ, k)에서 빼서 구할 수 있다. 이 때, 필터링부(201)의 필터 B1(τ, k) 및 B2(τ, k)는 업데이트부(202)의 필터 학습 계수, 즉 α1(τ) 및 α2(τ)와, 추정된 잡음 신호 N1(τ, k) 및 N2(τ, k)에 의해 업데이트가 된다. 그리고 필터 학습 계수는 사전 신호 대 잡음 비율에 따라 업데이트 되는 것이 가능하다.
이를 구체적인 수식을 통해 살펴보면 다음과 같다.
먼저, 고정 빔 형성기 신호 Y(τ, k)는 다음과 같다.
그리고 각 채널 별 잡음은 다음과 같이 구할 수 있다.
수학식 2에서, Bi(τ, k)는 다음과 같이 NLMS(normalized least mean square error minimization) 방식으로 학습이 이루어질 수 있다.
수학식 6에서, αi(τ)는 필터 학습 계수를 나타내며, 사전 신호 대 잡음 비율(prior signal-to-noise ratio, posterior-SNR)을 이용하여 다음과 같이 업데이트 되는 것이 가능하다.
수학식 8를 참조하면, 이전 프레임의 입력 신호 Xi(τ-1, k)와 목적 신호 S(τ-1, k) 간의 비율에 기초해서 학습 계수가 업데이트되는 것을 알 수 있다.
도 4는 본 발명의 일 실시 예에 따른 제 2 잡음 추정부를 도시한다.
도 4에서, 제 2 잡음 추정부(400)는 제 1 잡음 추정부(200 또는 300)에서 추정된 잡음의 정확도를 향상시키기 위해 제 1 잡음 추정부(200 또는 300)에서 추정된 잡음 및 신뢰도 가중치를 기초로 제 2 잡음을 추정하는 것이 가능하다. 이를 위해, 제 2 잡음 추정부(400)는 신뢰도 가중치를 이용한 마스크 필터(401)를 포함하여 구성될 수가 있다.
도 4에서, Mi(τ, k)는 이러한 신뢰도 가중치를 나타낸다. 신뢰도 가중치는 SNR을 고려하여 정의될 수 있는데, 사전 SNR에 기초하여 정해질 수도 있고, minima tracking에 이용되는 잡음 음성 파워에 기초하여 정해질 수도 있다.
일 예로써, 사전 SNR에 따른 신뢰도 가중치를 이용하는 경우의 제 2 잡음 추정부(400)를 살펴본다.
먼저, 도 4에서 추정의 정확도가 향상된 제 2 잡음인 σNi(τ, k)는 다음과 같다.
수학식 9에서, 신뢰도 가중치인 Mi(τ, k)는 사전 SNR을 이용하여 다음과 같 이 정의될 수 있다.
수학식 10에서, φ와 θ는 각각 기울기와 문턱 값을 나타낸다.
수학식 9 및 10을 참조하면, 낮은 SNR 영역의 경우 신뢰도 가중치가 0에 가까워지므로 입력 신호 자체를 잡음으로 간주하고, 높은 SNR 영역의 경우 신뢰도 가중치가 1에 가까워지므로 1차적으로 추정된 잡음을 잡음으로 간주하는 것이 가능함을 알 수 있다.
다음으로 minima tracking에 이용되는 잡음 음성 파워에 기초한 신뢰도 가중치를 이용하는 경우의 제 2 잡음 추정부(400)를 살펴본다.
먼저, 도 4에서 추정의 정확도가 향상된 제 2 잡음인 σNi(τ, k)는 다음과 같다.
수학식 11에서, 신뢰도 가중치인 Mi(τ, k)는 최소 트래킹(minima tracking)에 기반한 잡음 추정 시 인접 주파수 간의 상관도를 고려하여 추정된 잡음(noise)과 잡음 음성(noisy speech)간의 파워스펙트럼 비율을 이용하여 다음과 같이 정의 될 수 있다.
수학식 12에서, phi, theta는 각각 시그모이드 함수의 기울기와 문턱 값을 나타내고, epsilon은 분모가 0이 되는 것을 방지하는 상수이다. 그리고 잡음 음성 파워와 평탄화된 잡음 음성 파워비는 다음과 같이 구할 수 있다.
수학식 13을 참조하면, 를 기본적인 잡음 음성의 파워 스펙트럼으로 이용하는 것을 알 수 있다. 이것은 최소 트래킹을 이용하여 잡음을 추정하는 데에 있어서, 인접한 주파수 간의 상관도를 고려하기 위한 것이다. 따라서 최소 파워를 계산하는 데 있어서, 인접 주파수의 신호가 동시에 고려되므로 musical noise 성분을 크게 줄이는 것이 가능하다. 수학식 13에서, gamma, eta, beta는 각 각 파워 스펙트럼의 평탄화 정도, 최소 파워 스펙트럼의 평탄화 정도, look-ahead factor를 나타내는 상수이다.
한편, 저주파 영역에서 음성 신호의 파워 스펙트럼이 상대적으로 강하고, 고주파 영역에서는 상대적으로 약하므로, 시그모이드 함수의 문턱 값을 모든 주파수에 대해 일정하게 유지하면, 고주파 신호에 대해서는 신뢰도 가중치가 대체적으로 낮은 값을 가질 수 있다. 따라서, 저주파(<1KHz)에서는 문턱 값을 높이고, 고주파(>3KHz)에서는 문턱 값을 낮추는 것도 가능하다.
도 5는 본 발명의 일 실시 예에 따른 목적 신호 추정부를 도시한다.
도 5에서, 목적 신호 추정부(500)는 복소 스펙트럼 영역으로 변환된 각각의 입력 신호 X1(τ, k) 및 X2(τ, k)로부터 잡음을 제거하고 목적 신호 S(τ, k)를 추정하는 것이 가능하다. 이 때, 목적 신호 추정에 이용되는 잡음은 제 1 잡음 추정부(예컨대, 200 또는 300)에서 추정된 잡음인 N1(τ, k) 및 N2(τ, k) 또는 제 2 잡음 추정부(예컨대, 400)에서 추정된 잡음인 σ2 N1(τ, k) 및 σ2 N2(τ, k)이 이용될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 목적 신호 추정부의 목적 신호 계산 방법을 도시한다.
도 6에서, 목적 신호 추정부(500)는 복소 스펙트럼 영역에서 후보 목적 신호를 2개의 원으로 나타낸다. 이 때, 원의 중심은 각각의 입력 신호가 될 수 있고, 각 원의 반경은 잡음에 대응될 수 있다.
예를 들어, P1은 입력 신호 X1(τ, k)을 복소 공간에서 나타낸 점이고, P2는 입력 신호 X2(τ, k)을 복소 공간에서 나타낸 점이 될 수 있다. 그리고 R1과 R2는 입력 신호에 포함된 잡음이 될 수 있고, 각각의 원은 후보 목적 신호가 될 수 있다.
목적 신호 추정부(500)는 제 1 잡음 추정부(예컨대, 200 또는 300) 및/또는 제 2 잡음 추정부(예컨대, 400)를 통해 추정된 잡음을 이용하여 R1 및 R2 값을 확정하고, 두 원의 교점을 구한 후, 원점에서 가까운 거리에 있는 교점을 목적 신호로 추정하는 것이 가능하다.
이를 구체적인 수식과 함께 살펴보면 다음과 같다.
두 개의 마이크로 유입되는 잡음 스펙트럼의 크기에 따라 정해진 원의 반경을 각각 R1 및 R2라 하고, 두 원이 만나는 교점을 Pi로 놓는다. 그리고 두 원의 중심을 연결하는 P1P2선분의 길이를 d라고 하고, 이 선분과 두 원의 교점을 연결하는 선분이 만나는 점을 P3라고 할 때, P1P3선분의 길이를 a, P3Pi의 선분의 길이를 h라고 하면, 삼각형 P1P3Pi 와 P2P3Pi부터 다음과 같은 식이 성립된다.
수학식 14로부터 P3의 좌표는 다음과 같이 구할 수 있다.
한편, P1과 P2를 각각 허축(imaginary axis) 및 실축(real axis)에 평행인 선분을 그어 만나는 점을 Pb라 하고, Pi와 P3를 각 축에 평행인 선분을 그어 만나는 점을 Pa라 하면, 삼각형 P1P2Pb와 삼각형 PiP3Pa는 닮은꼴 삼각형이 되므로, 교점 Pi는 다음과 같이 구할 수 있다.
수학식 16에서, 두 교점 중에 원점으로부터의 거리가 작은 값을 목적 음성의 복소 스펙트럼을 취하는 것이 가능하다.
다음으로, 도 7을 참조하여 본 발명의 일 실시 예에 따른 잡음 제거 방법을 설명한다.
도 7에서, 먼저 입력 신호에 포함된 제 1 잡음을 추정한다(701). 예컨대, 제 1 잡음 추정부가 수학식 1 내지 수학식 8과 같이 제 1 잡음을 추정하는 것이 가능하다. 제 1 잡음은 적응형 차단 행렬을 이용하여 추정되는 것이 가능하며, 잡음 추정을 위한 학습 필터의 필터 학습 계수는 사전 신호 대 잡음 비율에 따라 업데이트되는 것이 가능하다.
그리고, 제 1 잡음을 기초로, 추정의 정확도를 높여서 제 2 잡음을 추정한다(702). 예컨대, 제 2 잡음 추정부가 수학식 9 내지 수학식 13과 같이 제 2 잡음을 추정하는 것이 가능하다. 제 2 잡음 추정을 위한 신뢰도 가중치는 사전 신호 대 잡음 비율을 기초로 정의될 수도 있고, 인접 주파수 간의 상관도를 고려한 최소 트랙킹 상의 잡음 음성 파워를 기초로 정의될 수도 있다.
그리고, 추정된 잡음을 이용하여 입력 신호로부터 목적 신호를 추정한다(703). 예컨대, 목적 신호 추정부가 수학식 14 내지 수학식 16과 같이 목적 신호를 추정하는 것이 가능하다. 추정된 잡음은 원의 반경으로 설정될 수 있는데, 전술한 제 1 잡음 또는 제 2 잡음이 이용될 수 있다.
이상에서 설명한 바와 같이, 개시된 실시 예들에 의하면, 혼합 신호에서 정확하게 잡음을 추정하고 그 추정된 잡음에 기초해서 목적 신호를 계산하기 때문에 혼합 신호로부터 목적 신호를 정확하게 추출하는 것이 가능하다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인 터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.
도 1은 본 발명의 일 실시 예에 따른 잡음 제거 장치를 도시한다.
도 2는 본 발명의 일 실시 예에 따른 제 1 잡음 추정부를 도시한다.
도 3은 본 발명의 다른 실시 예에 따른 제 1 잡음 추정부를 도시한다.
도 4는 본 발명의 일 실시 예에 따른 제 2 잡음 추정부를 도시한다.
도 5는 본 발명의 일 실시 예에 따른 목적 신호 추정부를 도시한다.
도 6은 본 발명의 일 실시 예에 따른 목적 신호 추정부의 목적 신호 추정 방법을 도시한다.
도 7은 본 발명의 일 실시 예에 따른 잡음 제거 방법을 도시한다.
Claims (13)
- 적어도 2 이상의 마이크로폰을 통해 수신된 각각의 입력 신호에 포함된 목적 신호를 추출하는 잡음 제거 장치에 있어서,사전 신호 대 잡음 비율(prior signal-to-noise ratio)에 따라 업데이트되는 필터 학습 계수를 갖는 필터를 이용하여 제 1 잡음을 추정하는 제 1 잡음 추정부; 를 포함하는 복소 스펙트럼 잡음 제거 장치.
- 제 1 항에 있어서,상기 추정된 제 1 잡음 및 신호 대 잡음 비율(signal-to-noise ratio)을 고려한 신뢰도 가중치를 이용하여 제 2 잡음을 추정하는 제 2 잡음 추정부; 를 더 포함하는 복소 스펙트럼 잡음 제거 장치.
- 제 2 항에 있어서,상기 신뢰도 가중치는, 상기 사전 신호 대 잡음 비율에 기초하여 정의되는, 복소 스펙트럼 잡음 제거 장치.
- 제 2 항에 있어서,상기 신뢰도 가중치는, 최소 트래킹(minima tracking) 상의 평탄화된 잡음 음성 파워에 기초하여 정의되는, 복소 스펙트럼 잡음 제거 장치.
- 제 1 항에 있어서,상기 목적 신호를 복소 스펙트럼 영역에서 적어도 2 이상의 원으로, 상기 입력 신호를 상기 원의 중심으로, 상기 제 1 잡음을 상기 원의 반경으로 설정하고, 상기 원 간의 교점에 기초하여 상기 목적 신호를 추정하는 목적 신호 추정부; 를 더 포함하는 복소 스펙트럼 잡음 제거 장치.
- 제 2 항에 있어서,상기 목적 신호를 복소 스펙트럼 영역에서 적어도 2 이상의 원으로, 상기 입력 신호를 상기 원의 중심으로, 상기 제 2 잡음을 상기 원의 반경으로 설정하고, 상기 원 간의 교점에 기초하여 상기 목적 신호를 추정하는 목적 신호 추정부; 를 더 포함하는 복소 스펙트럼 잡음 제거 장치.
- 적어도 2 이상의 마이크로폰을 통해 수신된 각각의 입력 신호에 포함된 목적 신호를 추출하는 잡음 제거 장치에 있어서,적응형 차단 행렬(adaptive blocking matrix)을 통해 제 1 잡음을 추정하는 제 1 잡음 추정부; 및상기 추정된 제 1 잡음 및 신호 대 잡음 비율(signal-to-noise ratio)을 고려한 신뢰도 가중치를 이용하여 제 2 잡음을 추정하는 제 2 잡음 추정부; 를 포함하는 복소 스펙트럼 잡음 제거 장치.
- 제 7 항에 있어서,상기 신뢰도 가중치는, 사전 신호 대 잡음 비율(prior signal-to-noise ratio)에 기초하여 정의되는, 복소 스펙트럼 잡음 제거 장치.
- 제 7 항에 있어서,상기 신뢰도 가중치는, 최소 트래킹(minima tracking) 상의 평탄화된 잡음 음성 파워에 기초하여 정의되는, 복소 스펙트럼 잡음 제거 장치.
- 제 7 항에 있어서,상기 목적 신호를 복소 스펙트럼 영역에서 적어도 2 이상의 원으로, 상기 입력 신호를 상기 원의 중심으로, 상기 제 2 잡음을 상기 원의 반경으로 설정하고, 상기 원 간의 교점에 기초하여 상기 목적 신호를 추정하는 목적 신호 추정부; 를 더 포함하는 복소 스펙트럼 잡음 제거 장치.
- 적어도 2 이상의 마이크로폰을 통해 수신된 각각의 입력 신호에 포함된 목적 신호를 추출하는 잡음 제거 방법에 있어서,적응형 차단 행렬(adaptive blocking matrix) 또는 사전 신호 대 잡음 비율(prior signal-to-noise ratio)에 따라 업데이트되는 필터 학습 계수를 갖는 필터를 통해 제 1 잡음을 추정하는 단계;상기 추정된 제 1 잡음 및 신호 대 잡음 비율(signal-to-noise ratio)을 고려한 신뢰도 가중치를 이용하여 제 2 잡음을 추정하는 단계; 및상기 목적 신호를 복소 스펙트럼 영역에서 적어도 2 이상의 원으로, 상기 입력 신호를 상기 원의 중심으로, 상기 제 1 잡음 또는 상기 제 2 잡음을 상기 원의 반경으로 설정하고, 상기 원 간의 교점에 기초하여 상기 목적 신호를 추정하는 단계; 를 포함하는 복소 스펙트럼 잡음 제거 방법.
- 제 11 항에 있어서,상기 신뢰도 가중치는, 사전 신호 대 잡음 비율(prior signal-to-noise ratio)에 기초하여 정의되는, 복소 스펙트럼 잡음 제거 방법.
- 제 11 항에 있어서,상기 신뢰도 가중치는, 최소 트래킹(minima tracking) 상의 평탄화된 잡음 음성 파워에 기초하여 정의되는, 복소 스펙트럼 잡음 제거 방법.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090079209A KR101581885B1 (ko) | 2009-08-26 | 2009-08-26 | 복소 스펙트럼 잡음 제거 장치 및 방법 |
US12/862,026 US20110051956A1 (en) | 2009-08-26 | 2010-08-24 | Apparatus and method for reducing noise using complex spectrum |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090079209A KR101581885B1 (ko) | 2009-08-26 | 2009-08-26 | 복소 스펙트럼 잡음 제거 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110021419A true KR20110021419A (ko) | 2011-03-04 |
KR101581885B1 KR101581885B1 (ko) | 2016-01-04 |
Family
ID=43624947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090079209A KR101581885B1 (ko) | 2009-08-26 | 2009-08-26 | 복소 스펙트럼 잡음 제거 장치 및 방법 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20110051956A1 (ko) |
KR (1) | KR101581885B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018199367A1 (ko) * | 2017-04-27 | 2018-11-01 | 경상대학교 산학협력단 | 스테레오 채널 잡음 제거 장치 및 방법 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120080409A (ko) * | 2011-01-07 | 2012-07-17 | 삼성전자주식회사 | 잡음 구간 판별에 의한 잡음 추정 장치 및 방법 |
US9042432B2 (en) * | 2013-03-14 | 2015-05-26 | Qualcomm Incorporated | Adaptive filter bank for dynamic notching in powerline communication |
US9401158B1 (en) * | 2015-09-14 | 2016-07-26 | Knowles Electronics, Llc | Microphone signal fusion |
US9607603B1 (en) | 2015-09-30 | 2017-03-28 | Cirrus Logic, Inc. | Adaptive block matrix using pre-whitening for adaptive beam forming |
CN105933257B (zh) * | 2016-04-28 | 2019-07-12 | 西安电子科技大学 | 一种频谱共享方式下时频重叠信号的信噪比估计方法 |
US10085087B2 (en) * | 2017-02-17 | 2018-09-25 | Oki Electric Industry Co., Ltd. | Sound pick-up device, program, and method |
JP2021111097A (ja) * | 2020-01-09 | 2021-08-02 | 富士通株式会社 | ノイズ推定方法、ノイズ推定プログラム及びノイズ推定装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007147732A (ja) * | 2005-11-24 | 2007-06-14 | Japan Advanced Institute Of Science & Technology Hokuriku | 雑音低減システム及び雑音低減方法 |
KR20090037845A (ko) * | 2008-12-18 | 2009-04-16 | 삼성전자주식회사 | 혼합 신호로부터 목표 음원 신호를 추출하는 방법 및 장치 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020002455A1 (en) * | 1998-01-09 | 2002-01-03 | At&T Corporation | Core estimator and adaptive gains from signal to noise ratio in a hybrid speech enhancement system |
JP4163294B2 (ja) * | 1998-07-31 | 2008-10-08 | 株式会社東芝 | 雑音抑圧処理装置および雑音抑圧処理方法 |
US6289309B1 (en) * | 1998-12-16 | 2001-09-11 | Sarnoff Corporation | Noise spectrum tracking for speech enhancement |
US6473733B1 (en) * | 1999-12-01 | 2002-10-29 | Research In Motion Limited | Signal enhancement for voice coding |
US7139703B2 (en) * | 2002-04-05 | 2006-11-21 | Microsoft Corporation | Method of iterative noise estimation in a recursive framework |
KR100480789B1 (ko) * | 2003-01-17 | 2005-04-06 | 삼성전자주식회사 | 피드백 구조를 이용한 적응적 빔 형성방법 및 장치 |
GB2398913B (en) * | 2003-02-27 | 2005-08-17 | Motorola Inc | Noise estimation in speech recognition |
US7473989B2 (en) * | 2003-08-27 | 2009-01-06 | Advanced Semiconductor Engineering, Inc. | Flip-chip package |
KR20060113714A (ko) * | 2003-11-24 | 2006-11-02 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비상관된 잡음에 대해 내성을 갖는 적응형 빔포머 |
US7133825B2 (en) * | 2003-11-28 | 2006-11-07 | Skyworks Solutions, Inc. | Computationally efficient background noise suppressor for speech coding and speech recognition |
EP1640971B1 (en) * | 2004-09-23 | 2008-08-20 | Harman Becker Automotive Systems GmbH | Multi-channel adaptive speech signal processing with noise reduction |
CN101238511B (zh) * | 2005-08-11 | 2011-09-07 | 旭化成株式会社 | 声源分离装置、音频识别装置、移动电话机、声源分离方法 |
JP5070873B2 (ja) * | 2006-08-09 | 2012-11-14 | 富士通株式会社 | 音源方向推定装置、音源方向推定方法、及びコンピュータプログラム |
WO2008115435A1 (en) * | 2007-03-19 | 2008-09-25 | Dolby Laboratories Licensing Corporation | Noise variance estimator for speech enhancement |
US7817808B2 (en) * | 2007-07-19 | 2010-10-19 | Alon Konchitsky | Dual adaptive structure for speech enhancement |
DE602007003220D1 (de) * | 2007-08-13 | 2009-12-24 | Harman Becker Automotive Sys | Rauschverringerung mittels Kombination aus Strahlformung und Nachfilterung |
EP2058797B1 (en) * | 2007-11-12 | 2011-05-04 | Harman Becker Automotive Systems GmbH | Discrimination between foreground speech and background noise |
US8150054B2 (en) * | 2007-12-11 | 2012-04-03 | Andrea Electronics Corporation | Adaptive filter in a sensor array system |
DE102008017550A1 (de) * | 2008-04-07 | 2009-10-08 | Siemens Medical Instruments Pte. Ltd. | Mehrstufiges Schätzverfahren zur Störgeräuschreduktion und Hörvorrichtung |
US8380497B2 (en) * | 2008-10-15 | 2013-02-19 | Qualcomm Incorporated | Methods and apparatus for noise estimation |
-
2009
- 2009-08-26 KR KR1020090079209A patent/KR101581885B1/ko not_active IP Right Cessation
-
2010
- 2010-08-24 US US12/862,026 patent/US20110051956A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007147732A (ja) * | 2005-11-24 | 2007-06-14 | Japan Advanced Institute Of Science & Technology Hokuriku | 雑音低減システム及び雑音低減方法 |
KR20090037845A (ko) * | 2008-12-18 | 2009-04-16 | 삼성전자주식회사 | 혼합 신호로부터 목표 음원 신호를 추출하는 방법 및 장치 |
Non-Patent Citations (1)
Title |
---|
권홍석 외 2명, ‘MMSE-STSA 추정치에 기반한 후처리를 갖는 마이크로폰 배열을 이용한 음성 개선’, 대한음성학회 2002년 11월 학술대회지, pp.187~190, 2002년 11월.* * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018199367A1 (ko) * | 2017-04-27 | 2018-11-01 | 경상대학교 산학협력단 | 스테레오 채널 잡음 제거 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20110051956A1 (en) | 2011-03-03 |
KR101581885B1 (ko) | 2016-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3703052B1 (en) | Echo cancellation method and apparatus based on time delay estimation | |
KR100486736B1 (ko) | 두개의 센서를 이용한 목적원별 신호 분리방법 및 장치 | |
KR101581885B1 (ko) | 복소 스펙트럼 잡음 제거 장치 및 방법 | |
Vaseghi | Multimedia signal processing: theory and applications in speech, music and communications | |
Benesty et al. | Speech enhancement in the STFT domain | |
US9431023B2 (en) | Monaural noise suppression based on computational auditory scene analysis | |
US7313518B2 (en) | Noise reduction method and device using two pass filtering | |
KR101224755B1 (ko) | 음성-상태 모델을 사용하는 다중-감각 음성 향상 | |
JP5127754B2 (ja) | 信号処理装置 | |
JP5183828B2 (ja) | 雑音抑圧装置 | |
CN108172231A (zh) | 一种基于卡尔曼滤波的去混响方法及系统 | |
CN108010536B (zh) | 回声消除方法、装置、系统及存储介质 | |
JP2010055024A (ja) | 信号補正装置 | |
CN111048061B (zh) | 回声消除滤波器的步长获取方法、装置及设备 | |
WO2015129760A1 (ja) | 信号処理装置、方法及びプログラム | |
JP2016048872A (ja) | 収音装置 | |
US7890319B2 (en) | Signal processing apparatus and method thereof | |
KR101295727B1 (ko) | 적응적 잡음추정 장치 및 방법 | |
JP2012181561A (ja) | 信号処理装置 | |
JP3786038B2 (ja) | 入力信号処理方法および入力信号処理装置 | |
CN117219102A (zh) | 一种基于听觉感知的低复杂度语音增强方法 | |
JP5466581B2 (ja) | 反響消去方法、反響消去装置及び反響消去プログラム | |
JP4533126B2 (ja) | 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体 | |
KR101537653B1 (ko) | 주파수 또는 시간적 상관관계를 반영한 잡음 제거 방법 및 시스템 | |
JP2017083583A (ja) | 雑音抑圧装置、その方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |