KR101597752B1 - 잡음 추정 장치 및 방법과, 이를 이용한 잡음 감소 장치 - Google Patents

잡음 추정 장치 및 방법과, 이를 이용한 잡음 감소 장치 Download PDF

Info

Publication number
KR101597752B1
KR101597752B1 KR1020090085511A KR20090085511A KR101597752B1 KR 101597752 B1 KR101597752 B1 KR 101597752B1 KR 1020090085511 A KR1020090085511 A KR 1020090085511A KR 20090085511 A KR20090085511 A KR 20090085511A KR 101597752 B1 KR101597752 B1 KR 101597752B1
Authority
KR
South Korea
Prior art keywords
target sound
audio signal
noise
input
detected
Prior art date
Application number
KR1020090085511A
Other languages
English (en)
Other versions
KR20100040664A (ko
Inventor
김규홍
오광철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20100040664A publication Critical patent/KR20100040664A/ko
Application granted granted Critical
Publication of KR101597752B1 publication Critical patent/KR101597752B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed

Abstract

시간에 따라 변화하는(non-stationary) 잡음을 추정하는 장치 및 방법과 이를 이용한 잡음감소장치가 개시된다. 본 발명의 일실시예에 따른 잡음 추정 장치는, 검출하고자 하는 목적음(target sound)의 음원이 위치한 방향에서의 오디오 신호를 입력된 오디오 신호에서 제거하여, 목적음 차단된 오디오 신호의 주파수별 방향성 이득(directivity gain)의 변화를 보상하여 잡음을 추정한다. 이에 의해, 시간에 따라 변화하는 non-stationary 잡음을 추정할 수 있어 음성을 입력으로 하는 여러가지 장치에서 음성인식성능을 향상시킬 수 있다.
잡음 추정, 잡음 감소

Description

잡음 추정 장치 및 방법과, 이를 이용한 잡음 감소 장치 {Apparatus and method for noise estimation, and noise reduction apparatus employing the same}
본 발명은 오디오 신호 처리에 관한 것으로, 보다 상세하게는 잡음을 추정하는 장치 및 방법과 이를 이용한 잡음 감소 장치에 관한 것이다.
휴대폰 등의 통신 단말을 사용하여 음성통화시에 주변 잡음이 존재하는 경우에는 좋은 통화 품질을 보장하기가 어렵다. 따라서 잡음이 존재하는 환경에서 통화 품질을 높이기 위해서는 주변 잡음 성분을 추정하여 실제 음성 신호만을 추출하는 기술이 필요하다.
이와 더불어, 캠코더, 노트북 PC, 네비게이션, 게임기 등 여러가지 단말기에서도 음성을 입력받아 동작하거나 음성 데이터를 저장하는 등 음성 기반의 응용예가 증가하고 있어, 주변 잡음을 감소 또는 제거하여 좋은 품질의 음성을 추출해 내는 기술이 필요하다.
종래에도 주변 잡음을 추정하거나 감소하는 여러가지 방법들이 개시되어 있다. 그러나 시간에 따라 잡음의 통계적 특성이 변화하거나, 잡음의 통계적 특성을 알아내기 위한 초기 단계에서, 예측하지 못한 산발적인(sporadic) 잡음이 발생하는 경우에는 원하는 잡음 감소 또는 제거 성능을 얻지 못한다.
따라서, 본 발명의 일 양상에 따라, 실제 알아내고자 하는 목적음(target sound)을 차단하여 잡음성분을 추정함으로써 시간에 따라 변화하는(non-stationary) 잡음을 추정하는 장치 및 방법과 이를 이용한 잡음 감소 장치를 제공하고자 한다.
본 발명의 일 양상에 따른 잡음 추정장치는, 다수의 방향으로부터의 오디오 신호를 입력받아 주파수 변환하는 오디오 입력부와, 검출하고자 하는 목적음(target sound)의 음원이 위치한 방향에서의 오디오 신호를 차단하는 목적음 차단부 및 상기 목적음 차단된 오디오 신호의 주파수별 방향성 이득(directivity gain)의 변화를 보상하는 보상부를 포함한다.
그리고 상기 잡음 추정 장치는, 목적음 유입 여부를 검출하여 목적음이 검출되지 않는 구간에서는 상기 보상부에서 보상된 잡음성분과, 상기 목적음이 검출되지 않은 구간에서의 입력 오디오 신호의 크기비에 기초한 스케일링 계수를 계산하는 목적음 검출부를 더 포함하고, 상기 보상부는 상기 추정된 잡음 성분에 상기 스케일링 계수를 곱하여 잡음성분을 추정할 수 있다.
또한 상기 잡음 추정 장치는, 상기 목적음이 입력되는 2개의 마이크로폰의 이득을 조정하여 서로 일치시키는 이득 조정부를 더 포함할 수 있다.
또한, 본 발명의 다른 양상에 따른 잡음 감소 장치는, 다수 방향으로부터의 오디오 신호를 입력받아 주파수 변환하고, 검출하고자 하는 목적음(target sound)의 음원이 위치한 방향에서의 오디오 신호를 상기 입력된 오디오 신호에서 차단한 후, 상기 목적음 차단된 오디오 신호의 주파수별 방향성 이득(directivity gain)의 변화를 보상하여 잡음을 추정하는 잡음 추정부와, 상기 잡음 추정부에서 추정된 잡음 성분을 기초로 계산된 필터 계수를 바탕으로 하여 얻어진 잡음 감소 필터를 포함한다.
또한, 본 발명의 다른 양상에 따른 잡음 감소 방법은, 다수 방향으로부터의 오디오 신호를 입력받아 주파수 변환하는 주파수 변환 단계, 검출하고자 하는 목적음(target sound)의 음원이 위치한 방향에서의 오디오 신호를 상기 입력된 오디오 신호에서 차단하는 목적음 차단 단계 및 상기 목적음 차단된 오디오 신호의 주파수별 방향성 이득(directivity gain)의 변화를 보상하는 보상 단계를 포함한다.
또한, 본 발명의 다른 양상에 따른 잡음감소장치는, 복수의 마이크로폰을 구비하여, 다수 방향으로부터의 오디오 신호를 입력받아 주파수 변환하는 오디오 입력부와, 상기 복수의 마이크로폰으로 입력된 오디오 신호들간의 차를 계산함으로써, 상기 주파수 변환된 목적음(target sound)의 음원이 위치한 방향에서의 오디오 신호를 차단하는 목적음 차단부 및 상기 오디오 입력부에 입력된 오디오 신호에서, 상기 차단된 오디오 신호를 뺀 오디오 신호를 출력하는 잡음 감소부를 포함한다.
본 발명의 일실시예에 따르면, 시간에 따라 변화하는 잡음(non-stationary noise)을 추정할 수 있어 음성을 입력으로 하는 여러가지 장치에서 음성인식성능을 향상시킬 수 있다.
또한 본 발명의 일실시예에 따른 잡음추정기술을 휴대폰 등 통신 단말기에 적용하여 통화품질을 향상시킬 수 있다. 또한 전 주파수 영역에서 고르게 잡음을 추정할 수도 있고, 음성이 존재하는 구간에서의 잡음도 효과적으로 추정할 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 잡음추정장치의 구성도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 잡음추정장치는 오디오 입력부(110), 목적음 차단부(120) 및 보상부(130)를 포함한다.
오디오 입력부(110)는 여러 방향으로부터의 오디오 신호를 입력받아 주파수 변환한다. 목적음 차단부(120)는 검출하고자 하는 목적음(target sound)의 음원이 위치한 방향에서의 오디오 신호를 오디오 입력부(110)에서 입력된 오디오 신호에서 제거한다. 그리고 보상부(130)는 목적음 차단된 오디오 신호의 주파수별 방향성 이득(directivity gain)의 변화를 보상한다.
예를 들어, 오디오 입력부(110)는 서로 인접한 2개의 마이크로폰(도시하지 않음)을 구비하여, 마이크로폰으로 입력된 오디오 신호를 주파수 영역의 신호로 변 환한다. 주파수 영역 변환의 일예로 푸리에 변환을 들 수 있다. 마이크로폰의 배치, 개수 및 목적음의 음원 위치나 잡음원의 위치 등의 상세한 설명은 도 2를 참조하여 후술한다.
목적음 차단부(120)는 2개의 마이크로폰으로 입력된 오디오 신호의 차를 계산함으로써 목적음만을 차단한다. 일예로, 여러 방향으로부터의 오디오 신호를 입력받는 무지향성(omni-directional) 마이크로폰 2개를 일정한 간격, 예를 들어 1cm 간격으로 배치하고, 목적음(target source)이 위치하는 방향인 정면방향으로부터 입력되는 오디오 신호는 차단하고, 그 외 방향의 오디오 신호는 입력받도록 한다.
여기서 마이크로폰의 간격은 1cm 이상 8cm 이하로 설정될 수 있다. 마이크로폰의 간격이 1cm 미만인 경우에는 전체적으로 모든 방향의 오디오 신호를 급격히 감쇄시키고, 8cm를 초과하는 경우에는 목적음이 위치한 방향 이외의 방향의 오디오 신호도 차단하는 결과를 초래함을 실험적으로 알 수 있다.
예를 들어, 각각의 마이크로폰으로부터 입력되는 오디오 신호의 주파수 변환값을 S1(f), S2(f)라고 하면, 목적음 차단된 오디오 신호의 주파수 변환값 B(f)는 다음 수학식 1에 따라 계산될 수 있다.
Figure 112009055828977-pat00001
여기서 w1(f) 및 w2(f)는 목적음을 차단할 수 있도록 계산된 계수로 실험에 의해 적절히 계산될 수 있는 계수이다. 일예로 w1(f) 및 w2(f)를 각각 +1, -1 로 설정하면 목적음 차단된 신호의 주파수 변환값 B(f)는 각각의 마이크로폰에서 입력된 오디오 신호의 주파수 변환값 S1(f), S2(f)의 차가 된다.
만일, w1(f) 및 w2(f)를 각각 +1, -1 로 정하면, 이상적인 경우 두개의 마이크로폰의 정면방향(목적음원이 위치한 방향)으로부터 입력된 각각의 오디오 신호는 동일하고 나머지 방향으로부터의 입력 오디오 신호들은 서로 다를 것이므로, 정면방향의 오디오 신호만 이상적으로 0이 된다. 따라서 정면 방향의 목적음이 차단되는 것이다.
한편, 목적음 차단부(120)에 의해 목적음 차단된 오디오 신호는 잡음 성분이 된다. 그러나, 목적음 차단부(120)에서 출력된 오디오 신호의 주파수 특성은 마이크로폰 어레이의 구경(aperture size)이나 마이크로폰의 갯수 등에 따라 편차가 심하다. 따라서 보상부(130)는, 목적음 차단된 오디오 신호의 평균값을 기초로 가중치를 계산하여, 목적음 차단된 오디오 신호에 곱함으로써 잡음성분 추정시의 오차를 줄인다.
목적음 차단부(120)에 의해 차단된 오디오 신호의 방향성 패턴(directivity pattern), D(f, φ)는 다음 수학식 2에 따라 계산될 수 있다.
Figure 112009055828977-pat00002
여기서 N은 마이크로폰의 갯수, d는 마이크로폰들간의 간격, φ는 방향, f는 주파수, wn(f)는 좌표 n에 위치한 마이크로폰에 대한 가중치이다. 여기서 가중치는 수학식 1에서의 목적음 차단을 위한 계수와 관련되며, 예를 들어, 마이크로폰의 개수가 2개인 경우에 w-0.5(f)와 w0.5(f)는 각각 +1, -1 이 될 수 있다.
보상부(130)는 수학식 1에 의해 계산된 목적음 차단된 오디오 신호 B(f)를 입력받아, 가중치를 곱해 실시간으로 잡음성분을 추정한다. 가중치는 일예로 다음 수학식 3에 따라 계산될 수 있다.
Figure 112009055828977-pat00003
여기서, α는 글로벌 스케일링 계수(global scaling coefficient)로 상수이고, 모든 주파수 성분에 대해 동일하게 적용되어 가중치를 조절하며 실험을 통해 얻어질 수 있다.
결과적으로 보상부(130)에서 추정된 잡음성분은 다음 수학식 4에 따라 계산된다.
Figure 112009055828977-pat00004
수학식 4를 참조하면, 현재 프레임의 잡음정보를 추정할 때, 이전 프레임의 잡음정보를 이용하지 않으며, 목적음의 검출여부와 관계없이 방향성 잡음의 유입여 부 및 그 정도를 실시간으로 추정할 수 있음을 알 수 있다.
전술한 예에서 마이크로폰의 개수는 반드시 2개일 필요는 없으며 그 이상도 가능하다. 2개 이상의 마이크로폰을 사용하는 경우 목적음 차단을 위한 계수 w는 실험에 의해 적절한 조합으로 선택될 수 있다. 여러개의 마이크로폰을 사용하여도 계수 w의 적절한 조합을 통해 목적음이 위치하는 방향의 오디오 신호만을 차단하도록 설계될 수 있다.
도 2는 본 발명의 일실시예에 따른 잡음추정장치의 마이크로폰 어레이 배치와 음원들의 위치관계를 도시한 도면이다.
전술한 바와 같이 마이크로폰 어레이(210)는 서로 인접하게 배치되며, 목적음원(220)은 마이크로폰 어레이(210)의 정면방향(수직방향)에 위치하여 마이크로폰 어레이(210)로 오디오 신호가 입력됨을 알 수 있다. 마이크로폰 어레이(210)로 입력된 오디오 신호는 잡음감소장치(240)로 전달되어 본 발명의 일실시예에 따른 잡음추정 및 잡음감소를 수행한다.
한편, 잡음감소장치(240)는 도 1을 참조하여 전술한 바와 같이 목적음 차단에 의해 목적음원(220)으로부터의 오디오 신호는 차단된다. 그러면, 목적음원(220)이 위치한 방향을 제외한 다른 모든 방향의 잡음원(230-1, 230-2, 230-n)으로부터의 잡음신호만 마이크로폰 어레이(210)를 통해 수신된다.
도 3은 본 발명의 일실시예에 따른 목적음 차단부(120)에서의 방향성(directivity) 패턴 결과를 도시한 도면이다.
마이크로폰 어레이(210)와 음원이 위치한 각도를 기준으로 할 때, 목적음 원(220)이 위치한 각도는 90도가 된다. 도 3을 참조하면 목적음이 위치한 각도인 90도에서 모든 주파수 대역에 대해 이득(gain)이 약 0임을 알 수 있다. 즉, 각도 90도에서 목적음이 차단되고 그 외의 양방향으로 점점 이득(gain)이 커짐을 알 수 있다. 한편, 이득(gain)은 모든 주파수에 대해 동일한 것이 아니라 주파수 대역에 따라 달라짐을 알 수 있다. 일예로 고주파수 성분에 대해서 이득이 커지고 저주파수 성분에 대해서는 이득이 작음을 알 수 있다. 한편, 이러한 방향성 패턴은 목적음 차단부(120)의 구체적인 실시예에 따라 다소 달라질 수 있다.
도 3을 참조하면, 주파수가 높을수록 잡음의 유입방향에 따른 방향성 패턴의 이득값의 차가 크다는 것을 알 수 있다. 따라서, 도 1의 보상부(130)에서 계산된 가중치 W(f)는 결국 방향성 패턴 이득값의 평균값을 보상하는 것임을 알 수 있다.
도 4는 목적음 검출부를 더 포함한 잡음추정장치의 일실시예 구성도이다.
목적음 검출부(410)는 목적음 유입 여부를 검출하여 목적음이 검출되지 않는 구간, 즉, 잡음구간에서는 보상부(420)에서 보상되어 계산된 잡음성분과, 잡음구간에서의 입력 오디오 신호의 크기비에 기초한 스케일링 계수를 계산한다. 그러면, 보상부(420)는, 기 계산된 잡음 성분에 목적음 검출부(410)에서 계산된 스케일링 계수를 곱하여 잡음성분을 추정한다.
전술한 바와 같이 보상부(420)에서 방향성 패턴 이득값의 평균값을 보상하였다고 하더라고, 주파수마다 유입되는 잡음신호의 방향성을 정확하게 보상할 수는 없다. 따라서 본 실시예에서는 잡음의 통계적 특성은 시간에 따라 변화하더라도 잡음 유입 방향은 급격히 변화하지 않는다는 가정하에, 목적음이 검출되지 않는 묵 음구간에서 잡음의 방향에 따른 이득값의 차이를 보상한다. 즉, 목적음 검출부(410)에서 목적음이 없는 잡음 구간이 검출되면 수학식 4에 의해 계산된 잡음신호와, 입력되는 잡음 신호 크기간의 비율을 계산하여 추정 잡음치를 한번 더 조정한다.
이 비율을 로컬 스케일링 계수(local scaling coefficient), β(f)라고 하고, 다음 수학식 5에 의해 계산될 수 있다.
주파수 영역에서의 추정 잡음치 계산은 프레임 단위로 수행되므로, 상기 수학식 5를 프레임 정보를 포함하여 정의하면 다음 수학식 6에 의해 계산될 수 있다.
Figure 112009055828977-pat00006
즉, 로컬 스케일링 계수는 목적음이 검출되지 않는 구간에서는 다시 계산되어 갱신되고, 목적음이 검출되는 구간에서는 이전 스케일링 계수가 그대로 사용된다. 여기서 γ는 갱신율(update rate)이며 1에 가까울수록 잡음 입력 변화에 신속하게 반응하여 갱신되며, 0에 가까울수록 반응정도가 느려져 순간적인 에러에 둔감하게 된다. 정리하면, 보상부(420)에서 출력되는 로컬 스케일링 계수를 반영한 잡 음 추정치는 다음 수학식 7에 따라 계산된다.
Figure 112009055828977-pat00007
한편, 목적음 검출부(410)에서 사용될 수 있는 목적음의 검출방법은 특정한 방법에 한정되지 않고 기존의 여러가지 방법이 모두 사용될 수 있다.
도 5는 이득 조정부를 더 포함한 잡음추정장치의 일실시예 구성도이다.
이득 조정부(Gain calibrator)(510)는 목적음이 입력되는 2개의 마이크로폰의 이득을 조정하여 서로 일치시킨다. 일반적으로 마이크로폰은 제조상의 오차가 존재하기 때문에 동일한 규격으로 생산하더라도 어느 정도의 이득차이가 발생한다. 두 마이크로폰의 이득차가 존재하는 경우 목적음 차단부(120)에서 목적음을 정확하게 차단할 수가 없다. 따라서 마이크로폰을 통해 오디오 신호를 입력받기 전에 이득 조정을 수행한다.
이득 조정은 최초 한번 수행하면 시간에 따라 계속적으로 수행할 필요는 없다. 다만, 온도나 습도 등 주변 환경이 달라지면 이득이 다시 달라질 수 있으므로 이득 조정을 일정한 시간 간격으로 수행하는 것이 바람직하다. 이득 조정의 방법은 일반적인 여러가지 방법이 모두 사용될 수 있다.
도 6은 본 발명의 일실시예에 따른 잡음추정장치를 구비한 잡음감소장치의 구성도이다.
본 발명의 일실시예에 따른 잡음감소장치는 잡음 추정부(610)와 잡음감소필 터(620)를 구비한다.
잡음 추정부(610)는 도 1 내지 도 5를 참조하여 전술한 바와 같은 잡음 추정을 수행한다. 즉, 여러 방향으로부터의 오디오 신호를 입력받아 주파수 변환하고, 검출하고자 하는 목적음(target sound)의 음원이 위치한 방향에서의 오디오 신호를 상기 입력된 오디오 신호에서 제거한 후, 상기 목적음 차단된 오디오 신호의 주파수별 방향성 이득(directivity gain)의 변화를 보상하여 잡음을 추정한다.
보다 구체적으로, 잡음 추정부(610)는 서로 인접한 2개의 마이크로폰으로 입력된 오디오 신호를 주파수 영역으로 변환하고, 상기 2개의 마이크로폰으로 입력된 오디오 신호의 차를 계산함으로써 목적음만을 차단한 후, 상기 목적음 차단된 오디오 신호의 평균값을 기초로 가중치를 계산하여, 상기 목적음 차단된 오디오 신호에 곱함으로써 잡음성분을 추정한다.
그리고, 잡음감소필터(620)는 잡음 추정부(610)에서 추정된 잡음 성분을 기초로 계산된 필터 계수를 바탕으로 설계된다. 잡음감소필터(620)는 일예로 스펙트럴 감산(spectral subtraction), 위너 필터(wiener filter), 진폭 추정(amplitude estimator)등을 포함하는 다양한 필터가 될 수 있다.
도 7은 본 발명의 일실시예에 따른 잡음추정방법의 플로우차트이다.
먼저, 여러 방향으로부터의 오디오 신호를 입력받아 주파수 변환한다(S710). 그리고, 검출하고자 하는 목적음(target sound)의 음원이 위치한 방향에서의 오디오 신호를 상기 입력된 오디오 신호에서 차단한다(S720). 일예로, 서로 인접한 2개의 마이크로폰으로 입력된 오디오 신호의 차를 계산함으로써 목적음만을 차단한 다.
그리고, 목적음 차단된 오디오 신호의 주파수별 방향성 이득(directivity gain)의 변화를 보상한다(S730). 일예로, 목적음 차단된 오디오 신호의 평균값을 기초로 가중치를 계산하여, 목적음 차단된 오디오 신호에 곱함으로써 잡음성분을 추정한다. 보다 구체적으로는, 목적음 유입 여부를 더 검출하여 목적음이 검출되지 않는 구간에서는 기 보상되어 계산된 잡음성분과, 목적음이 검출되지 않은 구간에서의 입력 오디오 신호의 크기비에 기초한 스케일링 계수를 계산하고, 계산된 잡음 성분에 상기 스케일링 계수를 곱하여 잡음성분을 추정한다.
여기서, 스케일링 계수는 전술한 바와 같이 로컬 스케일링 계수로, 목적음이 검출되지 않는 구간에서는 다시 계산되어 갱신되고, 목적음이 검출되는 구간에서는 이전 스케일링 계수가 그대로 사용된다.
또한 단계 S730에서 목적음 차단부의 방향성 이득으로부터 발생할 수 있는 스펙트럴 왜곡(spectral distortion)이 보상될 수 있다.
한편, 오디오 신호의 입력단계(S710) 이전에, 목적음이 입력되는 2개의 마이크로폰의 이득을 조정하여 서로 일치시키는 이득 조정단계를 선택적으로 더 수행할 수 있다.
이제까지 본 발명의 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일실시예에 따른 잡음추정장치의 구성도,
도 2는 본 발명의 일실시예에 따른 잡음추정장치의 마이크 어레이 배치와 음원들의 위치관계를 도시한 도면,
도 3은 본 발명의 일실시예에 따른 목적음 차단부(120)에서의 방향성(directivity) 패턴 결과를 도시한 도면,
도 4는 목적음 검출부를 더 포함한 잡음추정장치의 일실시예 구성도,
도 5는 이득 조정부를 더 포함한 잡음추정장치의 일실시예 구성도,
도 6은 본 발명의 일실시예에 따른 잡음추정장치를 구비한 잡음감소장치의 구성도,
도 7은 본 발명의 일실시예에 따른 잡음추정방법의 플로우차트이다.
<도면의 주요부분에 대한 설명>
110 : 오디오 입력부 120 : 목적음 차단부
130 : 보상부 410 : 목적음 검출부
510 : 이득 조정부

Claims (23)

  1. 다수의 방향으로부터의 오디오 신호를 입력받아 주파수 변환하는 오디오 입력부;
    검출하고자 하는 목적음(target sound)의 음원이 위치한 방향에서의 오디오 신호를 차단하는 목적음 차단부;
    상기 목적음 차단된 오디오 신호의 주파수별 방향성 이득(directivity gain)의 변화를 보상하여 잡음 성분을 추정하는 보상부; 및
    목적음 유입 여부를 검출하여 목적음이 검출되지 않는 구간에서는 상기 잡음 성분과, 상기 목적음이 검출되지 않은 구간에서의 입력 오디오 신호의 크기비에 기초한 스케일링 계수를 계산하는 목점음 검출부;를 포함하고,
    상기 보상부는 상기 추정된 잡음 성분에 상기 스케일링 계수를 곱하여 상기 추정된 잡음 성분을 조정하는 잡음 추정 장치.
  2. 제1항에 있어서, 상기 오디오 입력부는
    1cm 이상 8cm 이하의 간격으로 배치된 2개의 마이크로폰을 구비하여, 상기 마이크로폰으로 입력된 오디오 신호를 주파수 영역으로 변환하는 잡음 추정 장치.
  3. 제2항에 있어서, 상기 목적음 차단부는
    상기 2개의 마이크로폰으로 입력된 오디오 신호의 차를 계산함으로써 목적음방향의 오디오 신호를 차단하는 잡음 추정 장치.
  4. 제1항에 있어서, 상기 보상부는
    상기 목적음 차단된 오디오 신호의 평균값을 기초로 가중치를 계산하여, 상기 목적음 차단된 오디오 신호에 곱함으로써 잡음성분을 추정하는 잡음 추정 장치.
  5. 삭제
  6. 제1항에 있어서, 상기 스케일링 계수는
    상기 목적음이 검출되지 않는 구간에서는 다시 계산되어 갱신되고, 목적음이 검출되는 구간에서는 이전 스케일링 계수가 그대로 사용되는 잡음 추정 장치.
  7. 제2항에 있어서,
    상기 목적음이 입력되는 2개의 마이크로폰의 이득을 조정하여 서로 일치시키는 이득 조정부를 더 포함하는 잡음 추정 장치.
  8. 제1항에 있어서, 상기 목적음 차단부는
    상기 목적음이 차단된 오디오 신호를 출력하는 잡음 추정 장치.
  9. 다수 방향으로부터의 오디오 신호를 입력받아 주파수 변환하고, 검출하고자 하는 목적음(target sound)의 음원이 위치한 방향에서의 오디오 신호를 상기 입력된 오디오 신호에서 차단한 후,
    상기 목적음 차단된 오디오 신호의 주파수별 방향성 이득(directivity gain)의 변화를 보상하여 잡음성분을 추정하는 잡음 추정부;
    목적음 유입 여부를 검출하여 목적음이 검출되지 않는 구간에서는 상기 잡음성분과, 상기 목적음이 검출되지 않은 구간에서의 입력 오디오 신호의 크기비에 기초한 스케일링 계수를 계산하는 목적음 검출부; 및
    상기 잡음 추정부에서 추정된 잡음 성분을 기초로 계산된 필터 계수를 바탕으로 하여 얻어진 잡음 감소 필터;를 포함하고,
    상기 잡음 추정부는 상기 추정된 잡음성분에 상기 스케일링 계수를 곱하여 상기 추정된 잡음성분을 조정하는 잡음 감소 장치.
  10. 제9항에 있어서, 상기 잡음 추정부는
    1cm 이상 8cm 이하의 간격으로 배치된 2개의 마이크로폰을 포함하며, 상기 잡음 추정부는 상기 2개의 마이크로폰으로 입력된 오디오 신호를 주파수 영역으로 변환하고, 상기 2개의 마이크로폰으로 입력된 오디오 신호의 차를 계산함으로써 목적음을 차단한 후, 상기 목적음 차단된 오디오 신호의 평균값을 기초로 가중치를 계산하여, 상기 목적음 차단된 오디오 신호에 곱함으로써 잡음성분을 추정하는 잡음 감소 장치.
  11. 다수 방향으로부터의 오디오 신호를 입력받아 주파수 변환하는 주파수 변환 단계;
    검출하고자 하는 목적음(target sound)의 음원이 위치한 방향에서의 오디오 신호를 상기 입력된 오디오 신호에서 차단하는 목적음 차단 단계; 및
    상기 목적음 차단된 오디오 신호의 주파수별 방향성 이득(directivity gain)의 변화를 보상하여 잡음성분을 추정하는 보상 단계;를 포함하고,
    상기 보상 단계는 목적음 유입 여부를 더 검출하여 목적음이 검출되지 않는 구간에서는 상기 잡음성분과, 상기 목적음이 검출되지 않은 구간에서의 입력 오디오 신호의 크기비에 기초한 스케일링 계수를 산출하고,
    상기 추정된 잡음성분에 상기 스케일링 계수를 곱하여 상기 추정된 잡음성분을 조정하는, 잡음 추정장치에서의 잡음 추정 방법.
  12. 제11항에 있어서, 상기 목적음 차단 단계는
    1cm 이상 8cm 이하의 간격으로 배치된 2개의 마이크로폰으로 입력된 오디오 신호의 차를 계산함으로써 목적음을 차단하는, 잡음 추정장치에서의 잡음 추정 방법.
  13. 제11항에 있어서, 상기 보상 단계는
    상기 목적음 차단된 오디오 신호의 평균값을 기초로 가중치를 계산하여, 상기 목적음 차단된 오디오 신호에 곱함으로써 잡음성분을 추정하는, 잡음 추정장치에서의 잡음 추정 방법.
  14. 삭제
  15. 제11항에 있어서, 상기 스케일링 계수는
    상기 목적음이 검출되지 않는 구간에서는 다시 계산되어 갱신되고, 목적음이 검출되는 구간에서는 이전 스케일링 계수가 그대로 사용되는, 잡음 추정장치에서의 잡음 추정 방법.
  16. 제11항에 있어서,
    상기 목적음이 입력되는 2개의 마이크로폰의 이득을 조정하여 서로 일치시키는 이득 조정단계를 더 포함하는 잡음 추정 방법.
  17. 복수의 마이크로폰을 구비하여, 다수 방향으로부터의 오디오 신호를 입력받아 주파수 변환하는 오디오 입력부;
    상기 복수의 마이크로폰으로 입력된 오디오 신호들간의 차를 계산함으로써, 상기 주파수 변환된 목적음(target sound)의 음원이 위치한 방향에서의 오디오 신호를 차단하는 목적음 차단부;
    상기 목적음 차단된 오디오 신호의 주파수별 방향성 이득(directivity gain)의 변화를 보상하여 잡음성분을 추정하는 보상부;
    목적음 유입 여부를 검출하여, 목적음이 검출되지 않는 구간에서는 상기 보상부에서 보상된 잡음성분과, 상기 목적음이 검출되지 않은 구간에서의 입력 오디오 신호의 크기비에 기초한 스케일링 계수를 계산하는 목적음 검출부; 및
    상기 오디오 입력부에 입력된 오디오 신호에서, 상기 차단된 오디오 신호를 뺀 오디오 신호를 출력하는 잡음 감소부를 포함하고,
    상기 보상부는 상기 추정된 잡음성분에 상기 스케일링 계수를 곱하여 상기 추정된 잡음성분을 조정하는 잡음감소장치.
  18. 제17항에 있어서, 상기 잡음 감소부는
    상기 차단된 오디오 신호를 기초로 계산된 필터 계수를 사용하여, 상기 오디오 입력부에 입력된 오디오 신호에서 상기 차단된 오디오 신호를 제거하는 잡음 감소 필터인 잡음감소장치.
  19. 삭제
  20. 제17항에 있어서, 상기 보상부는
    상기 목적음 차단된 오디오 신호의 평균값을 기초로 가중치를 계산하여, 상기 목적음 차단된 오디오 신호에 곱함으로써 잡음성분을 추정하는 잡음감소장치.
  21. 삭제
  22. 제17항에 있어서,
    상기 목적음이 검출되지 않는 구간에서는 다시 계산되어 갱신되고, 목적음이 검출되는 구간에서는 이전 스케일링 계수가 그대로 사용되는 잡음감소장치.
  23. 제17항에 있어서,
    상기 목적음이 입력되는 다수개의 마이크로폰의 이득을 조정하여 서로 일치시키는 이득 조정부를 더 포함하는 잡음감소장치.
KR1020090085511A 2008-10-10 2009-09-10 잡음 추정 장치 및 방법과, 이를 이용한 잡음 감소 장치 KR101597752B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080099699 2008-10-10
KR20080099699 2008-10-10

Publications (2)

Publication Number Publication Date
KR20100040664A KR20100040664A (ko) 2010-04-20
KR101597752B1 true KR101597752B1 (ko) 2016-02-24

Family

ID=41403885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090085511A KR101597752B1 (ko) 2008-10-10 2009-09-10 잡음 추정 장치 및 방법과, 이를 이용한 잡음 감소 장치

Country Status (5)

Country Link
US (1) US9159335B2 (ko)
EP (1) EP2175446A3 (ko)
JP (1) JP5805365B2 (ko)
KR (1) KR101597752B1 (ko)
CN (3) CN104269179A (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101291672B1 (ko) 2007-03-07 2013-08-01 삼성전자주식회사 노이즈 신호 부호화 및 복호화 장치 및 방법
JP5573517B2 (ja) * 2010-09-07 2014-08-20 ソニー株式会社 雑音除去装置および雑音除去方法
KR101176207B1 (ko) * 2010-10-18 2012-08-28 (주)트란소노 음성통신 시스템 및 음성통신 방법
US10230346B2 (en) 2011-01-10 2019-03-12 Zhinian Jing Acoustic voice activity detection
US9538286B2 (en) * 2011-02-10 2017-01-03 Dolby International Ab Spatial adaptation in multi-microphone sound capture
KR101226493B1 (ko) * 2011-02-15 2013-01-25 주식회사 파워챔프 반복 신호를 이용한 노이즈 백색화 수신기
GB2493327B (en) 2011-07-05 2018-06-06 Skype Processing audio signals
GB2495131A (en) 2011-09-30 2013-04-03 Skype A mobile device includes a received-signal beamformer that adapts to motion of the mobile device
GB2495128B (en) 2011-09-30 2018-04-04 Skype Processing signals
GB2495472B (en) 2011-09-30 2019-07-03 Skype Processing audio signals
GB2495278A (en) * 2011-09-30 2013-04-10 Skype Processing received signals from a range of receiving angles to reduce interference
GB2495129B (en) 2011-09-30 2017-07-19 Skype Processing signals
KR101888426B1 (ko) * 2011-10-18 2018-08-17 엘지디스플레이 주식회사 노이즈 제거회로를 이용한 표시장치 및 비디오 시스템
GB2496660B (en) 2011-11-18 2014-06-04 Skype Processing audio signals
GB201120392D0 (en) 2011-11-25 2012-01-11 Skype Ltd Processing signals
GB2497343B (en) 2011-12-08 2014-11-26 Skype Processing audio signals
EP2747081A1 (en) * 2012-12-18 2014-06-25 Oticon A/s An audio processing device comprising artifact reduction
DK2974084T3 (da) 2013-03-12 2020-11-09 Hear Ip Pty Ltd Fremgangsmåde og system til støjreduktion
KR101312451B1 (ko) * 2013-04-05 2013-09-27 주식회사 시그테크 복수의 음원이 출력되는 환경하에서 음성 인식에 이용될 음성 신호의 추출 방법 및 음성 신호의 추출 장치
CN104519447B (zh) * 2013-10-08 2018-12-14 三星电子株式会社 降噪设备和方法以及具有无磁性扬声器的音频播放设备
JP6337519B2 (ja) * 2014-03-03 2018-06-06 富士通株式会社 音声処理装置、雑音抑圧方法、およびプログラム
CN105469786A (zh) * 2014-08-22 2016-04-06 中兴通讯股份有限公司 语音识别的控制方法和装置
CN105590631B (zh) * 2014-11-14 2020-04-07 中兴通讯股份有限公司 信号处理的方法及装置
US10257240B2 (en) * 2014-11-18 2019-04-09 Cisco Technology, Inc. Online meeting computer with improved noise management logic
JP6638248B2 (ja) * 2015-08-19 2020-01-29 沖電気工業株式会社 音声判定装置、方法及びプログラム、並びに、音声信号処理装置
CN109417666B (zh) * 2016-07-21 2020-12-01 三菱电机株式会社 噪声去除装置、回声消除装置和异常音检测装置
CN108022595A (zh) * 2016-10-28 2018-05-11 电信科学技术研究院 一种语音信号降噪方法和用户终端
CN106657508A (zh) * 2016-11-30 2017-05-10 深圳天珑无线科技有限公司 一种实现双mic降噪的终端配件及终端组件
US10699727B2 (en) * 2018-07-03 2020-06-30 International Business Machines Corporation Signal adaptive noise filter
DE102018220600B4 (de) * 2018-11-29 2020-08-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Detektieren von Partikeln
US11817114B2 (en) 2019-12-09 2023-11-14 Dolby Laboratories Licensing Corporation Content and environmentally aware environmental noise compensation
US20220013127A1 (en) * 2020-03-08 2022-01-13 Certified Electronic Reporting Transcription Systems, Inc. Electronic Speech to Text Court Reporting System For Generating Quick and Accurate Transcripts

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271191A (ja) * 2002-03-15 2003-09-25 Toshiba Corp 音声認識用雑音抑圧装置及び方法、音声認識装置及び方法並びにプログラム
JP2005195955A (ja) * 2004-01-08 2005-07-21 Toshiba Corp 雑音抑圧装置及び雑音抑圧方法
JP2008236077A (ja) * 2007-03-16 2008-10-02 Kobe Steel Ltd 目的音抽出装置，目的音抽出プログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3194872B2 (ja) 1996-10-15 2001-08-06 松下電器産業株式会社 マイクロホン装置
JP4163294B2 (ja) 1998-07-31 2008-10-08 株式会社東芝 雑音抑圧処理装置および雑音抑圧処理方法
JP3454206B2 (ja) 1999-11-10 2003-10-06 三菱電機株式会社 雑音抑圧装置及び雑音抑圧方法
JP2002099297A (ja) 2000-09-22 2002-04-05 Tokai Rika Co Ltd マイクロフォン装置
EP1202602B1 (en) * 2000-10-25 2013-05-15 Panasonic Corporation Zoom microphone device
DE60142800D1 (de) 2001-03-28 2010-09-23 Mitsubishi Electric Corp Rauschunterdrücker
US7171008B2 (en) * 2002-02-05 2007-01-30 Mh Acoustics, Llc Reducing noise in audio systems
US7139703B2 (en) 2002-04-05 2006-11-21 Microsoft Corporation Method of iterative noise estimation in a recursive framework
US7613310B2 (en) 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
CN100593351C (zh) 2002-10-08 2010-03-03 日本电气株式会社 阵列装置以及便携式终端
US7165026B2 (en) 2003-03-31 2007-01-16 Microsoft Corporation Method of noise estimation using incremental bayes learning
JP4496378B2 (ja) 2003-09-05 2010-07-07 財団法人北九州産業学術推進機構 定常雑音下における音声区間検出に基づく目的音声の復元方法
JP4496379B2 (ja) 2003-09-17 2010-07-07 財団法人北九州産業学術推進機構 分割スペクトル系列の振幅頻度分布の形状に基づく目的音声の復元方法
US7778425B2 (en) 2003-12-24 2010-08-17 Nokia Corporation Method for generating noise references for generalized sidelobe canceling
JP2005286413A (ja) * 2004-03-26 2005-10-13 Toshiba Corp ノイズ低減装置及びテレビジョン受像機
CN1947171B (zh) 2004-04-28 2011-05-04 皇家飞利浦电子股份有限公司 自适应波束形成器、旁瓣抑制器、自动语音通信设备
US7454332B2 (en) 2004-06-15 2008-11-18 Microsoft Corporation Gain constrained noise suppression
US20060013412A1 (en) * 2004-07-16 2006-01-19 Alexander Goldin Method and system for reduction of noise in microphone signals
US7533017B2 (en) 2004-08-31 2009-05-12 Kitakyushu Foundation For The Advancement Of Industry, Science And Technology Method for recovering target speech based on speech segment detection under a stationary noise
JP4873913B2 (ja) 2004-12-17 2012-02-08 学校法人早稲田大学 音源分離システムおよび音源分離方法、並びに音響信号取得装置
WO2006077745A1 (ja) 2005-01-20 2006-07-27 Nec Corporation 信号除去方法、信号除去システムおよび信号除去プログラム
JP4551817B2 (ja) 2005-05-20 2010-09-29 Ｏｋｉセミコンダクタ株式会社 ノイズレベル推定方法及びその装置
US7680656B2 (en) 2005-06-28 2010-03-16 Microsoft Corporation Multi-sensory speech enhancement using a speech-state model
US20070244698A1 (en) * 2006-04-18 2007-10-18 Dugger Jeffery D Response-select null steering circuit
CN100578622C (zh) 2006-05-30 2010-01-06 北京中星微电子有限公司 一种自适应麦克阵列系统及其语音信号处理方法
KR100857467B1 (ko) 2006-12-08 2008-09-08 한국전자통신연구원 잡음 모델을 이용한 순수 음성 추정 방법
US8275611B2 (en) 2007-01-18 2012-09-25 Stmicroelectronics Asia Pacific Pte., Ltd. Adaptive noise suppression for digital speech signals
US20080175408A1 (en) 2007-01-20 2008-07-24 Shridhar Mukund Proximity filter
KR101434200B1 (ko) * 2007-10-01 2014-08-26 삼성전자주식회사 혼합 사운드로부터의 음원 판별 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271191A (ja) * 2002-03-15 2003-09-25 Toshiba Corp 音声認識用雑音抑圧装置及び方法、音声認識装置及び方法並びにプログラム
JP2005195955A (ja) * 2004-01-08 2005-07-21 Toshiba Corp 雑音抑圧装置及び雑音抑圧方法
JP2008236077A (ja) * 2007-03-16 2008-10-02 Kobe Steel Ltd 目的音抽出装置，目的音抽出プログラム

Also Published As

Publication number Publication date
US20100092000A1 (en) 2010-04-15
US9159335B2 (en) 2015-10-13
EP2175446A2 (en) 2010-04-14
CN101727909A (zh) 2010-06-09
JP2010092054A (ja) 2010-04-22
EP2175446A3 (en) 2014-11-12
KR20100040664A (ko) 2010-04-20
CN102779524A (zh) 2012-11-14
CN104269179A (zh) 2015-01-07
JP5805365B2 (ja) 2015-11-04
CN102779524B (zh) 2015-01-07

Similar Documents

Publication Publication Date Title
KR101597752B1 (ko) 잡음 추정 장치 및 방법과, 이를 이용한 잡음 감소 장치
US10079026B1 (en) Spatially-controlled noise reduction for headsets with variable microphone array orientation
JP5762956B2 (ja) ヌル処理雑音除去を利用した雑音抑制を提供するシステム及び方法
JP4989967B2 (ja) ノイズ低減のための方法および装置
US8194880B2 (en) System and method for utilizing omni-directional microphones for speech enhancement
US8565446B1 (en) Estimating direction of arrival from plural microphones
EP3172906B1 (en) Method and apparatus for wind noise detection
KR101449433B1 (ko) 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치
US8204252B1 (en) System and method for providing close microphone adaptive array processing
EP3526979B1 (en) Method and apparatus for output signal equalization between microphones
KR101475864B1 (ko) 잡음 제거 장치 및 잡음 제거 방법
US8014230B2 (en) Adaptive array control device, method and program, and adaptive array processing device, method and program using the same
US9467775B2 (en) Method and a system for noise suppressing an audio signal
US8891780B2 (en) Microphone array device
JP5785674B2 (ja) デュアルマイクに基づく音声残響低減方法及びその装置
WO2007123052A1 (ja) 適応アレイ制御装置、方法、プログラム、及び適応アレイ処理装置、方法、プログラム
GB2453118A (en) Generating a speech audio signal from multiple microphones with suppressed wind noise
EP2752848B1 (en) Method and apparatus for generating a noise reduced audio signal using a microphone array
KR101182017B1 (ko) 휴대 단말기에서 복수의 마이크들로 입력된 신호들의잡음을 제거하는 방법 및 장치
GB2585086A (en) Pre-processing for automatic speech recognition
CN112272848A (zh) 使用间隙置信度的背景噪声估计
KR100917460B1 (ko) 잡음제거 장치 및 방법
KR20090037845A (ko) 혼합 신호로부터 목표 음원 신호를 추출하는 방법 및 장치
KR100940629B1 (ko) 잡음 제거 장치 및 방법
US20190035382A1 (en) Adaptive post filtering

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee