KR102040986B1 - 두 개의 마이크로폰을 포함하는 휴대단말에서의 잡음제거방법 및 장치 - Google Patents

두 개의 마이크로폰을 포함하는 휴대단말에서의 잡음제거방법 및 장치 Download PDF

Info

Publication number
KR102040986B1
KR102040986B1 KR1020180092862A KR20180092862A KR102040986B1 KR 102040986 B1 KR102040986 B1 KR 102040986B1 KR 1020180092862 A KR1020180092862 A KR 1020180092862A KR 20180092862 A KR20180092862 A KR 20180092862A KR 102040986 B1 KR102040986 B1 KR 102040986B1
Authority
KR
South Korea
Prior art keywords
noise
microphone
signal
power spectral
spectral density
Prior art date
Application number
KR1020180092862A
Other languages
English (en)
Inventor
조정권
Original Assignee
주식회사 위스타
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 위스타 filed Critical 주식회사 위스타
Priority to KR1020180092862A priority Critical patent/KR102040986B1/ko
Application granted granted Critical
Publication of KR102040986B1 publication Critical patent/KR102040986B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/19—Arrangements of transmitters, receivers, or complete sets to prevent eavesdropping, to attenuate local noise or to prevent undesired transmission; Mouthpieces or receivers specially adapted therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

두 개의 마이크로폰을 포함하는 휴대단말에서 잡음과 목적음에 대한 구분을 좀더 명확히 하여 잡음제거 성능을 개선한 잡음제거방법이 제공된다. 본 발명의 일 실시예에 따른 잡음제거방법은, 제1 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도와 제2 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도의 차이값에 따라 제1 파워 스펙트럼 밀도와 제2 파워 스펙트럼 밀도를 산출하는 공간 필터링 단계; 상기 제1 파워 스펙트럼 밀도와 제2 파워 스펙트럼 밀도를 사용하여 잡음확률함수를 계산하는 음성활동감지 단계; 상기 잡음확률함수를 사용하여 잡음으로 추정된 신호를 감쇄시킨 차감 신호를 출력하는 잡음 감쇄 단계; 및 상기 차감 신호에 대해서 상기 잡음확률함수를 이용하여 잡음이 큰 주파수 성분에 대해서는 이득을 상대적으로 작게 하고 잡음이 적은 주파수 성분에 대해서는 이득을 상대적으로 크게 하는 후처리 단계를 구비한다. 본 발명에 따르면, 목적음 보존이 효과적이면서 처리된 출력음의 음질이 개선된 잡음제거방법이 제공된다.

Description

두 개의 마이크로폰을 포함하는 휴대단말에서의 잡음제거방법 및 장치 {Method and apparatus for noise reduction in a portable terminal having two microphones}
본 발명은 두 개의 마이크로폰을 포함하는 휴대단말에서의 잡음제거방법 및 장치에 관한 것으로서, 더욱 상세하게는 두 개의 마이크로폰을 포함하는 휴대단말에서 잡음과 목적음에 대한 구분을 좀더 명확히 하여 잡음제거 성능을 개선한 잡음제거방법 및 장치에 관한 것이다.
휴대폰, 스마트폰 등의 휴대단말에서 배경 잡음을 감소시키기 위하여, 두 개의 마이크로폰을 사용하여 잡음을 제거하는 방법들이 제안되고 있다. 예를 들면, 대한민국 특허공개 제10-2004-0101373호에서는 소정 거리만큼 이격된 한 개의 전방향 마이크로폰과 한 개의 일방향 마이크로폰, 그리고 사용자 피부와 접촉하는 한 개 이상의 피부 표면 마이크로폰 센서를 포함하는 휴대단말에서 피부 표면 마이크로폰 센서 음성 활동 신호를 처리하여 제어 신호를 출력하는 음성활동감지기를 제안하고 있다. 그러나, 이러한 구성은 하드웨어의 구성이 복잡하고 알고리즘도 이러한 하드웨어 구성에 종속되어 있어서, 일반적으로 적용하기에는 어려움이 있다.
또한, 특허 제574666호에서는 음성을 입력받기 위한 음성입력부와 잡음을 입력받기 위한 잡음입력부를 구비하는 휴대단말에서, 소음입력부로 들어온 신호를 음성입력부를 통해 들어온 잡음에 가까워지도록 처리한 다음에, 음성입력부로 들어온 신호에서 이 신호를 뺌으로써 음성입력부를 통해 들어온 잡음을 제거하는 구성이 개시되어 있다. 그러나, 이 특허에서는 구체적으로 어떠한 처리를 거치는가에 대해서는 개시되어 있지 않으며, 단순히 합성된 신호를 피드백 받아서 처리한다고 되어 있을 뿐이다. 또한, 음성입력부로 음성이 들어오고 있을 때와 들어오고 있지 않을 때에 동일한 잡음처리를 하고 있어서 효율적인 잡음저감을 기대하기 어렵다.
또한, 특허 제1210313호에서는 일 프레임 동안에 제 1 음향 신호의 노이즈 추정치, 제 1 음향 신호의 에너지 추정치, 및 상기 제 1 및 제 2 음향 신호에 기초한 마이크로폰 사이의 레벨 차이에 기초한 필터 추정치를 판정하는 단계; 및 상기 필터 추정치를 음성 추정치를 산출하기 위해 제 1 음향 신호에 적용하는 단계를 구비하는 음성 향상 방법이 개시되어 있다. 이 특허에서는 노이즈 억제와 음성 향상을 위해 마이크로폰 간의 레벨차를 이용하고 있다.
그러나, 종래의 잡음제거방법들은 잡음만 존재하는 구간이 있으면 양호한 잡음제거효율을 기대할 수 있지만, 잡음이 섞여 있는 목적음이 연속되는 구간에서는 잡음이 잘 제거되지 않거나 제거 속도가 매우 느려지는 단점이 있다.
또한, 소비자들의 오디오 성능에 대한 기대치가 높아지면서 목적음 보존 성능의 추가적인 개선이 요구되고 있다.
본 발명은 이러한 점을 감안하여 이루어진 것으로서, 두 개의 마이크로폰을 포함하는 휴대단말에 일반적으로 적용될 수 있으면서도 효율 좋은 잡음제거방법 및 장치를 제공하는 것을 목적으로 한다. 본 발명은 또한 목적음의 보전이 효과적이면서도 처리된 출력음의 음질이 상대적으로 향상된 잡음제거방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 잡음제거방법 및 잡음제거장치는 제1 마이크로폰과 제2 마이크로폰을 포함하는 휴대단말에 적용될 수 있다.
본 발명의 일 실시예에 따른 잡음제거방법은, 제1 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도와 제2 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도의 차이값에 따라 제1 파워 스펙트럼 밀도와 제2 파워 스펙트럼 밀도를 산출하는 공간 필터링(spatial filtering) 단계; 상기 제1 파워 스펙트럼 밀도와 제2 파워 스펙트럼 밀도를 사용하여 잡음확률함수를 계산하는 음성활동감지 단계; 상기 잡음확률함수를 사용하여 잡음으로 추정된 신호를 감쇄시킨 차감 신호를 출력하는 감쇄 단계; 및 상기 차감 신호에 대해서 상기 잡음확률함수를 이용하여 잡음이 큰 주파수 성분에 대해서는 이득을 상대적으로 작게 하고 잡음이 적은 주파수 성분에 대해서는 이득을 상대적으로 크게 하는 후처리 단계를 구비한다.
공간 필터링 단계는, 제1 마이크로폰은 목적음에 대한 지향성을 주고, 제2 마이크로폰은 잡음에 대한 지향성을 주는 것일 수 있다.
공간 필터링 단계에서, 제1 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도를 P sd (k)라 하고, 제2 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도를 P sx (k)라 할 때, 제1 파워 스펙트럼 밀도
Figure 112018078678896-pat00001
와 제2 파워 스펙트럼 밀도
Figure 112018078678896-pat00002
는
Figure 112018078678896-pat00003
,
Figure 112018078678896-pat00004
에 의해 산출될 수 있다.
음성활동감지 단계에서, 상기 잡음확률함수 q(k)는
Figure 112018078678896-pat00005
에 의해 계산될 수 있다.
잡음 감쇄 단계는, 상기 잡음확률함수에 기초하여 수렴변수를 계산하는 수렴변수 계산단계; 상기 수렴변수를 사용하여 적응 필터의 계수를 갱신하는 필터계수 갱신단계; 제2 마이크로폰 신호에 상기 적응 필터를 적용하여 필터링된 신호를 출력하는 적응필터링 단계; 및 제1 마이크로폰 신호에서 상기 필터링된 신호를 뺀 차감신호를 출력하는 차감신호 생성단계를 포함할 수 있다.
후처리 단계는, 상기 잡음확률함수를 q(k)라 하고,
Figure 112018078678896-pat00006
이며 이전 프레임들에서 추정된 잡음의 스펙트럼과의 스무딩(smoothing)을 위한 상수라 하고, Pe(k)를 차감신호 E(k)의 파워 스펙트럼 밀도라 할 때, 다음 식과 같이 k번째 주파수 성분의 잡음 스펙트럼을 구하고,
Figure 112018078678896-pat00007
,
Ns(k)에 스펙트럼 차감법을 적용하여 계산한 각 주파수 성분에 대한 이득 값을 상기 차감 신호에 곱하는 단계를 포함할 수 있다.
후처리 단계는, 상기 계산한 이득 값을 주파수 축으로 스무딩하여 각 주파수 성분에 곱해지는 이득 값들이 인접 주파수 성분에 곱해지는 이득 값에 비해 지나치게 급격하게 변화되는 것을 완화함으로써 뮤지컬 노이즈(musical noise)를 감소시키는 단계를 더 포함할 수 있다.
본 발명의 일 실시형태에 따른 잡음제거장치는, 제1 마이크로폰과 제2 마이크로폰을 포함하는 휴대단말에서의 잡음제거장치로서, 제1 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도와 제2 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도의 차이값에 따라 제1 파워 스펙트럼 밀도와 제2 파워 스펙트럼 밀도를 산출하는 공간 필터링부와, 상기 제1 파워 스펙트럼 밀도와 제2 파워 스펙트럼 밀도를 사용하여 잡음확률함수를 계산하는 음성활동감지부와, 상기 잡음확률함수를 사용하여 잡음으로 추정된 신호를 감쇄시킨 차감 신호를 출력하는 잡음감쇄부와, 상기 차감 신호에 대해서 상기 잡음확률함수를 이용하여 잡음이 큰 주파수 성분에 대해서는 이득을 상대적으로 작게 하고 잡음이 적은 주파수 성분에 대해서는 이득을 상대적으로 크게 하는 후처리부를 구비한다.
본 발명에 따르면, 제1 마이크로폰 및 제2 마이크로폰에 입력되는 목적음과 잡음 신호에 대해 제1 마이크로폰에는 목적음에 대한 지향성을, 제2 마이크로폰에 대해서는 잡음에 대한 지향성을 주도록 공간 필터링을 한 신호를 사용하여 잡음확률신호를 계산하므로, 잡음이 없는 구간에서 적응 필터를 적응하지 않게 하여 목적음을 좀더 보존할 수 있다. 또한, 목적음과 잡음이 혼재된 구간에서도 목적음의 손상을 최소화하면서 잡음을 제거해 나갈 수 있다. 후처리시에도 공간 필터링을 한 신호를 사용하여 계산된 잡음확률신호를 이용하므로 목적음 보존이 효과적이면서 처리된 출력음의 음질이 개선된 잡음제거방법 및 장치가 제공된다. 또한, 잡음확률함수를 적응 필터의 수렴 변수 계산에 사용함으로써 잡음이 큰 주파수 성분에 대해서는 적응 변수가 커지므로 적응을 빨리 하게 되고, 잡음이 적은 주파수 성분에 대해서는 수렴 변수가 작아지므로 적응을 천천히 하게 된다.
도 1은 두 개의 마이크로폰을 갖는 휴대단말에서 마이크로폰과 스피커의 배치예를 보여주는 도면이다.
도 2는 본 발명의 잡음제거방법이 적용되는 휴대단말의 내부 구성을 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 잡음제거방법의 개략적인 구성을 보여주는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 잡음제거장치의 구성을 보여주는 블록도이다.
도 5는 공간 필터링 전후의 목적음과 잡음에 대한 파워 스펙트럼 밀도의 이득 패턴을 보여주는 도면이다.
도 6은 공간 필터링 전후의 신호에 대한 시뮬레이션 결과를 보여주는 그래프이다.
이하, 도면을 참고하여 본 발명의 바람직한 실시예에 대해서 상세히 설명한다.
도 1은 두 개의 마이크로폰을 갖는 휴대단말에서 마이크로폰과 스피커의 배치예를 보여주는 도면이다. 도 1에 도시된 것처럼, 제1 마이크로폰(11)은 화자의 입에 가까운 곳인 휴대단말의 하단에 위치하고, 제2 마이크로폰(12)은 제1 마이크로폰(11)에 비해서는 상대적으로 화자의 입에서 먼 곳인 휴대단말의 상단에 위치한다. 스피커(21)는 화자의 귀에 가까운 위치인 휴대단말의 상부에 위치하고 있다. 도 1은 예시적인 것으로서, 제1 마이크로폰(11)과 제2 마이크로폰(12)의 위치는 다양하게 변형 가능하다.
도 2에 본 발명의 잡음제거방법이 적용되는 휴대단말의 내부 구성을 보여주는 블록도가 도시되어 있다.
본 발명의 잡음제거방법은 적어도 두 개의 마이크로폰(11, 12)이 구비되는 휴대단말에 적용된다. 제1 마이크로폰(11)은 화자(話者)의 입 근처에 위치하고, 제2 마이크로폰(12)은 제1 마이크로폰(11)에 비해서 화자(話者)의 입으로부터 더 멀리 떨어져 있다. 일 실시형태에서, 제1 마이크로폰(11)은 휴대단말의 하단에 위치하고 제2 마이크로폰(12)은 휴대단말의 상단에 위치한다.
각 마이크로폰(11,12)으로 입력되는 아날로그 신호는 적절한 크기로 증폭되어 아날로그-디지털 변환기(13, 14)에서 디지털 신호로 변환된 다음, 본 발명의 잡음제거방법을 채택한 잡음제거부(100)로 입력된다.
잡음제거부(100)는 각 마이크로폰(11,12)으로부터 입력되어 디지털로 변환된 신호를 이용하여 주변 잡음을 제거한 후에, 보코더(31)로 출력한다.
보코더(31)는 잡음제거부(100)에서 잡음이 제거된 신호를 인코딩하여 통신망 인터페이스(41)를 통해 통화상대방에게 전송하고, 통신망 인터페이스(41)를 통해 전송되어 오는 통화상대방의 음성을 디코딩한다. 디코딩된 음성신호는 디지털-아날로그 변환기(22)를 거쳐서 아날로그 신호로 변환된 다음에 적절한 레벨로 증폭되어 스피커(21)를 통해 출력된다.
다음으로 도 3을 참조하여 잡음제거부(100)에서의 잡음제거방법을 설명한다. 도 3은 본 발명의 일 실시예에 따른 잡음제거방법의 개략적인 구성을 보여주는 흐름도이다. 이하의 설명에서는 마이크로폰에 입력되는 신호 중에서 화자로부터 입력되는 신호를 '목적음'이라 하고, 주변 잡음에 의해 야기되는 신호를 '잡음'이라 한다.
잡음제거부(100)는 제1 마이크로폰(11)과 제2 마이크로폰(12)으로부터 입력되어 디지털로 변환된 신호(이하, 각각 '제1 마이크로폰 신호' 및 '제2 마이크로폰 신호'라 함)를 공간 필터링(spatial filtering) 한다(단계 S100). 공간 필터링은 두 마이크로폰(11, 12)에 입력되는 목적음과 잡음 신호에 대해 제1 마이크로폰(11)에는 목적음에 대한 지향성을, 제2 마이크로폰(12)에 대해서는 잡음에 대한 지향성을 줌으로써 두 마이크로폰(11, 12) 사이의 목적음의 레벨차를 더 크게 만드는 역할을 한다.
잡음제거부(100)는 공간 필터링된 두 신호를 사용하여 음성활동과 관련된 변수, 즉 잡음확률함수를 계산한다(단계 S200). 잡음확률함수는, 공간 필터링된 제1 마이크로폰 신호의 파워 스펙트럼 밀도에 대한 공간 필터링된 제2 마이크로폰 신호의 파워 스펙트럼 밀도의 비로 정의된다.
잡음제거부(100)는 잡음확률함수를 사용하여 잡음을 추정하고 감쇄시킨다(단계 S300). 구체적으로는, 잡음 감쇄 단계(S300)는, 상기 잡음확률함수에 기초하여 수렴변수를 계산하는 수렴변수 계산단계와, 상기 수렴변수를 사용하여 적응 필터의 계수를 갱신하는 필터계수 갱신단계와, 제2 마이크로폰 신호에 상기 적응 필터를 적용하여 필터링된 신호를 출력하는 적응필터링 단계와, 제1 마이크로폰 신호에서 상기 필터링된 신호를 뺀 차감신호를 출력하는 차감신호 생성단계를 구비한다.
마지막으로, 잡음제거부(100)는 잡음이 감쇄된 신호에 대해서 단계 S200에서 계산된 잡음확률함수를 이용하여 잡음이 큰 주파수 성분에 대해서는 이득을 상대적으로 작게 하고 잡음이 적은 주파수 성분에 대해서는 이득을 상대적으로 크게 하는 후처리를 수행한다(단계 S400). 실시예에 따라서는 후처리 단계에서 계산된 이득을 주파수 축으로 스무딩하여 뮤지컬 노이즈를 감소시키는 처리를 더 수행할 수 있다.
도 4를 참조하여 본 발명의 잡음제거부(100)의 구성을 상세히 설명한다. 도 4는 본 발명의 일 실시예에 따른 잡음제거장치의 구성을 보여주는 블록도이다.
이하의 설명에서는, 제1 마이크로폰 신호를 d(n), 제2 마이크로폰 신호를 x(n)이라 하고, 이들을 푸리에 변환한 신호를 각각 D(k), X(k)라 한다.
제1 마이크로폰 신호 d(n)과 제2 마이크로폰 신호 x(n)의 k번째 주파수 성분의 파워 스펙트럼 밀도(Power Spectral Density) Psd(k), Psx(k)는 수학식 1 및 수학식 2와 같이 구할 수 있다.
Figure 112018078678896-pat00008
Figure 112018078678896-pat00009
두 파워 스펙트럼 밀도의 차인 Psd(k)- Psx(k)값은 Psd(k) 값보다 목적음의 파워 값이 작아지지만, 잡음의 파워 값은 목적음보다 상대적으로 더 작아진다. 공간 필터링부(110)는 공간 필터링 후의 파워 스펙트럼 밀도가 각각 다음과 같이 되도록 필터링한다.
Figure 112018078678896-pat00010
Figure 112018078678896-pat00011
음성활동감지부(120)는 제1 마이크로폰 신호와 제2 마이크로폰를 각각 공간 필터링한 신호를 이용하여 음성활동(Voice Activity)을 감지한다. 일 실시예에서, 음성활동감지부(120)는 수학식 5를 사용하여 잡음확률함수 q(k)를 계산한다. 잡음확률함수 q(k)는 공간 필터링된 제1 마이크로폰 신호의 파워 스펙트럼 밀도에 대한 공간 필터링된 제2 마이크로폰 신호의 파워 스펙트럼 밀도의 비로 정의되며, 0보다 크고 1보다 작은 값을 갖는다.
Figure 112018078678896-pat00012
공간 필터링을 하기 전의 제1 마이크로폰 신호 및 제2 마이크로폰 신호의 파워 스펙트럼 밀도의 이득 패턴은 도 5의 (a)에 도시한 것처럼 목적음과 잡음에 대한 두 파워 스펙트럼 밀도의 이득 패턴이 원형으로 서로 동일하다. 반면, 공간 필터링을 하게 되면 도 5의 (b)에 도시한 것처럼 제1 마이크로폰 신호의 파워 스펙트럼 밀도의 이득 패턴은 잡음보다 목적음이 더 크고, 제2 마이크로폰 신호의 파워 스펙트럼 밀도의 이득 패턴은 목적음보다 잡음이 더 커진다. 이와 같이 공간 필터링을 하게 되면, 두 개의 마이크로폰 신호의 파워 스펙트럼 밀도의 비(ratio)을 계산했을 때 목적음과 잡음에 대한 구분을 보다 명확하게 할 수 있으므로, 잡음 확률(noise probability)이 보다 정확하게 된다. 이에 따라, 잡음만 존재하는 구간에서는 잡음을 적극적으로 제거하게 되고, 목적음과 잡음이 혼재된 구간에서는 목적음의 손상을 최소화하면서 잡음을 제거해 나갈 수 있다.
도 6에 공간 필터링을 하기 전과 한 후의 신호에 대한 시뮬레이션 결과를 보여주는 그래프가 도시되어 있다. 도 6에서 적색 그래프는 잡음확률함수를 나타내고, 청색 그래프는 입력 신호를 나타낸다. 그래프의 x축은 시간을 나타내며, 깨끗한 신호가 입력되는 구간(C), 잡음이 입력되는 구간(N), 잡음과 목적음이 섞여있는 구간(N+C)으로 구분된다. y축은 q(k) 값을 나타낸다.
도 6의 (a)와 (b)는 동일한 신호가 마이크로폰에 입력되었을 때에 마이크로폰에 입력되는 신호를 그대로 사용한 경우의 잡음확률함수와 공간 필터링을 적용한 경우의 잡음확률함수를 각각 보여준다. 잡음이 없는 구간(초록색 타원)에서 공간 필터링을 적용했을 때의 값이 공간 필터링을 적용하지 않은 경우의 값보다 작아진 것을 확인할 수 있다. 따라서 잡음이 없는 구간에서는 적응 필터를 적응하지 않게 함으로써 목적음을 좀더 보존할 수 있는 효과를 거둘 수 있다. 또한, 목적음과 잡음이 혼재되어 있는 N+C 구간에서도 공간 필터링을 적용했을 때의 값이 공간 필터링을 적용하지 않은 경우의 값보다 조금 더 작아진 것을 확인할 수 있다. 즉, 목적음과 잡음이 혼재되어 있는 구간에서도 목적음을 좀더 보존하면서 잡음을 제거해 나갈 수 있다.
잡음 감쇄부는 합산기(131)와, 수렴변수계산기(132)와, 필터계수 갱신기와, 적응필터(133)를 구비한다. 도 4에서는 필터계수 갱신기를 별도로 표시하지 않고 수렴변수계산기(132)에서 계산한 수렴변수를 사용하여 적응필터(133)의 계수를 갱신하는 것을 화살표로 표시하였다. 잡음 감쇄부는 제1 마이크로폰 신호와 제2 마이크로폰 신호, 그리고 음성활동감지부(120)에서 계산된 잡음확률함수 q(k)를 이용하여 잡음을 추정하고 감쇄시킨 차감 신호 e(n)을 출력한다.
적응필터(133)로는 필터 계수가 적응적으로 갱신되는 디지털 적응필터(Adaptive Digital Filter), 바람직하게는 PB-FDADF(Partition-Block Frequency Domain Adaptive Digital Filter)가 사용될 수 있다.
수렴변수계산기(132)는 잡음확률함수 q(k)를 이용하여 적응필터(133)의 계수 값을 적응적으로 갱신한다. 합산기(131)는 제1 마이크로폰 신호 d(n)에서 적응필터링된 신호
Figure 112018078678896-pat00013
을 차감하여 차감 신호 e(n)을 출력한다. 즉, e(n)=d(n)-
Figure 112018078678896-pat00014
이다. 적응필터(133)는 갱신된 필터 계수를 사용하여 제2 마이크로폰 신호 x(n)을 필터링하고, 필터링된 신호
Figure 112018078678896-pat00015
을 출력한다.
k번째 주파수 성분의 수렴 변수 μ(k)는 수학식 6을 이용하여 구할 수 있다. 여기서, μmax는 실험적으로 얻은 최대 적응 상수값이다.
Figure 112018078678896-pat00016
이와 같이 잡음확률함수 q(k)를 적응 필터의 수렴 변수 계산에 사용함으로써 잡음이 큰 주파수 성분에 대해서는 적응 변수가 커지므로 적응을 빨리 하게 되고, 잡음이 적은 주파수 성분에 대해서는 수렴 변수가 작아지므로 적응을 천천히 하게 된다.
적응필터(133)의 계수 W(k)는 수학식 7과 같이 구할 수 있다. 필터계수 갱신기는 적응필터(133)의 계수를 매 프레임마다 갱신한다.
Figure 112018078678896-pat00017
여기서, E(k)는 e(n)을 푸리에 변환한 신호의 k 번째 주파수 성분이고, D(k)는 제1 마이크로폰 신호 d(n)을 푸리에 변환한 신호의 k 번째 주파수 성분이고, X(k)는 제2 마이크로폰 신호 x(n)을 푸리에 변환한 신호의 k 번째 주파수 성분이다.
후처리부는 이득계산기(141)와 곱셈기(142)를 구비하며, 차감 신호 e(n)에 대해서 잡음이 큰 주파수 성분에 대해서는 이득을 상대적으로 작게 하고 잡음이 적은 주파수 성분에 대해서는 이득을 상대적으로 크게 한 출력신호 z(n)을 출력한다. 실시예에 따라서는, 계산된 이득을 주파수 축으로 스무딩(smoothing)하여 뮤지컬 노이즈를 감소시키도록 구성할 수도 있다.
이득계산기(141)는 잡음확률함수 q(k)를 이용하여 수학식 8과 같이 k번째 주파수 성분의 잡음 스펙트럼을 구한다.
Figure 112018078678896-pat00018
여기서,
Figure 112018078678896-pat00019
이며, 이전 프레임들에서 추정된 잡음의 스펙트럼과의 스무딩(smoothing)을 위한 상수이다. P e (k)는 차감신호 E(k)의 파워 스펙트럼 밀도이고,
Figure 112018078678896-pat00020
와
Figure 112018078678896-pat00021
는 각각 공간 필터링된 제1 마이크로폰 신호와 공간 필터링된 제2 마이크로폰 신호의 파워 스펙트럼 밀도이다.
이득계산기(141)는 수학식 8과 같이 구한 Ns(k)에 위너 필터(Wiener filter) 또는 MMSE(Minimum Mean Square Error) 등의 스펙트럼 차감법을 적용하여 각 주파수 성분에 대한 이득 값을 계산한다. 곱셈기(142)는 그 이득 값을 차감신호 E(k)에 곱함으로써 잡음 성분을 줄여 나가게 된다.
한편, 수학식 8을 이용하여 계산된 이득을 주파수 축으로 스무딩하여 각 주파수 성분에 곱해지는 이득 값들이 인접 주파수 성분에 곱해지는 이득 값에 비해 지나치게 급격하게 변화되는 것을 완화함으로써 뮤지컬 노이즈(musical noise)를 감소시킬 수도 있다. 또한, 후처리부에서 추가적인 후처리를 수행하는 것도 물론 가능하다.
이상의 설명에서는 스마트폰과 같은 휴대단말에 적용한 예를 들어 설명하였지만, 본 발명의 잡음제거방법 및 장치는 이에 한정되는 것은 아니며 마이크로폰을 2개 이상 사용하는 장치에 모두 적용 가능하다. 예를 들면, 차량 내에 설치되는 스피커폰 통화장치에도 적용 가능하다.
이상, 본 발명을 몇가지 예를 들어 설명하였으나, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 또한, 주파수 도메인에서 수행되는 것으로 설명된 동작을 시간 도메인에서 수행되도록 수정하거나, 시간 도메인에서 수행되는 것으로 설명된 동작을 주파수 도메인에서 수행되도록 수정하여 구현하는 것도 가능하다.
이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110 공간필터링부,
120 음성활동감지부,
131 합산기,
132 수렴변수계산기,
133 적응필터,
141 이득계산기,
142 곱셈기.

Claims (14)

  1. 제1 마이크로폰과 제2 마이크로폰을 포함하는 휴대단말에서의 잡음제거방법으로서,
    제1 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도와 제2 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도의 차이값에 따라 제1 파워 스펙트럼 밀도와 제2 파워 스펙트럼 밀도를 산출하는 공간 필터링(spatial filtering) 단계;
    상기 제1 파워 스펙트럼 밀도와 제2 파워 스펙트럼 밀도를 사용하여 잡음확률함수를 계산하는 음성활동감지 단계;
    상기 잡음확률함수를 사용하여 잡음으로 추정된 신호를 감쇄시킨 차감 신호를 출력하는 잡음 감쇄 단계; 및
    상기 차감 신호에 대해서 상기 잡음확률함수를 이용하여 잡음이 큰 주파수 성분에 대해서는 이득을 상대적으로 작게 하고 잡음이 적은 주파수 성분에 대해서는 이득을 상대적으로 크게 하는 후처리 단계;
    를 포함하며,
    상기 공간 필터링 단계에서,
    제1 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도를 Psd(k)라 하고, 제2 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도를 Psx(k)라 할 때,
    제1 파워 스펙트럼 밀도
    Figure 112019055983903-pat00042
    와 제2 파워 스펙트럼 밀도
    Figure 112019055983903-pat00043
    는
    Figure 112019055983903-pat00044
    ,
    Figure 112019055983903-pat00045

    에 의해 산출되는, 잡음제거방법.
  2. 제1항에 있어서,
    상기 공간 필터링 단계는, 제1 마이크로폰은 목적음에 대한 지향성을 주고, 제2 마이크로폰은 잡음에 대한 지향성을 주는 것인, 잡음제거방법.
  3. 삭제
  4. 제1항에 있어서, 상기 음성활동감지 단계에서, 상기 잡음확률함수 q(k)는
    Figure 112019055983903-pat00026

    에 의해 계산되는, 잡음제거방법.
  5. 제1항에 있어서, 상기 잡음 감쇄 단계는,
    상기 잡음확률함수에 기초하여 수렴변수를 계산하는 수렴변수 계산단계;
    상기 수렴변수를 사용하여 적응 필터의 계수를 갱신하는 필터계수 갱신단계;
    제2 마이크로폰 신호에 상기 적응 필터를 적용하여 필터링된 신호를 출력하는 적응필터링 단계; 및
    제1 마이크로폰 신호에서 상기 필터링된 신호를 뺀 차감신호를 출력하는 차감신호 생성단계;
    를 포함하는, 잡음제거방법.
  6. 제1항에 있어서,
    상기 후처리 단계는, 상기 잡음확률함수를 q(k)라 하고,
    Figure 112019055983903-pat00027
    이며 이전 프레임들에서 추정된 잡음의 스펙트럼과의 스무딩(smoothing)을 위한 상수라 하고, Pe(k)를 차감신호 E(k)의 파워 스펙트럼 밀도라 할 때, 다음 식과 같이 k번째 주파수 성분의 잡음 스펙트럼을 구하고,
    Figure 112019055983903-pat00028
    ,
    Ns(k)에 스펙트럼 차감법을 적용하여 계산한 각 주파수 성분에 대한 이득 값을 상기 차감 신호에 곱하는 단계를 포함하는 잡음제거방법.
  7. 제6항에 있어서, 상기 후처리 단계는,
    상기 계산한 이득 값을 주파수 축으로 스무딩하여 각 주파수 성분에 곱해지는 이득 값들이 인접 주파수 성분에 곱해지는 이득 값에 비해 지나치게 급격하게 변화되는 것을 완화함으로써 뮤지컬 노이즈(musical noise)를 감소시키는 단계를 더 포함하는, 잡음제거방법.
  8. 제1 마이크로폰과 제2 마이크로폰을 포함하는 휴대단말에서의 잡음제거장치로서,
    제1 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도와 제2 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도의 차이값에 따라 제1 파워 스펙트럼 밀도와 제2 파워 스펙트럼 밀도를 산출하는 공간 필터링부와,
    상기 제1 파워 스펙트럼 밀도와 제2 파워 스펙트럼 밀도를 사용하여 잡음확률함수를 계산하는 음성활동감지부와,
    상기 잡음확률함수를 사용하여 잡음으로 추정된 신호를 감쇄시킨 차감 신호를 출력하는 잡음감쇄부와,
    상기 차감 신호에 대해서 상기 잡음확률함수를 이용하여 잡음이 큰 주파수 성분에 대해서는 이득을 상대적으로 작게 하고 잡음이 적은 주파수 성분에 대해서는 이득을 상대적으로 크게 하는 후처리부
    를 구비하며,
    상기 공간 필터링부는,
    제1 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도를 Psd(k)라 하고, 제2 마이크로폰으로 수신된 신호의 파워 스펙트럼 밀도를 Psx(k)라 할 때,
    제1 파워 스펙트럼 밀도
    Figure 112019055983903-pat00046
    와 제2 파워 스펙트럼 밀도
    Figure 112019055983903-pat00047
    를
    Figure 112019055983903-pat00048
    ,
    Figure 112019055983903-pat00049

    에 의해 산출하는, 잡음제거장치.
  9. 제8항에 있어서,
    상기 공간 필터링부는, 제1 마이크로폰은 목적음에 대한 지향성을 주고, 제2 마이크로폰은 잡음에 대한 지향성을 주는 것인, 잡음제거장치.
  10. 삭제
  11. 제8항에 있어서, 상기 음성활동감지부는, 상기 잡음확률함수 q(k)를
    Figure 112019055983903-pat00033

    에 의해 계산하는, 잡음제거장치.
  12. 제8항에 있어서, 상기 잡음 감쇄부는,
    상기 잡음확률함수에 기초하여 수렴변수를 계산하는 수렴변수 계산기;
    제2 마이크로폰 신호를 필터링하는 적응필터;
    상기 수렴변수를 사용하여 상기 적응 필터의 계수를 갱신하는 필터계수 갱신기; 및
    제1 마이크로폰 신호에서 상기 필터링된 신호를 뺀 차감신호를 출력하는 합산기;
    를 포함하는, 잡음제거장치.
  13. 제8항에 있어서,
    상기 후처리부는, 상기 잡음확률함수를 q(k)라 하고,
    Figure 112019055983903-pat00034
    이며 이전 프레임들에서 추정된 잡음의 스펙트럼과의 스무딩(smoothing)을 위한 상수라 하고, Pe(k)를 차감신호 E(k)의 파워 스펙트럼 밀도라 할 때, 다음 식과 같이 k번째 주파수 성분의 잡음 스펙트럼을 구하고,
    Figure 112019055983903-pat00035
    ,
    Ns(k)에 스펙트럼 차감법을 적용하여 계산한 각 주파수 성분에 대한 이득 값을 상기 차감 신호에 곱하는, 잡음제거장치.
  14. 제13항에 있어서, 상기 후처리부는,
    상기 계산한 이득 값을 주파수 축으로 스무딩하여 각 주파수 성분에 곱해지는 이득 값들이 인접 주파수 성분에 곱해지는 이득 값에 비해 지나치게 급격하게 변화되는 것을 완화함으로써 뮤지컬 노이즈(musical noise)를 감소시키는, 잡음제거장치.


KR1020180092862A 2018-08-09 2018-08-09 두 개의 마이크로폰을 포함하는 휴대단말에서의 잡음제거방법 및 장치 KR102040986B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180092862A KR102040986B1 (ko) 2018-08-09 2018-08-09 두 개의 마이크로폰을 포함하는 휴대단말에서의 잡음제거방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180092862A KR102040986B1 (ko) 2018-08-09 2018-08-09 두 개의 마이크로폰을 포함하는 휴대단말에서의 잡음제거방법 및 장치

Publications (1)

Publication Number Publication Date
KR102040986B1 true KR102040986B1 (ko) 2019-11-06

Family

ID=68541810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180092862A KR102040986B1 (ko) 2018-08-09 2018-08-09 두 개의 마이크로폰을 포함하는 휴대단말에서의 잡음제거방법 및 장치

Country Status (1)

Country Link
KR (1) KR102040986B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021162337A1 (ko) * 2020-02-10 2021-08-19 삼성전자 주식회사 음질 개선 방법 및 이어 웨어러블 장치
CN114385977A (zh) * 2021-12-13 2022-04-22 广州方硅信息技术有限公司 信号的有效频率检测方法、终端设备及存储介质
KR20220154889A (ko) * 2021-05-14 2022-11-22 주식회사 위스타 지향성 마이크를 사용한 환경 잡음 제거 장치
KR20230128662A (ko) * 2022-02-28 2023-09-05 주식회사 위스타 두 개의 무지향성 마이크로폰으로 구성된 빔포머를 이용한 잡음제거장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070050058A (ko) * 2004-09-07 2007-05-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 향상된 잡음 억제를 구비한 전화통신 디바이스
KR20150096090A (ko) * 2014-02-14 2015-08-24 주식회사 시그테크 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070050058A (ko) * 2004-09-07 2007-05-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 향상된 잡음 억제를 구비한 전화통신 디바이스
KR20150096090A (ko) * 2014-02-14 2015-08-24 주식회사 시그테크 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021162337A1 (ko) * 2020-02-10 2021-08-19 삼성전자 주식회사 음질 개선 방법 및 이어 웨어러블 장치
KR20220154889A (ko) * 2021-05-14 2022-11-22 주식회사 위스타 지향성 마이크를 사용한 환경 잡음 제거 장치
KR102473050B1 (ko) * 2021-05-14 2022-12-01 주식회사 위스타 지향성 마이크를 사용한 환경 잡음 제거 장치
CN114385977A (zh) * 2021-12-13 2022-04-22 广州方硅信息技术有限公司 信号的有效频率检测方法、终端设备及存储介质
CN114385977B (zh) * 2021-12-13 2024-05-28 广州方硅信息技术有限公司 信号的有效频率检测方法、终端设备及存储介质
KR20230128662A (ko) * 2022-02-28 2023-09-05 주식회사 위스타 두 개의 무지향성 마이크로폰으로 구성된 빔포머를 이용한 잡음제거장치
KR102661754B1 (ko) * 2022-02-28 2024-04-30 주식회사 위스타 두 개의 무지향성 마이크로폰으로 구성된 빔포머를 이용한 잡음제거장치

Similar Documents

Publication Publication Date Title
KR102040986B1 (ko) 두 개의 마이크로폰을 포함하는 휴대단말에서의 잡음제거방법 및 장치
EP3439325B1 (en) Automatically tuning an audio compressor to prevent distortion
JP5762956B2 (ja) ヌル処理雑音除去を利用した雑音抑制を提供するシステム及び方法
KR101461141B1 (ko) 잡음 억제기를 적응적으로 제어하는 시스템 및 방법
JP5444472B2 (ja) 音源分離装置、音源分離方法、及び、プログラム
US8521530B1 (en) System and method for enhancing a monaural audio signal
EP3282678B1 (en) Signal processor with side-tone noise reduction for a headset
JP4689269B2 (ja) 静的スペクトルパワー依存型音響強調システム
US20130272540A1 (en) Noise suppressing method and a noise suppressor for applying the noise suppressing method
US8462962B2 (en) Sound processor, sound processing method and recording medium storing sound processing program
WO2012142270A1 (en) Systems, methods, apparatus, and computer readable media for equalization
KR20130061673A (ko) 모노 또는 다중 마이크로폰 시스템 내의 잡음 제거 및 음성 품질을 공동으로 최적화하는 방법
US9343073B1 (en) Robust noise suppression system in adverse echo conditions
JP4978352B2 (ja) エコーキャンセラ
KR20010043833A (ko) 스펙트럼 종속 지수 이득 함수 평균화를 이용한 스펙트럼공제에 의한 신호 잡음 저감
EP2987314B1 (en) Echo suppression
JP2003500936A (ja) エコー抑止システムにおけるニアエンド音声信号の改善
KR101557779B1 (ko) 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법 및 장치
KR101396873B1 (ko) 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법 및 장치
TWI465121B (zh) 利用全方向麥克風改善通話的系統及方法
JP2009513054A (ja) 音響エコーキャンセラ
CN109326297B (zh) 自适应后滤波
CN109308907B (zh) 单信道降噪
CN110731088B (zh) 信号处理装置、远程会议装置以及信号处理方法
KR102473050B1 (ko) 지향성 마이크를 사용한 환경 잡음 제거 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant