KR101340757B1 - 위상차이와 스펙트럼의 에너지를 이용한 잡음제거 방법 및장치 - Google Patents

위상차이와 스펙트럼의 에너지를 이용한 잡음제거 방법 및장치 Download PDF

Info

Publication number
KR101340757B1
KR101340757B1 KR1020070023705A KR20070023705A KR101340757B1 KR 101340757 B1 KR101340757 B1 KR 101340757B1 KR 1020070023705 A KR1020070023705 A KR 1020070023705A KR 20070023705 A KR20070023705 A KR 20070023705A KR 101340757 B1 KR101340757 B1 KR 101340757B1
Authority
KR
South Korea
Prior art keywords
signal
signals
noise
phase
frequency domain
Prior art date
Application number
KR1020070023705A
Other languages
English (en)
Other versions
KR20080082857A (ko
Inventor
손백권
강상기
전재진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070023705A priority Critical patent/KR101340757B1/ko
Publication of KR20080082857A publication Critical patent/KR20080082857A/ko
Application granted granted Critical
Publication of KR101340757B1 publication Critical patent/KR101340757B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 음성과 잡음이 섞여 입력되면 잡음을 제거하는 방법 및 장치를 제공한다.
두 개 마이크로 입력되는 음성과 잡음이 섞인 신호의 위상차 정보를 사용한 잡음제거로서 고주파수 대역은 위상차를 이용하여 잡음을 제거하고 저주파수 대역은 스펙트럼의 에너지를 이용한 잡음을 제거함으로서 상기 두 개 마이크로 입력되는 상기 신호에서 상기 잡음을 제거하는 방법 및 장치를 제공한다.
Figure R1020070023705
위상차, 스펙트럼, 주파수, Phase, Magnitude, FFT, IFFT

Description

위상차이와 스펙트럼의 에너지를 이용한 잡음제거 방법 및 장치{Method and apparatus for removing noise using phase difference and spectrum energy}
도 1은 종래기술에 따른 마이크로 입력되는 잡음과 음성이 혼합된 신호를 나타낸 그래프
도 2는 종래기술에 따른 위상차이를 이용하여 잡음을 제거하는 블록도
도 3은 종래기술에 따른 마이크로 입력되는 잡음과 음성이 혼합된 신호에서 잡음을 제거하는 흐름도
도 4는 본 발명의 바람직한 실시예에 따라 마이크로 입력되는 잡음과 음성이 혼합된 신호를 나타낸 그래프
도 5는 본 발명의 바람직한 실시예에 따른 저주파수 대역과 고주파수 대역에서 잡음을 제거하는 블록도
도 6은 본 발명의 바람직한 실시예에 따라 저주파수 대역과 고주파수 대역에서 잡음을 제거하는 흐름도
본 발명은 음성과 잡음이 섞인 신호에서 상기 잡음을 제거하는 방법 및 장치에 관한 것으로, 휴대용 단말기로 입력되는 상기 신호에서 저주파수과 고주파수 대역으로 나누어 각각의 잡음신호를 제거하는 방법 및 장치에 관한 것이다.
휴대용 단말기를 이용하는 화자의 음성은 상기 휴대용 단말기의 마이크로 입력되어 전기적인 음성신호로 변환되고 통화중인 상대방에게 전달되는 데, 이때 주변의 잡음도 같이 전달된다.
또한, 상기 휴대용 단말기에서 상대방과 화상통화 및 상기 휴대용 단말기의 음성인식을 사용하려면 상대방과 얼굴을 보며 통화해야 하므로 화자는 상기 휴대용 단말기의 마이크에서 멀어지고 상기 화자가 상대방과 통화하려고 상기 마이크를 가까이 하면 상대방과 얼굴을 보며 통화할 수가 없다.
즉, 화상통화를 하기 위해서는 휴대용 단말기 화면에서 상대방 얼굴을 보면서 통화를 해야 하고 상기 휴대용 단말기에서 음성인식 응용 프로그램을 이용하기 위해서도 상기 휴대용 단말기 화면창의 메뉴를 보면서 사용해야 하기 때문에 상기 휴대용 단말기의 마이크와 화자의 입은 거리가 멀어지게 된다. 상기 휴대용 단말기를 화자의 얼굴에 가까이 붙여 말을 할 때에는 상기 휴대용 단말기의 마이크와 화자의 입은 거리가 가깝기 때문에 상기 화자의 음성이 크게 입력되어 잡음의 영향을 덜 받게 된다. 상기 화자의 입과 상기 휴대용 단말기의 마이크가 거리가 멀어질수록 음성감도가 떨어지게 되며 잡음이 상기 화자의 음성신호와 비슷하게 입력되기 때문에 상기 음성신호의 음질이 저하되어 화상통화 시 내용전달이 어려워지고, 상기 화자의 음성인식이 불분명해져 상기 음성인식에 대한 오류를 초래하게 된다.
따라서 휴대용 단말기에서 잡음신호를 제거하는 것으로는 상기 휴대용 단말기에 내장된 두개의 마이크로 입력되는 상기 음성신호와 상기 잡음신호와의 위상차이로 인한 지연정보를 이용한다. 예를들어, 상기 두개 마이크의 정면에서 입력된 각각의 음성신호는 위상이 동일하지만 주변에서 입력된 잡음신호와는 위상차이가 발생한다. 이는 상기 두개의 마이크 간격과 상기 음성신호 및 상기 잡음신호가 입력되는 각도에 따라 입력되는 상기 음성신호와 상기 잡음신호사이에서 시간지연이 발생하기 때문이다.
상기 두개 마이크의 정면에서 입력되는 화자의 음성신호는 시간지연이 없기 때문에 위상차이가 발생하지 않지만 여러 방향에서 입력되는 잡음신호는 상기 음성신호와 위상차이가 발생하게 된다. 상기 위상차이는 상기 잡음신호에 의해 발생된 것으로 볼 수 있기 때문에 상기 위상차이는 잡음의 유무 및 정도를 나타내는 척도로 사용할 수 있다. 상기 위상차이가 많이 발생한 주파수에서는 잡음이 심한 경우이므로 잡음제거 정도를 강하게 하고 위상차이가 작게 발생한 주파수에서는 잡음이 약한 경우이므로 잡음제거 정도를 약하게 하여 잡음을 제거한다.
도 1은 종래기술에 따른 마이크로 입력되는 잡음과 음성이 혼합된 신호를 나타낸 그래프이다.
상기 도 1을 참조하면, 실선은 마이크1로 입력되는 음성과 잡음의 신호1을 나타내며, 점선은 마이크2로 입력되는 음성과 잡음의 신호2를 나타낸다.
가로축은 FFT 포인트 값으로, 마이크1과 마이크2로 입력되는 각각의 신호에 대해 256 FFT 처리를 하면 256 포인트의 주파수 값이 나오는데 현재의 그래프에서 는 1~128 포인트의 주파수 값을 나타낸다.
세로축은 상기 가로축의 각 주파수에서의 위상을 나타내며 상기 256 FFT 처리를 하면 실수값과 허수값을 구하는데 하기 <수학식 1>과 같은 식으로 상기 각 주파수에서의 위상을 구한다.
<수학식 1>
Figure 112007019564781-pat00001
예를들어, 256 FFT 처리를 한다면, 상기 <수학식 1>에서 N은 256이고 k는 주파수 포인트이다. X(k)는 상기 256 FFT 처리의 결과이며 Im(X(k))는 X(k)의 허수부분을, Re(X(k))는 X(k)의 실수부분이다.
상기 가로축의 FFT 25포인트 까지는 상기 마이크1과 상기 마이크2로 입력되는 신호의 위상이 일치하지만 25포인트 이후부터는 위상차이가 발생한다. 이 때문에 상기 마이크1과 상기 마이크2로 입력되는 상기 신호1과 상기 신호2에 섞인 잡음신호에 의해 발생한 위상차를 이용하여 상기 잡음신호를 제거한다. 그러나 25포인트 이하에서는 위상차가 발생하지 않는데 이는 25포인트 이하 저주파수 대역에 잡음신호가 존재하지 않는 것이 아니라, 저주파수 대역의 신호는 파장이 길어 위상차가 거의 발생하지 않기 때문이다.
도 2는 종래기술에 따른 위상차이를 이용하여 잡음을 제거하는 블록도이다.
상기 도 2를 참조하면, 휴대용 단말기의 마이크1(200)에는 화자의 음성과 잡음이 섞여 입력되며 아날로그 디지털 컨버터(Analog Digital Converter; 이하 ADC 라 한다.)1(205)은 상기 화자의 음성과 잡음이 섞인 아날로그 신호1을 디지털 신호1로 변환시킨다. 윈도우윙(Windowing)1(210)은 상기 디지털 신호1을 상기 휴대용 단말기가 처리할 수 있도록 일정크기의 프레임단위로 나누며 고속 푸리에변환(Fast Fourier Transform; 이하 FFT라 한다.)1(215)은 프레임단위로 나누어진 상기 디지털 신호1을 주파수영역의 신호1로 변환한다. 주파수 크기측정1(220)은 상기 변환된 주파수영역의 신호1의 크기1(magnitude)을 계산하고, 주파수 위상측정1(225)은 상기 변환된 주파수 영역의 신호1의 위상1(phase)을 계산한다.
마이크2(230)에도 상기 화자의 음성과 상기 잡음이 섞여 입력되며 ADC2(235)는 상기 화자의 음성과 잡음이 섞인 아날로그 신호2를 디지털 신호2로 변환시킨다. 윈도우윙(Windowing)2(240)은 상기 디지털 신호2를 상기 휴대용 단말기가 처리할 수 있도록 일정크기의 프레임단위로 나누며 FFT2(245)는 프레임단위로 나누어진 상기 디지털 신호2를 주파수영역의 신호2로 변환한다. 주파수 크기측정2(255)는 상기 변환된 주파수영역의 신호2의 크기2(magnitude)를 계산하고, 주파수 위상측정2(250)는 상기 변환된 주파수 영역의 신호2의 위상2(phase)를 계산한다.
위상차 계산기(260)는 상기 주파수 위상측정1(225)에서 측정한 위상1과 상기 주파수 위상측정2(250)에서 측정한 위상2의 차이를 계산한 위상차 값을 위상 필터링1(265)과 위상 필터링2(270)에 전달한다. 상기 위상 필터링1(265)과 상기 위상 필터링2(270)는 상기 위상차 값을 이용하여 상기 위상1과 상기 위상2의 위상이득을 각각 계산하고 상기 각각의 위상이득을 상기 크기1과 크기2에 곱하여 잡음을 제거한다.
역 고속 푸리에 변환(Inverse Fast Fourier Transform; 이하 IFFT라 한다.)(275)은 상기 잡음이 제거된 상기 주파수 영역 신호1을 시간영역의 신호1로 변환하고 IFFT(280)는 상기 잡음이 제거된 상기 주파수 영역의 신호2를 시간영역의 신호2로 변환한다.
가산기(285)는 상기 시간영역의 신호1과 상기 시간영역의 신호2를 합산하여 출력하는데 필요에 따라서 상기 두 가지 중 하나의 신호만 사용할 수 도 있다.
도 3은 종래기술에 따른 마이크로 입력되는 음성과 잡음이 혼합된 신호에서 잡음을 제거하는 흐름도이다.
300단계에서 휴대용 단말기에 내장된 두 개의 마이크(100,130)는 화자가 말하는 음성과 잡음을 입력받으며 상기 휴대용 단말기는 상기 음성과 상기 잡음인 아날로그 신호를 디지털 신호로 변환한다. 310단계에서 윈도우윙(Windowing)(110,140)은 상기 디지털 신호를 상기 휴대용 단말기가 처리할 수 있도록 일정크기의 프레임단위로 나누며 320단계에서 FFT(115,145)는 상기 프레임 단위로 나눠진 디지털 신호를 주파수 영역의 신호1과 신호2로 변환한다. 330단계에서 위상차 계산기(160)는 상기 주파수 영역의 신호1과 신호2의 위상차 값을 계산하고, 340단계에서 위상 필터링(165,170)은 상기 위상차 값을 이용하여 상기 신호1과 상기 신호2의 위상이득을 각각 계산하여 상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2에 적용하여 잡음을 제거한다. 350단계에서 IFFT(175,180)는 상기 잡음이 제거된 상기 주파수 영역의 신호 1과 상기 주파수 영역의 신호2를 시간영역의 신호로 각각 변환하고 360단계에서 상기 휴대용 단말기는 잡음이 제거된 상기 시간 영역의 신호를 출력한다.
즉, 위상차를 이용하여 마이크1과 마이크2로 입력되는 신호에서 잡음을 제거할 경우, 고주파수 대역에서는 어느 정도 위상차가 발생하여 잡음을 제거하더라도 잡음에 위상차이가 발생하지 않는 저주파수 대역은 여전히 잡음이 남아있게 된다.
음성신호와 합산된 잡음신호를 제거하는 것에 있어서 음성신호는 저주파수 대역에 중요한 정보를 가지고 있기 때문에 고주파수 대역의 잡음만 제거된 신호를 가지고는 화상통화 시 음질이 여전히 저하되며 음성인식을 사용해도 인식오류가 많이 발생하게 된다.
따라서 본 발명의 목적은 음성과 같이 마이크를 통해 입력되는 잡음을 고주파수 대역과 저주파수 대역으로 나누어 제거하는 방법 및 장치를 제공한다.
본 발명의 바람직한 실시예는, 음성신호에 섞인 잡음을 제거하는 방법으로서,
서로 다른 두 마이크로 입력된 음성과 잡음을 주파수 영역의 신호1,2로 변환하고 상기 신호1,2에서 각각 전체적인 위상을 계산하고 고주파수 대역을 뽑아내어 상기 고주파수 대역의 위상을 계산하는 과정과,
상기 신호1의 위상과 상기 신호2의 위상과의 위상차 값을 계산하여 위상이득을 계산하는 과정과,
상기 계산된 위상이득을 상기 신호1과 상기 신호2에 곱하여 잡음이 제거된 저주파수 대역의 음성신호를 구하고 시간영역의 신호1,2로 변환하는 과정과,
상기 신호1,2에서 각각 전체적인 크기를 계산하고 저주파수 대역을 뽑아내어 상기 저주파수 대역의 크기를 계산하여 스펙트럼의 에너지를 계산하는 과정과,
상기 신호1과 상기 신호2의 에너지를 더하여 전체 에너지를 계산하고, 상기 전체 에너지를 이용하여 상기 신호1과 상기 신호2의 감쇄이득을 계산하는 과정과,
상기 신호1의 감쇄이득을 상기 신호2에 곱하고 상기 신호2의 감쇄이득을 상기 신호1에 곱하여 잡음이 제거된 저주파수 대역의 음성신호를 구하고 시간영역의 신호1,2로 변환하는 과정과,
상기 저주파수 대역의 시간영역 신호1,2와 상기 고주파수 대역의 시간영역 신호1,2를 합산하여 출력하는 과정을 포함하는 것이다.
본 발명의 장치는, 음성신호에 섞인 잡음을 제거하는 장치로서,
화자의 음성과 잡음이 섞여 입력되는 두개의 마이크와
상기 화자의 음성과 잡음이 섞여 입력되는 아날로그 신호1,2를 디지털 신호1,2로 변환시키는 ADC(Analog Digital Converter)1,2와,
상기 디지털 신호1,2를 처리할 수 있게 일정크기의 프레임단위로 나누는 윈도우윙1,2와,
상기 프레임단위로 나누어진 상기 디지털 신호1,2를 주파수영역의 신호1,2로 변환하는 FFT(Fast Fourier Transform)1,2와,
상기 변환된 주파수영역의 신호1,2의 전체적인 크기1,2(magnitude)를 계산하는 주파수 크기측정1,2와,
상기 주파수영역의 신호1,2에서 위상차이가 발생하지 않는 주파수 대역인 저주파수 대역을 차단주파수를 기준으로 통과시켜 상기 신호1,2를 각각 제곱하여 스펙트럼의 에너지1,2를 구하는 저주파수 대역 통과필터1,2와,
상기 주파수 영역의 신호1,2의 전체적인 위상1,2(phase)를 계산하는 주파수 위상측정1,2와,
상기 주파수영역의 신호1,2에서 위상차이가 발생하는 주파수 대역인 고주파수 대역을 차단주파수를 기준으로 통과시켜 상기 고주파수 대역의 위상을 계산하는 고주파수 대역 통과필터1,2와,
상기 위상1과 상기 위상2의 차이 값을 계산하는 위상차 계산기와,
상기 위상차 값을 이용하여 상기 위상1과 상기 위상2의 위상이득을 각각 계산하여 고주파수 대역의 상기 잡음이 섞인 주파수영역의 신호1,2에 곱하여 잡음이 제거된 신호들을 계산하는 위상 필터링1,2와,
상기 스펙트럼의 에너지1,2를 더하여 주파수별 전체 스펙트럼의 에너지를 계산하는 가산기1과,
상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2에 대한 각각의 감쇄이득을 구하기 위해 상기 전체 에너지(T)를 이용하여 감쇄이득1,2를 계산하는 에너지 비 계산1,2와,
상기 감쇄이득1을 상기 신호2에 곱하고 상기 감쇄이득2를 상기 신호1에 곱하여 잡음이 제거된 음성신호를 구하는 크기 필터링1,2와,
상기 잡음이 제거된 저주파수 대역의 음성신호를 구하고 시간영역의 신호1,2 로 변환하는 IFFT(Inverse Fast Fourier Transform)1,2와,
상기 저주파수 대역의 시간영역 신호1,2와 상기 고주파수 대역의 시간영역 신호1,2를 합산하여 출력하는 가산기2를 포함하는 것이다.
이하 본 발명의 바람직한 실시예들을 첨부한 도면을 참조하여 상세히 설명한다. 또한 본 발명의 요지를 흐릴 수 있는 공지기능 및 구성에 대한 상세한 설명은 생략한다.
본 발명의 주요한 요지는 고주파수 대역에서는 위상차이를 이용하고 저주파수 대역에서는 스펙트럼 에너지 차이를 이용하여 잡음을 제거하는ㅇ방법 및 장치를 제공하는 것이다.
도 4는 본 발명의 바람직한 실시예에 따라 마이크로 입력되는 잡음과 음성이 혼합된 신호를 나타낸 그래프이다.
상기 도 4를 참조하면, 실선은 마이크1로 입력되는 음성과 잡음의 신호1을 나타내며, 점선은 마이크2로 입력되는 음성과 잡음의 신호2를 나타낸다.
가로축은 FFT 포인트 값으로, 256 FFT 처리를 하면 256 포인트의 주파수 값이 나오는데 현재의 그래프에서는 1~256 포인트의 주파수중 128까지의 주파수 값을 나타내고, 세로축은 상기 가로축의 각 주파수에서의 에너지 를 나타낸다. 상기 에너지는 하기 <수학식 2>와 같은 식으로서 상기 각 주파수에서의 에너지 값을 구한다.
<수학식 2>
Figure 112007019564781-pat00002
예를들어, 256 FFT 처리를 한다면, 상기 <수학식 2>에서 N은 256이고 k는 주파수 포인트이다. X(k)는 상기 256 FFT 처리의 결과이며 Im(X(k))는 X(k)의 허수부분을, Re(X(k))는 X(k)의 실수부분이다.
상기 가로축의 FFT 25포인트 보다 큰 상기 마이크1과 상기 마이크2로 입력되는 신호의 스페트럼은 일치하지만 차단 주파수에 해당하는 25포인트 보다 작거나 같은 스펙트럼부터는 스펙트럼차이가 발생한다. 이 때문에 상기 마이크1과 상기 마이크2로 입력되는 상기 신호1과 상기 신호2에 섞인 잡음신호에 의해 발생한 스펙트럼 차이를 이용하여 상기 잡음신호를 제거한다. 즉, 위상차이로 제거하지 못하는 저주파수 대역의 잡음신호를 스펙트럼의 에너지 차이로 제거하는 것이다.
도 5는 본 발명의 바람직한 실시예에 따른 음성신호와 잡음신호가 섞인 신호에서 잡음을 제거하는 블록도이다.
상기 도 5를 참조하면, 휴대용 단말기의 마이크1,2(500,516)에는 화자의 음성과 잡음이 섞여 입력되며 아날로그 디지털 컨버터(Analog Digital Converter; 이하 ADC라 한다.)1,2(502,518)는 상기 화자의 음성과 잡음이 섞인 아날로그 신호1,2를 디지털 신호1,2로 변환시킨다. 윈도우윙(Windowing)1,2(504,520)는 상기 디지털 신호1,2를 상기 휴대용 단말기가 처리할 수 있도록 일정크기의 프레임단위로 나누며 고속 푸리에변환(Fast Fourier Transform; 이하 FFT라 한다.)1,2(506,522)는 프 레임단위로 나누어진 상기 디지털 신호1,2를 주파수영역의 신호1,2로 변환한다. 주파수 크기측정1,2(508,528)는 상기 변환된 주파수영역의 신호1,2의 전체적인 크기1,2(magnitude)를 계산하고, 저주파수 대역 통과필터1,2(510,530)는 상기 주파수영역의 신호1,2에서 위상차이가 발생하지 않는 주파수 대역인 저주파수 대역을 차단주파수를 기준으로 통과시켜 상기 신호1,2를 각각 제곱을 하는데 이는 저주파수 대역에서 잡음을 제거하기 위한 스펙트럼의 에너지를 구하려고 하기 때문이다. 상기 스펙트럼의 에너지는 하기 <수학식 3>과 같이 구한다.
<수학식 3>
Figure 112007019564781-pat00003
Figure 112007019564781-pat00004
Figure 112007019564781-pat00005
Figure 112007019564781-pat00006
상기 <수학식 3>에서 CH1은 마이크1(500)을 거쳐 주파수 영역으로 변환된 신호를 뜻하며, CH2는 마이크2(516)를 거쳐 주파수 영역으로 변환된 신호를 뜻한다. Cutoff는 위상차이가 발생하지 않는 FFT 포인트에서의 차단주파수를 의미하며 K는 상기 차단주파수 이상과 이하의 주파수들을 의미한다. 즉, 주파수가 차단주파수보다 크다면 상기 스펙트럼의 에너지를 구하지 않고 주파수가 차단주파수보다 작거나 같다면 상기 스펙트럼의 에너지를 구한다.
주파수 위상측정1,2(512,524)는 상기 변환된 주파수 영역의 신호1,2의 전체적인 위상1,2(phase)를 계산하고, 고주파수 대역 통과필터1,2(514,526)는 상기 주 파수영역의 신호1,2에서 위상차이가 발생하는 주파수 대역인 고주파수 대역을 차단주파수를 기준으로 통과시켜 하기 <수학식 4>와 같이 상기 고주파수 대역의 위상을 계산한다.
<수학식 4>
Figure 112007019564781-pat00007
Figure 112007019564781-pat00008
Figure 112007019564781-pat00009
Figure 112007019564781-pat00010
상기 <수학식 4>에서 CH1은 마이크1(500)을 거쳐 주파수 영역으로 변환된 신호를 뜻하며, CH2는 마이크2(516)를 거쳐 주파수 영역으로 변환된 신호를 뜻한다. Cutoff는 위상차이가 발생하는 FFT 포인트에서의 차단주파수를 의미하며 K는 상기 차단주파수 이상과 이하의 주파수들을 의미한다. 즉, 주파수가 차단주파수보다 크다면 위상을 계산하고 주파수가 차단주파수보다 작거나 같다면 상기 위상을 계산하지 않는다.
위상차 계산기(532)는 상기 주파수 위상측정1(514)에서 측정한 위상1과 상기 주파수 위상측정2(526)에서 측정한 위상2의 차이 값을 하기 <수학식 5>와 같이 계산한다.
<수학식 5>
Figure 112007019564781-pat00011
상기 위상차 계산기(532)는 상기 위상차 값을 위상 필터링1,2(534,536)에 전 달하며 상기 위상 필터링1,2(534,536))는 상기 위상차 값을 이용하여 상기 위상1과 상기 위상2의 위상이득을 하기 <수학식 6>과 같이 각각 계산한다.
<수학식 6>
Figure 112007019564781-pat00012
상기 <수학식 6>에서 PG(k)는 Phase Gain으로서 위상이득이고 PG(K)의 분모의 1은 분모가 0으로 분자를 나누는 것을 방지하기 위한 것이며, C는 위상이득의 강도를 정하는 상수이다. C값을 크게하면 위상이득이 강하게 적용되어 음성신호까지 왜곡시킬 수 있으며 반대로 C값을 작게하면 위상이득이 약하게 적용되어 잡음이 많이 남을 여지가 있다. 따라서 휴대용 단말기가 상기 C에 대하여 미리 저장되어 있는 값을 주변환경에 따라 정하여 사용한다.
그리고 상기 각각의 위상이득을 상기 잡음이 섞인 주파수영역의 신호1,2에 곱하면 잡음이 제거된 신호를 얻는데 이는 하기 <수학식 7>과 같다.
<수학식 7>
Figure 112007019564781-pat00013
상기 <수학식 7>에서 Y1(K), Y2(K)는 상기 주파수 영역의 신호1,2에서 잡음신호가 제거된 음성신호이다.
상기 주파수 크기측정1,2(510,530)에서 구해진 스펙트럼의 에너지1,2는 가산기1(538)에서 주파수별 전체 에너지(T)가 하기 <수학식 8>과 같이 더해진다.
<수학식 8>
Figure 112007019564781-pat00014
Figure 112007019564781-pat00015
이에, 감쇄이득을 구하기 위해 상기 전체 에너지(T)를 이용한 에너지 비 계산1,2(540,542)는 상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2에 대한 각각의 감쇄이득은 하기 <수학식 9>와 같이 계산한다.
<수학식 9>
Figure 112007019564781-pat00016
Figure 112007019564781-pat00017
Figure 112007019564781-pat00018
Figure 112007019564781-pat00019
상기 <수학식 9>의 MG1(K)와 MG2(K)는 0~1사이의 값을 갖게 되고 저주파수 대역의 잡음제거 감쇄이득으로 사용된다.
예를들어, 특정 주파수에서 한 쪽 마이크로 입력되는 신호의 에너지가 다른 쪽 마이크로 입력되는 신호의 에너지보다 크다면 잡음신호에 의해 에너지 증가가 일어난 것으로 볼 수 있다. 잡음에 의해 에너지 증가가 크게 일어난 마이크로 입력되는 신호의 MG(k)는 1에 가깝게 나타날 것이며 다른 쪽 마이크로 입력되는 신호는 0에 가깝게 나타날 것이기 때문에, 감쇄이득을 각 마이크로 입력되는 신호의 크기에 적용할 때 교차하여 적용하게 되면, 잡음이 많이 섞인 마이크로 입력되는 신호의 크기에 0에 가까운 감쇄이득이 곱해지기 때문에 잡음제거를 더 많이 적용하게 된다. 반대로 잡음이 적게 섞인 마이크로 입력되는 신호의 크기에는 1에 가까운 감쇄이득이 곱해지기 때문에 잡음제거가 적게 적용되게 된다.
따라서 크기 필터링1,2(544, 546)에서는 하기 <수학식 10>를 이용하여 마이크1로 입력되는 신호(CH1(k))에 감쇄이득2(MG2(k))를 적용하고, 마이크2로 입력되는 신호(CH2(k))에 감쇄이득1(MG1(k))를 교차적용하게 된다.
<수학식 10>
Figure 112007019564781-pat00020
Figure 112007019564781-pat00021
Figure 112007019564781-pat00022
Figure 112007019564781-pat00023
그리고 저주파수 대역에서는 스팩트럼의 에너지 차이를 이용하여 잡음을 제거하고 고주파수 대역에서는 위상차이를 이용하여 잡음을 제거한다. 역고속 푸리에 변환(Inverse Fast Fourier Transform; 이하 IFFT라 한다.)1,2(548,550) 상기 잡음이 제거된 상기 주파수 영역 신호1,2를 시간영역의 신호1,2로 변환하고 가산기2(552)는 상기 자음이 제거된 시간영역의 신호 1,2를 더하여 출력한다.
도 6은 본 발명의 바람직한 실시예에 따라 저주파수 대역과 고주파수 대역에서 잡음을 제거하는 흐름도이다.
상기 도 6을 참조하면, 600단계에서 휴대용 단말기에 내장된 두 개의 마이크(500,516)는 화자가 말하는 음성과 잡음을 입력받으며 상기 휴대용 단말기는 상기 음성과 상기 잡음인 아날로그 신호를 디지털 신호로 변환한다. 605단계에서 윈 도우윙(Windowing)(504,520)은 상기 디지털 신호를 상기 휴대용 단말기가 처리할 수 있도록 일정크기의 프레임단위로 나누며 610단계에서 FFT(506,522)는 상기 프레임 단위로 나눠진 디지털 신호를 주파수 영역의 신호1과 신호2로 변환한다. 615단계에서 상기 휴대용 단말기는 차단주파수를 정하고 상기 차단주파수 보다 큰 고주파수 대역 주파수라면 620단계로 진행하고 상기 차단주파수 보다 작거나 같은 저주파수 대역 주파수라면 635단계로 진행한다.
상기 620단계에서 위상차 계산기(532)는 상기 주파수 영역의 신호1과 신호2의 위상차 값을 계산하고 625단계에서 위상 필터링(534,536)은 상기 위상차 값을 이용하여 상기 신호1과 상기 신호2의 위상이득을 각각 계산하고 상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2에 곱하여 상기 저주파수 대역의 잡음을 제거한다. 630단계에서 IFFT(548,550)는 상기 잡음이 제거된 상기 저주파수 대역의 상기 주파수 영역의 신호 1과 상기 주파수 영역의 신호2를 시간영역의 신호로 각각 변환한다.
상기 635단계에서 에너지 비 계산기(540,542)는 상기 주파수 영역의 신호1과 신호2의 스펙트럼의 에너지 비를 계산하고 640단계에서 크기 필터링(544,546)은 상기 에너지 비를 이용하여 상기 신호1과 상기 신호2의 감쇄이득을 각각 계산하고 상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2에 적용하여 상기 고주파수 대역의 잡음을 제거한다. 645단계에서 IFFT(548,550)는 상기 잡음이 제거된 상기 고주파수 대역의 상기 주파수 영역의 신호 1과 상기 주파수 영역의 신호2를 시간영역의 신호로 각각 변환한다. 650단계에서 가산기2(552)는 상기 저주파수 대역의 잡음 이 제거된 신호와 상기 고주파수 대역의 잡음이 제거된 신호를 합산하고 655단계에서 휴대용 단말기는 잡음이 제거된 음성신호를 출력한다.
그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
본 발명은 휴대용 단말기의 마이크로 입력되는 음성과 잡음 중에서 잡음을 제거하는 것이 특징이다.
이와 같은 본 발명은 상기 마이크로 입력되는 음성과 잡음을 위상차와 스펙트럼의 에너지를 이용하여 음성에 대한 중요한 정보가 있는 저주파수 대역의 잡음을 제거하는 이점이 있다.

Claims (8)

  1. 음성신호에 섞인 잡음을 제거하는 방법에 있어서,
    서로 다른 두 마이크로 입력된 음성과 잡음을 주파수 영역의 신호1,2로 변환하고 상기 주파수 영역의 신호1,2에서 각각 전체적인 위상을 계산하고 차단 주파수를 기준으로 통과시켜 고주파수 대역의 위상을 계산하는 과정과,
    상기 주파수 영역의 신호1의 위상과 상기 주파수 영역의 신호2의 위상과의 위상차 값을 계산하여 위상이득을 계산하는 과정과,
    상기 계산된 위상이득을 상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2에 곱하여 잡음이 제거된 고주파수 대역의 음성신호를 구하고 고주파수 대역의 음성신호를 시간영역의 신호1,2로 변환하는 과정과,
    상기 서로 다른 두 마이크로 입력된 음성과 잡음을 주파수 영역의 신호1,2에서 각각 전체적인 크기를 계산하고 차단 주파수를 기준으로 통과시켜 저주파수 대역의 크기를 계산하여 스펙트럼의 에너지를 계산하는 과정과,
    상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2의 에너지를 더하여 전체 에너지를 계산하고, 상기 전체 에너지를 이용하여 상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2의 감쇄이득을 계산하는 과정과,
    상기 주파수 영역의 신호1의 감쇄이득을 상기 주파수 영역의 신호2에 곱하고 상기 주파수 영역의 신호2의 감쇄이득을 상기 주파수 영역의 신호1에 곱하여 잡음이 제거된 저주파수 대역의 음성신호를 구하고 저주파수 대역의 신호를 시간영역의 신호1,2로 변환하는 과정과,
    저주파수 대역의 시간영역 신호1,2와 고주파수 대역의 시간영역 신호1,2를 합산하여 출력하는 과정을 포함하는 것을 특징으로 하는 잡음제거 방법.
  2. 제1항에 있어서, 상기 차단주파수는,
    상기 두 마이크 사이의 거리에 따른 상기 주파수 영역의 신호1,2의 샘플링 처리에 따른 설정인 것을 특징으로 하는 잡음제거 방법.
  3. 제1항에 있어서, 상기 주파수 영역의 신호1,2의 상기 스펙트럼 전체에너지는,
    Figure 112007019564781-pat00024
    Figure 112007019564781-pat00025
    으로 계산되는 것을 특징으로 하는 잡음제거 방법.
  4. 제1항에 있어서, 상기 주파수 영역의 신호1,2의 상기 감쇄이득은,
    Figure 112007019564781-pat00026
    Figure 112007019564781-pat00027
    Figure 112007019564781-pat00028
    Figure 112007019564781-pat00029
    으로 계산되는 것을 특징으로 하는 잡음제거 방법.
  5. 음성신호에 섞인 잡음을 제거하는 장치에 있어서,
    화자의 음성과 잡음이 섞여 입력되는 두개의 마이크와
    상기 화자의 음성과 잡음이 섞여 입력되는 아날로그 신호1,2를 디지털 신호1,2로 변환시키는 ADC(Analog Digital Converter)1,2와,
    상기 디지털 신호1,2를 처리할 수 있게 일정크기의 프레임단위로 나누는 윈도우윙1,2와,
    상기 프레임단위로 나누어진 상기 디지털 신호1,2를 주파수영역의 신호1,2로 변환하는 FFT(Fast Fourier Transform)1,2와,
    상기 변환된 주파수영역의 신호1,2의 전체적인 크기1,2(magnitude)를 계산하는 주파수 크기측정1,2와,
    상기 주파수영역의 신호1,2에서 위상차이가 발생하지 않는 주파수 대역인 저주파수 대역을 차단주파수를 기준으로 통과시켜 상기 신호1,2를 각각 제곱하여 스펙트럼의 에너지1,2를 구하는 저주파수 대역 통과필터1,2와,
    상기 주파수 영역의 신호1,2의 전체적인 위상1,2(phase)를 계산하는 주파수 위상측정1,2와,
    상기 주파수영역의 신호1,2에서 위상차이가 발생하는 주파수 대역인 고주파수 대역을 차단주파수를 기준으로 통과시켜 고주파수 대역의 위상을 계산하는 고주파수 대역 통과필터1,2와,
    상기 위상1과 상기 위상2의 차이 값을 계산하는 위상차 계산기와,
    상기 위상차 값을 이용하여 상기 위상1과 상기 위상2의 위상이득을 각각 계산하여 고주파수 대역의 상기 잡음이 섞인 주파수영역의 신호1,2에 곱하여 잡음이 제거된 신호들을 계산하는 위상 필터링1,2와,
    상기 스펙트럼의 에너지1,2를 더하여 주파수별 전체 스펙트럼의 에너지를 계산하는 가산기1과,
    상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2에 대한 각각의 감쇄이득을 구하기 위해 상기 전체 에너지(T)를 이용하여 감쇄이득1,2를 계산하는 에너지 비 계산1,2와,
    상기 감쇄이득1을 상기 신호2에 곱하고 상기 감쇄이득2를 상기 신호1에 곱하여 잡음이 제거된 저주파수 대역의 음성신호를 구하는 크기 필터링1,2와,
    상기 잡음이 제거된 저주파수 대역의 음성신호를 구하고 시간영역의 신호1,2로 변환하는 IFFT(Inverse Fast Fourier Transform)1,2와,
    저주파수 대역의 시간영역 신호1,2와 고주파수 대역의 시간영역 신호1,2를 합산하여 출력하는 가산기2를 포함하는 것을 특징으로 하는 잡음제거 장치.
  6. 제5항에 있어서, 상기 차단주파수는,
    상기 두 마이크 사이의 거리에 따른 상기 주파수 영역의 신호1,2의 샘플링 처리에 따른 설정인 것을 특징으로 하는 잡음제거 장치.
  7. 제5항에 있어서, 상기 주파수 영역의 신호1,2의 상기 스펙트럼 전체에너지는,
    Figure 112007019564781-pat00030
    Figure 112007019564781-pat00031
    으로 계산되는 것을 특징으로 하는 잡음제거 장치.
  8. 제5항에 있어서, 상기 주파수 영역의 신호1,2의 상기 감쇄이득은,
    Figure 112007019564781-pat00032
    Figure 112007019564781-pat00033
    Figure 112007019564781-pat00034
    Figure 112007019564781-pat00035
    으로 계산되는 것을 특징으로 하는 잡음제거 장치.
KR1020070023705A 2007-03-09 2007-03-09 위상차이와 스펙트럼의 에너지를 이용한 잡음제거 방법 및장치 KR101340757B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070023705A KR101340757B1 (ko) 2007-03-09 2007-03-09 위상차이와 스펙트럼의 에너지를 이용한 잡음제거 방법 및장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070023705A KR101340757B1 (ko) 2007-03-09 2007-03-09 위상차이와 스펙트럼의 에너지를 이용한 잡음제거 방법 및장치

Publications (2)

Publication Number Publication Date
KR20080082857A KR20080082857A (ko) 2008-09-12
KR101340757B1 true KR101340757B1 (ko) 2014-01-02

Family

ID=40021992

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070023705A KR101340757B1 (ko) 2007-03-09 2007-03-09 위상차이와 스펙트럼의 에너지를 이용한 잡음제거 방법 및장치

Country Status (1)

Country Link
KR (1) KR101340757B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156339A1 (ko) * 2018-02-12 2019-08-15 삼성전자 주식회사 오디오 신호의 주파수의 변화에 따른 위상 변화율에 기반하여 노이즈가 감쇠된 오디오 신호를 생성하는 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2449298C1 (ru) * 2010-12-23 2012-04-27 ОАО "Концерн "Океанприбор" Способ определения энергии помехи
CN113689875B (zh) * 2021-08-25 2024-02-06 湖南芯海聆半导体有限公司 一种面向数字助听器的双麦克风语音增强方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003258657A (ja) 2002-03-01 2003-09-12 Sharp Corp 位相雑音除去回路と位相雑音除去装置および高周波通信システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003258657A (ja) 2002-03-01 2003-09-12 Sharp Corp 位相雑音除去回路と位相雑音除去装置および高周波通信システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156339A1 (ko) * 2018-02-12 2019-08-15 삼성전자 주식회사 오디오 신호의 주파수의 변화에 따른 위상 변화율에 기반하여 노이즈가 감쇠된 오디오 신호를 생성하는 장치 및 방법
US11222646B2 (en) 2018-02-12 2022-01-11 Samsung Electronics Co., Ltd. Apparatus and method for generating audio signal with noise attenuated based on phase change rate

Also Published As

Publication number Publication date
KR20080082857A (ko) 2008-09-12

Similar Documents

Publication Publication Date Title
US8520859B2 (en) System for comfort noise injection
US8015002B2 (en) Dynamic noise reduction using linear model fitting
JP4423300B2 (ja) 雑音抑圧装置
EP2008379B1 (en) Adjustable noise suppression system
JP5453740B2 (ja) 音声強調装置
US8989403B2 (en) Noise suppression device
CN104067339B (zh) 噪音抑制装置
JP4836720B2 (ja) ノイズサプレス装置
US8391471B2 (en) Echo suppressing apparatus, echo suppressing system, echo suppressing method and recording medium
US20070255560A1 (en) Low complexity noise reduction method
US7917359B2 (en) Noise suppressor for removing irregular noise
KR101182017B1 (ko) 휴대 단말기에서 복수의 마이크들로 입력된 신호들의잡음을 제거하는 방법 및 장치
US9418677B2 (en) Noise suppressing device, noise suppressing method, and a non-transitory computer-readable recording medium storing noise suppressing program
KR101340757B1 (ko) 위상차이와 스펙트럼의 에너지를 이용한 잡음제거 방법 및장치
JP2009296298A (ja) 音声信号処理装置および方法
US20140376743A1 (en) Sound field spatial stabilizer with structured noise compensation
JP2005284163A (ja) 雑音スペクトル推定方法、雑音抑圧方法および雑音抑圧装置
KR20040014688A (ko) 음성통신 단말기의 잡음제거장치 및 그 방법
JP2010026323A (ja) 話速検出装置
KR20160000680A (ko) 광대역 보코더용 휴대폰 명료도 향상장치와 이를 이용한 음성출력장치
EP2816817B1 (en) Sound field spatial stabilizer with spectral coherence compensation
JP5036283B2 (ja) オートゲインコントロール装置、音響信号記録装置、映像・音響信号記録装置および通話装置
EP2816816B1 (en) Sound field spatial stabilizer with structured noise compensation
Abreu et al. Impact of the linear phase variations on the voice quality index
JP5018427B2 (ja) ノイズリダクション装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee