KR101340757B1 - Method and apparatus for removing noise using phase difference and spectrum energy - Google Patents

Method and apparatus for removing noise using phase difference and spectrum energy Download PDF

Info

Publication number
KR101340757B1
KR101340757B1 KR1020070023705A KR20070023705A KR101340757B1 KR 101340757 B1 KR101340757 B1 KR 101340757B1 KR 1020070023705 A KR1020070023705 A KR 1020070023705A KR 20070023705 A KR20070023705 A KR 20070023705A KR 101340757 B1 KR101340757 B1 KR 101340757B1
Authority
KR
South Korea
Prior art keywords
signal
signals
noise
phase
frequency domain
Prior art date
Application number
KR1020070023705A
Other languages
Korean (ko)
Other versions
KR20080082857A (en
Inventor
손백권
강상기
전재진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070023705A priority Critical patent/KR101340757B1/en
Publication of KR20080082857A publication Critical patent/KR20080082857A/en
Application granted granted Critical
Publication of KR101340757B1 publication Critical patent/KR101340757B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders

Abstract

본 발명은 음성과 잡음이 섞여 입력되면 잡음을 제거하는 방법 및 장치를 제공한다.

두 개 마이크로 입력되는 음성과 잡음이 섞인 신호의 위상차 정보를 사용한 잡음제거로서 고주파수 대역은 위상차를 이용하여 잡음을 제거하고 저주파수 대역은 스펙트럼의 에너지를 이용한 잡음을 제거함으로서 상기 두 개 마이크로 입력되는 상기 신호에서 상기 잡음을 제거하는 방법 및 장치를 제공한다.

Figure R1020070023705

위상차, 스펙트럼, 주파수, Phase, Magnitude, FFT, IFFT

The present invention provides a method and apparatus for removing noise when a mixture of voice and noise is input.

Noise cancellation using phase difference information of a signal mixed with voice and noise input into two microphones, wherein the high frequency band removes noise using a phase difference and the low frequency band removes noise using energy of a spectrum. The present invention provides a method and apparatus for removing the noise.

Figure R1020070023705

Phase Difference, Spectrum, Frequency, Phase, Magnitude, FFT, IFFT

Description

위상차이와 스펙트럼의 에너지를 이용한 잡음제거 방법 및 장치{Method and apparatus for removing noise using phase difference and spectrum energy}Method and apparatus for removing noise using phase difference and spectrum energy {Method and apparatus for removing noise using phase difference and spectrum energy}

도 1은 종래기술에 따른 마이크로 입력되는 잡음과 음성이 혼합된 신호를 나타낸 그래프1 is a graph showing a signal mixed with noise and voice input to the microphone according to the prior art

도 2는 종래기술에 따른 위상차이를 이용하여 잡음을 제거하는 블록도2 is a block diagram of removing noise by using a phase difference according to the related art.

도 3은 종래기술에 따른 마이크로 입력되는 잡음과 음성이 혼합된 신호에서 잡음을 제거하는 흐름도3 is a flowchart for removing noise from a signal mixed with a microphone and a noise input according to the related art.

도 4는 본 발명의 바람직한 실시예에 따라 마이크로 입력되는 잡음과 음성이 혼합된 신호를 나타낸 그래프4 is a graph showing a signal mixed with noise and voice input into a microphone according to a preferred embodiment of the present invention

도 5는 본 발명의 바람직한 실시예에 따른 저주파수 대역과 고주파수 대역에서 잡음을 제거하는 블록도5 is a block diagram for removing noise in a low frequency band and a high frequency band according to a preferred embodiment of the present invention.

도 6은 본 발명의 바람직한 실시예에 따라 저주파수 대역과 고주파수 대역에서 잡음을 제거하는 흐름도6 is a flowchart for removing noise in a low frequency band and a high frequency band according to a preferred embodiment of the present invention.

본 발명은 음성과 잡음이 섞인 신호에서 상기 잡음을 제거하는 방법 및 장치에 관한 것으로, 휴대용 단말기로 입력되는 상기 신호에서 저주파수과 고주파수 대역으로 나누어 각각의 잡음신호를 제거하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for removing the noise from a signal mixed with voice and noise, and a method and apparatus for removing each noise signal divided into a low frequency and a high frequency band from the signal input to the portable terminal.

휴대용 단말기를 이용하는 화자의 음성은 상기 휴대용 단말기의 마이크로 입력되어 전기적인 음성신호로 변환되고 통화중인 상대방에게 전달되는 데, 이때 주변의 잡음도 같이 전달된다.The voice of the speaker using the portable terminal is input into the microphone of the portable terminal, converted into an electrical voice signal, and transmitted to the other party on the call.

또한, 상기 휴대용 단말기에서 상대방과 화상통화 및 상기 휴대용 단말기의 음성인식을 사용하려면 상대방과 얼굴을 보며 통화해야 하므로 화자는 상기 휴대용 단말기의 마이크에서 멀어지고 상기 화자가 상대방과 통화하려고 상기 마이크를 가까이 하면 상대방과 얼굴을 보며 통화할 수가 없다.In addition, in order to use the video call with the other party and the voice recognition of the portable terminal in the portable terminal, the caller needs to talk face to face with the other party. I can't talk face to face with the other person.

즉, 화상통화를 하기 위해서는 휴대용 단말기 화면에서 상대방 얼굴을 보면서 통화를 해야 하고 상기 휴대용 단말기에서 음성인식 응용 프로그램을 이용하기 위해서도 상기 휴대용 단말기 화면창의 메뉴를 보면서 사용해야 하기 때문에 상기 휴대용 단말기의 마이크와 화자의 입은 거리가 멀어지게 된다. 상기 휴대용 단말기를 화자의 얼굴에 가까이 붙여 말을 할 때에는 상기 휴대용 단말기의 마이크와 화자의 입은 거리가 가깝기 때문에 상기 화자의 음성이 크게 입력되어 잡음의 영향을 덜 받게 된다. 상기 화자의 입과 상기 휴대용 단말기의 마이크가 거리가 멀어질수록 음성감도가 떨어지게 되며 잡음이 상기 화자의 음성신호와 비슷하게 입력되기 때문에 상기 음성신호의 음질이 저하되어 화상통화 시 내용전달이 어려워지고, 상기 화자의 음성인식이 불분명해져 상기 음성인식에 대한 오류를 초래하게 된다. That is, in order to make a video call, the user must make a call while looking at the other party's face on the screen of the portable terminal, and in order to use a voice recognition application on the portable terminal, the user must use the menu of the screen window of the portable terminal. The mouth is far away. When speaking with the portable terminal close to the speaker's face, the distance between the microphone of the portable terminal and the speaker's mouth is close, so that the speaker's voice is greatly input and is less affected by noise. As the distance between the speaker's mouth and the microphone of the portable terminal increases, the voice sensitivity decreases, and noise is inputted similarly to the speaker's voice signal, so that the sound quality of the voice signal is degraded, making content transmission difficult during a video call. The speech recognition of the speaker becomes unclear, resulting in an error of the speech recognition.

따라서 휴대용 단말기에서 잡음신호를 제거하는 것으로는 상기 휴대용 단말기에 내장된 두개의 마이크로 입력되는 상기 음성신호와 상기 잡음신호와의 위상차이로 인한 지연정보를 이용한다. 예를들어, 상기 두개 마이크의 정면에서 입력된 각각의 음성신호는 위상이 동일하지만 주변에서 입력된 잡음신호와는 위상차이가 발생한다. 이는 상기 두개의 마이크 간격과 상기 음성신호 및 상기 잡음신호가 입력되는 각도에 따라 입력되는 상기 음성신호와 상기 잡음신호사이에서 시간지연이 발생하기 때문이다. Therefore, the noise signal is removed from the portable terminal by using delay information due to the phase difference between the voice signal and the noise signal input to the two microphones built in the portable terminal. For example, each voice signal input from the front of the two microphones is the same phase, but the phase difference with the noise signal input from the peripheral. This is because a time delay occurs between the voice signal and the noise signal input according to the two microphone intervals and the angle at which the voice signal and the noise signal are input.

상기 두개 마이크의 정면에서 입력되는 화자의 음성신호는 시간지연이 없기 때문에 위상차이가 발생하지 않지만 여러 방향에서 입력되는 잡음신호는 상기 음성신호와 위상차이가 발생하게 된다. 상기 위상차이는 상기 잡음신호에 의해 발생된 것으로 볼 수 있기 때문에 상기 위상차이는 잡음의 유무 및 정도를 나타내는 척도로 사용할 수 있다. 상기 위상차이가 많이 발생한 주파수에서는 잡음이 심한 경우이므로 잡음제거 정도를 강하게 하고 위상차이가 작게 발생한 주파수에서는 잡음이 약한 경우이므로 잡음제거 정도를 약하게 하여 잡음을 제거한다.Since the voice signal of the speaker input from the front of the two microphones does not have time delay, the phase difference does not occur, but the noise signal input from various directions generates the phase difference from the voice signal. Since the phase difference may be regarded as being generated by the noise signal, the phase difference may be used as a measure of the presence and degree of noise. Since the noise is severe at the frequency where the phase difference is high, the noise cancellation degree is increased. At the frequency where the phase difference is small, the noise is weak, so the noise removal degree is weakened to remove the noise.

도 1은 종래기술에 따른 마이크로 입력되는 잡음과 음성이 혼합된 신호를 나타낸 그래프이다.1 is a graph showing a signal mixed with a noise and a voice input as a microphone according to the prior art.

상기 도 1을 참조하면, 실선은 마이크1로 입력되는 음성과 잡음의 신호1을 나타내며, 점선은 마이크2로 입력되는 음성과 잡음의 신호2를 나타낸다.Referring to FIG. 1, the solid line represents the signal 1 of the voice and noise input to the microphone 1, and the dotted line represents the signal 2 of the voice and noise input to the microphone 2.

가로축은 FFT 포인트 값으로, 마이크1과 마이크2로 입력되는 각각의 신호에 대해 256 FFT 처리를 하면 256 포인트의 주파수 값이 나오는데 현재의 그래프에서 는 1~128 포인트의 주파수 값을 나타낸다. The horizontal axis is the FFT point value. When 256 FFT processing is performed for each signal input to microphone 1 and microphone 2, the frequency value of 256 points is displayed. In the current graph, the frequency value of 1 to 128 points is represented.

세로축은 상기 가로축의 각 주파수에서의 위상을 나타내며 상기 256 FFT 처리를 하면 실수값과 허수값을 구하는데 하기 <수학식 1>과 같은 식으로 상기 각 주파수에서의 위상을 구한다.The vertical axis represents the phase at each frequency of the horizontal axis, and when the 256 FFT process is performed, the real value and the imaginary value are obtained. The phase at each frequency is obtained as shown in Equation 1 below.

<수학식 1>&Quot; (1) &quot;

Figure 112007019564781-pat00001
Figure 112007019564781-pat00001

예를들어, 256 FFT 처리를 한다면, 상기 <수학식 1>에서 N은 256이고 k는 주파수 포인트이다. X(k)는 상기 256 FFT 처리의 결과이며 Im(X(k))는 X(k)의 허수부분을, Re(X(k))는 X(k)의 실수부분이다.For example, if 256 FFT processing is performed, in Equation 1, N is 256 and k is a frequency point. X (k) is the result of the 256 FFT process and Im (X (k)) is the imaginary part of X (k), and Re (X (k)) is the real part of X (k).

상기 가로축의 FFT 25포인트 까지는 상기 마이크1과 상기 마이크2로 입력되는 신호의 위상이 일치하지만 25포인트 이후부터는 위상차이가 발생한다. 이 때문에 상기 마이크1과 상기 마이크2로 입력되는 상기 신호1과 상기 신호2에 섞인 잡음신호에 의해 발생한 위상차를 이용하여 상기 잡음신호를 제거한다. 그러나 25포인트 이하에서는 위상차가 발생하지 않는데 이는 25포인트 이하 저주파수 대역에 잡음신호가 존재하지 않는 것이 아니라, 저주파수 대역의 신호는 파장이 길어 위상차가 거의 발생하지 않기 때문이다.The phases of the signals input to the microphone 1 and the microphone 2 coincide with up to 25 FFT points on the horizontal axis, but a phase difference occurs after 25 points. For this reason, the noise signal is removed using the phase difference generated by the noise signal mixed with the signal 1 and the signal 2 input to the microphone 1 and the microphone 2. However, the phase difference does not occur at 25 points or less because the noise signal does not exist in the low frequency band below 25 points, but the signal in the low frequency band has a long wavelength and hardly causes a phase difference.

도 2는 종래기술에 따른 위상차이를 이용하여 잡음을 제거하는 블록도이다.2 is a block diagram of removing noise by using a phase difference according to the related art.

상기 도 2를 참조하면, 휴대용 단말기의 마이크1(200)에는 화자의 음성과 잡음이 섞여 입력되며 아날로그 디지털 컨버터(Analog Digital Converter; 이하 ADC 라 한다.)1(205)은 상기 화자의 음성과 잡음이 섞인 아날로그 신호1을 디지털 신호1로 변환시킨다. 윈도우윙(Windowing)1(210)은 상기 디지털 신호1을 상기 휴대용 단말기가 처리할 수 있도록 일정크기의 프레임단위로 나누며 고속 푸리에변환(Fast Fourier Transform; 이하 FFT라 한다.)1(215)은 프레임단위로 나누어진 상기 디지털 신호1을 주파수영역의 신호1로 변환한다. 주파수 크기측정1(220)은 상기 변환된 주파수영역의 신호1의 크기1(magnitude)을 계산하고, 주파수 위상측정1(225)은 상기 변환된 주파수 영역의 신호1의 위상1(phase)을 계산한다.Referring to FIG. 2, the microphone 1 200 of the portable terminal is mixed with the speaker's voice and noise, and an analog digital converter (hereinafter, referred to as an ADC) 1 205 is the speaker's voice and noise. The mixed analog signal 1 is converted into a digital signal 1. Windowing 1 210 divides the digital signal 1 into frame units of a predetermined size so that the portable terminal can process the fast Fourier transform (FFT). The digital signal 1 divided into units is converted into a signal 1 of a frequency domain. Frequency magnitude measurement 1 (220) calculates magnitude 1 (magnitude) of signal 1 of the transformed frequency domain, and frequency phase measurement 1 (225) calculates phase 1 (phase) of signal 1 of the converted frequency domain. do.

마이크2(230)에도 상기 화자의 음성과 상기 잡음이 섞여 입력되며 ADC2(235)는 상기 화자의 음성과 잡음이 섞인 아날로그 신호2를 디지털 신호2로 변환시킨다. 윈도우윙(Windowing)2(240)은 상기 디지털 신호2를 상기 휴대용 단말기가 처리할 수 있도록 일정크기의 프레임단위로 나누며 FFT2(245)는 프레임단위로 나누어진 상기 디지털 신호2를 주파수영역의 신호2로 변환한다. 주파수 크기측정2(255)는 상기 변환된 주파수영역의 신호2의 크기2(magnitude)를 계산하고, 주파수 위상측정2(250)는 상기 변환된 주파수 영역의 신호2의 위상2(phase)를 계산한다. The voice of the speaker and the noise are also input to the microphone 2 230, and the ADC2 235 converts the analog signal 2 of the speaker and the noise into a digital signal 2. Windowing 2 240 divides the digital signal 2 into frame units of a predetermined size so that the portable terminal can process it. FFT2 245 divides the digital signal 2 divided into frame units into a signal in the frequency domain. Convert to Frequency magnitude measurement 2 255 calculates magnitude 2 of the signal 2 in the transformed frequency domain, and frequency phase measurement 2 250 calculates phase 2 of signal 2 in the converted frequency domain. do.

위상차 계산기(260)는 상기 주파수 위상측정1(225)에서 측정한 위상1과 상기 주파수 위상측정2(250)에서 측정한 위상2의 차이를 계산한 위상차 값을 위상 필터링1(265)과 위상 필터링2(270)에 전달한다. 상기 위상 필터링1(265)과 상기 위상 필터링2(270)는 상기 위상차 값을 이용하여 상기 위상1과 상기 위상2의 위상이득을 각각 계산하고 상기 각각의 위상이득을 상기 크기1과 크기2에 곱하여 잡음을 제거한다. The phase difference calculator 260 calculates a phase difference value obtained by calculating a difference between phase 1 measured in the frequency phase measurement 1 225 and phase 2 measured in the frequency phase measurement 2 250, and phase filtering 1 265 and phase filtering. Pass to 2 (270). The phase filtering 1 265 and the phase filtering 2 270 calculate the phase gains of the phase 1 and the phase 2 using the phase difference values, and multiply each of the phase gains by the magnitude 1 and the magnitude 2. Remove the noise.

역 고속 푸리에 변환(Inverse Fast Fourier Transform; 이하 IFFT라 한다.)(275)은 상기 잡음이 제거된 상기 주파수 영역 신호1을 시간영역의 신호1로 변환하고 IFFT(280)는 상기 잡음이 제거된 상기 주파수 영역의 신호2를 시간영역의 신호2로 변환한다.An Inverse Fast Fourier Transform (IFFT) 275 converts the noise-removed frequency domain signal 1 to a time-domain signal 1 and the IFFT 280 removes the noise. The signal 2 in the frequency domain is converted into the signal 2 in the time domain.

가산기(285)는 상기 시간영역의 신호1과 상기 시간영역의 신호2를 합산하여 출력하는데 필요에 따라서 상기 두 가지 중 하나의 신호만 사용할 수 도 있다.The adder 285 may use only one of the two signals as necessary to sum and output the signal 1 of the time domain and the signal 2 of the time domain.

도 3은 종래기술에 따른 마이크로 입력되는 음성과 잡음이 혼합된 신호에서 잡음을 제거하는 흐름도이다.3 is a flowchart of removing noise from a signal mixed with voice and noise input into a microphone according to the prior art.

300단계에서 휴대용 단말기에 내장된 두 개의 마이크(100,130)는 화자가 말하는 음성과 잡음을 입력받으며 상기 휴대용 단말기는 상기 음성과 상기 잡음인 아날로그 신호를 디지털 신호로 변환한다. 310단계에서 윈도우윙(Windowing)(110,140)은 상기 디지털 신호를 상기 휴대용 단말기가 처리할 수 있도록 일정크기의 프레임단위로 나누며 320단계에서 FFT(115,145)는 상기 프레임 단위로 나눠진 디지털 신호를 주파수 영역의 신호1과 신호2로 변환한다. 330단계에서 위상차 계산기(160)는 상기 주파수 영역의 신호1과 신호2의 위상차 값을 계산하고, 340단계에서 위상 필터링(165,170)은 상기 위상차 값을 이용하여 상기 신호1과 상기 신호2의 위상이득을 각각 계산하여 상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2에 적용하여 잡음을 제거한다. 350단계에서 IFFT(175,180)는 상기 잡음이 제거된 상기 주파수 영역의 신호 1과 상기 주파수 영역의 신호2를 시간영역의 신호로 각각 변환하고 360단계에서 상기 휴대용 단말기는 잡음이 제거된 상기 시간 영역의 신호를 출력한다.In operation 300, the two microphones 100 and 130 embedded in the portable terminal receive voice and noise spoken by the speaker, and the portable terminal converts the analog signal, which is the voice and the noise, into a digital signal. In step 310, the windowing (110, 140) divides the digital signal into frame units of a predetermined size so that the portable terminal can process. In step 320, the FFT (115, 145) divides the digital signal divided into the frame unit of the frequency domain. Converts to signal 1 and signal 2. In step 330, the phase difference calculator 160 calculates a phase difference value between the signal 1 and the signal 2 in the frequency domain, and in step 340, the phase filtering 165 and 170 use the phase difference value to obtain the phase gain of the signal 1 and the signal 2. Are respectively calculated and applied to signal 1 in the frequency domain and signal 2 in the frequency domain to remove noise. In step 350, the IFFTs 175 and 180 convert the signal 1 in the frequency domain from which the noise is removed and the signal 2 in the frequency domain into signals in the time domain, respectively. Output the signal.

즉, 위상차를 이용하여 마이크1과 마이크2로 입력되는 신호에서 잡음을 제거할 경우, 고주파수 대역에서는 어느 정도 위상차가 발생하여 잡음을 제거하더라도 잡음에 위상차이가 발생하지 않는 저주파수 대역은 여전히 잡음이 남아있게 된다. That is, when the noise is removed from the signal input to the microphone 1 and the microphone 2 by using the phase difference, even if the phase difference occurs to some extent in the high frequency band, the noise remains in the low frequency band where the phase difference does not occur. Will be.

음성신호와 합산된 잡음신호를 제거하는 것에 있어서 음성신호는 저주파수 대역에 중요한 정보를 가지고 있기 때문에 고주파수 대역의 잡음만 제거된 신호를 가지고는 화상통화 시 음질이 여전히 저하되며 음성인식을 사용해도 인식오류가 많이 발생하게 된다. In removing the noise signal summed with the voice signal, since the voice signal has important information in the low frequency band, the sound quality is still degraded during the video call with only the noise of the high frequency band removed. Will occur a lot.

따라서 본 발명의 목적은 음성과 같이 마이크를 통해 입력되는 잡음을 고주파수 대역과 저주파수 대역으로 나누어 제거하는 방법 및 장치를 제공한다.Accordingly, an object of the present invention is to provide a method and apparatus for dividing a noise input through a microphone, such as a voice, into a high frequency band and a low frequency band.

본 발명의 바람직한 실시예는, 음성신호에 섞인 잡음을 제거하는 방법으로서,A preferred embodiment of the present invention is a method for removing noise mixed in a voice signal.

서로 다른 두 마이크로 입력된 음성과 잡음을 주파수 영역의 신호1,2로 변환하고 상기 신호1,2에서 각각 전체적인 위상을 계산하고 고주파수 대역을 뽑아내어 상기 고주파수 대역의 위상을 계산하는 과정과,Converting two different microphone input voices and noises into signals 1 and 2 in the frequency domain, calculating an overall phase from the signals 1 and 2 and extracting a high frequency band to calculate a phase of the high frequency band;

상기 신호1의 위상과 상기 신호2의 위상과의 위상차 값을 계산하여 위상이득을 계산하는 과정과,Calculating a phase gain by calculating a phase difference value between a phase of the signal 1 and a phase of the signal 2;

상기 계산된 위상이득을 상기 신호1과 상기 신호2에 곱하여 잡음이 제거된 저주파수 대역의 음성신호를 구하고 시간영역의 신호1,2로 변환하는 과정과,Multiplying the calculated phase gain by the signal 1 and the signal 2 to obtain a low frequency band speech signal from which noise is removed and converting the signal into a signal 1 and 2 in a time domain;

상기 신호1,2에서 각각 전체적인 크기를 계산하고 저주파수 대역을 뽑아내어 상기 저주파수 대역의 크기를 계산하여 스펙트럼의 에너지를 계산하는 과정과,Calculating an energy of a spectrum by calculating an overall magnitude from the signals 1 and 2, extracting a low frequency band, and calculating a magnitude of the low frequency band;

상기 신호1과 상기 신호2의 에너지를 더하여 전체 에너지를 계산하고, 상기 전체 에너지를 이용하여 상기 신호1과 상기 신호2의 감쇄이득을 계산하는 과정과,Calculating the total energy by adding the energy of the signal 1 and the signal 2, and calculating the attenuation gain of the signal 1 and the signal 2 using the total energy;

상기 신호1의 감쇄이득을 상기 신호2에 곱하고 상기 신호2의 감쇄이득을 상기 신호1에 곱하여 잡음이 제거된 저주파수 대역의 음성신호를 구하고 시간영역의 신호1,2로 변환하는 과정과,Multiplying the attenuation gain of the signal 1 by the signal 2 and multiplying the attenuation gain of the signal 2 by the signal 1 to obtain a low frequency band speech signal from which noise is removed and converting the signal into a signal 1 and 2 in the time domain;

상기 저주파수 대역의 시간영역 신호1,2와 상기 고주파수 대역의 시간영역 신호1,2를 합산하여 출력하는 과정을 포함하는 것이다.And adding the time domain signals 1 and 2 of the low frequency band and the time domain signals 1 and 2 of the high frequency band.

본 발명의 장치는, 음성신호에 섞인 잡음을 제거하는 장치로서,The device of the present invention is a device for removing noise mixed in an audio signal,

화자의 음성과 잡음이 섞여 입력되는 두개의 마이크와Two microphones that mix the speaker's voice and noise

상기 화자의 음성과 잡음이 섞여 입력되는 아날로그 신호1,2를 디지털 신호1,2로 변환시키는 ADC(Analog Digital Converter)1,2와,ADC (Analog Digital Converter) 1, 2 for converting the analog signal 1, 2 inputted by mixing the speaker's voice and noise into digital signals 1, 2,

상기 디지털 신호1,2를 처리할 수 있게 일정크기의 프레임단위로 나누는 윈도우윙1,2와,Window wings 1 and 2 which divide the digital signals 1 and 2 into frame units of a predetermined size so as to be processed;

상기 프레임단위로 나누어진 상기 디지털 신호1,2를 주파수영역의 신호1,2로 변환하는 FFT(Fast Fourier Transform)1,2와,Fast Fourier Transform (FFT) 1, 2 for converting the digital signals 1, 2 divided into frame units into signals 1, 2 of the frequency domain;

상기 변환된 주파수영역의 신호1,2의 전체적인 크기1,2(magnitude)를 계산하는 주파수 크기측정1,2와,Frequency magnitude measurements 1 and 2 for calculating magnitudes 1 and 2 (magnitude) of the signals 1 and 2 of the converted frequency domain;

상기 주파수영역의 신호1,2에서 위상차이가 발생하지 않는 주파수 대역인 저주파수 대역을 차단주파수를 기준으로 통과시켜 상기 신호1,2를 각각 제곱하여 스펙트럼의 에너지1,2를 구하는 저주파수 대역 통과필터1,2와,A low frequency band pass filter 1 through which a low frequency band, which is a frequency band in which phase difference does not occur in the signals 1 and 2 of the frequency domain, is passed based on a cutoff frequency and squares the signals 1 and 2 to obtain energy 1 and 2 of a spectrum, respectively. 2,

상기 주파수 영역의 신호1,2의 전체적인 위상1,2(phase)를 계산하는 주파수 위상측정1,2와,Frequency phase measurement 1,2 for calculating the overall phase 1,2 of the signals 1,2 in the frequency domain;

상기 주파수영역의 신호1,2에서 위상차이가 발생하는 주파수 대역인 고주파수 대역을 차단주파수를 기준으로 통과시켜 상기 고주파수 대역의 위상을 계산하는 고주파수 대역 통과필터1,2와,A high frequency band pass filter 1 and 2 for calculating a phase of the high frequency band by passing a high frequency band that is a frequency band where a phase difference occurs in the signals 1 and 2 in the frequency domain based on a cutoff frequency;

상기 위상1과 상기 위상2의 차이 값을 계산하는 위상차 계산기와,A phase difference calculator for calculating a difference value between the phase 1 and the phase 2;

상기 위상차 값을 이용하여 상기 위상1과 상기 위상2의 위상이득을 각각 계산하여 고주파수 대역의 상기 잡음이 섞인 주파수영역의 신호1,2에 곱하여 잡음이 제거된 신호들을 계산하는 위상 필터링1,2와,Phase filtering 1, 2 for calculating the noise-removed signals by calculating the phase gains of the phase 1 and the phase 2 by using the phase difference values and multiplying the signals 1, 2 of the noise-frequency region of the high frequency band by ,

상기 스펙트럼의 에너지1,2를 더하여 주파수별 전체 스펙트럼의 에너지를 계산하는 가산기1과,An adder 1 for calculating the energy of the entire spectrum for each frequency by adding the energy 1 and 2 of the spectrum;

상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2에 대한 각각의 감쇄이득을 구하기 위해 상기 전체 에너지(T)를 이용하여 감쇄이득1,2를 계산하는 에너지 비 계산1,2와,Energy ratio calculations 1 and 2 for calculating attenuation gains 1 and 2 using the total energy T to obtain respective attenuation gains for the signal 1 in the frequency domain and the signal 2 in the frequency domain;

상기 감쇄이득1을 상기 신호2에 곱하고 상기 감쇄이득2를 상기 신호1에 곱하여 잡음이 제거된 음성신호를 구하는 크기 필터링1,2와,Magnitude filtering 1, 2 which multiplies the attenuation gain 1 by the signal 2 and multiplies the attenuation gain 2 by the signal 1 to obtain a noise-free speech signal;

상기 잡음이 제거된 저주파수 대역의 음성신호를 구하고 시간영역의 신호1,2 로 변환하는 IFFT(Inverse Fast Fourier Transform)1,2와,Inverse Fast Fourier Transform (IFFT) 1, 2 which obtains the voice signal of the low frequency band from which the noise is removed and converts the signal into time signals 1 and 2;

상기 저주파수 대역의 시간영역 신호1,2와 상기 고주파수 대역의 시간영역 신호1,2를 합산하여 출력하는 가산기2를 포함하는 것이다.And an adder 2 that sums and outputs the time domain signals 1 and 2 of the low frequency band and the time domain signals 1 and 2 of the high frequency band.

이하 본 발명의 바람직한 실시예들을 첨부한 도면을 참조하여 상세히 설명한다. 또한 본 발명의 요지를 흐릴 수 있는 공지기능 및 구성에 대한 상세한 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention.

본 발명의 주요한 요지는 고주파수 대역에서는 위상차이를 이용하고 저주파수 대역에서는 스펙트럼 에너지 차이를 이용하여 잡음을 제거하는ㅇ방법 및 장치를 제공하는 것이다.The main subject of the present invention is to provide a method and apparatus for removing noise by using a phase difference in a high frequency band and a spectral energy difference in a low frequency band.

도 4는 본 발명의 바람직한 실시예에 따라 마이크로 입력되는 잡음과 음성이 혼합된 신호를 나타낸 그래프이다.4 is a graph showing a signal mixed with noise and voice input into a microphone according to a preferred embodiment of the present invention.

상기 도 4를 참조하면, 실선은 마이크1로 입력되는 음성과 잡음의 신호1을 나타내며, 점선은 마이크2로 입력되는 음성과 잡음의 신호2를 나타낸다.Referring to FIG. 4, the solid line represents the signal 1 of the voice and noise input to the microphone 1, and the dotted line represents the signal 2 of the voice and noise input to the microphone 2.

가로축은 FFT 포인트 값으로, 256 FFT 처리를 하면 256 포인트의 주파수 값이 나오는데 현재의 그래프에서는 1~256 포인트의 주파수중 128까지의 주파수 값을 나타내고, 세로축은 상기 가로축의 각 주파수에서의 에너지 를 나타낸다. 상기 에너지는 하기 <수학식 2>와 같은 식으로서 상기 각 주파수에서의 에너지 값을 구한다.The horizontal axis is the FFT point value, and 256 FFT processing results in 256 points of frequency value. The current graph shows the frequency value up to 128 of the frequencies of 1 to 256 points, and the vertical axis shows the energy at each frequency of the horizontal axis. . The energy is obtained as shown in Equation 2 below to obtain an energy value at each frequency.

<수학식 2>&Quot; (2) &quot;

Figure 112007019564781-pat00002
Figure 112007019564781-pat00002

예를들어, 256 FFT 처리를 한다면, 상기 <수학식 2>에서 N은 256이고 k는 주파수 포인트이다. X(k)는 상기 256 FFT 처리의 결과이며 Im(X(k))는 X(k)의 허수부분을, Re(X(k))는 X(k)의 실수부분이다.For example, if 256 FFT processing is performed, in Equation 2, N is 256 and k is a frequency point. X (k) is the result of the 256 FFT process and Im (X (k)) is the imaginary part of X (k), and Re (X (k)) is the real part of X (k).

상기 가로축의 FFT 25포인트 보다 큰 상기 마이크1과 상기 마이크2로 입력되는 신호의 스페트럼은 일치하지만 차단 주파수에 해당하는 25포인트 보다 작거나 같은 스펙트럼부터는 스펙트럼차이가 발생한다. 이 때문에 상기 마이크1과 상기 마이크2로 입력되는 상기 신호1과 상기 신호2에 섞인 잡음신호에 의해 발생한 스펙트럼 차이를 이용하여 상기 잡음신호를 제거한다. 즉, 위상차이로 제거하지 못하는 저주파수 대역의 잡음신호를 스펙트럼의 에너지 차이로 제거하는 것이다.The spectrum of the signal input to the microphone 1 and the microphone 2 larger than the FFT 25 points on the horizontal axis coincides, but a spectrum difference occurs from a spectrum smaller than or equal to 25 points corresponding to the cutoff frequency. Therefore, the noise signal is removed using the spectral difference generated by the noise signal mixed with the signal 1 and the signal 2 input to the microphone 1 and the microphone 2. That is, the noise signal of the low frequency band which cannot be removed by the phase difference is removed by the energy difference of the spectrum.

도 5는 본 발명의 바람직한 실시예에 따른 음성신호와 잡음신호가 섞인 신호에서 잡음을 제거하는 블록도이다.5 is a block diagram of removing noise from a signal mixed with a voice signal and a noise signal according to an exemplary embodiment of the present invention.

상기 도 5를 참조하면, 휴대용 단말기의 마이크1,2(500,516)에는 화자의 음성과 잡음이 섞여 입력되며 아날로그 디지털 컨버터(Analog Digital Converter; 이하 ADC라 한다.)1,2(502,518)는 상기 화자의 음성과 잡음이 섞인 아날로그 신호1,2를 디지털 신호1,2로 변환시킨다. 윈도우윙(Windowing)1,2(504,520)는 상기 디지털 신호1,2를 상기 휴대용 단말기가 처리할 수 있도록 일정크기의 프레임단위로 나누며 고속 푸리에변환(Fast Fourier Transform; 이하 FFT라 한다.)1,2(506,522)는 프 레임단위로 나누어진 상기 디지털 신호1,2를 주파수영역의 신호1,2로 변환한다. 주파수 크기측정1,2(508,528)는 상기 변환된 주파수영역의 신호1,2의 전체적인 크기1,2(magnitude)를 계산하고, 저주파수 대역 통과필터1,2(510,530)는 상기 주파수영역의 신호1,2에서 위상차이가 발생하지 않는 주파수 대역인 저주파수 대역을 차단주파수를 기준으로 통과시켜 상기 신호1,2를 각각 제곱을 하는데 이는 저주파수 대역에서 잡음을 제거하기 위한 스펙트럼의 에너지를 구하려고 하기 때문이다. 상기 스펙트럼의 에너지는 하기 <수학식 3>과 같이 구한다.Referring to FIG. 5, the microphones 1, 2 (500, 516) of the portable terminal are inputted with a speaker's voice and noise mixed, and the analog digital converter (hereinafter, referred to as an ADC) 1, 2 (502, 518) is the speaker. Converts analog and mixed signals 1 and 2 into digital signals 1 and 2. Windowing 1, 2 (504, 520) divides the digital signals 1, 2 into frame units of a predetermined size so that the portable terminal can process them, and is called a Fast Fourier Transform (FFT). 2 (506, 522) converts the digital signals 1, 2 divided by frame units into signals 1, 2 of the frequency domain. Frequency magnitude measurement 1, 2 (508, 528) calculates the overall magnitude 1, 2 (magnitude) of the signals 1, 2 of the converted frequency domain, and low frequency band pass filters 1, 2 (510, 530) are signal 1 of the frequency domain. The signals 1 and 2 are squared by passing the low frequency band, which is a frequency band in which phase difference does not occur at 2, based on the cutoff frequency, because the energy of the spectrum for removing noise in the low frequency band is calculated. . The energy of the spectrum is obtained as shown in Equation 3 below.

<수학식 3>&Quot; (3) &quot;

Figure 112007019564781-pat00003
Figure 112007019564781-pat00004
Figure 112007019564781-pat00003
Figure 112007019564781-pat00004

Figure 112007019564781-pat00005
Figure 112007019564781-pat00006
Figure 112007019564781-pat00005
Figure 112007019564781-pat00006

상기 <수학식 3>에서 CH1은 마이크1(500)을 거쳐 주파수 영역으로 변환된 신호를 뜻하며, CH2는 마이크2(516)를 거쳐 주파수 영역으로 변환된 신호를 뜻한다. Cutoff는 위상차이가 발생하지 않는 FFT 포인트에서의 차단주파수를 의미하며 K는 상기 차단주파수 이상과 이하의 주파수들을 의미한다. 즉, 주파수가 차단주파수보다 크다면 상기 스펙트럼의 에너지를 구하지 않고 주파수가 차단주파수보다 작거나 같다면 상기 스펙트럼의 에너지를 구한다.In Equation 3, CH1 denotes a signal converted into the frequency domain through the microphone 1 500 and CH2 denotes a signal converted into the frequency domain through the microphone 2 516. Cutoff means a cutoff frequency at an FFT point at which no phase difference occurs and K means frequencies above and below the cutoff frequency. In other words, if the frequency is greater than the cutoff frequency, the energy of the spectrum is not obtained. If the frequency is less than or equal to the cutoff frequency, the energy of the spectrum is obtained.

주파수 위상측정1,2(512,524)는 상기 변환된 주파수 영역의 신호1,2의 전체적인 위상1,2(phase)를 계산하고, 고주파수 대역 통과필터1,2(514,526)는 상기 주 파수영역의 신호1,2에서 위상차이가 발생하는 주파수 대역인 고주파수 대역을 차단주파수를 기준으로 통과시켜 하기 <수학식 4>와 같이 상기 고주파수 대역의 위상을 계산한다.Frequency phase measurement 1, 2 (512, 524) calculates the overall phase 1, 2 (phase) of the signal 1, 2 of the converted frequency domain, high frequency band pass filter 1, 2 (514, 526) is the signal of the frequency domain The phase of the high frequency band is calculated as shown in Equation 4 by passing a high frequency band, which is a frequency band in which phase difference occurs at 1,2, based on the cutoff frequency.

<수학식 4>&Quot; (4) &quot;

Figure 112007019564781-pat00007
Figure 112007019564781-pat00008
Figure 112007019564781-pat00007
Figure 112007019564781-pat00008

Figure 112007019564781-pat00009
Figure 112007019564781-pat00010
Figure 112007019564781-pat00009
Figure 112007019564781-pat00010

상기 <수학식 4>에서 CH1은 마이크1(500)을 거쳐 주파수 영역으로 변환된 신호를 뜻하며, CH2는 마이크2(516)를 거쳐 주파수 영역으로 변환된 신호를 뜻한다. Cutoff는 위상차이가 발생하는 FFT 포인트에서의 차단주파수를 의미하며 K는 상기 차단주파수 이상과 이하의 주파수들을 의미한다. 즉, 주파수가 차단주파수보다 크다면 위상을 계산하고 주파수가 차단주파수보다 작거나 같다면 상기 위상을 계산하지 않는다.In Equation 4, CH1 refers to a signal converted into the frequency domain through the microphone 1 500 and CH2 refers to a signal converted into the frequency domain through the microphone 2 516. Cutoff means a cutoff frequency at the FFT point at which the phase difference occurs, and K means frequencies above and below the cutoff frequency. That is, if the frequency is greater than the cutoff frequency, the phase is calculated. If the frequency is less than or equal to the cutoff frequency, the phase is not calculated.

위상차 계산기(532)는 상기 주파수 위상측정1(514)에서 측정한 위상1과 상기 주파수 위상측정2(526)에서 측정한 위상2의 차이 값을 하기 <수학식 5>와 같이 계산한다.The phase difference calculator 532 calculates a difference value between the phase 1 measured by the frequency phase measurement 1 514 and the phase 2 measured by the frequency phase measurement 2 526 as shown in Equation 5 below.

<수학식 5>&Quot; (5) &quot;

Figure 112007019564781-pat00011
Figure 112007019564781-pat00011

상기 위상차 계산기(532)는 상기 위상차 값을 위상 필터링1,2(534,536)에 전 달하며 상기 위상 필터링1,2(534,536))는 상기 위상차 값을 이용하여 상기 위상1과 상기 위상2의 위상이득을 하기 <수학식 6>과 같이 각각 계산한다. The phase difference calculator 532 transfers the phase difference value to the phase filtering 1, 2 (534, 536), and the phase filtering 1, 2 (534, 536) obtains the phase gain of the phase 1 and the phase 2 by using the phase difference value. Each is calculated as shown in Equation 6 below.

<수학식 6>&Quot; (6) &quot;

Figure 112007019564781-pat00012
Figure 112007019564781-pat00012

상기 <수학식 6>에서 PG(k)는 Phase Gain으로서 위상이득이고 PG(K)의 분모의 1은 분모가 0으로 분자를 나누는 것을 방지하기 위한 것이며, C는 위상이득의 강도를 정하는 상수이다. C값을 크게하면 위상이득이 강하게 적용되어 음성신호까지 왜곡시킬 수 있으며 반대로 C값을 작게하면 위상이득이 약하게 적용되어 잡음이 많이 남을 여지가 있다. 따라서 휴대용 단말기가 상기 C에 대하여 미리 저장되어 있는 값을 주변환경에 따라 정하여 사용한다.In Equation 6, PG (k) is phase gain as a phase gain, 1 of the denominator of PG (K) is for preventing the denominator from dividing the numerator by 0, and C is a constant for determining the intensity of the phase gain. . If the value of C is large, the phase gain is strongly applied to distort the voice signal. On the contrary, if the value of C is small, the phase gain is weakly applied, leaving much noise. Therefore, the portable terminal determines a value previously stored for the C according to the surrounding environment.

그리고 상기 각각의 위상이득을 상기 잡음이 섞인 주파수영역의 신호1,2에 곱하면 잡음이 제거된 신호를 얻는데 이는 하기 <수학식 7>과 같다.The phase gain is multiplied by the signals 1 and 2 in the frequency domain where the noise is mixed to obtain a signal from which noise is removed, as shown in Equation 7 below.

<수학식 7>&Quot; (7) &quot;

Figure 112007019564781-pat00013
Figure 112007019564781-pat00013

상기 <수학식 7>에서 Y1(K), Y2(K)는 상기 주파수 영역의 신호1,2에서 잡음신호가 제거된 음성신호이다.In Equation 7, Y1 (K) and Y2 (K) are voice signals from which noise signals are removed from signals 1 and 2 in the frequency domain.

상기 주파수 크기측정1,2(510,530)에서 구해진 스펙트럼의 에너지1,2는 가산기1(538)에서 주파수별 전체 에너지(T)가 하기 <수학식 8>과 같이 더해진다.The energy 1 and 2 of the spectrum obtained by the frequency magnitude measurement 1 and 2 (510 and 530) are added to the total energy T for each frequency in the adder 1 538 as shown in Equation 8 below.

<수학식 8>&Quot; (8) &quot;

Figure 112007019564781-pat00014
Figure 112007019564781-pat00015
Figure 112007019564781-pat00014
Figure 112007019564781-pat00015

이에, 감쇄이득을 구하기 위해 상기 전체 에너지(T)를 이용한 에너지 비 계산1,2(540,542)는 상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2에 대한 각각의 감쇄이득은 하기 <수학식 9>와 같이 계산한다.Therefore, the energy ratio calculations 1, 2 (540, 542) using the total energy (T) to obtain the attenuation gain are given by the respective attenuation gains for the signal 1 in the frequency domain and the signal 2 in the frequency domain. Calculate as>

<수학식 9>&Quot; (9) &quot;

Figure 112007019564781-pat00016
Figure 112007019564781-pat00017
Figure 112007019564781-pat00016
Figure 112007019564781-pat00017

Figure 112007019564781-pat00018
Figure 112007019564781-pat00019
Figure 112007019564781-pat00018
Figure 112007019564781-pat00019

상기 <수학식 9>의 MG1(K)와 MG2(K)는 0~1사이의 값을 갖게 되고 저주파수 대역의 잡음제거 감쇄이득으로 사용된다.MG1 (K) and MG2 (K) in Equation 9 have a value between 0 and 1 and are used as a noise reduction attenuation gain in a low frequency band.

예를들어, 특정 주파수에서 한 쪽 마이크로 입력되는 신호의 에너지가 다른 쪽 마이크로 입력되는 신호의 에너지보다 크다면 잡음신호에 의해 에너지 증가가 일어난 것으로 볼 수 있다. 잡음에 의해 에너지 증가가 크게 일어난 마이크로 입력되는 신호의 MG(k)는 1에 가깝게 나타날 것이며 다른 쪽 마이크로 입력되는 신호는 0에 가깝게 나타날 것이기 때문에, 감쇄이득을 각 마이크로 입력되는 신호의 크기에 적용할 때 교차하여 적용하게 되면, 잡음이 많이 섞인 마이크로 입력되는 신호의 크기에 0에 가까운 감쇄이득이 곱해지기 때문에 잡음제거를 더 많이 적용하게 된다. 반대로 잡음이 적게 섞인 마이크로 입력되는 신호의 크기에는 1에 가까운 감쇄이득이 곱해지기 때문에 잡음제거가 적게 적용되게 된다. For example, if the energy of the signal input to one microphone is greater than the energy of the signal input to the other microphone at a specific frequency, the increase in energy may be caused by the noise signal. Since the MG (k) of the micro-input signal, which is greatly increased by the noise, will appear close to 1 and the other micro-input signal will appear close to zero, the attenuation gain can be applied to the magnitude of each micro-input signal. When applied alternately, noise reduction is applied more because the attenuation gain close to zero is multiplied by the magnitude of the noise-induced micro-input signal. On the contrary, since the attenuated gain multiplied by 1 is multiplied by the amount of the noise-induced micro-input signal, less noise cancellation is applied.

따라서 크기 필터링1,2(544, 546)에서는 하기 <수학식 10>를 이용하여 마이크1로 입력되는 신호(CH1(k))에 감쇄이득2(MG2(k))를 적용하고, 마이크2로 입력되는 신호(CH2(k))에 감쇄이득1(MG1(k))를 교차적용하게 된다. Therefore, in magnitude filtering 1, 2 (544, 546), attenuation gain 2 (MG2 (k)) is applied to the signal CH1 (k) input to microphone 1 using Equation 10 below, The attenuation gain 1 (MG1 (k)) is applied crosswise to the input signal CH2 (k).

<수학식 10>&Quot; (10) &quot;

Figure 112007019564781-pat00020
Figure 112007019564781-pat00021
Figure 112007019564781-pat00020
Figure 112007019564781-pat00021

Figure 112007019564781-pat00022
Figure 112007019564781-pat00023
Figure 112007019564781-pat00022
Figure 112007019564781-pat00023

그리고 저주파수 대역에서는 스팩트럼의 에너지 차이를 이용하여 잡음을 제거하고 고주파수 대역에서는 위상차이를 이용하여 잡음을 제거한다. 역고속 푸리에 변환(Inverse Fast Fourier Transform; 이하 IFFT라 한다.)1,2(548,550) 상기 잡음이 제거된 상기 주파수 영역 신호1,2를 시간영역의 신호1,2로 변환하고 가산기2(552)는 상기 자음이 제거된 시간영역의 신호 1,2를 더하여 출력한다.In the low frequency band, the noise is removed by using the energy difference of the spectrum, and in the high frequency band, the noise is removed by using the phase difference. Inverse Fast Fourier Transform (IFFT) 1,2 (548,550) The frequency domain signals 1,2 from which the noise is removed are converted into signals 1,2 in the time domain and adder 2 (552). Adds and outputs the signals 1, 2 of the time domain from which the consonants are removed.

도 6은 본 발명의 바람직한 실시예에 따라 저주파수 대역과 고주파수 대역에서 잡음을 제거하는 흐름도이다.6 is a flowchart of removing noise in a low frequency band and a high frequency band according to a preferred embodiment of the present invention.

상기 도 6을 참조하면, 600단계에서 휴대용 단말기에 내장된 두 개의 마이크(500,516)는 화자가 말하는 음성과 잡음을 입력받으며 상기 휴대용 단말기는 상기 음성과 상기 잡음인 아날로그 신호를 디지털 신호로 변환한다. 605단계에서 윈 도우윙(Windowing)(504,520)은 상기 디지털 신호를 상기 휴대용 단말기가 처리할 수 있도록 일정크기의 프레임단위로 나누며 610단계에서 FFT(506,522)는 상기 프레임 단위로 나눠진 디지털 신호를 주파수 영역의 신호1과 신호2로 변환한다. 615단계에서 상기 휴대용 단말기는 차단주파수를 정하고 상기 차단주파수 보다 큰 고주파수 대역 주파수라면 620단계로 진행하고 상기 차단주파수 보다 작거나 같은 저주파수 대역 주파수라면 635단계로 진행한다.Referring to FIG. 6, in operation 600, two microphones 500 and 516 built in the portable terminal receive voice and noise spoken by the speaker, and the portable terminal converts the analog signal, which is the voice and the noise, into a digital signal. In step 605, the windowing 504 and 520 divides the digital signal into frame units of a predetermined size so that the portable terminal can process it. In step 610, the FFTs 506 and 522 divide the digital signal divided into the frame unit in the frequency domain. Converts to signal 1 and signal 2 In step 615, the portable terminal determines the cutoff frequency and proceeds to step 620 if the cutoff frequency is higher than the cutoff frequency, and proceeds to step 635 if the cutoff frequency is lower than or equal to the cutoff frequency.

상기 620단계에서 위상차 계산기(532)는 상기 주파수 영역의 신호1과 신호2의 위상차 값을 계산하고 625단계에서 위상 필터링(534,536)은 상기 위상차 값을 이용하여 상기 신호1과 상기 신호2의 위상이득을 각각 계산하고 상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2에 곱하여 상기 저주파수 대역의 잡음을 제거한다. 630단계에서 IFFT(548,550)는 상기 잡음이 제거된 상기 저주파수 대역의 상기 주파수 영역의 신호 1과 상기 주파수 영역의 신호2를 시간영역의 신호로 각각 변환한다. In step 620, the phase difference calculator 532 calculates a phase difference value between the signal 1 and the signal 2 in the frequency domain, and in step 625, the phase filtering 534, 536 uses the phase difference value to obtain the phase gain of the signal 1 and the signal 2. Are respectively calculated and multiplied by the signal 1 of the frequency domain and the signal 2 of the frequency domain to remove the noise of the low frequency band. In operation 630, the IFFTs 548 and 550 convert the signal 1 and the signal 2 in the frequency domain of the low frequency band from which the noise is removed into signals in the time domain, respectively.

상기 635단계에서 에너지 비 계산기(540,542)는 상기 주파수 영역의 신호1과 신호2의 스펙트럼의 에너지 비를 계산하고 640단계에서 크기 필터링(544,546)은 상기 에너지 비를 이용하여 상기 신호1과 상기 신호2의 감쇄이득을 각각 계산하고 상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2에 적용하여 상기 고주파수 대역의 잡음을 제거한다. 645단계에서 IFFT(548,550)는 상기 잡음이 제거된 상기 고주파수 대역의 상기 주파수 영역의 신호 1과 상기 주파수 영역의 신호2를 시간영역의 신호로 각각 변환한다. 650단계에서 가산기2(552)는 상기 저주파수 대역의 잡음 이 제거된 신호와 상기 고주파수 대역의 잡음이 제거된 신호를 합산하고 655단계에서 휴대용 단말기는 잡음이 제거된 음성신호를 출력한다.In step 635, the energy ratio calculators 540 and 542 calculate the energy ratios of the spectrums of the signal 1 and the signal 2 in the frequency domain, and in step 640, the magnitude filtering 544 and 546 use the energy ratio. The attenuation gain of is calculated and applied to the signal 1 of the frequency domain and the signal 2 of the frequency domain to remove the noise of the high frequency band. In operation 645, the IFFTs 548 and 550 convert the signal 1 and the signal 2 in the frequency domain of the high frequency band from which the noise is removed into signals in the time domain, respectively. In step 650, the adder 2 552 sums up the signal from which the noise of the low frequency band is removed and the signal from which the noise of the high frequency band is removed, and in step 655, the portable terminal outputs the voice signal from which the noise is removed.

그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다. Therefore, the scope of the present invention should not be limited by the illustrated embodiments, but should be determined by the scope of the appended claims and equivalents thereof.

본 발명은 휴대용 단말기의 마이크로 입력되는 음성과 잡음 중에서 잡음을 제거하는 것이 특징이다.The present invention is characterized by removing noise from the voice and noise input to the microphone of the portable terminal.

이와 같은 본 발명은 상기 마이크로 입력되는 음성과 잡음을 위상차와 스펙트럼의 에너지를 이용하여 음성에 대한 중요한 정보가 있는 저주파수 대역의 잡음을 제거하는 이점이 있다.As described above, the present invention has an advantage of removing noise in the low frequency band in which the voice and noise input to the microphone are used for phase energy and energy of spectrum.

Claims (8)

음성신호에 섞인 잡음을 제거하는 방법에 있어서, In a method for removing noise mixed in a voice signal, 서로 다른 두 마이크로 입력된 음성과 잡음을 주파수 영역의 신호1,2로 변환하고 상기 주파수 영역의 신호1,2에서 각각 전체적인 위상을 계산하고 차단 주파수를 기준으로 통과시켜 고주파수 대역의 위상을 계산하는 과정과, The process of converting two different microphone input voices and noises into the signals 1 and 2 of the frequency domain, and calculating the overall phase from the signals 1 and 2 of the frequency domain and passing the reference based on the cutoff frequency to calculate the phase of the high frequency band. and, 상기 주파수 영역의 신호1의 위상과 상기 주파수 영역의 신호2의 위상과의 위상차 값을 계산하여 위상이득을 계산하는 과정과, Calculating a phase gain by calculating a phase difference value between a phase of the signal 1 in the frequency domain and a phase of the signal 2 in the frequency domain; 상기 계산된 위상이득을 상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2에 곱하여 잡음이 제거된 고주파수 대역의 음성신호를 구하고 고주파수 대역의 음성신호를 시간영역의 신호1,2로 변환하는 과정과, Multiplying the calculated phase gain by the signal 1 of the frequency domain and the signal 2 of the frequency domain to obtain a high frequency band speech signal from which noise is removed, and converting the high frequency band speech signal to a time domain signal 1 and 2; , 상기 서로 다른 두 마이크로 입력된 음성과 잡음을 주파수 영역의 신호1,2에서 각각 전체적인 크기를 계산하고 차단 주파수를 기준으로 통과시켜 저주파수 대역의 크기를 계산하여 스펙트럼의 에너지를 계산하는 과정과, Calculating the energy of the spectrum by calculating the magnitude of the low frequency band by passing the two different microphone input voices and noises from the signals 1 and 2 in the frequency domain based on the cutoff frequency; 상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2의 에너지를 더하여 전체 에너지를 계산하고, 상기 전체 에너지를 이용하여 상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2의 감쇄이득을 계산하는 과정과, Calculating the total energy by adding the energy of the signal 1 of the frequency domain and the signal 2 of the frequency domain, and calculating the attenuation gain of the signal 1 of the frequency domain and the signal 2 of the frequency domain using the total energy; , 상기 주파수 영역의 신호1의 감쇄이득을 상기 주파수 영역의 신호2에 곱하고 상기 주파수 영역의 신호2의 감쇄이득을 상기 주파수 영역의 신호1에 곱하여 잡음이 제거된 저주파수 대역의 음성신호를 구하고 저주파수 대역의 신호를 시간영역의 신호1,2로 변환하는 과정과, The attenuation gain of the signal 1 of the frequency domain is multiplied by the signal 2 of the frequency domain, and the attenuation gain of the signal 2 of the frequency domain is multiplied by the signal 1 of the frequency domain to obtain a low frequency band speech signal from which the noise is removed. Converting the signal into signals 1 and 2 in the time domain; 저주파수 대역의 시간영역 신호1,2와 고주파수 대역의 시간영역 신호1,2를 합산하여 출력하는 과정을 포함하는 것을 특징으로 하는 잡음제거 방법. And summing and outputting the time domain signals 1 and 2 of the low frequency band and the time domain signals 1 and 2 of the high frequency band. 제1항에 있어서, 상기 차단주파수는, The method of claim 1, wherein the cutoff frequency, 상기 두 마이크 사이의 거리에 따른 상기 주파수 영역의 신호1,2의 샘플링 처리에 따른 설정인 것을 특징으로 하는 잡음제거 방법.And a setting according to sampling processing of signals 1 and 2 in the frequency domain according to the distance between the two microphones. 제1항에 있어서, 상기 주파수 영역의 신호1,2의 상기 스펙트럼 전체에너지는,The spectral total energy of the signals 1 and 2 in the frequency domain,
Figure 112007019564781-pat00024
Figure 112007019564781-pat00025
Figure 112007019564781-pat00024
Figure 112007019564781-pat00025
 으로 계산되는 것을 특징으로 하는 잡음제거 방법.Noise reduction method characterized in that it is calculated as. 제1항에 있어서, 상기 주파수 영역의 신호1,2의 상기 감쇄이득은,The method of claim 1, wherein the attenuation gain of the signals 1, 2 in the frequency domain,
Figure 112007019564781-pat00026
Figure 112007019564781-pat00027
Figure 112007019564781-pat00026
Figure 112007019564781-pat00027
Figure 112007019564781-pat00028
Figure 112007019564781-pat00029
Figure 112007019564781-pat00028
Figure 112007019564781-pat00029
 으로 계산되는 것을 특징으로 하는 잡음제거 방법.Noise reduction method characterized in that it is calculated as. 음성신호에 섞인 잡음을 제거하는 장치에 있어서,In a device for removing noise mixed in a voice signal, 화자의 음성과 잡음이 섞여 입력되는 두개의 마이크와Two microphones that mix the speaker's voice and noise 상기 화자의 음성과 잡음이 섞여 입력되는 아날로그 신호1,2를 디지털 신호1,2로 변환시키는 ADC(Analog Digital Converter)1,2와,ADC (Analog Digital Converter) 1, 2 for converting the analog signal 1, 2 inputted by mixing the speaker's voice and noise into digital signals 1, 2, 상기 디지털 신호1,2를 처리할 수 있게 일정크기의 프레임단위로 나누는 윈도우윙1,2와,Window wings 1 and 2 which divide the digital signals 1 and 2 into frame units of a predetermined size so as to be processed; 상기 프레임단위로 나누어진 상기 디지털 신호1,2를 주파수영역의 신호1,2로 변환하는 FFT(Fast Fourier Transform)1,2와,Fast Fourier Transform (FFT) 1, 2 for converting the digital signals 1, 2 divided into frame units into signals 1, 2 of the frequency domain; 상기 변환된 주파수영역의 신호1,2의 전체적인 크기1,2(magnitude)를 계산하는 주파수 크기측정1,2와,Frequency magnitude measurements 1 and 2 for calculating magnitudes 1 and 2 (magnitude) of the signals 1 and 2 of the converted frequency domain; 상기 주파수영역의 신호1,2에서 위상차이가 발생하지 않는 주파수 대역인 저주파수 대역을 차단주파수를 기준으로 통과시켜 상기 신호1,2를 각각 제곱하여 스펙트럼의 에너지1,2를 구하는 저주파수 대역 통과필터1,2와,A low frequency band pass filter 1 through which a low frequency band, which is a frequency band in which phase difference does not occur in the signals 1 and 2 of the frequency domain, is passed based on a cutoff frequency and squares the signals 1 and 2 to obtain energy 1 and 2 of a spectrum, respectively. 2, 상기 주파수 영역의 신호1,2의 전체적인 위상1,2(phase)를 계산하는 주파수 위상측정1,2와, Frequency phase measurement 1,2 for calculating the overall phase 1,2 of the signals 1,2 in the frequency domain; 상기 주파수영역의 신호1,2에서 위상차이가 발생하는 주파수 대역인 고주파수 대역을 차단주파수를 기준으로 통과시켜 고주파수 대역의 위상을 계산하는 고주파수 대역 통과필터1,2와,A high frequency band pass filter 1 and 2 for calculating a phase of the high frequency band by passing a high frequency band that is a frequency band in which phase difference occurs in the signals 1 and 2 in the frequency domain based on a cutoff frequency; 상기 위상1과 상기 위상2의 차이 값을 계산하는 위상차 계산기와,A phase difference calculator for calculating a difference value between the phase 1 and the phase 2; 상기 위상차 값을 이용하여 상기 위상1과 상기 위상2의 위상이득을 각각 계산하여 고주파수 대역의 상기 잡음이 섞인 주파수영역의 신호1,2에 곱하여 잡음이 제거된 신호들을 계산하는 위상 필터링1,2와,Phase filtering 1, 2 for calculating the noise-removed signals by calculating the phase gains of the phase 1 and the phase 2 by using the phase difference values and multiplying the signals 1, 2 of the noise-frequency region of the high frequency band by , 상기 스펙트럼의 에너지1,2를 더하여 주파수별 전체 스펙트럼의 에너지를 계산하는 가산기1과,An adder 1 for calculating the energy of the entire spectrum for each frequency by adding the energy 1 and 2 of the spectrum; 상기 주파수 영역의 신호1과 상기 주파수 영역의 신호2에 대한 각각의 감쇄이득을 구하기 위해 상기 전체 에너지(T)를 이용하여 감쇄이득1,2를 계산하는 에너지 비 계산1,2와,Energy ratio calculations 1 and 2 for calculating attenuation gains 1 and 2 using the total energy T to obtain respective attenuation gains for the signal 1 in the frequency domain and the signal 2 in the frequency domain; 상기 감쇄이득1을 상기 신호2에 곱하고 상기 감쇄이득2를 상기 신호1에 곱하여 잡음이 제거된 저주파수 대역의 음성신호를 구하는 크기 필터링1,2와,Magnitude filtering 1, 2 for multiplying the attenuation gain 1 by the signal 2 and multiplying the attenuation gain 2 by the signal 1 to obtain a low frequency band speech signal from which noise is removed; 상기 잡음이 제거된 저주파수 대역의 음성신호를 구하고 시간영역의 신호1,2로 변환하는 IFFT(Inverse Fast Fourier Transform)1,2와,Inverse Fast Fourier Transform (IFFT) 1, 2 which obtains the voice signal of the low frequency band from which the noise is removed and converts the signal into time signals 1 and 2; 저주파수 대역의 시간영역 신호1,2와 고주파수 대역의 시간영역 신호1,2를 합산하여 출력하는 가산기2를 포함하는 것을 특징으로 하는 잡음제거 장치.And an adder 2 that sums and outputs the time domain signals 1, 2 of the low frequency band and the time domain signals 1, 2 of the high frequency band. 제5항에 있어서, 상기 차단주파수는, The method of claim 5, wherein the cutoff frequency is, 상기 두 마이크 사이의 거리에 따른 상기 주파수 영역의 신호1,2의 샘플링 처리에 따른 설정인 것을 특징으로 하는 잡음제거 장치.And a setting according to sampling processing of signals 1 and 2 in the frequency domain according to the distance between the two microphones. 제5항에 있어서, 상기 주파수 영역의 신호1,2의 상기 스펙트럼 전체에너지는,The spectral total energy of the signals 1 and 2 in the frequency domain,
Figure 112007019564781-pat00030
Figure 112007019564781-pat00031
Figure 112007019564781-pat00030
Figure 112007019564781-pat00031
 으로 계산되는 것을 특징으로 하는 잡음제거 장치.Noise canceller, characterized in that calculated as. 제5항에 있어서, 상기 주파수 영역의 신호1,2의 상기 감쇄이득은,The method according to claim 5, wherein the attenuation gain of the signals 1, 2 in the frequency domain,
Figure 112007019564781-pat00032
Figure 112007019564781-pat00033
Figure 112007019564781-pat00032
Figure 112007019564781-pat00033
Figure 112007019564781-pat00034
Figure 112007019564781-pat00035
Figure 112007019564781-pat00034
Figure 112007019564781-pat00035
 으로 계산되는 것을 특징으로 하는 잡음제거 장치.Noise canceller, characterized in that calculated as.
KR1020070023705A 2007-03-09 2007-03-09 Method and apparatus for removing noise using phase difference and spectrum energy KR101340757B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070023705A KR101340757B1 (en) 2007-03-09 2007-03-09 Method and apparatus for removing noise using phase difference and spectrum energy

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070023705A KR101340757B1 (en) 2007-03-09 2007-03-09 Method and apparatus for removing noise using phase difference and spectrum energy

Publications (2)

Publication Number Publication Date
KR20080082857A KR20080082857A (en) 2008-09-12
KR101340757B1 true KR101340757B1 (en) 2014-01-02

Family

ID=40021992

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070023705A KR101340757B1 (en) 2007-03-09 2007-03-09 Method and apparatus for removing noise using phase difference and spectrum energy

Country Status (1)

Country Link
KR (1) KR101340757B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156339A1 (en) * 2018-02-12 2019-08-15 삼성전자 주식회사 Apparatus and method for generating audio signal with noise attenuated on basis of phase change rate according to change in frequency of audio signal

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2449298C1 (en) * 2010-12-23 2012-04-27 ОАО "Концерн "Океанприбор" Method for determination of noise energy
CN113689875B (en) * 2021-08-25 2024-02-06 湖南芯海聆半导体有限公司 Digital hearing aid-oriented double-microphone voice enhancement method and device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003258657A (en) 2002-03-01 2003-09-12 Sharp Corp Circuit and apparatus for eliminating phase noise and high-frequency communications system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003258657A (en) 2002-03-01 2003-09-12 Sharp Corp Circuit and apparatus for eliminating phase noise and high-frequency communications system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156339A1 (en) * 2018-02-12 2019-08-15 삼성전자 주식회사 Apparatus and method for generating audio signal with noise attenuated on basis of phase change rate according to change in frequency of audio signal
US11222646B2 (en) 2018-02-12 2022-01-11 Samsung Electronics Co., Ltd. Apparatus and method for generating audio signal with noise attenuated based on phase change rate

Also Published As

Publication number Publication date
KR20080082857A (en) 2008-09-12

Similar Documents

Publication Publication Date Title
US8520859B2 (en) System for comfort noise injection
US8015002B2 (en) Dynamic noise reduction using linear model fitting
EP2008379B1 (en) Adjustable noise suppression system
JP4423300B2 (en) Noise suppressor
JP5453740B2 (en) Speech enhancement device
US8989403B2 (en) Noise suppression device
CN104067339B (en) Noise-suppressing device
JP4836720B2 (en) Noise suppressor
US8391471B2 (en) Echo suppressing apparatus, echo suppressing system, echo suppressing method and recording medium
US20070255560A1 (en) Low complexity noise reduction method
US7917359B2 (en) Noise suppressor for removing irregular noise
KR101182017B1 (en) Method and Apparatus for removing noise from signals inputted to a plurality of microphones in a portable terminal
US9418677B2 (en) Noise suppressing device, noise suppressing method, and a non-transitory computer-readable recording medium storing noise suppressing program
KR101340757B1 (en) Method and apparatus for removing noise using phase difference and spectrum energy
US9099973B2 (en) Sound field spatial stabilizer with structured noise compensation
JP2009296298A (en) Sound signal processing device and method
JP2005284163A (en) Noise spectrum estimating method, noise suppressing method and noise suppressing device
KR20040014688A (en) Apparatus and Method for suppressing noise in voice telecommunication terminal
JP2010026323A (en) Speech speed detection device
KR20160000680A (en) Apparatus for enhancing intelligibility of speech, voice output apparatus with the apparatus
EP2816817B1 (en) Sound field spatial stabilizer with spectral coherence compensation
Yang et al. Environment-Aware Reconfigurable Noise Suppression
EP2816816B1 (en) Sound field spatial stabilizer with structured noise compensation
JP5018427B2 (en) Noise reduction device
JP2008129108A (en) Automatic gain control device, audio recording device, video/audio recording device and telephone call device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee