KR101182017B1 - Method and Apparatus for removing noise from signals inputted to a plurality of microphones in a portable terminal - Google Patents

Method and Apparatus for removing noise from signals inputted to a plurality of microphones in a portable terminal Download PDF

Info

Publication number
KR101182017B1
KR101182017B1 KR1020060058336A KR20060058336A KR101182017B1 KR 101182017 B1 KR101182017 B1 KR 101182017B1 KR 1020060058336 A KR1020060058336 A KR 1020060058336A KR 20060058336 A KR20060058336 A KR 20060058336A KR 101182017 B1 KR101182017 B1 KR 101182017B1
Authority
KR
South Korea
Prior art keywords
signals
microphone
frequency
noise
values
Prior art date
Application number
KR1020060058336A
Other languages
Korean (ko)
Other versions
KR20080000478A (en
Inventor
손백권
강상기
권순일
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060058336A priority Critical patent/KR101182017B1/en
Publication of KR20080000478A publication Critical patent/KR20080000478A/en
Application granted granted Critical
Publication of KR101182017B1 publication Critical patent/KR101182017B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/62Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for providing a predistortion of the signal in the transmitter and corresponding correction in the receiver, e.g. for improving the signal/noise ratio

Abstract

본 발명은 휴대 단말기에서 신호의 잡음 제거에 관한 것으로, 특히 휴대 단말기로 입력되는 위상차가 있는 신호로부터 잡음을 제거하는 방법 및 장치에 관한 것이다. 본 발명의 제 1 마이크와 제 2 마이크를 구비하는 휴대 단말기에서, 상기 마이크들로 입력된 신호들로부터 잡음을 제거하는 방법은 상기 제 1 및 제 2 마이크들로 입력된 신호들을 제 1 및 제 2 주파수 영역의 신호들로 각각 변환하는 과정과, 상기 제 1 및 제 2 주파수 영역의 신호들에 대한 위상값 및 주파수별 크기값을 계산하는 과정과, 상기 계산된 위상값들 간의 차이를 계산하고, 상기 위상값들 간의 차이에 반비례하는 게인값을 계산하는 과정과, 상기 제 1 및 제 2 주파수 영역의 신호들의 주파수별 크기값에 상기 게인값을 곱하여 잡음 제거된 제 1 및 제 2 주파수 영역의 신호들을 얻는 과정과, 상기 잡음 제거된 제 1 및 제 2 주파수 영역의 신호들을 시간 영역의 신호들로 변환하여 출력하는 과정을 포함한다.

Figure R1020060058336

위상차, 감쇠게인, 채널별 에너지비, 잡음

BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to noise cancellation of signals in portable terminals, and more particularly, to a method and apparatus for removing noise from phased signals input to a portable terminal. In a mobile terminal having a first microphone and a second microphone of the present invention, a method for removing noise from signals input to the microphones includes first and second signals input to the first and second microphones. Converting the signals into the signals in the frequency domain, calculating phase values and frequency values for the signals in the first and second frequency domains, calculating the difference between the calculated phase values, Calculating a gain value inversely proportional to the difference between the phase values, and multiplying the gain value by the frequency-specific magnitude values of the signals in the first and second frequency domains to remove the noise in the first and second frequency domains. And converting the noise-free first and second frequency domain signals into time domain signals.

Figure R1020060058336

Phase difference, attenuation gain, energy ratio per channel, noise

Description

휴대 단말기에서 복수의 마이크들로 입력된 신호들의 잡음을 제거하는 방법 및 장치{Method and Apparatus for removing noise from signals inputted to a plurality of microphones in a portable terminal} Method and Apparatus for removing noise from signals inputted to a plurality of microphones in a portable terminal

도 1은 빔포밍 방식을 이용하여 잡음을 제거하기 위한 구조를 도시하는 도면. 1 is a diagram illustrating a structure for removing noise using a beamforming scheme.

도 2는 도 2a 및 도 2b는 본 발명의 바람직한 실시예에 따른 두 개의 마이크들을 구비하는 휴대 단말기의 예시도. 2A and 2B are exemplary views of a portable terminal having two microphones according to a preferred embodiment of the present invention.

도 3은 본 발명의 바람직한 실시예에 따른 잡음 레벨을 감소시키는 구조를 도시하는 도면.3 illustrates a structure for reducing noise levels in accordance with a preferred embodiment of the present invention.

도 4는 본 발명의 바람직한 실시예에 따른 잡음 제거 과정을 도시하는 흐름도. 4 is a flow chart illustrating a noise reduction process according to a preferred embodiment of the present invention.

도 5는 본 발명의 바람직한 실시예에 따라 두 개의 마이크들을 통하여 수신된 신호와 잡음이 제거된 신호를 보여주는 그래프. 5 is a graph showing a signal received through two microphones and a signal without noise in accordance with a preferred embodiment of the present invention.

본 발명은 휴대 단말기에서 신호의 잡음 제거에 관한 것으로, 특히 휴대 단말기로 입력되는 위상차가 있는 신호로부터 잡음을 제거하는 방법 및 장치에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to noise cancellation of signals in portable terminals, and more particularly, to a method and apparatus for removing noise from phased signals input to a portable terminal.

휴대 단말기를 이용하여 상대방과 음성통신을 하는 경우에 통상적으로 휴대 단말기를 사용자의 얼굴에 가까이 붙여서 마이크와 입과의 거리가 가까운 상황에서 음성통화를 한다. 이때에는 마이크와 신호와의 거리가 가깝기 때문에 화자의 음성이 크게 입력되어 비교적 주변잡음의 영향을 덜 받게 된다. 그러나, 최근 휴대 단말기를 이용한 화상통화 또는 음성인식 등을 이용하는 통신의 경우, 기존처럼 휴대 단말기를 얼굴에 붙여 사용할 수 없다. 즉, 화상통화를 하기 위해서는 휴대 단말기 화면 창에 표시되는 상대방 얼굴을 보면서 통화를 해야 하기 때문에 휴대 단말기에 장착된 마이크와 화자의 입과의 거리가 멀어지게 된다. 또한, 음성인식 응용 프로그램을 이용하기 위해서도 휴대 단말기 화면창의 메뉴를 보면서 사용하기 때문에 휴대 단말기의 마이크와 화자의 입과의 거리가 멀어지게 된다. In the case of voice communication with the other party by using the mobile terminal, the mobile terminal is usually placed close to the user's face to make a voice call in a situation where the distance between the microphone and the mouth is close. At this time, since the distance between the microphone and the signal is close, the speaker's voice is input loudly and is relatively less affected by ambient noise. However, recently, in the case of a communication using a video call or voice recognition using a portable terminal, the portable terminal cannot be attached to a face as in the past. That is, in order to make a video call, a call must be made while looking at the other party's face displayed on the screen of the portable terminal, so that the distance between the microphone mounted on the portable terminal and the speaker's mouth becomes farther. In addition, in order to use the voice recognition application program while using the menu of the screen window of the mobile terminal, the distance between the microphone of the portable terminal and the speaker's mouth becomes far.

그런데, 화자의 입 즉, 신호 소스(Source)와 마이크의 거리가 멀어지면 멀어질수록 상기 신호 소스와 마이크 사이의 거리 제곱에 반비례하게 수신 감도가 떨어지게 되면서 주변 잡음이 음성신호와 비슷한 에너지로 입력되기 때문에 음성신호의 음질이 저하되어 화상통화의 경우에는 내용전달이 어려워지고, 음성인식을 이용한 통신의 경우에는 인식오류의 문제점을 초래한다. 따라서, 이를 개선하기 위하여 종래에는 스펙트럼 차감법, 칼만(Kalman) 필터, 위너(Wiener) 필터와 같은 단일 채널 잡음제거 방식을 사용하였다 그러나, 상기 단일 채널 잡음 제거 방식은 잡음 제거 에 한계가 있기 때문에 더 좋은 잡음제거 성능을 갖기 위하여 다수의 마이크 배열을 이용한 방식을 모색하게 되었다.However, as the speaker's mouth, that is, the distance between the signal source and the microphone, increases, the reception sensitivity decreases in inverse proportion to the square of the distance between the signal source and the microphone, and ambient noise is inputted with energy similar to that of the voice signal. Therefore, the sound quality of the voice signal is deteriorated, which makes it difficult to transmit the content in the case of a video call, and causes a problem of recognition error in the case of communication using voice recognition. Therefore, to improve this, conventionally, a single channel noise cancellation method such as a spectral subtraction method, a Kalman filter, and a Wiener filter has been used. In order to have good noise canceling performance, we have found a way to use multiple microphone arrays.

다수의 마이크 사용은 입력 신호들 간의 위상 차이를 만들 수 있다. 신호가 다수의 마이크 등을 통하여 입력될 때, 상기 신호가 동시에 마이크들을 통하여 입력되면 상기 마이크들을 통하여 입력된 신호들 사이에는 위상차가 존재하지 않으나, 상기 신호가 마이크들과의 거리가 상이하여 상기 마이크들에 동시에 입력되지 않는 경우에는 위상차가 발생된다. The use of multiple microphones can create phase differences between input signals. When a signal is input through a plurality of microphones or the like, if the signal is input through the microphones at the same time, there is no phase difference between the signals input through the microphones, but the microphone is different from the microphones because the signal is different from the microphones. If they are not simultaneously input to the field, a phase difference occurs.

이에 대해 두개의 마이크들을 구비하는 휴대 단말기를 예를 들어 자세히 설명한다. 만약 두개의 마이크들의 정면에서 화자의 음성 신호가 들어오면 두개의 마이크들로 입력받은 두개의 신호들은 에너지나 위상이 동일하다. 그러나 정면 이외의 다른 방향에서 들어오는 신호에 대해서는 두개의 마이크 입력 신호들 사이에 차이가 발생한다. 즉, 먼저 신호를 입력받는 마이크의 입력신호가 다른 마이크의 입력신호에 비해 에너지가 크다. 또한 마이크 간격과 신호의 입사각에 따라 두개의 마이크 입력신호들 사이에 시간 지연도 발생한다. 이와 같이 두개의 마이크들 정면에서 들어온 신호들 사이에는 지연이 없기 때문에 위상차가 발생하지 않지만 정면 이외의 방향에서 들어온 신호들 사이에는 지연이 발생하기 때문에 위상차가 발생하게 된다. 이렇게 발생한 위상차는 잡음에 의해 발생된 것으로 볼 수 있기 때문에 위상차 정보는 잡음의 유무 및 정도를 나타내는 척도로 사용할 수 있다. 따라서, 위상차가 많이 발생한 주파수에서는 잡음이 심한 경우이므로 잡음제거 정도를 강하게 할 수 있고, 위상차가 작게 발생한 주파수에서는 잡음이 약한 경우이므로 잡음 제거 정도를 약하게 하여 잡음을 제거할 수 있다. In this regard, a portable terminal having two microphones will be described in detail. If the speaker's voice signal comes in front of the two microphones, the two signals input to the two microphones have the same energy or phase. However, for signals coming from directions other than the front, a difference occurs between the two microphone input signals. That is, the input signal of the microphone that receives the signal first is larger in energy than the input signal of the other microphone. There is also a time delay between the two microphone input signals, depending on the microphone spacing and the angle of incidence of the signal. As such, there is no phase difference because there is no delay between the signals coming from the two microphones, but a phase difference occurs because there is a delay between signals coming from a direction other than the front side. Since the generated phase difference can be considered to be caused by noise, the phase difference information can be used as a measure of the presence and degree of noise. Therefore, since the noise is severe at a frequency where the phase difference occurs a lot, the noise canceling degree can be strengthened, and the noise is weak at the frequency where the phase difference is small, so the noise removal degree can be weakened to remove the noise.

상기 다수의 마이크 배열을 이용한 잡음 제거 방식으로 종래에 사용되던 방식으로 빔포밍(Beamforming) 방식과 독립 성분 분석 방식을 들 수 있다. As a noise canceling method using the plurality of microphone arrays, a beamforming method and an independent component analysis method may be used.

상기 독립 성분 분석 방식은 2 개의 음성 또는 소리 신호들이 섞여 있는 경우, 상기 2 개의 신호들로부터 각각 독립적인 신호들을 각각 분리해내는 방식이다. 상기 독립 성분 분석 방식은 종래의 동작 원리를 따르므로 보다 구체적인 설명은 생략한다. 그런데, 상기 독립 성분 분석 방식은 여러 가지 비현실적인 가정을 필요로 하기 때문에 다양한 잡음과 잔향이 존재하는 실제 환경에서는 적용하기 까다롭다. 따라서, 상기 독립 성분 분석 방식은 분리하려 하는 음원의 방향과 마이크 방향 설정에 민감하기 때문에 다양한 방향에서 들어오는 신호들에 대해 적용하기가 어렵다는 단점이 있다. 그리고 원거리발성(Far-talking)의 경우에는 두개의 마이크들 간의 입력신호들의 에너지 레벨 차이가 작아짐으로 인해 잡음제거 성능이 저하되며, 신호분리에 실패했을 경우 신호 왜곡이 오히려 더 커지는 단점이 있다. The independent component analysis method separates independent signals from the two signals when two voice or sound signals are mixed. Since the independent component analysis method follows a conventional operating principle, a detailed description thereof will be omitted. However, since the independent component analysis method requires various unrealistic assumptions, it is difficult to apply in a real environment in which various noises and reverberations exist. Therefore, since the independent component analysis method is sensitive to the direction of the sound source to be separated and the microphone direction setting, it is difficult to apply to signals coming from various directions. In the case of far-talking, noise cancellation performance is reduced due to a small difference in energy levels of input signals between two microphones, and a signal distortion becomes larger when signal separation fails.

상기 빔포밍 방식은 도 1에 도시된 바와 같은 구조를 갖는다. The beamforming method has a structure as shown in FIG. 1.

도 1은 빔포밍 방식을 이용하여 잡음을 제거하기 위한 구조를 도시하는 도면이다.1 is a diagram illustrating a structure for removing noise by using a beamforming method.

#MIC1(110)는 음성 신호를 #MIC2(130)보다 먼저 입력받는 마이크이고, #MIC2(130)는 음성 신호 이외의 신호(예, 잡음)를 #MIC1(110)보다 먼저 입력받는 마이크라 가정한다. # MIC1 (110) is a microphone that receives a voice signal prior to # MIC2 (130), # MIC2 (130) is a microphone that receives a signal (eg, noise) other than the voice signal before # MIC1 (110) do.

상기 음성 신호 이외의 신호를 먼저 입력받는 #MIC2(130)를 통하여 아날로그 신호가 입력되면 아날로그 디지털 변환기(Analog/Digital Converter, 이하 'A/D'라 칭한다)(140)에서 디지털 신호로 변환되어 출력된다. 상기 A/D(140)로부터 출력된 신호는 지연기(Delay)(150)로 입력되어 상기 #MIC1(110)과 #MIC2(130) 간의 신호 입력 시간 차이만큼 지연시킨다. 여기에서, 상기 #MIC2(130)로 #MIC1(110)보다 먼저 신호가 입력된다고 가정한다.When an analog signal is input through the # MIC2 130 which first receives a signal other than the voice signal, the analog signal is converted into a digital signal by an analog / digital converter (hereinafter referred to as 'A / D') 140 and output. do. The signal output from the A / D 140 is input to a delay 150 to delay the signal input time difference between the # MIC1 110 and # MIC2 130. Here, it is assumed that a signal is input to # MIC2 130 before # MIC1 110.

#MIC1(110)를 통하여 아날로그 신호가 입력되면 A/D(120)에서 디지털 신호로 변환되어 출력된다. 상기 A/D(120)로부터 출력된 신호는 합산기(160)로 전달된다. 이때, 지연기(150)를 통해 지연된 신호도 합산기(160)로 전달되어 상기 A/D(120)로부터 전달된 신호와 가감된다. When an analog signal is input through the # MIC1 110, the A / D 120 is converted into a digital signal and output. The signal output from the A / D 120 is transferred to the summer 160. In this case, the delayed signal through the delayer 150 is also transmitted to the summer 160 and added or subtracted from the signal transmitted from the A / D 120.

상기 음성 신호 이외의 신호를 먼저 입력받는 #MIC2(130)를 통하여 입력된 신호는 불필요한 잡음일 확률이 크다. 따라서, 상기 도 1의 빔포밍 방식에 의해 최종적으로 합산기(160)에서 상기 잡음이 '0'이 된다. The signal input through # MIC2 130 which receives a signal other than the voice signal first is likely to be unnecessary noise. Accordingly, the noise is finally '0' in the summer 160 by the beamforming method of FIG. 1.

상술한 바와 같이, 상기 빔포밍 방식은 원신호를 왜곡이 없이 복원할 수 있는 강인한 알고리즘(Algorithm)이지만 신호 대 잡음 비(Signal-to-Noise Ratio: SNR) 향상에 제한이 있어 잡음이 심한 환경에서는 깨끗한 원신호를 얻기 어렵다. 그리고 마이크 개수가 증가함에 따라 신호 대 잡음 비가 향상되는 특성을 갖고 있는데 휴대 단말기 같은 소형 장치에 여러 개의 마이크를 장착하는데 한계가 있고, 또한 마이크 배열 방향에 따라 마이크의 빔패턴 방향이 결정되기 때문에 상기 빔포밍 방식은 휴대 단말기에 매우 제한적으로 적용된다. As described above, the beamforming method is a robust algorithm capable of restoring the original signal without distortion, but has a limitation in improving the signal-to-noise ratio (SNR). It is difficult to obtain a clean original signal. In addition, the signal-to-noise ratio is improved as the number of microphones increases. However, there is a limitation in mounting a plurality of microphones in a small device such as a mobile terminal. The forming method is very limited to a portable terminal.

따라서, 잡음이 심한 환경에서 신호의 잡음을 효율적으로 제거하는 방법에 대한 필요성이 대두되었다. Therefore, there is a need for a method of efficiently removing noise in a signal in a noisy environment.

따라서 본 발명은 잡음이 심한 환경에서 잡음 레벨을 감소시키는 방법 및 장치를 제공한다. Accordingly, the present invention provides a method and apparatus for reducing noise levels in a noisy environment.

본 발명은 두 개의 무지향성 마이크들을 사용하여 잡음이 심한 환경에서 잡음 레벨을 감소시켜 신호 대 잡음 비를 향상시키고 잡음 제거 시 생길 수 있는 음질 왜곡 현상을 최소화하여 음질 향상 및 인식률을 향상시키는 방법 및 장치를 제공한다. The present invention provides a method and apparatus for improving sound quality and recognition rate by using two omnidirectional microphones to reduce the noise level in a noisy environment to improve the signal-to-noise ratio and to minimize the sound distortion that may occur when the noise is removed. To provide.

본 발명에 따른 제 1 마이크와 제 2 마이크를 구비하는 휴대 단말기에서, 상기 제 1 마이크와 상기 제 2 마이크로 입력된 신호들로부터 잡음을 제거하는 방법은, 상기 입력된 신호들을 제 1 및 제 2 주파수 영역의 신호들로 각각 변환하는 과정과, 상기 제 1 및 제 2 주파수 영역의 신호들에 대한 위상값들 및 주파수별 크기값을 계산하는 과정과, 상기 계산된 위상값들 간의 차이를 계산하고, 상기 위상값들 간의 차이에 반비례하는 게인값을 계산하는 과정과, 상기 제 1 및 제 2 주파수 영역의 신호들의 주파수별 크기값에 상기 게인값을 곱하여 잡음 제거된 제 1 및 제 2 주파수 영역의 신호들을 얻는 과정과, 상기 잡음 제거된 제 1 및 제 2 주파수 영역의 신호들을 시간 영역의 신호들로 변환하여 출력하는 과정을 포함한다.In a mobile terminal having a first microphone and a second microphone according to the present invention, a method for removing noise from the signals input from the first microphone and the second microphone includes: receiving the input signals from the first and second frequencies; Converting the signals to the signals in the region, calculating phase values and frequency values for the signals in the first and second frequency domains, calculating a difference between the calculated phase values, Calculating a gain value inversely proportional to the difference between the phase values, and multiplying the gain value by the frequency-specific magnitude values of the signals in the first and second frequency domains to remove the noise in the first and second frequency domains. And converting the noise-free first and second frequency domain signals into time domain signals.

또한 본 발명에 따른 제 1 마이크와 제 2 마이크를 구비하는 휴대 단말기에서, 상기 제 1 마이크와 상기 제 2 마이크로 입력된 신호들로부터 잡음을 제거하는 장치는, 상기 입력된 신호들을 제 1 및 제 2 주파수 영역의 신호들로 각각 변환하는 주파수 영역 변환부와, 상기 제 1 및 제 2 주파수 영역의 신호들에 대한 위상값들을 계산하는 위상부와, 상기 제 1 및 제 2 주파수 영역의 신호들에 대한 주파수별 크기값을 계산하는 크기부와, 상기 계산된 위상값들 간의 차이를 계산하는 위상차 계산부와, 상기 위상값들 간의 차이에 반비례하는 게인값을 상기 제 1 및 제 2 주파수 영역의 신호들에 대해 각각 계산하는 게인 계산부와, 상기 제 1 및 제 2 주파수 영역의 신호들의 주파수별 크기값에 상기 게인값들을 각각 곱하여 잡음 제거된 제 1 및 제 2 주파수 영역의 신호들을 얻는 마스킹부와, 상기 잡음 제거된 제 1 및 제 2 주파수 영역의 신호들을 시간 영역의 신호들로 변환하여 출력하는 시간 영역 변환부를 포함한다.In addition, in a mobile terminal having a first microphone and a second microphone according to the present invention, an apparatus for removing noise from the signals input to the first microphone and the second microphone, the first and second input signals A frequency domain converter for converting signals in the frequency domain, a phase unit for calculating phase values for the signals in the first and second frequency domains, and a signal for the signals in the first and second frequency domains. A signal in the first and second frequency domains, the magnitude unit calculating a magnitude value for each frequency, a phase difference calculator calculating a difference between the calculated phase values, and a gain value inversely proportional to the difference between the phase values. And a gain calculator for calculating a value of the first and second frequency domains to remove noise by multiplying the gain values by frequency values of the signals of the first and second frequency domains, respectively. And a masking section for obtaining call and includes the noise removing the first and the time domain conversion unit for converting the output signals of the second frequency domain into a signal in the time domain.

전술한 바와 같은 내용들은 당해 분야 통상의 지식을 가진 자가 후술되는 본 발명의 구체적인 설명으로부터 보다 잘 이해할 수 있도록 하기 위하여 본 발명의 특징들 및 기술적인 장점들을 다소 넓게 약술한 것이다. 이러한 특징들 및 장점들 이외에도 본 발명의 청구범위의 주제를 형성하는 본 발명의 추가적인 특징들 및 장점들이 후술되는 본 발명의 구체적인 설명으로부터 잘 이해될 것이다. The foregoing is a somewhat broad summary of features and technical advantages of the present invention in order that those skilled in the art will be better able to understand it from the following detailed description of the present invention. Additional features and advantages of the present invention, which form the subject matter of the claims of the invention, in addition to those features and advantages, will be better understood from the following detailed description of the invention.

이하 본 발명의 바람직한 실시예의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 당해 분야에서 통상의 지식을 가진 자는 본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여 후술되는 발명의 개시된 개념 및 구체적인 실시예가 변경 또는 변형되어 사용될 수도 있다는 사실을 잘 인식할 것이다. 또한 당해 분야에서 통상의 지식을 가진 자는 본 발명이 개시하는 개념 및 구조와 균등한 개념들 및 구조들이 본 발명의 가장 넓은 형태의 사상 및 범위로부터 벗어나지 않는다는 사실을 잘 인식할 것이다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a detailed description of preferred embodiments of the present invention will be described with reference to the accompanying drawings. Those skilled in the art will recognize that the disclosed concept and specific embodiments of the invention described below may be changed or modified to achieve the technical problem to be achieved by the present invention. Those skilled in the art will also recognize that concepts and structures equivalent to the concepts and structures disclosed herein do not depart from the spirit and scope of the broadest form of the invention. In the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

본 발명에서 제안하는 잡음 제거 방법을 설명하기 위하여 이하 다수의 마이크 배열 중에서 두 개의 무지향성 마이크들을 적용함을 가정하여 설명한다. 여기에서, 상기 무지향성 마이크는 어느 특정 방향에 치우치지 않고 모든 방향으로부터 신호를 동일하게 수신하는 마이크를 의미한다. 상술하였듯이, 신호가 두 개의 마이크들을 통하여 입력될 때, 상기 신호가 동시에 마이크들을 통하여 입력되면 상기 마이크들을 통하여 입력된 신호들 사이에는 위상차가 존재하지 않으나, 상기 신호가 마이크들과의 거리가 상이하여 상기 마이크들로 동시에 입력되지 않는 경우에는 위상차가 발생된다. In order to explain the noise reduction method proposed by the present invention, it is assumed that two omni-directional microphones are applied among a plurality of microphone arrays. Here, the omnidirectional microphone refers to a microphone that receives the same signal from all directions without biasing any specific direction. As described above, when the signal is input through the two microphones, if the signal is input through the microphone at the same time, there is no phase difference between the signals input through the microphone, but the signal is different from the microphone If the microphones are not simultaneously input, a phase difference is generated.

상세히 설명하면, 주변 잡음이 없는 환경에서 두 개의 마이크들이 음성 신호를 정면으로부터 받아들인다고 하면, 상기 두 개의 마이크들에 입력된 신호들 사이에는 위상 차이가 발생하지 않는다. 이런 경우의 위상차(Phase_Diff)는 하기 <수학식 1>에서 보는 바와 같이 '0'이다. 상기 두 개의 마이크들 중 하나의 입력을 첫 번째 마이크 채널 신호라 하고, 다른 하나의 입력을 두 번째 마이크 채널 신호라 한다.In detail, if two microphones receive a voice signal from the front in an environment without ambient noise, there is no phase difference between the signals input to the two microphones. The phase difference (Phase_Diff) in this case is '0' as shown in Equation 1 below. One input of the two microphones is called a first microphone channel signal, and the other input is called a second microphone channel signal.

Figure 112006046038719-pat00001
Figure 112006046038719-pat00001

여기에서, CH1(K)와 CH2(K)는 각각 첫 번째 마이크 채널 신호와 두 번째 마이크 채널 신호의 주파수 영역 변환된 신호이고 K는 주파수를 나타낸다.Here, CH1 (K) and CH2 (K) are frequency domain transformed signals of the first microphone channel signal and the second microphone channel signal, respectively, and K represents a frequency.

이때, 에너지 레벨도 거의 동일하기 때문에 두개의 마이크 채널 신호들의 크기 비(Mag_Ratio)는 하기 <수학식 2>와 같이 1이 된다.At this time, since the energy levels are almost the same, the magnitude ratio Mag_Ratio of the two microphone channel signals becomes 1 as shown in Equation 2 below.

Figure 112006046038719-pat00002
Figure 112006046038719-pat00002

그러나, 만약 음성 신호 이외의 신호가 상기 두 개의 마이크들로 입력되는 경우에는 여러 방향으로부터 여러 각도로 입력되기 때문에, 이런 경우 두개의 마이크 채널들의 신호들 간에 위상 차이가 발생하게 된다. 이때, 상기 위상 차이는 음성 신호에 의한 것이라기보다 잡음에 의해 발생된다고 볼 수 있다. 따라서, 본 발명은 상기 위상차가 있는 신호를 제거함으로써 잡음 레벨을 낮출 수 있고, 음성 통신 시 음질을 향상시킬 수 있다. However, if a signal other than the voice signal is input to the two microphones, since they are input at various angles from various directions, a phase difference occurs between the signals of the two microphone channels in this case. In this case, the phase difference may be caused by noise rather than by voice signals. Therefore, the present invention can lower the noise level by removing the phase difference signal, and can improve the sound quality during voice communication.

상기 위상차이는 특정 프레임의 특정 주파수에서의 잡음 존재 여부 및 레벨 로 나타난다. 그러므로, 상기 위상차이를 이용하여 주파수에 따른 감쇠게인(G(K))을 <수식 3>에 의해 구하고, 상기 감쇠게인에 각 채널들에 대한 에너지비 값들(MG1(K), MG2(K))을 각각 곱하여 잡음을 억제한다. 해당 주파수에서 위상차가 크면 잡음이 심한 경우를 의미하는 것이므로, '0' 에 가까운 감쇠 게인을 마이크 채널 신호에 곱하여 잡음의 영향을 줄인다. 반대로 해당 주파수에서 위상차가 작으면 잡음이 약한 경우이므로 1 에 가까운 감쇠 게인을 마이크 채널 신호에 곱하여 원신호의 손실을 적게 한다. 상기 각 채널들에 대한 에너지비 값들(MG1(K), MG2(K))은 하기의 <수학식 4>, <수학식 5>에 의해 각각 구해질 수 있다.The phase difference is represented by the presence and level of noise at a specific frequency of a specific frame. Therefore, using the phase difference, the attenuation gain G (K) according to the frequency is obtained by <Equation 3>, and the energy ratio values MG1 (K) and MG2 (K) for each channel to the attenuation gain. ) To suppress noise. A large phase difference at that frequency indicates a loud noise, so multiply the attenuation gain close to '0' by the microphone channel signal to reduce the effect of noise. On the contrary, if the phase difference is small at the corresponding frequency, the noise is weak. Therefore, multiply the attenuation gain close to 1 by the microphone channel signal to reduce the loss of the original signal. Energy ratio values MG1 (K) and MG2 (K) for the respective channels may be obtained by the following Equations 4 and 5, respectively.

Figure 112006046038719-pat00003
Figure 112006046038719-pat00003

Figure 112006046038719-pat00004
Figure 112006046038719-pat00004

Figure 112006046038719-pat00005
Figure 112006046038719-pat00005

여기에서, G(K)를 구하는 식에서 분모의 1은 0으로 나누어지는 것을 방지하기 위한 것이며, C는 게인의 강도를 정하는 상수이다. 상기 C 값을 크게 하면 전체적으로 게인이 강하게 적용되어 음성 신호까지 왜곡시킬 수 있으며, 반대로 C 값을 작게 하면 게인이 약하게 적용되어 잡음이 많이 남을 여지가 있다. 이러한 C값은 실험적으로 정해질 수 있다. Here, in the equation for obtaining G (K), 1 of the denominator is for preventing division by 0, and C is a constant that determines the strength of the gain. If the C value is increased, the gain is strongly applied as a whole to distort the voice signal. On the contrary, if the C value is decreased, the gain is weakly applied, leaving much noise. This C value can be determined experimentally.

상기 <수학식3>, <수학식4>, 및 <수학식5>으로부터 계산된 감쇠 게인값 및 마이크 채널별 에너지비 값을 이용하여 각 마이크 채널 신호로부터 잡음을 제거할 수 있다. 하기의 <수학식6>에 따라 상기 감쇠게인 값과 에너지비 값을 곱한 값에 주파수 영역변환된 마이크 채널 신호를 곱함으로써 잡음을 제거할 수 있다.Noise may be removed from each microphone channel signal by using the attenuation gain value calculated from Equation 3, Equation 4, and Equation 5 and the energy ratio value for each microphone channel. According to Equation 6, noise can be removed by multiplying the attenuation gain value by the energy ratio value and multiplying the frequency-domain transformed microphone channel signal.

Figure 112006046038719-pat00006
Figure 112006046038719-pat00006

상기 <수학식 6>의 결과 신호들을 시간영역변환(IFFT)을 통해 시간 영역의 신호들로 만들고 난 후, 어느 한 채널만 선택하여 사용하거나 상술한 빔포밍 같은 두개의 채널들을 이용하는 알고리즘을 적용하여 결합함으로써 추가적으로 잡음 제거를 할 수 있다.After the resulting signals of Equation 6 are transformed into signals in the time domain through time-domain transform (IFFT), either one channel is selected or an algorithm using two channels such as beamforming described above is applied. By combining, additional noise cancellation can be achieved.

도 2a 및 도 2b는 본 발명의 바람직한 실시예에 따른 두 개의 마이크들을 구비하는 휴대 단말기의 예시도이다. 2A and 2B are exemplary views of a portable terminal having two microphones according to a preferred embodiment of the present invention.

상기 도 2a를 참조하면, 휴대 단말기(210)가 정면 하단의 양쪽에 두개의 마이크들(MIC1(220), MIC2(230))을 구비한다.Referring to FIG. 2A, the mobile terminal 210 includes two microphones MIC1 220 and MIC2 230 at both sides of the front lower surface.

상기 도 2a와 같이 휴대 단말기 정면에 두 개의 마이크들이 장착된 경우 원거리발성 시에 음성 신호에 대한 두개의 마이크 신호들 사이에 지연은 거의 발생하지 않으며 주파수별 크기도 동일하므로, 음성 신호에 위상지연이 발생하지 않는다. 따라서 두개의 마이크 신호들 사이의 위상 차이는 음성신호에 의한 것이 아니라 주변 잡음에 의한 것이라 할 수 있다. 그러므로, 본 발명은 상기 도 2a와 같은 구조로 마이크들을 구비하는 경우, 주변 잡음에 의한 위상차를 계산하고, 각 채널에 대한 게인값들을 구한 후 주파수 영역 변환 된 각 채널 신호에 곱하여 잡음이 억제된 채널 신호를 얻는다. When two microphones are mounted on the front of the mobile terminal as shown in FIG. 2A, a delay is hardly generated between two microphone signals for a voice signal at a long distance and the magnitudes of frequencies are the same. Does not occur. Therefore, the phase difference between the two microphone signals is not caused by the voice signal but by the ambient noise. Therefore, when the microphones having the structure as shown in FIG. 2A are provided, the phase difference due to the ambient noise is calculated, the gain values for each channel are obtained, and the channel whose noise is suppressed by multiplying each channel signal by frequency domain conversion. Get signal.

상기 도 2b를 참조하면, 휴대 단말기(250)가 상기 단말기의 앞쪽에 마이크(MIC1(260) 및 상기 단말기의 뒤쪽에 마이크(MIC2(270))를 구비한다. Referring to FIG. 2B, the mobile terminal 250 includes a microphone (MIC1 260) at the front of the terminal and a microphone (MIC2 270) at the rear of the terminal.

상기 도 2b와 같이 휴대 단말기의 앞뒤로 마이크가 장착되었을 경우 두개의 마이크들 간의 거리에 해당되는 사운드 패스(sound path)에 따라 두개의 마이크들로 입력된 음성신호들 사이에는 지연이 발생하여 음성신호에 대해 에너지 및 위상 차이가 생긴다. 그러나 이런 지연에 해당되는 만큼 위상 보상을 해주면 음성신호에 대해서 위상 차이를 없앨 수 있다. 따라서 마이크의 위치에 따른 차이에 대해서 위상보상을 해 주면 두개의 마이크 신호들 사이에 발생하는 위상차이는 주변 잡음에 의한 것이라 할 수 있다. 그러므로, 본 발명은 상기 도 2b와 같은 구조로 마이크들을 구비하는 경우, 위상차를 이용하여 게인값들을 구하고 주파수 영역 변환 된 채널 신호에 곱하면 잡음이 억제된 채널 신호를 얻는다. As shown in FIG. 2B, when a microphone is mounted to the front and rear of the portable terminal, delay is generated between the voice signals inputted through the two microphones according to a sound path corresponding to the distance between the two microphones. Energy and phase differences occur. However, if the phase compensation is applied as much as this delay, the phase difference can be eliminated for the voice signal. Therefore, if the phase compensation for the difference according to the position of the microphone, the phase difference generated between the two microphone signals can be said to be due to the ambient noise. Therefore, when the microphones having the structure as shown in FIG. 2B are obtained, the gain values are obtained by using the phase difference and multiplied by the frequency-domain transformed channel signal to obtain a noise suppressed channel signal.

도 3은 본 발명의 바람직한 실시예에 따른 잡음 레벨을 감소시키는 구조를 도시하는 도면이다.3 is a diagram illustrating a structure for reducing a noise level according to a preferred embodiment of the present invention.

상기 도 3을 참조하면, 마이크1(#MIC1(302))과 마이크2(#MIC2(304))를 통하여 위상차가 있는 아날로그 신호들이 각각 입력된다. Referring to FIG. 3, analog signals having a phase difference are input through the microphone 1 (# MIC1 302) and the microphone 2 (# MIC2 304).

A/D(305, 307)는 상기 입력된 아날로그 신호들 각각을 디지털 신호로 변환하고 윈도우부(Windowing)(310, 312)로 출력한다. The A / Ds 305 and 307 convert each of the input analog signals into digital signals and output the digital signals to the windows 310 and 312.

윈도우부(Windowing)(310, 312)는 상기 변환된 디지털 신호들을 주파수영역 변환을 수행하기 위한 미리 정해진 크기의 프레임(Frame)으로 윈도우윙(Windowing)하여 주파수 영역 변환부(Fast Fourier Transform: FFT)(315, 317)로 출력한다. The windowing units 310 and 312 may window the transformed digital signals into a frame having a predetermined size for performing the frequency domain transformation, thereby performing a frequency domain transform unit (FFT). Output to (315, 317).

주파수 영역 변환부(315, 317)는 상기 윈도우윙된 시간 영역의 신호를 주파수 영역의 신호로 변환하고, 위상부(320, 322)와 크기부(325, 327)로 각각 출력한다.The frequency domain converters 315 and 317 convert the signal of the windowed time domain into a frequency domain signal and output the signals to the phase units 320 and 322 and the size units 325 and 327, respectively.

위상부(320, 322)는 상기 주파수 영역 변환부(315, 317)로부터 각각 입력된 신호에서 위상 값을 계산하여 위상차 계산부(335)로 출력한다. The phase units 320 and 322 calculate phase values from the signals input from the frequency domain converters 315 and 317, respectively, and output the phase values to the phase difference calculator 335.

크기부(325, 327)는 상기 주파수 영역 변환부(315, 317)로부터 각각 입력된 신호에서 각 주파수의 크기값을 계산하여 에너지비 계산부(350)로 출력한다. The magnitude units 325 and 327 calculate magnitude values of respective frequencies from the signals input from the frequency domain converters 315 and 317 and output the calculated magnitude values to the energy ratio calculator 350.

블록(360)은 본 발명에서 제안하는 잡음을 제거하는 블록들로써 위치보상 부(330), 위상차 계산부(335), 감쇠게인 계산부(340), 마스킹부(345, 347), 에너지비 계산부(350)로 구성된다.Block 360 is a block for removing noise proposed in the present invention, the position compensation unit 330, phase difference calculation unit 335, attenuation gain calculation unit 340, masking unit (345, 347), energy ratio calculation unit It consists of 350.

위상 보상부(330)는 상술하였듯이, 음성 신호가 아닌 잡음으로 추정되는 신호만을 만들기 위하여 마이크들의 거리 차 즉, 사운드 패스에 따라 입력되는 음성 신호 사이에 발생되는 지연값을 위상차 계산부(335)로 출력한다. 이렇게 함으로써, 음성 신호에서 발생될 수 있는 위상차를 보상해 줄 수 있다. 다시 말해서, 마이크1(302)과 마이크2(304)로 입력되는 신호의 위상차에 따라 미리 저장된 두개의 마이크들 사이의 사운드 패스에 따른 지연값을 위상차 계산부(335)로 제공한다. 예를 들어, 만약 상기 도 2a처럼 마이크들이 장착된 경우 위상 보상을 위해 '0'을 위상차 계산부(335)로 제공한다. 그런데 만약 상기 도 2b처럼 마이크들이 장착된 경우에는 미리 저장된 지연 값을 상기 위상차 계산부(335)로 제공함으로써 위상 보상을 해준다. 이렇게 제공된 지연값을 이용하여 상기 위상차 계산부(335)에서 하기 <수학식 7>에 의해 위상차를 계산한다. 따라서, 상기 위상차 계산부(335)에서 상기 위상차를 구하기 위하여 상기 위상 보상부(330)는 상기 도 2a의 경우 지연(Delay) 값을 '0'으로 상기 위상차 계산부(335)로 출력하고, 상기 도 2b의 경우, 미리 정해진 지연 값을 상기 위상차 계산부(335)로 출력한다. As described above, the phase compensator 330 uses the distance difference between the microphones, that is, the delay value generated between the voice signals input according to the sound path, to the phase difference calculator 335 in order to make only a signal estimated as noise, not a voice signal. Output By doing so, it is possible to compensate for the phase difference that may occur in the speech signal. In other words, according to the phase difference between the signals input to the microphone 1 302 and the microphone 2 304, a delay value corresponding to a sound path between two microphones stored in advance is provided to the phase difference calculator 335. For example, if the microphones are mounted as shown in FIG. 2A, '0' is provided to the phase difference calculator 335 for phase compensation. However, if the microphones are mounted as shown in FIG. 2B, phase compensation is provided by providing a prestored delay value to the phase difference calculator 335. Using the delay value provided as described above, the phase difference calculator 335 calculates the phase difference by Equation 7 below. Accordingly, in order to obtain the phase difference from the phase difference calculator 335, the phase compensator 330 outputs a delay value as '0' to the phase difference calculator 335 in the case of FIG. 2A. In the case of FIG. 2B, a predetermined delay value is output to the phase difference calculator 335.

Figure 112006046038719-pat00007
Figure 112006046038719-pat00007

여기에서, Delay는 두개의 마이크들 간의 거리에 따른 지연샘플들의 개수 즉, 지연값이다.Here, Delay is the number of delay samples according to the distance between two microphones, that is, the delay value.

위상차 계산부(Phase_Diff)(335)는 상기 위상부(320, 322)로부터 출력된 위상값을 이용하여 위상 차이를 계산한다. 여기에서 상기 위상 차이는 소스 신호가 동시에 마이크1(#MIC1(302))과 마이크2(#MIC2(304))에 입력되지 않고 상이하게 상기 마이크1(302)과 마이크2(304)로 입력됨으로 인해 입력된 신호들 간에 생기는 위상의 차이를 의미한다. 상기 위상차 계산부(335)에서 계산된 위상차(Phase_Diff) 값을 감쇠게인 계산부(340)로 출력한다. 상기 위상차는 신호간의 지연이 없는 경우 상기 <수학식 7>에 지연값(Delay)을 '0'으로 적용하여 계산될 수 있다. 그리고, 신호간의 지연이 있는 경우 위상차는 상기 <수학식 7>에 상기 위치 보상부(330)로부터 제공된 지연값을 적용시켜 계산될 수 있다. The phase difference calculator 335 calculates the phase difference using the phase values output from the phase units 320 and 322. Here, the phase difference may be different from that of the source signal being simultaneously input to the microphone 1 (# MIC1 302) and the microphone 2 (# MIC2 304), respectively, to the microphone 1 302 and the microphone 2 304. This means the difference in phase between the input signals. The phase difference value calculated by the phase difference calculator 335 is output to the attenuation gain calculator 340. The phase difference may be calculated by applying a delay value as '0' to Equation 7 when there is no delay between signals. In addition, when there is a delay between signals, the phase difference may be calculated by applying the delay value provided from the position compensator 330 to Equation (7).

감쇠게인 계산부(340)는 상기 위상차 계산부(335)로부터 출력된 위상차 값을 이용하여 감쇠게인을 계산한 후 마스킹부(Masking)(345, 347)로 출력한다. 상기 감쇠게인은 상술한 <수학식 3>을 이용하여 얻을 수 있다. The attenuation gain calculator 340 calculates the attenuation gain using the phase difference value output from the phase difference calculator 335 and outputs the attenuation gain to the masking units 345 and 347. The attenuation gain can be obtained by using Equation 3 described above.

에너지비 계산부(Energy-Ratio)(350)는 상기 크기부(325, 327)로부터 출력된 주파수별 크기 값을 이용하여 각각의 마이크 채널에 대한 에너지 비율을 계산한 후 마스킹부(345, 347)로 출력한다. 상기 마이크들 각각에 대한 에너지 비율은 상술한 <수학식 4> 및 <수학식 5>을 이용하여 각각 얻을 수 있다. The energy ratio calculator 350 calculates an energy ratio for each microphone channel using the magnitude values of the frequencies output from the magnitude units 325 and 327, and then masks the energy ratios 345 and 347. Will output The energy ratio for each of the microphones may be obtained by using Equations 4 and 5, respectively.

마스킹부(345, 347)는 상기 위상차 감쇠게인 계산부(340)와 에너지비 계산부(350)로부터 전달된 감쇠게인값, 에너지비 값들을 이용하여 잡음이 감소된 신호 를 얻는다. 상기 값들을 상기 <수학식 6>에 적용함으로써 잡음이 감소된 신호를 얻을 수 있다. 이렇게 잡음이 감소된 신호는 시간영역 변환부(Inverse FFT: IFFT)(350, 352)로 출력된다.The masking units 345 and 347 obtain a signal with reduced noise by using the attenuation gain values and the energy ratio values transmitted from the phase difference attenuation gain calculator 340 and the energy ratio calculator 350. By applying the values to Equation 6, a signal with reduced noise can be obtained. The noise-reduced signal is output to the inverse FFT (IFFT) 350 and 352.

시간영역 변환부(350, 352)는 상기 마스킹부(345, 347)로부터 출력된 주파수 영역의 신호를 시간 영역의 신호로 변환한 후, 결합기(355)로 출력한다.The time domain converters 350 and 352 convert the signal in the frequency domain output from the masking units 345 and 347 into a signal in the time domain and then output the signal to the combiner 355.

결합기(355)는 잡음이 감소되어 시간 영역으로 변환된 신호들을 결합하여 잔여잡음을 제거한다. 상기 결합이라 함은 한 신호의 선택 혹은 독립 성분 분석 방식 등을 통한 신호들의 단순 조합 등을 포함한다. The combiner 355 removes residual noise by combining the signals which are reduced in noise and converted into the time domain. The combination includes a simple combination of signals through selection of a signal or independent component analysis.

도 4는 본 발명의 바람직한 실시예에 따른 잡음 제거 과정을 도시하는 흐름도이다. 4 is a flowchart illustrating a noise canceling process according to a preferred embodiment of the present invention.

상기 도 4를 참조하면, 410 단계에서 두 개의 마이크들이 각각 신호들을 수신한다. Referring to FIG. 4, in operation 410, two microphones each receive signals.

420 단계에서 주파수 영역 변환부가 상기 신호들을 주파수 영역의 신호들로 변환한다. In step 420, the frequency domain converter converts the signals into signals in the frequency domain.

430 단계에서 위상부 및 크기부는 상기 변환된 신호들로부터 각각 위상값 및 주파수별 크기값을 계산한다.In step 430, the phase unit and the magnitude unit calculate a phase value and a magnitude value for each frequency from the converted signals.

440 단계에서 위상차 계산부 및 감쇠게인 계산부가 상기 430 단계에서 계산된 위상값을 이용하여 각각 위상차 및 감쇠게인 계산한다. 여기에서, 상기 위상차는 상기 두 개의 마이크들 장착 위치의 차이로 인한 지연값을 위상 보상부로부터 제공받아서 상기 <수학식 7>을 통하여 계산될 수 있다. 이렇게 지연값을 통하여 마 이크간 거리로 인한 위상 차이를 보상함으로써 상기 변환된 신호는 잡음으로 추정되는 신호만 남게 된다. 감쇠게인 계산부는 상기 위상차 계산부로부터 제공된 위상차를 상기 <수학식 3>에 입력함으로써 감쇠게인을 계산한다.In step 440, the phase difference calculator and the attenuation gain calculator calculate phase difference and attenuation gain, respectively, using the phase values calculated in step 430. Here, the phase difference may be calculated through Equation 7 by receiving a delay value due to a difference between the mounting positions of the two microphones from the phase compensator. By compensating for the phase difference due to the distance between microphones through the delay value, only the signal estimated as noise remains. The attenuation gain calculator calculates the attenuation gain by inputting the phase difference provided from the phase difference calculator to Equation (3).

450 단계에서 에너지비 계산부가 상기 430 단계에서 계산된 주파수별 크기값을 이용하여 마이크 채널별 에너지비를 계산한다. 상기 마이크 채널별 에너지비는 각각의 마이크를 통하여 수신된 신호의 에너지비를 의미하는 것으로, 상기 <수학식 4> 또는 <수학식 5>를 이용하여 계산된다. 여기에서, 상기 440 단계에서의 위상차 및 감성게인을 계산하는 과정과 상기 450 단계에서의 마이크 채널별 에너지비를 계산하는 과정은 상기 도 3에 도시된 장치들을 통하여 병렬적으로 수행된다. In step 450, the energy ratio calculator calculates an energy ratio for each microphone channel using the magnitude value for each frequency calculated in step 430. The energy ratio of each microphone channel means an energy ratio of a signal received through each microphone, and is calculated using Equation 4 or Equation 5. Here, the process of calculating the phase difference and the sensitivity gain in step 440 and the energy ratio for each microphone channel in step 450 are performed in parallel through the devices shown in FIG. 3.

460 단계에서 마스킹부는 상기 440 단계 및 450 단계에서 계산된 감쇠 게인값과 마이크 채널별 에너지비를 이용하여 상기 변환된 신호로부터 잡음을 제거한다.In operation 460, the masking unit removes noise from the converted signal using the attenuation gain values calculated in operations 440 and 450 and the energy ratio of each microphone channel.

470 단계에서 시간 영역 변환부가 상기 잡음이 제거된 신호를 주파수 영역으로부터 시간 영역의 신호로 변환한다. In operation 470, the time domain converter converts the signal from which the noise is removed from the frequency domain to a signal in the time domain.

도 5는 본 발명의 바람직한 실시예에 따라 두 개의 마이크들을 통하여 수신된 신호와 잡음이 제거된 신호를 보여주는 그래프이다. 5 is a graph illustrating a signal received through two microphones and a signal from which noise is removed according to a preferred embodiment of the present invention.

상기 도 5를 참조하면, CH1(K)(501)은 상기 도 3의 마이크1(302)를 통하여 입력되는 신호를 보여주고, CH2(K)(502)는 마이크2(304)를 통하여 입력되는 신호를 보여준다.Referring to FIG. 5, CH 1 (K) 501 shows a signal input through microphone 1 302 of FIG. 3, and CH 2 (K) 502 is input through microphone 2 304. Show the signal.

Y1(K)(503)은 상술한 본 발명의 잡음 제거 방법에 따라 상기 마이크 1(302) 를 통해 수신된 입력 신호로부터 잡음이 제거된 신호를 보여준다. 상기 Y1(K)(503) 신호는 상기 <수학식 6>을 통하여 얻어질 수 있다.Y1 (K) 503 shows a signal from which noise is removed from an input signal received through the microphone 1 302 according to the noise canceling method of the present invention described above. The Y1 (K) 503 signal may be obtained through Equation 6.

Y2(K)(504)는 상기 Y1(K)(503)과 같이 본 발명의 잡음 제거 방법에 따라 상기 마이크 2(304)를 통해 수신된 입력 신호로부터 잡음이 제거된 신호를 보여준다. 상기 Y2(K)(504) 신호도 상기 <수학식 6>을 통하여 얻어질 수 있다.Y2 (K) 504 shows a signal from which noise is removed from the input signal received through microphone 2 304 according to the noise cancellation method of the present invention, such as Y1 (K) 503. The Y2 (K) 504 signal may also be obtained through Equation 6.

상기 도 5의 Y1(K)(503) 및 Y2(K)(504) 신호들에서 보는 바와 같이 마이크들로 입력되던 신호들에 비해 잡음이 거의 제거되고 음성만 남아있게 된다. 따라서, 통신을 위한 음질을 향상시킬 수 있고, 신호의 에너지가 증가함으로 인해 신호 대 잡음비의 향상을 이룰 수 있다. As shown in the Y1 (K) 503 and Y2 (K) 504 signals of FIG. 5, noise is almost eliminated and only voice remains as compared with signals input to the microphones. Thus, the sound quality for communication can be improved, and the signal-to-noise ratio can be improved by increasing the energy of the signal.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.  While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments, but is capable of various modifications within the scope of the invention. Therefore, the scope of the present invention should not be limited by the illustrated embodiments, but should be determined by the scope of the appended claims and equivalents thereof.

이상에서 상세히 설명한 바와 같이 동작하는 본 발명에 있어서, 개시되는 발명 중 대표적인 것에 의하여 얻어지는 효과를 간단히 설명하면 다음과 같다.In the present invention that operates as described in detail above, the effects obtained by the representative ones of the disclosed inventions will be briefly described as follows.

상술한 바와 같이 본 발명은 두개의 신호들 사이의 위상정보로 잡음레벨을 추정하기 때문에 신호 대 잡음 비 추정이 간단하여 잡음 제거에 강인하다는 이점이 있다. 또한 마이크 장착 위치에 상관없이 두개의 채널들 정보를 사용할 수 있기 때문에 기존의 두개의 채널들 잡음제거 방식의 한계를 극복할 수 있다는 이점이 있다. As described above, the present invention has an advantage that the signal-to-noise ratio estimation is simple and robust to noise removal because the noise level is estimated by the phase information between two signals. Also, because two channels of information can be used regardless of the microphone mounting position, it is possible to overcome the limitation of the conventional two channels of noise cancellation.

Claims (16)

제 1 마이크와 제 2 마이크를 구비하는 휴대 단말기에서, 상기 제 1 마이크와 상기 제 2 마이크로 입력된 신호들로부터 잡음을 제거하는 방법에 있어서,In a portable terminal having a first microphone and a second microphone, the method for removing noise from the signals input to the first microphone and the second microphone, 상기 입력된 신호들을 제 1 및 제 2 주파수 영역의 신호들로 각각 변환하는 과정과,Converting the input signals into signals in a first and a second frequency domain, respectively; 상기 제 1 및 제 2 주파수 영역의 신호들에 대한 위상값들 및 주파수별 크기값을 계산하는 과정과,Calculating phase values and magnitude values for the signals in the first and second frequency domains; 상기 계산된 위상값들 간의 차이를 계산하고, 상기 위상값들 간의 차이에 반비례하는 게인값을 계산하는 과정과,Calculating a difference between the calculated phase values and calculating a gain value in inverse proportion to the difference between the phase values; 상기 제 1 및 제 2 주파수 영역의 신호들의 주파수별 크기값에 상기 게인값을 곱하여 잡음 제거된 제 1 및 제 2 주파수 영역의 신호들을 얻는 과정과,Obtaining signals in the first and second frequency domains from which noise is removed by multiplying the gain value by the frequency-specific magnitude values of the signals in the first and second frequency domains; 상기 잡음 제거된 제 1 및 제 2 주파수 영역의 신호들을 시간 영역의 신호들로 변환하여 출력하는 과정을 포함함을 특징으로 하는 잡음 제거 방법.And converting the first and second noise canceled signals in the frequency domain into signals in the time domain and outputting the signals. 제 1항에 있어서, 상기 게인값은,The method of claim 1, wherein the gain value, 상기 위상값들 간의 차이에 게인의 강도를 조절할 수 있는 상수를 곱한 후 1을 더해서 역수를 취함으로써 계산됨을 특징으로 하는 잡음 제거 방법.And multiplying the difference between the phase values by a constant capable of controlling gain and then adding 1 to obtain an inverse. 제 1항에 있어서, 상기 잡음 제거된 제 1 및 제 2 주파수 영역의 신호들을 상기 시간 영역의 신호들로 변환하기 전에, The method of claim 1, before converting the noise canceled first and second frequency domain signals into signals in the time domain. 상기 잡음 제거된 제 1 및 제 2 주파수 영역의 신호들에 해당 마이크별 에너지비 값들을 각각 곱하는 과정을 더 포함함을 특징으로 하는 잡음 제거 방법.And multiplying energy ratio values for respective microphones by the signals of the first and second frequency domains that have been removed. 제 3항에 있어서, 상기 마이크별 에너지비 값들 각각은,The method of claim 3, wherein each of the microphone-specific energy ratio values, 해당하는 상기 제 1 또는 제 2 주파수 영역의 신호에 대한 주파수별 크기값의 제곱 값을, 상기 제 1 및 제 2 주파수 영역의 신호들에 대한 주파수별 크기값 각각을 제곱하여 합한 값으로 나눔으로써 계산됨을 특징으로 하는 잡음 제거 방법.Calculation is performed by dividing a square value of magnitude values of frequencies for signals in the first or second frequency domain by the sum of squared magnitude values of signals of frequencies in the first and second frequency domains. Noise reduction method characterized in that. 제 1항에 있어서, The method of claim 1, 상기 시간 영역의 신호들 중 하나를 선택하거나, 혹은 독립성분분석 방식으로 분리하여 조합하는 과정을 더 포함함을 특징으로 하는 잡음 제거 방법. Selecting one of the signals in the time domain, or separating and combining the signals by an independent component analysis method. 제 1항에 있어서, 상기 위상값들 간의 차이는,The method of claim 1, wherein the difference between the phase values, 상기 제 1 주파수 영역의 신호에 대한 주파수별 크기값에서 상기 제 2 주파수 영역의 신호에 대한 주파수별 크기값을 뺀 값에서 상기 제 1 마이크와 상기 제 2 마이크간의 거리차에 대한 위상 보상값을 상기 제 1 및 제 2 주파수 영역의 신호들의 주파수별 크기값과 곱한 값을 뺀 값임을 특징으로 하는 잡음 제거 방법.The phase compensation value for the distance difference between the first microphone and the second microphone is obtained by subtracting the magnitude value of the frequency of the signal of the first frequency domain from the magnitude of the frequency of the signal of the second frequency domain. Noise reduction method characterized in that the value obtained by subtracting the multiplied by the magnitude value for each frequency of the signals of the first and second frequency domain. 제 6항에 있어서, 상기 위상 보상값은 상기 제 1 마이크와 상기 제 2 마이크간의 거리차에 따라 정해지는 시간 지연값임을 특징으로 하는 잡음 제거 방법.7. The method of claim 6, wherein the phase compensation value is a time delay value determined according to a distance difference between the first microphone and the second microphone. 제 1항에 있어서, 상기 제 1 마이크와 제 2 마이크는 무지향성 마이크들임을 특징으로 하는 잡음 제거 방법.The method of claim 1, wherein the first microphone and the second microphone are omnidirectional microphones. 제 1 마이크와 제 2 마이크를 구비하는 휴대 단말기에서, 상기 제 1 마이크와 상기 제 2 마이크로 입력된 신호들로부터 잡음을 제거하는 장치에 있어서,In a portable terminal having a first microphone and a second microphone, the apparatus for removing noise from the signals input to the first microphone and the second microphone, 상기 입력된 신호들을 제 1 및 제 2 주파수 영역의 신호들로 각각 변환하는 주파수 영역 변환부와,A frequency domain converter for converting the input signals into signals of a first and second frequency domain, respectively; 상기 제 1 및 제 2 주파수 영역의 신호들에 대한 위상값들을 계산하는 위상부와,A phase unit for calculating phase values for signals in the first and second frequency domains; 상기 제 1 및 제 2 주파수 영역의 신호들에 대한 주파수별 크기값을 계산하는 크기부와,A magnitude unit for calculating magnitude values of frequencies of the signals of the first and second frequency domains; 상기 계산된 위상값들 간의 차이를 계산하는 위상차 계산부와,A phase difference calculator for calculating a difference between the calculated phase values; 상기 위상값들 간의 차이에 반비례하는 게인값을 상기 제 1 및 제 2 주파수 영역의 신호들에 대해 각각 계산하는 게인 계산부와,A gain calculator for calculating a gain value in inverse proportion to the difference between the phase values for the signals in the first and second frequency domains, respectively; 상기 제 1 및 제 2 주파수 영역의 신호들의 주파수별 크기값에 상기 게인값들을 각각 곱하여 잡음 제거된 제 1 및 제 2 주파수 영역의 신호들을 얻는 마스킹부와,A masking unit for multiplying the gain values by the frequency values of the signals in the first and second frequency domains, respectively, to obtain the signals in the first and second frequency domains from which noise is removed; 상기 잡음 제거된 제 1 및 제 2 주파수 영역의 신호들을 시간 영역의 신호들로 변환하여 출력하는 시간 영역 변환부를 포함함을 특징으로 하는 잡음 제거 장치.And a time domain converter for converting the first and second noise canceled frequency domain signals into time domain signals and outputting the converted signals. 제 9항에 있어서, 상기 게인값은,The method of claim 9, wherein the gain value, 상기 위상값들 차이에 게인의 강도를 조절할 수 있는 상수를 곱한 후 1을 더해서 역수를 취함으로써 계산됨을 특징으로 하는 잡음 제거 장치.And calculating the inverse of the difference between the phase values by multiplying a constant capable of controlling gain of the gain and adding 1 to the inverse. 제 9항에 있어서, 상기 마스킹부가 잡음 제거된 제 1 및 제 2 주파수 영역의 신호들을 시간 영역의 신호들로 변환하기 전에, 상기 잡음 제거된 제 1 및 제 2 주파수 영역의 신호들에 해당 마이크별 에너지비 값들을 각각 더 곱함을 특징으로 하는 잡음 제거 장치.10. The method of claim 9, wherein the masking unit is configured to convert the signals of the first and second frequency domains from which the noise is removed into signals in the time domain before the signals are removed. Noise canceller, characterized in that each of the energy ratio values are further multiplied. 제 11항에 있어서, 상기 마이크별 에너지비 값들은,The method of claim 11, wherein the energy ratio value for each microphone, 해당하는 상기 제 1 또는 제 2 주파수 영역의 신호에 대한 주파수별 크기값의 제곱 값을 상기 제 1 및 제 2 주파수 영역의 신호들에 대한 주파수별 크기값 각각을 제곱하여 합한 값으로 나눔으로써 계산됨을 특징으로 하는 잡음 제거 장치.It is calculated by dividing the square value of the magnitude value of each frequency with respect to the signal of the first or second frequency domain by the sum of the squared magnitude values of the frequency values of the signals of the first and second frequency domain. Noise canceller characterized in that. 제 9항에 있어서, 10. The method of claim 9, 상기 시간 영역의 신호들 중 하나를 선택하거나, 혹은 독립성분분석 방식으로 분리하여 조합하는 결합기를 더 포함함을 특징으로 하는 잡음 제거 장치. And a combiner for selecting one of the signals in the time domain or separating and combining the signals in an independent component analysis method. 제 9항에 있어서, 상기 위상값들 간의 차이는,The method of claim 9, wherein the difference between the phase values, 상기 제 1 주파수 영역의 신호에 대한 주파수별 크기값에서 상기 제 2 주파수 영역의 신호에 대한 주파수별 크기값을 뺀 값에서 상기 제 1 마이크와 상기 제 2 마이크간의 거리차에 대한 위상 보상값을 상기 제 1 및 제 2 주파수 영역의 신호들의 주파수별 크기값과 곱한 값을 뺀 값임을 특징으로 하는 잡음 제거 장치.The phase compensation value for the distance difference between the first microphone and the second microphone is obtained by subtracting the magnitude value of the frequency of the signal of the first frequency domain from the magnitude of the frequency of the signal of the second frequency domain. Noise canceling device, characterized in that the value obtained by subtracting the multiplied by the magnitude value for each frequency of the signals in the first and second frequency domain. 제 14항에 있어서, 상기 위상 보상값은 상기 제 1 마이크와 상기 제 2 마이크간의 거리 차에 따라 미리 정해진 값으로, 시간 지연값임을 특징으로 하는 잡음 제거 장치.15. The apparatus of claim 14, wherein the phase compensation value is a predetermined value according to a distance difference between the first microphone and the second microphone, and a time delay value. 제 9항에 있어서, 상기 제 1 마이크와 제 2 마이크는 무지향성 마이크들임을 특징으로 하는 잡음 제거 장치.10. The apparatus of claim 9, wherein the first microphone and the second microphone are omnidirectional microphones.
KR1020060058336A 2006-06-27 2006-06-27 Method and Apparatus for removing noise from signals inputted to a plurality of microphones in a portable terminal KR101182017B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060058336A KR101182017B1 (en) 2006-06-27 2006-06-27 Method and Apparatus for removing noise from signals inputted to a plurality of microphones in a portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060058336A KR101182017B1 (en) 2006-06-27 2006-06-27 Method and Apparatus for removing noise from signals inputted to a plurality of microphones in a portable terminal

Publications (2)

Publication Number Publication Date
KR20080000478A KR20080000478A (en) 2008-01-02
KR101182017B1 true KR101182017B1 (en) 2012-09-11

Family

ID=39212790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060058336A KR101182017B1 (en) 2006-06-27 2006-06-27 Method and Apparatus for removing noise from signals inputted to a plurality of microphones in a portable terminal

Country Status (1)

Country Link
KR (1) KR101182017B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160093898A (en) 2015-01-30 2016-08-09 이미옥 Method and System for providing stability by using the vital sound based smart device
WO2021025517A1 (en) * 2019-08-07 2021-02-11 Samsung Electronics Co., Ltd. Electronic device with audio zoom and operating method thereof

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101412205B1 (en) * 2008-05-09 2014-06-26 에스케이텔레콤 주식회사 System and method for instant massaging service using bluetooth apparatus, and bluetooth apparatus applied to the same
KR101547344B1 (en) 2008-10-31 2015-08-27 삼성전자 주식회사 Restoraton apparatus and method for voice
KR101475864B1 (en) * 2008-11-13 2014-12-23 삼성전자 주식회사 Apparatus and method for eliminating noise
KR101601197B1 (en) * 2009-09-28 2016-03-09 삼성전자주식회사 Apparatus for gain calibration of microphone array and method thereof
KR102080891B1 (en) * 2018-10-01 2020-04-23 에이엠텔레콤주식회사 Outside Noise Suppression Method for Portable Terminal of Disaster Safety Communication when Calling Time
KR102087019B1 (en) * 2018-11-23 2020-03-10 주식회사 위스타 Method and apparatus for estimating direction of sound source and removing ambient noise using microphone array

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030083317A (en) * 2002-04-20 2003-10-30 엘지전자 주식회사 Noise eliminate apparatus for mobile communication terminal
JP2004029754A (en) * 2002-05-10 2004-01-29 Univ Kinki Method for restoring target sound based on division spectrum by using position information of sound source
KR20040014688A (en) * 2002-08-10 2004-02-18 주식회사 엑스텔테크놀러지 Apparatus and Method for suppressing noise in voice telecommunication terminal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030083317A (en) * 2002-04-20 2003-10-30 엘지전자 주식회사 Noise eliminate apparatus for mobile communication terminal
JP2004029754A (en) * 2002-05-10 2004-01-29 Univ Kinki Method for restoring target sound based on division spectrum by using position information of sound source
KR20040014688A (en) * 2002-08-10 2004-02-18 주식회사 엑스텔테크놀러지 Apparatus and Method for suppressing noise in voice telecommunication terminal

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160093898A (en) 2015-01-30 2016-08-09 이미옥 Method and System for providing stability by using the vital sound based smart device
WO2021025517A1 (en) * 2019-08-07 2021-02-11 Samsung Electronics Co., Ltd. Electronic device with audio zoom and operating method thereof
US11277686B2 (en) 2019-08-07 2022-03-15 Samsung Electronics Co., Ltd. Electronic device with audio zoom and operating method thereof

Also Published As

Publication number Publication date
KR20080000478A (en) 2008-01-02

Similar Documents

Publication Publication Date Title
EP2845189B1 (en) A universal reconfigurable echo cancellation system
EP2701145B1 (en) Noise estimation for use with noise reduction and echo cancellation in personal communication
EP2749016B1 (en) Processing audio signals
EP1855457B1 (en) Multi channel echo compensation using a decorrelation stage
JP5678023B2 (en) Enhanced blind source separation algorithm for highly correlated mixing
US9185487B2 (en) System and method for providing noise suppression utilizing null processing noise subtraction
US9210504B2 (en) Processing audio signals
EP2237271B1 (en) Method for determining a signal component for reducing noise in an input signal
KR101182017B1 (en) Method and Apparatus for removing noise from signals inputted to a plurality of microphones in a portable terminal
US8594320B2 (en) Hybrid echo and noise suppression method and device in a multi-channel audio signal
US9992572B2 (en) Dereverberation system for use in a signal processing apparatus
US9113241B2 (en) Noise removing apparatus and noise removing method
EP2238592B1 (en) Method for reducing noise in an input signal of a hearing device as well as a hearing device
JP4957810B2 (en) Sound processing apparatus, sound processing method, and sound processing program
US8472616B1 (en) Self calibration of envelope-based acoustic echo cancellation
JP2009522942A (en) System and method using level differences between microphones for speech improvement
KR20090017435A (en) Noise reduction by combined beamforming and post-filtering
KR20100003530A (en) Apparatus and mehtod for noise cancelling of audio signal in electronic device
JP2006129434A (en) Automatic gain control method, automatic gain control apparatus, automatic gain control program and recording medium with the program recorded thereon
JP3607625B2 (en) Multi-channel echo suppression method, apparatus thereof, program thereof and recording medium thereof
US9729967B2 (en) Feedback canceling system and method
JP4413205B2 (en) Echo suppression method, apparatus, echo suppression program, recording medium
JP3756828B2 (en) Reverberation elimination method, apparatus for implementing this method, program, and recording medium therefor
KR20110021306A (en) Microphone signal compensation apparatus and method of the same
JP4700673B2 (en) Echo cancellation method, apparatus, program, and recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150828

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170830

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 7