KR20130127597A - Apparatus and method for eliminating noise - Google Patents
Apparatus and method for eliminating noise Download PDFInfo
- Publication number
- KR20130127597A KR20130127597A KR1020120051243A KR20120051243A KR20130127597A KR 20130127597 A KR20130127597 A KR 20130127597A KR 1020120051243 A KR1020120051243 A KR 1020120051243A KR 20120051243 A KR20120051243 A KR 20120051243A KR 20130127597 A KR20130127597 A KR 20130127597A
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- noise
- difference
- coefficient
- phase difference
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000009467 reduction Effects 0.000 claims description 25
- 230000008030 elimination Effects 0.000 claims description 12
- 238000003379 elimination reaction Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 abstract description 10
- 230000009466 transformation Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/87—Detection of discrete points within a voice signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
본 발명의 실시예들은 잡음 제거 장치 및 방법에 관한 것으로서, 더욱 상세하게는 음성 인식 장치로 입력된 신호의 잡음을 정확히 제거할 수 있는 잡음 제거 장치 및 방법에 관한 것이다. Embodiments of the present invention relate to a noise cancellation apparatus and method, and more particularly, to a noise cancellation apparatus and method that can accurately remove noise of a signal input to a speech recognition apparatus.
마이크로폰은 음파 또는 초음파를 받아서 그 진동에 따른 전기신호를 발생하는 장치를 의미한다. A microphone is a device that receives a sound wave or an ultrasonic wave and generates an electric signal according to the vibration.
최근 로봇 관련 기술의 발전에 따라, 로봇과 사용자의 의사 소통을 위한 인터페이스로 마이크로폰이 사용되고 있으며, 로봇은 마이크로폰을 통해 입력되는 음성신호를 전기신호로 변환하여 사용자의 음성을 인식하게 된다. Recently, with the development of robot related technology, a microphone is used as an interface for communication between a robot and a user, and the robot converts a voice signal inputted through a microphone into an electric signal to recognize the voice of the user.
이러한 인식 과정에는 마이크로폰의 주변 환경에서 발생되는 잡음이 항상 수반되며, 보다 다양한 명령을 정확하게 인식하여 사용자의 편의성을 향상시키기 위해서는 음성신호에서 잡음을 제거하는 과정이 필수적이다. In this recognition process, the noise generated in the surrounding environment of the microphone is always accompanied. In order to improve the user's convenience by recognizing more various commands accurately, it is necessary to remove the noise from the voice signal.
또한, 이동 통신 단말기 및 네비게이션 장치 등 많은 수의 장치들이 사용자의 음성 인식 기능을 구비하고 있으며, 이러한 장치에서도 정확한 음성인식에 기반한 동작을 위해서는 잡음 제거가 필수적이다. In addition, a large number of devices such as a mobile communication terminal and a navigation device are equipped with a voice recognition function of a user, and noise removal is essential for accurate voice recognition based operation.
음성신호에서 잡음을 제거하기 위한 종래의 기술로는 일반적으로, 정면에서 입력되는 신호 외의 방향성을 갖는 신호는 잡음으로 볼 수 있다는 점에서 방향성 신호를 제거하는 방식이 주로 활용된다. In a conventional technique for removing noise from a voice signal, a method of eliminating a directional signal is mainly used in that a signal having a direction other than a signal input from the front is regarded as noise.
이러한 방식으로는 GSC(Generalized Sidelobe Canceller)를 이용한 방법과 두 개의 마이크로폰으로 입력되는 신호의 위상 차를 이용하는 방법이 있다. In this method, there are a method using a GSC (Generalized Sidelobe Canceller) and a method using a phase difference between two microphones.
전자의 방법은 GSC 내부의 적응 필터 수렴 문제로 인해 출력이 발산하거나 수렴 속도가 느려지는 문제점을 갖는다. The former method has a problem that the output diverges or the convergence speed is slowed due to the adaptive filter convergence problem in the GSC.
그리고, 후자의 방법은 적응 필터를 사용하지 않아 수렴 문제는 갖지 않으나, 두 개의 마이크로폰간의 위상 정보만을 사용하는 한계로 인하여 위상의 작은 변화에도 시스템이 민감하게 반응하여 일시적인 오류가 자주 발생하는 문제점을 갖는다. The latter method does not have an convergence problem because an adaptive filter is not used. However, due to the limitation of using only phase information between two microphones, the system is susceptible to a small change in phase and thus a temporary error frequently occurs .
대한민국 공개특허 제2008-0000478호(발명명칭: 휴대 단말기에서 복수의 마이크들로 입력된 신호들의 잡음을 제거하는 방법 및 장치)는 휴대 단말기로 입력되는 위상 차가 있는 신호로부터 잡음을 제거하는 방법 및 장치를 개시하고 있다. Korean Patent Laid-Open Publication No. 2008-0000478 (a method and apparatus for eliminating noise of signals input from a plurality of microphones in a portable terminal) discloses a method and apparatus for removing noise from a signal having a phase difference input to a portable terminal, .
그러나, 앞서 설명한 바와 같이, 상기의 종래특허는 방향성 신호를 제거하기 위해 위상 차만을 이용함으로써 시스템의 안정성이 낮아 음성신호에서 잡음을 효과적으로 제거할 수 없게 된다. However, as described above, the above-mentioned conventional patent uses only the phase difference to remove the directional signal, so that the stability of the system is low so that noise can not be effectively removed from the voice signal.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 복수의 음성입력장치로 입력된 신호에서 원하지 않는 신호를 잡음으로 제거함에 있어서 오류의 발생률을 줄여 음성 인식 장치가 보다 안정적으로 작동할 수 있도록 하는 잡음 제거 장치 및 방법을 제안하고자 한다.In order to solve the problems of the prior art as described above, in the present invention, when an unwanted signal is removed by noise from a signal input to a plurality of voice input devices, the rate of occurrence of an error is reduced to enable the voice recognition device to operate more stably A noise canceling device and a noise canceling method.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.Other objects of the invention will be apparent to those skilled in the art from the following examples.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 복수의 음성입력장치로 입력된 신호에서 잡음을 제거하는 장치로서, 제1 음성입력장치 및 제2 음성입력장치에서 각각 입력된 제1 신호 및 제2 신호간의 위상 차를 계산하는 위상 차 계산부; 상기 제1 신호 및 제2 신호에서 잡음 성분을 추출하고, 상기 추출된 잡음 성분과 상기 제1 신호와의 크기(magnitude) 차를 산출하는 크기 차 산출부; 및 상기 위상 차 및 크기 차를 이용하여 잡음제거 계수를 산출하는 잡음제거 계수 산출부를 포함하는 잡음 제거 장치가 제공된다. According to a preferred embodiment of the present invention, there is provided an apparatus for removing noise from a signal input to a plurality of audio input apparatuses, the apparatus comprising: A phase difference calculator for calculating a phase difference between the first signal and the second signal; A magnitude difference calculator for extracting a noise component from the first signal and the second signal and calculating a magnitude difference between the extracted noise component and the first signal; And a noise reduction coefficient calculator for calculating a noise reduction coefficient using the phase difference and the difference in magnitude.
상기 제1 신호와 상기 제2 신호가 음성 구간인지 또는 비음성 구간인지 판단하는 음성 구간 판단부를 더 포함하되, 상기 잡음제거 계수 산출부는 음성 구간인 경우의 잡음제거 계수를 비음성 구간인 경우보다 크게 설정할 수 있다. Further comprising a speech interval determination unit for determining whether the first signal and the second signal are a speech interval or a non-speech interval, wherein the noise removal coefficient calculator calculates a noise removal coefficient for a speech interval, Can be set.
상기 위상 차 계산부는, 상기 제1 신호와 상기 제2 신호를 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 각각 변환하고, 상기 변환된 제1 신호와 상기 변환된 제2 신호간의 위상 차를 주파수빈(frequency bin)별로 산출할 수 있다. Wherein the phase difference calculator converts each of the first signal and the second signal into a frequency domain on a frame basis divided by a predetermined time interval and outputs a phase difference between the converted first signal and the converted second signal It can be calculated for each frequency bin.
상기 크기 차 산출부는, 상기 제1 신호 및 상기 제2 신호로부터 추출된 잡음 성분을 상기 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 변환하고, 상기 변환된 잡음 성분과 상기 변환된 제1 신호간의 크기 차를 상기 주파수빈별로 산출할 수 있다. Wherein the size difference calculator converts the noise components extracted from the first signal and the second signal into a frequency domain in a frame unit divided by the predetermined time interval and outputs the converted noise component and the converted first signal Can be calculated for each frequency bin.
상기 잡음제거 계수 산출부는, 상기 위상 차에 반비례하고 상기 크기 차에 비례하는 잡음제거 계수를 상기 주파수빈별로 산출할 수 있다. The noise removal coefficient calculator may calculate a noise removal coefficient in inverse proportion to the phase difference and proportional to the difference in size for each frequency bin.
상기 주파수빈별 잡음제거 계수를 상기 제1 신호에 반영하고, 상기 잡음제거 계수가 반영된 제1 신호를 시간 영역으로 역변환하여 상기 입력 신호에서 잡음이 제거된 출력 신호를 생성하는 출력 신호 생성부를 더 포함할 수 있다. And an output signal generator for generating an output signal in which noise is removed from the input signal by reflecting the noise reduction coefficient for each frequency band on the first signal and inversely converting the first signal on which the noise reduction coefficient is reflected to the time domain .
상기 잡음제거 계수 산출부는, 상기 음성 구간 또는 비음성 구간에서 상기 위상 차 및 크기 차에 따라 미리 생성된 퍼지 규칙을 이용하여 상기 잡음제거 계수를 산출할 수 있다. The noise removal coefficient calculator may calculate the noise removal coefficient using a fuzzy rule generated in advance according to the phase difference and the magnitude difference in the voice interval or the non-voice interval.
상기 크기 차 산출부는, 상기 변환된 잡음 성분의 크기와 상기 변환된 제1 신호의 크기를 각각 0에서 1 사이의 값을 갖도록 정규화하고, 상기 정규화된 제1 신호의 크기에서 상기 정규화된 잡음 성분의 크기를 뺀 차에 해당하는 값을 상기 크기 차로 산출할 수 있다. Wherein the size difference calculator is configured to normalize the magnitude of the transformed noise component and the magnitude of the transformed first signal to have a value between 0 and 1 and to calculate a magnitude of the normalized noise component in the magnitude of the normalized first signal, A value corresponding to a difference obtained by subtracting the size can be calculated by the size difference.
또한, 본 발명의 다른 실시예에 따르면, 복수의 음성입력장치로 입력된 신호에서 잡음을 제거하는 방법으로서, 제1 음성입력장치 및 제2 음성입력장치에서 각각 입력된 제1 신호 및 제2 신호간의 위상 차를 계산하는 단계; 상기 제1 신호 및 제2 신호에서 잡음 성분을 추출하고, 상기 추출된 잡음 성분과 상기 제1 신호와의 크기(magnitude) 차를 산출하는 단계; 및 상기 위상 차 및 크기 차를 이용하여 잡음제거 계수를 산출하는 단계를 포함하는 잡음 제거 방법이 제공된다. According to another embodiment of the present invention, there is provided a method of removing noise from a signal input to a plurality of audio input apparatuses, the method comprising: receiving a first signal and a second signal input from the first audio input apparatus and the second audio input apparatus, Calculating a phase difference between the two signals; Extracting a noise component from the first signal and the second signal, and calculating a magnitude difference between the extracted noise component and the first signal; And calculating a noise reduction coefficient using the phase difference and the difference in magnitude.
본 발명에 따르면, 복수의 음성입력장치로 입력된 신호에서 원하지 않는 방향성을 갖는 신호를 잡음으로 제거함에 있어서 오류의 발생률을 줄일 수 있는 장점이 있다. According to the present invention, there is an advantage that a rate of occurrence of an error can be reduced in removing a signal having an undesired directionality from a signal inputted to a plurality of audio input devices by noise.
또한, 본 발명에 따르면, 적응 필터를 사용하지 않아 적응 필터 수렴 문제로 인한 출력의 발산이나 수렴 속도의 저하 문제가 발생되지 않는 장점을 갖는다. Further, according to the present invention, there is an advantage that no problem of divergence of output or lowering of convergence speed due to adaptive filter convergence problem is avoided without using an adaptive filter.
도 1은 본 발명의 일 실시예에 따른 잡음 제거 장치의 잡음 제거 원리에 관한 개략도를 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 잡음 제거 장치의 동작에 관한 블록도를 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 잡음 제거 장치가 처리하는 음성신호에 대한 스펙트로그램을 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 잡음 제거 장치의 상세한 구성을 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 잡음 제거 장치가 입력 신호로부터 방향성 잡음을 제거하는 동작에 관한 상세 블록도를 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 잡음 제거 장치에 의한 음성신호에서의 잡음 제거 결과를 스펙트로그램으로 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 음성신호에서의 음성신호에서의 잡음 제거 방법을 시간의 흐름에 따라 상세하게 도시한 순서도이다. FIG. 1 is a schematic diagram illustrating a noise elimination principle of a noise removing apparatus according to an embodiment of the present invention. Referring to FIG.
2 is a block diagram illustrating an operation of a noise canceller according to an embodiment of the present invention.
3 is a diagram showing a spectrogram of a speech signal processed by a noise canceller according to an embodiment of the present invention.
4 is a diagram showing a detailed configuration of a noise canceling apparatus according to an embodiment of the present invention.
FIG. 5 is a detailed block diagram illustrating an operation of removing noise from an input signal according to an embodiment of the present invention. Referring to FIG.
FIG. 6 is a spectrogram showing noise removal results of a speech signal by a noise removing apparatus according to an embodiment of the present invention. Referring to FIG.
FIG. 7 is a flowchart illustrating a method of removing noise in a speech signal in a speech signal according to an exemplary embodiment of the present invention, according to time.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
본 발명의 일 실시예에 따른 잡음 제거 장치는 입력 신호에서 잡음을 제거하기 위한 장비에는 제한 없이 적용될 수 있다. The noise cancellation apparatus according to an embodiment of the present invention may be applied to an apparatus for removing noise from an input signal without limitation.
특히, 본 발명의 일 실시예에 따른 잡음 제거 장치는 사용자의 음성을 인식하여 소정의 제어를 수행하는 음성 인식 장치, 예를 들어, 휴먼 로봇이나, 텔레메틱스 등에 용이하게 사용될 수 있으므로, 아래에서는 음성 인식 장치에 잡음 제거 장치를 적용한 일례를 중심으로 하여 설명하기로 한다. Particularly, since the noise cancellation device according to an embodiment of the present invention can be easily used for a voice recognition device, for example, a humanoid robot or a telematics device, which recognizes a voice of a user and performs predetermined control, The description will be made centering on an example in which a noise removing apparatus is applied to the apparatus.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 잡음 제거 장치(100)의 잡음 제거 원리에 관한 개략도를 도시하는 도면이다. FIG. 1 is a schematic diagram of a noise elimination principle of a
그리고, 도 2는 본 발명의 일 실시예에 따른 잡음 제거 장치(100)의 동작에 관한 블록도를 도시하는 도면이다. 2 is a block diagram illustrating an operation of the
먼저, 도 1에 도시된 바와 같이, 잡음 제거 장치(100)는 정면에서 입력되는 신호 외의 신호를 잡음으로 간주하고, 입력된 신호에서 잡음을 제거한다. First, as shown in FIG. 1, the
이를 위해, 잡음 제거 장치(100)는 두 개의 음성입력장치(102, 104, 이하, 설명의 편의를 위해, '마이크로폰'이라 함)를 이용하여 방향성 잡음을 제거한다. To this end, the
즉, 잡음 제거 장치(100)는 입력 신호가 두 개의 마이크로폰으로 입력될 때, 제1 마이크로폰(102)으로 입력된 신호(이하, '제1 신호'라 함)를 기준으로, 제2 마이크로폰(104)으로 입력된 신호(이하, '제2 신호'라 함)와 비교 분석함으로써 입력 신호에서 방향성 잡음이 제거될 수 있도록 한다. That is, when the input signal is input to the two microphones, the
보다 상세하게, 도 2를 참조하면, 본 발명의 일 실시예에 따른 잡음 제거 장치(100)는 제1 신호 및 제2 신호에서 크기 차(ND, Noise Difference)와 위상 차(PD, Phase Difference)를 산출한다. 2, a
그리고, 제1 신호 및 제2 신호의 음성 구간, 비음성 구간 여부에 따라 앞서 산출된 ND 및 PD에 관한 정보에 퍼지 규칙을 적용하여 잡음제거 계수를 산출한다. The noise removal coefficient is calculated by applying a fuzzy rule to the information on the ND and the PD calculated in accordance with whether the first signal and the second signal are a speech section or a non-speech section.
이때, 음성 구간, 비음성 구간 여부의 판단은 일례로, SVAD(Spatial Voice Activity Detection)가 적용되어 시간 영역에서 수행될 수 있으며, ND 및 PD에 관한 정보는 주파수 영역에서 수행될 수 있다. In this case, the determination as to whether the voice interval or the non-voice interval is performed can be performed in the time domain by applying the Spatial Voice Activity Detection (SVAD), and information on the ND and the PD can be performed in the frequency domain.
SVAD는 두 개의 마이크로폰 신호로부터 음성 구간과 비음성 구간에서의 상호 시간 차이(Interaural Time Difference, ITD)와 상호 크기 차이(Interaural Level Difference, ILD)를 추출하고, 각각 ITD, ILD 분포를 확률모델로 생성하여 이를 기반으로 음성구간을 검출한다. SVAD extracts Interaural Time Difference (ITD) and Interaural Level Difference (ILD) from the two microphone signals and calculates the ITD and ILD distributions as probability models And detects a voice section based on the detected voice section.
계속하여, 잡음 제거 장치(100)는 산출된 잡음제거 계수를 기준 신호인 제1 신호에 반영하고, 잡음제거 계수가 반영된 제1 신호를 시간 영역으로 역변환함으로써, 최종적으로 입력 신호에서 잡음이 제거된 출력 신호를 생성하게 된다. Subsequently, the
이와 같이, 본 발명에 따르면, 복수의 음성입력장치로 입력된 신호에서 원하지 않는 방향성을 갖는 신호를 잡음으로 제거함에 있어서 위상 차(PD)뿐만 아니라 크기 차(ND) 및 음성 구간, 비음성 구간 여부를 추가로 고려함으로써 잡음 제거의 오류의 발생률을 줄여 음성 인식 장치가 보다 안정적으로 작동할 수 있도록 하는 장점이 있다. As described above, according to the present invention, in removing a signal having an undesired directionality from a signal input to a plurality of audio input apparatuses by noise, not only the phase difference (PD) but also the size difference ND and voice interval, It is possible to reduce the occurrence rate of the noise cancellation error so that the speech recognition apparatus can operate more stably.
또한, 본 발명에 따르면, 적응 필터를 사용하지 않아 적응 필터 수렴 문제로 인한 출력의 발산이나 수렴 속도의 저하 문제가 발생되지 않는 장점을 갖는다. Further, according to the present invention, there is an advantage that no problem of divergence of output or lowering of convergence speed due to adaptive filter convergence problem is avoided without using an adaptive filter.
본 발명의 일 실시예에 따른 잡음 제거 장치(100)의 상세한 구성을 설명하기에 앞서, 잡음 제거 장치(100)에서 음성신호가 처리되는 방식을 먼저 살펴보기로 한다.
Before describing the detailed configuration of the
도 3은 본 발명의 일 실시예에 따른 잡음 제거 장치(100)가 처리하는 음성신호에 대한 스펙트로그램을 도시하는 도면이다. 3 is a diagram showing a spectrogram for a speech signal processed by the
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 잡음 제거 장치(100)는 제1 신호와 제2 신호를 분석함에 있어서 소정의 시간 간격으로 나누어진 프레임 단위로 신호들을 처리한다. As shown in FIG. 3, the
소정의 시간 간격은 필요에 따라 다양하게 설정될 수 있으나, 본 발명의 일 실시예에 따른 잡음 제거 장치는 20ms로 나누어진 프레임 단위로 음성신호를 처리하는 것으로 설명한다. Although the predetermined time interval may be variously set as needed, the noise removal apparatus according to an embodiment of the present invention is described as processing a voice signal in units of frames divided by 20 ms.
일례로, 잡음 제거 장치(100)는 제1 신호 및 제2 신호를 각각 20ms의 시간 간격을 갖는 프레임 단위로 나누고, 첫 번째 프레임에서부터 마지막 프레임까지 각각의 프레임상에서 음성신호들을 순차적으로 비교 분석할 수 있다. For example, the
그리고, 본 발명의 일 실시예에 따른 잡음 제거 장치(100)는 음성신호의 처리를 위해 시간 영역의 음성신호를 주파수 영역의 신호로 변환할 수 있으며, 이때, 변환된 음성신호들은 주파수빈(frequency bin)별로 비교 분석되게 된다. In addition, the
즉, 잡음 제거 장치(100)는 음성신호들의 N번째 프레임을 주파수 영역으로 변환할 수 있으며, N번째 프레임에 대한 주파수 영역에서 주파수빈별로 음성신호들을 비교 분석하게 된다. That is, the
이하, 도 4 내지 도 6을 참조하여, 본 발명의 일 실시예에 따른 잡음 제거 장치가 입력 신호로부터 잡음을 제거하는 과정을 보다 상세히 살펴보기로 한다.
Hereinafter, a process of removing noise from an input signal according to an embodiment of the present invention will be described in detail with reference to FIGS. 4 to 6. FIG.
도 4는 본 발명의 일 실시예에 따른 잡음 제거 장치(100)의 상세한 구성을 도시하는 도면이다. 4 is a diagram showing a detailed configuration of the
도 4에 도시된 바와 같이, 잡음 제거 장치(100)는 위상 차 계산부(110), 크기 차 산출부(120), 잡음제거 계수 산출부(130) 및 출력 신호 생성부(140)를 포함한다. 4, the
먼저, 위상 차 계산부(110)는 제1 신호와 제2 신호를 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 각각 변환하고, 주파수 영역의 제1 신호와 변환된 제2 신호간의 위상 차를 주파수빈별로 산출한다. First, the
이때, 음성신호들의 주파수 영역으로의 변환은 고속퓨리에변환에 의해 수행될 수 있으며, 일례로, STFFT(Short Time Fast Fourier Transform)이 적용될 수 있다. At this time, the conversion of speech signals into the frequency domain can be performed by fast Fourier transform. For example, STFFT (Short Time Fast Fourier Transform) can be applied.
그리고, 프레임 단위의 소정의 시간 간격은 앞서 설명한 바와 같이, 20ms일 수 있다. The predetermined time interval on a frame basis may be 20 ms, as described above.
본 발명의 일 실시예에 따르면, 위상 차 계산부(110)는 하기의 수학식에 따라, 음성신호들간의 위상 차(PD)를 산출할 수 있다.
According to an embodiment of the present invention, the
여기서, PD는 위상 차, N은 소정의 시간 간격으로 나누어진 프레임의 인덱스, Z는 주파수빈의 인덱스, Phase_1은 제1 신호의 위상, Phase_2는 제2 신호의 위상을 각각 의미한다. Here, PD denotes a phase difference, N denotes an index of a frame divided by a predetermined time interval, Z denotes an index of a frequency bin, Phase_1 denotes a phase of a first signal, and Phase_2 denotes a phase of a second signal.
그리고, 크기 차 산출부(120)는 제1 신호 및 제2 신호로부터 추출된 잡음 성분을 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 변환하고, 주파수 영역의 잡음 성분과 주파수 영역의 제1 신호간의 크기(magnitude) 차를 주파수빈별로 산출한다. The
즉, 크기 차 산출부(120)는 제1 신호 및 제2 신호로부터 잡음 성분을 추출하고, 제1 신호가 기준 신호라는 점에서, 추출된 잡음 성분과 제1 신호의 크기 차를 산출하게 된다. That is, the
이때, 크기 차 산출부(120)는 제1 신호 및 제2 신호로부터 잡음 성분의 추출을 위해, 차단 행렬(BM, Blocking Matrix)을 적용할 수 있다. At this time, the
그리고, 추출된 시간 영역의 잡음 성분은 위상 차 계산부(110)와 동일하게 STFFT에 의해 주파수 영역으로 변환될 수 있다. The noise component of the extracted time domain can be transformed into the frequency domain by STFFT in the same manner as the phase
한편, 주파수 영역의 추출된 잡음 성분과 주파수 영역의 제1 신호는 서로 다른 스케일을 가지므로, 크기 차를 산출하기 위해서는 정규화하는 과정이 필요하다. On the other hand, since the extracted noise components in the frequency domain and the first signals in the frequency domain have different scales, a normalization process is required to calculate the size difference.
이에, 본 발명의 일 실시예에 따른 크기 차 산출부(120)는 주파수 영역의 추출된 잡음 성분의 크기와 주파수 영역의 제1 신호의 크기를 각각 0에서 1 사이의 값을 갖도록 정규화하고, 정규화된 제1 신호의 크기에서 정규화된 잡음 성분의 크기를 뺀 차에 해당하는 값을 ND로 산출한다. The
본 발명의 일 실시예에 따르면, 크기 차 산출부(120)는 하기의 수학식에 따라 크기 차(ND)를 산출할 수 있다.
According to an embodiment of the present invention, the
여기서, ND는 크기 차, N은 소정의 시간 간격으로 나누어진 프레임의 인덱스, Z는 주파수빈의 인덱스, N_MF_1은 정규화된 주파수 영역의 제1 신호의 크기, N_BM은 정규화된 주파수 영역의 잡음 성분의 크기를 각각 의미한다. Where N is the size difference, N is the index of the frame divided by a predetermined time interval, Z is the frequency bin index, N_MF_1 is the size of the first signal in the normalized frequency domain, N_BM is the size of the normalized frequency domain noise component Respectively.
다음으로, 본 발명의 일 실시예에 따른 잡음제거 계수 산출부(130)는 위상 차 계산부(110)에 의해 산출된 위상 차(PD)에 반비례하고, 크기 차 산출부(120)에 의해 산출된 크기 차(ND)에 비례하는 잡음제거 계수를 주파수빈별로 산출한다. Next, the noise
즉, 두 신호간의 위상 차(PD)가 클수록 해당 주파수 성분은 잡음일 확률이 높고, 기준 신호인 제1 신호와 잡음 성분의 크기 차(ND)가 작을수록 해당 주파수 성분은 잡음일 확률이 높다는 점에서, 잡음제거 계수 산출부(130)는 위상 차(PD)에 반비례하고, 크기 차(ND)에 비례하는 잡음제거 계수를 산출한다. That is, the larger the phase difference PD between the two signals, the higher the probability that the corresponding frequency component is noise, and the smaller the difference ND between the first signal and the noise component is, the higher the probability that the corresponding frequency component is noise The noise removal
이때, 잡음제거 계수는 이하 설명하는 바와 같이, 제1 신호의 소정의 프레임 구간에 주파수빈별로 곱 연산으로 반영되는 것이므로, 작은 값을 가질수록 기준 신호인 제1 신호는 소멸되게 되며, 큰 값을 가질수록 제1 신호는 유지되게 된다. In this case, since the noise removal coefficient is reflected in the multiplication operation for each frequency bin in a predetermined frame period of the first signal, the first signal as the reference signal is canceled as the noise reduction coefficient is smaller, The first signal is maintained.
이에, 소정의 프레임 구간에서 주파수빈별로 잡음일 확률이 높은 부분은 제거될 수 있으며, 잡음일 확률이 낮은 부분은 유지되어, 결과적으로 제1 신호에서 잡음이 제거될 수 있다. Accordingly, a portion having a high probability of noise can be removed for each frequency bin in a predetermined frame interval, and a portion having a low probability of noise can be maintained, and as a result, the noise can be removed from the first signal.
한편, 본 발명의 일 실시예에 따르면, 잡음제거 계수 산출부(130)는 미리 생성된 퍼지 규칙을 이용하여 잡음제거 계수를 산출할 수 있다. Meanwhile, according to an embodiment of the present invention, the noise
즉, 잡음제거 계수 산출부(130)는 위상 차(PD) 및 크기 차(ND)에 따라 미리 생성된 퍼지 규칙 테이블을 이용하여 잡음제거 계수를 산출할 수 있다. That is, the noise
본 발명의 일 실시예에 따른 음성 구간 판단부(140)는 제1 신호와 제2 신호를 소정의 시간 간격으로 나누어진 프레임 단위로 음성 구간인지 또는 비음성 구간인지 판단하여, 음성 구간 또는 비음성 구간에 따라 서로 다른 퍼지 규칙 테이블이 적용될 수 있도록 한다. The
해당 프레임이 사용자 음성신호인 경우에는 주파수 성분들의 잡음일 확률이 위상 차(PD) 및 크기 차(ND)와는 별개로 비음성의 경우보다 전체적으로 높게 형성되기 때문이다. When the frame is a user voice signal, the probability of the noise components of the frequency components is formed to be higher than that of the non-voice component separately from the phase difference PD and the size difference ND.
여기서, 소정의 시간 간격은 앞서 설명한 위상 차 계산부(110) 및 크기 차 산출부(120)와 동일하게 20ms로 설정되는 것이 바람직하다. Here, it is preferable that the predetermined time interval is set to 20 ms in the same manner as the phase
하기의 표들은 제1 신호 및 제2 신호가 음성 구간 판단부(140)에 의해 음성 구간으로 판단된 경우의 퍼지 규칙 테이블과, 비음성 구간으로 판단된 경우의 퍼지 규칙 테이블을 각각 나타낸다.
The following tables show a fuzzy rule table when the first signal and the second signal are determined as the speech interval by the speech
이때, SVAD=1은 제1 신호 및 제2 신호가 음성 구간으로 판단된 경우를 의미한다.
At this time, SVAD = 1 means a case where the first signal and the second signal are judged as a voice interval.
이때, SVAD=0은 제1 신호 및 제2 신호가 비음성 구간으로 판단된 경우를 의미한다. 그리고, VH, H, M, L, VL 는 순서대로 Very High, High, Medium, Low, Very Low의 약자이며 각각의 값들은 실험을 통해 경험적으로 구해질 수 있다. In this case, SVAD = 0 means a case where the first signal and the second signal are judged as a non-voice interval. VH, H, M, L, and VL are abbreviated as Very High, High, Medium, Low, and Very Low in order. Each value can be empirically obtained through experiments.
상기의 표 1과 표 2에서 볼 수 있듯이, 신호들이 음성 구간으로 판단된 경우에 비음성 구간으로 판단된 경우보다 잡음제거 계수가 크게 설정될 수 있다. As can be seen from Tables 1 and 2, when the signals are judged to be the voice interval, the noise cancellation coefficient can be set to be larger than that when the signals are judged as the non-voice interval.
이와 같이, 본 발명의 일 실시예에 따른 잡음제거 계수 산출부(130)는 소정의 프레임 구간에서 주파수빈별로 잡음제거 계수를 산출하여 잡음일 확률이 높은 부분은 소멸되도록 하고, 잡음일 확률이 낮은 부분은 유지되도록 할 수 있다. As described above, the noise
마지막으로, 본 발명의 일 실시예에 따른 출력 신호 생성부(150)는 잡음제거 계수 산출부(140)에 의해 산출된 주파수빈별 잡음제거 계수를 제1 신호에 반영하고, 잡음제거 계수가 반영된 제1 신호를 시간 영역으로 역변환함으로써, 최종적으로 입력 신호에서 잡음이 제거된 출력 신호를 생성한다. Finally, the
본 발명의 일 실시예에 따르면, 출력 신호 생성부(150)는 하기의 수학식에 따라 잡음이 제거된 출력 신호를 생성할 수 있다.
According to an embodiment of the present invention, the
여기서, MF_1은 주파수 영역의 제1 신호, N은 소정의 시간 간격으로 나누어진 프레임의 인덱스, Z는 주파수빈의 인덱스, Gain은 잡음제거 계수, Filtered Signal은 잡음제거 계수가 반영된 주파수 영역의 제1 신호를 각각 의미한다. Where MF_1 is a first signal in a frequency domain, N is an index of a frame divided by a predetermined time interval, Z is an index of a frequency bin, Gain is a noise removal coefficient, and Filtered Signal is a first signal of a frequency region Respectively.
한편, 상기한 수학식 1 내지 수학식 3은 소정의 프레임 단위에서 주파수빈별로 위상 차 및 크기 차가 산출되고, 제1 신호에 잡음제거 계수가 반영되는 동작에 관한 것이나, 이에 한정되는 것은 아니며, 본 발명의 일 실시예에 따르면, 모든 프레임 단위에 대하여 각각 상기의 과정이 수행되어 최종적으로 입력 신호로부터 잡음이 제거된 출력 신호가 생성될 수 있다.
The above equations (1) to (3) are related to an operation in which a phase difference and a size difference are calculated for each frequency bin in a predetermined frame unit and the noise reduction coefficient is reflected in the first signal. However, the present invention is not limited thereto, According to an embodiment of the present invention, the above process may be performed for every frame unit so that an output signal from which noise is finally removed from the input signal may be generated.
도 5는 본 발명의 일 실시예에 따른 잡음 제거 장치(100)가 입력 신호로부터 방향성 잡음을 제거하는 동작에 관한 상세 블록도를 도시하는 도면이다. 5 is a detailed block diagram of an operation of the
도 5에 도시된 바와 같이, 위상 차 계산부(110)는 제1 마이크로폰으로 입력된 제1 신호와 제2 마이크로폰으로 입력된 제2 신호를 소정의 간격으로 나누어진 프레임 단위로 고속퓨리에변환을 적용하여 주파수 영역으로 변환한다. 5, the
그리고, 변환된 제1 신호와 제2 신호의 위상 차를 주파수빈별로 산출하여 잡음제거 계수 산출부(130)가 이용할 수 있도록 한다. The phase difference between the converted first signal and the second signal is calculated for each frequency bin so that the noise
다음으로, 크기 차 산출부(120)는 제1 신호와 제2 신호에 차단 행렬(BM)을 적용하여 잡음 성분을 추출하고, 추출된 잡음 성분을 소정의 시간 간격으로 나누어진 프레임 단위로 고속퓨리에변환을 적용하여 주파수 영역으로 변환한다. Next, the
그리고, 변환된 잡음 성분과 상기 변환된 제1 신호간의 크기 차를 주파수빈별로 산출하여 잡음제거 계수 산출부(130)가 이용할 수 있도록 한다. Then, a difference in magnitude between the converted noise component and the converted first signal is calculated for each frequency bin so that the noise
음성 구간 판단부(140)는 제1 신호 및 제2 신호에 SVAD를 적용하여 소정의 시간 간격으로 나누어진 프레임 단위로 음성 구간인지, 비음성 구간인지를 판단하며, 해당 정보를 잡음제거 계수 산출부(130)에 제공한다. The speech
소정의 시간 간격으로 나누어진 프레임 단위에 대하여, 음성 구간 여부, 주파수빈별 위상 차 및 크기 차에 관한 정보가 주어지면, 잡음제거 계수 산출부(130)는 제공된 정보들에 미리 생성된 퍼지 규칙을 적용하여 잡음제거 계수를 산출한다. When information on the phase difference and the difference in magnitude between the voice interval and the frequency band is given to a frame unit divided at predetermined time intervals, the noise
마지막으로, 출력 신호 생성부(150)는 잡음제거 계수를 제1 신호에 적용하고, 잡음제거 계수가 적용된 제1 신호를 역변환함으로써 입력 신호로부터 방향성 잡음이 제거된 최종 출력 신호를 생성한다. Finally, the
이와 같이, 본 발명에 따르면, 복수의 음성입력장치로 입력된 신호에서 원하지 않는 방향성을 갖는 신호를 잡음으로 제거함에 있어서 위상 차(PD)뿐만 아니라 크기 차(ND) 및 음성 구간, 비음성 구간 여부를 추가로 고려함으로써 잡음 제거의 오류의 발생률을 줄여 음성 인식 장치가 보다 안정적으로 작동할 수 있도록 하는 장점이 있다. As described above, according to the present invention, in removing a signal having an undesired directionality from a signal input to a plurality of audio input apparatuses by noise, not only the phase difference (PD) but also the size difference ND and voice interval, It is possible to reduce the occurrence rate of the noise cancellation error so that the speech recognition apparatus can operate more stably.
또한, 본 발명에 따르면, 적응 필터를 사용하지 않아 적응 필터 수렴 문제로 인한 출력의 발산이나 수렴 속도의 저하 문제가 발생되지 않는 장점을 갖는다. Further, according to the present invention, there is an advantage that no problem of divergence of output or lowering of convergence speed due to adaptive filter convergence problem is avoided without using an adaptive filter.
도 6은 본 발명의 일 실시예에 따른 잡음 제거 장치(100)에 의한 음성신호에서의 잡음 제거 결과를 스펙트로그램으로 도시하는 도면이다. FIG. 6 is a spectrogram showing the noise removal result of a speech signal by the
먼저, 도 6a에 도시된 바와 같이, 입력 신호에는 저주파 성분의 음성(세로축 하단의 밝은 영역)과 함께 방향성 잡음(흰색 사각형으로 도시된 부분)이 다수 포함되어 있으나, 도 6b에 도시된 바와 같이, 출력 신호에는 저주파 성분의 음성을 제외한 방향성 잡음이 대부분 제거되었음을 확인할 수 있다.
First, as shown in FIG. 6A, a plurality of directional noises (portions indicated by white squares) are included in the input signal together with a low-frequency component sound (bright region of the lower end of the vertical axis) It can be confirmed that most of the directional noise excluding the low frequency component sound is removed from the output signal.
도 7은 본 발명의 일 실시예에 따른 음성신호에서의 잡음 제거 방법을 시간의 흐름에 따라 상세하게 도시한 순서도이다. FIG. 7 is a flowchart illustrating a noise removal method in a speech signal according to an embodiment of the present invention in detail in accordance with time.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 잡음 제거 방법은 위상 차를 계산하는 단계(S710), 크기 차를 산출하는 단계(S720), 잡음제거 계수를 산출하는 단계(S730) 및 출력 신호를 생성하는 단계(S740)를 포함한다. 7, the noise elimination method according to an embodiment of the present invention includes a step S710 of calculating a phase difference, a step S720 of calculating a size difference, a step S730 of calculating a noise removal coefficient, And generating an output signal (S740).
먼저, 단계(S710)에서는 제1 음성입력장치 및 제2 음성입력장치에서 각각 입력된 제1 신호 및 제2 신호간의 위상 차를 계산한다. First, in step S710, a phase difference between the first signal and the second signal input from the first audio input device and the second audio input device, respectively, is calculated.
이때, 제1 음성입력장치로 입력된 기준 음성신호인 제1 신호와 제2 음성입력장치로 입력된 제2 신호를 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 각각 변환하고, 주파수 영역의 제1 신호와 제2 신호간의 위상 차를 주파수빈별로 산출할 수 있다. At this time, a first signal, which is a reference speech signal input to the first speech input device, and a second signal that is input to the second speech input device are converted into a frequency domain in units of frames divided at predetermined time intervals, The phase difference between the first signal and the second signal can be calculated for each frequency bin.
다음으로, 단계(S720)에서는 제1 신호 및 제2 신호에서 잡음 성분을 추출하고, 추출된 잡음 성분과 제1 신호와의 크기(magnitude) 차를 산출한다. Next, in step S720, a noise component is extracted from the first signal and the second signal, and a magnitude difference between the extracted noise component and the first signal is calculated.
이때, 제1 신호 및 제2 신호로부터 추출된 잡음 성분을 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 변환하고, 주파수 영역의 잡음 성분과 단계(S710)에서 변환된 주파수 영역의 제1 신호간의 크기 차를 주파수빈별로 산출할 수 있다. At this time, the noise components extracted from the first signal and the second signal are converted into a frequency domain in a frame unit divided by a predetermined time interval, and a noise component in the frequency domain and a first signal in the frequency domain converted in step S710 Can be calculated for each frequency bin.
한편, 본 발명의 일 실시예에 따른 단계(S720)에서는 주파수 영역의 잡음 성분의 크기와 주파수 영역의 제1 신호의 크기를 각각 0에서 1 사이의 값을 갖도록 정규화하고, 정규화된 제1 신호의 크기에서 정규화된 잡음 성분의 크기를 뺀 차에 해당하는 값을 크기 차로 산출할 수 있다. Meanwhile, in step S720, the magnitude of the noise component in the frequency domain and the magnitude of the first signal in the frequency domain are normalized to have values between 0 and 1, and the normalized first signal A value corresponding to a difference obtained by subtracting the magnitude of the normalized noise component from the magnitude can be calculated as the magnitude difference.
그리고, 단계(S730)에서는 단계(S710)에서 산출된 위상 차에 반비례하고 단계(S720)에서 산출된 크기 차에 비례하는 잡음제거 계수를 주파수빈별로 산출한다. In step S730, noise reduction coefficients in inverse proportion to the phase difference calculated in step S710 and proportional to the difference in magnitude calculated in step S720 are calculated for each frequency bin.
이때, 본 발명의 일 실시예에 따르면, 제1 신호와 제2 신호를 소정의 시간 간격으로 나누어진 프레임 단위로 음성 구간인지 또는 비음성 구간인지를 판단하는 단계(미도시)를 더 포함할 수 있으며, 단계(S730)에서는 음성 구간의 잡음제거 계수를 비음성 구간의 잡음제거 계수보다 크게 설정할 수 있다. According to an embodiment of the present invention, a step (not shown) for determining whether the first signal and the second signal are a voice section or a non-voice section on a frame-by-frame basis divided by a predetermined time interval In step S730, the noise reduction coefficient of the speech interval may be set to be larger than the noise reduction coefficient of the non-speech interval.
또한, 본 발명의 일 실시예에 따르면, 단계(S730)에서는 음성 구간 또는 비음성 구간에서 위상 차 및 크기 차에 따라 미리 생성된 퍼지 규칙을 이용하여 잡음제거 계수를 산출할 수 있다. Also, according to an embodiment of the present invention, in step S730, the noise removal coefficient may be calculated using a fuzzy rule generated in advance according to the difference in phase difference and magnitude between the speech interval and the non-speech interval.
마지막으로, 단계(S740)에서는 단계(S730)에서 산출된 주파수빈별 잡음제거 계수를 제1 신호에 반영하고, 잡음제거 계수가 반영된 제1 신호를 시간 영역으로 역변환하여 입력 신호에서 잡음이 제거된 출력 신호를 생성할 수 있다. Finally, in step S740, the frequency-dependent noise removal coefficient calculated in step S730 is reflected on the first signal, the inverse transformed first signal on which the noise reduction coefficient is reflected into the time domain, Signal can be generated.
지금까지 본 발명에 따른 음성신호에서의 잡음 제거 방법의 실시예들에 대하여 설명하였고, 앞서 도 1 내지 도 6에서 설명한 잡음 제거 장치(100)에 관한 구성이 본 실시예에도 그대로 적용 가능하다. 이에, 보다 상세한 설명은 생략하기로 한다.Embodiments of the noise canceling method in the speech signal according to the present invention have been described, and the configuration relating to the
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks, and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Examples of program instructions, such as magneto-optical and ROM, RAM, flash memory and the like, can be executed by a computer using an interpreter or the like, as well as machine code, Includes a high-level language code. The hardware devices described above may be configured to operate as at least one software module to perform operations of one embodiment of the present invention, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described by specific embodiments such as specific components and the like. For those skilled in the art, various modifications and variations are possible from these descriptions. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .
100 : 잡음 제거 장치 102 : 제1 마이크로폰
104 : 제2 마이크로폰 110 : 위상 차 계산부
120 : 크기 차 산출부 130 : 잡음제거 계수 산출부
140 : 음성 구간 판단부 150 : 출력 신호 생성부100: Noise canceling device 102: First microphone
104: second microphone 110: phase difference calculation unit
120: size difference calculation unit 130: noise reduction coefficient calculation unit
140: voice interval determination unit 150: output signal generation unit
Claims (14)
제1 음성입력장치 및 제2 음성입력장치에서 각각 입력된 제1 신호 및 제2 신호간의 위상 차를 계산하는 위상 차 계산부;
상기 제1 신호 및 제2 신호에서 잡음 성분을 추출하고, 상기 추출된 잡음 성분과 상기 제1 신호와의 크기(magnitude) 차를 산출하는 크기 차 산출부; 및
상기 위상 차 및 크기 차를 이용하여 잡음제거 계수를 산출하는 잡음제거 계수 산출부를 포함하는 잡음 제거 장치. An apparatus for removing noise from a signal input to a plurality of audio input apparatus,
A phase difference calculation unit for calculating a phase difference between the first signal and the second signal input from the first audio input device and the second audio input device, respectively;
A magnitude difference calculator for extracting a noise component from the first signal and the second signal and calculating a magnitude difference between the extracted noise component and the first signal; And
And a noise canceling coefficient calculator for calculating a noise canceling coefficient by using the phase difference and the magnitude difference.
상기 제1 신호와 상기 제2 신호가 음성 구간인지 또는 비음성 구간인지 판단하는 음성 구간 판단부를 더 포함하되,
상기 잡음제거 계수 산출부는 음성 구간인 경우의 잡음제거 계수를 비음성 구간인 경우보다 크게 설정하는 것을 특징으로 하는 잡음 제거 장치. The method of claim 1,
Further comprising a voice interval determination unit for determining whether the first signal and the second signal is a voice interval or a non-voice interval,
The noise canceling coefficient calculator is configured to set the noise canceling coefficient in the case of a speech section to be larger than in the non-voice section.
상기 위상 차 계산부는,
상기 제1 신호와 상기 제2 신호를 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 각각 변환하고, 상기 변환된 제1 신호와 상기 변환된 제2 신호간의 위상 차를 주파수빈(frequency bin)별로 산출하는 것을 특징으로 하는 잡음 제거 장치. The method of claim 1,
The phase-
A first frequency converter for converting the first signal and the second signal into a frequency domain in units of frames divided by a predetermined time interval and for generating a frequency bin by a phase difference between the converted first signal and the converted second signal, Wherein the noise reduction unit calculates the noise reduction amount per unit time.
상기 크기 차 산출부는,
상기 제1 신호 및 상기 제2 신호로부터 추출된 잡음 성분을 상기 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 변환하고, 상기 변환된 잡음 성분과 상기 변환된 제1 신호간의 크기 차를 상기 주파수빈별로 산출하는 것을 특징으로 하는 잡음 제거 장치. The method of claim 3,
The size-
A noise component extracted from the first signal and the second signal into a frequency domain on a frame-by-frame basis divided by the predetermined time interval, and a difference in magnitude between the converted noise component and the converted first signal, Wherein the noise elimination device is configured to perform binarization by binarization.
상기 잡음제거 계수 산출부는,
상기 위상 차에 반비례하고 상기 크기 차에 비례하는 잡음제거 계수를 상기 주파수빈별로 산출하는 것을 특징으로 하는 잡음 제거 장치. 5. The method of claim 4,
Wherein the noise reduction coefficient calculator comprises:
And a noise removal coefficient that is inversely proportional to the phase difference and proportional to the difference in magnitude is calculated for each frequency bin.
상기 주파수빈별 잡음제거 계수를 상기 제1 신호에 반영하고, 상기 잡음제거 계수가 반영된 제1 신호를 시간 영역으로 역변환하여 상기 입력 신호에서 잡음이 제거된 출력 신호를 생성하는 출력 신호 생성부를 더 포함하는 것을 특징으로 하는 잡음 제거 장치. The method of claim 5,
And an output signal generator for generating an output signal from which noise is removed from the input signal by reflecting the noise canceling coefficient for each frequency band on the first signal and inversely converting the first signal on which the noise canceling coefficient is reflected into the time domain, And a noise canceling unit.
상기 잡음제거 계수 산출부는,
상기 음성 구간 또는 비음성 구간에서 상기 위상 차 및 크기 차에 따라 미리 생성된 퍼지 규칙을 이용하여 상기 잡음제거 계수를 산출하는 것을 특징으로 하는 잡음 제거 장치. 3. The method of claim 2,
Wherein the noise reduction coefficient calculator comprises:
Wherein the noise removal coefficient calculating unit calculates the noise removal coefficient using a fuzzy rule generated in advance in accordance with the phase difference and the difference in size between the voice interval and the non-voice interval.
상기 크기 차 산출부는,
상기 변환된 잡음 성분의 크기와 상기 변환된 제1 신호의 크기를 각각 0에서 1 사이의 값을 갖도록 정규화하고, 상기 정규화된 제1 신호의 크기에서 상기 정규화된 잡음 성분의 크기를 뺀 차에 해당하는 값을 상기 크기 차로 산출하는 것을 특징으로 하는 잡음 제거 장치. 5. The method of claim 4,
The size-
And converting the magnitude of the transformed noise component and the magnitude of the transformed first signal to have a value between 0 and 1, respectively, and calculating a difference between the magnitude of the normalized first signal and the magnitude of the normalized noise component And calculates a value by the size difference.
제1 음성입력장치 및 제2 음성입력장치에서 각각 입력된 제1 신호 및 제2 신호간의 위상 차를 계산하는 단계;
상기 제1 신호 및 제2 신호에서 잡음 성분을 추출하고, 상기 추출된 잡음 성분과 상기 제1 신호와의 크기(magnitude) 차를 산출하는 단계; 및
상기 위상 차 및 크기 차를 이용하여 잡음제거 계수를 산출하는 단계를 포함하는 잡음 제거 방법. A method for removing noise from a signal input to a plurality of audio input devices,
Calculating a phase difference between a first signal and a second signal respectively input to the first audio input device and the second audio input device;
Extracting a noise component from the first signal and the second signal, and calculating a magnitude difference between the extracted noise component and the first signal; And
Calculating a noise canceling coefficient using the phase difference and magnitude difference.
상기 제1 신호와 상기 제2 신호가 음성 구간인지 또는 비음성 구간인지 판단하는 단계를 더 포함하되,
상기 잡음제거 계수를 산출하는 단계는 음성 구간인 경우의 잡음제거 계수를 비음성 구간인 경우보다 크게 설정하는 것을 특징으로 하는 잡음 제거 방법. 10. The method of claim 9,
The method may further include determining whether the first signal and the second signal are a voice section or a non-voice section.
The calculating of the noise canceling coefficient may include setting the noise canceling coefficient in the voice section to be larger than in the non-voice section.
상기 위상 차를 계산하는 단계는,
상기 제1 신호와 상기 제2 신호를 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 각각 변환하고, 상기 변환된 제1 신호와 상기 변환된 제2 신호간의 위상 차를 주파수빈(frequency bin)별로 산출하는 것을 특징으로 하는 잡음 제거 방법. 10. The method of claim 9,
Wherein calculating the phase difference comprises:
A first frequency converter for converting the first signal and the second signal into a frequency domain in units of frames divided by a predetermined time interval and for generating a frequency bin by a phase difference between the converted first signal and the converted second signal, Wherein the noise is calculated by the noise reduction method.
상기 크기 차를 산출하는 단계는,
상기 제1 신호 및 상기 제2 신호로부터 추출된 잡음 성분을 상기 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 변환하고, 상기 변환된 잡음 성분과 상기 변환된 제1 신호간의 크기 차를 상기 주파수빈별로 산출하는 것을 특징으로 하는 잡음 제거 방법. 12. The method of claim 11,
Wherein the step of calculating the size difference comprises:
A noise component extracted from the first signal and the second signal into a frequency domain on a frame-by-frame basis divided by the predetermined time interval, and a difference in magnitude between the converted noise component and the converted first signal, Wherein the noise is calculated for each bin.
상기 잡음제거 계수를 산출하는 단계는,
상기 위상 차에 반비례하고 상기 크기 차에 비례하는 잡음제거 계수를 상기 주파수빈별로 산출하는 것을 특징으로 하는 잡음 제거 방법. The method of claim 12,
Wherein the step of calculating the noise elimination coefficient comprises:
Wherein a noise removal coefficient in inverse proportion to the phase difference and proportional to the difference in magnitude is calculated for each frequency bin.
상기 주파수빈별 잡음제거 계수를 상기 제1 신호에 반영하고, 상기 잡음제거 계수가 반영된 제1 신호를 시간 영역으로 역변환하여 상기 입력 신호에서 잡음이 제거된 출력 신호를 생성하는 단계를 더 포함하는 것을 특징으로 하는 잡음 제거 방법. The method of claim 13,
And generating a noise-canceled output signal from the input signal by reflecting the noise canceling coefficient for each frequency band on the first signal and inversely converting the first signal on which the noise canceling coefficient is reflected into the time domain .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120051243A KR101424327B1 (en) | 2012-05-15 | 2012-05-15 | Apparatus and method for eliminating noise |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120051243A KR101424327B1 (en) | 2012-05-15 | 2012-05-15 | Apparatus and method for eliminating noise |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130127597A true KR20130127597A (en) | 2013-11-25 |
| KR101424327B1 KR101424327B1 (en) | 2014-07-31 |
Family
ID=49855027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120051243A KR101424327B1 (en) | 2012-05-15 | 2012-05-15 | Apparatus and method for eliminating noise |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101424327B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170015759A (en) * | 2015-07-31 | 2017-02-09 | 현대엠엔소프트 주식회사 | Sound detecting system based phase-error filter using a dual microphone and its method |
| WO2019045474A1 (en) * | 2017-09-04 | 2019-03-07 | 삼성전자주식회사 | Method and device for processing audio signal using audio filter having non-linear characteristics |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE287141T1 (en) * | 2000-08-14 | 2005-01-15 | Clear Audio Ltd | SYSTEM FOR INCREASING LANGUAGE QUALITY |
| JP2011033717A (en) * | 2009-07-30 | 2011-02-17 | Secom Co Ltd | Noise suppression device |
-
2012
- 2012-05-15 KR KR1020120051243A patent/KR101424327B1/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170015759A (en) * | 2015-07-31 | 2017-02-09 | 현대엠엔소프트 주식회사 | Sound detecting system based phase-error filter using a dual microphone and its method |
| WO2019045474A1 (en) * | 2017-09-04 | 2019-03-07 | 삼성전자주식회사 | Method and device for processing audio signal using audio filter having non-linear characteristics |
| US11276414B2 (en) | 2017-09-04 | 2022-03-15 | Samsung Electronics Co., Ltd. | Method and device for processing audio signal using audio filter having non-linear characteristics to prevent receipt of echo signal |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101424327B1 (en) | 2014-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7383178B2 (en) | System and method for speech processing using independent component analysis under stability constraints | |
| US9633654B2 (en) | Low power voice detection | |
| KR101210313B1 (en) | System and method for utilizing inter？microphone level differences for speech enhancement | |
| EP2633519B1 (en) | Method and apparatus for voice activity detection | |
| US10580428B2 (en) | Audio noise estimation and filtering | |
| EP3289586B1 (en) | Impulsive noise suppression | |
| US9384760B2 (en) | Sound processing device and sound processing method | |
| JP4753821B2 (en) | Sound signal correction method, sound signal correction apparatus, and computer program | |
| CN112424863B (en) | Voice perception audio system and method | |
| EP3276621B1 (en) | Noise suppression device and noise suppressing method | |
| CN111048104B (en) | Speech enhancement processing method, device and storage medium | |
| US11817112B2 (en) | Method, device, computer readable storage medium and electronic apparatus for speech signal processing | |
| CN105103230B (en) | Signal processing device, signal processing method, and signal processing program | |
| US20200045166A1 (en) | Acoustic signal processing device, acoustic signal processing method, and hands-free communication device | |
| US9911428B2 (en) | Noise suppressing apparatus, speech recognition apparatus, and noise suppressing method | |
| US8423360B2 (en) | Speech recognition apparatus, method and computer program product | |
| KR100917460B1 (en) | Noise cancellation apparatus and method thereof | |
| KR101424327B1 (en) | Apparatus and method for eliminating noise | |
| WO2017045512A1 (en) | Voice recognition method and apparatus, terminal, and voice recognition device | |
| CN108053834B (en) | Audio data processing method, device, terminal and system | |
| CN112151058B (en) | Sound signal processing method, device and equipment | |
| US10951978B2 (en) | Output control of sounds from sources respectively positioned in priority and nonpriority directions | |
| López-Espejo et al. | Feature enhancement for robust speech recognition on smartphones with dual-microphone | |
| CN111048096B (en) | Voice signal processing method and device and terminal | |
| US10706870B2 (en) | Sound processing method, apparatus for sound processing, and non-transitory computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E90F | Notification of reason for final refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170707 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180702 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190715 Year of fee payment: 6 |