KR101877022B1 - Apparatus for Cancellation of Acoustic Echo and Computer Program Therefore - Google Patents
Apparatus for Cancellation of Acoustic Echo and Computer Program Therefore Download PDFInfo
- Publication number
- KR101877022B1 KR101877022B1 KR1020170066034A KR20170066034A KR101877022B1 KR 101877022 B1 KR101877022 B1 KR 101877022B1 KR 1020170066034 A KR1020170066034 A KR 1020170066034A KR 20170066034 A KR20170066034 A KR 20170066034A KR 101877022 B1 KR101877022 B1 KR 101877022B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- microphone
- output
- echo
- terminal
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
Abstract
Description
본 실시예는 에코 제거를 위한 장치 및 그를 위한 컴퓨터 프로그램에 관한 것이다. 더욱, 상세하게는, 디바이스의 스피커 출력 신호를 실시간으로 취득할 수 없는 환경에서도 에코 제거 기능을 실현 가능토록 하는 에코 제거를 위한 장치 및 그를 위한 컴퓨터 프로그램에 관한 것이다.This embodiment relates to an apparatus for echo cancellation and a computer program therefor. More specifically, the present invention relates to an apparatus for echo cancellation, and a computer program therefor, which enable the echo cancellation function to be realized even in an environment where the speaker output signal of the device can not be acquired in real time.
이하에 기술되는 내용은 단순히 본 발명에 따른 일 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The following description merely provides background information related to an embodiment of the present invention and does not constitute the prior art.
음성 신호 취득을 목적으로 하는 디바이스에서 마이크로 입력된 신호로부터 음성 신호만을 추출하는데 있어, 스피커 출력에 의한 에코 성분 제거가 필수적이다. 이를 위해 일반적으로 에코캔슬러 (Acoustic Echo Canceller)를 적용한다. 이러한, 에코캔슬러에 의하는 경우 디바이스는 스피커의 출력 신호를 알고 있으므로, 이를 레퍼런스 신호로 하여 에코 성분 신호를 예측하고, 예측한 에코 성분 신호를 마이크 입력 신호에서 차감함으로써 음성 신호만을 추출한다.In extracting only a voice signal from a micro-input signal in a device for acquiring a voice signal, it is essential to remove the echo component by the speaker output. For this purpose, an acoustic echo canceller is generally applied. According to the echo canceller, since the device knows the output signal of the speaker, it uses this as a reference signal to predict the echo component signal, and extracts only the voice signal by subtracting the predicted echo component signal from the microphone input signal.
도 1은 종래의 에코캔슬러를 나타낸 도면이다. 도 1에 도시하듯이, 종래의 에코캔슬러는 스피커 출력신호 Y와 마이크 신호 X를 입력받아 에코가 제거된 출력신호 e를 생성한다. 보다 상세하게는, 에코캔슬러는 마이크 신호 X에서 적응필터(Adaptive Filter)의 출력을 차감하여 출력신호 e를 생성하게 된다. 한편, 적응필터는 스피커 출력신호 Y를 레퍼런스 신호(Reference Signal)로서 활용하여 에코 성분에 대한 예측값인 을 생성하는 역할을 수행한다. 이때,는 음향 공간 h에 대한 전달함수의 예측값을 의미한다. 즉, 에코캔슬러는 스피커 출력신호 Y에 기반하여 예측된 에코 성분을 마이크 신호 X로부터 필터링 처리함으로써 사용자의 음성신호만을 추출하게 된다.1 is a diagram showing a conventional echo canceller. As shown in FIG. 1, the conventional echo canceller receives the speaker output signal Y and the microphone signal X and generates an echo-free output signal e. More specifically, the echo canceller subtracts the output of the adaptive filter from the microphone signal X to generate the output signal e. On the other hand, the adaptive filter uses the speaker output signal Y as a reference signal to calculate a predicted value As shown in FIG. At this time, Is a predicted value of the transfer function for the acoustic space h. That is, the echo canceller extracts only the user's voice signal by filtering the predicted echo component based on the speaker output signal Y from the microphone signal X.
한편, 스마트폰에서 에코캔슬러는 오디오 플랫폼 단계에서 이루어지는 것이 일반적이다. 이 때문에 스마트폰에서 음성 대화 혹은 음성 인식 등을 제공하는 애플리케이션 프로그램의 경우 디바이스의 스피커 출력 신호를 실시간으로 취득할 수 없다는 한계점이 존재한다. 이는 곧, 해당 애플리케이션을 사용 시 종래의 스피커 출력신호를 레퍼런스 신호로서 활용하는 일반적인 에코캔슬러 기술을 적용할 수 없다는 문제점이 존재한다. 예를 들어, 스마트폰의 음성인식 애플리케이션은 음악 재생 어플리케이션이 재생하는 음악 소리로 인한 성능 감소 보정을 위해 기존의 에코캔슬러를 구동시킬 방법이 없는 문제가 있다. On the other hand, echo cancellers in smartphones are generally performed at the audio platform stage. Therefore, there is a limit in that an application program providing voice conversation or voice recognition in a smartphone can not acquire the speaker output signal of the device in real time. That is, there is a problem in that it is not possible to apply a general echo canceller technique that uses a conventional speaker output signal as a reference signal when the application is used. For example, a voice recognition application of a smartphone has a problem that there is no way to drive an existing echo canceller to compensate for performance degradation due to the music sound played by a music reproduction application.
이에, 디바이스의 스피커 출력 신호를 실시간으로 취득할 수 없는 환경에서도 에코 제거 기능을 실현 가능토록 하는 새로운 기술을 필요로 한다.Therefore, a new technique is required to realize an echo canceling function even in an environment where the speaker output signal of the device can not be acquired in real time.
본 실시예는 에코캔슬러 기능을 지원하는 단말기에 있어서, 디바이스의 스피커 출력 신호를 실시간으로 취득할 수 없는 환경에서도 두 개의 마이크로 유입되는 신호의 특성을 이용하여 에코 성분의 제거를 위한 기준 신호를 산출하고, 이를 기반으로 에코 성분이 제거된 음성 신호가 취득될 수 있도록 하는 데 그 목적이 있다.In this embodiment, a reference signal for eliminating an echo component is calculated using characteristics of two micro-incoming signals even in an environment where the speaker output signal of the device can not be acquired in real time in a terminal supporting the echo canceller function And a voice signal from which an echo component has been removed can be acquired based on the received signal.
본 실시예는, 에코 제거 기능을 갖는 단말기에 있어서, 사용자의 음성신호를 입력받기 위한 복수 개의 마이크를 포함하는 입력부; 및 상기 복수 개의 마이크의 위치에 기초하여 각각의 마이크의 출력신호로부터 에코 성분의 제거 대상에 해당하는 메인 신호 및 상기 에코 성분의 제거를 위한 기준 파라미터로서 사용되는 기준 신호를 결정하고, 상기 메인 신호 및 상기 기준 신호를 이용하여 상기 음성신호에 포함된 에코 성분이 제거된 에코 제거신호를 생성하는 필터부를 포함하는 것을 특징으로 하는 단말기를 제공한다.The present embodiment relates to a terminal having an echo cancellation function, comprising: an input unit including a plurality of microphones for receiving a user's voice signal; And a reference signal used as a reference parameter for eliminating the echo component and a main signal corresponding to an echo component removal object from output signals of the respective microphones based on the positions of the plurality of microphones, And a filter unit for generating an echo cancellation signal in which an echo component included in the voice signal is removed using the reference signal.
또한, 본 실시예의 다른 측면에 의하면, 하드웨어와 결합되어, 복수 개의 마이크를 통해 사용자의 음성신호를 입력받는 과정; 상기 복수 개의 마이크의 위치에 기초하여 각각의 마이크의 출력신호로부터 에코 성분의 제거 대상에 해당하는 메인 신호 및 상기 에코 성분의 제거를 위한 기준 파라미터로서 사용되는 기준 신호를 결정하는 과정; 및 상기 메인 신호 및 상기 기준 신호를 이용하여 상기 음성신호에 포함된 에코 성분이 제거된 에코 제거신호를 생성하는 과정을 실행시키기 위하여 기록매체에 저장된 에코 제거 프로그램을 제공한다.According to another aspect of the present invention, there is provided a method comprising: receiving a voice signal of a user through a plurality of microphones coupled with hardware; Determining a reference signal to be used as a reference parameter for removing the main signal and the echo component from the output signal of each microphone based on the positions of the plurality of microphones; And generating an echo cancellation signal in which an echo component included in the voice signal is removed using the main signal and the reference signal.
본 실시예에 따르면, 에코캔슬러 기능을 지원하는 단말기에 있어서, 디바이스의 스피커 출력 신호를 실시간으로 취득할 수 없는 환경에서도 두 개의 마이크로 유입되는 신호의 특성을 이용하여 에코 성분의 제거를 위한 기준 신호를 산출함으로써 에코 성분이 제거된 음성 신호를 취득할 수 있는 효과가 있다.According to the present embodiment, in the terminal supporting the echo canceller function, even in an environment where the speaker output signal of the device can not be acquired in real time, the reference signal for eliminating the echo component The audio signal from which the echo component has been removed can be obtained.
도 1은 종래의 에코캔슬러를 나타낸 도면이다.
도 2는 본 실시예에 따른 단말기의 스피커와 마이크의 배치 형태를 예시한 예시도이다.
도 3은 도 2의 배치 형태에 따라 마이크로 유입되는 신호의 특성을 예시한 예시도이다.
도 4 내지 도 5는 본 실시예에 따른 단말기를 개략적으로 나타낸 블록 구성도이다.
도 6은 본 실시예에 따른 단말기의 에코 제거방법을 설명하기 위한 순서도이다.
도 7은 본 실시예에 따른 단말기에 의해 생성되는 에코 제거신호를 나타낸 도면이다.1 is a diagram showing a conventional echo canceller.
2 is a diagram illustrating an exemplary arrangement of a speaker and a microphone of a terminal according to the present embodiment.
3 is an exemplary diagram illustrating the characteristics of a microinjected signal according to the arrangement of FIG.
4 to 5 are block diagrams schematically showing a terminal according to the present embodiment.
6 is a flowchart for explaining an echo cancellation method of a terminal according to the present embodiment.
7 is a diagram illustrating an echo cancellation signal generated by a terminal according to the present embodiment.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings.
도 2는 본 실시예에 따른 단말기의 스피커와 마이크의 배치 형태를 예시한 예시도이다.2 is a diagram illustrating an exemplary arrangement of a speaker and a microphone of a terminal according to the present embodiment.
본 실시예에 따른 단말기(200)는 사용자의 키 조작에 따라 네트워크 등을 경유하여 각종 데이터를 송수신할 수 있는 단말기를 말하는 것이며, 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다. 이하에서는, 본 실시예에 따른 단말기(200)가 스마트폰인 것으로 예시하여 설명하나 반드시 이에 한정되는 것은 아니다.The
도 2에 도시하듯이, 본 실시예에 따른 단말기(200)는 2개의 마이크(210, 220)와 스피커(230)를 구비한다. 한편, 도 2의 경우, 본 실시예에 따른 단말기(200)를 통한 에코 제거기능을 제공함에 있어서 기본이 되는 마이크 및 스피커의 배치 형태를 예시적으로 도시한 것으로서, 이러한, 단말기(200)는 도시한 것보다 많거나 적은 구성요소 또는 상이한 구성요소의 구성(Configuration)을 가질 수 있음을 인식하여야 한다.As shown in FIG. 2, the
본 실시예에 있어서, 제1 마이크(210)는 단말기(200)의 몸체상의 제1 위치에 위치하며, 제2 마이크(220)는 단말기(200)의 몸체상의 제2 위치에 위치한다. 이때, 제2 마이크(220)는 제1 마이크(210) 대비 단말기(200)의 스피커(230)와 인접하여 배치된다.In this embodiment, the
도 2를 참조하여 설명하자면, 제2 마이크(220)는 단말기(200)의 몸체 하단에 스피커(230)와 근접하여 위치되는 바텀 마이크의 형태로 구현될 수 있으며, 제1 마이크(210)는 단말기(200)의 몸체 상단에 위치되는 탑 마이크의 형태로 구현될 수 있다. 한편, 이러한, 제1 마이크(210) 및 제2 마이크(220)에 대한 단말기(200) 내 구현 위치는 반드시 이에 한정되는 것은 아니다. 예컨대, 제1 마이크(210) 및 제2 마이크(220)의 위치는 제2 마이크(220)의 위치가 제1 마이크(210)의 위치 대비 스피커(230)와 인접하여 배치되는 경우라면, 어떠한 위치상에 구현되더라도 무관하다. 이하, 제1 마이크(210)가 단말기(200)의 몸체 상단에 위치하고, 제2 마이크(220)가 단말기(200)의 몸체 하단에 위치하는 경우를 예시하여 설명하도록 한다.2, the
도 3은 도 2의 배치 형태에 따라 마이크로 유입되는 신호의 특성을 예시한 예시도이다. 한편, 도 3에서는 본 실시예에 따른 단말기(200)가 차량에 거치되어 네비게이션으로 이용되는 경우에 각각의 마이크로 유입되는 신호의 특성을 예시하였다.3 is an exemplary diagram illustrating the characteristics of a microinjected signal according to the arrangement of FIG. FIG. 3 illustrates characteristics of each micro-incoming signal when the
도 3의 (a)는, 본 실시예에 따른 단말기(200)의 스피커(230)가 활성화(=신호 출력) 상태로 동작 시 각각의 마이크로 유입되는 신호의 특성을 예시하였다.3 (a) illustrates characteristics of each micro-incoming signal when the
도 3의 (a)를 참조하면, 제2 마이크(220)에는 스피커(230)의 출력에 의한 에코 성분이 크게 유입되고, 제1 마이크(210)에는 크게 감쇄된 잔여 에코만이 유입된 것을 확인할 수 있다.3 (a), it is confirmed that the echo component due to the output of the
도 3의 (b)는 본 실시예에 따른 단말기(200)를 향해 사용자 음성이 발화된 경우의 각각의 마이크로 유입되는 신호의 특성을 예시하였다.3 (b) illustrates the characteristics of each micro-incoming signal when the user's voice is uttered toward the
도 3의 (b)를 참조하면, 단말기(200)를 향해 발화된 사용자 음성은 양단의 마이크로 유입되는 시간 차이가 존재할 수 있으나 그 크기 차이가 없는 것을 확인할 수 있다.Referring to FIG. 3 (b), it can be seen that there is a time difference in the user's voice that is ignited toward the
본 실시예의 경우 상기와 같이 마이크의 위치에 따라 각각의 마이크로 유입되는 신호의 특성을 이용하여, 디바이스의 스피커 출력 신호를 실시간으로 취득할 수 없는 환경에서도 종래의 레퍼런스 신호를 활용하는 에코캔슬러 기술을 적용 가능토록 하는 새로운 에코 제거방법을 제안한다.The echo canceller technique utilizing the conventional reference signal even in an environment in which the speaker output signal of the device can not be obtained in real time by using the characteristics of each micro incoming signal according to the position of the microphone as described above We propose a new echo cancellation method that can be applied.
보다 자세하게 설명하자면, 단말기(200)를 향해 사용자 음성이 발화되는 경우 양단의 마이크로 유입되는 음성 신호는 도 3의 (b)와 같이 그 크기 차이가 발생하지 않는다. 한편, 단말기(200)의 스피커(230)가 활성화 상태로 동작하는 경우 양단의 마이크로 유입되는 오디오 신호에는 스피커(230)의 출력에 따른 에코 성분의 유입 정도에 있어서 차이가 발생하게 된다. 예컨대, 제2 마이크(220)에는 스피커(230)의 출력에 의한 에코 성분이 크게 유입되고, 제1 마이크(210)에는 크게 감쇄된 잔여 에코만이 유입된다.More specifically, when a user's voice is uttered toward the
이 점에 기인하여, 본 실시예의 경우, 디바이스의 스피커 출력 신호를 실시간으로 취득할 수 없는 환경에서 제2 마이크(220)의 출력신호를 종래의 스피커 출력 신호(=도 1의 Y 신호)로서 인지하고, 이를 종래와 같이 에코 성분의 제거를 위한 레퍼런스 신호로 활용함으로써 에코 성분이 제거된 음성 신호가 취득될 수 있도록 한다. 마찬가지로, 제1 마이크(220)의 출력신호는 종래의 마이크 신호(=도 1의 X 신호)로서 활용될 수 있다.Due to this point, in the present embodiment, the output signal of the
이러한, 단말기(100)의 에코 제거 방법은, 바람직하게는 오디오 플랫폼단의 에코켄슬러 기능을 이용하기 어려운 다양한 앱(App)에 적용될 수 있다.The echo cancellation method of the terminal 100 can be applied to a variety of apps that are difficult to use the echo canceller function of the audio platform.
도 4 내지 도 5는 본 실시예에 따른 단말기를 개략적으로 나타낸 블록 구성도이다.4 to 5 are block diagrams schematically showing a terminal according to the present embodiment.
도 4는 본 발명의 제1 실시예에 따른 단말기(200)를 개략적으로 나타낸 블록 구성도이다.4 is a block diagram schematically showing a
도 4에 도시하듯이, 본 발명의 제1 실시예에 따른 단말기(200)는 입력부(400), 신호 생성부(410) 및 필터부(420)를 포함한다.4, the
입력부(400)는 사용자의 음성신호를 입력받기 위한 복수 개의 마이크를 포함하는 형태로 구성된다.The
입력부(400)는 복수 개의 마이크로서 제1 마이크(210) 및 제2 마이크(220)를 포함한다. 이러한, 각 마이크(210, 220)의 배치 형태에 대해서는 도 2에서 언급한바 자세한 설명은 생략하도록 한다.The
신호 생성부(410)는 제1 마이크(210) 및 제2 마이크(220)의 출력신호에 대한 차분 신호를 생성하는 기능을 생성한다.The
본 실시예에 있어서, 신호 생성부(410)는 제1 내지 제2 처리부(412, 416) 및 발생부(414)를 포함한다.In the present embodiment, the
제1 처리부(412)는 제1 마이크(210) 및 제2 마이크(220)의 출력신호 각각에 대한 주파수 도메인 신호를 생성하는 기능을 수행한다. 이러한, 제1 처리부(412)는 각각의 마이크(210, 220)별로 구비될 수 있으며, 예컨대, 고속푸리에변환(FFT: Fast Fourier Transform)을 수행 가능한 장치일 수 있다.The
발생부(414)는 제1 마이크의 출력신호에 대응되는 제1 주파수 도메인 신호 및 제2 마이크의 출력신호에 대응되는 제2 주파수 도메인 신호를 입력받고, 제2 주파수 도메인 신호로부터 제1 주파수 도메인 신호를 차분하여 차분 신호를 생성하는 기능을 수행한다. 이를 위해, 발생부(414)는 제2 마이크(220)의 출력단에 연장되는 형태로 구성되어 제2 마이크(220)의 출력신호에 대응되는 제2 주파수 도메인 신호를 제공받으며, 상기의 차분 신호를 생성하기 위해 제1 마이크(210)의 출력신호에 대응되는 제1 주파수 도메인 신호를 추가로 제공받는 형태로 구성될 수 있다. 본 실시예의 경우, 발생부(414)가 각각의 주파수 도메인 신호를 차분하여 차분 신호를 생성하는 방법에 대해서 특정 방법으로 한정하지는 않는다.The generating
한편, 본 실시예에 있어서, 발생부(414)는 제1 처리부(412)를 통해 주파수 도메인 신호로 변환된 각각의 마이크의 출력신호를 기반으로 하여 차분 신호를 생성함에 따라, 스피커 출력에 따른 에코 성분이 보다 정확하게 예측될 수 있도록 한다.In the present embodiment, the generating
제2 처리부(416)는 발생부(414)에 의해 생성된 차분 신호를 시간 도메인 신호로 재변경하여 출력하는 기능을 수행한다. 제2 처리부(416)는 제2 마이크(220)의 출력단에 연장되는 형태로 구성될 수 있으며, 예컨대, 고속푸리에역변환(IFFT: Inverse Fast Ffourier Tramsform)을 수행 가능한 장치일 수 있다.The
필터부(420)는 입력부(400)를 통해 전달되는 음성신호로부터 에코 성분을 제거하는 기능을 수행한다. 이때, 에코 성분은 스피커(230)로부터 출력되는 신호가 마이크로 재입력됨에 따라 야기되는 신호 성분을 의미한다.The
본 실시예에 따른 필터부(420)는 두 개의 마이크로 유입되는 신호의 특성을 이용하여 에코 성분 신호를 예측하고, 이를 기반으로 에코 성분이 제거된 음성 신호를 취득한다.The
이하, 필터부(420)가 에코 성분이 제거된 음성 신호를 취득하는 방법에 대해 설명하도록 한다.Hereinafter, a method of acquiring the voice signal from which the echo component has been removed by the
필터부(320)는 제1 마이크(210) 및 제2 마이크(220)의 출력신호를 입력받는다. 이때, 필터부(320)는 제2 마이크(220)의 출력신호로서 신호 생성부(410)에 의해 생성된 차분 신호를 입력받는다.The filter unit 320 receives the output signals of the
필터부(420)는 복수 개의 마이크의 위치에 기초하여 각각의 마이크의 출력신호로부터 메인 신호 및 기준 신호를 결정한다. 이때, 메인 신호는 에코 성분의 제거 대상이 되는 신호로서 도 1의 마이크 신호 X에 해당하는 신호를 의미한다. 기준 신호는 에코 성분의 제거를 위한 기준 파라미터로서 사용되는 신호로서, 도 1의 스피커 출력신호 Y에 해당하는 신호를 의미한다.The
본 실시예에 따른 필터부(420)는 제1 마이크(210)의 출력신호를 메인 신호로 결정하고, 차분 신호를 기준 신호로서 결정한다. 한편, 단말기를 향해 발화된 사용자의 음성이 양단 마이크에 동일한 파워 스펙트럼으로 유입된다고 할 때, 차분 신호에는 음성 신호가 제거된 스피커 출력 에코 성분이 우세하게 된다. 이 점에 기인하여, 필터부(420)는 차분 신호를 에코 성분의 제거를 위한 기준 신호 즉, 종래의 에코캔슬러에서의 레퍼런스 신호로서 결정한다.The
필터부(420)는 결정된 메인 신호 및 기준 신호를 이용하여 음성신호에 포함된 에코 성분이 제거된 에코 제거신호를 생성한다. 한편, 필터부(420)가 메인 신호 및 기준 신호를 이용하여 에코 제거신호를 생성하는 방법은 앞서 도 1의 에코캔슬러가 마이크 신호 X 및 스피커 출력신호 Y를 이용하여 에코 제거신호를 생성하는 방법과 동일하며, 이에 자세한 설명은 생략하도록 한다.The
도 5는 본 발명의 제2 실시예에 따른 단말기(200)를 개략적으로 나타낸 블록 구성도이다.5 is a block diagram schematically showing a terminal 200 according to a second embodiment of the present invention.
도 5에 도시하듯이, 본 발명의 제2 실시예에 따른 단말기(200)는 제1 실시예에 따른 단말기(200)의 구성요소에서 출력 제어부(500)를 추가로 포함하는 형태로 구현될 수 있다. 이러한, 제2 실시예에 따른 단말기(200)의 경우 출력 제어부(500)를 제외한 나머지 구성요소들에 대한 기능이 제1 실시예에 따른 단말기(200)와 동일한 바 자세한 설명은 생략하도록 한다.5, the terminal 200 according to the second embodiment of the present invention can be implemented in a form including the
출력 제어부(500)는 필터부(420)로부터 생성된 에코 제거신호의 출력을 제어하는 기능을 수행한다.The
앞서, 도 3에서 설명하였듯이 스피커(230)의 출력이 작거나 스피커(230)가 비활성화 상태로 동작하는 경우 각각의 마이크(210, 220)로 유입되는 사용자 음성은 그 크기에 있어서 차이가 존재하지 않는다. 이 경우, 필터부(420)에 의해 상기의 차분 신호가 에코 성분의 제거를 위한 기준 신호로서 결정되는 경우 자칫 사용자의 음성 신호가 왜곡(혹은 제거)되는 문제가 발생할 수 있다.3, when the output of the
본 실시예에 따른 출력 제어부(500)는 복수 개의 마이크(210, 220)의 출력신호에 기반하여 스피커(230)의 활성화 여부를 판단하고, 판단결과에 따라 에코 제거신호를 선택적으로 출력시킨다. 이를 위해, 출력 제어부(500)는 복수 개의 마이크의 출력신호와 필터부(420)의 출력신호(=에코 제거신호)를 입력받도록 구현된다.The
출력 제어부(420)는 제1 마이크(210)와 제2 마이크(220)의 출력신호의 출력비(Power Ratio)를 구하고, 이를, 기 설정된 경계값과 비교하는 방식을 통해 스피커(230)의 활성화 여부를 판단할 수 있다. 이때, 출력 제어부(500)는 상기의 출력비가 경계값보다 큰 경우 스피커(230)가 활성화된 것으로 판단한다.The
출력 제어부(500)는 제1 마이크(210)와 제2 마이크(220)의 출력신호의 출력 스팩트럼비(Power Spectrum Ratio)를 구하고, 이를, 기 설정된 기준 스팩트럼비와 비교하는 방식을 통해 스피커(230)의 활성화 여부를 판단할 수 있다. 이때, 출력 제어부(500)는 상기의 출력 스팩트럼비와 기준 스팩트럼비의 유사도를 확인하고, 확인결과에 따라 유사도가 높은 것으로 판단되는 경우 스피커(230)가 활성화된 것으로 판단한다.The
본 실시예에서는 출력 제어부(500)가 제1 마이크(210)와 제2 마이크(220)의 출력신호에 기반하여 스피커(230)의 활성화 여부를 판단하는 방법에 대해 특정 방법으로 한정하지는 않는다.The method for determining whether the
출력 제어부(500)는 스피커(230)의 활성화 여부에 대한 판단결과에 따라 제1 마이크(210)의 출력신호 및 필터부(420)의 출력신호(=에코 제거신호) 중 어느 하나의 신호를 최종 출력신호로서 결정한다. 예컨대, 출력 제어부(500)는 스피커(230)가 활성화 상태인 것으로 판단된 경우에는 필터부(420)의 출력신호를 최종 출력신호로서 결정하고, 스피커(230)가 비활성화 상태인 것으로 판단된 경우에는 제1 마이크(210)의 출력신호를 최종 출력신호로서 결정한다.The
도 6은 본 실시예에 따른 단말기의 에코 제거방법을 설명하기 위한 순서도이다.6 is a flowchart for explaining an echo cancellation method of a terminal according to the present embodiment.
단말기(200)는 단말기(200)에 구비된 제1 마이크(210) 및 제2 마이크(220)를 통해 사용자의 음성신호를 수집한다(S602). 단계 S602에서 단말기(200)는 단말기(200)의 몸체 상단에 위치한 제1 마이크(210) 및 단말기(200)의 몸체 하단에 위치한 제2 마이크(220)를 통해 사용자의 음성신호를 수집한다.The terminal 200 collects the user's voice signal through the
단말기(200)는 제1 마이크(210) 및 제2 마이크(220)의 출력신호에 대한 차분신호를 생성한다(S604). 단계 S604에서 단말기(200)는 제1 마이크(210) 및 제2 마이크(220)의 출력신호를 각각 주파수 도메인 신호로 변환하고, 변환된 주파수 도메인 신호들을 차분하여 차분 신호를 생성한다. 이후, 단말기(200)는 생성된 차분 신호를 시간 도메인 신호로 재변환하여 출력한다.The terminal 200 generates a difference signal for the output signals of the
단말기(200)는 제1 마이크(210)의 출력신호 및 단계 S604에서 생성된 차분신호로부터 메인 신호와 기준 신호를 결정한다(S606). 단계 S606에서 단말기(200)는 제1 마이크(210)의 출력신호를 메인 신호로서 결정하고, 단계 S604에서 생성된 차분신호를 기준신호로서 결정한다.The terminal 200 determines a main signal and a reference signal from the output signal of the
단말기(200)는 단계 S606에서 결정한 메인 신호 및 기준 신호를 이용하여 음성신호에 포함된 에코 성분이 제거된 에코 제거신호를 생성한다(S608). 단계 S608에서 단말기(200)는 제1 마이크(210)의 출력신호로부터 상기의 차분 신호의 성분을 제거하여 에코 제거신호를 생성한다.The terminal 200 generates an echo cancellation signal in which the echo component included in the voice signal is removed using the main signal and the reference signal determined in step S606 (S608). In step S608, the terminal 200 removes the component of the difference signal from the output signal of the
한편, 본 발명의 다른 실시예에서 단말기(200)는 스피커(230)의 활성화 여부를 판단하고, 판단결과에 따라 단계 S608에서 생성된 에코 제거신호의 출력을 제어하는 과정을 추가로 수행할 수 있다. 이때, 단말기(200)는 스피커(230)가 활성화 상태인 것으로 판단된 경우에는 단계 S608의 에코 제거신호가 최종 출력신호로서 출력되도록 제어하고, 스피커(230)가 비활성화 상태인 것으로 판단되는 경우에는 제1 마이크(210)의 출력신호가 최종 출력신호로서 출력되도록 제어한다.Meanwhile, in another embodiment of the present invention, the terminal 200 may further determine whether to activate the
도 6에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 6에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.In FIG. 6, it is described that each process is sequentially executed, but it is not limited thereto. In other words, it is applicable that the process described in FIG. 6 is changed or executed or one or more processes are executed in parallel, so that FIG. 5 is not limited to the time series order.
한편, 도 6에 기재된 에코 제거방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.Meanwhile, the echo cancellation method shown in FIG. 6 is performed by recording on a recording medium (a CD-ROM, a RAM, a ROM, a memory card, a hard disk, a magneto-optical disk, a storage device, etc.) .
도 7은 본 실시예에 따른 단말기에 의해 생성되는 에코 제거신호를 나타낸 도면이다.7 is a diagram illustrating an echo cancellation signal generated by a terminal according to the present embodiment.
도 7의 상단 그림은 제1 마이크(210)의 출력신호를, 도 6의 하단 그림은 단말기(200)에 의해 생성된 에코 제거신호를 도시하고 있다.7 shows the output signal of the
이러한, 도 7을 참조하면, 본 실시예에 따른 단말기(200)의 에코 제거방법에 의하는 경우 디바이스의 스피커 출력 신호를 실시간으로 취득할 수 없는 환경에서도 에코 성분을 제거한 음성 신호가 효과적으로 취득될 수 있음을 확인할 수 있다.Referring to FIG. 7, according to the echo removing method of the terminal 200 according to the present embodiment, even when the speaker output signal of the device can not be acquired in real time, the voice signal from which the echo component is removed can be effectively acquired .
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.
200: 단말기 210: 제1 마이크
220: 제2 마이크 400: 입력부
410: 신호 생성부 412: 제1 처리부
414: 발생부 416: 제2 처리부
420: 필터부 500: 출력 제어부 200: terminal 210: first microphone
220: second microphone 400: input unit
410: signal generator 412: first processor
414: Generation unit 416: Second processing unit
420: filter unit 500: output control unit
Claims (8)
사용자의 음성신호를 입력받기 위한 제1 마이크 및 제2 마이크를 포함하며, 상기 제2 마이크는 상기 제1 마이크 대비 상기 단말기의 스피커와 인접하여 배치되는 입력부; 및
상기 제1 마이크의 출력신호를 에코 성분의 제거 대상에 해당하는 메인 신호로서, 상기 제2 마이크의 출력신호와 상기 제1 마이크의 출력신호 간의 차분 신호를 상기 에코 성분의 제거를 위한 기준 파라미터로서 사용되는 기준 신호로서 결정하고, 상기 메인 신호 및 상기 기준 신호를 이용하여 상기 음성신호에 포함된 에코 성분이 제거된 에코 제거신호를 생성하는 필터부
를 포함하는 것을 특징으로 하는 단말기.1. A terminal having an echo cancellation function,
A first microphone and a second microphone for receiving a user's voice signal, the second microphone being disposed adjacent to the speaker of the terminal with respect to the first microphone; And
A difference signal between an output signal of the second microphone and an output signal of the first microphone is used as a reference parameter for removing the echo component as a main signal corresponding to an echo component removal target of the output signal of the first microphone, And generating an echo cancellation signal by removing an echo component included in the audio signal using the main signal and the reference signal,
And a second terminal.
상기 제2 마이크의 출력신호로부터 상기 제1 마이크의 출력신호를 차감하여 차분 신호를 생성하는 신호 생성부를 더 포함하는 것을 특징으로 하는 단말기.The method according to claim 1,
Further comprising a signal generator for subtracting an output signal of the first microphone from an output signal of the second microphone to generate a difference signal.
상기 필터부는,
상기 차분 신호를 기반으로 상기 에코 성분을 예측하고, 예측된 에코 성분을 상기 제1 마이크의 출력신호로부터 제거하여 상기 에코 제거신호를 생성하는 것을 특징으로 하는 단말기.The method of claim 3,
The filter unit includes:
And estimates the echo component based on the difference signal and removes the predicted echo component from the output signal of the first microphone to generate the echo cancellation signal.
상기 복수 개의 마이크의 출력신호에 기반하여 상기 스피커의 활성화 여부를 판단하고, 판단결과에 따라 상기 에코 제거신호의 출력을 제어하는 출력 제어부를 더 포함하는 것을 특징으로 하는 단말기.The method according to claim 1,
Further comprising an output controller for determining whether the speaker is activated based on output signals of the plurality of microphones and controlling the output of the echo cancellation signal according to a determination result.
상기 출력 제어부는,
상기 스피커가 활성화 상태인 것으로 판단되는 경우에는 상기 에코 제거신호가 출력되도록 제어하며, 상기 스피커가 비활성화 상태인 것으로 판단되는 경우에는 상기 제1 마이크의 출력신호가 출력되도록 제어하는 것을 특징으로 하는 단말기.6. The method of claim 5,
Wherein the output control unit comprises:
Wherein the controller controls the echo cancellation signal to be output when it is determined that the speaker is in an active state and controls the output signal of the first microphone when the speaker is determined to be in an inactive state.
제1 마이크 및 상기 제1 마이크 대비 단말기의 스피커와 인접하여 배치되는 제2 마이크를 통해 사용자의 음성신호를 입력받는 과정;
상기 제1 마이크의 출력신호를 에코 성분의 제거 대상에 해당하는 메인 신호로서, 상기 제2 마이크의 출력신호와 상기 제1 마이크의 출력신호 간의 차분 신호를 상기 에코 성분의 제거를 위한 기준 파라미터로서 사용되는 기준 신호로서 결정하는 과정; 및
상기 메인 신호 및 상기 기준 신호를 이용하여 상기 음성신호에 포함된 에코 성분이 제거된 에코 제거신호를 생성하는 과정
을 실행시키기 위하여 기록매체에 저장된 에코 제거 프로그램.Combined with hardware,
Receiving a user's voice signal through a first microphone and a second microphone disposed adjacent to the speaker of the terminal with respect to the first microphone;
A difference signal between an output signal of the second microphone and an output signal of the first microphone is used as a reference parameter for removing the echo component as a main signal corresponding to an echo component removal target of the output signal of the first microphone, As a reference signal; And
Generating an echo cancellation signal by removing an echo component included in the speech signal using the main signal and the reference signal;
Is stored in the recording medium.
상기 복수 개의 마이크의 출력신호에 기반하여 상기 단말기에 구비된 스피커의 활성화 여부를 판단하고, 판단결과에 따라 상기 에코 제거신호의 출력을 제어하는 과정을 더 포함하는 것을 특징으로 하는 기록매체에 저장된 에코 제거 프로그램.
8. The method of claim 7,
Further comprising the step of determining whether to activate the speaker provided in the terminal based on the output signals of the plurality of microphones and controlling the output of the echo cancellation signal according to the determination result Uninstaller.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170066034A KR101877022B1 (en) | 2017-05-29 | 2017-05-29 | Apparatus for Cancellation of Acoustic Echo and Computer Program Therefore |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170066034A KR101877022B1 (en) | 2017-05-29 | 2017-05-29 | Apparatus for Cancellation of Acoustic Echo and Computer Program Therefore |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101877022B1 true KR101877022B1 (en) | 2018-07-10 |
Family
ID=62915907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170066034A KR101877022B1 (en) | 2017-05-29 | 2017-05-29 | Apparatus for Cancellation of Acoustic Echo and Computer Program Therefore |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101877022B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021172893A1 (en) * | 2020-02-25 | 2021-09-02 | 삼성전자 주식회사 | Method and device for echo canceling |
KR102351819B1 (en) * | 2021-03-26 | 2022-01-17 | 주식회사 이노피아테크 | Method and apparatus for simultaneously supporting remote voice recognition of two microphones and multiple broadcasters or ai service companies |
KR102351818B1 (en) * | 2021-03-26 | 2022-01-17 | 주식회사 이노피아테크 | Method and apparatus for simultaneously supporting remote voice recognition of two microphones and multiple broadcasters or ai service companies |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010283483A (en) * | 2009-06-03 | 2010-12-16 | Hitachi Ltd | Echo canceller, microphone, and method of supporting arrangement of speaker |
JP2011160429A (en) * | 2011-02-15 | 2011-08-18 | Nippon Telegr & Teleph Corp <Ntt> | Echo elimination device |
JP2017191987A (en) * | 2016-04-12 | 2017-10-19 | 日本電信電話株式会社 | Echo suppressor, method thereof, program, and record medium |
-
2017
- 2017-05-29 KR KR1020170066034A patent/KR101877022B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010283483A (en) * | 2009-06-03 | 2010-12-16 | Hitachi Ltd | Echo canceller, microphone, and method of supporting arrangement of speaker |
JP2011160429A (en) * | 2011-02-15 | 2011-08-18 | Nippon Telegr & Teleph Corp <Ntt> | Echo elimination device |
JP2017191987A (en) * | 2016-04-12 | 2017-10-19 | 日本電信電話株式会社 | Echo suppressor, method thereof, program, and record medium |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021172893A1 (en) * | 2020-02-25 | 2021-09-02 | 삼성전자 주식회사 | Method and device for echo canceling |
KR102351819B1 (en) * | 2021-03-26 | 2022-01-17 | 주식회사 이노피아테크 | Method and apparatus for simultaneously supporting remote voice recognition of two microphones and multiple broadcasters or ai service companies |
KR102351818B1 (en) * | 2021-03-26 | 2022-01-17 | 주식회사 이노피아테크 | Method and apparatus for simultaneously supporting remote voice recognition of two microphones and multiple broadcasters or ai service companies |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101210313B1 (en) | System and method for utilizing inter?microphone level differences for speech enhancement | |
Hänsler et al. | Acoustic echo and noise control: a practical approach | |
KR101444100B1 (en) | Noise cancelling method and apparatus from the mixed sound | |
US20190222691A1 (en) | Data driven echo cancellation and suppression | |
CN103841491B (en) | Adaptable System for managing multiple microphones and loud speaker | |
KR101540896B1 (en) | Generating a masking signal on an electronic device | |
EP2987316B1 (en) | Echo cancellation | |
US7761292B2 (en) | Method and apparatus for disturbing the radiated voice signal by attenuation and masking | |
KR20170142001A (en) | Electric device, acoustic echo cancelling method of thereof and non-transitory computer readable recording medium | |
KR20190026234A (en) | Method and apparatus for removimg an echo signal | |
WO2016126528A1 (en) | Non-linear echo path detection | |
CN104243732A (en) | Use of vibration sensor in acoustic echo cancellation | |
KR20120114327A (en) | Adaptive noise reduction using level cues | |
WO2016025211A1 (en) | Systems and methods for nonlinear echo cancellation | |
CN104395957A (en) | A universal reconfigurable echo cancellation system | |
KR101877022B1 (en) | Apparatus for Cancellation of Acoustic Echo and Computer Program Therefore | |
JP2007003702A (en) | Noise eliminator, communication terminal, and noise eliminating method | |
US9343073B1 (en) | Robust noise suppression system in adverse echo conditions | |
CN108140395B (en) | Comfort noise generation apparatus and method | |
EP2752848B1 (en) | Method and apparatus for generating a noise reduced audio signal using a microphone array | |
CN108028983A (en) | Nonlinear acoustics echo cancellor based on transducer impedance | |
EP3809601B1 (en) | Echo suppression device, echo suppression method, and echo suppression program | |
US11380312B1 (en) | Residual echo suppression for keyword detection | |
KR20150032562A (en) | Method and deivce for eliminating noise, and mobile terminal | |
CN113362843B (en) | Audio signal processing method and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |