KR20200024098A - Stereo noise cancellation device and method thereof - Google Patents

Stereo noise cancellation device and method thereof Download PDF

Info

Publication number
KR20200024098A
KR20200024098A KR1020190101737A KR20190101737A KR20200024098A KR 20200024098 A KR20200024098 A KR 20200024098A KR 1020190101737 A KR1020190101737 A KR 1020190101737A KR 20190101737 A KR20190101737 A KR 20190101737A KR 20200024098 A KR20200024098 A KR 20200024098A
Authority
KR
South Korea
Prior art keywords
channel filter
end channel
far
previous
output signal
Prior art date
Application number
KR1020190101737A
Other languages
Korean (ko)
Other versions
KR102204119B1 (en
Inventor
박형민
조병준
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to PCT/KR2019/010719 priority Critical patent/WO2020045898A1/en
Priority to CN201980052460.XA priority patent/CN112534832B/en
Priority to US16/586,983 priority patent/US11094333B2/en
Publication of KR20200024098A publication Critical patent/KR20200024098A/en
Priority to KR1020200147303A priority patent/KR102271561B1/en
Application granted granted Critical
Publication of KR102204119B1 publication Critical patent/KR102204119B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Noise Elimination (AREA)
  • Stereophonic System (AREA)

Abstract

According to an embodiment of the present invention, a noise cancellation method can provide a first estimated output signal calculated on the basis of a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to a previous frame. A first current far-end channel filter corresponding to the current frame can be updated according to the first estimated output signal and the first previous far-end channel filter. A second estimated output signal calculated on the basis of the first current far-end channel filter, the second previous far-end channel filter, and the input signal can be provided. A second current far-end channel filter corresponding to the current frame can be updated according to the second estimated output signal and the second previous far-end channel filter. A result signal calculated on the basis of the first current far-end channel filter, the second current far-end channel filter, and the input signal can be provided. According to the present invention, when the noise cancellation method is used, a stereo echo signal is removed from the input signal (IN_S), thereby being capable of providing a voice signal from which noise is removed.

Description

스테레오 노이즈 제거 장치 및 스테레오 노이즈 제거 방법{STEREO NOISE CANCELLATION DEVICE AND METHOD THEREOF}STEREO NOISE CANCELLATION DEVICE AND METHOD THEREOF

본 발명은 스테레오 노이즈를 제거하는 방법에 관한 것이다.The present invention relates to a method for removing stereo noise.

일정한 공간에서 마이크를 통해 음성을 전달하고 스피커를 이용하여 이를 청취하는 경우, 마이크로 전달된 음성이 스피커를 통해서 다시 마이크로 전달되어 노이즈가 발생할 수 있다. 특히, 복수의 스피커들을 이용하여 음성을 청중에게 전달하는 경우, 마이크로 다시 전달되는 노이즈의 음원은 복수 개일 수 있다. 현재, 스테레오 에코 신호로 인해서 발생하는 노이즈를 제거하기 위한 다양한 연구들이 진행되고 있다.When the voice is transmitted through a microphone in a predetermined space and the speaker is listened to the voice, the voice transmitted to the microphone may be transferred back to the microphone through the speaker, thereby generating noise. In particular, when the voice is transmitted to the audience by using the plurality of speakers, the sound source of the noise transmitted back to the microphone may be plural. At present, various studies for removing noise caused by the stereo echo signal have been conducted.

(한국등록특허) 제10-1133308호 (등록일자, 2012.3.28)(Korean Registered Patent) No. 10-1133308 (Registration Date, 2012.3.28)

본 발명이 이루고자 하는 기술적 과제는 스테레오 에코 신호를 제거하기 위한 스테레오 노이즈 제거 방법을 제공하는 것이다. An object of the present invention is to provide a stereo noise removing method for removing a stereo echo signal.

본 발명이 이루고자 하는 기술적 과제는 스테레오 에코 신호를 제거하기 위한 스테레오 노이즈 제거 장치를 제공하는 것이다.An object of the present invention is to provide a stereo noise removing device for removing a stereo echo signal.

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 노이즈 제거 방법에서는 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공할 수 있다. 상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트할 수 있다. 상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공할 수 있다. 상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트할 수 있다. 상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공할 수 있다. In order to solve this problem, in the noise removing method according to an exemplary embodiment of the present invention, a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to a previous frame are used. A calculated first estimated output signal can be provided. The first current far-end channel filter corresponding to the current frame may be updated according to the first estimated output signal and the first previous far-end channel filter. A second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal may be provided. The second current far-end channel filter corresponding to the current frame may be updated according to the second estimated output signal and the second previous far-end channel filter. A result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal may be provided.

일 실시예에 있어서, 상기 제1 추정 출력신호를 제공하는 단계에서는 상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제1 상관계수 혹은 파워비율을 계산할 수 있다. 상기 제1 상관계수 혹은 파워비율에 따라 상기 제1 추정 출력신호를 산출할 수 있다. In an embodiment, the providing of the first estimated output signal may calculate a first correlation coefficient or a power ratio based on the first previous wave-end channel filter and the second previous wave-end channel filter. . The first estimated output signal may be calculated according to the first correlation coefficient or the power ratio.

일 실시예에 있어서, 상기 제1 현재 파-엔드 채널필터를 업데이트하는 단계에서는 상기 제1 추정 출력신호에 기초하여 제1 분산을 추정할 수 있다. 상기 제1 분산에 기초하여 계산되는 제1 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix)를 생성할 수 있다. In an embodiment, in the updating of the first current far-end channel filter, a first variance may be estimated based on the first estimated output signal. A first inverse autocorrelation matrix may be generated based on the first variance.

일 실시예에 있어서, 상기 제1 분산은 상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제공되는 상기 제1 추정 출력신호에 의해 결정될 수 있다. In one embodiment, the first dispersion may be determined by the first estimated output signal provided based on the first previous far-end channel filter and the second previous far-end channel filter.

일 실시예에 있어서, 제2 추정 출력신호를 제공하는 단계에서는 상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제2 상관계수 혹은 파워비율을 계산할 수 있다. 상기 제2 상관계수 혹은 파워비율에 따라 상기 제2 추정 출력신호를 산출할 수 있다. In an embodiment, the providing of the second estimated output signal may calculate a second correlation coefficient or power ratio based on the first current far-end channel filter and the second previous far-end channel filter. The second estimated output signal may be calculated according to the second correlation coefficient or power ratio.

일 실시예에 있어서, 상기 제2 현재 파-엔드 채널필터를 업데이트하는 단계에서는 상기 제2 추정 출력신호에 기초하여 2 분산을 추정할 수 있다. 상기 제2 분산에 기초하여 계산되는 제2 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix)를 생성할 수 있다. In an embodiment, updating the second current far-end channel filter may estimate 2 variances based on the second estimated output signal. A second inverse autocorrelation matrix may be generated based on the second variance.

일 실시예에 있어서, 상기 제2 분산은 상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제공되는 상기 제2 추정 출력신호에 의해 결정될 수 있다. In one embodiment, the second variance may be determined by the second estimated output signal provided based on the first current far-end channel filter and the second previous far-end channel filter.

일 실시예에 있어서, 상기 결과신호를 제공하는 단계에서는 상기 제1 현재 파-엔드 채널필터 및 상기 제2 현재 파-엔드 채널필터에 기초하여 제3 상관계수 혹은 파워비율을 계산할 수 있다. 상기 제3 상관계수 혹은 파워비율에 따라 상기 결과신호를 산출할 수 있다. In an embodiment, the providing of the resultant signal may calculate a third correlation coefficient or a power ratio based on the first current far-end channel filter and the second current far-end channel filter. The result signal may be calculated according to the third correlation coefficient or the power ratio.

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 스테레오 노이즈 제거 방법에서는 초기값을 세팅할 수 있다. 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공하고, 상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트할 수 있다. 상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공하고, 상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트할 수 있다. 상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공할 수 있다. In order to solve this problem, in the stereo noise removing method according to the embodiment of the present invention, an initial value may be set. Providing a first estimated output signal calculated based on a first previous far-end channel filter corresponding to a previous frame, a second previous far-end channel filter, and an input signal, wherein the first estimated output signal And a first current far-end channel filter corresponding to the current frame according to the first previous far-end channel filter. Providing a second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal, wherein the second estimated output signal and the second previous wave- The second current far-end channel filter corresponding to the current frame may be updated according to the end channel filter. A result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal may be provided.

일 실시예에 있어서, 상기 제1 현재 파-엔드 채널필터를 업데이트하는 단계에서는 상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제1 상관계수 혹은 파워비율을 계산할 수 있다. 상기 제1 상관계수 혹은 파워비율에 따라 상기 제1 추정 출력신호를 산출할 수 있다. 상기 제1 추정 출력신호의 제1 분산을 추정할 수 있다. 상기 제1 분산에 기초하여 계산되는 제1 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix, IACM1)를 생성할 수 있다. The updating of the first current far-end channel filter may include generating a first correlation coefficient or a power ratio based on the first previous far-end channel filter and the second previous far-end channel filter. Can be calculated The first estimated output signal may be calculated according to the first correlation coefficient or the power ratio. A first variance of the first estimated output signal may be estimated. A first inverse autocorrelation matrix (IACM1) calculated based on the first variance may be generated.

일 실시예에 있어서, 상기 제2 현재 파-엔드 채널필터를 업데이트하는 단계에서는 상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제2 상관계수 혹은 파워비율을 계산할 수 있다. 상기 제2 상관계수 혹은 파워비율에 따라 상기 제2 추정 출력신호를 산출할 수 있다. 상기 제2 추정 출력신호의 제2 분산을 추정할 수 있다. 상기 제2 분산에 기초하여 계산되는 제2 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix)를 생성할 수 있다. In an embodiment, the updating of the second current far-end channel filter may include generating a second correlation coefficient or a power ratio based on the first current far-end channel filter and the second previous far-end channel filter. Can be calculated The second estimated output signal may be calculated according to the second correlation coefficient or power ratio. A second variance of the second estimated output signal may be estimated. A second inverse autocorrelation matrix may be generated based on the second variance.

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 노이즈 제거 장치는 제1 추정부, 제1 필터부, 제2 추정부, 제2 필터부, 출력부를 포함할 수 있다. 제1 추정부는 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공할 수 있다. 제1 필터부는 상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트할 수 있다. 제2 추정부는 상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공할 수 있다. 제2 필터부는 상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트할 수 있다. 출력부는 상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공할 수 있다. In order to solve this problem, the apparatus for removing noise according to the embodiment of the present invention may include a first estimator, a first filter unit, a second estimator, a second filter unit, and an output unit. The first estimator may provide a first estimated output signal calculated based on a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to the previous frame. The first filter may update the first current far-end channel filter corresponding to the current frame according to the first estimated output signal and the first previous far-end channel filter. The second estimator may provide a second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal. The second filter may update the second current far-end channel filter corresponding to the current frame according to the second estimated output signal and the second previous far-end channel filter. The output unit may provide a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal.

일 실시예에 있어서, 상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 계산된 제1 상관계수 혹은 파워비율에 따라 상기 제1 추정 출력신호를 산출할 수 있다. In example embodiments, the first estimated output signal may be calculated according to a first correlation coefficient or a power ratio calculated based on the first previous wave-end channel filter and the second previous wave-end channel filter. .

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 스테레오 노이즈 제거 장치는 초기화부, 제1 추정부, 제1 필터부, 제2 추정부, 제2 필터부, 출력부를 포함할 수 있다. 초기화부는 초기값을 세팅할 수 있다. 제1 추정부는 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공할 수 있다. 제1 필터부는 상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트할 수 있다. 제2 추정부는 상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공할 수 있다. 제2 필터부는 상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트할 수 있다. 출력부는 상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공할 수 있다. In order to solve this problem, the stereo noise removing apparatus according to the embodiment of the present invention may include an initialization unit, a first estimator, a first filter unit, a second estimator, a second filter unit, and an output unit. The initialization unit may set an initial value. The first estimator may provide a first estimated output signal calculated based on a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to the previous frame. The first filter may update the first current far-end channel filter corresponding to the current frame according to the first estimated output signal and the first previous far-end channel filter. The second estimator may provide a second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal. The second filter may update the second current far-end channel filter corresponding to the current frame according to the second estimated output signal and the second previous far-end channel filter. The output unit may provide a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal.

일 실시예에 있어서, 상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 계산된 제2 상관계수 혹은 파워비율에 따라 상기 제2 추정 출력신호를 산출할 수 있다. In example embodiments, the second estimated output signal may be calculated according to a second correlation coefficient or a power ratio calculated based on the first current far-end channel filter and the second previous far-end channel filter. .

위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.In addition to the technical task of the present invention mentioned above, other features and advantages of the present invention will be described below, or from such description and description will be clearly understood by those skilled in the art.

이상과 같은 본 발명에 따르면 다음과 같은 효과가 있다.According to the present invention as described above has the following effects.

본 발명에 따른 노이즈 제거 방법에서는 마이크로 입력되는 입력신호로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다. In the noise removing method according to the present invention, a voice signal from which noise is removed may be provided by removing a stereo echo signal from a micro-input signal.

본 발명에 따른 노이즈 제거 장치에서는 마이크로 입력되는 입력신호로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다.The noise removing device according to the present invention can provide a voice signal from which noise is removed by removing a stereo echo signal from a micro-input signal.

이 밖에도, 본 발명의 실시 예들을 통해 본 발명의 또 다른 특징 및 이점들이 새롭게 파악될 수도 있을 것이다.In addition, other features and advantages of the present invention may be newly understood through the embodiments of the present invention.

도 1은 본 발명의 실시예들을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예들에 따른 노이즈 제거 방법을 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 제1 추정 출력신호를 제공하는 과정을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 제1 현재 파-엔드 채널필터의 업데이트 과정을 설명하기 위한 순서도이다.
도 5는 프레임에 따라 변동하는 제1 파-엔드 채널필터를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예들에 포함되는 제1 파-엔드 채널필터를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 제2 추정 출력신호를 제공하는 과정을 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 제2 현재 파-엔드 채널필터의 업데이트 과정을 설명하기 위한 순서도이다.
도 9는 프레임에 따라 변동하는 제2 파-엔드 채널필터를 설명하기 위한 도면이다.
도 10은 본 발명의 실시예들에 포함되는 제2 파-엔드 채널필터를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 결과신호를 제공하는 과정을 설명하기 위한 순서도이다.
도 12는 본 발명의 실시예들에 따른 스테레오 노이즈 제거 방법을 나타내는 순서도이다.
도 13은 본 발명의 실시예들에 따른 노이즈 제거 장치를 나타내는 도면이다.
도 14는 본 발명의 실시예들에 따른 스테레오 노이즈 제거 장치를 나타내는 도면이다.
도 15는 본 발명의 실시예들에 따른 모노 노이즈 제거 방법을 나타내는 순서도이다.
도 16은 본 발명의 일 실시예에 따른 현재 파-엔드 채널필터의 업데이트 과정을 설명하기 위한 순서도이다.1 is a view for explaining embodiments of the present invention.
2 is a flowchart illustrating a noise removing method according to embodiments of the present invention.
3 is a flowchart illustrating a process of providing a first estimated output signal according to an embodiment of the present invention.
4 is a flowchart illustrating an update process of a first current far-end channel filter according to an embodiment of the present invention.
FIG. 5 is a diagram for describing a first wave-end channel filter that varies with a frame.
FIG. 6 is a diagram for describing a first wave-end channel filter included in embodiments of the present invention.
7 is a flowchart illustrating a process of providing a second estimated output signal according to an embodiment of the present invention.
8 is a flowchart illustrating a process of updating a second current far-end channel filter according to an embodiment of the present invention.
9 is a diagram for describing a second wave-end channel filter that varies with a frame.
FIG. 10 is a diagram for describing a second wave-end channel filter included in embodiments of the present invention.
11 is a flowchart illustrating a process of providing a result signal according to an embodiment of the present invention.
12 is a flowchart illustrating a stereo noise removing method according to embodiments of the present invention.
13 is a diagram illustrating an apparatus for removing noise according to embodiments of the present invention.
14 is a diagram illustrating an apparatus for removing stereo noise according to embodiments of the present invention.
15 is a flowchart illustrating a method of removing mono noise according to embodiments of the present invention.
16 is a flowchart illustrating an update process of a current far-end channel filter according to an embodiment of the present invention.

본 명세서에서 각 도면의 구성 요소들에 참조번호를 부가함에 있어서 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.In the present specification, in adding reference numerals to components of each drawing, it should be noted that the same components have the same number as much as possible even though they are displayed on different drawings.

한편, 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described herein will be understood as follows.

단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한, 복수의 표현을 포함하는 것으로 이해되어야 하는 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.The singular forms “a,” “an” and “the” are to be understood as including plural forms, unless the context clearly indicates otherwise.

"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It is to be understood that the term "comprises" or "having" does not preclude the existence or addition of one or more other features or numbers, steps, operations, components, parts or combinations thereof.

이하, 첨부되는 도면을 참고하여 상기 문제점을 해결하기 위해 고안된 본 발명의 바람직한 실시예들에 대해 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail preferred embodiments of the present invention designed to solve the above problems.

도 1은 본 발명의 실시예들을 설명하기 위한 도면이고, 도 2는 본 발명의 실시예들에 따른 노이즈 제거 방법을 나타내는 순서도이다.1 is a view for explaining embodiments of the present invention, Figure 2 is a flow chart illustrating a noise removing method according to embodiments of the present invention.

도 1 및 2를 참조하면, 본 발명의 실시예에 따른 노이즈 제거 방법에서는 이전 프레임(PF)에 상응하는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1), 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제1 추정 출력신호(EO_S1)를 제공할 수 있다(S100). 입력신호(IN_S)는 니어-엔드(Near-end) 신호(NE_S), 제1 파-엔드 신호(FE_S1) 및 제2 파-엔드 신호(FE_S2)를 포함할 수 있다. 1 and 2, in the method of removing noise according to an exemplary embodiment of the present invention, a first previous far-end channel filter PFE_F1 and a second previous far-end corresponding to a previous frame PF may be used. The first estimated output signal EO_S1 calculated based on the channel filter PFE_F2 and the input signal IN_S may be provided (S100). The input signal IN_S may include a near-end signal NE_S, a first wave-end signal FE_S1, and a second wave-end signal FE_S2.

예를들어, 니어-엔드 신호(NE_S)는 스테레오 에코신호(FE_S1, FE_S2)가 포함되지 않은 순수 음성신호일 수 있다. 제1 파-엔드 신호(FE_S1)는 마이크(23)를 기준으로 제1 방향에 배치되는 스피커등의 제1 음원(21)으로부터 제공되는 에코신호일 수 있다. 제1 방향은 마이크(23)를 기준으로 왼쪽을 나타낼 수 있다. 제2 파-엔드 신호(FE_S2)는 마이크(23)를 기준으로 제2 방향에 배치되는 스피커등의 제2 음원(22)으로부터 제공되는 에코신호일 수 있다. 제2 방향은 마이크(23)를 기준으로 오른쪽을 나타낼 수 있다.For example, the near-end signal NE_S may be a pure voice signal without the stereo echo signals FE_S1 and FE_S2. The first wave-end signal FE_S1 may be an echo signal provided from the first sound source 21 such as a speaker disposed in the first direction with respect to the microphone 23. The first direction may indicate the left side of the microphone 23. The second wave-end signal FE_S2 may be an echo signal provided from the second sound source 22 such as a speaker disposed in the second direction with respect to the microphone 23. The second direction may indicate the right side based on the microphone 23.

예를 들어, 제1 프레임 이후에 제공되는 프레임은 제2 프레임일 수 있다. 여기서, 제2 프레임이 현재 프레임(CF)인 경우, 제1 프레임은 이전 프레임(PF)일 수 있다. 이 경우, 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)는 제1 프레임에서 제1 방향의 파-엔드 채널필터일 수 있다. 또한, 제2 이전 파-엔드 채널필터(PFE_F2)는 제1 프레임에서 제2 방향의 파-엔드 채널필터일 수 있다.For example, the frame provided after the first frame may be a second frame. Here, when the second frame is the current frame CF, the first frame may be the previous frame PF. In this case, the first previous far-end channel filter PFE_F1 may be a far-end channel filter in the first direction in the first frame. Also, the second previous far-end channel filter PFE_F2 may be a far-end channel filter in a second direction in the first frame.

제1 추정 출력신호(EO_S1)는

Figure pat00001
로 나타낼 수 있고, 제1 추정 출력신호(EO_S1)는 [수학식 1]과 같이 표현될 수 있다. The first estimated output signal EO_S1 is
Figure pat00001
The first estimated output signal EO_S1 may be expressed by Equation 1 below.

[수학식 1] [Equation 1]

Figure pat00002
Figure pat00002

여기서,

Figure pat00003
는 입력신호(IN_S)이고,
Figure pat00004
제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)이고,
Figure pat00005
는 제1 파-엔드 신호(FE_S1)이고,
Figure pat00006
는 제2 이전 파-엔드 채널필터(PFE_F2)이고,
Figure pat00007
는 제2 파-엔드 신호(FE_S2)이고,
Figure pat00008
는 제1 상관계수 혹은 파워비율이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.here,
Figure pat00003
Is the input signal IN_S,
Figure pat00004
A first previous far-end channel filter (PFE_F1),
Figure pat00005
Is the first wave-end signal FE_S1,
Figure pat00006
Is the second previous far-end channel filter (PFE_F2),
Figure pat00007
Is the second wave-end signal FE_S2,
Figure pat00008
May be a first correlation coefficient or a power ratio, m may be a sample index, and k may be a frequency index.

제1 추정 출력신호(EO_S1) 및 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)에 따라 현재 프레임(CF)에 상응하는 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트할 수 있다(S200). The first current far-end channel filter CFE_F1 corresponding to the current frame CF may be updated according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1. There is (S200).

예를 들어, 제1 프레임 이후에 제공되는 프레임은 제2 프레임일 수 있다. 여기서, 제2 프레임이 현재 프레임(CF)인 경우, 제1 프레임은 이전 프레임(PF)일 수 있다. 이 경우, 제1 현재 파-엔드 채널필터(CFE_F1)는 제2 프레임에서 제1 방향의 파-엔드 채널필터일 수 있다.For example, the frame provided after the first frame may be a second frame. Here, when the second frame is the current frame CF, the first frame may be the previous frame PF. In this case, the first current far-end channel filter CFE_F1 may be a far-end channel filter in the first direction in the second frame.

제1 현재 파-엔드 채널필터(CFE_F1)는

Figure pat00009
로 나타낼 수 있고, 제1 현재 파-엔드 채널필터(CFE_F1)는 [수학식 2]와 같이 표현될 수 있다.The first current far-end channel filter CFE_F1 is
Figure pat00009
The first current far-end channel filter CFE_F1 may be expressed as Equation 2 below.

[수학식 2][Equation 2]

Figure pat00010
Figure pat00010

여기서,

Figure pat00011
는 제1 현재 파-엔드 채널필터(CFE_F1)이고,
Figure pat00012
는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)이고,
Figure pat00013
는 제1 칼만이득일 수 있다.here,
Figure pat00011
Is the first current far-end channel filter CFE_F1,
Figure pat00012
Is the first previous far-end channel filter PFE_F1,
Figure pat00013
May be the first Kalman.

제1 현재 파-엔드 채널필터(CFE_F1), 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제2 추정 출력신호(EO_S2)를 제공할 수 있다(S300). The second estimated output signal EO_S2 calculated based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S may be provided (S300). .

제2 추정 출력신호(EO_S2)는

Figure pat00014
로 나타낼 수 있고, 제2 추정 출력신호(EO_S2)는 [수학식 3]과 같이 표현될 수 있다. The second estimated output signal EO_S2 is
Figure pat00014
The second estimated output signal EO_S2 may be represented by Equation 3 below.

[수학식 3] [Equation 3]

Figure pat00015
Figure pat00015

여기서,

Figure pat00016
는 입력신호(IN_S)이고,
Figure pat00017
제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)이고,
Figure pat00018
는 제1 파-엔드 신호(FE_S1)이고,
Figure pat00019
는 제2 이전 파-엔드 채널필터(PFE_F2)이고,
Figure pat00020
는 제2 파-엔드 신호(FE_S2)이고,
Figure pat00021
는 제2 상관계수 혹은 파워비율이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.here,
Figure pat00016
Is the input signal IN_S,
Figure pat00017
A first previous far-end channel filter (PFE_F1),
Figure pat00018
Is the first wave-end signal FE_S1,
Figure pat00019
Is the second previous far-end channel filter (PFE_F2),
Figure pat00020
Is the second wave-end signal FE_S2,
Figure pat00021
May be a second correlation coefficient or power ratio, m may be a sample index, and k may be a frequency index.

제2 추정 출력신호(EO_S2) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 따라 현재 프레임(CF)에 상응하는 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트할 수 있다(S400). The second current far-end channel filter CFE_F2 corresponding to the current frame CF may be updated according to the second estimated output signal EO_S2 and the second previous far-end channel filter PFE_F2 (S400).

예를 들어, 제1 프레임 이후에 제공되는 프레임은 제2 프레임일 수 있다. 여기서, 제2 프레임이 현재 프레임(CF)인 경우, 제1 프레임은 이전 프레임(PF)일 수 있다. 이 경우, 제2 현재 파-엔드 채널필터(CFE_F2)는 제2 프레임에서 제2 방향의 파-엔드 채널필터일 수 있다.For example, the frame provided after the first frame may be a second frame. Here, when the second frame is the current frame CF, the first frame may be the previous frame PF. In this case, the second current far-end channel filter CFE_F2 may be a far-end channel filter in the second direction in the second frame.

제2 현재 파-엔드 채널필터(CFE_F2)는

Figure pat00022
로 나타낼 수 있고, 제2 현재 파-엔드 채널필터(CFE_F2)는 [수학식 4]와 같이 표현될 수 있다.The second current far-end channel filter CFE_F2 is
Figure pat00022
The second current far-end channel filter CFE_F2 may be expressed by Equation 4 below.

[수학식 4][Equation 4]

Figure pat00023
Figure pat00023

여기서,

Figure pat00024
는 제2 현재 파-엔드 채널필터(CFE_F2)이고,
Figure pat00025
는 제2 이전 파-엔드 채널필터(PFE_F2)이고,
Figure pat00026
는 제2 칼만이득일 수 있다.here,
Figure pat00024
Is the second current far-end channel filter (CFE_F2),
Figure pat00025
Is the second previous far-end channel filter (PFE_F2),
Figure pat00026
May be the second Kalman.

제1 현재 파-엔드 채널필터(CFE_F1), 제2 현재 파-엔드 채널필터(CFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 결과신호(OUT_S)를 제공할 수 있다(S500). In operation S500, a result signal OUT_S calculated based on the first current far-end channel filter CFE_F1, the second current far-end channel filter CFE_F2, and the input signal IN_S may be provided.

결과신호(OUT_S)는

Figure pat00027
로 나타낼 수 있고, 결과신호(OUT_S)는 [수학식 5]와 같이 표현될 수 있다. The result signal OUT_S is
Figure pat00027
The result signal OUT_S may be represented by Equation 5 below.

[수학식 5][Equation 5]

Figure pat00028
Figure pat00028

여기서,

Figure pat00029
는 입력신호(IN_S)이고,
Figure pat00030
는 제1 현재 파-엔드 채널필터(CFE_F1)이고,
Figure pat00031
는 제1 파-엔드 신호(FE_S1)이고,
Figure pat00032
는 제2 현재 파-엔드 채널필터(CFE_F2)이고,
Figure pat00033
는 제2 파-엔드 신호(FE_S2)이고,
Figure pat00034
는 제3 상관계수 혹은 파워비율이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.here,
Figure pat00029
Is the input signal IN_S,
Figure pat00030
Is the first current far-end channel filter CFE_F1,
Figure pat00031
Is the first wave-end signal FE_S1,
Figure pat00032
Is the second current far-end channel filter (CFE_F2),
Figure pat00033
Is the second wave-end signal FE_S2,
Figure pat00034
May be a third correlation coefficient or power ratio, m may be a sample index, and k may be a frequency index.

본 발명에 따른 노이즈 제거 방법을 사용하면 입력신호(IN_S)로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다.The noise removing method according to the present invention can provide a voice signal from which noise is removed by removing the stereo echo signal from the input signal IN_S.

또한, 본 발명의 실시 예들은 스테레오 에코신호 제거에 대하여 기술하고 있지만, 본 발명의 실시예들에 따른 기술들은 모노 에코신호 제거를 위해서도 적용될 수 있다.In addition, although embodiments of the present invention describe stereo echo signal cancellation, techniques according to embodiments of the present invention may be applied to mono echo signal cancellation.

도 3은 본 발명의 일 실시예에 따른 제1 추정 출력신호를 제공하는 과정을 설명하기 위한 순서도이다.3 is a flowchart illustrating a process of providing a first estimated output signal according to an embodiment of the present invention.

도 3을 참조하면, 제1 추정 출력신호(EO_S1)를 제공하는 단계에서는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제1 상관계수 혹은 파워비율을 계산할 수 있다(S110). Referring to FIG. 3, the providing of the first estimated output signal EO_S1 may be performed based on a first previous far-end channel filter PFE_F1 and a second previous far-end channel filter PFE_F2. The first correlation coefficient or the power ratio may be calculated (S110).

제1 상관계수 혹은 파워비율은

Figure pat00035
로 나타낼 수 있고, 제1 상관계수 혹은 파워비율은 [수학식 6]과 같이 표현될 수 있다. The first correlation coefficient or power ratio
Figure pat00035
It may be represented by, and the first correlation coefficient or power ratio may be expressed as Equation 6.

[수학식 6][Equation 6]

Figure pat00036
Figure pat00036

Figure pat00037
Figure pat00037

Figure pat00038
는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)이고,
Figure pat00039
는 제1 파-엔드 신호(FE_S1)이고,
Figure pat00040
는 제2 이전 파-엔드 채널필터(PFE_F2)이고,
Figure pat00041
는 제2 파-엔드 신호(FE_S2)이고,
Figure pat00042
는 제1 가중치이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.
Figure pat00038
Is the first previous far-end channel filter PFE_F1,
Figure pat00039
Is the first wave-end signal FE_S1,
Figure pat00040
Is the second previous far-end channel filter (PFE_F2),
Figure pat00041
Is the second wave-end signal FE_S2,
Figure pat00042
May be a first weight, m is a sample index, and k may be a frequency index.

제1 상관계수 혹은 파워비율 등에 따라 제1 추정 출력신호(EO_S1)를 산출할 수 있다(S130). 예를 들어, 제1 추정 출력신호(EO_S1)는 [수학식 1]과 같이 표현될 수 있다. The first estimated output signal EO_S1 may be calculated according to the first correlation coefficient or the power ratio (S130). For example, the first estimated output signal EO_S1 may be expressed as Equation 1 below.

도 4는 본 발명의 일 실시예에 따른 제1 현재 파-엔드 채널필터(CFE_F1)의 업데이트 과정을 설명하기 위한 순서도이고, 도 5는 프레임에 따라 변동하는 제1 파-엔드 채널필터를 설명하기 위한 도면이고, 도 6은 본 발명의 실시예들에 포함되는 제1 파-엔드 채널필터를 설명하기 위한 도면이다.FIG. 4 is a flowchart illustrating an update process of the first current far-end channel filter CFE_F1 according to an embodiment of the present invention, and FIG. 5 illustrates a first wave-end channel filter that varies according to a frame. 6 is a diagram for describing a first wave-end channel filter included in embodiments of the present invention.

도 4 내지 6을 참조하면, 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트하는 단계에서는 제1 추정 출력신호(EO_S1)에 기초하여 제1 분산(VAR1)을 추정할 수 있다(S210). 4 to 6, in the updating of the first current far-end channel filter CFE_F1, the first dispersion VAR1 may be estimated based on the first estimated output signal EO_S1 (S210).

예를 들어, 제1 분산(VAR1)은

Figure pat00043
일 수 있고, 제1 분산(VAR1)은 [수학식 7]과 같이 표현될 수 있다. For example, the first variance VAR1 is
Figure pat00043
The first dispersion VAR1 may be expressed by Equation 7 below.

[수학식 7][Equation 7]

Figure pat00044
Figure pat00044

여기서,

Figure pat00045
는 Decision-directed(DD)방법에 따라 계산된 분산 추정치일 수 있고,
Figure pat00046
는 임의로 결정되는 제2 가중치값이고,
Figure pat00047
는 제1 추정 출력신호(EO_S1)를 나타낼 수 있다.here,
Figure pat00045
May be a variance estimate calculated according to the Decision-directed (DD) method,
Figure pat00046
Is a randomly determined second weight value,
Figure pat00047
May represent the first estimated output signal EO_S1.

일 실시예에 있어서, 제1 분산(VAR1)은 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제공되는 제1 추정 출력신호(EO_S1)에 의해 결정될 수 있다.In one embodiment, the first variance VAR1 is a first estimated output provided based on a first previous far-end channel filter PFE_F1 and a second previous far-end channel filter PFE_F2. It may be determined by the signal EO_S1.

제1 분산(VAR1)에 기초하여 계산되는 제1 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix , IACM1)를 생성할 수 있다(S230). A first inverse autocorrelation matrix IACM1 calculated based on the first variance VAR1 may be generated (S230).

예를 들어, 제1 역 자기 상관 매트릭스는 [수학식 8]과 같이 표현될 수 있다. For example, the first inverse autocorrelation matrix may be expressed as Equation (8).

[수학식 8][Equation 8]

Figure pat00048
Figure pat00048

Figure pat00049
Figure pat00049

여기서,

Figure pat00050
은 제1 망각 인자(Forgetting Factor, FF1)이며,
Figure pat00051
및
Figure pat00052
는 제1 역 자기 상관 매트릭스에 포함될 수 있다.here,
Figure pat00050
Is the first forgetting factor (FF1),
Figure pat00051
And
Figure pat00052
May be included in the first inverse autocorrelation matrix.

도 7은 본 발명의 일 실시예에 따른 제2 추정 출력신호를 제공하는 과정을 설명하기 위한 순서도이다.7 is a flowchart illustrating a process of providing a second estimated output signal according to an embodiment of the present invention.

도 7을 참조하면, 제2 추정 출력신호(EO_S2)를 제공하는 단계에서는 제1 현재 파-엔드 채널필터(CFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제2 상관계수 혹은 파워비율을 계산할 수 있다(S310). Referring to FIG. 7, in the providing of the second estimated output signal EO_S2, the second correlation coefficient may be based on the first current far-end channel filter CFE_F1 and the second previous far-end channel filter PFE_F2. The power ratio may be calculated (S310).

제2 상관계수 혹은 파워비율은

Figure pat00053
로 나타낼 수 있고, 제2 상관계수 혹은 파워비율은 [수학식 9]과 같이 표현될 수 있다. The second correlation coefficient or power ratio
Figure pat00053
The second correlation coefficient or power ratio may be expressed by Equation 9 below.

[수학식 9][Equation 9]

Figure pat00054
Figure pat00054

Figure pat00055
Figure pat00055

Figure pat00056
는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)이고,
Figure pat00057
는 제1 현재 파-엔드 채널필터(CFE_F1)이고,
Figure pat00058
는 제1 파-엔드 신호(FE_S1)이고,
Figure pat00059
는 제2 이전 파-엔드 채널필터(PFE_F2)이고,
Figure pat00060
는 제2 파-엔드 신호(FE_S2)이고,
Figure pat00061
는 제1 가중치이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.
Figure pat00056
Is the first previous far-end channel filter PFE_F1,
Figure pat00057
Is the first current far-end channel filter CFE_F1,
Figure pat00058
Is the first wave-end signal FE_S1,
Figure pat00059
Is the second previous far-end channel filter (PFE_F2),
Figure pat00060
Is the second wave-end signal FE_S2,
Figure pat00061
May be a first weight, m is a sample index, and k may be a frequency index.

제2 상관계수 혹은 파워비율 등에 따라 제2 추정 출력신호(EO_S2)를 산출할 수 있다(S330). 예를 들어, 제2 추정 출력신호(EO_S2)는 [수학식 3]과 같이 표현될 수 있다. The second estimated output signal EO_S2 may be calculated according to the second correlation coefficient or the power ratio (S330). For example, the second estimated output signal EO_S2 may be expressed as shown in [Equation 3].

도 8은 본 발명의 일 실시예에 따른 제2 현재 파-엔드 채널필터(CFE_F2)의 업데이트 과정을 설명하기 위한 순서도이고, 도 9는 프레임에 따라 변동하는 제2 파-엔드 채널필터를 설명하기 위한 도면이고, 도 10은 본 발명의 실시예들에 포함되는 제2 파-엔드 채널필터를 설명하기 위한 도면이다.FIG. 8 is a flowchart illustrating an update process of a second current far-end channel filter CFE_F2 according to an embodiment of the present invention, and FIG. 9 illustrates a second wave-end channel filter that varies according to a frame. FIG. 10 is a diagram for describing a second wave-end channel filter included in embodiments of the present invention.

도 8 내지 10을 참조하면, 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트하는 단계에서는 제2 추정 출력신호(EO_S2)에 기초하여 2 분산을 추정할 수 있다(S410). 8 to 10, in the updating of the second current far-end channel filter CFE_F2, two variances may be estimated based on the second estimated output signal EO_S2 (S410).

예를 들어, 제2 분산(VAR2)은

Figure pat00062
일 수 있고, 제2 분산(VAR2)은 [수학식 10]과 같이 표현될 수 있다. For example, the second variance VAR2 is
Figure pat00062
The second dispersion VAR2 may be expressed by Equation 10.

[수학식 10][Equation 10]

Figure pat00063
Figure pat00063

여기서,

Figure pat00064
는 제1 분산(VAR1)이고,
Figure pat00065
는 임의로 결정되는 제2 가중치값이고,
Figure pat00066
는 제2 추정 출력신호(EO_S2)를 나타낼 수 있다.here,
Figure pat00064
Is the first variance (VAR1),
Figure pat00065
Is a randomly determined second weight value,
Figure pat00066
May represent the second estimated output signal EO_S2.

제2 분산(VAR2)은 제1 현재 파-엔드 채널필터(CFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제공되는 제2 추정 출력신호(EO_S2)에 의해 결정될 수 있다.The second dispersion VAR2 may be determined by the second estimated output signal EO_S2 provided based on the first current far-end channel filter CFE_F1 and the second previous far-end channel filter PFE_F2.

제2 분산(VAR2)에 기초하여 계산되는 제2 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix, IACM2)를 생성할 수 있다(S430). A second inverse autocorrelation matrix IACM2 calculated based on the second variance VAR2 may be generated (S430).

예를 들어, 제2 역 자기 상관 매트릭스는 [수학식 11]과 같이 표현될 수 있다. For example, the second inverse autocorrelation matrix may be expressed as Equation 11 below.

[수학식 11][Equation 11]

Figure pat00067
Figure pat00067

Figure pat00068
Figure pat00068

여기서,

Figure pat00069
은 제2 망각 인자(Forgetting Factor, FF2)이며,
Figure pat00070
및
Figure pat00071
는 제2 역 자기 상관 매트릭스에 포함될 수 있다.here,
Figure pat00069
Is a second forgetting factor (FF2),
Figure pat00070
And
Figure pat00071
May be included in the second inverse autocorrelation matrix.

도 11은 본 발명의 일 실시예에 따른 결과신호를 제공하는 과정을 설명하기 위한 순서도이다.11 is a flowchart illustrating a process of providing a result signal according to an embodiment of the present invention.

도 11을 참조하면, 결과신호(OUT_S)를 제공하는 단계에서는 제1 현재 파-엔드 채널필터(CFE_F1) 및 제2 현재 파-엔드 채널필터(CFE_F2)에 기초하여 제3 상관계수 혹은 파워비율을 계산할 수 있다(S510). Referring to FIG. 11, in the providing of the result signal OUT_S, the third correlation coefficient or the power ratio is determined based on the first current far-end channel filter CFE_F1 and the second current far-end channel filter CFE_F2. Can be calculated (S510).

제3 상관계수 혹은 파워비율은

Figure pat00072
로 나타낼 수 있고, 제3 상관계수 혹은 파워비율은 [수학식 12]과 같이 표현될 수 있다.The third correlation coefficient or power ratio
Figure pat00072
The third correlation coefficient or power ratio may be expressed by Equation 12.

[수학식 12][Equation 12]

Figure pat00073
Figure pat00073

Figure pat00074
Figure pat00074

Figure pat00075
는 제1 현재 파-엔드 채널필터(CFE_F1)이고,
Figure pat00076
는 제1 파-엔드 신호(FE_S1)이고,
Figure pat00077
는 제2 현재 파-엔드 채널필터(CFE_F2)이고,
Figure pat00078
는 제2 파-엔드 신호(FE_S2)이고,
Figure pat00079
는 제1 가중치이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.
Figure pat00075
Is the first current far-end channel filter CFE_F1,
Figure pat00076
Is the first wave-end signal FE_S1,
Figure pat00077
Is the second current far-end channel filter (CFE_F2),
Figure pat00078
Is the second wave-end signal FE_S2,
Figure pat00079
May be a first weight, m is a sample index, and k may be a frequency index.

제3 상관계수 혹은 파워비율 등에 따라 결과신호(OUT_S)를 산출할 수 있다. 예를 들어, 결과신호(OUT_S)는 [수학식 5]과 같이 표현될 수 있다. The result signal OUT_S may be calculated according to the third correlation coefficient or the power ratio. For example, the result signal OUT_S may be expressed as shown in [Equation 5].

도 12는 본 발명의 실시예들에 따른 스테레오 노이즈 제거 방법을 나타내는 순서도이다.12 is a flowchart illustrating a stereo noise removing method according to embodiments of the present invention.

도 12를 참조하면, 본 발명의 실시예에 따른 스테레오 노이즈 제거 방법에서는 초기값을 세팅할 수 있다(S100). 이전 프레임(PF)에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제1 추정 출력신호(EO_S1)를 제공하고, 제1 추정 출력신호(EO_S1) 및 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)에 따라 현재 프레임(CF)에 상응하는 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트할 수 있다(S200). 제1 현재 파-엔드 채널필터(CFE_F1), 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제2 추정 출력신호(EO_S2)를 제공하고, 제2 추정 출력신호(EO_S2) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 따라 현재 프레임(CF)에 상응하는 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트할 수 있다(S300). 제1 현재 파-엔드 채널필터(CFE_F1), 제2 현재 파-엔드 채널필터(CFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 결과신호(OUT_S)를 제공할 수 있다(S400). 12, in the stereo noise removing method according to an embodiment of the present invention, an initial value may be set (S100). The first estimated output signal calculated based on the first previous far-end channel filter, the second previous far-end channel filter PFE_F2 and the input signal IN_S corresponding to the previous frame PF ( A first current far-end channel filter corresponding to the current frame CF by providing EO_S1 and according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1. CFE_F1) may be updated (S200). Provide a second estimated output signal EO_S2 calculated based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S, and generate a second estimated output. The second current far-end channel filter CFE_F2 corresponding to the current frame CF may be updated according to the signal EO_S2 and the second previous far-end channel filter PFE_F2 (S300). In operation S400, a result signal OUT_S calculated based on the first current far-end channel filter CFE_F1, the second current far-end channel filter CFE_F2, and the input signal IN_S may be provided.

일 실시예에 있어서, 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트하는 단계에서는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제1 상관계수 혹은 파워비율을 계산할 수 있다. 제1 상관계수 혹은 파워비율 등에 따라 제1 추정 출력신호(EO_S1)를 산출할 수 있다. 제1 추정 출력신호(EO_S1)의 제1 분산(VAR1)을 추정할 수 있다. 제1 분산(VAR1)에 기초하여 계산되는 제1 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix, IACM1)를 생성할 수 있다. In an embodiment, the updating of the first current far-end channel filter CFE_F1 may include a first previous far-end channel filter PFE_F1 and a second previous far-end channel filter PFE_F2. Based on the first correlation coefficient or the power ratio can be calculated. The first estimated output signal EO_S1 may be calculated according to the first correlation coefficient or the power ratio. A first dispersion VAR1 of the first estimated output signal EO_S1 may be estimated. A first inverse autocorrelation matrix IACM1 calculated based on the first variance VAR1 may be generated.

일 실시예에 있어서, 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트하는 단계에서는 제1 현재 파-엔드 채널필터(CFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제2 상관계수 혹은 파워비율을 계산할 수 있다. 제2 상관계수 혹은 파워비율에 따라 제2 추정 출력신호(EO_S2)를 산출할 수 있다. 제2 추정 출력신호(EO_S2)의 제2 분산(VAR2)을 추정할 수 있다. 제2 분산(VAR2)에 기초하여 계산되는 제2 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix, IACM2)를 생성할 수 있다. In an embodiment, the updating of the second current far-end channel filter CFE_F2 may be performed based on the first current far-end channel filter CFE_F1 and the second previous far-end channel filter PFE_F2. The correlation coefficient or power ratio can be calculated. The second estimated output signal EO_S2 may be calculated according to the second correlation coefficient or the power ratio. The second dispersion VAR2 of the second estimated output signal EO_S2 may be estimated. A second inverse autocorrelation matrix IACM2 calculated based on the second variance VAR2 may be generated.

본 발명에 따른 노이즈 제거 방법을 사용하면 입력신호(IN_S)로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다.The noise removing method according to the present invention can provide a voice signal from which noise is removed by removing the stereo echo signal from the input signal IN_S.

도 13은 본 발명의 실시예들에 따른 노이즈 제거 장치를 나타내는 도면이다.13 is a diagram illustrating an apparatus for removing noise according to embodiments of the present invention.

도 13을 참조하면, 본 발명의 실시예에 따른 노이즈 제거 장치(10)는 제1 추정부(100), 제1 필터부(200), 제2 추정부(300), 제2 필터부(400), 출력부(500)를 포함할 수 있다. Referring to FIG. 13, the noise removing apparatus 10 according to an exemplary embodiment of the present invention may include a first estimator 100, a first filter unit 200, a second estimator 300, and a second filter unit 400. ), And may include an output unit 500.

제1 추정부(100)는 이전 프레임(PF)에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제1 추정 출력신호(EO_S1)를 제공할 수 있다. 제1 필터부(200)는 제1 추정 출력신호(EO_S1) 및 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)에 따라 현재 프레임(CF)에 상응하는 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트할 수 있다. The first estimator 100 is based on the first previous far-end channel filter, the second previous far-end channel filter PFE_F2 and the input signal IN_S corresponding to the previous frame PF. The calculated first estimated output signal EO_S1 may be provided. The first filter unit 200 corresponds to the first current far-end channel corresponding to the current frame CF according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1. The filter CFE_F1 may be updated.

제2 추정부(300)는 제1 현재 파-엔드 채널필터(CFE_F1), 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제2 추정 출력신호(EO_S2)를 제공할 수 있다. 제2 필터부(400)는 제2 추정 출력신호(EO_S2) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 따라 현재 프레임(CF)에 상응하는 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트할 수 있다. The second estimator 300 calculates a second estimated output signal EO_S2 based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S. Can be provided. The second filter unit 400 applies the second current far-end channel filter CFE_F2 corresponding to the current frame CF according to the second estimated output signal EO_S2 and the second previous far-end channel filter PFE_F2. You can update it.

출력부(500)는 제1 현재 파-엔드 채널필터(CFE_F1), 제2 현재 파-엔드 채널필터(CFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 결과신호(OUT_S)를 제공할 수 있다. The output unit 500 may provide a result signal OUT_S calculated based on the first current far-end channel filter CFE_F1, the second current far-end channel filter CFE_F2, and the input signal IN_S. .

일 실시예에 있어서, 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 계산된 제1 상관계수 혹은 파워비율에 따라 제1 추정 출력신호(EO_S1)를 산출할 수 있다. According to an embodiment, the first correlation coefficient or the power ratio is calculated based on the first previous far-end channel filter PFE_F1 and the second previous far-end channel filter PFE_F2. The estimated output signal EO_S1 may be calculated.

도 14는 본 발명의 실시예들에 따른 스테레오 노이즈 제거 장치를 나타내는 도면이다.14 is a diagram illustrating an apparatus for removing stereo noise according to embodiments of the present invention.

도 14를 참조하면, 본 발명의 실시예에 따른 스테레오 노이즈 제거 장치(20)는 초기화부(600), 제1 추정부(100), 제1 필터부(200), 제2 추정부(300), 제2 필터부(400), 출력부(500)를 포함할 수 있다. Referring to FIG. 14, the stereo noise removing apparatus 20 according to an exemplary embodiment of the present invention may include an initializer 600, a first estimator 100, a first filter unit 200, and a second estimator 300. The second filter unit 400 may include an output unit 500.

초기화부(600)는 초기값을 세팅할 수 있다. 초기화부(600)에서 세팅하는 초기값은 제1 분산(VAR1) 및 제2 분산(VAR2)의 초기값(IV)일 수 있다. 제1 추정부(100)는 이전 프레임(PF)에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제1 추정 출력신호(EO_S1)를 제공할 수 있다. 제1 필터부(200)는 제1 추정 출력신호(EO_S1) 및 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)에 따라 현재 프레임(CF)에 상응하는 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트할 수 있다.The initialization unit 600 may set an initial value. The initial value set by the initialization unit 600 may be the initial value IV of the first variance VAR1 and the second variance VAR2. The first estimator 100 is based on the first previous far-end channel filter, the second previous far-end channel filter PFE_F2 and the input signal IN_S corresponding to the previous frame PF. The calculated first estimated output signal EO_S1 may be provided. The first filter unit 200 corresponds to the first current far-end channel corresponding to the current frame CF according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1. The filter CFE_F1 may be updated.

제2 추정부(300)는 제1 현재 파-엔드 채널필터(CFE_F1), 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제2 추정 출력신호(EO_S2)를 제공할 수 있다. 제2 필터부(400)는 제2 추정 출력신호(EO_S2) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 따라 현재 프레임(CF)에 상응하는 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트할 수 있다.  The second estimator 300 calculates a second estimated output signal EO_S2 based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S. Can be provided. The second filter unit 400 applies the second current far-end channel filter CFE_F2 corresponding to the current frame CF according to the second estimated output signal EO_S2 and the second previous far-end channel filter PFE_F2. You can update it.

출력부(500)는 제1 현재 파-엔드 채널필터(CFE_F1), 제2 현재 파-엔드 채널필터(CFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 결과신호(OUT_S)를 제공할 수 있다. The output unit 500 may provide a result signal OUT_S calculated based on the first current far-end channel filter CFE_F1, the second current far-end channel filter CFE_F2, and the input signal IN_S. .

일 실시예에 있어서, 제1 현재 파-엔드 채널필터(CFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 계산된 제2 상관계수 혹은 파워비율에 따라 제2 추정 출력신호(EO_S2)를 산출할 수 있다.In one embodiment, the second estimated output signal EO_S2 according to the second correlation coefficient or the power ratio calculated based on the first current far-end channel filter CFE_F1 and the second previous far-end channel filter PFE_F2. ) Can be calculated.

본 발명에 따른 노이즈 제거 방법을 사용하면 입력신호(IN_S)로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다.The noise removing method according to the present invention can provide a voice signal from which noise is removed by removing the stereo echo signal from the input signal IN_S.

도 15는 본 발명의 실시예들에 따른 모노 노이즈 제거 방법을 나타내는 순서도이고, 도 16은 본 발명의 일 실시예에 따른 현재 파-엔드 채널필터의 업데이트 과정을 설명하기 위한 순서도이다.FIG. 15 is a flowchart illustrating a method of removing mono noise according to embodiments of the present invention, and FIG. 16 is a flowchart illustrating an update process of a current far-end channel filter according to an embodiment of the present invention.

도 1, 15 및 16을 참조하면, 모노 에코신호 제거의 경우 제1 파-엔드 신호(FE_S1) 또는 제2 파-엔드 신호(FE_S2)가 0인 경우일 수 있다. 이전 프레임(PF)에 상응하는 이전 파-엔드(Far-end) 채널필터(PFE_F) 및 입력신호(IN_S)에 기초하여 산출되는 추정 출력신호(EO_S)를 제공할 수 있다(S1000). 입력신호(IN_S)는 니어-엔드(Near-end) 신호(NE_S) 및 파-엔드 신호(FE_S)를 포함할 수 있다. 이 경우 추정 출력신호(E0_S1)은 [수학식 13]과 같이 표현될 수 있다.1, 15, and 16, in the case of removing the mono echo signal, the first wave-end signal FE_S1 or the second wave-end signal FE_S2 may be zero. An estimated output signal EO_S calculated based on the previous far-end channel filter PFE_F and the input signal IN_S corresponding to the previous frame PF may be provided (S1000). The input signal IN_S may include a near-end signal NE_S and a far-end signal FE_S. In this case, the estimated output signal E0_S1 may be expressed as in Equation 13.

[수학식 13] [Equation 13]

Figure pat00080
Figure pat00080

추정 출력신호(EO_S) 및 이전 파-엔드(Far-end) 채널필터(PFE_F)에 따라 현재 프레임(CF)에 상응하는 현재 파-엔드 채널필터(CFE_F)를 업데이트할 수 있다(S2000). 현재 파-엔드 채널필터(CFE_F)은 [수학식 2]와 같이 표현될 수 있다.The current far-end channel filter CFE_F corresponding to the current frame CF may be updated according to the estimated output signal EO_S and the previous far-end channel filter PFE_F (S2000). The current far-end channel filter CFE_F may be expressed as shown in [Equation 2].

현재 파-엔드 채널필터(CFE_F) 및 입력신호(IN_S)에 기초하여 산출되는 결과신호(OUT_S)를 제공할 수 있다(S3000). In operation S3000, a result signal OUT_S calculated based on the current far-end channel filter CFE_F and the input signal IN_S may be provided.

결과신호(OUT_S)는 [수학식 14]와 같이 표현될 수 있다. The result signal OUT_S may be expressed as Equation 14 below.

[수학식 14][Equation 14]

Figure pat00081
Figure pat00081

현재 파-엔드 채널필터(CFE_F)를 업데이트하는 단계에서는 상기 추정 출력신호(EO_S)에 기초하여 분산(VAR)을 추정할 수 있다(S2100). 분산에 기초하여 계산되는 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix, IACM))를 생성할 수 있다(S2300).In the updating of the current far-end channel filter CFE_F, the variance VAR may be estimated based on the estimated output signal EO_S (S2100). An inverse autocorrelation matrix (IACM) calculated based on the variance may be generated (S2300).

도 15 및 도 16에서 설명하는 모노 노이즈 제거 방법은 도 1에서 제1 파-엔드 신호 또는 제2 파-엔드 신호가 0인 경우에 적용될 수 있다. 본 발명에서는 모노 또는 스테레오에 대해서만 설명하고 있으나, 본 발명에 따른 실시예들은 3개 이상의 노이즈 소스에 대해서도 적용될 수 있다.15 and 16 may be applied when the first wave-end signal or the second wave-end signal is zero in FIG. 1. In the present invention, only mono or stereo is described, but embodiments according to the present invention may be applied to three or more noise sources.

21: 제1 음원 22: 제2 음원
23: 마이크 26: 제1 파-엔드 채널필터
27: 제2 파-엔드 채널필터 100: 제1 추정부
200: 제1 필터부 300: 제2 추정부
400: 제2 필터부 500: 출력부
600: 초기화부21: first sound source 22: second sound source
23: microphone 26: first wave-end channel filter
27: second wave-end channel filter 100: first estimator
200: first filter unit 300: second estimation unit
400: second filter unit 500: output unit
600: initialization unit

Claims (19)

이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공하는 단계;
상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트하는 단계;
상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공하는 단계;
상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트하는 단계; 및
상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공하는 단계를 포함하는 노이즈 제거 방법. Providing a first estimated output signal calculated based on a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to the previous frame;
Updating a first current far-end channel filter corresponding to a current frame according to the first estimated output signal and the first previous far-end channel filter;
Providing a second estimated output signal calculated based on the first current far-end channel filter, the second previous far-end channel filter, and the input signal;
Updating a second current far-end channel filter corresponding to a current frame according to the second estimated output signal and the second previous far-end channel filter; And
And providing a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal. 제1항에 있어서,
상기 제1 추정 출력신호를 제공하는 단계는,
상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제1 상관계수 혹은 파워비율을 계산하는 단계; 및
상기 제1 상관계수 혹은 파워비율에 따라 상기 제1 추정 출력신호를 산출하는 단계를 포함하는 것을 특징으로 하는 노이즈 제거 방법. The method of claim 1,
Providing the first estimated output signal,
Calculating a first correlation coefficient or power ratio based on the first previous wave-end channel filter and the second previous wave-end channel filter; And
And calculating the first estimated output signal according to the first correlation coefficient or power ratio. 제2항에 있어서,
상기 제1 현재 파-엔드 채널필터를 업데이트하는 단계는,
상기 제1 추정 출력신호에 기초하여 제1 분산을 추정하는 단계;
상기 제1 분산에 기초하여 계산되는 제1 상관 벡터 메트릭스(Correlation Vector Matrix)를 생성하는 단계; 및
상기 제1 추정 출력신호에 기초하여 제1 망각 인자(Forgetting Factor)를 계산하는 단계를 포함하는 것을 특징으로 하는 노이즈 제거 방법.The method of claim 2,
The updating of the first current far-end channel filter may include:
Estimating a first variance based on the first estimated output signal;
Generating a first correlation vector matrix calculated based on the first variance; And
And calculating a first forgetting factor based on the first estimated output signal. 제3항에 있어서,
상기 제1 분산은 상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제공되는 상기 제1 추정 출력신호에 의해 결정되는 것을 특징으로 하는 노이즈 제거 방법.The method of claim 3,
And wherein the first variance is determined by the first estimated output signal provided based on the first previous far-end channel filter and the second previous far-end channel filter. 제1항에 있어서,
제2 추정 출력신호를 제공하는 단계는,
상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제2 상관계수 혹은 파워비율을 계산하는 단계; 및
상기 제2 상관계수 혹은 파워비율에 따라 상기 제2 추정 출력신호를 산출하는 단계를 포함하는 것을 특징으로 하는 노이즈 제거 방법.The method of claim 1,
Providing the second estimated output signal includes:
Calculating a second correlation coefficient or power ratio based on the first current far-end channel filter and the second previous wave-end channel filter; And
And calculating the second estimated output signal according to the second correlation coefficient or power ratio. 제5항에 있어서,
상기 제2 현재 파-엔드 채널필터를 업데이트하는 단계는,
상기 제2 추정 출력신호에 기초하여 2 분산을 추정하는 단계;
상기 제2 분산에 기초하여 계산되는 제2 상관 벡터 메트릭스(Correlation Vector Matrix)를 생성하는 단계; 및
상기 제2 추정 출력신호에 기초하여 제2 망각 인자(Forgetting Factor)를 계산하는 단계를 포함하는 것을 특징으로 하는 노이즈 제거 방법.The method of claim 5,
The updating of the second current far-end channel filter may include:
Estimating two variances based on the second estimated output signal;
Generating a second correlation vector matrix calculated based on the second variance; And
And calculating a second forgetting factor based on the second estimated output signal. 제6항에 있어서,
상기 제2 분산은 상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제공되는 상기 제2 추정 출력신호에 의해 결정되는 것을 특징으로 하는 노이즈 제거 방법.The method of claim 6,
And wherein the second variance is determined by the second estimated output signal provided based on the first current far-end channel filter and the second previous far-end channel filter. 제1항에 있어서,
상기 결과신호를 제공하는 단계는,
상기 제1 현재 파-엔드 채널필터 및 상기 제2 현재 파-엔드 채널필터에 기초하여 제3 상관계수 혹은 파워비율을 계산하는 단계; 및
상기 제3 상관계수 혹은 파워비율에 따라 상기 결과신호를 산출하는 단계를 포함하는 것을 특징으로 하는 노이즈 제거 방법.The method of claim 1,
Providing the result signal,
Calculating a third correlation coefficient or power ratio based on the first current far-end channel filter and the second current far-end channel filter; And
And calculating the resultant signal according to the third correlation coefficient or power ratio. 초기값을 세팅하는 단계;
이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공하고, 상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트하는 단계;
상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공하고, 상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트하는 단계; 및
상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공하는 단계를 포함하는 스테레오 노이즈 제거 방법.Setting an initial value;
Providing a first estimated output signal calculated based on a first previous far-end channel filter corresponding to a previous frame, a second previous far-end channel filter, and an input signal, wherein the first estimated output signal Updating a first current far-end channel filter corresponding to a current frame according to the first previous far-end channel filter;
Providing a second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal, wherein the second estimated output signal and the second previous wave- Updating a second current far-end channel filter corresponding to the current frame according to the end channel filter; And
And providing a resultant signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal. 제9항에 있어서,
상기 제1 현재 파-엔드 채널필터를 업데이트하는 단계는,
상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제1 상관계수 혹은 파워비율을 계산하는 단계;
상기 제1 상관계수 혹은 파워비율에 따라 상기 제1 추정 출력신호를 산출하는 단계;
상기 제1 추정 출력신호의 제1 분산을 추정하는 단계; 및
상기 제1 분산에 기초하여 계산되는 제1 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix)를 생성하는 단계를 포함하는 것을 특징으로 하는 스테레오 노이즈 제거 방법.The method of claim 9,
The updating of the first current far-end channel filter may include:
Calculating a first correlation coefficient or power ratio based on the first previous wave-end channel filter and the second previous wave-end channel filter;
Calculating the first estimated output signal according to the first correlation coefficient or power ratio;
Estimating a first variance of the first estimated output signal; And
And generating a first inverse autocorrelation matrix calculated based on the first variance. 제9항에 있어서,
상기 제2 현재 파-엔드 채널필터를 업데이트하는 단계는,
상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제2 상관계수 혹은 파워비율을 계산하는 단계;
상기 제2 상관계수 혹은 파워비율에 따라 상기 제2 추정 출력신호를 산출하는 단계;
상기 제2 추정 출력신호의 제2 분산을 추정하는 단계; 및
상기 제2 분산에 기초하여 계산되는 제2 역 자기 상관 메트릭스를 생성하는 단계를 포함하는 것을 특징으로 하는 스테레오 노이즈 제거 방법.The method of claim 9,
The updating of the second current far-end channel filter may include:
Calculating a second correlation coefficient or power ratio based on the first current far-end channel filter and the second previous wave-end channel filter;
Calculating the second estimated output signal according to the second correlation coefficient or power ratio;
Estimating a second variance of the second estimated output signal; And
Generating a second inverse autocorrelation matrix calculated based on the second variance. 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공하는 제1 추정부;
상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트하는 제1 필터부;
상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공하는 제2 추정부;
상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트하는 제2 필터부; 및
상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공하는 출력부를 포함하는 노이즈 제거 장치. A first estimator providing a first estimated output signal calculated based on a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to the previous frame;
A first filter unit to update a first current far-end channel filter corresponding to a current frame according to the first estimated output signal and the first previous far-end channel filter;
A second estimator for providing a second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal;
A second filter unit for updating a second current far-end channel filter corresponding to a current frame according to the second estimated output signal and the second previous far-end channel filter; And
And an output unit configured to provide a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal. 제12항에 있어서,
상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 계산된 제1 상관계수 혹은 파워비율에 따라 상기 제1 추정 출력신호를 산출하는 것을 특징으로 하는 노이즈 제거 장치.The method of claim 12,
And calculating the first estimated output signal according to a first correlation coefficient or a power ratio calculated based on the first previous wave-end channel filter and the second previous wave-end channel filter. 초기값을 세팅하는 초기화부;
이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공하는 제1 추정부;
상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트하는 제1 필터부;
상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공하는 제2 추정부;
상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트하는 제2 필터부; 및
상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공하는 출력부를 포함하는 스테레오 노이즈 제거 장치.An initialization unit for setting an initial value;
A first estimator providing a first estimated output signal calculated based on a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to the previous frame;
A first filter unit to update a first current far-end channel filter corresponding to a current frame according to the first estimated output signal and the first previous far-end channel filter;
A second estimator for providing a second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal;
A second filter unit for updating a second current far-end channel filter corresponding to a current frame according to the second estimated output signal and the second previous far-end channel filter; And
And an output unit configured to provide a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal. 제14항에 있어서,
상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 계산된 제2 상관계수 혹은 파워비율에 따라 상기 제2 추정 출력신호를 산출하는 것을 특징으로 하는 스테레오 노이즈 제거 장치.The method of claim 14,
And calculating the second estimated output signal according to a second correlation coefficient or a power ratio calculated based on the first current wave-end channel filter and the second previous wave-end channel filter. . 이전 프레임에 상응하는 이전 파-엔드(Far-end) 채널필터 및 입력신호에 기초하여 산출되는 추정 출력신호를 제공하는 단계;
상기 추정 출력신호 및 상기 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 현재 파-엔드 채널필터를 업데이트하는 단계; 및
상기 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공하는 단계를 포함하는 모노 노이즈 제거 방법.Providing an estimated output signal calculated based on a previous far-end channel filter and an input signal corresponding to the previous frame;
Updating a current far-end channel filter corresponding to a current frame according to the estimated output signal and the previous far-end channel filter; And
And providing a resultant signal calculated based on the current far-end channel filter and the input signal. 제16항에 있어서,
상기 현재 파-엔드 채널필터를 업데이트하는 단계는,
상기 추정 출력신호에 기초하여 분산을 추정하는 단계; 및
상기 분산에 기초하여 계산되는 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix)를 생성하는 단계를 포함하는 것을 특징으로 하는 모노 노이즈 제거 방법.The method of claim 16,
Updating the current far-end channel filter,
Estimating variance based on the estimated output signal; And
Generating an inverse autocorrelation matrix calculated on the basis of the variance. 제3항에 있어서,
상기 제1 망각 인자는 상수값을 가지거나 상기 제1 추정 출력신호에 의해 결정되는 것을 특징으로 하는 노이즈 제거 방법.The method of claim 3,
And the first forgetting factor has a constant value or is determined by the first estimated output signal. 제6항에 있어서,
상기 제2 망각 인자는 상수값을 가지거나 상기 제2 추정 출력신호에 의해 결정되는 것을 특징으로 하는 노이즈 제거 방법.The method of claim 6,
And said second forgetting factor has a constant value or is determined by said second estimated output signal.
KR1020190101737A 2018-08-27 2019-08-20 Stereo noise cancellation device and method thereof KR102204119B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2019/010719 WO2020045898A1 (en) 2018-08-27 2019-08-22 Apparatus for removing stereo noise and method for removing stereo noise
CN201980052460.XA CN112534832B (en) 2018-08-27 2019-08-22 Stereo noise eliminating device and stereo noise eliminating method
US16/586,983 US11094333B2 (en) 2019-03-15 2019-09-28 Device and method for stereo noise cancellation
KR1020200147303A KR102271561B1 (en) 2018-08-27 2020-11-06 Mono noise cancellation device and method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020180100455 2018-08-27
KR20180100455 2018-08-27
KR1020190006814A KR20200024066A (en) 2018-08-27 2019-01-18 Stereo noise cancellation device and method thereof
KR1020190006814 2019-01-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200147303A Division KR102271561B1 (en) 2018-08-27 2020-11-06 Mono noise cancellation device and method thereof

Publications (2)

Publication Number Publication Date
KR20200024098A true KR20200024098A (en) 2020-03-06
KR102204119B1 KR102204119B1 (en) 2021-01-18

Family

ID=69802359

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020190006814A KR20200024066A (en) 2018-08-27 2019-01-18 Stereo noise cancellation device and method thereof
KR1020190101737A KR102204119B1 (en) 2018-08-27 2019-08-20 Stereo noise cancellation device and method thereof
KR1020200147303A KR102271561B1 (en) 2018-08-27 2020-11-06 Mono noise cancellation device and method thereof

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020190006814A KR20200024066A (en) 2018-08-27 2019-01-18 Stereo noise cancellation device and method thereof

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020200147303A KR102271561B1 (en) 2018-08-27 2020-11-06 Mono noise cancellation device and method thereof

Country Status (2)

Country Link
KR (3) KR20200024066A (en)
CN (1) CN112534832B (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114822575A (en) * 2022-04-28 2022-07-29 深圳市中科蓝讯科技股份有限公司 Double-microphone array echo cancellation method and device and electronic equipment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009518663A (en) * 2005-12-05 2009-05-07 テレフオンアクチーボラゲット エル エム エリクソン（パブル） Echo detection
KR101133308B1 (en) 2011-02-14 2012-04-04 신두식 Microphone with a function of removing an echo
JP2013037174A (en) * 2011-08-08 2013-02-21 Nippon Telegr & Teleph Corp <Ntt> Noise/reverberation removal device, method thereof, and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352858B2 (en) * 2004-06-30 2008-04-01 Microsoft Corporation Multi-channel echo cancellation with round robin regularization
EP1855457B1 (en) * 2006-05-10 2009-07-08 Harman Becker Automotive Systems GmbH Multi channel echo compensation using a decorrelation stage
RU2546717C2 (en) * 2009-06-02 2015-04-10 Конинклейке Филипс Электроникс Н.В. Multichannel acoustic echo cancellation
US9143862B2 (en) * 2012-12-17 2015-09-22 Microsoft Corporation Correlation based filter adaptation
CN103067629B (en) * 2013-01-18 2014-10-29 苏州科达科技股份有限公司 echo cancellation device
TWI579833B (en) * 2016-06-22 2017-04-21 瑞昱半導體股份有限公司 Signal processing device and signal processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009518663A (en) * 2005-12-05 2009-05-07 テレフオンアクチーボラゲット エル エム エリクソン（パブル） Echo detection
KR101133308B1 (en) 2011-02-14 2012-04-04 신두식 Microphone with a function of removing an echo
JP2013037174A (en) * 2011-08-08 2013-02-21 Nippon Telegr & Teleph Corp <Ntt> Noise/reverberation removal device, method thereof, and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C. Paleologu et al., "Study of the general Kalman filter for echo cancellation," IEEE Trans. Audio, Speech, Lang. Process., Aug. 2013 국외논문 사본 1부.* *

Also Published As

Publication number Publication date
KR102271561B1 (en) 2021-07-01
KR102204119B1 (en) 2021-01-18
KR20200128505A (en) 2020-11-13
KR20200024066A (en) 2020-03-06
CN112534832A (en) 2021-03-19
CN112534832B (en) 2022-11-15

Similar Documents

Publication Publication Date Title
EP3568854B1 (en) Post-mixing acoustic echo cancellation systems and methods
RU2546717C2 (en) Multichannel acoustic echo cancellation
CN106664473B (en) Information processing apparatus, information processing method, and program
JP5501527B2 (en) Echo canceller and echo detector
EP1715669A1 (en) A method for removing echo in an audio signal
CA2952157C (en) Apparatus and method for enhancing an audio signal, sound enhancing system
JPWO2005125273A1 (en) Howling detection apparatus and method
JP2004056453A (en) Method and device for suppressing echo
JP2006313997A (en) Noise level estimating device
KR101568937B1 (en) Apparatus and method for supressing non-linear echo talker using volterra filter
Rombouts et al. Robust and Efficient Implementation of the PEM—AFROW Algorithm for Acousic Feedback Cancellation
KR102271561B1 (en) Mono noise cancellation device and method thereof
Akhtar et al. Acoustic feedback cancellation in hearing aids using dual adaptive filtering and gain-controlled probe signal
KR20140051777A (en) Method and apparatus for cancelling acoustic echo, and method for updating adaptive filter coefficient by the appratus
Bispo et al. On the use of cepstral analysis in acoustic feedback cancellation
KR102088375B1 (en) Stereo noise cancellation device and method thereof
KR102088355B1 (en) Stereo noise cancellation device and method thereof
Bispo et al. Acoustic feedback cancellation based on cepstral analysis
KR100545832B1 (en) Sound echo canceller robust to interference signals
Kar et al. Sound quality improvement for hearing aids in presence of multiple inputs
JP3628267B2 (en) Multi-channel echo cancellation method, apparatus thereof, program thereof and recording medium thereof
US20200066248A1 (en) Device and method for stereo noise cancellation
JP2005318571A (en) Echo canceler
JP3724726B2 (en) Echo canceling apparatus, echo canceling method, and echo canceling program
US20200294524A1 (en) Device and method for stereo noise cancellation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
E601 Decision to refuse application
A107 Divisional application of patent
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant