KR102271561B1 - Mono noise cancellation device and method thereof - Google Patents

Mono noise cancellation device and method thereof Download PDF

Info

Publication number
KR102271561B1
KR102271561B1 KR1020200147303A KR20200147303A KR102271561B1 KR 102271561 B1 KR102271561 B1 KR 102271561B1 KR 1020200147303 A KR1020200147303 A KR 1020200147303A KR 20200147303 A KR20200147303 A KR 20200147303A KR 102271561 B1 KR102271561 B1 KR 102271561B1
Authority
KR
South Korea
Prior art keywords
far
channel filter
end channel
signal
previous
Prior art date
Application number
KR1020200147303A
Other languages
Korean (ko)
Other versions
KR20200128505A (en
Inventor
박형민
조병준
Original Assignee
주식회사 엠피웨이브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠피웨이브 filed Critical 주식회사 엠피웨이브
Publication of KR20200128505A publication Critical patent/KR20200128505A/en
Application granted granted Critical
Publication of KR102271561B1 publication Critical patent/KR102271561B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Noise Elimination (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명의 실시예에 따른 노이즈 제거 방법에서는 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공할 수 있다. 제1 추정 출력신호 및 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트할 수 있다. 제1 현재 파-엔드 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공할 수 있다. 제2 추정 출력신호 및 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트할 수 있다. 제1 현재 파-엔드 채널필터, 제2 현재 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 결과신호를 제공할 수 있다.
본 발명에 따른 노이즈 제거 방법을 사용하면 입력신호(IN_S)로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다.In the noise removal method according to an embodiment of the present invention, a first previous far-end channel filter corresponding to a previous frame, a second previous far-end channel filter corresponding to a previous frame, and a first estimated output calculated based on an input signal signal can be provided. The first current far-end channel filter corresponding to the current frame may be updated according to the first estimated output signal and the first previous far-end channel filter. A second estimated output signal calculated based on the first current far-end channel filter, the second previous far-end channel filter and the input signal may be provided. The second current far-end channel filter corresponding to the current frame may be updated according to the second estimated output signal and the second previous far-end channel filter. A result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal may be provided.
Using the noise removal method according to the present invention, it is possible to provide a noise-removed voice signal by removing the stereo echo signal from the input signal IN_S.

Figure 112020118570323-pat00082
Figure 112020118570323-pat00082

Description

모노 노이즈 제거 장치 및 모노 노이즈 제거 방법{MONO NOISE CANCELLATION DEVICE AND METHOD THEREOF}MONO NOISE CANCELLATION DEVICE AND METHOD THEREOF

본 발명은 모노 노이즈를 제거하는 방법에 관한 것이다.The present invention relates to a method for removing mono noise.

일정한 공간에서 마이크를 통해 음성을 전달하고 스피커를 이용하여 이를 청취하는 경우, 마이크로 전달된 음성이 스피커를 통해서 다시 마이크로 전달되어 노이즈가 발생할 수 있다. 특히, 복수의 스피커들을 이용하여 음성을 청중에게 전달하는 경우, 마이크로 다시 전달되는 노이즈의 음원은 복수 개일 수 있다. 현재, 스테레오 에코 신호로 인해서 발생하는 노이즈를 제거하기 위한 다양한 연구들이 진행되고 있다.When a voice is transmitted through a microphone in a certain space and a speaker is used to listen to it, the voice transmitted through the microphone is transmitted back through the speaker to the microphone, which may generate noise. In particular, when a voice is transmitted to an audience using a plurality of speakers, there may be a plurality of sound sources of noise transmitted back to the microphone. Currently, various studies are being conducted to remove noise generated due to a stereo echo signal.

(한국등록특허) 제10-1133308호 (등록일자, 2012.3.28)(Korea Patent) No. 10-1133308 (Registration date, 2012.3.28)

본 발명이 이루고자 하는 기술적 과제는 스테레오 에코 신호를 제거하기 위한 스테레오 노이즈 제거 방법을 제공하는 것이다. An object of the present invention is to provide a method for removing stereo noise for removing a stereo echo signal.

본 발명이 이루고자 하는 기술적 과제는 스테레오 에코 신호를 제거하기 위한 스테레오 노이즈 제거 장치를 제공하는 것이다.An object of the present invention is to provide an apparatus for removing stereo noise for removing a stereo echo signal.

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 노이즈 제거 방법에서는 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공할 수 있다. 상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트할 수 있다. 상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공할 수 있다. 상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트할 수 있다. 상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공할 수 있다. In order to solve this problem, in the noise removal method according to an embodiment of the present invention, based on the first previous far-end channel filter corresponding to the previous frame, the second previous far-end channel filter and the input signal, The calculated first estimated output signal may be provided. The first current far-end channel filter corresponding to the current frame may be updated according to the first estimated output signal and the first previous far-end channel filter. A second estimated output signal calculated based on the first current far-end channel filter, the second previous far-end channel filter, and the input signal may be provided. A second current far-end channel filter corresponding to the current frame may be updated according to the second estimated output signal and the second previous far-end channel filter. A result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal may be provided.

일 실시예에 있어서, 상기 제1 추정 출력신호를 제공하는 단계에서는 상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제1 상관계수 혹은 파워비율을 계산할 수 있다. 상기 제1 상관계수 혹은 파워비율에 따라 상기 제1 추정 출력신호를 산출할 수 있다. In an embodiment, in the step of providing the first estimated output signal, a first correlation coefficient or a power ratio may be calculated based on the first previous far-end channel filter and the second previous far-end channel filter. . The first estimated output signal may be calculated according to the first correlation coefficient or power ratio.

일 실시예에 있어서, 상기 제1 현재 파-엔드 채널필터를 업데이트하는 단계에서는 상기 제1 추정 출력신호에 기초하여 제1 분산을 추정할 수 있다. 상기 제1 분산에 기초하여 계산되는 제1 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix)를 생성할 수 있다. In an embodiment, in the updating of the first current far-end channel filter, a first variance may be estimated based on the first estimated output signal. A first inverse autocorrelation matrix calculated based on the first variance may be generated.

일 실시예에 있어서, 상기 제1 분산은 상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제공되는 상기 제1 추정 출력신호에 의해 결정될 수 있다. In an embodiment, the first variance may be determined by the first estimated output signal provided based on the first previous far-end channel filter and the second previous far-end channel filter.

일 실시예에 있어서, 제2 추정 출력신호를 제공하는 단계에서는 상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제2 상관계수 혹은 파워비율을 계산할 수 있다. 상기 제2 상관계수 혹은 파워비율에 따라 상기 제2 추정 출력신호를 산출할 수 있다. In an embodiment, in the providing of the second estimated output signal, a second correlation coefficient or power ratio may be calculated based on the first current far-end channel filter and the second previous far-end channel filter. The second estimated output signal may be calculated according to the second correlation coefficient or power ratio.

일 실시예에 있어서, 상기 제2 현재 파-엔드 채널필터를 업데이트하는 단계에서는 상기 제2 추정 출력신호에 기초하여 2 분산을 추정할 수 있다. 상기 제2 분산에 기초하여 계산되는 제2 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix)를 생성할 수 있다. In an embodiment, in the updating of the second current far-end channel filter, variance 2 may be estimated based on the second estimated output signal. A second inverse autocorrelation matrix calculated based on the second variance may be generated.

일 실시예에 있어서, 상기 제2 분산은 상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제공되는 상기 제2 추정 출력신호에 의해 결정될 수 있다. In an embodiment, the second variance may be determined by the second estimated output signal provided based on the first current far-end channel filter and the second previous far-end channel filter.

일 실시예에 있어서, 상기 결과신호를 제공하는 단계에서는 상기 제1 현재 파-엔드 채널필터 및 상기 제2 현재 파-엔드 채널필터에 기초하여 제3 상관계수 혹은 파워비율을 계산할 수 있다. 상기 제3 상관계수 혹은 파워비율에 따라 상기 결과신호를 산출할 수 있다. In an embodiment, in the step of providing the result signal, a third correlation coefficient or a power ratio may be calculated based on the first current far-end channel filter and the second current far-end channel filter. The result signal may be calculated according to the third correlation coefficient or power ratio.

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 스테레오 노이즈 제거 방법에서는 초기값을 세팅할 수 있다. 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공하고, 상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트할 수 있다. 상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공하고, 상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트할 수 있다. 상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공할 수 있다. In order to solve this problem, an initial value may be set in the method for removing stereo noise according to an embodiment of the present invention. providing a first previous far-end channel filter corresponding to a previous frame, a second previous far-end channel filter, and a first estimated output signal calculated based on an input signal, the first estimated output signal and updating the first current far-end channel filter corresponding to the current frame according to the first previous far-end channel filter. providing a second estimated output signal calculated based on the first current far-end channel filter, the second previous far-end channel filter, and the input signal, the second estimated output signal and the second previous wave- The second current far-end channel filter corresponding to the current frame may be updated according to the end channel filter. A result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal may be provided.

일 실시예에 있어서, 상기 제1 현재 파-엔드 채널필터를 업데이트하는 단계에서는 상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제1 상관계수 혹은 파워비율을 계산할 수 있다. 상기 제1 상관계수 혹은 파워비율에 따라 상기 제1 추정 출력신호를 산출할 수 있다. 상기 제1 추정 출력신호의 제1 분산을 추정할 수 있다. 상기 제1 분산에 기초하여 계산되는 제1 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix, IACM1)를 생성할 수 있다. In an embodiment, in the updating of the first current far-end channel filter, a first correlation coefficient or a power ratio is calculated based on the first previous far-end channel filter and the second previous far-end channel filter. can be calculated The first estimated output signal may be calculated according to the first correlation coefficient or power ratio. A first variance of the first estimated output signal may be estimated. A first inverse autocorrelation matrix (IACM1) calculated based on the first variance may be generated.

일 실시예에 있어서, 상기 제2 현재 파-엔드 채널필터를 업데이트하는 단계에서는 상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제2 상관계수 혹은 파워비율을 계산할 수 있다. 상기 제2 상관계수 혹은 파워비율에 따라 상기 제2 추정 출력신호를 산출할 수 있다. 상기 제2 추정 출력신호의 제2 분산을 추정할 수 있다. 상기 제2 분산에 기초하여 계산되는 제2 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix)를 생성할 수 있다. In an embodiment, in the updating of the second current far-end channel filter, a second correlation coefficient or power ratio is determined based on the first current far-end channel filter and the second previous far-end channel filter. can be calculated The second estimated output signal may be calculated according to the second correlation coefficient or power ratio. A second variance of the second estimated output signal may be estimated. A second inverse autocorrelation matrix calculated based on the second variance may be generated.

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 노이즈 제거 장치는 제1 추정부, 제1 필터부, 제2 추정부, 제2 필터부, 출력부를 포함할 수 있다. 제1 추정부는 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공할 수 있다. 제1 필터부는 상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트할 수 있다. 제2 추정부는 상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공할 수 있다. 제2 필터부는 상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트할 수 있다. 출력부는 상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공할 수 있다. In order to solve the above problems, an apparatus for removing noise according to an embodiment of the present invention may include a first estimator, a first filter unit, a second estimator, a second filter unit, and an output unit. The first estimator may provide a first previous far-end channel filter corresponding to the previous frame, a second previous far-end channel filter, and a first estimated output signal calculated based on the input signal. The first filter unit may update the first current far-end channel filter corresponding to the current frame according to the first estimated output signal and the first previous far-end channel filter. The second estimator may provide a second estimated output signal calculated based on the first current far-end channel filter, the second previous far-end channel filter, and the input signal. The second filter unit may update the second current far-end channel filter corresponding to the current frame according to the second estimated output signal and the second previous far-end channel filter. The output unit may provide a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal.

일 실시예에 있어서, 상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 계산된 제1 상관계수 혹은 파워비율에 따라 상기 제1 추정 출력신호를 산출할 수 있다. In an embodiment, the first estimated output signal may be calculated according to a first correlation coefficient or a power ratio calculated based on the first previous far-end channel filter and the second previous far-end channel filter. .

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 스테레오 노이즈 제거 장치는 초기화부, 제1 추정부, 제1 필터부, 제2 추정부, 제2 필터부, 출력부를 포함할 수 있다. 초기화부는 초기값을 세팅할 수 있다. 제1 추정부는 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공할 수 있다. 제1 필터부는 상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트할 수 있다. 제2 추정부는 상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공할 수 있다. 제2 필터부는 상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트할 수 있다. 출력부는 상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공할 수 있다. In order to solve the above problems, the apparatus for removing stereo noise according to an embodiment of the present invention may include an initialization unit, a first estimation unit, a first filter unit, a second estimation unit, a second filter unit, and an output unit. The initializer may set an initial value. The first estimator may provide a first previous far-end channel filter corresponding to the previous frame, a second previous far-end channel filter, and a first estimated output signal calculated based on the input signal. The first filter unit may update the first current far-end channel filter corresponding to the current frame according to the first estimated output signal and the first previous far-end channel filter. The second estimator may provide a second estimated output signal calculated based on the first current far-end channel filter, the second previous far-end channel filter, and the input signal. The second filter unit may update the second current far-end channel filter corresponding to the current frame according to the second estimated output signal and the second previous far-end channel filter. The output unit may provide a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal.

일 실시예에 있어서, 상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 계산된 제2 상관계수 혹은 파워비율에 따라 상기 제2 추정 출력신호를 산출할 수 있다. In an embodiment, the second estimated output signal may be calculated according to a second correlation coefficient or a power ratio calculated based on the first current far-end channel filter and the second previous far-end channel filter. .

위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.In addition to the technical problems of the present invention mentioned above, other features and advantages of the present invention will be described below or will be clearly understood by those skilled in the art from such description and description.

이상과 같은 본 발명에 따르면 다음과 같은 효과가 있다.According to the present invention as described above, there are the following effects.

본 발명에 따른 노이즈 제거 방법에서는 마이크로 입력되는 입력신호로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다. In the noise removal method according to the present invention, it is possible to provide a noise-removed voice signal by removing a stereo echo signal from an input signal input to a microphone.

본 발명에 따른 노이즈 제거 장치에서는 마이크로 입력되는 입력신호로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다.The noise removing apparatus according to the present invention can provide a noise-removed voice signal by removing a stereo echo signal from an input signal input to a microphone.

이 밖에도, 본 발명의 실시 예들을 통해 본 발명의 또 다른 특징 및 이점들이 새롭게 파악될 수도 있을 것이다.In addition, other features and advantages of the present invention may be newly recognized through embodiments of the present invention.

도 1은 본 발명의 실시예들을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예들에 따른 노이즈 제거 방법을 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 제1 추정 출력신호를 제공하는 과정을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 제1 현재 파-엔드 채널필터의 업데이트 과정을 설명하기 위한 순서도이다.
도 5는 프레임에 따라 변동하는 제1 파-엔드 채널필터를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예들에 포함되는 제1 파-엔드 채널필터를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 제2 추정 출력신호를 제공하는 과정을 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 제2 현재 파-엔드 채널필터의 업데이트 과정을 설명하기 위한 순서도이다.
도 9는 프레임에 따라 변동하는 제2 파-엔드 채널필터를 설명하기 위한 도면이다.
도 10은 본 발명의 실시예들에 포함되는 제2 파-엔드 채널필터를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 결과신호를 제공하는 과정을 설명하기 위한 순서도이다.
도 12는 본 발명의 실시예들에 따른 스테레오 노이즈 제거 방법을 나타내는 순서도이다.
도 13은 본 발명의 실시예들에 따른 노이즈 제거 장치를 나타내는 도면이다.
도 14는 본 발명의 실시예들에 따른 스테레오 노이즈 제거 장치를 나타내는 도면이다.
도 15는 본 발명의 실시예들에 따른 모노 노이즈 제거 방법을 나타내는 순서도이다.
도 16은 본 발명의 일 실시예에 따른 현재 파-엔드 채널필터의 업데이트 과정을 설명하기 위한 순서도이다.1 is a view for explaining embodiments of the present invention.
2 is a flowchart illustrating a noise removal method according to embodiments of the present invention.
3 is a flowchart illustrating a process of providing a first estimated output signal according to an embodiment of the present invention.
4 is a flowchart illustrating an update process of a first current far-end channel filter according to an embodiment of the present invention.
5 is a diagram for explaining a first far-end channel filter that varies according to a frame.
6 is a diagram for explaining a first far-end channel filter included in embodiments of the present invention.
7 is a flowchart illustrating a process of providing a second estimated output signal according to an embodiment of the present invention.
8 is a flowchart illustrating an update process of a second current far-end channel filter according to an embodiment of the present invention.
9 is a diagram for explaining a second far-end channel filter that varies according to a frame.
10 is a diagram for explaining a second far-end channel filter included in embodiments of the present invention.
11 is a flowchart illustrating a process of providing a result signal according to an embodiment of the present invention.
12 is a flowchart illustrating a method for removing stereo noise according to embodiments of the present invention.
13 is a diagram illustrating an apparatus for removing noise according to embodiments of the present invention.
14 is a diagram illustrating an apparatus for removing stereo noise according to embodiments of the present invention.
15 is a flowchart illustrating a method for removing mono noise according to embodiments of the present invention.
16 is a flowchart illustrating an update process of a current far-end channel filter according to an embodiment of the present invention.

본 명세서에서 각 도면의 구성 요소들에 참조번호를 부가함에 있어서 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.In the present specification, it should be noted that in adding reference numbers to the components of each drawing, the same numbers are used for the same components even if they are indicated on different drawings as much as possible.

한편, 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in this specification should be understood as follows.

단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한, 복수의 표현을 포함하는 것으로 이해되어야 하는 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.The singular expression is to be understood as including the plural expression unless the context clearly defines otherwise, and the scope of rights should not be limited by these terms.

"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It should be understood that terms such as “comprise” or “have” do not preclude the possibility of addition or existence of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.

이하, 첨부되는 도면을 참고하여 상기 문제점을 해결하기 위해 고안된 본 발명의 바람직한 실시예들에 대해 상세히 설명한다.Hereinafter, preferred embodiments of the present invention designed to solve the above problems will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예들을 설명하기 위한 도면이고, 도 2는 본 발명의 실시예들에 따른 노이즈 제거 방법을 나타내는 순서도이다.1 is a diagram for explaining embodiments of the present invention, and FIG. 2 is a flowchart illustrating a noise removal method according to embodiments of the present invention.

도 1 및 2를 참조하면, 본 발명의 실시예에 따른 노이즈 제거 방법에서는 이전 프레임(PF)에 상응하는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1), 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제1 추정 출력신호(EO_S1)를 제공할 수 있다(S100). 입력신호(IN_S)는 니어-엔드(Near-end) 신호(NE_S), 제1 파-엔드 신호(FE_S1) 및 제2 파-엔드 신호(FE_S2)를 포함할 수 있다. 1 and 2 , in the noise removal method according to an embodiment of the present invention, a first previous far-end channel filter PFE_F1 corresponding to a previous frame PF, and a second previous far-end corresponding to the previous frame PF The first estimated output signal EO_S1 calculated based on the channel filter PFE_F2 and the input signal IN_S may be provided ( S100 ). The input signal IN_S may include a near-end signal NE_S, a first far-end signal FE_S1 , and a second far-end signal FE_S2 .

예를들어, 니어-엔드 신호(NE_S)는 스테레오 에코신호(FE_S1, FE_S2)가 포함되지 않은 순수 음성신호일 수 있다. 제1 파-엔드 신호(FE_S1)는 마이크(23)를 기준으로 제1 방향에 배치되는 스피커등의 제1 음원(21)으로부터 제공되는 에코신호일 수 있다. 제1 방향은 마이크(23)를 기준으로 왼쪽을 나타낼 수 있다. 제2 파-엔드 신호(FE_S2)는 마이크(23)를 기준으로 제2 방향에 배치되는 스피커등의 제2 음원(22)으로부터 제공되는 에코신호일 수 있다. 제2 방향은 마이크(23)를 기준으로 오른쪽을 나타낼 수 있다.For example, the near-end signal NE_S may be a pure audio signal that does not include the stereo echo signals FE_S1 and FE_S2. The first far-end signal FE_S1 may be an echo signal provided from the first sound source 21 such as a speaker disposed in the first direction with respect to the microphone 23 . The first direction may indicate a left side with respect to the microphone 23 . The second far-end signal FE_S2 may be an echo signal provided from the second sound source 22 such as a speaker disposed in the second direction with respect to the microphone 23 . The second direction may indicate a right side with respect to the microphone 23 .

예를 들어, 제1 프레임 이후에 제공되는 프레임은 제2 프레임일 수 있다. 여기서, 제2 프레임이 현재 프레임(CF)인 경우, 제1 프레임은 이전 프레임(PF)일 수 있다. 이 경우, 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)는 제1 프레임에서 제1 방향의 파-엔드 채널필터일 수 있다. 또한, 제2 이전 파-엔드 채널필터(PFE_F2)는 제1 프레임에서 제2 방향의 파-엔드 채널필터일 수 있다.For example, the frame provided after the first frame may be the second frame. Here, when the second frame is the current frame CF, the first frame may be the previous frame PF. In this case, the first previous far-end channel filter PFE_F1 may be a far-end channel filter in the first direction in the first frame. Also, the second previous far-end channel filter PFE_F2 may be a far-end channel filter in the second direction in the first frame.

제1 추정 출력신호(EO_S1)는

Figure 112020118570323-pat00001
로 나타낼 수 있고, 제1 추정 출력신호(EO_S1)는 [수학식 1]과 같이 표현될 수 있다. The first estimated output signal EO_S1 is
Figure 112020118570323-pat00001
, and the first estimated output signal EO_S1 may be expressed as [Equation 1].

[수학식 1] [Equation 1]

Figure 112020118570323-pat00002
Figure 112020118570323-pat00002

여기서,

Figure 112020118570323-pat00003
는 입력신호(IN_S)이고,
Figure 112020118570323-pat00004
제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)이고,
Figure 112020118570323-pat00005
는 제1 파-엔드 신호(FE_S1)이고,
Figure 112020118570323-pat00006
는 제2 이전 파-엔드 채널필터(PFE_F2)이고,
Figure 112020118570323-pat00007
는 제2 파-엔드 신호(FE_S2)이고,
Figure 112020118570323-pat00008
는 제1 상관계수 혹은 파워비율이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.here,
Figure 112020118570323-pat00003
is the input signal (IN_S),
Figure 112020118570323-pat00004
The first previous far-end channel filter (PFE_F1),
Figure 112020118570323-pat00005
is the first far-end signal FE_S1,
Figure 112020118570323-pat00006
is the second previous far-end channel filter (PFE_F2),
Figure 112020118570323-pat00007
is the second far-end signal FE_S2,
Figure 112020118570323-pat00008
may be a first correlation coefficient or power ratio, m may be a sample index, and k may be a frequency index.

제1 추정 출력신호(EO_S1) 및 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)에 따라 현재 프레임(CF)에 상응하는 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트할 수 있다(S200). The first current far-end channel filter CFE_F1 corresponding to the current frame CF can be updated according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1 There is (S200).

예를 들어, 제1 프레임 이후에 제공되는 프레임은 제2 프레임일 수 있다. 여기서, 제2 프레임이 현재 프레임(CF)인 경우, 제1 프레임은 이전 프레임(PF)일 수 있다. 이 경우, 제1 현재 파-엔드 채널필터(CFE_F1)는 제2 프레임에서 제1 방향의 파-엔드 채널필터일 수 있다.For example, the frame provided after the first frame may be the second frame. Here, when the second frame is the current frame CF, the first frame may be the previous frame PF. In this case, the first current far-end channel filter CFE_F1 may be a far-end channel filter in the first direction in the second frame.

제1 현재 파-엔드 채널필터(CFE_F1)는

Figure 112020118570323-pat00009
로 나타낼 수 있고, 제1 현재 파-엔드 채널필터(CFE_F1)는 [수학식 2]와 같이 표현될 수 있다.The first current far-end channel filter (CFE_F1) is
Figure 112020118570323-pat00009
, and the first current far-end channel filter CFE_F1 may be expressed as [Equation 2].

[수학식 2][Equation 2]

Figure 112020118570323-pat00010
Figure 112020118570323-pat00010

여기서,

Figure 112020118570323-pat00011
는 제1 현재 파-엔드 채널필터(CFE_F1)이고,
Figure 112020118570323-pat00012
는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)이고,
Figure 112020118570323-pat00013
는 제1 칼만이득일 수 있다.here,
Figure 112020118570323-pat00011
is the first current far-end channel filter (CFE_F1),
Figure 112020118570323-pat00012
is the first previous far-end channel filter (PFE_F1),
Figure 112020118570323-pat00013
may be the first Kalman gain.

제1 현재 파-엔드 채널필터(CFE_F1), 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제2 추정 출력신호(EO_S2)를 제공할 수 있다(S300). A second estimated output signal EO_S2 calculated based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S may be provided (S300). .

제2 추정 출력신호(EO_S2)는

Figure 112020118570323-pat00014
로 나타낼 수 있고, 제2 추정 출력신호(EO_S2)는 [수학식 3]과 같이 표현될 수 있다. The second estimated output signal EO_S2 is
Figure 112020118570323-pat00014
, and the second estimated output signal EO_S2 may be expressed as [Equation 3].

[수학식 3] [Equation 3]

Figure 112020118570323-pat00015
Figure 112020118570323-pat00015

여기서,

Figure 112020118570323-pat00016
는 입력신호(IN_S)이고,
Figure 112020118570323-pat00017
제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)이고,
Figure 112020118570323-pat00018
는 제1 파-엔드 신호(FE_S1)이고,
Figure 112020118570323-pat00019
는 제2 이전 파-엔드 채널필터(PFE_F2)이고,
Figure 112020118570323-pat00020
는 제2 파-엔드 신호(FE_S2)이고,
Figure 112020118570323-pat00021
는 제2 상관계수 혹은 파워비율이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.here,
Figure 112020118570323-pat00016
is the input signal (IN_S),
Figure 112020118570323-pat00017
The first previous far-end channel filter (PFE_F1),
Figure 112020118570323-pat00018
is the first far-end signal FE_S1,
Figure 112020118570323-pat00019
is the second previous far-end channel filter (PFE_F2),
Figure 112020118570323-pat00020
is the second far-end signal FE_S2,
Figure 112020118570323-pat00021
may be a second correlation coefficient or power ratio, m may be a sample index, and k may be a frequency index.

제2 추정 출력신호(EO_S2) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 따라 현재 프레임(CF)에 상응하는 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트할 수 있다(S400). The second current far-end channel filter CFE_F2 corresponding to the current frame CF may be updated according to the second estimated output signal EO_S2 and the second previous far-end channel filter PFE_F2 ( S400 ).

예를 들어, 제1 프레임 이후에 제공되는 프레임은 제2 프레임일 수 있다. 여기서, 제2 프레임이 현재 프레임(CF)인 경우, 제1 프레임은 이전 프레임(PF)일 수 있다. 이 경우, 제2 현재 파-엔드 채널필터(CFE_F2)는 제2 프레임에서 제2 방향의 파-엔드 채널필터일 수 있다.For example, the frame provided after the first frame may be the second frame. Here, when the second frame is the current frame CF, the first frame may be the previous frame PF. In this case, the second current far-end channel filter CFE_F2 may be a far-end channel filter in the second direction in the second frame.

제2 현재 파-엔드 채널필터(CFE_F2)는

Figure 112020118570323-pat00022
로 나타낼 수 있고, 제2 현재 파-엔드 채널필터(CFE_F2)는 [수학식 4]와 같이 표현될 수 있다.The second current far-end channel filter (CFE_F2) is
Figure 112020118570323-pat00022
, and the second current far-end channel filter CFE_F2 may be expressed as [Equation 4].

[수학식 4][Equation 4]

Figure 112020118570323-pat00023
Figure 112020118570323-pat00023

여기서,

Figure 112020118570323-pat00024
는 제2 현재 파-엔드 채널필터(CFE_F2)이고,
Figure 112020118570323-pat00025
는 제2 이전 파-엔드 채널필터(PFE_F2)이고,
Figure 112020118570323-pat00026
는 제2 칼만이득일 수 있다.here,
Figure 112020118570323-pat00024
is the second current far-end channel filter (CFE_F2),
Figure 112020118570323-pat00025
is the second previous far-end channel filter (PFE_F2),
Figure 112020118570323-pat00026
may be a second Kalman gain.

제1 현재 파-엔드 채널필터(CFE_F1), 제2 현재 파-엔드 채널필터(CFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 결과신호(OUT_S)를 제공할 수 있다(S500). A result signal OUT_S calculated based on the first current far-end channel filter CFE_F1 , the second current far-end channel filter CFE_F2 and the input signal IN_S may be provided ( S500 ).

결과신호(OUT_S)는

Figure 112020118570323-pat00027
로 나타낼 수 있고, 결과신호(OUT_S)는 [수학식 5]와 같이 표현될 수 있다. The result signal (OUT_S) is
Figure 112020118570323-pat00027
, and the result signal OUT_S may be expressed as in [Equation 5].

[수학식 5][Equation 5]

Figure 112020118570323-pat00028
Figure 112020118570323-pat00028

여기서,

Figure 112020118570323-pat00029
는 입력신호(IN_S)이고,
Figure 112020118570323-pat00030
는 제1 현재 파-엔드 채널필터(CFE_F1)이고,
Figure 112020118570323-pat00031
는 제1 파-엔드 신호(FE_S1)이고,
Figure 112020118570323-pat00032
는 제2 현재 파-엔드 채널필터(CFE_F2)이고,
Figure 112020118570323-pat00033
는 제2 파-엔드 신호(FE_S2)이고,
Figure 112020118570323-pat00034
는 제3 상관계수 혹은 파워비율이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.here,
Figure 112020118570323-pat00029
is the input signal (IN_S),
Figure 112020118570323-pat00030
is the first current far-end channel filter (CFE_F1),
Figure 112020118570323-pat00031
is the first far-end signal FE_S1,
Figure 112020118570323-pat00032
is the second current far-end channel filter (CFE_F2),
Figure 112020118570323-pat00033
is the second far-end signal FE_S2,
Figure 112020118570323-pat00034
may be a third correlation coefficient or power ratio, m may be a sample index, and k may be a frequency index.

본 발명에 따른 노이즈 제거 방법을 사용하면 입력신호(IN_S)로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다.Using the noise removal method according to the present invention, it is possible to provide a noise-removed voice signal by removing the stereo echo signal from the input signal IN_S.

또한, 본 발명의 실시 예들은 스테레오 에코신호 제거에 대하여 기술하고 있지만, 본 발명의 실시예들에 따른 기술들은 모노 에코신호 제거를 위해서도 적용될 수 있다.In addition, although the embodiments of the present invention describe the stereo echo signal cancellation, the techniques according to the embodiments of the present invention can also be applied to the mono echo signal cancellation.

도 3은 본 발명의 일 실시예에 따른 제1 추정 출력신호를 제공하는 과정을 설명하기 위한 순서도이다.3 is a flowchart illustrating a process of providing a first estimated output signal according to an embodiment of the present invention.

도 3을 참조하면, 제1 추정 출력신호(EO_S1)를 제공하는 단계에서는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제1 상관계수 혹은 파워비율을 계산할 수 있다(S110). Referring to FIG. 3 , in the step of providing the first estimated output signal EO_S1 , based on a first previous far-end channel filter PFE_F1 and a second previous far-end channel filter PFE_F2 , A first correlation coefficient or power ratio may be calculated (S110).

제1 상관계수 혹은 파워비율은

Figure 112020118570323-pat00035
로 나타낼 수 있고, 제1 상관계수 혹은 파워비율은 [수학식 6]과 같이 표현될 수 있다. The first correlation coefficient or power ratio is
Figure 112020118570323-pat00035
, and the first correlation coefficient or power ratio may be expressed as [Equation 6].

[수학식 6][Equation 6]

Figure 112020118570323-pat00036
Figure 112020118570323-pat00036

Figure 112020118570323-pat00037
Figure 112020118570323-pat00037

Figure 112020118570323-pat00038
는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)이고,
Figure 112020118570323-pat00039
는 제1 파-엔드 신호(FE_S1)이고,
Figure 112020118570323-pat00040
는 제2 이전 파-엔드 채널필터(PFE_F2)이고,
Figure 112020118570323-pat00041
는 제2 파-엔드 신호(FE_S2)이고,
Figure 112020118570323-pat00042
는 제1 가중치이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.
Figure 112020118570323-pat00038
is the first previous far-end channel filter (PFE_F1),
Figure 112020118570323-pat00039
is the first far-end signal FE_S1,
Figure 112020118570323-pat00040
is the second previous far-end channel filter (PFE_F2),
Figure 112020118570323-pat00041
is the second far-end signal FE_S2,
Figure 112020118570323-pat00042
may be a first weight, m may be a sample index, and k may be a frequency index.

제1 상관계수 혹은 파워비율 등에 따라 제1 추정 출력신호(EO_S1)를 산출할 수 있다(S130). 예를 들어, 제1 추정 출력신호(EO_S1)는 [수학식 1]과 같이 표현될 수 있다. The first estimated output signal EO_S1 may be calculated according to the first correlation coefficient or power ratio ( S130 ). For example, the first estimated output signal EO_S1 may be expressed as [Equation 1].

도 4는 본 발명의 일 실시예에 따른 제1 현재 파-엔드 채널필터(CFE_F1)의 업데이트 과정을 설명하기 위한 순서도이고, 도 5는 프레임에 따라 변동하는 제1 파-엔드 채널필터를 설명하기 위한 도면이고, 도 6은 본 발명의 실시예들에 포함되는 제1 파-엔드 채널필터를 설명하기 위한 도면이다.4 is a flowchart illustrating an update process of the first current far-end channel filter (CFE_F1) according to an embodiment of the present invention, and FIG. 5 is a first far-end channel filter that varies according to a frame. 6 is a diagram for explaining a first far-end channel filter included in embodiments of the present invention.

도 4 내지 6을 참조하면, 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트하는 단계에서는 제1 추정 출력신호(EO_S1)에 기초하여 제1 분산(VAR1)을 추정할 수 있다(S210). 4 to 6 , in the step of updating the first current far-end channel filter CFE_F1 , the first variance VAR1 may be estimated based on the first estimated output signal EO_S1 ( S210 ).

예를 들어, 제1 분산(VAR1)은

Figure 112020118570323-pat00043
일 수 있고, 제1 분산(VAR1)은 [수학식 7]과 같이 표현될 수 있다. For example, the first variance VAR1 is
Figure 112020118570323-pat00043
, and the first variance VAR1 may be expressed as in [Equation 7].

[수학식 7][Equation 7]

Figure 112020118570323-pat00044
Figure 112020118570323-pat00044

여기서,

Figure 112020118570323-pat00045
는 Decision-directed(DD)방법에 따라 계산된 분산 추정치일 수 있고,
Figure 112020118570323-pat00046
는 임의로 결정되는 제2 가중치값이고,
Figure 112020118570323-pat00047
는 제1 추정 출력신호(EO_S1)를 나타낼 수 있다.here,
Figure 112020118570323-pat00045
may be a variance estimate calculated according to a decision-directed (DD) method,
Figure 112020118570323-pat00046
is an arbitrarily determined second weight value,
Figure 112020118570323-pat00047
may represent the first estimated output signal EO_S1.

일 실시예에 있어서, 제1 분산(VAR1)은 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제공되는 제1 추정 출력신호(EO_S1)에 의해 결정될 수 있다.In an embodiment, the first variance VAR1 is a first estimated output provided based on a first previous far-end channel filter PFE_F1 and a second previous far-end channel filter PFE_F2. It may be determined by the signal EO_S1.

제1 분산(VAR1)에 기초하여 계산되는 제1 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix , IACM1)를 생성할 수 있다(S230). A first inverse autocorrelation matrix (IACM1) calculated based on the first variance VAR1 may be generated (S230).

예를 들어, 제1 역 자기 상관 매트릭스는 [수학식 8]과 같이 표현될 수 있다. For example, the first inverse autocorrelation matrix may be expressed as [Equation 8].

[수학식 8][Equation 8]

Figure 112020118570323-pat00048
Figure 112020118570323-pat00048

Figure 112020118570323-pat00049
Figure 112020118570323-pat00049

여기서,

Figure 112020118570323-pat00050
은 제1 망각 인자(Forgetting Factor, FF1)이며,
Figure 112020118570323-pat00051
및
Figure 112020118570323-pat00052
는 제1 역 자기 상관 매트릭스에 포함될 수 있다.here,
Figure 112020118570323-pat00050
is the first forgetting factor (Forgetting Factor, FF1),
Figure 112020118570323-pat00051
and
Figure 112020118570323-pat00052
may be included in the first inverse autocorrelation matrix.

도 7은 본 발명의 일 실시예에 따른 제2 추정 출력신호를 제공하는 과정을 설명하기 위한 순서도이다.7 is a flowchart illustrating a process of providing a second estimated output signal according to an embodiment of the present invention.

도 7을 참조하면, 제2 추정 출력신호(EO_S2)를 제공하는 단계에서는 제1 현재 파-엔드 채널필터(CFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제2 상관계수 혹은 파워비율을 계산할 수 있다(S310). Referring to FIG. 7 , in the step of providing the second estimated output signal EO_S2 , a second correlation coefficient or A power ratio can be calculated (S310).

제2 상관계수 혹은 파워비율은

Figure 112020118570323-pat00053
로 나타낼 수 있고, 제2 상관계수 혹은 파워비율은 [수학식 9]과 같이 표현될 수 있다. The second correlation coefficient or power ratio is
Figure 112020118570323-pat00053
, and the second correlation coefficient or power ratio may be expressed as in [Equation 9].

[수학식 9][Equation 9]

Figure 112020118570323-pat00054
Figure 112020118570323-pat00054

Figure 112020118570323-pat00055
Figure 112020118570323-pat00055

Figure 112020118570323-pat00056
는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)이고,
Figure 112020118570323-pat00057
는 제1 현재 파-엔드 채널필터(CFE_F1)이고,
Figure 112020118570323-pat00058
는 제1 파-엔드 신호(FE_S1)이고,
Figure 112020118570323-pat00059
는 제2 이전 파-엔드 채널필터(PFE_F2)이고,
Figure 112020118570323-pat00060
는 제2 파-엔드 신호(FE_S2)이고,
Figure 112020118570323-pat00061
는 제1 가중치이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.
Figure 112020118570323-pat00056
is the first previous far-end channel filter (PFE_F1),
Figure 112020118570323-pat00057
is the first current far-end channel filter (CFE_F1),
Figure 112020118570323-pat00058
is the first far-end signal FE_S1,
Figure 112020118570323-pat00059
is the second previous far-end channel filter (PFE_F2),
Figure 112020118570323-pat00060
is the second far-end signal FE_S2,
Figure 112020118570323-pat00061
may be a first weight, m may be a sample index, and k may be a frequency index.

제2 상관계수 혹은 파워비율 등에 따라 제2 추정 출력신호(EO_S2)를 산출할 수 있다(S330). 예를 들어, 제2 추정 출력신호(EO_S2)는 [수학식 3]과 같이 표현될 수 있다. The second estimated output signal EO_S2 may be calculated according to the second correlation coefficient or power ratio ( S330 ). For example, the second estimated output signal EO_S2 may be expressed as [Equation 3].

도 8은 본 발명의 일 실시예에 따른 제2 현재 파-엔드 채널필터(CFE_F2)의 업데이트 과정을 설명하기 위한 순서도이고, 도 9는 프레임에 따라 변동하는 제2 파-엔드 채널필터를 설명하기 위한 도면이고, 도 10은 본 발명의 실시예들에 포함되는 제2 파-엔드 채널필터를 설명하기 위한 도면이다.8 is a flowchart illustrating an update process of a second current far-end channel filter (CFE_F2) according to an embodiment of the present invention, and FIG. 9 is a second far-end channel filter that varies according to a frame. FIG. 10 is a diagram for explaining a second far-end channel filter included in embodiments of the present invention.

도 8 내지 10을 참조하면, 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트하는 단계에서는 제2 추정 출력신호(EO_S2)에 기초하여 2 분산을 추정할 수 있다(S410). 8 to 10 , in the step of updating the second current far-end channel filter CFE_F2, variance 2 may be estimated based on the second estimated output signal EO_S2 (S410).

예를 들어, 제2 분산(VAR2)은

Figure 112020118570323-pat00062
일 수 있고, 제2 분산(VAR2)은 [수학식 10]과 같이 표현될 수 있다. For example, the second variance VAR2 is
Figure 112020118570323-pat00062
, and the second variance VAR2 may be expressed as in [Equation 10].

[수학식 10][Equation 10]

Figure 112020118570323-pat00063
Figure 112020118570323-pat00063

여기서,

Figure 112020118570323-pat00064
는 제1 분산(VAR1)이고,
Figure 112020118570323-pat00065
는 임의로 결정되는 제2 가중치값이고,
Figure 112020118570323-pat00066
는 제2 추정 출력신호(EO_S2)를 나타낼 수 있다.here,
Figure 112020118570323-pat00064
is the first variance (VAR1),
Figure 112020118570323-pat00065
is an arbitrarily determined second weight value,
Figure 112020118570323-pat00066
may represent the second estimated output signal EO_S2.

제2 분산(VAR2)은 제1 현재 파-엔드 채널필터(CFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제공되는 제2 추정 출력신호(EO_S2)에 의해 결정될 수 있다.The second variance VAR2 may be determined by the second estimated output signal EO_S2 provided based on the first current far-end channel filter CFE_F1 and the second previous far-end channel filter PFE_F2.

제2 분산(VAR2)에 기초하여 계산되는 제2 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix, IACM2)를 생성할 수 있다(S430). A second inverse autocorrelation matrix (IACM2) calculated based on the second variance VAR2 may be generated (S430).

예를 들어, 제2 역 자기 상관 매트릭스는 [수학식 11]과 같이 표현될 수 있다. For example, the second inverse autocorrelation matrix may be expressed as [Equation 11].

[수학식 11][Equation 11]

Figure 112020118570323-pat00067
Figure 112020118570323-pat00067

Figure 112020118570323-pat00068
Figure 112020118570323-pat00068

여기서,

Figure 112020118570323-pat00069
은 제2 망각 인자(Forgetting Factor, FF2)이며,
Figure 112020118570323-pat00070
및
Figure 112020118570323-pat00071
는 제2 역 자기 상관 매트릭스에 포함될 수 있다.here,
Figure 112020118570323-pat00069
is the second forgetting factor (Forgetting Factor, FF2),
Figure 112020118570323-pat00070
and
Figure 112020118570323-pat00071
may be included in the second inverse autocorrelation matrix.

도 11은 본 발명의 일 실시예에 따른 결과신호를 제공하는 과정을 설명하기 위한 순서도이다.11 is a flowchart illustrating a process of providing a result signal according to an embodiment of the present invention.

도 11을 참조하면, 결과신호(OUT_S)를 제공하는 단계에서는 제1 현재 파-엔드 채널필터(CFE_F1) 및 제2 현재 파-엔드 채널필터(CFE_F2)에 기초하여 제3 상관계수 혹은 파워비율을 계산할 수 있다(S510). Referring to FIG. 11 , in the step of providing the result signal OUT_S, a third correlation coefficient or power ratio is calculated based on the first current far-end channel filter CFE_F1 and the second current far-end channel filter CFE_F2. It can be calculated (S510).

제3 상관계수 혹은 파워비율은

Figure 112020118570323-pat00072
로 나타낼 수 있고, 제3 상관계수 혹은 파워비율은 [수학식 12]과 같이 표현될 수 있다.The third correlation coefficient or power ratio is
Figure 112020118570323-pat00072
, and the third correlation coefficient or power ratio may be expressed as [Equation 12].

[수학식 12][Equation 12]

Figure 112020118570323-pat00073
Figure 112020118570323-pat00073

Figure 112020118570323-pat00074
Figure 112020118570323-pat00074

Figure 112020118570323-pat00075
는 제1 현재 파-엔드 채널필터(CFE_F1)이고,
Figure 112020118570323-pat00076
는 제1 파-엔드 신호(FE_S1)이고,
Figure 112020118570323-pat00077
는 제2 현재 파-엔드 채널필터(CFE_F2)이고,
Figure 112020118570323-pat00078
는 제2 파-엔드 신호(FE_S2)이고,
Figure 112020118570323-pat00079
는 제1 가중치이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.
Figure 112020118570323-pat00075
is the first current far-end channel filter (CFE_F1),
Figure 112020118570323-pat00076
is the first far-end signal FE_S1,
Figure 112020118570323-pat00077
is the second current far-end channel filter (CFE_F2),
Figure 112020118570323-pat00078
is the second far-end signal FE_S2,
Figure 112020118570323-pat00079
may be a first weight, m may be a sample index, and k may be a frequency index.

제3 상관계수 혹은 파워비율 등에 따라 결과신호(OUT_S)를 산출할 수 있다. 예를 들어, 결과신호(OUT_S)는 [수학식 5]과 같이 표현될 수 있다. The result signal OUT_S may be calculated according to the third correlation coefficient or power ratio. For example, the result signal OUT_S may be expressed as [Equation 5].

도 12는 본 발명의 실시예들에 따른 스테레오 노이즈 제거 방법을 나타내는 순서도이다.12 is a flowchart illustrating a method for removing stereo noise according to embodiments of the present invention.

도 12를 참조하면, 본 발명의 실시예에 따른 스테레오 노이즈 제거 방법에서는 초기값을 세팅할 수 있다(S100). 이전 프레임(PF)에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제1 추정 출력신호(EO_S1)를 제공하고, 제1 추정 출력신호(EO_S1) 및 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)에 따라 현재 프레임(CF)에 상응하는 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트할 수 있다(S200). 제1 현재 파-엔드 채널필터(CFE_F1), 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제2 추정 출력신호(EO_S2)를 제공하고, 제2 추정 출력신호(EO_S2) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 따라 현재 프레임(CF)에 상응하는 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트할 수 있다(S300). 제1 현재 파-엔드 채널필터(CFE_F1), 제2 현재 파-엔드 채널필터(CFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 결과신호(OUT_S)를 제공할 수 있다(S400). Referring to FIG. 12 , an initial value may be set in the method for removing stereo noise according to an embodiment of the present invention ( S100 ). A first estimated output signal calculated based on the first previous far-end channel filter corresponding to the previous frame PF, the second previous far-end channel filter PFE_F2 and the input signal IN_S EO_S1), and a first current far-end channel filter corresponding to the current frame CF according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1 CFE_F1) may be updated (S200). A second estimation output signal EO_S2 calculated based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S is provided, and a second estimation output is provided. The second current far-end channel filter CFE_F2 corresponding to the current frame CF may be updated according to the signal EO_S2 and the second previous far-end channel filter PFE_F2 ( S300 ). A result signal OUT_S calculated based on the first current far-end channel filter CFE_F1 , the second current far-end channel filter CFE_F2 and the input signal IN_S may be provided ( S400 ).

일 실시예에 있어서, 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트하는 단계에서는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제1 상관계수 혹은 파워비율을 계산할 수 있다. 제1 상관계수 혹은 파워비율 등에 따라 제1 추정 출력신호(EO_S1)를 산출할 수 있다. 제1 추정 출력신호(EO_S1)의 제1 분산(VAR1)을 추정할 수 있다. 제1 분산(VAR1)에 기초하여 계산되는 제1 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix, IACM1)를 생성할 수 있다. In one embodiment, in the step of updating the first current far-end channel filter (CFE_F1), the first previous far-end channel filter (PFE_F1) and the second previous far-end channel filter (PFE_F2) A first correlation coefficient or a power ratio may be calculated based on . The first estimated output signal EO_S1 may be calculated according to the first correlation coefficient or power ratio. The first variance VAR1 of the first estimated output signal EO_S1 may be estimated. A first inverse autocorrelation matrix (IACM1) calculated based on the first variance VAR1 may be generated.

일 실시예에 있어서, 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트하는 단계에서는 제1 현재 파-엔드 채널필터(CFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제2 상관계수 혹은 파워비율을 계산할 수 있다. 제2 상관계수 혹은 파워비율에 따라 제2 추정 출력신호(EO_S2)를 산출할 수 있다. 제2 추정 출력신호(EO_S2)의 제2 분산(VAR2)을 추정할 수 있다. 제2 분산(VAR2)에 기초하여 계산되는 제2 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix, IACM2)를 생성할 수 있다. In an embodiment, in the updating of the second current far-end channel filter CFE_F2, the second current far-end channel filter CFE_F1 and the second previous far-end channel filter PFE_F2 are updated. Correlation coefficients or power ratios can be calculated. The second estimated output signal EO_S2 may be calculated according to the second correlation coefficient or power ratio. The second variance VAR2 of the second estimated output signal EO_S2 may be estimated. A second inverse autocorrelation matrix (IACM2) calculated based on the second variance VAR2 may be generated.

본 발명에 따른 노이즈 제거 방법을 사용하면 입력신호(IN_S)로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다.Using the noise removal method according to the present invention, it is possible to provide a noise-removed voice signal by removing the stereo echo signal from the input signal IN_S.

도 13은 본 발명의 실시예들에 따른 노이즈 제거 장치를 나타내는 도면이다.13 is a diagram illustrating an apparatus for removing noise according to embodiments of the present invention.

도 13을 참조하면, 본 발명의 실시예에 따른 노이즈 제거 장치(10)는 제1 추정부(100), 제1 필터부(200), 제2 추정부(300), 제2 필터부(400), 출력부(500)를 포함할 수 있다. Referring to FIG. 13 , the noise removing apparatus 10 according to an embodiment of the present invention includes a first estimator 100 , a first filter unit 200 , a second estimator 300 , and a second filter unit 400 . ), an output unit 500 may be included.

제1 추정부(100)는 이전 프레임(PF)에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제1 추정 출력신호(EO_S1)를 제공할 수 있다. 제1 필터부(200)는 제1 추정 출력신호(EO_S1) 및 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)에 따라 현재 프레임(CF)에 상응하는 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트할 수 있다. The first estimator 100 is based on the first previous far-end channel filter corresponding to the previous frame PF, the second previous far-end channel filter PFE_F2 and the input signal IN_S. The calculated first estimated output signal EO_S1 may be provided. The first filter unit 200 includes a first current far-end channel corresponding to the current frame CF according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1. The filter (CFE_F1) can be updated.

제2 추정부(300)는 제1 현재 파-엔드 채널필터(CFE_F1), 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제2 추정 출력신호(EO_S2)를 제공할 수 있다. 제2 필터부(400)는 제2 추정 출력신호(EO_S2) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 따라 현재 프레임(CF)에 상응하는 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트할 수 있다. The second estimator 300 calculates a second estimated output signal EO_S2 calculated based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S. can provide The second filter unit 400 selects the second current far-end channel filter CFE_F2 corresponding to the current frame CF according to the second estimated output signal EO_S2 and the second previous far-end channel filter PFE_F2. can be updated.

출력부(500)는 제1 현재 파-엔드 채널필터(CFE_F1), 제2 현재 파-엔드 채널필터(CFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 결과신호(OUT_S)를 제공할 수 있다. The output unit 500 may provide a result signal OUT_S calculated based on the first current far-end channel filter CFE_F1, the second current far-end channel filter CFE_F2, and the input signal IN_S. .

일 실시예에 있어서, 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 계산된 제1 상관계수 혹은 파워비율에 따라 제1 추정 출력신호(EO_S1)를 산출할 수 있다. In an embodiment, according to the first correlation coefficient or power ratio calculated based on the first previous far-end channel filter PFE_F1 and the second previous far-end channel filter PFE_F2, the first The estimated output signal EO_S1 may be calculated.

도 14는 본 발명의 실시예들에 따른 스테레오 노이즈 제거 장치를 나타내는 도면이다.14 is a diagram illustrating an apparatus for removing stereo noise according to embodiments of the present invention.

도 14를 참조하면, 본 발명의 실시예에 따른 스테레오 노이즈 제거 장치(20)는 초기화부(600), 제1 추정부(100), 제1 필터부(200), 제2 추정부(300), 제2 필터부(400), 출력부(500)를 포함할 수 있다. Referring to FIG. 14 , the apparatus 20 for removing stereo noise according to an embodiment of the present invention includes an initialization unit 600 , a first estimation unit 100 , a first filter unit 200 , and a second estimation unit 300 . , a second filter unit 400 and an output unit 500 may be included.

초기화부(600)는 초기값을 세팅할 수 있다. 초기화부(600)에서 세팅하는 초기값은 제1 분산(VAR1) 및 제2 분산(VAR2)의 초기값(IV)일 수 있다. 제1 추정부(100)는 이전 프레임(PF)에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제1 추정 출력신호(EO_S1)를 제공할 수 있다. 제1 필터부(200)는 제1 추정 출력신호(EO_S1) 및 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)에 따라 현재 프레임(CF)에 상응하는 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트할 수 있다.The initialization unit 600 may set an initial value. The initial values set by the initialization unit 600 may be initial values IV of the first variance VAR1 and the second variance VAR2 . The first estimator 100 is based on the first previous far-end channel filter corresponding to the previous frame PF, the second previous far-end channel filter PFE_F2 and the input signal IN_S. The calculated first estimated output signal EO_S1 may be provided. The first filter unit 200 includes a first current far-end channel corresponding to the current frame CF according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1. The filter (CFE_F1) can be updated.

제2 추정부(300)는 제1 현재 파-엔드 채널필터(CFE_F1), 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제2 추정 출력신호(EO_S2)를 제공할 수 있다. 제2 필터부(400)는 제2 추정 출력신호(EO_S2) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 따라 현재 프레임(CF)에 상응하는 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트할 수 있다. The second estimator 300 calculates a second estimated output signal EO_S2 calculated based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S. can provide The second filter unit 400 selects the second current far-end channel filter CFE_F2 corresponding to the current frame CF according to the second estimated output signal EO_S2 and the second previous far-end channel filter PFE_F2. can be updated.

출력부(500)는 제1 현재 파-엔드 채널필터(CFE_F1), 제2 현재 파-엔드 채널필터(CFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 결과신호(OUT_S)를 제공할 수 있다. The output unit 500 may provide a result signal OUT_S calculated based on the first current far-end channel filter CFE_F1, the second current far-end channel filter CFE_F2, and the input signal IN_S. .

일 실시예에 있어서, 제1 현재 파-엔드 채널필터(CFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 계산된 제2 상관계수 혹은 파워비율에 따라 제2 추정 출력신호(EO_S2)를 산출할 수 있다.In an embodiment, the second estimated output signal EO_S2 according to the second correlation coefficient or power ratio calculated based on the first current far-end channel filter CFE_F1 and the second previous far-end channel filter PFE_F2 ) can be calculated.

본 발명에 따른 노이즈 제거 방법을 사용하면 입력신호(IN_S)로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다.Using the noise removal method according to the present invention, it is possible to provide a noise-removed voice signal by removing the stereo echo signal from the input signal IN_S.

도 15는 본 발명의 실시예들에 따른 모노 노이즈 제거 방법을 나타내는 순서도이고, 도 16은 본 발명의 일 실시예에 따른 현재 파-엔드 채널필터의 업데이트 과정을 설명하기 위한 순서도이다.15 is a flowchart illustrating a method for removing mono noise according to embodiments of the present invention, and FIG. 16 is a flowchart illustrating an update process of a current far-end channel filter according to an embodiment of the present invention.

도 1, 15 및 16을 참조하면, 모노 에코신호 제거의 경우 제1 파-엔드 신호(FE_S1) 또는 제2 파-엔드 신호(FE_S2)가 0인 경우일 수 있다. 이전 프레임(PF)에 상응하는 이전 파-엔드(Far-end) 채널필터(PFE_F) 및 입력신호(IN_S)에 기초하여 산출되는 추정 출력신호(EO_S)를 제공할 수 있다(S1000). 입력신호(IN_S)는 니어-엔드(Near-end) 신호(NE_S) 및 파-엔드 신호(FE_S)를 포함할 수 있다. 이 경우 추정 출력신호(E0_S1)은 [수학식 13]과 같이 표현될 수 있다.1, 15 and 16 , in the case of mono echo signal cancellation, the first far-end signal FE_S1 or the second far-end signal FE_S2 may be 0. An estimated output signal EO_S calculated based on the previous far-end channel filter PFE_F corresponding to the previous frame PF and the input signal IN_S may be provided ( S1000 ). The input signal IN_S may include a near-end signal NE_S and a far-end signal FE_S. In this case, the estimated output signal E0_S1 may be expressed as [Equation 13].

[수학식 13] [Equation 13]

Figure 112020118570323-pat00080
Figure 112020118570323-pat00080

추정 출력신호(EO_S) 및 이전 파-엔드(Far-end) 채널필터(PFE_F)에 따라 현재 프레임(CF)에 상응하는 현재 파-엔드 채널필터(CFE_F)를 업데이트할 수 있다(S2000). 현재 파-엔드 채널필터(CFE_F)은 [수학식 2]와 같이 표현될 수 있다.The current far-end channel filter CFE_F corresponding to the current frame CF may be updated according to the estimated output signal EO_S and the previous far-end channel filter PFE_F ( S2000 ). The current far-end channel filter (CFE_F) can be expressed as [Equation 2].

현재 파-엔드 채널필터(CFE_F) 및 입력신호(IN_S)에 기초하여 산출되는 결과신호(OUT_S)를 제공할 수 있다(S3000). A result signal OUT_S calculated based on the current far-end channel filter CFE_F and the input signal IN_S may be provided ( S3000 ).

결과신호(OUT_S)는 [수학식 14]와 같이 표현될 수 있다. The result signal OUT_S may be expressed as [Equation 14].

[수학식 14][Equation 14]

Figure 112020118570323-pat00081
Figure 112020118570323-pat00081

현재 파-엔드 채널필터(CFE_F)를 업데이트하는 단계에서는 상기 추정 출력신호(EO_S)에 기초하여 분산(VAR)을 추정할 수 있다(S2100). 분산에 기초하여 계산되는 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix, IACM))를 생성할 수 있다(S2300).In the step of updating the current far-end channel filter CFE_F, the variance VAR may be estimated based on the estimated output signal EO_S (S2100). An inverse autocorrelation matrix (IACM) calculated based on the variance may be generated ( S2300 ).

도 15 및 도 16에서 설명하는 모노 노이즈 제거 방법은 도 1에서 제1 파-엔드 신호 또는 제2 파-엔드 신호가 0인 경우에 적용될 수 있다. 본 발명에서는 모노 또는 스테레오에 대해서만 설명하고 있으나, 본 발명에 따른 실시예들은 3개 이상의 노이즈 소스에 대해서도 적용될 수 있다.The mono-noise removal method described with reference to FIGS. 15 and 16 may be applied when the first far-end signal or the second far-end signal is 0 in FIG. 1 . In the present invention, only mono or stereo is described, but embodiments according to the present invention may be applied to three or more noise sources.

21: 제1 음원 22: 제2 음원
23: 마이크 26: 제1 파-엔드 채널필터
27: 제2 파-엔드 채널필터 100: 제1 추정부
200: 제1 필터부 300: 제2 추정부
400: 제2 필터부 500: 출력부
600: 초기화부21: first sound source 22: second sound source
23: microphone 26: first far-end channel filter
27: second far-end channel filter 100: first estimator
200: first filter unit 300: second estimator
400: second filter unit 500: output unit
600: initialization unit

Claims (3)

이전 프레임에 상응하는 이전 파-엔드(Far-end) 채널필터 및 입력신호에 기초하여 산출되는 추정 출력신호를 제공하는 단계;
상기 추정 출력신호 및 상기 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 현재 파-엔드 채널필터를 업데이트하는 단계; 및
상기 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공하는 단계를 포함하고,
상기 현재 파-엔드 채널필터를 업데이트하는 단계는,
에코신호에 해당하는 파-엔드 신호 및 타겟 신호에 해당하는 니어-엔드 신호를 포함하는 상기 입력신호에 상응하는 상기 추정 출력신호 및 상기 추정 출력신호에 기초하여 결정되는 가중치 값에 따라 결정되는 분산을 추정하는 단계; 및
상기 분산 및 파-엔드 신호의 자기상관에 기초하여 계산되는 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix)를 생성하는 단계를 포함하고,
상기 현재 파-엔드 채널필터를 업데이트하는 단계는,
상기 추정 출력신호에 기초하여 망각 인자(Forgetting Factor)를 계산하고, 상기 추정 출력신호, 상기 이전 파-엔드 채널필터 및 상기 망각인자에 따라 상기 현재 파-엔드 채널필터를 업데이트하는 단계를 포함하는 것을 특징으로 하는 모노 노이즈 제거 방법.providing an estimated output signal calculated based on a previous far-end channel filter corresponding to a previous frame and an input signal;
updating a current far-end channel filter corresponding to a current frame according to the estimated output signal and the previous far-end channel filter; and
providing a result signal calculated based on the current far-end channel filter and the input signal;
Updating the current far-end channel filter comprises:
A variance determined according to a weight value determined based on the estimated output signal and the estimated output signal corresponding to the input signal including a far-end signal corresponding to an echo signal and a near-end signal corresponding to a target signal estimating; and
generating an inverse autocorrelation matrix calculated based on the autocorrelation of the variance and far-end signal;
Updating the current far-end channel filter comprises:
calculating a forgetting factor based on the estimated output signal, and updating the current far-end channel filter according to the estimated output signal, the previous far-end channel filter, and the forgetting factor Characterized mono noise removal method. 삭제delete 제1항에 있어서,
상기 망각 인자는 상수값을 가지거나 상기 추정 출력신호에 따라 결정되는 것을 특징으로 하는 모노 노이즈 제거 방법.According to claim 1,
and the forgetting factor has a constant value or is determined according to the estimated output signal.
KR1020200147303A 2018-08-27 2020-11-06 Mono noise cancellation device and method thereof KR102271561B1 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR1020180100455 2018-08-27
KR20180100455 2018-08-27
KR1020190006814A KR20200024066A (en) 2018-08-27 2019-01-18 Stereo noise cancellation device and method thereof
KR1020190006814 2019-01-18
KR1020190101737A KR102204119B1 (en) 2018-08-27 2019-08-20 Stereo noise cancellation device and method thereof

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190101737A Division KR102204119B1 (en) 2018-08-27 2019-08-20 Stereo noise cancellation device and method thereof

Publications (2)

Publication Number Publication Date
KR20200128505A KR20200128505A (en) 2020-11-13
KR102271561B1 true KR102271561B1 (en) 2021-07-01

Family

ID=69802359

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020190006814A KR20200024066A (en) 2018-08-27 2019-01-18 Stereo noise cancellation device and method thereof
KR1020190101737A KR102204119B1 (en) 2018-08-27 2019-08-20 Stereo noise cancellation device and method thereof
KR1020200147303A KR102271561B1 (en) 2018-08-27 2020-11-06 Mono noise cancellation device and method thereof

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020190006814A KR20200024066A (en) 2018-08-27 2019-01-18 Stereo noise cancellation device and method thereof
KR1020190101737A KR102204119B1 (en) 2018-08-27 2019-08-20 Stereo noise cancellation device and method thereof

Country Status (2)

Country Link
KR (3) KR20200024066A (en)
CN (1) CN112534832B (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114822575A (en) * 2022-04-28 2022-07-29 深圳市中科蓝讯科技股份有限公司 Double-microphone array echo cancellation method and device and electronic equipment

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352858B2 (en) * 2004-06-30 2008-04-01 Microsoft Corporation Multi-channel echo cancellation with round robin regularization
AU2006323242B2 (en) * 2005-12-05 2010-08-05 Telefonaktiebolaget Lm Ericsson (Publ) Echo detection
EP1855457B1 (en) * 2006-05-10 2009-07-08 Harman Becker Automotive Systems GmbH Multi channel echo compensation using a decorrelation stage
RU2546717C2 (en) * 2009-06-02 2015-04-10 Конинклейке Филипс Электроникс Н.В. Multichannel acoustic echo cancellation
KR101133308B1 (en) 2011-02-14 2012-04-04 신두식 Microphone with a function of removing an echo
JP5634959B2 (en) * 2011-08-08 2014-12-03 日本電信電話株式会社 Noise / dereverberation apparatus, method and program thereof
US9143862B2 (en) * 2012-12-17 2015-09-22 Microsoft Corporation Correlation based filter adaptation
CN103067629B (en) * 2013-01-18 2014-10-29 苏州科达科技股份有限公司 echo cancellation device
TWI579833B (en) * 2016-06-22 2017-04-21 瑞昱半導體股份有限公司 Signal processing device and signal processing method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C. Paleologu et al., "Study of the general Kalman filter for echo cancellation," IEEE Trans. Audio, Speech, Lang. Process(2013.02.07.)*
S. Liebich et al., "Time-Domain Kalman Filter for Active Noise Cancellation Headphones,"2017 25th European Signal Processing Conference (EUSIPCO)(2017.08.28.)*

Also Published As

Publication number Publication date
KR20200024098A (en) 2020-03-06
KR102204119B1 (en) 2021-01-18
KR20200128505A (en) 2020-11-13
KR20200024066A (en) 2020-03-06
CN112534832A (en) 2021-03-19
CN112534832B (en) 2022-11-15

Similar Documents

Publication Publication Date Title
RU2546717C2 (en) Multichannel acoustic echo cancellation
Rombouts et al. Acoustic feedback cancellation for long acoustic paths using a nonstationary source model
KR100721034B1 (en) A method for enhancing the acoustic echo cancellation system using residual echo filter
JP2004056453A (en) Method and device for suppressing echo
CN111213359B (en) Echo canceller and method for echo canceller
Akhtar et al. Acoustic feedback cancellation in hearing aids using dual adaptive filtering and gain-controlled probe signal
KR102271561B1 (en) Mono noise cancellation device and method thereof
KR101568937B1 (en) Apparatus and method for supressing non-linear echo talker using volterra filter
Rombouts et al. Robust and Efficient Implementation of the PEM—AFROW Algorithm for Acousic Feedback Cancellation
JP2004349806A (en) Multichannel acoustic echo canceling method, apparatus thereof, program thereof, and recording medium thereof
JP6482880B2 (en) Mixing apparatus, signal mixing method, and mixing program
JP2009118391A (en) Audio processing apparatus and program
US8583444B2 (en) Method and apparatus for canceling vocal signal from audio signal
JP2010103875A (en) Echo suppression apparatus, echo suppression method, echo suppression program, and recording medium
KR20140051777A (en) Method and apparatus for cancelling acoustic echo, and method for updating adaptive filter coefficient by the appratus
Anand et al. Design and analysis of a BLPC vocoder-based adaptive feedback cancellation with probe noise
Shusina et al. Unbiased adaptive feedback cancellation in hearing aids by closed-loop identification
KR102088375B1 (en) Stereo noise cancellation device and method thereof
van Waterschoot et al. On the performance of decorrelation by prefiltering for adaptive feedback cancellation in public address systems
KR102088355B1 (en) Stereo noise cancellation device and method thereof
EP1675374B1 (en) Circuit and method for estimating a room impulse response
KR100545832B1 (en) Sound echo canceller robust to interference signals
Khoubrouy et al. Criteria for estimating an FIR filter for cancelling the feedback path signal in hearing aid system
JP3628267B2 (en) Multi-channel echo cancellation method, apparatus thereof, program thereof and recording medium thereof
JP2006313954A (en) Automatic sound volume control method, automatic sound volume control apparatus, program, and recording medium

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right