KR101501279B1 - 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템 - Google Patents

인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템 Download PDF

Info

Publication number
KR101501279B1
KR101501279B1 KR20130168729A KR20130168729A KR101501279B1 KR 101501279 B1 KR101501279 B1 KR 101501279B1 KR 20130168729 A KR20130168729 A KR 20130168729A KR 20130168729 A KR20130168729 A KR 20130168729A KR 101501279 B1 KR101501279 B1 KR 101501279B1
Authority
KR
South Korea
Prior art keywords
echo
signal
frequency
vector
psd
Prior art date
Application number
KR20130168729A
Other languages
English (en)
Inventor
김남수
이철민
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR20130168729A priority Critical patent/KR101501279B1/ko
Application granted granted Critical
Publication of KR101501279B1 publication Critical patent/KR101501279B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations

Abstract

본 발명은 에코 제거 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 (1) 현재 시간 또는 주파수로부터 미리 정해진 인접 범위까지의 시간 또는 주파수에서의 원단 음향신호 성분들을 결합한 하나의 확장 벡터를 생성하는 단계; (2) 상기 단계 (1)에서 생성된 확장 벡터를 이용하여 상기 원단 음향신호에 대한 확장된 PSD(Power Spectral Density) 행렬 및 크로스 PSD 벡터를 추정하는 단계; (3) 상기 확장 PSD 행렬 및 크로스 PSD 벡터를 이용하여 에코 패스 이득 필터 성분을 연산하는 단계; (4) 상기 에코 패스 이득 필터 성분과 상기 원단 음향신호를 이용하여 에코 신호를 추정하는 단계; (5) 상기 에코 신호를 이용하여 사전 신호대 에코비(a priori SER)와 사후 신호대 에코비(a posteriori SER)를 추정하고, 추정된 사전 신호대 에코비 및 사후 신호대 에코비를 이용하여 에코 제거 이득 값을 계산하는 단계; 및 (6) 상기 에코 제거 이득 값을 수신단의 입력신호 값에 곱하여 에코가 제거된 근단 음향신호의 추정 값을 도출하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 인접 범위 내의 시간 및 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템에 따르면, 잡음 제거에 있어서 SAES(Stereophonic Acoustic Echo Suppression) 기법을 이용하되, 현재 시간 또는 주파수로부터 미리 정해진 인접 범위까지의 시간 또는 주파수에서의 원단 음향신호 성분들을 결합한 하나의 확장 벡터를 생성하여 확장 벡터에 대하여 PSD 행렬 및 크로스 PSD 벡터를 추정하고 이를 이용하여 에코 신호를 추정함으로써, 잔향 환경 등에서 에코 제거 성능이 향상된다.
또한, 본 발명에 따르면, 현재 시간 및 주파수로부터 멀어짐에 따라 상관관계가 감소함을 반영하는 지수 감소 형태의 에코 오버에스티메이션 컨트롤 요소 행렬을 도입하여 인접 정도에 따라 차등적으로 인접 시간 및 주파수의 상관관계를 적용함으로써, 비선형성으로 발생하는 잔여 에코 신호들도 반영하여 개선된 에코 신호 추정이 가능하다.

Description

인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템{METHOD AND SYSTEM FOR Stereophonic Acoustic Echo Suppression INCORPORATING SPECTRO-TEMPORAL CORRELATIONS}
본 발명은 에코 제거 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템에 관한 것이다.
일반적으로 음향학적 스테레오 에코는 입력 부분에서 출력된 음성이 되돌아 입력되면서 발생하며 전달하고자 하는 음성을 왜곡시키거나 듣기 좋지 않은 반향이 추가되는 결과를 가져온다. 이를 해결하기 위하여 음향학적 에코 제거 기법들에 대해서 많은 연구가 진행되고 있다. 음향학적 에코 제거 기법의 하나로서, SAEC(Stereophonic Acoustic Echo Cancellation) 기법은 시간 영역에서 적응 필터 알고리즘을 이용하여 수신단의 에코 패스를 추정하고 수신단의 입력 신호에서 원단 신호에 의한 에코 성분을 제거하여 근단 신호를 구하는 기법이다. 그러나 송신단에서 같은 소스에 의하여 발생되는 원단 신호들은 높은 상관관계로 인하여 에코 패스를 제대로 구하기 힘들다는 문제점이 있다. 따라서 원단 신호들을 서로 독립 신호로 만드는 decorrelation 과정이 필요하나, 원단 신호가 왜곡되고 추가적인 전처리 비용이 발생하게 된다.
이에 반하여 SAES(Stereophonic Acoustic Echo Suppression) 기법은 주파수 영역에서 통계적 모델에 기반하는 정보들을 활용하여 직접적인 에코 패스를 추정하는 대신 수신단에서 발생한 스테레오 에코의 스펙트럼을 추정하는 방법이다. 이를 기반으로 사전 신호대 에코비와 사후 신호대 에코비(a priori and a posteriori SER)를 계산하고 위너 필터 기반의 이득을 구하여 에코가 제거된 신호를 추정하게 된다. 그러나 기존의 SAES 기법은 현재 시간 프레임의 정보는 이전 시간 프레임의 정보와 독립적이라 가정하고 현재 시간 정보만을 이용하여 에코를 추정하였다. 그러나 실제로는 시간 및 주파수의 연속성이나 고려하는 유한 길이 윈도우의 오버랩 영향 등으로 인접한 성분들의 상관이 존재한다. 또한, 잔향 효과로 인하여 현재 시간의 에코 성분에 이전 시간들의 정보가 남아있게 된다. 한편, 기존의 SAES 기법은 인접한 주파수 성분은 서로 독립적이라고 가정하여 해당 주파수 정보만을 이용하였다. 그러나 실제로 데이터를 윈도우로 나누어 처리하는 과정에서 윈도우의 영향으로 인하여 인접한 주파수 성분이 서로 영향을 주므로 주파수의 연속성의 고려가 필요하다.
본 발명자들은 이와 같은 문제점을 해결하기 위하여 인접 범위 내의 시간 또는 주파수 상관관계를 고려하여 보다 효과적이고 정확한 잡음 제거가 가능한 방법 및 시스템을 개발하고자 하였다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 잡음 제거에 있어서 SAES(Stereophonic Acoustic Echo Suppression) 기법을 이용하되, 현재 시간 또는 주파수로부터 미리 정해진 인접 범위까지의 시간 또는 주파수에서의 원단 음향신호 성분들을 결합한 하나의 확장 벡터를 생성하여 확장 벡터에 대하여 PSD 행렬 및 크로스 PSD 벡터를 추정하고 이를 이용하여 에코 신호를 추정함으로써, 잔향 환경 등에서 에코 제거 성능이 향상된, 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 현재 시간 및 주파수로부터 멀어짐에 따라 상관관계가 감소함을 반영하는 지수 감소 형태의 에코 오버에스티메이션 컨트롤 요소 행렬을 도입하여 인접 정도에 따라 차등적으로 인접 시간 및 주파수의 상관관계를 적용함으로써, 비선형성으로 발생하는 잔여 에코 신호들도 반영하여 개선된 에코 신호 추정이 가능한, 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법은,
(1) 현재 시간 또는 주파수로부터 미리 정해진 인접 범위까지의 시간 또는 주파수에서의 원단 음향신호 성분들을 결합한 하나의 확장 벡터를 생성하는 단계;
(2) 상기 단계 (1)에서 생성된 확장 벡터를 이용하여 상기 원단 음향신호에 대한 확장된 PSD(Power Spectral Density) 행렬 및 크로스 PSD 벡터를 추정하는 단계;
(3) 상기 확장 PSD 행렬 및 크로스 PSD 벡터를 이용하여 에코 패스 이득 필터 성분을 연산하는 단계;
(4) 상기 에코 패스 이득 필터 성분과 상기 원단 음향신호를 이용하여 에코 신호를 추정하는 단계;
(5) 상기 에코 신호를 이용하여 사전 신호대 에코비(a priori SER)와 사후 신호대 에코비(a posteriori SER)를 추정하고, 추정된 사전 신호대 에코비 및 사후 신호대 에코비를 이용하여 에코 제거 이득 값을 계산하는 단계; 및
(6) 상기 에코 제거 이득 값을 수신단의 입력신호 값에 곱하여 에코가 제거된 근단 음향신호의 추정 값을 도출하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (1)에서는,
현재 시간과 미리 정해진 범위만큼의 이전 시간, 및 현재 주파수로부터 미리 정해진 범위만큼 상하 인접한 범위 내의 주파수 범위에서의 원단 음향신호 성분들을 모두 결합한 하나의 확장 벡터를 생성할 수 있다.
바람직하게는, 상기 단계 (2)는,
1차 회귀 평균 기법을 활용하여 수행할 수 있다.
바람직하게는, 상기 단계 (3)에서, 에코 패스 이득 필터 성분은,
MMSE(Minimum Mean Square Error) 기준에 따른 최적 가중치 벡터(optimal weight vector)일 수 있다.
바람직하게는, 상기 단계 (4)는,
위너 이득(Wiener gain) 함수를 사용하여 에코 신호를 추정할 수 있다.
바람직하게는, 상기 단계 (4)는,
현재 시간 및 주파수로부터 멀어짐에 따라 상관관계가 감소함을 반영하는 에코 오버에스티메이션 컨트롤 요소 행렬을 도입하여 인접 정도에 따라 차등적으로 인접 시간 및 주파수의 상관관계를 적용할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 인접 범위 내의 시간 및 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 시스템은,
현재 시간 또는 주파수로부터 미리 정해진 인접 범위까지의 시간 또는 주파수에서의 원단 음향신호 성분들을 결합한 하나의 확장 벡터를 생성하는 벡터 생성 모듈;
상기 확장 벡터를 이용하여 상기 원단 음향신호에 대한 확장된 PSD 행렬 및 크로스 PSD 벡터를 추정하는 PSD 추정 모듈;
상기 확장 PSD 행렬 및 크로스 PSD 벡터를 이용하여 에코 패스 이득 필터 성분을 연산하는 에코 패스 연산 모듈;
상기 에코 패스 이득 필터 성분과 상기 원단 음향신호를 이용하여 에코 신호를 추정하는 에코 신호 추정 모듈;
상기 에코 신호를 이용하여 사전 신호대 에코비(a priori SER)와 사후 신호대 에코비(a posteriori SER)를 추정하고, 추정된 사전 신호대 에코비 및 사후 신호대 에코비를 이용하여 에코 제거 이득 값을 계산하는 에코 제거 이득 값 도출 모듈;
상기 에코 제거 이득 값을 수신단의 입력신호 값에 곱하여 에코가 제거된 근단 음향신호의 추정 값을 도출하는 근단 음향신호 추정 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 에코 신호 추정 모듈은,
현재 시간 및 주파수로부터 멀어짐에 따라 상관관계가 감소함을 반영하는 에코 오버에스티메이션 컨트롤 요소 행렬을 도입하여 인접 정도에 따라 차등적으로 인접 시간 및 주파수의 상관관계를 적용할 수 있다.
본 발명에서 제안하고 있는 인접 범위 내의 시간 및 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템에 따르면, 잡음 제거에 있어서 SAES(Stereophonic Acoustic Echo Suppression) 기법을 이용하되, 현재 시간 또는 주파수로부터 미리 정해진 인접 범위까지의 시간 또는 주파수에서의 원단 음향신호 성분들을 결합한 하나의 확장 벡터를 생성하여 확장 벡터에 대하여 PSD 행렬 및 크로스 PSD 벡터를 추정하고 이를 이용하여 에코 신호를 추정함으로써, 잔향 환경 등에서 에코 제거 성능이 향상된다.
또한, 본 발명에 따르면, 현재 시간 및 주파수로부터 멀어짐에 따라 상관관계가 감소함을 반영하는 지수 감소 형태의 에코 오버에스티메이션 컨트롤 요소 행렬을 도입하여 인접 정도에 따라 차등적으로 인접 시간 및 주파수의 상관관계를 적용함으로써, 비선형성으로 발생하는 잔여 에코 신호들도 반영하여 개선된 에코 신호 추정이 가능하다.
도 1은 종래 SAES 알고리즘을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법의 흐름을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법에서 시간 또는 주파수에 대한 확장 벡터를 도시한 도면.
도 4는 본 발명의 다른 실시예에 따른 주파수 또는 시간적 상관관계를 반영한 잡음 제거 방법의 흐름을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 시스템을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템의 에코 제거 효과를 실험한 결과를 도시한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 종래 SAES 알고리즘을 도시한 도면이다. 도 1에 도시된 바와 같이, 원단 음향신호 x1(n), x2(n)(at time index n)는, 소스 음향신호 v(n)가 송신단(Transmission room)에서 음향 임펄스 응답(acoustic impulse responses) g1(n), g2(n)를 통하여 생성된다. y(n)은 수신단(Receiving room)에서 마이크로폰에 의해 획득된 음향신호이고, hi(n)는, i번째 스피커(loudspeaker)에서 마이크로폰으로의 음향에코 패스(acoustic echo path)를 의미하고, s(n)은 근단 음향신호를 의미한다. 이들 간의 관계는 하기 수학식 1에 의하여 표현될 수 있다.
Figure 112013121191092-pat00001
종래 SAES 알고리즘에 따르면, 현재 시간 프레임 정보 및 해당 주파수 정보만을 활용하여 연산하여 에코를 제거하는 방법에 따랐으나, 이 경우, 잔향 효과, 유한 길이 윈도우 오버랩의 영향, 주파수의 연속성 등으로 인하여 에코 제거 성능이 떨어지는 문제가 있었다.
도 2는 본 발명의 일실시예에 따른 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법의 흐름을 도시한 도면이다. 도 2에 도시된 바와 같이, 현재 시간 또는 주파수로부터 미리 정해진 인접 범위까지의 시간 또는 주파수에서의 원단 음향신호 성분들을 결합한 하나의 확장 벡터를 생성하는 단계 (S100), 단계 S100에서 생성된 확장 벡터를 이용하여 원단 음향신호에 대한 확장된 PSD 행렬 및 크로스 PSD 벡터를 추정하는 단계(S200), 확장 PSD 행렬 및 크로스 PSD 벡터를 이용하여 에코 패스 이득 필터 성분을 연산하는 단계(S300), 에코 패스 이득 필터 성분과 원단 음향신호를 이용하여 에코 신호를 추정하는 단계(S400), 에코 신호를 이용하여 사전 신호대 에코비(a priori SER)와 사후 신호대 에코비(a posteriori SER)를 추정하고, 추정된 사전 신호대 에코비 및 사후 신호대 에코비를 이용하여 에코 제거 이득 값을 계산하는 단계(S500) 및 에코 제거 이득 값을 수신단의 입력신호 값에 곱하여 에코가 제거된 근단 음향신호의 추정 값을 도출하는 단계(S600)를 포함하여 구현될 수 있다. 즉, 본 발명에서는, 주파수 영역에서 근단 음향신호의 short time Fourier transform(STFT) 계수를 추정하는 데 있어 같은 시간, 같은 주파수의 원단 음향신호의 STFT 계수 정보만을 사용하는 것이 아니라, 이전의 인접한 시간이나, 인접한 주파수 정보까지 모두 활용하여 근단 신호의 STFT 계수를 추정하게 된다.
단계 S100에서는 현재 시간 또는 주파수로부터 미리 정해진 인접 범위까지의 시간 또는 주파수에서의 원단 음향신호 성분들을 결합한 하나의 확장 벡터를 생성할 수 있다. 바람직하게는, 현재 시간과 미리 정해진 범위만큼의 이전 시간, 및 현재 주파수로부터 미리 정해진 범위만큼 상하 인접한 범위 내의 주파수 범위에서의 원단 음향신호 성분들을 모두 결합한 하나의 확장 벡터를 생성할 수 있다. 확장 벡터는 하기 수학식 2로 표현될 수 있다.
Figure 112013121191092-pat00002
여기서, Xi(n,k)는 n번째 프레임, k번째 주파수 축에서의 원단 음향신호 xi(n)의 STFT 계수이다.
도 3은 본 발명의 일실시예에 따른 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법에서 시간 또는 주파수에 대한 확장 벡터를 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 확장 벡터는 현재 n번째 프레임에서의 (2K+1) 인접 주파수축들뿐만 아니라, (2K+1) 인접 주파수축들의 T 이전 프레임들까지도 포함하는 것일 수 있다. 이 경우 확장 벡터의 크기 M1=(T+1)*(2K+1)이 될 수 있다. 그러나 이는 일실시예에 한한 것으로서, 인접 주파수축에 대한 성분들만을 결합하거나, 이전 프레임에 대한 성분들만을 결합하는 등 시간 또는 주파수 확장을 선택적으로 할 수도 있다. 이전 시간 프레임의 성분과 주변 주파수까지 고려하는 본 발명은, 기존의 현재 시간 및 현재 주파수만을 사용하는 알고리즘보다 계산량이 많게 된다. 그러나 동등한 계산량 기준 성능 비교를 위하여 도 3의 음영 영역의 차원이 감소된 확장 벡터를 사용하고 윈도우의 오버랩 구간을 작게 하여 오히려 기존의 SAES의 알고리즘의 계산량보다 적은 계산량을 가지도록 설정할 수도 있다. 이러한 경우에도 본 발명에서 제안하고 있는 에코 제거 방법이 더 좋은 성능을 나타낸다. 즉, 더 적은 계산량으로도 기존 기법보다 더 나은 성능을 보였으며, 오버랩 구간을 크게 설정하여 계산량을 늘리는 경우 추가적인 성능 향상을 기대할 수 있다.
한편, 확장 벡터를 이용한 인접한 시간 및 주파수 성분을 고려한 convolutional crossband filter 수식은 하기 수학식 3으로 표현될 수 있다. Y(n,k)는 수신단(Receiving Room)에서 마이크에 의하여 획득되는 음향신호, Hi(n,k)는 음향 에코 패스, Xi(n,k)는 원단 음향신호, S(n,k)는 근단 음향신호를 표현하는 것일 수 있다. 이와 같이 본 발명은 현재 시간 및 주파수 성분만이 아닌 인접한 값을 모두 고려하기에 더 정확한 far-end 신호에서 비롯한 스테레오 에코 신호 추정이 가능하게 된다.
Figure 112013121191092-pat00003
단계 S200에서는, 단계 S100에서 생성된 확장 벡터를 이용하여 원단 음향신호에 대한 확장된 PSD(Power Spectral Density) 행렬 및 크로스 PSD 벡터를 추정할 수 있다. 확장된 벡터를 이용하여 각각의 원단 음향신호에 대한 확장된 형태의 PSD 행렬(
Figure 112013121191092-pat00004
) 및 cross PSD 벡터(
Figure 112013121191092-pat00005
)를 추정할 수 있다(하기 수학식 4 참조). 바람직하게는 1차 회귀 평균 기법을 활용하여 수행할 수 있다.
Figure 112013121191092-pat00006
단계 S300에서는, 확장 PSD 행렬 및 크로스 PSD 벡터를 이용하여 에코 패스 이득 필터 성분을 연산할 수 있다. 기존 기법들과 달리 인접한 시간 또는 주파수 성분 간의 상관을 모두 고려한 PSD 행렬 및 PSD 벡터들을 통하여 추정하는 에코 패스 response를 나타내는 이득 필터 성분들을 하기 수학식 5로 연산할 수 있다. 에코 패스 이득 필터 성분(
Figure 112013121191092-pat00007
,
Figure 112013121191092-pat00008
)은, MMSE(Minimum Mean Square Error) 기준에 따른 최적 가중치 벡터(optimal weight vector)일 수 있다.
Figure 112013121191092-pat00009
단계 S400에서는, 에코 패스 이득 필터 성분과 원단 음향신호를 이용하여 에코 신호를 추정할 수 있다. 바람직하게는, 위너 이득(Wiener gain) 함수를 사용하여 에코 신호를 추정할 수 있다. 도 4는 본 발명의 다른 실시예에 따른 주파수 또는 시간적 상관관계를 반영한 잡음 제거 방법의 흐름을 도시한 도면이다. 도 4에 도시된 바와 같이, 단계 S400은, 현재 시간 및 주파수로부터 멀어짐에 따라 상관관계가 감소함을 반영하는 에코 오버에스티메이션 컨트롤 요소 행렬(echo overestimation control factor matrix)을 도입하여 인접 정도에 따라 차등적으로 인접 시간 및 주파수의 상관관계를 적용할 수 있다(S400'). 즉, 근단 음향신호를 추정할 때 모든 인접한 시간 및 주파수 성분의 상관이 동등하지 않기 때문에 이를 반영해 주기 위해서 echo overestimation control factor 행렬을 사용하는 것이다. 인접한 시간 및 주파수 성분 간의 상관이 시간 혹은 주파수가 멀어짐에 따라 감소할 것이라고 추정하여 제안하는 알고리즘은 지수 감소 형태를 가지는 echo overestimation control factor 행렬을 추가로 도입하여 인접한 시간 및 주파수 성분들을 고려한 에코들을 차등적으로 고려하여 효과적으로 자여 에코를 줄일 수도 있다. 이를 통해 고려하지 못했던 비선형성으로 발생하는 잔여 에코 신호들도 반영하여 개선된 에코 신호 추정이 가능해진다. 이 행렬은 학습 기법이나 감소 정도를 정확히 표현하는 모델들을 통해 개선이 가능하고 이를 적용하면 추가적인 성능 향상을 기대할 수 있다. 본 발명의 일실시예에 따른 echo overestimation control factor 행렬을 도입은, 하기 수학식 6으로 표현될 수 있다. B는 echo overestimation control factor matrix로서 인접한 시간 및 주파수 성분 간의 상관이 시간 혹은 주파수가 멀어짐에 따라 감소한다고 예상하여 이에 맞는 적절한 모델을 사용할 수 있다.
Figure 112013121191092-pat00010
단계 S500에서는, 에코 신호를 이용하여 사전 신호대 에코비(a priori SER)와 사후 신호대 에코비(a posteriori SER)를 추정하고, 추정된 사전 신호대 에코비 및 사후 신호대 에코비를 이용하여 에코 제거 이득 값을 계산할 수 있고, 단계 S600에서는, 에코 제거 이득 값을 수신단의 입력신호 값에 곱하여 에코가 제거된 근단 음향신호의 추정 값을 도출할 수 있다. 단계 S500 및 S600은, 스테레오 에코가 제거된 근단 음향신호를 복원하는 단계로서, 최종적으로 지금까지 추정된 값들을 이용하여 a priori SER 및 a posteriori SER을 추정하고 이를 통해 Wiener 이득을 계산하고, Wiener 이득 값을 수신단의 입력에 곱하여 에코가 제거된 near-end 신호의 추정 값을 얻게 된다.
도 5는 본 발명의 일실시예에 따른 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 시스템을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 시스템은, 현재 시간 또는 주파수로부터 미리 정해진 인접 범위까지의 시간 또는 주파수에서의 원단 음향신호 성분들을 결합한 하나의 확장 벡터를 생성하는 벡터 생성 모듈(100), 확장 벡터를 이용하여 원단 음향신호에 대한 확장된 PSD 행렬 및 크로스 PSD 벡터를 추정하는PSD 추정 모듈(200), 확장 PSD 행렬 및 크로스 PSD 벡터를 이용하여 에코 패스 이득 필터 성분을 연산하는 에코 패스 연산 모듈(300), 에코 패스 이득 필터 성분과 원단 음향신호를 이용하여 에코 신호를 추정하는 에코 신호 추정 모듈(400), 에코 신호를 이용하여 사전 신호대 에코비(a priori SER)와 사후 신호대 에코비(a posteriori SER)를 추정하고, 추정된 사전 신호대 에코비 및 사후 신호대 에코비를 이용하여 에코 제거 이득 값을 계산하는 에코 제거 이득 값 도출 모듈(500), 및 에코 제거 이득 값을 수신단의 입력신호 값에 곱하여 에코가 제거된 근단 음향신호의 추정 값을 도출하는 근단 음향신호 추정 모듈(600)을 포함하여 구성될 수 있다. 바람직하게는, 에코 신호 추정 모듈(400)은, 현재 시간 및 주파수로부터 멀어짐에 따라 상관관계가 감소함을 반영하는 에코 오버에스티메이션 컨트롤 요소 행렬을 도입하여 인접 정도에 따라 차등적으로 인접 시간 및 주파수의 상관관계를 적용할 수 있다. 기타 각 구성요소에 대해서는 앞서 도 1 내지 도 4와 관련하여 설명한 바와 유사하므로 상세한 설명은 생략하기로 한다.
이하에서는, 본 발명의 효과를 실험예를 통하여 더욱 상세하게 설명하지만, 본 발명의 권리범위가 하기 실험예에 의해 한정되는 것은 아니다.
실험예 1. 에코 제거 효과 확인 실험
본 발명에서 제안하고 있는 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템의 성능을 평가하기 위하여 하기 다양한 조건에서 컴퓨터 시뮬레이션을 실시하였다. TIMIT 데이터베이스로부터 소스 음향신호 v(n)와 근단 음향신호 s(n)의 세트로 구성된 20개 데이터를 제작하였다. 데이터 세트는 16㎑에서 샘플링되었다. 각 데이터 세트의 길이는 10초에서 18초였고 총 길이는 302초였다. double-talk interval의 duration은 5초에서 10초였다. 송신단(transmission room)과 수신단(receiving room)은 모두 4m×4m×3m의 크기로 하였다. 모든 room impulse responses (RIRs)는 reverberation time T60 = 200㎳ image method(J. B. Allen and D. A. Berkley, “Image method for efficiently simulating small-room acoustics,” J. Acoust . Soc . Amer ., vol. 65, pp. 943-950, Apr. 1979. 참조)를 사용하였다. 인풋 마이크로폰에서 측정되는 에코 레벨은 평균 근단 음향신호의 그것보다 3.5㏈보다 낮았다. White noise를 첨가하였다(SNR=30, 20, 10㏈). 2048 길이의 해밍 윈도우(Hamming window)를 적용하였다. 본 실험에서 파라미터들은 다음과 같다.
Figure 112013121191092-pat00011

표 1은 무소음 조건에서 얻어진 ERLE 및 PESQ 점수를 나타낸 표이고, 표 2는, 다양한 SNR 조건에서의 ERLE 및 PESQ 점수를 나타낸 표이다.
Figure 112013121191092-pat00012
Figure 112013121191092-pat00013
표 1에 나타난 바와 같이, 인접 요소들 사이의 보다 많은 상관관계 나타남을 확인할 수 있었고, 이는 그것은 인접 프레임과 주파수축 사이의 상관관계가 효과적으로 에코 신호를 억제하는 도움이 됨을 의미한다. 또한, 표 2에 나타난 바와 같이, 모든 테스트 SNR 조건에서 본 발명에서 제안하고 있는 에코 제거 방법이 SAES(Yang)을 상회하였다. 특히, SAES(Yang)의 결과 신호는 본 발명에서 제안한 방법에 비하여 잔류 에코가 상당한 수준으로 나타났다. 또한, 본 발명에서 제안한 방법은 PESQ 점수에서도 매우 좋은 근단 음향신호를 유지하는 것을 확인할 수 있었다.
또한, 기존의 SAES 알고리즘과 본 발명의 일실시예에 따른 SAES 알고리즘의 tracking performances와 convergence speeds를 비교하였다. 도 6은 본 발명의 일실시예에 따른 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템의 에코 제거 효과를 실험한 결과를 도시한 도면이다. 도 6(a)는 Receiving Room에서 마이크로폰 음향신호 y(n)를 나타내고, 도 6(b)는 시간에 따른 ERLE의 변화를 나타낸다. 도 6(a) 및 (b)에 나타난 결과를 통하여 본 발명에서 제안하고 있는 에코 제거 방법은 동적 환경에서도 추적의 어려움을 나타내지 않았고, 종래 SAES 방법보다 효과적임을 확인할 수 있었다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 벡터 생성 모듈 200: PSD 추정 모듈
300: 에코 패스 연산 모듈 400: 에코 신호 추정 모듈
500: 에코 제거 이득 값 도출 모듈 600: 근단 음향신호 추정 모듈
S100: 현재 시간 또는 주파수로부터 미리 정해진 인접 범위까지의 시간 또는 주파수에서의 원단 음향신호 성분들을 결합한 하나의 확장 벡터를 생성하는 단계
S200: 단계 S100에서 생성된 확장 벡터를 이용하여 원단 음향신호에 대한 확장된 PSD 행렬 및 크로스 PSD 벡터를 추정하는 단계
S300: 확장 PSD 행렬 및 크로스 PSD 벡터를 이용하여 에코 패스 이득 필터 성분을 연산하는 단계
S400: 에코 패스 이득 필터 성분과 원단 음향신호를 이용하여 에코 신호를 추정하는 단계
S400': 에코 패스 이득 필터 성분과 원단 음향신호를 이용하되, 현재 시간 및 주파수로부터 멀어짐에 따라 상관관계가 감소함을 반영하는 에코 오버에스티메이션 컨트롤 요소 행렬을 도입하여 인접 정도에 따라 차등적으로 인접 시간 및 주파수의 상관관계를 적용하여 에코 신호를 추정하는 단계
S500: 에코 신호를 이용하여 사전 신호대 에코비(a priori SER)와 사후 신호대 에코비(a posteriori SER)를 추정하고, 추정된 사전 신호대 에코비 및 사후 신호대 에코비를 이용하여 에코 제거 이득 값을 계산하는 단계
S600: 에코 제거 이득 값을 수신단의 입력신호 값에 곱하여 에코가 제거된 근단 음향신호의 추정 값을 도출하는 단계

Claims (8)

  1. 에코 제거 방법으로서,
    (1) 현재 시간 또는 주파수로부터 미리 정해진 인접 범위까지의 시간 또는 주파수에서의 원단 음향신호 성분들을 결합한 하나의 확장 벡터를 생성하는 단계;
    (2) 상기 단계 (1)에서 생성된 확장 벡터를 이용하여 상기 원단 음향신호에 대한 확장된 PSD(Power Spectral Density) 행렬 및 크로스 PSD 벡터를 추정하는 단계;
    (3) 상기 확장 PSD 행렬 및 크로스 PSD 벡터를 이용하여 에코 패스 이득 필터 성분을 연산하는 단계;
    (4) 상기 에코 패스 이득 필터 성분과 상기 원단 음향신호를 이용하여 에코 신호를 추정하는 단계;
    (5) 상기 에코 신호를 이용하여 사전 신호대 에코비(a priori SER)와 사후 신호대 에코비(a posteriori SER)를 추정하고, 추정된 사전 신호대 에코비 및 사후 신호대 에코비를 이용하여 에코 제거 이득 값을 계산하는 단계; 및
    (6) 상기 에코 제거 이득 값을 수신단의 입력신호 값에 곱하여 에코가 제거된 근단 음향신호의 추정 값을 도출하는 단계를 포함하는 것을 특징으로 하는, 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법.
  2. 제1항에 있어서, 상기 단계 (1)은,
    현재 시간과 미리 정해진 범위만큼의 이전 시간, 및 현재 주파수로부터 미리 정해진 범위만큼 상하 인접한 범위 내의 주파수 범위에서의 원단 음향신호 성분들을 모두 결합한 하나의 확장 벡터를 생성하는 것을 특징으로 하는, 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법.
  3. 제1항에 있어서, 상기 단계 (2)는,
    1차 회귀 평균 기법을 활용하여 수행하는 것을 특징으로 하는, 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법.
  4. 제1항에 있어서, 상기 단계 (3)에서, 에코 패스 이득 필터 성분은,
    MMSE(minimum mean square error) 기준에 따른 최적 가중치 벡터(optimal weight vector)인 것을 특징으로 하는, 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법.
  5. 제1항에 있어서, 상기 단계 (4)는,
    위너 이득(Wiener gain) 함수를 사용하여 에코 신호를 추정하는 것을 특징으로 하는, 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법.
  6. 제1항에 있어서, 상기 단계 (4)는,
    현재 시간 및 주파수로부터 멀어짐에 따라 상관관계가 감소함을 반영하는 에코 오버에스티메이션 컨트롤 요소 행렬을 도입하여 인접 정도에 따라 차등적으로 인접 시간 및 주파수의 상관관계를 적용하는 것을 특징으로 하는, 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법.
  7. 에코 제거 시스템으로서,
    현재 시간 또는 주파수로부터 미리 정해진 인접 범위까지의 시간 또는 주파수에서의 원단 음향신호 성분들을 결합한 하나의 확장 벡터를 생성하는 벡터 생성 모듈;
    상기 확장 벡터를 이용하여 상기 원단 음향신호에 대한 확장된 PSD 행렬 및 크로스 PSD 벡터를 추정하는 PSD 추정 모듈;
    상기 확장 PSD 행렬 및 크로스 PSD 벡터를 이용하여 에코 패스 이득 필터 성분을 연산하는 에코 패스 연산 모듈;
    상기 에코 패스 이득 필터 성분과 상기 원단 음향신호를 이용하여 에코 신호를 추정하는 에코 신호 추정 모듈;
    상기 에코 신호를 이용하여 사전 신호대 에코비(a priori SER)와 사후 신호대 에코비(a posteriori SER)를 추정하고, 추정된 사전 신호대 에코비 및 사후 신호대 에코비를 이용하여 에코 제거 이득 값을 계산하는 에코 제거 이득 값 도출 모듈;
    상기 에코 제거 이득 값을 수신단의 입력신호 값에 곱하여 에코가 제거된 근단 음향신호의 추정 값을 도출하는 근단 음향신호 추정 모듈을 포함하는 것을 특징으로 하는, 인접 범위 내의 시간 및 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 시스템.
  8. 제7항에 있어서, 상기 에코 신호 추정 모듈은,
    현재 시간 및 주파수로부터 멀어짐에 따라 상관관계가 감소함을 반영하는 에코 오버에스티메이션 컨트롤 요소 행렬을 도입하여 인접 정도에 따라 차등적으로 인접 시간 및 주파수의 상관관계를 적용하는 것을 특징으로 하는, 인접 범위 내의 시간 및 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 시스템.
KR20130168729A 2013-12-31 2013-12-31 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템 KR101501279B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130168729A KR101501279B1 (ko) 2013-12-31 2013-12-31 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130168729A KR101501279B1 (ko) 2013-12-31 2013-12-31 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101501279B1 true KR101501279B1 (ko) 2015-03-11

Family

ID=53027153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130168729A KR101501279B1 (ko) 2013-12-31 2013-12-31 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101501279B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3154487B2 (ja) * 1990-02-28 2001-04-09 エス・アール・アイ・インターナシヨナル 音声認識の際の雑音のロバストネスを改善するためにスペクトル的推定を行う方法
JP2003188776A (ja) * 2001-12-21 2003-07-04 Nippon Telegr & Teleph Corp <Ntt> 音響エコー消去方法、装置及び音響エコー消去プログラム
JP2010288174A (ja) * 2009-06-15 2010-12-24 Nippon Telegr & Teleph Corp <Ntt> 周波数領域エコー除去装置、周波数領域エコー除去方法、プログラム
JP2012085314A (ja) * 2005-08-10 2012-04-26 Clarity Technologies Inc クリアな信号の取得のための方法及びシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3154487B2 (ja) * 1990-02-28 2001-04-09 エス・アール・アイ・インターナシヨナル 音声認識の際の雑音のロバストネスを改善するためにスペクトル的推定を行う方法
JP2003188776A (ja) * 2001-12-21 2003-07-04 Nippon Telegr & Teleph Corp <Ntt> 音響エコー消去方法、装置及び音響エコー消去プログラム
JP2012085314A (ja) * 2005-08-10 2012-04-26 Clarity Technologies Inc クリアな信号の取得のための方法及びシステム
JP2010288174A (ja) * 2009-06-15 2010-12-24 Nippon Telegr & Teleph Corp <Ntt> 周波数領域エコー除去装置、周波数領域エコー除去方法、プログラム

Similar Documents

Publication Publication Date Title
CN109727604B (zh) 用于语音识别前端的频域回声消除方法及计算机储存介质
KR102064902B1 (ko) 음성 강화를 위해 전역적으로 최적화된 최소 제곱 포스트 필터링
US9768829B2 (en) Methods for processing audio signals and circuit arrangements therefor
JP5102371B2 (ja) エコー抑制フィルタの制御情報を演算する装置および方法、並びに、ディレイ値を演算する装置および方法
Avargel et al. System identification in the short-time Fourier transform domain with crossband filtering
Furuya et al. Robust speech dereverberation using multichannel blind deconvolution with spectral subtraction
US8218780B2 (en) Methods and systems for blind dereverberation
JP2014502074A (ja) 後期残響成分のモデリングを含むエコー抑制
JP2013518477A (ja) レベルキューによる適応ノイズ抑制
CN111213359B (zh) 回声消除器和用于回声消除器的方法
Habets et al. Joint dereverberation and residual echo suppression of speech signals in noisy environments
Mosayyebpour et al. Single-microphone early and late reverberation suppression in noisy speech
CN108010536B (zh) 回声消除方法、装置、系统及存储介质
EP4071757A1 (en) Echo cancellation method and device
CN110211602B (zh) 智能语音增强通信方法及装置
Lee et al. Stereophonic acoustic echo suppression incorporating spectro-temporal correlations
JP2003309493A (ja) 反響低減方法、反響低減装置、反響低減プログラム
KR101501279B1 (ko) 인접 범위 내의 시간 또는 주파수 상관관계 기반의 음향학적 스테레오 에코 제거 방법 및 시스템
JP5937451B2 (ja) エコー消去装置、エコー消去方法及びプログラム
JP2002223182A (ja) 反響消去方法、その装置、そのプログラム及びその記録媒体
Miyazaki et al. Theoretical analysis of parametric blind spatial subtraction array and its application to speech recognition performance prediction
Guo et al. An Improved Low-Complexity Echo Suppression Algorithm Based on the Acoustic Coloration Effect
JP3616341B2 (ja) 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体
KR101558397B1 (ko) 반향필터 추정방법, 반향제거필터 추정방법 및 이를 이용한 단일채널 반향제거방법
Yousefian et al. Power level difference as a criterion for speech enhancement

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180222

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 6