KR20080075362A - 잡음 환경에서 음성 신호의 추정치를 구하는 방법 - Google Patents

Abstract

본 발명은 잡음 환경에서 음성 신호의 추정치를 구하는 방법에 관한 것으로서, 종래의 DD 추정법에서 사용되던 고정된 가중치 파라미터 대신에 가중치 파라미터에 시그모이드형 함수를 적용시키는 것을 그 특징으로 한다. 즉, 본 발명에 따른 방법은, 시그모이드형 함수의 값이 사후 SNR의 변이에 따라 가변적으로 DD의 가중치 파라미터에 적용되므로 잡음 구간에서 뮤지컬 잡음 제거의 이점은 유지하면서도 동시에 음성 전이 구간에서의 음성 왜곡을 줄일 수 있다.

음성 향상, 음성, 잡음, 잡음 음성, 스펙트럼, 추정치, 선행 SNR, 사후 SNR, 시그모이드형 함수, 가중치 파라미터, 잡음 제거 이득 함수

Description

잡음 환경에서 음성 신호의 추정치를 구하는 방법{A METHOD FOR OBTAINING AN ESTIMATED SPEECH SIGNAL IN NOISY ENVIRONMENTS}

도 1은 시그모이드형 함수(Sigmoid Type Function)가 가중치 파라미터에 적용되는 값을 보여주는 도면.

도 2는 본 발명에서 제안되는 새로운 알고리즘에 따른 선행 SNR의 변화를 보여주는 도면.

본 발명은 잡음 환경에서 음성 신호의 추정치를 구하는 방법으로서, 보다 구체적으로는 Ephraim과 Malah가 제안한 선행 SNR(a priori SNR)에 대한 decision-directed(DD) 추정법에서 고정된 가중치 파라미터를 사용하는 대신에 시그모이드형 함수 값을 갖는 가중치 파라미터를 사용하는 음성 신호의 추정치를 구하는 방법에 관한 것이다.

이동 환경에서의 음성통신의 중요성이 점차 증가하면서 단일 마이크로폰에서의 음성 향상 기술에 대한 연구가 주목받고 있다. 강인한 음성 향상 기술(robust speech enhancement technique)은 일반적으로 신호대 잡음비(SNR)에 따른 스펙트럼 이득으로 표현된다. 하지만 이득에 의한 음성 향상은 잡음 구간의 잡음 제거 과정에서 원하지 않는 뮤지컬 잡음이 생기게 된다. Ephraim과 Malah가 제안한 DD 추정법은 뮤지컬 잡음을 제거하는데 우수한 성능을 나타낸다.

하지만 Cappe'는 DD 추정법에 대한 분석을 통해 선행 SNR이 잡음 구간에서는 프레임 지연을 갖고 사후 SNR(a posteriori SNR)의 스무딩된 형태(smoothed form)로 뮤지컬 잡음을 제거하는데 탁월한 성능을 보이지만, 음성 구간에서는 모양이 지연되어 따라가는 것을 밝혀냈다. MMSE(Minimum Mean Square Error) 잡음 제거 이득은 주로 선행 SNR에 좌우되기 때문에, 이러한 지연된 파라미터가 적용된 이득은 현재 프레임과 상응되는 값이 아니게 되며, 그 결과 특히 음성 전이 구간에서 왜곡된 잡음 제거 이득의 적용으로 음성 향상의 성능을 저하시킨다는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로서, 고정된 가중치 파라미터가 적용되는 기존의 DD 추정법과는 다르게 사후 SNR의 변이에 따라 시그모이드형 함수 값을 가중치 파라미터에 적용시킴으로써, 계산적으로 간단하면서도 향상된 성능을 보이는, 잡음 환경에서 음성 신호의 추정치를 구하는 새로운 방법을 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 잡음이 제거된 음성 신호의 추정치를 구하는 방법은 다음과 같다.

음성, 잡음 및 잡음 음성(음성 + 잡음)을 각각 x(t), d(t), y(t)라고 하고, x(t), d(t), y(t)의 k번째 스펙트럼 성분을 각각 X(k), D(k), Y(k)라고 할 경우, 본 발명의 특징에 따른 잡음이 제거된 음성 신호의 추정치 X'(k)를 구하는 방법은,

(1) 잡음 음성의 k번째 스펙트럼 성분인 D(k)를 이용하여

(여기서, E[·]는 기대값 연산자)

에 의해 사후 SNR(a posteriori SNR) γ(k)를 구하는 단계와,

(2) 시그모이드형 함수를 이용하여

(여기서,

(시그모이드형 함수)이고, β, k, s₀, σ는 상수임)

에 의해 가중치 파라미터 α(k)를 구하는 단계와,

(3) 단계 (2)에서 구해진 가중치 파라미터 α(k)를 사용하여

(여기서, X'(k,n-1)은 (n-1)번째 프레임에서 k번째 스펙트럼 성분의 크기를 나타내고, P(x)는 P[x] = x, if x ≥ 0이고, P[x] = 0, if x < 0)

에 의해 선행 SNR의 추정치 ξ(k,n)을 구하는 단계와,

(4) 단계 (1) 및 (3)에서 각각 구해진, 사후 SNR γ(k)와 선행 SNR의 추정치 ξ(k,n)을 이용하여

(여기서,

이고, I₀, I₁은 각각 0차, 1차 수정 베셀 함수(modified Bessel function)를 의미함)

에 의해 MMSE(최소 평균 제곱 오차; Minimum Mean Square Error) 잡음 제거 이득함수 G(ξ(k),γ(k))를 구하는 단계와,

(5) 단계 (4)에서 구해진 MMSE 잡음 제거 이득 함수 G(ξ(k),γ(k))를 이용하여

에 의해 잡음이 제거된 음성 신호의 추정치 X'(k)를 구하는 단계를 포함하는 것을 특징으로 한다.

이하에서는 잡음 제거 이득과 종래의 DD 추정치 접근법을 기초로, 본 발명에 서 제안된 방법에 대해서 설명하기로 한다.

잡음 제거 이득

x(t)와 d(t)를 각각 시간 축에서의 음성과 잡음 신호라고 하면, 일반적인 잡음 음성 모델은 다음의 수학식 6과 같이 표현된다.

y(t) = x(t) + d(t)

Y(k), X(k), D(k)를 각각 y(t), x(t), d(t)의 k번째 스펙트럼 성분이라고 하면, 이득 함수에서 파라미터로 작용하는 사후 SNR과 선행 SNR은 각각 다음과 같이 γ(k), ξ(k)로 수학식 1과 수학식 7로 정의된다.

(수학식 1)

잡음이 제거된 음성 신호의 추정치는 수학식 5와 같이 이득과 잡음 음성의 곱으로 표현할 수 있고, 여기에 수학식 1 및 수학식 7의 파라미터를 이용하여 수학식 4와 같은 Ephraim 과 Malah의 MMSE에 기초한 잡음 제거 이득 함수를 구할 수 있다.

(수학식 5)

(수학식 4; 여기서,

이고, I₀, I₁은 각각 0차, 1차 수정 베셀 함수(modified Bessel function)를 의미함)

잡음 제거 이득 함수는 사후 SNR과 선행 SNR을 변수로 갖는 함수로 표현되며, 잡음 신호는 음성 검출기(VAD; Voice Activity Detector)를 이용하여 음성 부재 구간에서 갱신되는 잡음 신호를 이용한다. 사후 SNR은 수학식 1에서 알 수 있는 바와 같이 입력된 잡음 음성으로부터 바로 구할 수 있지만, 선행 SNR은 잡음 음성에서 잡음이 제거된 음성 X(k), 즉 추정치를 이용해야 구할 수 있다.

" Decision - Directed " 추정치 접근

Ephraim과 Malah는 선행 SNR의 추정치를 구하기 위해 아래의 수학식 8과 같은 decision-directed(DD) 추정치 방법을 제안했다.

, 0≤α<1

(여기서, X'(k,n-1)은 (n-1)번째 프레임에서 k번째 스펙트럼 성분의 크기를 나타내고, α는 가중치 파라미터를 나타내며, P(x)는 P[x] = x, if x ≥ 0이고, P[x] = 0, if x < 0을 의미하는 연산자임)

상기 수학식 8에서, 다른 수학식들과는 달리, X'(k) 형태의 함수 대신에 X'(k,n) 형태의 함수가 사용된 것은, 다른 수학식들의 경우 같은 프레임(예컨대, n번째 프레임) 간의 관계이기 때문에 X'(k,n) 형태로 표시할 필요가 없었으나, 수학식 8의 경우, 서로 다른 프레임들간의 관계이기 때문에, 즉 n번째 프레임과 n-1번째 프레임간의 관계이기 때문에 서로 다른 프레임들에 대한 함수라는 것을 나타내기 위해 X'(k,n) 형태로 표시하고 있다.

Cappe'는 MMSE 잡음 제거 이득이 사후 SNR보다 선행 SNR에 의해서 좌우된다는 것을 보였다. 또한 이전 프레임에 더 큰 가중치를 주는 DD 추정법에 의해 주요 파라미터로 작용하는 선행 SNR이 잡음 구간에는 사후 SNR보다 매우 작은 분산 값을 가지게 된다는 것을 알아냈다. 따라서 선행 SNR에 영향을 많이 받는 이득 또한 잡음 구간에서 작은 분산 값을 가지게 되므로, 선행 SNR에 대해 DD 추정법을 사용하는 MMSE 잡음 제거 이득이 뮤지컬 잡음 제거에 우수한 성능을 보이게 되는 이유를 밝혀냈다. 하지만 잡음에서 음성으로 바뀌는, 즉 사후 SNR이 급격히 변하는 음성 전이 구간에서는 DD 추정법이 이전 프레임에 더 큰 가중치를 주기 때문에 선행 SNR이 프레임 지연을 가지고 사후 SNR의 모양을 따라가게 되며, 그 결과 음성 구간에서 선행 SNR의 지연이 잡음 제거 이득에 영향을 주게 되므로 음성의 왜곡을 발생시킨다. 결과적으로 이전 프레임에 대한 가중치 파라미터가 커질수록 잡음 구간에서 뮤지컬 잡음 제거에는 이점이 있으나 음성 구간에서 음성이 왜곡되는 단점이 생긴다.

제안된 시그모이드 형태의 가중치 파라미터

Cappe'의 논문을 통해서 DD 추정법에서는 잡음 구간에서 뮤지컬 잡음 제거와 음성 전이 구간에서 음성 왜곡 사이에서 트레이드-오프(trade-off)가 발생한다는 사실을 알았다. 본 발명에서는 프레임 간의 사후 SNR의 변이에 따라 수학식 2의 시그모이드형 함수의 값을 DD의 가중치 파라미터에 적용하는 알고리즘을 제안한다.

(수학식 2)

(여기서,

이고, β, k, s₀, σ는 상수임)

본 발명의 일 실시예에서는, 상기 수학식 2에서 기울기 파라미터 β = 0.4, 오프셋(offset) s₀ = -9, 상수 k = -1.5, σ = 0.99로 설정하였다. 이렇게 수학식 2로부터 구해진 가중치 파라미터 α(k)를 이용하여 수학식 8을 다시 적어보면 수학식 3과 같다.

(수학식 3)

도 1은 시그모이드형 함수가 가중치 파라미터에 적용되는 값을 보여 주고 있다. 잡음 구간에서 음성 구간으로 바뀌는 음성 전이 구간에서

가 커지는 특성 을 이용해

값을 시그모이드형 함수의 변수로 적용하여

가 급격하게 변화하는 음성 전이 구간에서는 이전 프레임에 대한 가중치를 작게 갖도록 하였다. 즉, 음성 전이 구간에서는 DD의 가중치 파라미터 비중을 현재 프레임의 사후 SNR에 더 크게 주어 선행 SNR의 추정치 값에 사후 SNR의 값이 더 크게 반영되도록 하였다. 따라서, 음성 전이 구간에서 선행 SNR 파라미터의 지연에 의한 잡음 제거 이득의 왜곡을 감소시킬 수 있다. 또한,

가 적은 잡음 구간에서는

이 커지므로 이전 프레임의 선행 SNR에 큰 가중치가 적용되어 뮤지컬 잡음 제거에 우수한 기존 DD의 이점도 유지할 수 있다.

도 2는 본 발명에서 제안되는 새로운 알고리즘에 따른 선행 SNR의 변화를 보여주고 있다. 도 2에서, 가는 실선은 사후 SNR을, 굵은 실선은 시그모이드형 DD의 선행 SNR을, 점선은 종래 DD의 선행 SNR을 각각 나타내다. 도 2로부터, 본 발명에 따른 시그모이드형 DD에 의한 선행 SNR은, 음성 전이 구간에서는 지연 없이 사후 SNR과 동일한 프레임에서 음성 구간으로 바뀌며, 또한 음성 구간에서는 기존의 고정 가중치 파라미터가 적용된 DD의 선행 SNR보다 사후 SNR에 더 가까운 것을 확인할 수 있다.

실험 결과

본 발명에서 제안된 음질 향상 알고리즘의 음질 평가를 위해 널리 적용되고 있는 PESQ ITU-T P.862를 수행하였다. 남성, 여성 화자 각각이 100개의 문장을 발 음하도록 한 음성을 한 프레임의 크기가 10ms에서 8kHz로 샘플링한 데이터에 세 가지 형태의 잡음이 부가되었다. 잡음은 NOISE-X92 데이터베이스의 백색 가우시안 잡음(white gaussian noise; WGN), 배블 잡음(babble noise), 차량 잡음(vehicle noise)을 사용하였고, SNR을 5, 10, 15, 20dB로 달리하여 조사하였으며, PESQ 값은 이들 샘플에 대한 평균 수치로 나타냈다. 본 발명과 비교하기 위한 기존 DD에 의한 PESQ 값을 구하기 위해 가중치 파라미터를 α = 0.99로 설정하여 PESQ 수치를 추출하였다. 다음 표 1은 테스트에 사용된 모든 잡음 환경에서의 PESQ 수치를 보여주고 있다.

잡음의 종류	방법	SNR (dB)
		5	10	15	20
WGN	종래 DD 본 발명	1.915 1.977	2.303 2.364	2.694 2.752	3.080 3.133
배블 잡음	종래 DD 본 발명	2.136 2.167	2.530 2.561	2.921 2.952	3.279 3.318
차량 잡음	종래 DD 본 발명	3.437 3.532	3.647 3.746	3.766 3.871	3.819 3.924

표 1로부터, 고정된 가중치 파라미터를 사용하는 종래의 DD 추정법보다 본 발명에서 제안한 시그모이드형의 가중치 파라미터를 사용하는 DD 방법이 음성 향상에 우수한 성능을 보임을 확인할 수 있다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

본 발명에서는 종래의 DD 추정법에서 사용되던 고정된 가중치 파라미터 대신에 가중치 파라미터에 시그모이드형 함수가 적용되는 새로운 알고리즘을 제안하였다. 종래의 DD 추정법은 이전 프레임에 큰 가중치를 주어 잡음 구간에서의 뮤지컬 잡음 제거에는 뛰어난 성능을 보였지만, 음성 전이 구간에서 주요 파라미터인 선행 SNR에 지연을 일으키고 그 결과 지연된 파라미터에 의한 왜곡된 잡음 제거 이득으로 음성이 왜곡되는 단점이 있었다.

본 발명에서 제시하는 방법은, 시그모이드형 함수 값이 사후 SNR의 변이에 따라 가변적으로 DD의 가중치 파라미터에 적용되므로 잡음 구간에서 뮤지컬 잡음 제거의 이점은 유지하면서도 동시에 음성 전이 구간에서의 음성 왜곡을 줄일 수 있다.

Claims (2)

1. 음성, 잡음 및 잡음 음성(음성 + 잡음)을 각각 x(t), d(t), y(t)라고 하고, x(t), d(t), y(t)의 k번째 스펙트럼 성분을 각각 X(k), D(k), Y(k)라고 할 경우, 잡음이 제거된 음성 신호의 추정치 X'(k)를 구하는 방법으로서,

   잡음 및 잡음 음성의 k번째 스펙트럼 성분을 이용하여 다음 식에 의해 사후 SNR(a posteriori SNR) γ(k)를 구하는 단계;

   

   (여기서, E[·]는 기대값 연산자)

   시그모이드형 함수(Sigmoid Type Function)를 이용하여 다음 식에 의해 가중치 파라미터 α(k)를 구하는 단계;

   

   (여기서,

   

   이고, β, k, s₀, σ는 상수임)

   상기 단계에서 구해진 상기 가중치 파라미터 α(k)를 사용하여, 다음 식에 의해 선행 SNR(a priori SNR)의 추정치 ξ(k,n)을 구하는 단계;

   

   (여기서, X'(k,n-1)은 (n-1)번째 프레임에서 k번째 스펙트럼 성분의 크기를 나타내고, P(x)는 P[x] = x, if x ≥ 0이고, P[x] = 0, if x < 0)

   상기 단계들에서 각각 구해진, 상기 사후 SNR γ(k)와 상기 선행 SNR의 추정치 ξ(k,n)을 이용하여 다음 식에 의해 MMSE(최소 평균 제곱 오차; Minimum Mean Square Error) 잡음 제거 이득함수 G(ξ(k),γ(k))를 구하는 단계; 및

   

   (여기서,

   

   이고, I₀, I₁은 각각 0차, 1차 수정 베셀 함수(modified Bessel function)를 의미함)

   상기 단계에서 구해진 MMSE 잡음 제거 이득 함수 G(ξ(k),γ(k))를 이용하여 다음 식에 의해 잡음이 제거된 음성 신호의 추정치 X'(k)를 구하는 단계

   

   를 포함하는 방법.
2. 제1항에 있어서,

   상기 β, k, s₀, σ값을 각각 0.4, -9, -1.5, 0.99로 설정하는 방법.

Images