KR20010010928A - 음성처리시스템에서 재생되는 음성신호의 시간축 변환방법 - Google Patents

Abstract

본 발명에 따른 음성처리시스템에서 재생되는 음성신호의 시간축 변환방법인 SOLA(Synchronized Overlap And Add)동작 수행중 동기화과정에서, 합성된 신호와 원래의 신호와의 정규화된 상호 상관함수뿐 만 아니라 인터폴레이션을 통하여 추정된 신호와의 정규화된 상호 상관함수를 구하고, 구해진 두개의 상호 상관함수를 비교하여 비교결과에 따라 정규화된 상호 상관함수의 값이 최대값을 갖는 동기점을 찾은 후, 이 최대값을 갖는 동기점을 이용하여 중첩가산함으로써, 비교적 낮은 음성신호에 대해서도 정확한 동기점을 찾아 시간축 변환된 음성신호의 음질을 향상시킬 수 있도록 한 것이다.

Description

음성처리시스템에서 재생되는 음성신호의 시간축 변환방법{Method for modifying time scale of an audio signal reproduced in an audio system}

본 발명은 음성처리시스템에서 재생되는 음성신호의 시간축 변환방법에 관한 것으로서, 특히 샘플 보간(Interpollation)을 부가한 동기 중첩 가산(Synchronized Overlap And Add : 이하 SOLA라 칭함)과정을 수행하여 재생되는 음성신호의 음질을 개선할 수 있도록 한 음성처리시스템에서 재생되는 음성신호의 시간축 변환(Time Scale Modification)방법에 관한 것이다. 즉, 본 발명은 상기 SOLA의 과정중 동기화과정에서의 시간축의 해상도를 높여 결과적으로 시간축 변환된 음성신호의 음질을 향상시키기 위한 것이다.

일반적으로 시간축 변환이란 음성이 가지는 고유의 스펙트럼정보들은 그대로 유지하면서 음성신호의 플레이(Play)속도만을 변환하는 기술을 의미한다.

이러한 음성신호의 시간축 변환기술은 전화 자동응답기, 장애인들을 위한 특수 음성시스템, 언어학습을 위한 음성재생 시스템 등의 많은 응용분야를 가지고 있어 비교적 그 에 대한 연구가 활발하게 이루어져 많은 시간축 변환기술들이 제안되고 있다.

이러한 시간축 변환기술들 중에서 비교적 적은 계산량으로 우수한 성능을 나타내는 SOLA라는 방법이 현재 가장 널리 사용되고 있다.

이하, 종래 기술에 따른 SOLA방법에 대하여 살펴보기로 하자.

도 1은 종래 기술에 따른 음성처리시스템에서 재생되는 음성신호의 시간축 변환을 위한 SOLA방법에 대한 동작 플로우챠트를 나타낸 도면이고, 도 2는 도 1에 도시된 동기 중첩 가산과정중 동기화과정을 나타낸 신호파현도로서, 도 2a는 동기화과정없이 처리되는 음성신호 파형도이고, 도 2b는 동기화과정을 통한 음성신호 파형을 나타낸 도면으로서, SOLA 알고리즘은 도 1에 도시된 바와 같이, 초기화과정(S101), 음성데이타 재생완료 판단과정(S102), 동기화과정(S102) 및 중첩 및 가산과정(S104)으로 이루어진다.

SOLA방법은 합성하고자 하는 프레임을 앞서 합성된 신호와의 상호 상관함수가 최대가 되는 위치에 평균 중첩 가산하는 것이다. 도 2a에 도시된 바와 같이 단순히 합성하고자 하는 프레임을 합성구간만큼 이동한 후, 중첩가산하는 방법도 시간축 변환의 한 방법이 될 수 있지만, 이는 피치주기 및 위상정보를 보존하지 못하는 문제점이 있어서 합성음질이 크게 저하된다.

이에 반하여 도 2b는 최대 상호 상관함수의 값을 갖는 위치에 동기를 맞추어 프레임들을 중첩가산하는 방법으로 이는 피치와 위상정보를 잘 보존하고 있어 비교적 우수한 음질의 음성신호를 합성할 수 있다.

이하, 입력 음성신호 x(n)으로부터 비례상수 α= S_s/ S_a에 의해 시간축 변환된 신호 y(n)을 만드는 경우를 예를들어 보자. 여기서, S_a는 분석구간의 프레임간 간격이고,S_s는 합성구간의 프레임간 간격이다. 따라서, α가 1보다 크다는 것은 음성신호의 재생속도가 느려지는 것이고, α가 1보다 작다는 것은 음성신호의 재생속도가 빠르다는 것을 의미한다.

음성신호 x(n)에서 매 분석구간 S_a마다 N개의 샘플로 구성된 프레임들을 가지고 매 S_s마다 합성신호 y(n)을 합성하는데 사용한다면, 분석구간 S_a과 합성구간S_s사이에는 아래의 수학식 1과 같은 관계가 성립된다.

음성신호의 합성과정은 매 프레임마다 이루어지고 새로운 분석 프레임이 이전과정에서 합성된 프레임에 더해진다.

도 1에서와 같이 음성신호의 시간축 변환을 위한 SOLA방법은 첫번째 분석 프레임을 합성 프레임으로 초기화하는 초기화과정(S101)(y(j)=x(j)이고, 0≤j≤N이며, 프레임 번호 m=0)과, 합성신호 y(mS_s+ j)에 음성신호의 m번째 프레임 x(mS_A+ J)의 동기를 맞추기 위한 동기화과정(S103)과, 동기화과정(S103)을 통해 얻은 동기에 맞추어 재배열한 후, 중첩가산하는 중첩가산과정(S104)으로 이루어진다. 이때, 동기가 일치하는 위치는 합성신호 y(mS_s+ j)와 m번째의 프레임의 음성신호 x(mS_A+ J)사이의 정규화된 상호상관함수(Normal Cross-Correlation)를 통하여 얻을 수 있다. 이러한 동기화과정에서의 상호상관함수는 수학식 2와 같다.

여기서, -N/2≤k≤N/2이고, R_m(k)는 m번째 프레임에서의 정규화된 상호 상관함수를 나타내며, L은 y(mS_s+ j)와 x(mS_A+ J)사이에 중첩되는 샘플수이다. 또한, 상기 N은 윈도우 길이(Window Length)이고, x는 원래의 음성신호이며, y는 시간축 변환된 합성신호이다. 이때, R_m(k)를 최대화시키는 위치를 k(m)이라고 할 때, 원래의 음성신호중 m번째 프레임신호 x(mS_A+ j)는 시간축 변환된 합성신호 y(mS_s+ k_m+ j)에 아래의 수학식 3을 이용하여 도 3에서와 같이 중첩 가산된다. 여기서, 도 3은 종래 기술에 따른 동기 중첩 가산방법중 음성신호의 중첩 가산과정에 대한 개념을 나타낸 도면이다.

여기서, L_m은 x(mS_A+ j)는 y(mS_s+ k_m+ j) 두신호의 중첩 가산구간을 나타내고, f(j)는 웨이팅(Weighting)함수로 0≤f(j)≤1의 값을 갖는다.

이와 같은 종래 기술에 따른 음성처리시스템에서 재생되는 음성신호의 시간축 변환을 위한 SOLA방법에서 크게 좌우되는 과정은 동기화과정이다. 이러한 종래의 동기화과정에서는 각각의 음성 샘플들간의 정규화된 상호상관함수를 구하기 때문에 시간축상의 피치에 대한 해상도는 그 만큼 저하되게 되는 문제점이 있다.

또한, 샘플링 비율이 비교적 낮은 음성신호에 대해서는 정확한 동기점을 찾지 못해 시간축 변환된 합성음질이 저하되는 다른 문제점이 있다.

따라서, 본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 SOLA과정에서 동기화과정과 중첩가산과정에 보간 (Interpollation)을 이용한 추정신호를 사용하여 낮은 음성신호에 대해서도 정확한 동기점을 찾아 합성음의 음질을 향상시도록 한 음성처리시스템에서 재생되는 음성신호의 시간축 변환방법을 제공함에 있다.

상기한 목적을 달성하기 위한 본 발명에 따른 음성처리시스템에서 재생되는 음성신호의 시간축 변환방법의 특징은 음성처리시스템에서 재생되는 음성신호의 시간축 변환을 위한 동기 중첩 가산방법에 있어서, 재생되는 음성신호에 대한 첫번째 분석프레임과 합성하고자 하는 시간축 변환된 합성신호를 초기화하는 단계와; a) 상기 합성신호에 재생되는 음성신호중 임의의 m번째 프레임의 동기를 맞추기 위해 합성된 신호와 재생되는 원래의 음성신호와의 정규화된 상호 상관함수값과, 인터폴레이션을 통해 추정된 신호와 상기 합성신호와의 정규화된 상호 상관함수값을 구하고, b) 상기 구해진 각각의 상호 상관함수를 비교한 후, 비교결과에 따라 정규화된 상호 상관함수의 값이 최대값을 갖는 동기점을 검출하는 동기화단계와; 상기 동기화단계에서 검출된 동기점을 이용하여 합성하고자 하는 음성신호를 이전에 합성된 음성신호와의 상호상관함수가 최대가 되는 위치에 음성신호를 중첩가산하는 단계로 이루어짐에 있다.

도 1은 종래 기술에 따른 음성처리시스템에서 재생되는 음성신호의 시간축 변환을 위한 동기 중첩 가산방법에 대한 동작 플로우챠트를 나타낸 도면,

도 2는 도 1에 도시된 동기 중첩 가산과정중 동기화과정을 나타낸 신호파형도로서, 도 2a는 동기화 과정없이 처리되는 음성신호 파형도이고, 도 2b는 동기화과정을 통한 음성신호 파형을 나타낸 도면,

도 3은 종래 기술에 따른 동기 중첩 가산방법중 음성신호의 중첩 가산과정에 대한 개념을 나타내 도면,

도 4는 본 발명에 따른 음성처리시스템에서 재생되는 음성신호의 시간축 변환방법에 대한 동작 플로우챠트를 나타낸 도면.

이하, 본 발명에 따른 음성처리시스템에서 재생되는 음성신호의 시간축 변환방법에 대한 바람직한 일실시예를 첨부한 도면을 참조하여 상세하게 살펴보기로 한다.

도 4는 본 발명에 따른 음성처리시스템에서 재생되는 음성신호의 시간축 변환방법에 대한 동작 플로우챠트를 나타낸 도면이다.

우선 본 발명은 첫번째 분석 프레임을 합성 프레임으로 초기화하는 초기화과정(S201)(y(j)=x(j)이고, 0≤j≤N이며, 프레임 번호 m=0)과, 음성 데이타의 재생이 완료되었는지를 판단하는 과정(S202)과, 합성신호와 원래의 음성신호와의 정규화된 상호 상관함수와, 인터폴레이션을 통하여 추정된 신호와의 정구화된 산호 상관함수를 각각 구한 후, 구해진 각각의 상호 상관함수를 비교하여 비교결과에 따른 정규화된 상호 상관함수값이 최대값을 갖는 동기점을 찾는 동기화과정(S203)과, 동기화과정(S203)을 통해 얻은 동기점에 맞추어 음성신호를 중첩가산하는 중첩가산과정 (S204)으로 이루어진다. 여기서, 상기 인터폴레이션이란 함수 f(x)의 값이 x에 대하여 알려져 있을 때, 이들 값을 이용하여 다른 x에 대한 함수의 값(근사값)을 구하는 것을 의미한다. 또한, 보간의 일종으로 x₁, x₂...x_n에 있어서의 함수 f(x)의 값에서 x₁의 최대와 최소값사이에있는 x의 값에 대한 f(x)을 구하는 것이며, 주변의 신호로 신호들 사이에 있는 미지의 신호를 추정하여 삽입하는 것이다. 보간하는 기본적인 방법으로는 미지의 신호들을 "0"으로 두어서 길이가 두배로 늘어난 신호열을 저역통과필터(Low Pass Filter)에 통과시키는 방법이다. 영상처리에서는 같은 프레임(Frame)의 다른 화소값을 구하는 프레임내 보간과 현재 프레임과 이전 프레임의 화소값을 이용하여 미지의 화소값을 구하는 프레임간 보간이 있다.

이하, 상기 S201단계와 S202단계는 종래 기술과 동일하기 때문에 그 설명은 생략하고 동기화과정과 중첩가산과정에 대하여만 설명하기로 한다.

먼저, 상기 S203단계의 동기화과정에서 음성신호들간의 시간축 해상도를 향상시키기 위해서는 샘플들 사이의 샘플을 인터폴레이션과정을 통해 추정하여야 한다.

그런다음 원래의 음성 샘플들과 인터폴레이션을 통해 추정된 음성샘플들을 이용하여 정규화된 상호 상관함수를 구하는 것이다. 이 정규화된 상호 상관함수의 값이 최대치를 갖는 점을 구하여 중첩가산에 이용한다. 따라서, 보다 정확한 동기점을 찾을 수 있고 결과적으로 시간축 변환된 음성신호의 음질을 보다 향상시킬 수 있는 것이다.

먼저, 상기 수학식 1의을 인터폴레이션하여 추정한 신호를이라고 가정하면,과 y(n)의 정규화된 상호 상관함수는 아래의 수학식 4와 같다.

여기서, y는 시간축 변환된 합성신호, x는 원래의 음성신호,는 인터폴레이션된 원래의 음성신호, L_m은 중첩된 구간의 길이, N은 윈도우 길이인다.

또한, λ는 인터폴레이션 펙터(Interpollation Factor)이고, 이 인토폴레이션 펙터인 λ는 0≤λ≤1이다. 즉, 시간축 상의 해상도를 결정하는 파리미터로서 시간축상의 해상도를 2배로 높일 경우 λ=0.5이다.

상기 동기화과정에서는 수학식 1과 같은 합성된 신호와 원래신호와의 정규화된 상호 상관함수값과 상기 수학식 4와 같은 인터폴레이션을 통해 추정된 신호와의 정규화된 상호 상관함수값을 서로 비교한다.

비교결과, 수학식 1의 정규화된 상호 상관함수가 즉, 합성된 신호와 원래신호와의 정규화된 상호 상관함수값이 수학식 4의 인터폴레이션을 통한 정규화된 상호 상관함수값보다 작은 경우에는 수학식 3을 이용하여 중첩 가산동작을 수행하고, 반대로 수학식 1의 정규화된 상호 상관함수가 수학식 4의 인터폴레이션을 통한 정규화된 상호 상관함수값보다 큰 경우에는 아래의 수학식 5를 이용하여 중첩 가산동작을 수행하는 것이다.

결국, 본 발명에 따른 음성처리시스템에서 재생되는 음성신호의 시간축 변환방법인 SOLA방법중 동기화과정에서 합성된 신호와 원래의 신호와의 정규화된 상호 상관함수뿐 만 아니라 인토폴레이션을 통하여 추정된 신호와의 정규화된 상호 상관함수를 구하고, 구해진 두개의 상호 상관함수를 비교하고, 비교결과에 따라 정규화된 상호 상관함수의 값이 최대값을 갖는 동기점을 찾게 된다.

이렇게 얻어진 최대값을 갖는 동기점을 이용하여 중첩가산하는 방법을 사용하고 있다.

인터폴레이션을 통하여 신호를 추정하기 위해서는 선형 인터폴레이션(Li near Interpollation), 비선형 인터폴레이션(Nin-linear Interpollation)등의 방법이 사용될 수 있으며, 인터폴레이션 펙터값도 상기에서는 해상도를 2배로 높일 경우의 값 0.5만을 예로 하여 설명하였으나, 이 펙터값은 다양하게 적용될 수 있다. 그러나, 계산량을 고려하여 작당한 시간축 해상도를 적용하는 것이 좋을 것이다. 이는 음성신호의 샘플링 비율에 따라 정해진다.

상술한 바와 같은 본 발명에 따른 음성처리시스템에서 재생되는 음성신호의 시간축 변환방법인 SOLA방법중 동기화과정에서 합성된 신호와 원래의 신호와의 정규화된 상호 상관함수뿐 만 아니라 인토폴레이션을 통하여 추정된 신호와의 정규화된 상호 상관함수를 구하고, 구해진 두개의 상호 상관함수를 비교하고, 비교결과에 따라 정규화된 상호 상관함수의 값이 최대값을 갖는 동기점을 찾은 후, 이 최대값을 갖는 동기점을 이용하여 중첩가산함으로써, 비교적 낮은 음성신호에 대해서도 정확한 동기점을 찾을 수 있기 때문에 시간축 변환된 음성신호의 음질을 향상시킬 수 있는 효과가 있다.

Claims (3)

1. 음성처리시스템에서 재생되는 음성신호의 시간축 변환을 위한 동기 중첩가산 방법에 있어서,

   재생되는 음성신호에 대한 첫번째 분석프레임과 합성하고자 하는 시간축 변환된 합성신호를 초기화하는 단계와;

   a) 상기 합성신호에 재생되는 음성신호중 임의의 m번째 프레임의 동기를 맞추기 위해 합성된 신호와 재생되는 원래의 음성신호와의 정규화된 상호 상관함수값과 인터폴레이션을 통해 추정된 신호와 상기 합성신호와의 정규화된 상호 상관함수값을 구하고,

   b) 상기 구해진 각각의 상호 상관함수를 비교한 후, 비교결과에 따라 정규화된 상호 상관함수의 값이 최대값을 갖는 동기점을 검출하는 동기화단계와;

   상기 동기화단계에서 검출된 동기점을 이용하여 함성하고자 하는 음성신호를 이전에 합성된 음성신호와의 상호상관함수가 최대가 되는 위치에 음성신호를 중첩가산하는 단계로 이루어짐을 특징으로 하는 음성처리시스템에서 재생되는 음성신호의 시간축 변환방법.
2. 제 1 항에 있어서, 상기 동기화단계에서의 인터폴레이션을 수행할 때, 음성신호에 대한 시간축 해상도를 향상시키기 위한 인터폴레이션 펙터값은 재생되는 음성신호의 샘플링 비율에 따라 임의대로 결정하는 것을 특징으로 하는 음성처리시스템에서 재생되는 음성신호의 시간축 변환방법.
3. 제 1 항에 있어서, 상기 신호를 추정하기 위한 인터폴레이션은 선형 인터폴레이션방법과 비선형 인터폴레이션 방법을 이용하는 것을 특징으로하는 음성처리시스템에서 재생되는 음성신호의 시간축 변환방법.