KR100212453B1 - 양자화 오차를 이용한 음성 신호의 피치 검출 방법 - Google Patents

Abstract

본 발명은 포만트와 천이 진폭의 영향에 의해 정확한 검출이 어려웠던 종래의 시간 영역 피치 검출법의 문제점을 해결하기 위한 양자화 오차를 이용한 음성 신호의 피치 검출 방법에 관한 것이다.

본 발명에서는 선형 PCM 데이터의 양자화 오차가 갖는 특성을 이용하여 주어진 프레임내의 음성 파형에 대해 음성 표본마다 상위 6비트로 양자화 하고, 이때의 양자화 오차를 구한 후, 이 양자화 오차에 대해 ±최대값을 유지하는 성분만 추출하고 나서, 자기 상관 함수식을 통해 주기성 강조를 수행하고, 주기성이 강조된 자기 상관 파형에 대해 문턱값 이상의 피크 피킹을 수행하여 피치 주기를 검출하며 검출된 피치 주기는 결정 논리를 거쳐서 최종적인 피치 값으로 확정된다.

따라서, 본 발명에 의하면 시간 영역상에서 피치 검출기의 결정 논리의 복잡성을 낮출 수 있고, 측정의 정확도를 높일 수 있다.

Description

양자화 오차를 이용한 음성 신호의 피치 검출방법

본 발명은 음성 신호 처리 방법에 관한 것으로, 특히 양자화 오차를 이용한 음성 신호의 피치 검출 방법에 관한 것이다.

음성 인식, 합성 및 분석과 같은 음성 신호 처리 분야에 있어서 기본 주파수, 즉 피치를 정확히 검출하는 것은 중요하다. 만일 음성 신호의 기본 주파수를 정확히 검출할 수 있다면 음성 인식에 있어서 화자에 따른 영향을 줄일 수 있기 때문에 인식의 정확도를 높일 수 있고, 음성 합성시에 자연성과 개성을 쉽게 변경하거나 유지할 수 있다. 또한 분석시 피치에 동기시켜 분석하면 성문의 영향이 제거된 정확한 성도 파라미터를 얻을 수 있다. 하지만 시간 영역의 피치 검출 방법은 피치 검출을 위한 결정 논리가 복잡하다는 단점을 갖는다.

음성 신호에서 피치 검출을 수행하는 것은 중요한 작업이므로 이를 위한 방법들이 다양하게 제안되었다. 그것은 시간 영역법, 주파수 영역법, 시간-주파수 영역법으로 구분할 수 있는데, 시간 영역 검출법은 파형의 주기성을 강조한 후에 결정 논리에 의해 피치를 검출하는 방법으로 병렬 처리법, 평균 진폭차 함수(Average Magnitude Difference Function: 이하 AMDF라 함)법, 자기상관법(Auto Correlation Method: 이하 ACM이라 함) 등이 있다. 이러한 방법은 보통 시간 영역에서 수행되므로 영역의 변환이 불필요하고, 합, 차, 비교 논리 등 간단한 연산만 필요하게 된다. 그러나, 음소가 천이 구간에 걸쳐 있는 경우에는 프레임 내의 레벨 변화가 심하고 피치 주기가 변동하기 때문에 피치 검출이 어렵고, 포만트에 의해 영향을 많이 받게 된다. 특히 잡음이 섞인 음성의 경우에는 피치 검출을 위한 결정 논리가 복잡해져서 검출 오류가 증가되는 단점이 있다.

주파수 영역의 피치 검출 방법은 음성 스펙트럼의 고조파 간격을 측정하여 유성음의 기본 주파수를 검출하는 방법으로 고조파 분석법, 리프터(Lifter)법, 콤필터링(Comb-filtering)법 등이 제안되어 있다. 일반적으로 스펙트럼은 한 프레임(20∼40ms) 단위로 구해지므로, 이 구간에서 음소의 천이나 변동이 일어나거나 배경 잡음이 발생하여도 평균화되므로 그 영향을 적게 받는다. 그러나 처리 과정상 주파수 영역으로의 변환 과정이 필요함으로 계산이 복잡하며, 기본 주파수의 정밀성을 높이기 위해 FFT의 포인터 수를 늘리면 그만큼 처리 시간이 길어지고 변화 특성에 둔해지게 된다.

시간-주파수 혼성 영역법은 시간 영역법의 계산 시간 절감과 피치의 정밀성, 그리고 주파수 영역법의 배경 잡음이나 음소 변화에 대해서도 피치를 정확히 구할 수 있는 장점을 취한 것이다. 이러한 방법으로는 켑스트럼(Cepstrum)법, 스펙트럼 비교법 등이 있고, 이 방법은 시간과 주파수 영역을 왕복할 때 오차가 가중되어 나타나므로 피치 추출의 영향을 받을 수 있고, 또한 시간과 주파수 영역을 동시에 적용하기 때문에 계산 과정이 복잡하다는 단점이 있다.

이 세가지 방법 중 특히 시간 영역법에서 사용되는 ACM법, AMDF법, 병렬 처리법 등에 대해 살펴보면 ACM법은 시간상에서 구해진 음성 신호를 지연값 L을 가지고 서로 지연시켜 가면서 곱해주는 방식으로 파형의 형태가 같게 될 경우에 최대값을 지니게 되고, 이 때의 값을 피치로 간주하는 방식이다. 하지만 이 방식은 곱셈에 대한 계산량이 많고, 지연값을 가지고 처리해야 하므로 속도가 느려지게 된다.

또한 AMDF법은 ACM법과 유사하기는 하지만 곱셈 대신에 서로 차를 구하는 것이 다르다. 즉 원래의 신호와 지연 신호와의 차에 대한 절대치를 구하여 피치를 구하는 방식이기 때문에 최대값을 찾아서 피치를 구하는 ACM법과 달리 가장 최소가 될 때의 값을 찾아서 피치를 구하는 방식이다. 이 방식은 DSP 프로세서의 기술이 덜 발달 되었을 때 곱셈에 대한 부담을 줄이기 위해서 고안된 방법이다. 하지만 최근의 DSP들은 대부분 한 사이클 내에 곱셈 수행이 이루어지므로 오히려 뺄셈을 하여 절대치를 취하는 AMDF 방법이 더 비효율적인 방법이 되었다. 마지막으로 병렬 처리법은 들어온 음성 신호의 피크와 벨리점을 구해서 각각의 병렬 필터를 통과시켜 가장 잘 맞는 값을 골라 피치로 간주하는 방식이다. 이 방식의 처리 과정은 간단하지만 그에 비해 처리 시간이 많이 소요되고, 계산량이 많아지는 단점을 지니게 된다.

즉, 기존에 사용되던 시간 영역법들은 처리 시간이 매우 길고, 복잡한 결정 논리가 필요하다는 것을 알 수 있고, 포만트의 영향과 천이 진폭의 영향을 제거시키지 못하여 피치 검출을 정확하게 할 수 없다는 단점이 있다.

음성 신호 처리 분야에서 피치를 정확하게 검출하면 음성 인식시에 화자에 따른 영향을 줄일 수 있기 때문에 인식의 정확도를 높일 수 있고, 음성 합성시에 자연성과 개성을 유지하거나 쉽게 변경할 수 있다. 또한 분석시 피치에 동기시켜 분석하면 성문의 영향이 제거된 정확한 성도 파라미터를 얻을 수 있게 된다. 이러한 피치 검출 방법은 크게 시간 영역법, 주파수 영역법, 시간-주파수 혼성 영역법으로 나눌 수 있는데 이중에서 종래의 시간 영역법의 피치 검출은 포만트나 진폭의 천이 구간에 의한 영향을 많이 받게 되고, 또한 결정 논리가 복잡하다는 단점을 지니고 있다. 예를 들면, 피치 주기 검출시 성도 포만트 들은 문장을 구성하는 음소에 따라 변화하고, 이 경우 크게 영향을 주는 포만트들은 기본 주파수에 근접한 제1 포만트가 되므로, 이 성분을 적응적으로 제거 또는, 억압시켜 주어야 하는 번거로운 절차가 존재하게 된다. 또한 음성 신호의 진폭은 음소에 따라 크게 변화하는데, 예를 들어 초성으로 유성자음이 발성되는 경우에는 이 유성자음의 피치를 구하기 전에 진폭을 정규화시켜야 한다. 이 경우 역시 사전에 파형의 기울기를 정확히 추정해야 한다는 번거로움이 있다.

따라서, 본 발명은 이런 모든 번거로운 절차들이 시간 영역상에서 피치를 검출할 때 결정 논리를 복잡하게 만들게 되므로 이러한 절차들을 제거하여 복잡성을 줄이고 측정의 정확도를 높일수 있는 선형 펄스 코드 변조(Pulse Code Modulation : 이하 PCM이라 함) 데이터의 양자화 오차가 갖는 특성을 이용한 시간 영역상의 피치 검출 방법을 제공하는테 그 목적이 있다. 즉, 본 발명에서는 기존의 시간 영역상의 피치 검출시에 발생한 문제점들을 선형 PCM 데이터의 양자화 오차가 갖는 특성을 이용하여 제거함으로서 파형의 위상 특성을 유지하고, 처리 과정에서 정규화가 수행되어 음소 천이에 따른 영향이 제거된다. 또한 양자화 오차의 최대 범위 내를 변동하는 고차의 포만트 성분을 제거하기 때문에 고차 포만트의 영향이나 배경 잡음에도 강인한 특성을 나타내게 된다. 따라서 불필요한 결정논리를 감소시킬 수 있고, 정확한 피치 검출이 가능하도록 구성할 수 있다.

상술한 목적을 달성하기 위한 본 발명은 주어진 프레임내의 음성 파형에 대해 음성 표본마다 상위 6비트만 그대로 두고 하위 비트들을 0으로 하여 상위 6비트를 양자화하는 단계와, 상기 양자화된 표본에서 상위 6비트의 신호를 빼서 양자화 오차를 구하는 단계와, 상기 양자화 오차에 대해 파형의 부호를 파악하여 ± 최대값을 유지하는 성분을 추출하는 단계와, 상기 추출된 성분에서 자기 상관 함수식을 이용하여 주기성을 강조하는 단계와, 상기 주기성이 강조된 자기 상관 파형에 대해 자기 상관 함수값을 구한 후 상기 자기 상관 함수값이 가장 클때의 피치 지연값을 피치 지연으로 정하여 피치 주기를 검출하는 단계와, 상기 검출된 피치 주기를 결정 논리에 의해 최종적인 피치 값을 구하는 단계로 이루어진 것을 특징으로 한다.

제1도는 본 발명에 따른 피치 검출 방법을 구현한 처리 블록도.

* 도면의 주요부분에 대한 부호의 설명

10 : 양자화 오차 계산 블록 11 : 저주파 검출 블록

12 : 자기 상관 처리 블록 13 : 결정 논리 블록

첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다.

첨부 도면은 본 발명에 따른 피치 검색의 구현을 위한 블록도로서, 양자화 오차 계산 블록(10), 저주파 검출 블록(11), 자기 상관 처리 블록(12) 및 결정 논리 블록(13)의 4개의 처리 블럭으로 구성된다.

양자화 오차 계산 블록(10)은 주어진 프레임내의 음성 파형에 대해 음성 표본마다 상위 6비트만 그대로 두고 하위 비트들은 0으로 하므로써 상위 6비트로 양자화하고, 양자화된 표본에서 양자화 오차를 구한다. 저주파 검출 블록(11)은 양자화 오차에 대해 ± 최대값을 유지하는 성분을 추출한다. 자기 상관 처리 블록(12)은 추출된 성분에서 자기 상관 함수식을 통해 주기성 강조를 수행한다. 결정 논리 블록(13)은 주기성이 강조된 자기 상관 파형에 대해 문턱값 이상의 피크 피킹을 수행하여 피치 주기를 검출하고 검출된 피치 주기에서 최종적인 피치 값을 구한다.

양자화 오차 계산 블록(10)에서 상위 6비트로 양자화한다는 것은 음성용 코덱의 출력을 받아서 상위 6비트만 그대로 두고 하위 비트들은 0으로 하면 결국 음성 신호가 6비트로 양자화된 것과 같다. 음성용 코덱은 음성이 마이크로 입력되면 A/D 컨버터를 거쳐 디지털 신호로 바꿀 때 A/D 변환을 위해 사용되는 소자를 말하며, 상용화된 대부분의 음성용 코덱은 아날로그 음성 신호를 12∼16비트의 디지털 신호로 변환시킨다. 그리고 음성용 코덱에서 얻어진 디지털 신호가 12비트의 해상도를 갖는 신호라고 하면 그 신호에서 상위 6비트의 신호를 빼서 양자화 오차를 구하게 된다.

양자화 오차에 대해 ± 최대값을 유지하는 성분을 추출하는 저주파 검출 블록(11)에서의 처리 과정을 설명하면 다음과 같다. 상기 양자화 오차 계산 블록(10)에서 구해진 양자화 오차의 진폭 변화는 2^N-1 이내로 정규화된 진폭 특성을 얻게 되는데, 이 신호는 정규화되어 있으므로 파형의 부호를 파악하여 부호가 +이면 양의 최대값, 부호가 -이면 음의 최대값으로 대치된다.

우선 입력되는 음성 신호는 M 비트로 선형 양자화된 신호이고 그 형태는 다음의 수학식 1과 같다.

여기서 Q_L음성신호를 (M-N) 비트로 부호화할 때 발생하는 저차 포만트들에 대한 양자화 오차이고, Q_H는 고차 포만트들에 대한 양자화 오차이다. 음성 신호에서 양자화 오차 Q_L에는 신호의 에너지가 우세한 성분과 미약한 성분이 함께 나타난다. 유성음 파형의 경우에 낮은 쪽의 포만트는 높은 쪽의 포만트에 비해 에너지가 아주 높다. 따라서 에너지가 우세한 기본 주파수와 포만트 성분들은 Q_L의 최대 진폭을 유지하게 되고, 한편 에너지가 낮은 고차의 포만트들은 Q_L의 진폭 범위 내에서 파형의 빠른 변화를 이루게 된다. 양자화 오차 Q_L의 또 다른 특징은 진폭 변화의 범위가 2^N-1 이내로 제한되어 정규화된 진폭 특성을 얻게 된다는 점이다. 이것은 시간 영역에서 음소 천이에 따른 파형 진폭의 변동에 의해 입게 되는 피치 검출의 부정확성을 개선할 수 있게 된다. 양자화 오차 Q_L을 사용하여 피치를 에너지가 우세한 제1 포만트 위주의 정규화된 파형을 추출하고, 이 정규화된 파형을 사용하여 피치를 구하기 위해 먼저 주기성 강조 과정을 수행한다. 주기성 강조법에는 자기 상관 관계법(ACM법), AMDF법, 확률 분포도법 등이 제안되어져 있으나 본 발명에서는 자기 상관 관계법을 적용하였다. 적용된 식은 아래의 수학식 2와 같다.

여기서, f_r은 프레임 길이, L은 피치 지연값을 나타낸다.

검출된 주기 신호가 두 가지 레벨만을 갖기 때문에, 다음과 같이 파형의 부호 파악만으로 자기 상관 함수 값을 계산할 수 있고, 이를 나타낸 식은 아래의 수학식 3과 같다.

여기서 C는 양자화 오차의 최대값의 2승을 나타낸다. 즉 수학식 3을 이용하여 수학식 2의 R(L)값을 구하게 되면 곱셈을 생략할 수 있게 되어 계산량을 많이 줄일 수 있게 된다. 피치 주기를 검출하기 위한 결정 논리로는 수학식 2에 따라 자기 상관 함수 R(L) 값을 구한 후, 자기 상관 함수 값이 가장클 때의 L 값을 피치 지연으로 정한다. 이렇게 구해진 피치는 다음의 수학식 4와 같은 결정 논리를 거쳐서 최종적으로 확정한다. 원래의 음성 파형에 대하여 일정한 프레임 구간에서 문턱값에 대한 입상(rising) 교차점이 시작하는 점(N_S)과 끝나는 점(N_E) 사이의 간격을 구한 후, 그 사이의 입상 교차율(Rising Threshold level Crossing Rate ; RTCR)로 나누어 그 프레임의 평균 피치 주기를 검출한다.

수학식 4에 의해 f_r번째 프레임에서 검출된 PITCH(f_r) 값은 피치의 존재 영역인 2.5∼25ms 이내에 있어야 한다. 또한 수학식 2에 검출된 피치값이 수학식 4에 의해 검출된 평균 피치값의 10% 이내에 존재하면 올바른 피치 주기로 판정한다. 이러한 조건이 만족되지 않은 경우에는 무성 마찰음, 무성 파열음, 묵음 등의 구간으로 처리한다.

본 발명에서는 음성 시료의 한 프레임의 길이를 256 샘플로 하고 128 샘플 단위로 오버랩하여 피치 검출을 수행하였다. 또한 몇가지의 음성 시료에 대해 가우시안 백색 잡음을 신호의 에너지에 비례적으로 가미하면서 피치 검출에 대한 조오율(gross error)을 측정하여 표 1에 결과로 제시하였다.

결과적으로 제안한 방법은 시간영역에서 직접 피치를 검출하므로 파형의 위상 특성을 유지할 수 있으며, 처리 과정에서 정규화가 수행되어 음소 천이에 따른 영향이 억압된다. 또한 양자화 오차의 최대 범위내를 변동하는 고차의 포만트 성분을 제거하기 때문에 고차 포만트의 영향이나 배경 잡음에도 강인한 특성을 나타내었다.

본 발명에 의해 구현된 양자화 오차를 이용한 피치 검출법을 시간 영역상에서 피치 검색에 적용하면 종전에 사용했던 시간 영역상의 피치 검출에 비해 포만트의 영향과 천이 진폭의 영향이 작아 지게 된다. 그 이유는 양자화 오차에 나타나는 특성을 사용하여 진폭 천이 구간이나 포만트의 영향을 제거할 수 있고, 시간 영역에서 직접 피치를 검출하므로 파형의 위상 특성을 유지할 수 있으며, 처리 과정에서 정규화가 수행되어 음소 천이에 따른 영향이 제거되기 때문이다. 또한 양자화 오차의 최대 범위내를 변동하는 고차의 포만트 성분을 제거하기 때문에 고차 포만트의 영향이나 배경 잡음에도 강인한 특성을 나타내게 된다. 따라서, 본 발명은 시간 영역상에서 피치 검출기의 결정 논리의 복잡성을 낮출 수 있고, 측정의 정확도를 높일 수 있다.

Claims (1)

1. 주어진 프레임내의 음성 파형에 대해 음성 표본마다 상위 6비트만 그대로 두고 하위 비트들을 0으로 하여 상위 6비트를 양자화하는 단계와, 상기 양자화된 표본에서 상위 6비트의 신호를 빼서 양자화 오차를 구하는 단계와, 상기 양자화 오차에 대해 파형의 부호를 파악하여 ± 최대값을 유지하는 성분을 추출하는 단계와, 상기 추출된 성분에서 자기 상관 함수식을 이용하여 주기성을 강조하는 단계와, 상기 주기성이 강조된 자기 상관 파형에 대해 자기 상관 함수값을 구한 후 상기 자기 상관 함수값이 가장 클 때의 피치 지연값을 피치 지연으로 정하여 피치 주기를 검출하는 단계와, 상기 검출된 피치 주기를 결정 논리에 의해 최종적인 피치 값을 구하는 단계로 이루어진 것을 특징으로 하는 양자화 오차를 이용한 음성 신호의 피치 검출 방법.