KR20060066483A

KR20060066483A - 음성 인식을 위한 특징 벡터 추출 방법

Info

Publication number: KR20060066483A
Application number: KR1020040105110A
Authority: KR
Inventors: 김찬우
Original assignee: 엘지전자 주식회사
Priority date: 2004-12-13
Filing date: 2004-12-13
Publication date: 2006-06-16
Also published as: JP2006171750A; EP1675102A3; CN1819017A; EP1675102A2; US20060129392A1

Abstract

본 발명은 높은 인식률을 갖는 음성 인식을 위한 특징 벡터(feature vector) 추출 방법에 관한 것으로, 이와 같은 본 발명은, 음성의 전체적인 스펙트럼 모양에 관계된 특징 벡터 외에도 음성의 가장 특징적인 정보 중 하나인 유성음/무성음 정보에 대해 유성음/무성음 결정(voiced-unvoiced decision)에 관계된 파라미터(parameter)를 이용하여 특징 벡터를 추출하고, 훈련 과정 및 인식 과정에 사용함으로써 음성 인식률을 향상시킬 수 있다.

Description

음성 인식을 위한 특징 벡터 추출 방법{METHOD FOR EXTRACTING FEATURE VECTORS FOR VOICE RECOGNITION}

도 1은 본 발명에 따른 음성 인식을 위한 특징 벡터 추출 방법의 구현과정을 나타내는 순서도.

도 2는 유성음/무성음의 파형을 나타낸 도표.

본 발명은 음성 인식에 관한 것으로, 특히 높은 인식률을 갖는 음성 인식을 위한 특징 벡터 추출 방법에 관한 것이다.

일반적으로, 음성 인식 방법은 크게 은닉 마코프 모델(Hidden Markov Model: HMM)에 기반한 방식과 동적 정합법(Dynamic Time Warping: DTW)에 기반한 방식으로 나눌 수 있다.

상기 HMM에 기반한 음성 인식 방법은 음성 데이터베이스(database)의 훈련(training) 과정에서 HMM 파라미터(parameter)들을 얻고, 실제 음성이 입력되면 최대우도법(Maximum Likelihood method: ML method)에 기반하여 마코프 프로세서(markov processor)로 가장 인식률이 높은 모델을 찾는 방법으로, 음성 파악에 필 요한 특징 벡터(feature vector)들을 추출하고, 추출된 특징 벡터들을 이용하여 훈련 및 음성 인식을 한다.

상기 훈련 과정에서는 기대치-최대화 알고리즘(Expectation-Maximization algorithm: E-M algorithm) 또는 바움-웰치 재추정(Baum-Welch re-estimation) 등의 알고리즘이 HMM 파라미터를 구하는데 이용되고, 음성 인식 과정에서는 비터비 알고리즘(Viterbi algorithm) 등이 쓰인다.

또한 인식률을 보다 높이기 위해 전처리 과정으로 위너 필터링(Wiener Filtering) 등이 수행되기도 하며, 후처리 과정으로 언어 모델을 이용하여 문법을 고려하는 기법도 사용된다.

상기 HMM에 기반한 음성 인식 방법은 연속 음성 인식(Continuous Speech Recognition: CSR)에 적용될 수 있고 대용량 어휘인식에 적합하며 인식률도 뛰어나 최근 그 사용 범위가 넓어지고 있다.

상기 DTW에 기반한 음성 인식 방법은 대표 패턴과 주어진 입력 패턴을 비교하여 둘 사이의 유사성을 판별하는 방법이다. 같은 단어를 발성할 경우라도 화자, 감정, 주변환경에 따라 각기 다른 지속시간을 가지므로, 이러한 지속길이의 불일치를 비선형적으로 최적화하는 방법으로 부분 최적화에 기반을 두어 전체적인 최적화를 수행하는 특성을 갖는다.

이 방법은 인식 대상 어휘가 작은 고립 단어 인식에 주로 이용되며, 기준 패턴을 쉽게 만들 수 있기 때문에 음성인식 시스템의 업무내용을 용이하게 변경할 수 있는 장점이 있다.

그러나 종래 HMM에 기반한 음성 인식 방법이나 DTW에 기반한 음성 인식 방법은, 음성의 전체적인 스펙트럼 모양에 관계된 특징 벡터들이 사람의 발음을 파악하는데 중요하다고 여기고, 상기 음성의 전체적인 스펙트럼 모양에 관계된 특징 벡터들만을 추출하여 사용할 뿐, 음성의 가장 특징적인 정보 중 하나인 유성음-무성음(voiced-unvoiced) 정보를 전혀 활용하지 않기 때문에 인식률 향상에 한계가 있다는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 목적은 높은 인식률을 갖는 음성 인식을 위한 특징벡터 추출 방법을 제공함에 있다.

상기의 목적을 달성하기 위하여 본 발명에 의한 음성 인식을 위한 특징 벡터 추출 방법은, 음성의 전체적인 스펙트럼 모양에 관계된 특징 벡터들을 추출하는 과정과;

유성음/무성음 결정(voiced-unvoiced decision)에 대한 결과를 파라미터화하여 특징 벡터를 추출하는 과정을 포함하여 구성되는 것을 특징으로 한다.

바람직하게, 상기 유성음/무성음 결정은 수학식

로부터 구한

과

의 비 (

)를 이용하는 것을 특징으로 한다. 상기 수식에서 k는 1~3중에서 어느 하나의 정수이며, k=2인 때, 자기상관관계함수를 이용하게 된다.

바람직하게, 상기

과

의 비(

)가 임계 값 이상이면 해당 음성 구간은 유성음으로 판별되고, 임계 값보다 작으면 무성음으로 판별되는 것을 특징으로 한다.

본 발명은 유성음/무성음 결정(voiced-unvoiced decision)에 대한 결과를 파라미터화하여 기존의 음성의 전체적인 스펙트럼 모양에 관계된 피쳐 벡터들과 함께 훈련 과정의 모델 파라미터로서 사용하고 인식 과정에도 적용한다.

모든 음성은 유성음이나 무성음으로 구분되는데, 이런 유성음/무성음 정보는 음성이 생성될 때, 성도(vocal cord)의 진동 여부에 따라 결정된다. 즉, 음성 생성 시 성도가 진동하면 해당 음성은 유성음이고, 성도가 진동하지 않으면 해당 음성은 무성음이다.

예를 들어, 모든 모음(vowel)은 유성음이며, 파열음(plosive sound) 중 [b], [d], [g] 등도 유성음이다. 한편, 파열음 중 [k], [p], [t] 등은 무성음이며, 마찰음(fricative sound) 중 [f], [th], [s], [sh] 등도 무성음이다. 상기 [p]와 [b] 또는 [d]와 [t]와 같은 음성은 발음 모양이 서로 비슷하지만 유성음인지 무성음인지에 따라 전혀 다른 단어가 된다. 따라서, 상기 유성음/무성음 정보는 폰을 크게 두 가지 범주로 나누는 중요한 기준이 된다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명한다.

본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.

도 1은 본 발명에 따른 음성 인식을 위한 특징 벡터 추출 방법의 구현과정을 나타내는 순서도이다.

도 1을 참조하면, 처음 입력되는 음성 신호로부터 음성의 전체적인 스펙트럼 모양에 관계된 특징 벡터들을 추출한다(S110).

상기 음성의 전체적인 스펙트럼 모양과 관계된 특징 벡터들은 선형 예측계수(Linear Prediction Coefficient: LPC), 선형 예측 켑스트럼 계수(Linear Prediction Cepstral Coefficient: LPCC), 멜-주파수 켑스트럼 계수(Mel-Frequency Cepstral Coefficient: MFCC), 지각 선형 예측 계수(Perceptual Linear Prediction Coefficient: PLPC) 등이다.

유성음/무성음 결정에 관계된 파라미터를 추출하고 적절한 게인(gain)값(G)을 실험적으로 구하여 상기 추출한 파라미터에 가중치를 적용함으로써, 유성음/무성음 결정에 관계된 특징벡터를 추출한다(S120).

상기 유성음/무성음 결정에는 여러 가지 방법이 있지만, 가장 쉬운 방법은 다음 [수학식1]을 이용하는 것이다.

여기서

는 유성음/무성음 결정이 이루어지는 프레임 길이를 의미한다. 상기 수식은 k=1이면 잘 알려진 평균 절대차 함수(Average Magnitude Difference Function: AMDF)가 되고, k=2이면 잘 알려진 자기상관관계함수(autocorrelation function)를 제곱한 값과 유사하게 된다.

상기 k값은 1~3중에서 어느 정수도 사용될 수 있지만, 특히, 2인 경우에 가장 좋은 성능을 실험적으로 보인다. 또한 k=1인 경우에는 제곱계산(multiplication)이 필요 없어진다는 장점이 있기 때문에 k=1, 2인 경우 모두 피치 추출(pitch extraction)에 많이 사용된다. 본 발명에서는 k값에 1~3중에서 어느 정수라도 사용될 수 있지만, 일 실시 예로서 k=2인 경우와 유사한 결과를 나타내는 자기상관관계함수를 이용한 경우를 설명하기로 한다. 상기 자기상관관계함수는 다음 [수학식2]와 같고 도 2를 들어 설명하기로 한다.

도 2는 유성음/무성음의 파형을 나타낸 도표로서, 도 2의 (A) 및 (B)는 유성음인 경우이고, (C)와 (D)는 무성음인 경우이며, (B)와 (D)는 각각 자기상관관계함 수를 나타낸다.

도 2의 (A) 및 (B)에 도시 된 바와 같이, 유성음인 경우 파형의 변화가 심하고 비슷한 형태가 반복되지만, (C)와 (D)에 도시 된 바와 같이, 무성음의 경우엔 파형의 변화가 크지않고 형태에 일관성도 없는 것을 알 수 있다.

피치(pitch)가 존재할 수 있는 범위에서 조사를 하면 도 2의 (B)의 경우는

과

의 비가 거의 비슷하지만 (D)의 경우는 상당히 차이가 나는 것을 알 수 있다.

상기

과

의 비(

)는 다음 [수학식3]과 같이 표시된다.

여기서 가능한 피치 범위를 50~500Hz로 가정할 때 8KHz 샘플링 레이트(sampling rate)에서는 n의 범위가

이 되는 것을 알 수 있다.

,

라 할 때, 도 1의 (B)의 경우

값이 0.75정도인데 비해, 도 1의 (D)의 경우엔

값이 0.25정도인 것을 알 수 있다.

따라서, 상기

값이 크면 유성음일 가능성이 높고

값이 작으면 무성음일 가능성이 높다. 따라서 상기 제안된

값을 파라미터로 사용하여

값이 임계 값보 다 크거나 같으면 해당 음성은 유성음이고,

값이 임계 값보다 작으면 무성음으로 판별할 수 있다.

상기 n의 범위는 샘플링 레이트를 얼마로 할 것인지에 따라 달라질 수 있다.

유성음/무성음 정보를 위와 같이 파라미터로 사용하지 않고 그 결과만을 1비트(bit)로 표시하는 것도 가능하지만, 유성음/무성음 결정의 결과가 부정확할 경우 인식기의 성능 저하를 가져올 수도 있으므로, 상기와 같이 파라미터로 사용하는 것이 바람직하다.

상기 추출된 특징 벡터들을 훈련 과정 및 인식 과정 등에 활용한다(S130). 상기 추출된 특징 벡터들은, HMM이나 DTW에 기반한 음성 인식 방법에서 인식률을 높이기 위하여 파라미터를 추가함으로써 사용될 수 있고, 신경망을 이용한 음성 인식 방법에도 적용될 수 있다.

또한 성능 향상을 위하여, 선택적으로, 미분 계수(differential coefficient)나 가속도 계수(acceleration coefficient) 등의 특징 벡터들을 추가할 수도 있다.

그리고, 본 발명은 도면에 도시 된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

이상에서 설명한 바와 같이, 본 발명에 따른 음성 인식을 위한 특징벡터 추출 방법은, 음성 인식에 있어서, 음성의 가장 특징적인 정보 중 하나인 유성음-무성음 정보를 추가로 파라미터화하여 훈련 과정 및 인식 과정에 사용함으로써 음성 인식률을 향상시키는 효과가 있다.

Claims

음성인식에 있어서, 유성음/무성음 결정에 관계된 파라미터를 이용하여 특징 벡터로 활용하는 것을 특징으로 하는 특징 벡터 추출 방법.
제 1항에 있어서, 상기 유성음/무성음 결정은

수식
로부터 구한
과
의 비(
)를 이용하는 것을 특징으로 하는 특징 벡터 추출 방법.
제 2항에 있어서, 상기 k는

1, 2, 3 중 하나인 것을 특징으로 하는 특징 벡터 추출 방법.
제 2항에 있어서,

상기
과
의 비(
)가 임계 값 이상이면 해당 음성은 유성음으로 판별되는 것을 특징으로 하는 특징 벡터 추출 방법.
제 2항에 있어서,

상기
과
의 비(
)가 임계 값보다 작으면 해당 음성은 무성음으로 판별되는 것을 특징으로 하는 특징 벡터 추출 방법.
제 1항에 있어서, 상기 음성 인식은

은닉 마코프 모델에 기반한 음성 인식인 것을 특징으로 하는 특징 벡터 추출 방법.
제 1항에 있어서, 상기 음성 인식은

동적 정합법에 기반한 음성 인식인 것을 특징으로 하는 특징 벡터 추출 방법.
제 1항에 있어서, 상기 음성 인식은

신경망에 기반한 음성인식인 것을 특징으로 하는 특징 벡터 추출 방법.
제 1항에 있어서,

상기 유성음/무성음 결정에 관계된 파라미터 대신에 유성음/무성음 정보에 대한 결과만을 1비트(bit)로 표시하여 이용하는 것을 특징으로 하는 특징 벡터 추출 방법.
제 1항에 있어서,

상기 유성음/무성음 결정에 관계된 파라미터에 미분 계수(differential coefficient)와 가속도 계수(acceleration coefficient)를 추가하여 함께 사용하는 것을 특징으로 하는 특징 벡터 추출 방법.
입력되는 음성 신호에 대해 음성의 전체적인 스펙트럼 모양에 관계된 특징 벡터를 추출하는 과정과;

유성음/무성음 결정에 대한 결과를 파라미터화하여 특징 벡터를 추출하는 과정과;

상기 추출된 특징 벡터들을 활용하는 과정으로 구성된 것을 특징으로 하는 음성인식을 위한 특징벡터 추출 방법.
제 11항에 있어서, 상기 유성음/무성음 결정은

자기상관계수함수
로부터 구한
과 가능한 피치 범위 내에서의
의 비(
)를 이용하는 것을 특징으로 하는 음성인식을 위한 특징벡터 추출 방법.
제 12항에 있어서,

상기
과 가능한 피치 범위 내에서의
의 비(
)가 임계 값 이상이면 해당 음성은 유성음으로 판별되는 것을 특징으로 하는 음성인식을 위한 특징벡터 추출 방법.
제 12항에 있어서,

상기
과 가능한 피치 범위 내에서의
의 비(
)가 임계 값보다 작으면 해당 음성은 무성음으로 판별되는 것을 특징으로 하는 음성인식을 위한 특징벡터 추출 방법.
제 11항에 있어서, 상기 추출된 특징 벡터들은

은닉 마코프 모델, 동적 정합법, 신경망 중의 한가지 방법에 기반한 음성 인식에 활용되는 것을 특징으로 하는 음성인식을 위한 특징벡터 추출 방법.
제 11 항에 있어서,

상기 유성음/무성음 결정에 대한 결과를 파라미터화하는 대신에 유성음/무성음 정보에 대한 결과만을 1비트(bit)로 표시하여 이용하는 것을 특징으로 하는 음성인식을 위한 특징벡터 추출 방법.
제 11항에 있어서,

상기 유성음/무성음 결정에 관계된 파라미터에 미분 계수(differential coefficient)와 가속도 계수(acceleration coefficient)를 추가하여 특징 벡터로써 함께 사용하는 것을 특징으로 하는 음성인식을 위한 특징벡터 추출 방법.