KR100434522B1

KR100434522B1 - 시간축 상호관계를 이용한 음성인식 방법

Info

Publication number: KR100434522B1
Application number: KR1019970016086A
Authority: KR
Inventors: 김남수; 진 김
Original assignee: 삼성전자주식회사
Priority date: 1997-04-29
Filing date: 1997-04-29
Publication date: 2004-07-16
Also published as: KR19980078532A

Abstract

본 발명은 HMM 방식의 음성인식 시스템에서 시간축 상호관계를 이용한 음성인식 방법에 관한 것으로서, 음성인식 방법은 특징벡터 추출단계; 벡터 양자화단계; 및 히든 마코프 모델링에서의 임의의 단어모델을 M이라하고, 입력음성 벡터 양자화 인덱스열을 O=(o₁,o₂,…,o_T)(이때 T는 전체 프레임 수)라 할 때, M가 O에 부여하는 확률값 P(O｜M)은

,

과 같이 구하여, 확률값 P(O｜M)이 가장 높은 단어모델을 인식의 결과로 취하는 음성인식 단계를 포함함을 특징으로 한다.

본 발명에 의하면, 기존의 HMM 방식의 음성인식 시스템을 크게 수정하지 않고, 약간의 파라메타 추가와 확률값 계산 과정의 변경으로 음성인식률을 크게 향상시킬 수 있다.

Description

시간축 상호관계를 이용한 음성인식 방법

본 발명은 음성인식 방법에 관한 것으로서, 특히 히든 마코프 모델(Hidden Markov Model : 이하에서 HMM이라 한다) 방식의 음성인식 시스템에서 시간축 상호관계를 이용한 음성인식 방법에 관한 것이다.

HMM은 그 구성 및 구현의 용이성 때문에 음성인식에서 가장 널리 사용되는 방식이다. 통상적으로, HMM 방식의 음성인식 시스템의 성패는 구성된 모델이 실제 음성발성을 얼마나 정확히 나타낼 수 있는가에 달려 있다. 그런데, 일반적인 HMM 방식은 현재 시간의 음성특징이 현재 이전 또는 이후 인접 시간의 음성특징과는 독립적이라는 기본적 가정 하에서 출발하므로 정확한 음성발생을 위한 모델링이라고는 할 수 없다. 왜냐하면, 일반적으로 특정 시간에 있어서의 음성특징이 인접 시간의 음성특징에 대하여 많은 정보를 지니고 있기 때문이다. 즉, 시간축 상호관계는 음성인식에 있어서 중요한 정보로서 간주된다.

그런데, 음성의 시간축 상호관계를 이용하기 위하여 전혀 색다른 방식을 채택하여 음성인식 시스템을 구성한다면, 기존에 구축된 HMM방식의 음성인식 시스템을 크게 수정하여야 한다는 문제점이 있다.

본 발명은 상기의 문제점을 해결하기 위하여 창작된 것으로서, 기존의 HMM 방식의 음성인식 시스템을 크게 수정하지 않고, 시간축 상호관계를 이용하여 음성인식률을 향상시킬 수 있는 시간축 상호관계를 이용한 음성인식 방법을 제공함에 그 목적이 있다.

도 1은 본 발명에 의한 시간축 상호관계를 이용한 음성인식 과정을 도시한 것이다.

상기의 목적을 달성하기 위한 본 발명에 의한 시간축 상호관계를 이용한 음성인식 방법은 입력된 음성데이터를 소정의 시간구간 단위로 나누고, 상기 나뉘어진 시간구간에 포함된 음성데이터의 특징벡터를 추출하는 특징벡터 추출단계; 상기 나뉘어진 하나의 시간구간에 포함된 음성데이터의 특징벡터를 프레임이라 할 때, 상기 프레임 단위로 특징벡터를 코드북에 저장된 대표특징벡터와 비교하여 각각 가장 유사한 대표특징벡터를 선택한 후, 상기 선택된 각 대표특징벡터의 인덱스를 모아 양자화 인덱스열로 두는 벡터 양자화단계; 및 히든 마코프 모델에 포함된 소정의 단어모델을 M이라하고, 상기 양자화 인덱스열을 O=(o₁,o₂,…,o_T)(단, T : 전체 프레임 수)라 할 때, 단어모델 M에 대한 양자화 인덱스열 O가 발생할 확률값 P(O｜M)을

(여기서, x=(x₁,x₂,…,x_T)는 히든 마코프 모델에서의 소정의 상태열이다.)

과 같이 구하고, 상기 히든 마코프 모델에 포함된 소정의 단어모델 중에서 상기 확률값 P(O｜M)이 가장 높은 단어모델을 인식의 결과로 취하는 음성인식 단계를 포함함을 특징으로 하고, 상기 수학식 1에서의

는

(여기서, P(x)는 상기 상태열 x의 확률값이다.)

과 같이 구하고, 상기 수학식 2에서의

은

(여기서, V는 벡터 양자화 인덱스의 집합이고, λ_s는 상기 상태값에 의존한 확률값에 가중치를 표시하는 파라메타이고, λ_c는 시간축 상호관계에 의존한 확률값에 가중치를 표시하는 파라메타이다.)

과 같이 구하는 것을 특징으로 한다.

이하에서 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

본 발명은 이러한 시간축 상호관계를 확률적 형태로 나타내어 음성인식에 반영할 수 있는 방법에 관한 것으로서, 여러개의 조건으로 결정되는 복합 조건부 확률을 개개의 조건에만 의존하는 개별 조건부 확률로 근사화하는 방법을 취하게 된다.

시간축 상호정보를 이용한 음성인식 과정은 도 1과 같다. 특징추출 과정(100)에서는, 입력된 음성데이터를 일정 구간 단위로 블럭화하여, 각 블럭마다 하나 또는 여러개의 특징벡터를 추출한다. 이때, 하나의 데이터 블럭을 프레임이라 하며, 각 프레임은 음성인식에 필요한 정보 추출의 기준이 된다. 추출된 특징벡터열은 벡터양자화(VQ) 과정(110)을 거치게 되는데, 이때 VQ에서는 매 프레임마다 코드북(130)에 저장된 대표특징벡터와 현재 프레임의 입력 특징벡터를 비교하여 가장 유사한 대표특징벡터를 선택한 후에 그에 대응되는 인덱스를 출력해 준다. 따라서, VQ 과정을 거친 특징벡터열은 VQ 인덱스열로 변환된다. HMM 인식 과정(120)에서는, 각 단어에 설정된 모델을 통하여 입력된 VQ 인덱스열에 대한 확률값을 계산하고 가장 높은 확률값을 부여하는 단어를 인식의 결과로 취하게 된다.

임의의 단어모델 M가 입력음성 VQ 인덱스열 O=(o₁,o₂,…,o_T)(이때 T는 전체 프레임 수)에 부여하는 확률값, P(O｜M)는 다음과 같이 구해진다.

이때, x는 하나의 상태열을 나타낸다. 임의의 상태열 x=(x₁,x₂,…,x_T)에 대하여

이며, 이때 P(x)는 상태열 x의 확률값을 나타낸다. 시간축 상호정보를 이용한

음성인식 방법에서는 위의 확률값 계산에 있어서 다음과 같은 계산을 수행하게 된다.

이며 V는 전체 VQ 인덱스의 집합을 나타내는데, 각 인덱스는 코드북(130)에 저장된 하나의 대표특징벡터를 의미한다. λ_s와 λ_c는 각각 상태에 의존한 확률값과 시간축 상호관계에 의존한 확률값에 대한 가중치를 표시하는 파라메타(140)이다. {P(o｜x,λ)}는 상태 x에서의 출력확률분포를 나타내며, 이는 HMM의 학습 시에 구해진다. 마찬가지로 {P(o｜o_t-1,λ)}는 이전 프레임의 VQ 인덱스가 o_t-1일때, 현재 프레임의 출력분포를 나타내는 것으로서, 학습데이타에서 발생되는 빈도 수를 조사하여 구할 수 있다.

실제 음성인식에의 적용 시, 매 프레임 마다 수학식 7의 계산을 수행한다면 엄청난 수고 및 시간이 소요된다. 따라서, 미리 다음과 같은 계산을 수행하여 파라메타로 저장해 둔다면 큰 도움이 된다.

라 하자. 이때 x는 특정 상태를 나타내며, o는 특정 VQ 인덱스를 나타낸다. 그러면, 매 프레임마다 수행되어야 하는 수학식 7은 다음과 같이 변환된다.

이 되는데, 실제 인식 시스템에서는 직접 위의 확률값을 사용하는 것이 아니라 그 확률값에 log를 취하여 사용하는 것이 일반적이므로 수학식 9는 효과적이다. λ_s와 λ_c는 전체 단어의 모든 상태에 대하여 일률적인 값을 적용할 수 있으나, 각 상태에서 시간축 상호 정보의 중요도를 감안하여 각 상태마다 달리 두는 것이 바람직하다.

본 발명에 의한 방법의 성능을 평가하기 위하여, 화자독립 연속어 인식실험을 수행하였다. 전체 단어는 시간, 날짜, 요일, 월 등을 나타내는 102개의 한국어 단어로 구성 되었으며, 90명의 화자가 발음한 음성데이터를 학습과 인식성능 확인에 이용하였다. 상기 90명의 화자는 남자 43 명, 여자 47 명으로 구성되었으며, 각 화자는 20 내지 30개의 문장을 발성하였다. 이 중, 70명(남자 33 명, 여자 37명)이 발음한 음성데이터는 학습에 이용되었고, 나머지 20명 화자가 발성한 음성데이터를 통하여 인식성능이 평가되었다.

발성된 각 문장은, 우선 4.5kHz의 대역폭을 지니는 저역여파기를 통한후, 16kHz의 A/D 변환을 통하여 저장되었다. 음성의 특징벡터로는 12차의 선형예측계수(Linear Predictive Coding)에 근거한 셉스트럼(Cepstrum)과 이들의 1차 차이계수가 사용되었다. 편의상, LPC에 근거한 셉스트럼(Cepstrum)을 CEP이라 하고, 이들의 1차 차이계수를 DCEP이라 한다. 12차의 CEP과 DCEP은 매 10ms마다 추출되었으며, 각각의 특징벡터의 벡터양자화(VQ)를 위하여 128개의 대표특징벡터로 이루어진 코드북(Codebook)이 구성되었다. 102개의 단어 HMM을 작성하기 위하여 27개의 음소 HMM이 이용되었는데, 각 단어 HMM은 이를 구성하는 음소의 HMM을 결합하여 설정되었다. 각 단어 HMM은 3개의 상태(state)로 이루어졌으며, 앞서의 학습용 음성데이터를 통하여 학습시켰다.

먼저, 시간축 상호정보를 이용하지 않고 기존의 HMM 인식 방식을 이용하여 인식을 수행하였을 때, 73.0%의 단어 인식률을 보였다. 다음으로,λ_s=1,λ_c=1을 모든 상태에 적용하여 시간축 상호정보를 이용하는, 본 발명에 의한 인식방식을 수행하였을 때의 단어 인식률은 74.6 %로 향상되었다. 또한, 모든 상태에서, CEP에 대해서는 λ_s=1,λ_c=0.32를, DCEP에 대하여는 λ_s=1,λ_c=0.28을 적용하였을 때의 인식률은 75.0%를 보였다. 마지막으로, 각 음소 HMM에 대하여 서로 다른 λ_s,λ_c를 적용하였을 때의 인식률은 75.7%까지 향상되었는데, 이때 사용된 CEP에 대한 λ_s,λ_c중 일부가 표 1에 나와있다.

음소	λ_s	λ_c
'에'	1.0	0.98
'이'	1.0	0.88
'오'	1.0	0.90
'ㅌ'	1.0	0.61
'ㅊ'	1.0	0.66
'ㅍ'	1.0	0.73
'ㅅ'	1.0	0.78

Claims

히든 마코프 모델 음성인식 시스템의 음성인식 방법에 있어서,

입력된 음성데이터를 소정의 시간구간 단위로 나누고, 상기 나뉘어진 시간구간에 포함된 음성데이터의 특징벡터를 추출하는 특징벡터 추출단계;

상기 나뉘어진 하나의 시간구간에 포함된 음성데이터의 특징벡터를 프레임이라 할 때, 상기 프레임 단위로 특징벡터를 코드북에 저장된 대표특징벡터와 비교하여 각각 가장 유사한 대표특징벡터를 선택한 후, 상기 선택된 각 대표특징벡터의 인덱스를 모아 양자화 인덱스열로 두는 벡터 양자화단계; 및

히든 마코프 모델에 포함된 소정의 단어모델을 M이라하고, 상기 양자화 인덱스열을 O=(o₁,o₂,…,o_T)(단, T : 전체 프레임 수)라 할 때, 단어모델 M에 대한 양자화 인덱스열 O가 발생할 확률값 P(O｜M)을

[수학식 1]

(여기서, x=(x₁,x₂,…,x_T)는 히든 마코프 모델에서의 소정의 상태열이다.)

과 같이 구하고, 상기 히든 마코프 모델에 포함된 소정의 단어모델 중에서 상기 확률값 P(O｜M)이 가장 높은 단어모델을 인식의 결과로 취하는 음성인식 단계를 포함함을 특징으로 하고,

상기 수학식 1에서의
는

[수학식 2]

,

(여기서, P(x)는 상기 상태열 x의 확률값이다.)

과 같이 구하고,

상기 수학식 2에서의
은

[수학식 3]

(여기서, V는 벡터 양자화 인덱스의 집합이고, λ_s는 상기 상태값에 의존한 확률값에 가중치를 표시하는 파라메타이고, λ_c는 시간축 상호관계에 의존한 확률값에 가중치를 표시하는 파라메타이다.)

과 같이 구하는 것을 특징으로 하는 시간축 상호관계를 이용한 음성인식 방법.
제1항에 있어서, 상기 수학식 3은

를 미리 구하여 그 값을 저장하여 두고,

를 이용하여 구하는 것을 특징으로 하는 시간축 상호관계를 이용한 음성인식 방법.
제1항 또는 제2항에 있어서, 수학식 3, 수학식 10 및 수학식 11에서의 상기 λ_s와 상기 λ_c는 상기 각 단어모델마다 그 값을 달리하는 것을 특징으로 하는 시간축 상호관계를 이용한 음성인식 방법.