KR100476337B1 - 음성인식기의유사단어인식방법 - Google Patents

Abstract

본 발명은 오인식률이 높은 유사단어를 보다 정확하게 인식할 수 있는 음성 인식기의 유사단어 인식방법에 관한 것이다.

본 발명의 방법은 음성으로 입력된 유사한 단어들의 제1 훈련 데이터를 서로 매칭하여 상대방의 벡터 성분이 제거된 벡터 열로 구성된 제2 훈련 데이터들을 추출하는 1단계와, 제2 훈련 데이터 열 각각에 대한 제2 코드북을 구성하고 이를 이용하여 제2 훈련 데이터들을 훈련시켜 제2 기준모델로 등록하는 2단계와, 기존의 제1 기준모델을 이용한 초기 인식의 결과 음성으로 입력된 단어가 유사단어로 판단되는 경우 제2 기준모델을 이용하여 재인식하는 3단계를 포함하는 것을 특징으로 한다.

본 발명에 의하면, 유사단어는 유사한 벡터들을 차이를 극대화시키는 새로운 인식모델을 이용하여 재인식함으로 오인식률을 줄일 수 있다.

Description

음성 인식기의 유사 단어 인식 방법{Method of Simi1ar Word Recognition for Speech Recognition Apparatus}

본 발명은 음성 인식 시스템에 관한 것으로, 특히 오인식이 자주 발생하는 유사단어를 보다 정확하게 인식할 수 있는 음성 인식기의 유사 단어 인식 방법에 관한 것이다.

통상, 음성 인식 과정은 특징벡터 추출 과정과, 추출된 특징벡터를 이용하여 기준단어 모델을 생성하는 학습 과정과, 학습 과정에서 생성된 기준단어 모델을 이용하여 음성인식을 수행하는 인식 과정의 세 단계로 구분된다. 이하, 화자 독립 음성 인식기에서 가장 많이 사용하는 이산 은닉 마르코프 모델(Discrete Hidden Marcov Model; 이하, DHMM 이라 한다)을 참조하여 음성인식 과정을 설명하면 다음과 같다.

우선, 특징벡터 추출과정에서 인식하고자 하는 대상 단어들을 여러 사람들로부터 받아 그 음성들로부터 인식에 쓰일 수 있는 음성 특징벡터들을 추출한다. 이 때, 가장 많이 쓰이는 음성 특징 파라미터로는 LPC(Linear Prediction Coefficients) 계열의 파라미터가 대표적이다. 이렇게 모아진 수많은 음성 특징벡터들을 가지고 벡터 양자화(Vector Quantization) 과정을 거쳐 통상 100여 개의 대표적인 벡터들로 코드북을 구성한다.

그 다음, 훈련과정에서 단어별로 수집된 음성데이터를 가지고 각 단어에 대한 최적의 DHMM을 구성한다. 상세히 하면, 각 훈련 음성데이터의 벡터 열을 코드북의 코드워드와 매칭하여 가장 근접한 코드워드 열로 양자화한다. 이어서, 단어별로 양자화된 훈련 데이터들을 이용하여 확률적으로 최고의 확률값을 갖도록 각 단어별로 구성된 DHMM을 훈련시켜 기준모델을 완성하게 된다.

그리고, 인식과정에서 인식하고자 하는 음성데이터에서 특징벡터를 추출한 후 이 특징벡터를 코드북을 이용하여 양자화하고 양자화된 벡터 열을 각 단어의 기준모델에 통과시켜 최고의 확률값을 가지는 단어로 인식한다.

그런데, 종래의 음성인식 방법에 의하면 DHMM을 훈련하는 과정에서 비슷한 단어는 유사한 모델로 구성되게 된다. 이 경우 상술한 훈련과정과 인식과정에서 필연적으로 수반하게 되는 양자화의 오차로 인하여 유사한 두 단어가 오인식되는 문제점이 발생하게 된다. 예컨대, 숫자의 경우 '오'와 '구'의 경우가 대표적인데 이는 특히 주변에 잡음이 있는 경우 오인식될 확률이 다른 숫자들에 비하여 더욱 높아지게 된다.

따라서, 본 발명의 목적은 유사단어의 오인식률을 줄일 수 있는 음성인식기의 유사단어 인식 방법을 제공하는 것이다.

본 발명의 다른 목적은 유사단어의 차이를 극대화한 새로운 기준모델을 구성하고 이를 이용하여 재인식함으로써, 유사단어의 오인식률을 줄일 수 있는 음성 인식기의 유사 단어 인식 방법을 제공하는 것이다.

상기 목적을 달성하기 위하여, 본 발명에 따른 음성 인식기의 유사 단어 인식 방법은 음성으로 입력된 유사한 단어들의 제1 훈련 데이터를 서로 매칭하여 상대방의 벡터 성분이 제거된 벡터 열로 구성된 제2 훈련 데이터들을 추출하는 1단계와, 제2 훈련 데이터 열 각각에 대한 제2 코드북을 구성하고 이를 이용하여 제2 훈련 데이터들을 훈련시켜 제2 기준모델로 등록하는 2단계와, 기존의 제1 기준모델을 이용한 초기 인식의 결과 음성으로 입력된 단어가 유사단어로 판단되는 경우 제2 기준모델을 이용하여 재인식하는 3단계를 포함하는 것을 특징으로 한다.

상기 목적 외에 본 발명의 다른 목적 및 이점들은 첨부 도면을 참조한 본 발명의 바람직한 실시 예에 대한 설명을 통하여 명백하게 드러나게 될 것이다.

이하, 본 발명의 바람직한 실시 예를 도 1 내지 도 3을 참조하여 상세하게 설명하기로 한다.

본 발명에 따른 음성 인식기의 유사단어 인식 방법은 크게 새로운 훈련 데이터를 추출하는 과정과, 추출된 데이터의 훈련과정, 그리고 훈련 데이터를 이용한 인식과정을 포함한다.

도 1은 본 발명에 따른 유사단어 인식 방법에서 새로운 훈련 데이터의 추출 과정과 훈련 과정을 나타내는 흐름도이다.

우선 단어 A,B,C,D,…를 인식하도록 구성된 음성 인식기에서 A와 B 단어가 유사하다고 가정하면, 새로운 훈련 데이터 추출 과정은 두 단어 훈련 데이터들을 가지고 다이내믹 타임 워핑(Dynamic Time Waping; 이하, DTW라 한다) 매칭에 의해 두 단어간에 최적으로 매칭되는 벡터들의 쌍을 구한다(단계 2). 상세히 하면, A 단어의 훈련 데이터 중의 하나인 a=(a1, b2, a3)와 B 단어의 훈련 데이터 중의 하나인 b=(b1, b2, b3, b4)를 DTW 매칭에 의해서 최적의 매칭인 (a1, b1), (a1, b2), (a2, b3), (a3, b4)의 매칭 벡터열을 구한다. 이는 두 단어가 최적으로 매칭되는 순간에 두 단어의 오인식이 일어날 확률이 최고로 높기 때문이다.

이어서, 매칭된 벡터의 쌍을 이용하여 서로 상대방 벡터의 성분이 제거된 벡터성분, 즉 상대방 벡터에 대해서 직각인 벡터 성분만을 산출한다(단계 4). 여기서, (a1, b2) 벡터쌍을 예로 들어 각 벡터에 대한 수직벡터를 구하면 다음 수식과 같다.

[수식1]

a'2=a1-(a1·b2)b2/｜b2｜

b'2=b2-(a1·b2)a1/｜a│

여기서, a'2 벡터는 a1 벡터에서 b2 벡터 성분을 제거한 벡터로써, 이는 도 2에 도시된 바와 같이 b2 벡터에 대한 수직벡터가 된다. b'2 벡터는 b2 벡터에서 a1 벡터 성분을 제거한 벡터로써, 이는 도 2에 도시된 바와 같이 a1 벡터에 대한 수직벡터가 된다. 다시 말하여, a'2 벡터와 b'2 벡터는 (a1,b2) 벡터쌍에서 서로 다른 성분을 제거한 순수한 a1 벡터와 b2 벡터만의 성분을 나타내는 것으로써, a1 벡터와 b2 벡터가 유사하다고 하여도 a'2 벡터와 b'2 벡터는 상당히 다른 벡터가 된다.

같은 방법으로 매칭된 벡터열 (a1, b1), (a1, b2), (a2, b3), (a3, b4)에서 (a'1, b'1), (a'2, b'2), (a'3, b'3), (a'4, b'4) 벡터열을 구한다. 이 벡터열 (a'1, b'1), (a'2, b'2), (a'3, b'3), (a'4, b'4) 로부터 새로운 데이터인 a'=(a'1, a'2, a'3, a'4)와 b'=(b'1, b'2, b'3, b'4)를 산출한다. 여기서, a' 데이터는 a 데이터에서 b 데이터 성분을 제거한 것이며, 마찬가지로 b' 데이터는 b 데이터에서 a 데이터 성분을 제거한 것이다. 상술한 과정을 A와 B 단어의 모든 훈련 데이터를 상대로 반복하여 두 종류의 새로운 훈련 데이터를 구한다(단계 6).

이어서, B 단어에 직각인 a' 벡터들의 코드북과, A 단어에 직각인 b' 벡터들의 코드북을 각각 구성하고, 이 코드북을 이용하여 새로운 DHMM A'과 B'을 얻는다 (단계 8, 단계 10). 여기서, A 단어에서 B 단어의 성분을 제거한 훈련 데이터를 A'이라하고, B 단어에서 A 단어의 성분을 제거한 훈련 데이터를 B'라 하면, 상술한 바와 같이 새로운 모델 A' 과 B'을 만들 수 있게 된다.

도 3은 본 발명에 따른 유사단어 인식 방법에서 상기 새로운 훈련 모델 A'과 B'을 이용한 인식과정을 나타내는 흐름도이다.

단계 12에서 음성으로 입력된 단어에 대하여 통상의 인식과정을 수행한다. 상기 단계에서 인식한 결과 유사단어 관계인 A 또는 B 단어가 아닌 경우 그 인식결과를 출력한다(단계 14, 단계 16). 한편, 상기 단계 14에서 인식한 결과 A 단어 또는 B 단어로 인식된 경우 상술한 훈련과정에서 얻은 새로운 모델 A' 과 B'을 이용하여 재인식 과정을 수행한다.

상세히 하면, 단계 18에서 초기 인식결과 입력단어가 A 단어로 인식된 경우 단계 20에서 입력음성 데이터 벡터열에 대해서 가장 직각인 벡터열을 b' 데이터의 코드북에서 매칭(Matching)하여 추출한다. 다시 말하여, 입력단어의 벡터열 a=(a1, a2, a3, a4)을 b'=(b1', b2', b3','b4')으로 매핑(Mapping)시킨다. 이어서, 단계 22에서 매핑된 벡터열 b'을 이용하여 B' 모델로 인식을 수행한다. 그리고, 단계 24에서 인식된 확률값이 임의의 임계치보다 큰 경우 A 단어로 인식하고(단계 26), 반면에 인식 확률값이 임의의 임계치보다 작은 경우 B 단어로 인식한다(단계 28). 이는 상술한 B' 모델의 훈련과정에서 알 수 있듯이 입력단어가 실제로 A 단어라면 인식된 확률값이 높게 나타나고, 실제로 B 단어라면 인식된 확률값이 낮게 나타남을 의미한다.

여기서, 상기 판단기준이 되는 임계치의 값을 구하는 단계는 상기 훈련과정에서 A' 과 B' 모델을 완성한 후에 수행되는 것으로 그 방법은 다음과 같다.

먼저 단어 A와 B의 훈련용 음성 데이터들에 대해서 통상의 방법으로 초기 인식을 수행하여 단어 A에서 단어 B로 잘못 인식하는 경우의 데이터들을 모두 추출해낸다. 이어서, 상기 훈련과정에서 구성된 a' 데이터의 코드북을 이용하여 각각 입력 데이터에 직각인 성분으로 교체한 후 이를 A' 모델로 인식한다. 그 다음, 각 인식 확률값들의 평균을 구하여 A' 모델 인식시의 임계치로 사용한다. 반대로, 단어 B에서 단어 A로 잘못 인식하는 경우의 데이터들을 모두 추출하여 b' 데이터의 코드북을 이용하여 각 입력 데이터에 직각인 성분으로 교체한 후 B' 모델로 인식하여 그 인식 확률값의 평균을 B' 모델 인식시의 임계치로 사용한다.

도 3으로 되돌아와서, 상기 단계 18에서 초기의 인식결과가 B 단어로 인식된 경우 단계 30에서 a' 데이터의 코드북에서 입력 데이터 벡터열 b = (b1, b2, b3, b4)에 대해서 가장 직각인 벡터열 a'= (a'1, a'2, a'3, a'4)을 추출한다. 이어서, 단계 32에서 매핑된 벡터열 a'을 이용하여 A' 모델로 인식을 수행한다. 그리고, 단계 34에서 인식된 확률값이 임의의 임계치보다 큰 경우 B 단어로 인식하고(단계 28), 반면에 인식 확률값이 임의의 임계치보다 작은 경우 A 단어로 인식한다(단계 26). 이는 상술한 A' 모델의 훈련과정에서 알 수 있듯이 입력단어가 실제로 B 단어라면 인식된 확률값이 높게 나타나고, 실제로 A 단어라면 인식된 확률값이 낮게 나타남을 의미한다.

이와 같이, 오인식률이 높은 단어는 상대방의 성분을 제거한 직각벡터 성분으로 구성된 새로운 기준모델을 이용하여 재인식함으로써, 서로 유사한 단어 벡터들의 차이를 크게 볼 수 있게 된다. 따라서, 유사단어를 정확하게 식별하여 인식할 수 있다.

이상 설명한 바와 같이, 본 발명에 따른 음성 인식기의 유사 단어 인식 방법에 의하면, 유사단어는 유사한 벡터들의 차이를 극대화시키는 새로운 인식모델을 이용하여 재인식함으로 오인식률을 줄일 수 있다.

한편, 상술한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정하여져야만 한다.

도 1은 본 발명에 따른 유사 단어 인식 방법에서 훈련 과정을 나타내는 흐름도.

도 2는 본 발명의 실시 예에 따른 벡터쌍과 상대방 벡터에 직각인 벡터를 도시한 도면.

도 3은 본 발명에 따른 유사 단어 인식 방법에서 인식 과정을 나타내는 흐름.

Claims (4)

1. 음성 인식기에서 유사단어를 인식하는 방법에 있어서,

   음성으로 입력된 유사한 단어들의 제1 훈련 데이터를 서로 매칭하여 상대방의 벡터 성분이 제거된 벡터 열로 구성된 제2 훈련 데이터들을 추출하는 1단계와,

   상기 제2 훈련 데이터 열 각각에 대한 제2 코드북을 구성하고 이를 이용하여 상기 제2 훈련 데이터들을 훈련시켜 제2 기준모델로 등록하는 2단계와,

   기존의 제1 기준모델을 이용한 초기 인식의 결과 음성으로 입력된 단어가 상기 유사단어로 판단되는 경우 상기 제2 기준모델을 이용하여 재인식하는 3단계를 포함하는 것을 특징으로 하는 음성 인식기의 유사단어 인식 방법.
2. 제 1 항에 있어서,

   상기 1단계는

   상기 입력된 유사 단어들로부터 특징 벡터열로 구성된 제1 훈련 데이터들을 추출하는 단계와,

   상기 단계에서 추출된 제1 훈련 데이터들을 서로 매칭하여 매칭 벡터열을 구하는 단계와,

   상기 매칭 벡터열에서 상대방의 벡터 성분이 제거된 제2 벡터열을 구하는 단계와,

   상기 제2 벡터열에서 제2 훈련 데이터를 추출하는 단계를 포함하는 것을 특징으로 하는 음성 인식기의 유사단어 인식 방법.
3. 제 1 항에 있어서,

   상기 3단계에서

   유사한 제1 및 제2 단어 중 제1 단어로 인식된 경우 입력 음성 데이터 벡터열에 가장 직각인 제2 벡터열을 추출하는 단계와,

   상기 제2 벡터열에 해당하는 제2 기준모델로 인식하는 단계와,

   상기 인식 확률값을 임의의 임계치와 비교하여 그 결과에 따른 인식결과를 출력하는 단계를 포함하는 것을 특징으로 하는 음성 인식기의 유사단어 인식 방법.
4. 제 3 항에 있어서,

   상기 임계치를 구하는 과정은

   초기 인식을 수행하여 상기 제2 단어에서 제1 단어로 오인식하는 데이터들을 모두 추출하는 단계와,

   상기 입력 데이터 벡터열들에 직각인 제2 벡터열들로 교체하는 단계와,

   상기 제2 벡터열들에 해당하는 제2 기준모델로 인식하여 그 인식 확률값들의 평균값을 구하는 단계를 포함하는 것을 특징으로 하는 음성 인식기의 유사단어 인식 방법.

Images