KR101153129B1

KR101153129B1 - 자동 음성 인식 시스템들의 음향 모델들로부터 발생된합성형 입력들을 사용하는 자동 음성 인식 시스템들의 시험및 조정

Info

Publication number: KR101153129B1
Application number: KR1020050078664A
Authority: KR
Inventors: 리카르도 로페즈-바쿠일라
Original assignee: 마이크로소프트 코포레이션
Priority date: 2004-10-15
Filing date: 2005-08-26
Publication date: 2012-06-04
Also published as: JP2006113569A; EP1647969A1; CN1760972A; US7684988B2; KR20060050689A; JP4936696B2; US20060085187A1

Abstract

발음들을 음성 인식기에 제공하는 것에 의해, 음성 인식 시스템을 시험하고 조정하는 시스템 및 방법을 제공한다. 먼저, 텍스트 문서가 시스템에 제공되어 텍스트의 단어들을 표현하는 음소들의 시퀀스로 변환된다. 그 다음, 음소들은, HMM들(Hidden Markov Models)과 같은, 모델 단위들로 변환된다. 모델들로부터, 각 모델 또는 상태에 대한 확률이 획득되고, 특징 벡터들이 판정된다. 각 상태에 대한 가장 유망한 벡터와 일치하는 특징 벡터가 각 모델에 대해 선택된다. 이러한 이상적 특징 벡터들이 음성 인식기에 제공되어 프로세싱된다. 최종 결과가 원래의 텍스트와 비교되며, 출력 텍스트에 기초해, 시스템에 대한 변경들이 수행될 수 있다.

음성 인식기, 텍스트, 음소, Hidden Markov Model, 특징 벡터

Description

자동 음성 인식 시스템들의 음향 모델들로부터 발생된 합성형 입력들을 사용하는 자동 음성 인식 시스템들의 시험 및 조정 {TESTING AND TUNING OF AUTOMATIC SPEECH RECOGNITION SYSTEMS USING SYNTHETIC INPUTS GENERATED FROM ITS ACOUSTIC MODELS}

도 1은 본 발명이 사용될 수 있는 예시적인 환경의 블록도.

도 2는 본 발명의 일 실시예에 따른 음성 인식 시험 시스템의 컴포넌트들을 도시하는 블록도.

도 3은 본 발명에 사용될 수 있는 텍스트-음성 엔진의 컴포넌트들을 도시하는 블록도.

도 4는 본 발명이 사용될 수 있는 하나의 예시적 음성 인식 시스템을 도시하는 블록도.

도 5는 본 발명의 일 실시예에 따른 시험 시스템에 의해 실행되는 단계들을 도시하는 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

201 : 텍스트

210 : 발음 툴

214 : 발음들의 데이터베이스

216 : 텍스트-음성 컴포넌트

220 : 모델 단위 발생기

224, 234 : 데이터베이스

230 : 이상적 벡터 발생기

240 : 음성 인식기

[특허 문헌] 미국특허공보 제6,163,769호

[비특허 문헌] CSR-III Text Language Model, University of Penn., 1994.

본 발명은 음성 인식에 관한 것이다. 보다 구체적으로, 본 발명은 음성 인식기의 시험(testing) 및 조정(tuning)에 관한 것이다.

먼저, 음성 인식 시스템에서 사용되는 프로세스들의 기본적인 설명이 이루어질 것이다. 음성 인식 시스템들에서, 입력 음성 신호는, 음성 신호의 언어적 내용을 표현하는 단어들로 변환된다. 이러한 변환은, 아날로그 음성 신호를 일련의 디지털 값들로 변환하는 것에 의해 시작된다. 다음으로, 디지털 값들은, 디지털 값들에 기초해 특징 벡터들의 시퀀스를 계산하는 특징 추출 단위로 전달된다. 각각의 특징 벡터는 통상적으로 다차원이며 음성 신호의 단일 프레임을 표현한다.

단어들의 가장 유망한 시퀀스를 식별하기 위해, 특징 벡터들은, 트레이닝 텍 스트를 사용해 트레이닝된 하나 이상의 모델들에 적용된다. 통상적으로, 이것은, 하나의 프레임 상태가 하나의 특징 벡터와 관련되는 프레임-기반 음향 모델(frame-based acoustic model)에 특징 벡터들을 적용하는 단계를 수반한다. 그러나, 최근에는, 다수의 특징 벡터들을 하나의 세그먼트 상태와 관련짓는 세그먼트 모델들이 도입되었다. 세그먼트 모델들은 인간 음성에서의 대규모 변화들에 대한 좀더 정확한 모델을 제공하는 것으로 판단된다.

모든 모델들은, 프레임 기반이든 세그먼트 기반이든, 음향 단위(acoustic unit)에 대한 확률을 판정한다. 초창기의 음성 인식 시스템들에서는, 음향 단위가 전체 단어였다. 그러나, 이러한 시스템들은, 언어의 각 단어가 개별적으로 모델링되어야 했기 때문에, 다량의 모델링 데이터를 필요로 했다. 예를 들어, 언어가 10,000개의 단어들을 포함한다면, 인식 시스템은 10,000개의 모델들을 필요로 했다.

필요한 모델들의 수를 줄이기 위해, 더 작은 음향 단위들을 사용하기 시작했다. 이와 같은 더 작은 단위들의 예로는 단어들에서의 개별 사운드들을 표현하는 음소들(phonemes) 및 음소들내에서의 개별 상태들을 표현하는 세논들(senones)을 들 수 있다. 다른 인식 시스템들은, 1개 음소의 중앙으로부터 인접 음소의 중앙에 이르는 음향 단위를 표현하는 이-단음들(diphones)을 사용했다. 좀더 최근의 인식 시스템들은, (일 음소의 중앙으로부터 일차 음소를 통해 후속 음소의 중앙에 이르는 것과 같은) 3개 음소들에 이르는 음향 단위를 표현하는 삼-단음들(triphones)을 사용하고 있다.

특징 벡터들의 시퀀스에 대한 확률을 판정할 때, 종래 기술의 음성 인식 시스템들은 음향 단위들의 상이한 유형들을 혼합하지 않았다. 따라서, 음소 음향 모델을 사용해 확률을 판정할 경우, 고려되는 모든 음향 단위들은 음소들이었다. 종래 기술은 음성 신호의 일부 세그먼트들에 대해서는 음소들을 사용하지 않았고, 음성 신호의 다른 부분들에 대해서는 세논들을 사용하지 않았다. 이 때문에, 개발자들은 세그먼트 모델들에 적합한 좀더 큰 단위들을 사용하는 것과, 트레이닝이 좀더 용이하며 좀더 적은 데이터를 필요로 하는 좀더 작은 단위들을 사용하는 것 중에서 결정해야 했다.

음성 인식 동안, 개별 음향 단위의 확률은 대부분, 한 세트의 가우시안 분포들을 사용해 판정된다. 최소한, 하나의 가우시안 분포가, 음향 단위들에 의해 확장되는 각각의 특징 벡터에 대해 제공된다.

가우시안 분포들은 트레이닝 데이터로부터 형성되며 소정 음향 단위에 대해 소정 값을 갖는 특징 벡터의 확률을 지시한다. 분포들은, 상이한 장소들에서 발견되는 상이한 음향 단위들, 상이한 화자들에 의한 문맥들, 및 상이한 음향 조건들에 대한 수천번의 반복들에 의한 것을 예시하는 것으로 이루어진 트레이닝 데이터로부터 형성된다. 최종적인 분포는 소정 모델링 단위의 발생들 모두에 대한 모든 벡터들의 히스토그램에 대한 근사치로서 설명될 수 있다. 예를 들어, 트레이닝 텍스트에서의 "th" 음소의 모든 발생에 대해, 특징 벡터들의 결과적인 값들이 측정되어 가우시안 분포를 발생시키는데 사용된다.

상이한 화자들은 상이한 음성 신호들을 발생시키기 때문에, 때로는 음향 단 위에 대한 하나의 가우시안 분포가, 관찰된 특징 벡터들이 시스템을 트레이닝하는데 사용되는 화자가 아닌 상이한 화자에 의해 발생되었다는 이유만으로, 음성 인식에서의 높은 오류율을 발생시킬 수도 있다. 이를 극복하기 위해, 종래 기술은 각각의 음향 단위에 대한 가우시안 분포들의 혼합(mixture)을 도입했다. 각각의 혼합내에서, 화자들의 일 그룹에 대해 개개의 가우시안이 발생된다. 예를 들어, 남성 화자들에 대한 하나의 가우시안 및 여성 화자들에 대한 하나의 가우시안이 존재할 수 있다.

가우시안들의 혼합을 사용하면, 각각의 음향 단위는 각 가우시안의 평균에 위치하는 다수의 타깃을 가진다. 따라서, 일례로서, 특정 음향 단위의 경우, 하나의 타깃은 남성용 트레이닝 보이스로부터, 그리고 또 다른 타깃은 여성용 트레이닝 보이스로부터 유래할 수 있다.

그러나, 음성 인식기들의 개발이 발전하고 있음에도 불구하고, 여전히, 소정 유형의 단어들이 제시될 경우의 인식기들의 정확도와 관련된 많은 문제점들이 존재한다. 벡터들의 정확도가 증가하기는 했지만, 벡터들의 패키징 및 패키징된 벡터들의 해석으로 인해, 여전히 오류들이 발생한다. 이러한 문제점들은 음향 모델과 발화된 발성들간의 불일치, 언어 모델과 예상 텍스트간의 불일치, 양자의 조합 또는, 발음법들에서의 오류들 또는 음성 인식기 엔진에서의 오류들과 같은, 다른 문제점들로 인한 오류들을 포함할 수 있다. 언어 모델과 관련된 문제점들 중에서, 특히 어려운 문제는 동음 이의어들(homonyms)에 관한 문제이다.

동음 이의어들은, 발음은 비슷하지만 철자와 의미가 상이한 단어들이다. 예 를 들어, 흔히 보는 동음 이의어들로는 read/reed, read/red, their/there, here/hear, cue/queue, whether/weather, 및 fore/for/four를 들 수 있다. 이 단어들은 정확히 동일하게 발음되기 때문에, 인식기는 단어들 중에서 하나를 선택해 발화된 발성과 매칭시켜야 한다. 대부분의 경우, 인식기는, 바람직한 단어로서 지시되는 단어를 선택한다. 이러한 선택은, 예를 들어, 어떤 단어가 그 단어의 가장 흔하게 사용되는 버전인지에 따라, 또는 언어 모델 정보를 사용해 어떤 단어가 언어학적으로 적절해 보이는지에 따라 이루어질 수 있다.

언어 모델 관련 오류들은, 입력된 데이터에도 불구하고, 음성 인식 시스템이 어떤 문맥에서 개개 단어들을 인식할 수 없는 경우에 발생한다. 이러한 상황에서는, 예상 단어가 대안들의 리스트에 표시되지만 이것이 최선의 선택은 아니다. 언어 모델의 비중을 감소시키기만 한다면, 이 단어들은 인식될 수 있다. 언어 모델 도입형 오류들은, 음성 인식 시스템이, 단어들이 시험에서 제시되는 문맥이 아니라 분리하여 제시될 때의 개개 단어들을 인식할 수 있는 경우들이다. 예를 들어, 언어 모델이 "want to hose"가 아니라 "to hose"를 분리하여 인식할 수 있다면, (예를 들어, 시스템은 이 입력을 "want to hose"로서 인식할 수 있다) 이것은 언어 모델 오류이다. 이와 같은 오류의 제2 예는, 언어 모델이 "July 25^th."가 아니라 "July 25^th"를 적절하게 인식하는 경우일 것이다.

다른 오류들이 음향 모델 불일치, 화자, 및 다른 소스들에 기인할 수 있다. 이러한 오류들의 대부분은 화자 발생 발성들과 상이한 발음, 강세, 잡음 환경 등으 로 인한 모델들간의 불일치로 인한 것이며, 시스템에서의 어떠한 내부 오류에 의해 발생되는 것이 아니다. 그러나, 음성 인식 시스템들의 특징으로 인해, 이러한 유형의 오류들이 상기 오류들과 유사해 보일 수도 있다. 따라서, 개발자는, 오류들이 음향 불일치에서 유래했을 확률을 고려할 필요없이 나머지 오류 유형들을 식별할 필요가 있고, 본 발명은 이러한 문제점들 중 적어도 일부를 다룬다.

본 발명의 일 실시예는 직접적으로, 텍스트 문서들에 기초해 음성 인식기를 시험하고 조정하는 시스템 및 방법에 관한 것이다. 본 발명은, 값비싼 사운드 파일들을 사용해 음성 인식기를 시험하는 대신에, 텍스트 문서들의 기존의 대용량 언어 자료를 차입한다. 텍스트 문서들을 차입하는 이점들로는, 음성 인식기 시스템들에서의 결과들, 처음 결과가 틀렸을 경우의 다른 결과들 등의 포매팅에 기초해 시스템들의 특징들을 기능적으로 시험하고, 언어의 어떤 화자들에 대한 필요없이 시스템을 시험하며, 시스템이 실제 상황들에서 갖게 될 오류들의 일부를 예측하는 능력을 들 수 있다.

일 실시예에서, 텍스트 문서는 발음 툴(pronunciation tool)에서 시스템에 의해 수신된다. 발음 툴은 텍스트 문서의 각 단어에 대한 발음을 판정한다. 이것을 실현하기 위해, 도구는 단어들의 데이터베이스와 관련 발음들 또는 텍스트-음성 합성기를 조회할 수 있다. 그 다음, 이러한 발음들은 음소들의 시퀀스로 변환된다. 음소들의 시퀀스는 단어의 발음으로부터 판정되거나 단어에 대한 데이터베이스 엔트리에 저장될 수 있다.

다음으로, 음소들의 시퀀스는 모델 단위 발생기(model unit generator)에 의해 모델들로 변환된다. 모델 단위 발생기는 모델들의 데이터베이스로부터 모델들을 획득할 수 있다. 각각의 음소에 대해, 그 음소를 표현하는 하나 이상의 모델이 식별된다. 이러한 모델들은 "단음(phone)" 모델에 기초한다. 다시 말해, 모델 단위 발생기는 이-단음들, 삼-단음들, 사-단음들 등을 사용한다. 따라서, 음소들의 시퀀스가 구성되는 방법에 따라, 모델 단위 발생기는 선택적으로 음소들의 시퀀스를 단음들로 변환할 필요가 있을 수도 있다. 일 실시예에서, 모델 단위 발생기는 각 음소에 대해 HMM들(Hidden Markov Models)을 획득하고, 삼-단음들을 사용해 음소를 표현한다. 삼-단음들을 사용하는 것은 3개의 Markov 상태들을 가진 HMM들을 발생시킨다. 또한, 모델 단위 발생기는 Markov 상태들 각각에 대한 확률 분포를 획득한다. HMM 및 확률들은 이상적 벡터 발생기로 전달된다. 일 실시예에서, 각각의 삼-단음은 3개의 세논들로써 표현된다. 세논은 HMM의 상태이다. 각각의 세논은 다차원 가우시안들의 선형 조합으로서 설명되는 확률 분포 함수에 대한 묘사이다.

이상적 벡터 발생기는 음소들의 시퀀스의 각 음소에 대한 벡터들의 시퀀스를 다같이 패키징한다. 이상적 벡터 발생기는 특징 벡터들의 데이터베이스에 액세스하여, 분포 곡선의 최고 확률을 가진 포인트에 일치되는 또는 가장 근접하게 일치되는 특징 벡터를 판정한다. 이러한 특징 벡터들은 실례적으로 가장 가능한 상태에 기초하기 때문에, 이들을 이상적 벡터들이라고 한다. 이상적 벡터 발생기는 실례적으로 특징 벡터들의 데이터베이스를 위해 음성 인식기의 음향 모델을 사용한 다. 특징 벡터들에 대해 음향 모델을 사용하는 것에 의해, 본 발명은, 단어를 표현하는 각 음소에 대해 본 발명이 예상하는 특징 벡터들을 음성 인식기에 제공한다. 이것은 음향 불일치들을 방지한다.

다음으로는, 패키징된 이상적 벡터들이 음성 인식기에 제공된다. 이들은, 특징 추출 모듈 이후, 특징 벡터들에 대한 임의의 추가적 프로세싱 이전에 음성 인식기에 제공된다. 이것이 본질적으로 음성 인식기에 대해서는, 벡터들이 내부적으로 판정된 것처럼 보인다. 이상적 벡터들은 음성 인식기의 통상적인 규칙들에 따라 후속적으로 프로세싱된 다음, 텍스트로서 출력된다. 그 다음, 개발자는 인식 결과들에 기초해 음성 인식기를 시험하고 조정할 수 있다. 음성 인식기 관점의 음향 포인트로부터 완전한 입력을 제공하는 것에 의해, 개발자는, 시험시의 모든 오류가 언어 모델에서의 불일치나 취약점으로부터 또는 시스템의 내부 오류로부터 기인한다는 것을 알 수 있을 것이다. 이러한 오류들은, 시험을 위해 실제 오디오 파일들을 사용하는 경우에 직면하게 되는 음향 불일치로 인한 예상 오류들과는 구별된다.

본 발명은 개별적으로 발생된 특징 벡터들에 기초해 음성 인식기를 시험하거나 조정하는 것을 다룬다. 본 발명을 상세하게 설명하기 전에, 본 발명이 사용될 수 있는 예시적인 환경이 논의될 것이다.

도 1은, 본 발명이 구현될 수 있는 적당한 컴퓨팅 시스템 환경(100)의 일례를 도시한다. 컴퓨팅 시스템 환경(100)은 적당한 컴퓨팅 환경들의 일례일 뿐이며 본 발명의 사용 또는 기능 범위에 대해 어떤 제한을 두려는 것은 아니다. 컴퓨팅 환경(100)은 예시적인 동작 환경(100)에 도시된 컴포넌트들 중의 어느 하나 또는 컴포넌트들의 조합과 관련하여 어떠한 의존성이나 요구 사항을 갖는 것으로 해석되어서는 안된다.

본 발명은 다수의 여타 범용 또는 특수 목적 컴퓨팅 시스템 환경들 또는 구성들과도 동작할 수 있다. 본 발명에 사용하기에 적당할 수 있는 주지의 다른 컴퓨팅 시스템들, 환경들, 및/또는 구성들로는 퍼스널 컴퓨터들, 서버 컴퓨터들, 핸드-헬드 또는 랩탑 장치들, 멀티-프로세서 시스템들, 마이크로프로세서-기반 시스템들, 셋톱 박스들, 프로그램 가능한 상용 전자 장치들, 네트워크 PC들, 미니컴퓨터들, 메인프레임 컴퓨터들, 상기 시스템들 또는 장치들 중 하나를 포함하는 분산형 컴퓨팅 환경들 등을 들 수 있지만, 이에 한정되는 것은 아니다.

본 발명은 컴퓨터에 의해 실행되는, 프로그램 모듈들과 같은, 컴퓨터-실행 가능 명령어들의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 프로그램 모듈들은 특정한 태스크들을 수행하거나 특정한 추상적 데이터형들을 구현하는 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 데이터 구조들 등을 포함한다. 또한, 본 발명은, 태스크들이 통신 네트워크를 통해 링크되어 있는 원격 프로세싱 장치들에 의해 수행되는 분산 컴퓨팅 환경들에서 실시될 수도 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 저장 장치들을 포함하는 로컬 및 원격 컴퓨터 저장 매체들 모두에 배치될 수 있다.

도 1을 참조하면, 본 발명을 구현하기 위한 예시적 시스템은 컴퓨터(110) 형 태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(110)의 컴포넌트들로는 프로세싱 유닛(120), 시스템 메모리(130), 및 시스템 메모리를 포함하는 다양한 시스템 컴포넌트들을 프로세싱 유닛(120)에 결합시키는 시스템 버스(121)를 들 수 있지만, 이에 한정되는 것은 아니다. 시스템 버스(121)는 메모리 버스 또는 메모리 컨트롤러, 주변 장치 버스 및 다양한 버스 아키텍처들 중 하나를 사용하는 로컬 버스를 포함하는 몇가지 유형의 버스 구조들 중 하나일 수 있다. 한정이 아닌 일례로서, 이러한 아키텍처들로는 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standards Association) 로컬 버스, 및 Mezzanine 버스라고도 하는 PCI(peripheral Component Interconnects) 버스를 들 수 있다.

컴퓨터(110)는 통상적으로 다양한 컴퓨터 판독 가능 매체들을 포함한다. 컴퓨터 판독 가능 매체들은 컴퓨터(110)에 의해 액세스될 수 있는 이용 가능한 임의의 매체들일 수 있으며, 휘발성 및 비휘발성 매체들, 분리형 및 비분리형 매체들 모두를 포함한다. 한정이 아닌 일례로서, 컴퓨터 판독 가능 매체들은 컴퓨터 저장 매체들 및 통신 매체들을 구비할 수 있다. 컴퓨터 저장 매체들은 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보의 저장을 위해 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체들 모두를 포함한다. 컴퓨터 저장 매체들은 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disks) 또는 다른 광학 디스크 저장 장치, 자기 카세트들, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치들, 또는 소정 정보를 저장하는데 사용될 수 있으며 컴퓨터(110)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 한정되는 것은 아니다. 통신 매체들은 통상적으로 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 반송파와 같은 변조 데이터 신호나 다른 전송 방식의 다른 데이터를 구현하며 임의의 정보 전달 매체들을 포함한다. "변조 데이터 신호"라는 용어는, 하나 이상의 특징들의 세트를 가지며 정보를 신호로 인코딩하는 방식으로 변경된 신호를 의미한다. 한정이 아닌 일례로서, 통신 매체들은 유선 네트워크 또는 직접-유선 접속과 같은 유선 매체들, 및 음향, RF, 적외선 및 다른 무선 매체들과 같은 무선 매체들을 포함한다. 상기한 것들의 임의 조합들 또한 컴퓨터 판독 가능 매체들의 범위 내에 포함되어야 한다.

시스템 메모리(130)는 ROM(read only memory;131) 및 RAM(random access memory;132)과 같은 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체들을 포함한다. 스타트-업(start-up) 동안과 같은 때에, 컴퓨터(110)내의 요소들 사이에서 정보 전달을 돕는 기본적 루틴을 포함하는 BIOS(basic input/output system;133)는 ROM(131)에 저장된다. RAM(132)은 통상적으로, 프로세싱 유닛(120)으로 즉시 액세스될 수 있거나 및/또는 프로세싱 유닛(120)에 의해 현재 연산되고 있는 데이터 및/또는 프로그램 모듈을 포함한다. 한정이 아닌 일례로서, 도 1은 오퍼레이팅 시스템(134), 애플리케이션 프로그램들(135), 다른 프로그램 모듈들(136), 및 프로그램 데이터(137)를 도시한다.

컴퓨터(110)는 다른 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체들 을 포함할 수도 있다. 단지 일례로서, 도 1은 비분리형, 비휘발성 자기 매체들로부터 판독하고 그에 기입하는 하드 디스크 드라이브(141), 분리형, 비휘발성 자기 디스크(152)로부터 판독하고 그에 기입하는 자기 디스크 드라이브(151) 및, CD-ROM 또는 다른 광학 매체들과 같은, 분리형, 비휘발성 광학 디스크(156)로부터 판독하고 그에 기입하는 광학 디스크 드라이브(155)를 도시한다. 예시적 동작 환경에 사용될 수 있는 다른 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체들로는 자기 테이프 카세트들, 플래시 메모리 카드들, DVD들, 디지털 비디오 테이프, 반도체 RAM, 반도체 ROM 등을 들 수 있지만, 이에 한정되는 것은 아니다. 하드 디스크 드라이브(141)는 통상적으로 인터페이스(140)와 같은 비분리형 메모리 인터페이스를 통해 시스템 버스(121)에 접속되고, 자기 디스크 드라이브(151) 및 광학 디스크 드라이브(155)는 통상적으로, 인터페이스(150)와 같은, 분리형 메모리 인터페이스에 의해 시스템 버스(121)에 접속된다.

상술되고 도 1에 도시된 드라이브들 및 그들과 관련된 컴퓨터 저장 매체들은 컴퓨터(110)에 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들, 및 다른 데이터의 저장을 제공한다. 도 1에서는, 예를 들어, 하드 디스크 드라이브(141)가 오퍼레이팅 시스템(144), 애플리케이션 프로그램들(145), 다른 프로그램 모듈들(146), 및 프로그램 데이터(147)를 저장하는 것으로 도시되어 있다. 이들 컴포넌트들은 오퍼레이팅 시스템(134), 애플리케이션 프로그램들(135), 다른 프로그램 모듈들(136), 및 프로그램 데이터(137)와 동일하거나 상이할 수 있다. 여기에서는, 최소한, 이들이 상이한 사본들임을 나타내기 위해, 오퍼레이팅 시스템 (144), 애플리케이션 프로그램들(145), 다른 프로그램 모듈들(146), 및 프로그램 데이터(147)에 상이한 번호가 부여되어 있다.

사용자는 키보드(162), 마이크로폰(163) 및, 마우스, 트랙볼 또는 터치패드 등의 포인팅 장치(161)와 같은 입력 장치를 통해 명령들 및 정보를 컴퓨터(110)에 입력할 수 있다. (나타내지 않은) 다른 입력 장치들로는 조이스틱, 게임 패드, 위성 안테나, 스캐너 등을 들 수 있다. 이들 및 다른 입력 장치들은 대개, 시스템 버스에 결합되어 있는 사용자 입력 인터페이스(160)를 통해 프로세싱 유닛(120)에 접속되지만, 병렬 포트, 게임 포트 또는 USB(universal serial bus)와 같은, 다른 인터페이스 및 버스 구조들에 의해 접속될 수도 있다. 모니터(191) 또는 다른 유형의 디스플레이 장치 또한, 비디오 인터페이스(190)와 같은, 인터페이스를 통해 버스(121)에 접속되어 있다. 모니터 이외에, 컴퓨터는 출력 주변 장치 인터페이스(195)를 통해 접속될 수 있는, 스피커들(197) 및 프린터(196)와 같은, 다른 주변 출력 장치들도 포함할 수 있다.

컴퓨터(110)는, 원격 컴퓨터(180)와 같은, 하나 이상의 원격 컴퓨터들로의 논리적 접속을 사용하는 네트워크 환경에서 동작할 수도 있다. 원격 컴퓨터(180)는 퍼스널 컴퓨터, 핸드-헬드 장치, 서버, 라우터, 네트워크 PC, 피어 장치, 또는 다른 공통 네트워크 노드일 수 있으며, 통상적으로 컴퓨터(110)와 관련하여 상술한 요소들 중 많은 것을 또는 그 전부를 포함한다. 도 1에 도시된 논리적 접속들은 LAN(local area network;171) 및 WAN(wide area network;173)을 포함하지만, 다른 네트워크들을 포함할 수도 있다. 이러한 네트워킹 환경들은 사무실들, 기업-범위 의 컴퓨터 네트워크들, 인트라넷들, 및 인터넷에서 흔히 볼 수 있다.

LAN 네트워킹 환경에서 사용될 경우, 컴퓨터(110)는 네트워크 인터페이스 또는 어댑터(170)를 통해 LAN(171)에 접속된다. WAN 네트워킹 환경에서 사용될 경우, 컴퓨터(110)는 통상적으로, 모뎀(172) 또는, 인터넷과 같은, WAN(173)을 통해 통신을 확립하기 위한 다른 수단을 포함한다. 내장형이거나 외장형일 수 있는 모뎀(172)은 사용자 입력 인터페이스(160) 또는 다른 적절한 메커니즘을 통해 시스템 버스(121)에 접속될 수 있다. 네트워크 환경에서는, 컴퓨터(110)와 관련하여 도시된 프로그램 모듈들 또는 그 일부분들은 원격 메모리 저장 장치에 저장될 수 있다. 한정이 아닌 일례로서, 도 1은 원격 애플리케이션 프로그램들(185)을 메모리 장치(181)에 상주하는 것으로 도시하고 있다. 나타낸 네트워크 접속은 예시적인 것이며 컴퓨터들간에 통신 링크를 확립하는 다른 수단이 사용될 수도 있다는 것을 알 수 있을 것이다.

도 2는 본 발명의 일 실시예에 따른 음성 인식 시험 및 조정 시스템(200)의 컴포넌트들을 도시하는 블록도이다. 시험 컴포넌트(200)는 발음 툴(210), 모델 단위 발생기(220), 이상적 벡터 발생기(230), 및 음성 인식기(240)와의 인터페이스들을 포함한다. 이러한 컴포넌트들 각각에 대한 세부 사항들이 다음에서 제공된다.

텍스트(201)가 시험 컴포넌트(200)에 제공된다. 이러한 텍스트(201)는, 개발자가 시험 또는 조정 중인 시스템 부분들에 따라, 다수 형태들을 취할 수 있다. 일 실시예에서, 개발자는 텍스트(201)를 손으로 입력한다. 그러나, 다른 실시예에서는, 컴포넌트(200)에 복수개의 텍스트 입력들이 공급된다. 이러한 예시적 실시 예에서, 텍스트는, 개발자가 통상적인 음성 인식 시스템에 대해 문제점들을 발생시킬 수 있을 것으로 판정한 복수개 단어들을 포함하는 파일로서 컴포넌트에 전달된다. 텍스트는 임의의 언어일 수 있지만, 음성 인식기가 작용하는 언어의 텍스트인 것이 바람직하다.

발음 툴(210)는, 소정 텍스트(201)에 대한 발음 또는 다수 발음들을 식별하도록 구성되어 있는 시험 시스템(200)의 컴포넌트이다. 텍스트(201)가 발음 툴(210)에서 수신됨에 따라, 텍스트의 각 단어에 대한 발음이 실례적으로 발음들(214)의 데이터베이스 또는 텍스트-음성 합성기(216)로부터 획득된다. 그러나, 발음을 획득하기 전에, 발음 툴(210)는 텍스트에서 단어들을 식별하며 임의의 구두점도 단어 포맷으로 변환한다. 발음들의 데이터베이스(214) 또는 텍스트-음성 합성기(216)에 의해 리턴되는 결과는, 텍스트의 단어 또는 단어들의 발음을 표현하는 음소들의 시퀀스이다. 그 다음, 이러한 음소들은 모델 단위 발생기(220)로 출력된다.

일 실시예에서, 데이터베이스(214)는, 음성 인식 컴포넌트(240)에 의해 사용자로부터의 소정 음성 입력과 관련된 단어들을 식별하는데 사용되는 것과 동일한 데이터베이스이다. 그러나, 다른 데이터베이스가 사용될 수도 있다. 데이터베이스(214)는 실례적으로, 음성 인식 시스템이 인식할 수 있는 각 단어에 대한 엔트리를 포함한다. 시스템이 인식할 수 있는 각 단어에 대해, 데이터베이스(214)는, 단어의 발음을 표현하는 음소들의 하나 이상의 시퀀스도 포함한다. 음소들의 이 시퀀스는 발음 툴(210)로 리턴된다.

예시적인 텍스트-음성 합성기(216)가 도 3에 도시되어 있다. 그러나, 다른 텍스트-음성 합성기들 또는 문자-사운드 컴포넌트들이 사용될 수도 있다. 일반적으로, 발생기(216)는 텍스트 분석기(320) 및 단위 결합 모듈(330)을 포함한다. 합성형 음성(synthetic speech)으로 변환될 텍스트가 텍스트 분석기(320)에 대한 입력(310)으로서 제공된다. 텍스트 분석기(320)는, 약어들을 그들의 공식적인 형태들로 확장하는 것 뿐만 아니라 숫자들, 금액들, 구두점 및 다른 비-알파벳 문자들을 그들의 완전한 단어 등가물들로 확장하는 것을 포함할 수 있는, 텍스트 정규화를 수행한다. 그 다음, 텍스트 분석기(320)는 정규화된 텍스트 입력을, 공지 기술들에 의해, 음소들과 같은, 하부-단어 요소들의 스트링으로 변환한다. 그 다음, 음소들의 스트링은 단위 결합 모듈(330)로 제공된다. 원한다면, 텍스트 분석기(320)는 (설명되지 않은) 운율 템플릿들을 사용해 음소들의 스트링에 강세 파라미터들을 할당할 수 있다.

단위 결합 모듈(330)은 음소 스트링을 수신하여 대응되는 합성형 음성을 구성하는데, 합성형 음성은 출력 신호로서 디지털-아날로그 컨버터(370)에 제공되고, 디지털-아날로그 컨버터(370)는 스피커(83)에 아날로그 신호(375)를 제공한다. 그러나, 본 애플리케이션에서는, 합성형 음성의 출력 신호가 발음 툴(210)에 제공된다.

텍스트 분석기(320)로부터의 스트링 입력에 기초해, 단위 결합 모듈(330)은, 350에 저장되어 있는 해당 판정 트리들을 통해 작업한 후, 단위 목록(340;unit inventory)으로부터 대표적 인스턴스들(representative instances)을 선택한다. 단위 목록(340)은 실제 음향 데이터의 대표적인 문맥-의존형 음소-기반 단위들의 저장 공간이다. 일 실시예에서는, 삼-단음들(그것에 즉각적으로 선행하고 후행하는 음소들을 문맥으로서 가진 음소)이 문맥-의존형 음소-기반 단위들에 사용된다. 음소-기반 단위들의 다른 형태들로는 오-단음들, 이-단음들, 또는 n-단음들을 들 수 있다. 판정 트리들(350)은, 어떤 음소-기반 단위가 단위 결합 모듈(330)에 의해 사용될 것인지를 판정하기 위해 액세스된다. 일 실시예에서는, 음소-기반 단위가, 총 45개의 음소 판정 트리들이 발생되어 350에서 저장되는 일 음소이다.

음소 판정 트리(350)는 실례적으로 각각의 노드와 관련된 언어적 질문으로써, 루트 노드 및 연속적인 노드들 각각을 분할하는 것에 의해 성장되는 이진 트리(binary tree)이며, 각 질문은 왼쪽(선행) 또는 오른쪽(후행) 음소의 카테고리에 관해 질문한다. 음소의 왼쪽 또는 오른쪽 문맥에 관한 언어적 질문들은 일반적으로, 설계시에 언어학의 전문가에 의해 문맥 효과들의 언어적 클래스들을 캡처하도록 발생된다. 일 실시예에서는, 각각의 고유한 문맥-의존형 음소-기반 단위에 대해 HMM들이 발생된다. 단위 목록(340) 및 판정 트리들(350)을 발생시키는 일례가, 여기에 참조로서 포함되어 있으며, 본 출원과 동일한 양수인에게 양도된, "TEXT-TO-SPEECH USING CLUSTERED CONTEXT-DEPENDENT PHONEME-BASED UNITS"라는 명칭의 미국특허 제6,163,769호에 제공되어 있다. 그러나, 다른 방법들이 사용될 수도 있다.

상술한 바와 같이, 단위 결합 모듈(330)은, 판정 트리들(350)을 통해 작업한 후, 단위 목록(340)으로부터 대표적 인스턴스를 선택한다. 실행 시간 동안, 단위 결합 모듈(330)은 사전 선택된 최선의 음소-기반 단위를 결합하거나, 복수개 인스턴스들로부터 결합 왜곡 펑크션을 최소화하는 이용 가능한 최선의 음소-기반 단위를 동적으로 선택할 수 있다. 일 실시예에서, 결합 왜곡 펑크션은 HMM 스코어, 음소-기반 단위 결합 왜곡 및 운율 불일치 왜곡의 조합이다. 텍스트-음성 합성기(216)가 컴퓨터(110)에 구현될 수도 있는데, 이 경우, 텍스트 분석기(320) 및 단위 결합 모듈(330)은 하드웨어 또는 소프트웨어 모듈들이고, 단위 목록(340) 및 판정 트리들(350)은 컴퓨터(110)와 관련하여 설명된 저장 장치들 중 하나를 사용해 저장될 수 있다. 당업자들에게 명백한 바와 같이, 다른 형태의 텍스트-음성 합성기들이 사용될 수도 있다. 상술되어 있는 결합 합성기(216) 이외에, 조음 기관 합성기들(articulator synthesizers) 및 포맷 합성기들(format synthesizers)을 사용해 오디오 교정 피드백(audio proofreading feedback)을 제공할 수도 있다.

모델 단위 발생기(220)는 음소들 시퀀스의 음소들 각각에 대해 모델들을 발생시키도록 구성된다. 일 실시예에서, 모델 단위 발생기(220)는 음소들 각각에 대해 삼-단음들을 구성한다. 삼-단음으로부터, 모델 단위 발생기는 발생된 삼-단음을 표현하는 HMM들을 획득하기 위해 데이터베이스(224)에 액세스한다. 일 실시예에서, 데이터베이스(224)는 음성 인식 시스템의 음향 모델이다. 그러나, 음소들에 대한 HMM들 또는 다른 모델들을 포함하는 다른 데이터베이스들이 사용될 수도 있다. (예를 들어, 음소들이 텍스트-음성 합성기(216)를 사용해 발생된다면, 계산된 HMM들이 사용될 수 있다.) 발생된 각각의 삼-단음은 그와 관련된 다수의 HMM을 가질 수 있으므로, 삼-단음에 대한 관련 HMM들의 상태들 모두가 검색된다. 이러한 HMM 상태들은 이상적 벡터 발생기(230)로 전달된다.

이상적 벡터 발생기(230)는 모델 단위 발생기에 의해 발생된 HMM 모두를 수신한다. 각각의 HMM에 대해, 이상적 벡터 발생기(230)는 3개의 Markov 상태들 또는 세논들을 식별한다. 그러나, 다른 실시예들에서는, 음소에 대해 더 많거나 적은 Markov 상태들이 존재할 수 있다. 그 다음, 이상적 벡터 발생기(230)는 각각의 HMM에 대한 Markov 상태들 각각의 상대적 확률을 판정한다. 그 다음, 이상적 벡터 발생기(230)는, 각각의 상태에 대해, 최대의 가능성을 발생시키는 포인트들의 벡터를 선택한다. 그러나, 다른 모델들이 사용된다면, 이상적 벡터 발생기(230)는 그 모델의 상대적 확률을 판정한다.

HMM들의 경우, 이상적 벡터 발생기(230)는, 각 차원에 대해, 각 Markov 상태의 출력 확률 분포에서 최대의 가능성을 가진 포인트를 선택한다. 그러나, 예를 들어, 확률이 다변량 혼합 가우시안 분포들에 기초해 표현되는 경우, 이상적 벡터 발생기(230)는 가중치 및 Gconst의 최고 조합을 가진 혼합을 선택한다. 최선의 혼합이 식별되고 나면, 이상적 벡터 발생기(230)는 음성 인식기의 음향 모델 또는 다른 데이터베이스(234)에서, 판정된 혼합을 Markov 상태에 대해 가장 근접하게 매칭하는 특징 벡터 또는 코드 워드(code word)를 찾는다. 특징 벡터가 식별되고 나면, 이들은 다같이 패키징되어 음성 인식 컴포넌트(240)로 전송된다.

음성 인식 시스템(240)의 일 실시예가 도 4에 도시되어 있다. 음성 인식 시스템(240)은 마이크로폰(92), 아날로그-디지털(A/D) 컨버터(401), 트레이닝 모듈(415), 특징 추출 모듈(410), 어휘 목록 저장 모듈(430), 세논 트리들(senone trees)에 따른 음향 모델(440), 트리 검색 엔진(420), 및 언어 모델(450)을 포함한다. 전체 시스템(240) 또는 음성 인식 시스템(240)의 일부가 도 1에 도시되어 있는 환경에 구현될 수 있다는 것에 주의해야 한다. 예를 들어, 마이크로폰(92)은, 적절한 인터페이스 및 A/D 컨버터(401)를 통해, 입력 장치로서 컴퓨터(110)에 제공되는 것이 바람직할 수 있다. 트레이닝 모듈(415) 및 특징 추출 모듈(410)은 컴퓨터(110)의 하드웨어 모듈들이거나 도 1에 개시되어 있는 정보 저장 장치들 중 하나에 저장되어 프로세싱 유닛(120) 또는 적당한 여타 프로세서에 의해 액세스될 수 있는 소프트웨어 모듈들일 수 있다. 또한, 어휘 목록 저장 모듈(430), 음향 모델(440), 및 언어 모델(450) 또한 도 1에 나타낸 메모리 장치들 중 하나에 저장되는 것이 바람직하다. 더 나아가, 트리 검색 엔진(420)은 (하나 이상의 프로세서들을 포함할 수 있는) 프로세싱 유닛(120)에 구현되거나 퍼스널 컴퓨터(110)에 의해 이용되는 전용의 음성 인식 프로세서에 의해 수행될 수 있다.

도시된 실시예에서는, 음성 인식 동안, 가청 보이스 신호 형태의 음성이 시스템으로의 입력으로서 사용자에 의해 마이크로폰(92)으로 제공된다. 마이크로폰(92)은 가청 음성 신호를, A/D 컨버터(401)에 제공되는 아날로그 전자 신호로 변환한다. A/D 컨버터(401)는 아날로그 음성 신호를, 특징 추출 모듈(410)에 제공되는 디지털 신호들의 시퀀스로 변환한다. 일 실시예에서, 특징 추출 모듈(410)은, 디지털 신호들에 대해 스펙트럼 분석을 수행하고 주파수 스펙트럼의 각 주파수 대역에 대해 크기 값을 계산하는 통상적인 어레이 프로세서이다. 일 실시예에서, 신호들은 A/D 컨버터(401)에 의해 대략 16kHz의 샘플 속도로 특징 추출 모듈(410)에 제 공된다.

특징 추출 모듈(410)은 A/D 컨버터(401)로부터 수신된 디지털 신호를, 복수개 디지털 샘플들을 포함하는 프레임들로 분할한다. 각 프레임의 길이는 대략 10 밀리초이다. 그 다음, 프레임들은 특징 추출 모듈(410)에 의해 복수개 주파수 대역들에 대한 스펙트럼 특징들을 반영하는 특징 벡터로 인코딩된다. 이산적이며 준연속적인 HMM(Hidden Markov Modeling)의 경우, 특징 추출 모듈(410)은 또한, 벡터 양자화 기술들 및 트레이닝 데이터로부터 유도된 코드북을 사용해 특징 벡터들을 하나 이상의 코드 워드들로 인코딩한다. 따라서, 특징 추출 모듈(410)은 그것의 출력에서 각각의 발화된 발성에 대한 특징 벡터들(또는 코드 워드들)을 제공한다. 특징 추출 모듈(410)은 대략적으로 매 10 밀리초마다 하나의 특징 벡터(또는 코드 워드)의 속도로 특징 벡터들(또는 코드 워드들)을 제공한다.

다음으로는, 분석 중인 소정 프레임의 특징 벡터(또는 코드 워드들)를 사용해 HMM들에 대한 출력 확률 분포들이 계산된다. 이러한 확률 분포들은 나중에, 비터비(Viterbi) 또는 유사한 유형의 프로세싱 기술을 실행하는데 사용된다.

본 발명은 음성 인식기(240)를 시험하고 조정하도록 설계되기 때문에, 특징 벡터들을 표현하는 디지털 신호들이 이상적 벡터 발생기(230)로부터 음성 인식기(240)로 직접적으로 제공된다. 이러한 벡터들이 발생되기 때문에, 음성 신호들에 대한 상기 프로세싱은 불필요하다. 그러나, 음성 인식기 발음들의 정확도에 대한 제2 점검으로서 음성 인식기에 제공될 수도 있다. 그럼에도 불구하고, 특징 벡터들은 트리 검색 엔진(420)으로 제공된다.

(시스템이 시험되는 방법에 따라) 특징 추출 모듈(410) 또는 벡터 발생기(230)로부터 코드 워드들이 수신될 때, 트리 검색 엔진(420)은 음향 모델(440)에 저장되어 있는 정보에 액세스한다. 모델(440)은, HMM들과 같은, 음향 모델들을 저장하는데, 이것은 음성 인식 시스템(240)에 의해 검출될 음성 단위들을 표현한다. 일 실시예에서, 음향 모델(440)은 HMM에서의 각각의 Markov 상태와 관련된 세논 트리를 포함한다. 일 실시예에서, HMM들은 음소들을 표현한다. 음향 모델(440)의 세논들에 기초해, 트리 검색 엔진(420)은 특징 추출 모듈(410)로부터 수신되는 특징 벡터들(또는 코드 워드들) 및 그에 따라 시스템의 사용자로부터 수신되는 발성 표현에 의해 표현되는 가장 유망한 음소들을 판정한다.

또한, 트리 검색 엔진(420)은 모듈(430)에 저장되어 있는 어휘 목록에도 액세스한다. 음향 모델(440)의 액세싱에 기초해 트리 검색 엔진(420)에 의해 수신되는 정보는 어휘 목록 저장 모듈(430)을 검색하여 특징 추출 모듈(410)로부터 수신되는 코드 워드들 또는 특징 벡터를 가장 근접하게 표현하는 단어를 판정하는데 사용된다. 또한, 검색 엔진(420)은 언어 모델(450)에 액세스하는데, 이것은 예시적으로, North American Business News Corpus로부터 유도되며 CSR-III Text Language Model, University of Penn., 1994라는 제목의 간행물에 보다 상세하게 기술되어 있는 60,000 단어 삼중음자(trigram) 언어 모델 또는 임의의 여타 언어 자료이다. 또한, 언어 모델(450)은 입력 언어에 의해 표현하는 가장 유망한 단어를 식별하는데도 사용된다. 가장 유망한 단어는 출력 텍스트로서 제공된다.

여기에는 음성 인식 시스템(240)이 HMM 모델링 및 세논 트리들을 사용하는 경우가 설명되어 있지만, 음성 인식 시스템(240)은 복수의 형태들을 취할 수 있으며, 요구되는 것은 사용자에 의해 발화되거나 시험 시스템(200)에 의해 제공되는 텍스트를 출력으로서 제공하는 것이 전부라는 것에 주의해야 한다.

도 5는 본 발명의 일 실시예에 따라 시험 시스템(200)에 의해 실행되는 단계들을 도시하는 흐름도이다. 먼저, 개발자는 단계 501에서 시험 시스템(200)에 텍스트(201)를 제공한다. 이 텍스트는, 개발자가 음성 인식기에 의한 인식시에 오류를 발생시킬 것으로 예상하는 단어 또는 일련의 단어들일 수 있다. 예를 들어, 입력될 수 있는 텍스트는 "Hi Becky. I am sending you this e-mail to give you the latest update from Seattle. After four months of house searching I bought a house last week. The house is grey and has four bedrooms, three bathrooms, and a great big deck with a view of the lake."일 수 있다. 이 텍스트는 장황함을 유발하는 오류로 종결되며, 통상적인 음성 인식기에 의해 "Hideki I am sending you this e-mail to give you the latest update from Seattle. After four months of house searching a bought a house last week. The house is gray and has four bedrooms, three bathrooms, and a great big back with a view of the lake."와 같은 것으로 잘못 인식될 수 있다.

이 텍스트는 먼저 발음 툴(210)에 의해 수신된다. 발음 툴(210)는 먼저, 텍스트의 각 단어를 식별하기 위해 텍스트를 파싱하고, 존재하는 모든 구두점은 그 구두점의 표현으로 변환한다. 예를 들어, ","는 "comma" 단어로 변환된다. 텍스트의 이러한 파싱 및 변환이 단계 520에 도시되어 있다.

텍스트가 파싱되고 변환되고 나면, 발음 툴(210)는 텍스트의 각 단어와 관련된 발음 및 음소들의 시퀀스를 식별하기 위해 발음들의 데이터베이스(214)를 검색한다. 식별된 단어에 대해 다수의 발음들이 존재하면, 발음 툴(210)는 첫번째 것을 선택한다. 그러나, 발음을 선택하는 다른 방법들이 사용될 수도 있다. 이것이 단계 525에 도시되어 있다. 일치가 발견되면, 단어에 대한 음소들의 관련 시퀀스가 발음 툴(210)로 리턴된다. 그러나, 일치가 발견되지 않으면, 단어는 텍스트-음성 합성기(216)로 전달된다. 텍스트-음성 합성기(216)는 단어에 대해 음소들의 시퀀스를 발생시켜, 이 시퀀스를 발음 툴(210)로 역전달한다. 이것이 단계 526에 도시되어 있다. 단어에 대한 발음 및 음소들의 시퀀스를 발생시키는 프로세스는 상기 도 3과 관련하여 부연되어 있다. 텍스트-음성 합성기(216)에 의한 음소들의 발생이 단계 527에 도시되어 있다. 음소들은 단계 526에서 발음 툴(210)로 리턴된다.

그 다음, 발음 툴(210)는 음소들의 시퀀스를 모델 단위 발생기(220)로 전달한다. 모델 단위 발생기(220)는 음소들 시퀀스의 음소들 각각을 취해 음소들 각각에 대한 삼-단음 표현을 발생한다. 그 다음, 모델 단위 발생기(220)는 삼-단음들 각각에 대한 HMM을 획득하기 위해 데이터베이스(224) 또는 음향 모델(440)에 액세스한다. 이러한 단계들이 단계 530에 도시되어 있다. HMM들이 획득되고 나면, 모델들은 이상적 벡터 발생기(230)로 전달된다.

이상적 벡터 발생기(230)는, HMM들에 의해 표현되는 삼-단음들을 모델링하는데 사용되는 세논들 각각에 대해 이상적 벡터를 발생한다. 이상적 벡터를 발생시 키기 위해, 삼-단음들의 Markov 상태들 각각에 대한 확률 분포가 획득된다. 각각의 Markov 상태와 관련된 이러한 확률 분포는 단계 540에서 음향 모델(440)로부터 검색될 수 있다. 그러나, 다른 실시예들에서는, Markov 모델 및 관련 삼-단음에 대한 확률 분포를 판정하기 위한 임의의 방법을 사용해, 이들이 계산될 수 있다.

일 실시예에서, 각각의 HMM은 3개의 Markov 상태들(세논들)을 포함한다. Markov 상태들 각각에 대한 확률이 판정되거나 획득되고 나면, 확률 분포에서의 최대 확률 위치가 차원으로서 선택된다. 최대 확률 포인트에 가장 근접하게 일치하는 특징 벡터(또는 코드 워드)를 식별하는 것에 의해, 트레이닝 동안 발생된 음성 인식기(240)의 음향 모델로부터 특징 벡터가 선택된다. 각각의 Markov 상태에 대해 특징 벡터들을 발생시키는 이러한 프로세스가 단계 550에 도시되어 있다. 발생된 벡터들이 실례적으로, 삼-단음을 구비하는 Markov 상태들 각각에 대한 분포상의 최대 포인트에 기초하기 때문에, 이 프로세스는 이상적 벡터들을 발생한다.

텍스트에 대한 이상적 벡터들이 모두 발생되고 나면, 이들은 다같이 패키징되어 음성 인식기(240)로 전달된다. 그러나, 보통의 음성 인식에서와 같이, 사운드 패턴들로서 음성 인식기(240)로 입력되는 대신에, 이들은 트리 검색 엔진(474)에 직접적으로 제공된다. 벡터들을 트리 검색 엔진(474)에 제공하는 것에 의해, 본 발명은, 벡터들이 다른 곳에서 발생된 것이 아니라, 음성 인식기 자신의 특징 추출 모듈로부터 수신된 것이라고 믿도록, 음성 인식기를 "속일" 수 있다. 이상적 벡터들을 음성 인식기에 제공하는 것이 단계 555에 도시되어 있다.

제공된 특징 벡터들을 사용해, 음성 인식기는 단계 560에서 인식 결과들을 출력한다. 그 다음, 이 출력은 음성 인식기 프로그래밍에서의 오류들 또는 문제점들을 확인하기 위해 개발자에 의해 분석될 수 있다. 시스템의 추가적 조정 또는 시험이 단계 570에서 수행될 수도 있다.

소정 실시예들을 참조하여 본 발명을 설명하였지만, 당업자들은, 본 발명의 사상 및 범위를 벗어나지 않으면서, 형태 및 세부 사항이 변경될 수 있다는 것을 알 수 있을 것이다.

본 발명은, 값비싼 사운드 파일들을 사용해 음성 인식기를 시험하는 대신에, 텍스트 문서들의 기존의 대용량 언어 자료를 차입한다. 텍스트 문서들을 차입함으로써, 음성 인식기 시스템들에서의 결과들, 처음 결과가 틀렸을 경우의 다른 결과들 등의 포매팅에 기초해 시스템들의 특징들을 기능적으로 시험하고, 언어의 어떤 화자들에 대한 필요없이 시스템을 시험하며, 시스템이 실제 상황들에서 갖게 될 오류들의 일부를 예측하는 능력과 같은 이점이 있다.

Claims

음성 인식 시험 시스템으로서,

특징 벡터들(feature vectors)의 시퀀스에 기초하여 출력을 제공하는 음성 인식기,

적어도 하나의 단어를 갖는 제공된 텍스트에 대해 발음을 제공하는 발음 툴 - 상기 발음은 복수의 음소(plurality of phonemes)를 포함하고, 상기 발음 툴은 단어들에 대한 발음을 저장하는 발음들의 데이터베이스와 텍스트로부터 음소들을 발생시키는 텍스트-음성 합성기(text-to-speech synthesizer)를 포함하고, 상기 발음 툴은 우선 상기 텍스트 내에 식별된 단어들에 대한 상기 발음을 얻기 위해 상기 발음들의 데이터베이스를 액세스하고, 만일 상기 발음들의 데이터베이스가 상기 발음을 포함하지 않는 경우 상기 텍스트-음성 합성기를 이용하여 상기 텍스트에 대한 상기 발음을 얻음 -,

상기 제공된 발음으로부터 상기 복수의 음소 각각에 대한 모델을 발생시키고 상기 발생된 모델들 각각을 대표하는 Hidden Markov Model(HMM)에 대한 Hidden Markov Model 상태들의 시퀀스를 선택하는 모델 유닛 발생기(model unit generator) - 상기 선택된 HMM 상태들의 시퀀스는 상기 텍스트를 발생시키도록 인식된 음성의 인식 도중에 상기 음성 인식기가 베스트 시퀀스(best sequence)로 선정하는 시퀀스이고, 상기 모델을 발생시키는 것은 상기 발생된 모델들 중 적어도 하나에 대하여 복수의 후보 HMM을 선택하는 것을 포함함 -,

특징 벡터들을 저장하는 특징 벡터들의 데이터베이스, 및

상기 제공된 텍스트의 상기 제공된 발음으로부터 상기 음성 인식기로 제공될 상기 특징 벡터들의 시퀀스를 발생시키는 벡터 발생기 - 상기 HMM 상태들의 시퀀스 각각의 상태에 대하여, 상기 발생된 모델 중 하나에서의 Markov 상태의 주어진 혼합(mixture)과 가장 가까운 확률 분포 매치(probability distribution match)를 가지는 특징 벡터를 상기 특징 벡터들의 데이터베이스로부터 선택하는 것에 의해 상기 특징 벡터들 중 적어도 하나가 발생되고, 이로써 상기 텍스트의 인식 도중에 상기 선택된 특징 벡터들을 상기 음성 인식기에 제공할 때, 상기 선택된 특징 벡터들이 상기 텍스트에 대한 베스트 스코어(best score)를 형성하게 됨 -

를 포함하고,

상기 선택된 특징 벡터들을 상기 음성 인식기에 의해서 이용되는 포맷으로 포맷하고,

상기 포맷되고 선택된 특징 벡터들을 이용하여 상기 음성 인식기를 시험하는, 음성 인식 시험 시스템.
제1항에 있어서,

상기 발음 툴은 상기 발음에 대한 음소들의 시퀀스를 발생시키고,

상기 모델 유닛 발생기는 상기 음소들의 시퀀스에 있는 각 음소에 대한 모델들을 식별하는, 음성 인식 시험 시스템.
제2항에 있어서,

상기 모델 유닛 발생기는 상기 음소들의 시퀀스에 있는 음소들 각각에 대한 모델들의 발생시에 모델들의 데이터베이스에 액세스하는, 음성 인식 시험 시스템.
제3항에 있어서,

상기 특징 벡터들의 데이터베이스는 상기 음성 인식기의 음향 모델을 포함하는, 음성 인식 시험 시스템.
음성 인식 시스템을 시험하는 방법으로서,

적어도 하나의 단어를 갖는 텍스트를 수신하는 단계;

우선 상기 적어도 하나의 단어의 발음을 표시하는(indicating) 음소들을 얻기 위해 발음들의 데이터베이스에 액세스하고 만일 상기 발음들의 데이터베이스가 상기 적어도 하나의 단어에 대한 음소들을 포함하지 않는 경우라면, 상기 적어도 하나의 단어의 상기 발음을 표시하는 상기 음소들을 얻기 위해 상기 수신된 텍스트를 텍스트-음성 합성기에 제공하여, 복수의 음소를 포함하는 상기 텍스트에 대한 발음을 발음 툴을 사용하여 발생시키는 단계;

상기 발음의 상기 음소들 각각에 대한 모델을 발생시키고 상기 발생된 모델들 각각을 대표하는 Hidden Markov Model(HMM)에 대한 Hidden Markov Model 상태들의 시퀀스들을 선택하는 단계 - 상기 선택된 HMM 상태들의 시퀀스는 상기 적어도 하나의 단어를 포함하는 음성의 인식 도중에 음성 인식기가 베스트 시퀀스로 선정하는 시퀀스이고, 상기 모델을 발생시키는 것은 상기 발생된 모델들 중 적어도 하나에 대하여 복수의 후보 HMM을 선택하는 것을 포함함 -;

상기 모델로부터 상기 발음에 대해 특징 벡터들의 시퀀스를 발생시키는 단계 - 상기 HMM 상태들의 시퀀스 각각의 상태에 대하여, 상기 발생된 모델 중 하나에서 Markov 상태의 주어진 혼합과 가장 가까운 확률 분포 매치를 가지는 특징 벡터를 특징 벡터들의 데이터베이스로부터 선택하는 것에 의해 상기 특징 벡터들 중 적어도 하나가 발생되고, 이로써 상기 적어도 하나의 단어의 인식 도중에 상기 선택된 특징 벡터들을 상기 음성 인식기에 제공할 때, 상기 선택된 특징 벡터들이 상기 텍스트에 대한 베스트 스코어를 형성하게 됨 -;

상기 벡터들의 시퀀스를 상기 음성 인식 시스템에 제공하는 단계; 및

시험 평가(testing evaluation)를 위해, 상기 제공된 벡터들의 시퀀스에 응답하여 상기 음성 인식 시스템으로부터 텍스트를 출력하는 단계

를 포함하는, 시험 방법.
제5항에 있어서,

상기 모델을 발생시키는 단계는 상기 음소들의 시퀀스에 대해 모델 유닛들의 시퀀스를 발생시키는 단계를 더 포함하는, 시험 방법.
제6항에 있어서,

상기 음소들의 시퀀스에 대해 모델 유닛들의 시퀀스를 발생시키는 단계는,

모델들의 데이터베이스에 액세스하는 단계;

상기 모델들의 데이터베이스에서 상기 음소들의 시퀀스의 일 음소와 매치하는 모델을 식별하는 단계; 및

그 식별된 모델을 해당 모델로서 리턴하는 단계

를 더 포함하는, 시험 방법.
제6항에 있어서,

상기 모델 유닛들의 시퀀스의 각 모델 유닛 마다 적어도 하나의 확률을 얻는 단계를 더 포함하는, 시험 방법.
제8항에 있어서,

상기 얻은 모델은 HMM(Hidden Markov Model)이고,

상기 HMM의 Markov 상태 각각마다 확률이 얻어지는, 시험 방법.
제9항에 있어서,

상기 Markov 상태 각각에 대한 확률은 해당 상태에 대한 확률 분포로부터 얻어지는, 시험 방법.
제10항에 있어서,

상기 특징 벡터들의 데이터베이스는 상기 음성 인식 시스템의 음향 모델인, 시험 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제