KR100404852B1 - Speech recognition apparatus having language model adaptive function and method for controlling the same - Google Patents

Speech recognition apparatus having language model adaptive function and method for controlling the same Download PDF

Info

Publication number
KR100404852B1
KR100404852B1 KR19960032468A KR19960032468A KR100404852B1 KR 100404852 B1 KR100404852 B1 KR 100404852B1 KR 19960032468 A KR19960032468 A KR 19960032468A KR 19960032468 A KR19960032468 A KR 19960032468A KR 100404852 B1 KR100404852 B1 KR 100404852B1
Authority
KR
Grant status
Grant
Patent type
Prior art keywords
data
sentence
speech recognition
frequency
input
Prior art date
Application number
KR19960032468A
Other languages
Korean (ko)
Other versions
KR19980013825A (en )
Inventor
이승배
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Abstract

PURPOSE: A speech recognition apparatus having a language model adaptive function and a method for controlling the same are provided to improve the speech recognition rate and a response characteristic by revising a language model. CONSTITUTION: An acoustic model element(14) constructs an acoustic model related to speaking data for learning. A pronunciation lexicon(22) mentions words to be pronounced. A sentence data unit(16) is constructed with sentences for learning. A frequency data unit(18) has frequency data related to word sequence of the sentences recorded on the sentence data unit. A probability data unit(20) has probability data related to the calculated word sequence by using the frequency data. A recognition processing unit(26) recognizes inputted speech for combining the words of the pronunciation lexicon for generating a recognized sentence. An adaptation sentence processing unit(28) inputs the sentence received from the user and a weight value of the word sequence in the sentence, and revises the frequency data and the probability data.

Description

언어모델 적응기능을 가진 음성인식장치 및 그 제어방법 Speech recognition device with a language model adaptation and control method

본 발명은 음성인식장치에 있어서, 고정된 언어 모델을 수정하여 음성인식확률 및 시간을 향상시킬 수 있는 언어모델 적응기능을 갖는 음성인식장치 및 그 제어방법에 관한 것이다. The present invention relates to a method, modify the fixed language model to the speech recognition with a language model adaptation feature that can improve the speech recognition probability, and hour unit, and a control method for a voice recognition device.

일반적으로 음성인식장치는 음성인식을 하기 위해서 언어학적 모델(language model), 음향학적 모델 및 발음사전을 이용한다. Typically speech recognition apparatus uses a linguistic model (language model), the acoustic model and the pronunciation dictionary for speech recognition. 언어학적 모델은 학습용 문장 데이타베이스에 구축된 단어와 단어간의 발생빈도 데이타 및 그를 이용하여 연산된 바이그램(Bigram) 또는 트라이그램(Trigram)의 확률인 발생확률데이타로 이루어진다. Linguistic model is made of the probability of the occurrence probability of the data occurs between words and word frequency data and calculated using him bayigeuraem (Bigram) or tri-grams (Trigram) built on learning sentence database. 바이그램은 두개의 단어쌍으로 이루어지는 단어 시퀀스를 표현하고 트라이그램은 3개의 단어들로 이루어진 단어 시퀀스를 나타낸다. Bayigeuraem represents a word sequence composed of a two-word pairs and word trigrams represents a sequence of three words. 즉, 바이그램의 확률은 하나의 이전 단어에 대한 현재 단어의 발생확률이고, 트라이그램의 확률은 두개의 이전 단어들에 대한 현재 단어의 발생확률로서 이들은 각각 다음의 식1 및 식2 와 같이 된다. That is, the probability of bayigeuraem is the generation of the current word probabilities for one of the previous word, a generation of the current word probabilities for the probability of the two previous words of the trigrams each of which is as shown in the following equation 1 and the equation 2 below.

식1 및 식2 에 있어서, C(,)는 발생빈도 수 이다. According to equation 1 and the equation 2, C (,) is the frequency number. 이와 같이, 종래의 음성인식장치는 학습용 문장 데이타베이스에 구축된 문장상의 단어들에 대한 발생빈도 데이타 및 발생확률 데이타만을 구비한다. Thus, the conventional voice recognition apparatus has only the frequency data and the occurrence probability data for the word on the statement build the training sentence database. 이로 인하여, 종래의 음성인식장치는 학습용 문장 데이타베이스에 구축된 문장들에 포함된 단어들에 대해서만 음성을 인식할 뿐 그 이외의 단어들에 대해서는 인식할 수 없었다. For this reason, conventional voice recognition device could not be recognized for words other than just to recognize speech only to the words in a sentence built on learning sentence database. 이는 정보량의 비대화로 인하여 발생 가능한 모든 경우의 문장 패턴(Pattern)이 포함되도록 학습용 문장 데이타베이스를 구축할 수 없는 것에 기인한다. This is due to not being able to build a learning database that includes sentences This sentence pattern (Pattern) of all possible cases caused by non amount of information. 이러한 문제점을 해결하기 위한 방안으로, 스므싱(Smoothing) 기법을 사용한 음성인식장치가 제안되었다. As a way to solve this problem, it switches the voice recognition system was proposed with meusing (Smoothing) method. 스므싱 기법은 학습용 텍스트 데이타베이스에 등록되지 않은 단어 시퀀스에 대한 확률값을 추정하여 그 추정된 발생확률값에 의해 음성인식장치로 하여금 음성인식을 수행하도록 한다. Meusing's technique allows the speech recognition device by the estimated occurrence probability by estimating a probability for the word sequence is not registered in the training text database to perform speech recognition. 이 스므싱 기법의 일례를 들면, IEEE 1987년 3월호 번호3 볼륨 35의 Acoustics, Speech and Signal Processing 편의 페이지 400 및 401에 개시된 SMKatz의 논문 "Estimation of Probabilities from Sparse Data for the Language Model Component of a Speech Recognizer"을 들 수 있다. As one example of a switch meusing techniques, IEEE in the March 1987 issue No. 3 Volume 35 Acoustics, Speech and Signal Processing SMKatz papers disclosed conveniences pages 400 and 401 "Estimation of Probabilities from Sparse Data for the Language Model Component of a Speech It may be a Recognizer ". SMKatz의 논문은 현재의 단어 및 이전의 n개의 단어가 학습용 텍스트 데이타베이스에 등록되어 있을 경우에 식3에 의해 산출된 발생확률 데이타가 음성인식에 사용되도록 한다. SMKatz papers are to be calculated if the words of the current and the previous n-word is registered in the learning text database by the equation (3) probability data is used for voice recognition.

이와는 달리,학습용 텍스트 데이타베이스에 등록되지 않은 현재 단어 및 이전의 n개의 단어가 발생한 경우에 SMKatz의 논문은 다음의 식4에 의해 추정된 발생확률 데이타가 음성인식에 사용되도록 한다. In contrast to that otherwise, the learning text data if the current word and the previous n-word is not registered in the database of articles generated SMKatz is generated estimated by the following equation (4) the probability of the data is used for voice recognition.

그러나, 스므싱 기법을 이용한 음성인식장치는 단어 시퀀스에 대한 발생확률값을 연산하는 과정을 필요로 하여 음성인식의 응답특성을 저하시킴과 아울러 인식 불가능한 음성을 인식하여 엉뚱한 문장 출력을 발생한다. However, the speech recognition apparatus using a scan meusing technique generates a wrong sentence output by the Sikkim degrade the response characteristics of the speech recognition as well as recognizes the voice recognition is impossible and requires the step of calculating the occurrence probability of the word sequence. 즉, 스므싱 기법을 이용한 음성인식장치는 음성인식률을 현저하게 저하시킴은 물론 음성인식장치의 신뢰성을 떨어뜨리는 문제점을 안고 있었다. That is, the speech recognition apparatus using a scan meusing technique was faced the problem to drop the reliability of the speech recognition device as well as Sikkim significantly degrade the speech recognition rate. 참고로, 스므싱 기법을 이용한 음성인식장치의 문제점을 첨부한 제1도를 참조하여 상세히 살펴보기로 한다. For reference, see attached Fig.'s described first problem of the speech recognition apparatus using a technique to be meusing to view at detail.

제 1 도를 참조하면, 학습(훈련)용 발성데이타부(10)에 직렬 접속된 제1 특징추출부(12) 및 음향학적 모델부(14)와, 학습(훈련)용 문장 데이타부(16)에 직렬 접속된 발생빈도 데이타부(18) 및 발생확률 데이타부(20)를 구비한 종래의 음성인식장치가 도시되어 있다. First Referring to FIG., Learning (training) connected in series to the first feature extraction unit 12 and the acoustic model section 14 and the learning (training) portion (16 sentence data for the for the speech data section 10 ), a conventional voice recognition apparatus is shown having a frequency data part (18) and the occurrence probability of data unit (20, connected in series) to. 학습용 발성 데이타부(10)는 사용자가 미리 지정된 문장들을 발성한 음성 데이타들에 의해 구축된다. Learning utterance data unit 10 is constructed by the audio data a spoken sentence of a user is prescribed. 제1 특징추출부(12)는 학습용발성 데이타부(10)의 음성 데이타들로부터 사용자가 갖는 특징 파라메터들을 추출한다. A first feature extraction unit 12 extracts the feature parameters from the user and having the audio data of the learning speech data unit (10). 음향학적 모델부(14)는 제1 특징추출부(12)로부터의 특징 파라메터들을 이용하여 음소를 나타내는 HMM(Hidden Markov Models)과 같은 음향 모델들을 형성한다. Acoustic model unit 14 to form acoustic models, such as the first feature extraction unit HMM (Hidden Markov Models) representing the phoneme by using the feature parameter from the 12. 이들 음향 모델 등은 음성의 인식과정에서 기준 모델로서 이용된다. The acoustic models and the like are used as the reference model in the speech recognition process.

한편, 학습용 문장 데이타부(16)는 음성인식에 사용될 가능성이 있는 문장들에 의하여 구축된다. On the other hand, the training sentence data unit 16 is constructed by the sentence that may be used for speech recognition. 학습용 문장 데이타부(16)에 구축된 학습용문장들은 제작자에 의해 사용될 가능성 있다고 판단된 것들로서 그 양이 한정된다. The learning building sentences in the training data sentence section 16 are judged as those likely to be used by the manufacturer only that amount. 그리고 발생빈도 데이타부(18)는 연산과정에 의해 학습용문장 데이타부(16)상의 문장들에서의 단어 시퀀스들에 대한 발생빈도 데이타를 보유한다. And the frequency data part (18) will hold the frequency data for the word sequence in the sentence on the training sentence data unit 16 by the operation procedure. 발생확률 데이타부(20)는 발생빈도 데이타부(18)에 저장된 발생빈도 데이타를 이용하여 연산되어진 단어 시퀀스들(예를 들면, 바이그램 및 트라이그램)의 발생확률 데이타를 구비한다. Occurrence probability data section 20 having a generation probability of the word sequence data been calculated using the frequency data stored in the frequency data part 18 (e.g., bayigeuraem and trigram). 발생확률 데이타부(20)에 저장된 발생확률 데이타들은 식3에 의해 연산된다. Generating the probability of occurrence probability data stored in the data section 20 are calculated by the equation (3).

그리고 종래의 음성인식장치는 사용자가 발성한 인식대상용 음성 데이타를 입력하는 제2 특징추출부(24)와, 제2 특징 추출부(24)와 접속된 음성인식부(26)를 추가로 구비한다. And a conventional speech recognition apparatus of the second feature extraction unit 24, a second feature extraction unit further includes a speech recognition unit 26 connected to (24) for inputting the audio data for the recognition target by the user vocalization do. 제2 특징추출부(24)는 시료 음성데이타로부터 특징 파라메터들을 추출하고 추출된 특징 파라메터들을 음성인식부(26)에 공급한다. A second feature extraction unit 24 supplies the feature parameter extraction of the feature parameter is extracted from the sample voice data to the voice recognition unit 26. 음성인식부(26)는 제2 특징추출부(24)로부터의 특징 파라메터들을 음향학적 모델부(14)에 구축된 음향학적 모델들과 음향적으로 대비하고 그 결과를 이용하여 단어의 시퀀스를 탐색한다. Navigate to the sequence of words to the speech recognition unit 26 and compared with a second aspect of the acoustic model and acoustic building characteristics parameters from the extraction unit 24 to the acoustic model section 14 using the results do. 단어 시퀀스의 탐색을 위하여, 음성인식부(26)는 발생빈도 데이타 및 발생확률 데이타를 참조하여 발음사전(22)에 수록된 단어들을 조합하여 문장을 구성한다. For the search of the word sequence, and the speech recognition unit 26 is configured by combining the sentence of words contained in the pronunciation dictionary 22, with reference to the frequency data and the probability of occurrence of data. 이 때, 음향학적 대비 결과에 따른 발생빈도 데이타 및 발생확률 데이타가 존재하지 않으면(즉, 학습용문장 데이타부에 구축되지 않은 문장들에 대한 시료 음성이 입력되었을 경우), 음성인식부(26)는 식4를 이용하여 음향학적 대비 결과에 따른 단어 시퀀스의 발생확률 데이타를 연산한다. At this time, the acoustic If the compared result to the frequency of occurrence data and the probability of occurrence of data is not present in accordance with (that is, if the sample voice for the non-build sentences in the training text data unit is input), the speech recognition section 26 using equation 4 to compute the probability of word sequence data according to a result compared acoustically. 이 연산된 결과에 근거하여 발음사전(22)상의 단어들을 조합하여 문장을 구성한다. Based on the result of the operation constitutes a sentence by combining the words on the pronunciation dictionary 22. 그리고 음성인식부(26)는 구성된 문장을 음성인식의 결과로써 출력한다. And the speech recognizer 26 outputs a sentence configured as a result of speech recognition.

이와 같이 구성된 종래의 음성인식장치는 스므싱 기법을 이용하여 학습용 문장 데이타부(16)에 구축되지 않은 문장들에 관한 단어 시퀀스의 발생확률 데이타를 연산하여 시료 음성 데이타를 인식할 수 있으나, 발생확률 데이타의 연산으로 인하여 음성입력으로부터 인식된 문장이 출력될 때까지의 응답속도를 현저하게 저하시키는 단점을 안고 있다. Thus, conventional speech recognition device is configured, switch meusing techniques to recognize the sample voice data to the computing the probability of occurrence data of word sequence in the non-built text in training text data portion 16 using However, the probability due to the operation of the data it suffers the drawback of significantly lowering the response speed of the output until the text recognized from speech input. 그리고 종래의 음성인식장치는 시료 음성 데이타와는 전혀 다른 단어 시퀀스의 발생확률을 생성하여 발음사전(22)상에 등록되지 않은 단어들을 포함하는 문장에 관한 시료 음성데이타를 인식함으로써 오류의 인식문장을 출력한다. And conventional voice recognition apparatus for the sample recognition of by recognizing the audio data error sentence of the sentence containing the unregistered words on the pronunciation dictionary 22 to generate the probability of the sample voice data with the different word sequence outputs. 이로 인하여, 종래의 음성인식장치는 음성인식률을 저하시키는 것은 물론이며 나아가 그 신뢰성을 현저하게 떨어뜨리는 문제점을 야기시킨다. Due to this, the conventional voice recognition apparatus to cause a problem to break it to lower the voice recognition as well as a further significantly reduce its reliability.

따라서, 본 발명의 목적은 언어학적 모델의 수정을 가능하게 하여 음성인식률 및 응답특성을 향상시킬 수 있는 언어모델 적응기능을 가진 음성인식장치 및 그 방법을 제공함에 있다. Accordingly, it is an object of the present invention to provide a speech recognition apparatus and method with the language model adaptation feature that can improve the speech recognition accuracy and response characteristics to enable modification of linguistic model to provide.

상기 목적을 달성하기 위하여, 본 발명에 따른 음성인식장치는 학습용발성 데이타에 대한 음향학적 모델이 구축된 음향학적 모델링 수단과, 발음될 단어들이 수록된 발음사전과, 학습용문장들에 의해 구축된 학습용문장 데이타부와, 학습용문장 데이타부에 수록된 문장들의 단어 시퀀스에 대한 발생빈도 데이타가 수록된 발생빈도 데이타부와, 발생빈도 데이타부에 수록된 발생빈도 데이타를 이용하여 산출된 단어 시퀀스들에 대한 발생확률 데이타를 갖는 발생확률 데이타부와, 음향학적 모델, 발생확률 데이타 및 발생빈도 데이타를 이용하여 입력 음성에 대한 인식과정을 수행하여 발음사전상의 단어들을 조합함으로써 인식된 문장을 발생하는 인식처리수단과, 사용자로부터의 문장 및 그 문장에서의 단어 시퀀스에 대한 비중값을 입력하고 비중값 In order to achieve the above object, a speech recognition device according to the invention the training sentences built by the acoustic model, the acoustic model means built on the training speech data, and contained the words to be pronunciation dictionary, the training sentences the occurrence probability data for the data unit, and a training text data portion of the word sequence output and the frequency data part contained the frequency data for the word sequence of a sentence, the frequency using the frequency of occurrence of data contained in the data unit contained in from the occurrence probability data portion, and the acoustic model, the occurrence probability of data and the frequency by using the data to perform a recognition process on the input speech recognizing processing means for generating a recognized sentence by combining the words on the pronunciation dictionary and a user having the input sentence and the specific gravity value of the word sequence in sentence and specific gravity values 에 의해 발생빈도 데이타부상의 발생빈도 데이타 및 발생확률 데이타부상의 발생확률 데이타를 수정하는 적응문장 처리수단을 구비한다. A frequency data portion of data the frequency and probability of occurrence of adaptation sentences by provided with a processing means for modifying the occurrence probability data in the data portion.

상기 목적을 달성히기 위하여, 본 발명에 따른 음성인식방법은 사용자가 음성인식에 적용하고자 하는 문장을 입력하는 과정과, 입력된 문장에 대한 단어 시퀀스에 대한 비중값을 입력하는 과정과, 비중값에 의해 언어학적 모델을 구성하는 단어 시퀀스의 발생빈도값 및 발생확률값을 수정하는 과정을 포함한다. To higi achieve the above object, a speech recognition process according to the invention is a process and a specific gravity value of entering the specific gravity values ​​for the word sequence of the process and, the input sentence to the input sentence that the user desires to apply for speech recognition constituting a linguistic model, by including the step of modifying the frequency value and the occurrence probability of the word sequence.

상기 목적외에 본 발명의 다른 목적 및 잇점들은 첨부 도면을 참조한 본 발명의 실시예들에 대한 상세한 설명을 통하여 명백하게 드러나게 될 것이다. Other objects and advantages of the present invention in addition to the above-described object will be revealed clearly through the detailed description of the embodiments of the present invention taken in conjunction with the accompanying drawings.

이하,본 발명의 실시예들을 첨부한 제2도 내지 제5도를 참조하여 상세히 설명하기로 한다. Referring to the FIG. 2 to FIG. 5 accompanying the embodiments of the invention will be described in detail.

제 2 도에는 본 발명의 제1 실시예에 따른 언어모델 적응기능을 가진 음성인식장치가 도시되어 있다. 2 also has a voice recognition device with a language model adaptation according to the first embodiment of the present invention. 제 2 도에 있어서, 음성인식장치는 학습용 발성데이타부(10)에 직렬 접속된 제1 특징추출부(12)및 음향학적 모델부(14)와, 학습용문장 데이타부(16)에 직렬 접속된 발생빈도 데이타부(18) 및 발생확률 데이타부(20)를 구비한 종래의 음성인식장치가 도시되어 있다. The method of claim 2, the speech recognition apparatus and connected in series to the learning speech data unit (10) a first feature extraction unit 12 and the acoustic model section 14, connected in series to the training sentence data unit 16 the incidence there is a conventional speech recognition device is shown comprising a data section 18 and a probability of occurrence of data unit (20). 학습용 발성 데이타부(10)는 사용자가 미리 지정된 문장들을 발성한 음성 데이타들에 의해 구축된다. Learning utterance data unit 10 is constructed by the audio data a spoken sentence of a user is prescribed. 제1 특징추출부(12)는 학습용 발성 데이타부(10)의 음성 데이타들로부터 사용자가 갖는 특징 파라메터들을 추출한다. A first feature extraction unit 12 extracts the feature parameters from the user and having the audio data of the learning speech data unit (10). 음향학적 모델부(14)는 제1 특징추출부(12)로부터의 특징 파라메터들을 이용하여 음소를 나타내는 HMM(Hidden Markov Models)과 같은 음향 모델들을 형성한다. Acoustic model unit 14 to form acoustic models, such as the first feature extraction unit HMM (Hidden Markov Models) representing the phoneme by using the feature parameter from the 12. 이들 음향모델등은 음성의 인식과정에서 기준 모델로서 이용된다. The acoustic models and the like are used as the reference model in the speech recognition process.

한편, 학습용 문장 데이타부(16)는 음성인식에 사용될 가능성이 있는 문장들에 의하여 구축된다. On the other hand, the training sentence data unit 16 is constructed by the sentence that may be used for speech recognition. 학습용 문장 데이타부(16)에 구축된 학습용문장들은 제작자에의해 사용될 가능성 있다고 판단된 것들로서 그 양이 한정된다. The learning building sentences in the training data sentence section 16 are judged as those likely to be used by the manufacturer only that amount. 그리고 발생빈도 데이타부(18)는 연산과정에 의해 학습용문장 데이타부(16)상의 문장들에서의 단어 시퀀스들에 대한 발생빈도 데이타를 보유한다. And the frequency data part (18) will hold the frequency data for the word sequence in the sentence on the training sentence data unit 16 by the operation procedure. 발생확률 데이타부(20)는 발생빈도 데이타부(18)에 저장된 발생빈도 데이타를 이용하여 연산되어진 단어 시퀀스들(예를 들면, 바이그램 및 트라이그램)의 발생확률 데이터를 구비한다. Occurrence probability data section 20 having a generation probability of the word sequence data been calculated using the frequency data stored in the frequency data part 18 (e.g., bayigeuraem and trigram). 발생확률 데이타부(20)에 저장된 발생확률 데이타들은 상기 식3에 의해 연산된 값들을 갖는다. Probability of occurrence probability of occurrence stored in the data section 20 of data have the values ​​calculated by the equation (3).

그리고 언어모델 적응기능을 가진 음성인식장치는 사용자가 발성한 인식 대상용 음성 데이타를 입력하는 제2 특징추출부(24)와,제2 특징 추출부(24)와 접속된 음성인식부(26)를 추가로 구비한다. And the voice recognition device is a second feature extraction unit 24, the speech recognition unit 26 connected to the second feature extraction unit 24 for inputting the audio data for the recognition target by the user utterance with the language model adaptation feature the further comprises a. 제2 특징추출부(24)는 시료 음성데이타로부터 특징 파라메터들을 추출하고 추출된 특징 파라메터들을 음성인식부(26)에 공급한다. A second feature extraction unit 24 supplies the feature parameter extraction of the feature parameter is extracted from the sample voice data to the voice recognition unit 26. 음성인식부(26)는 제2 특징추출부(24)로부터의 특징 파라메터들을 음향학적 모델부(14)에 구축된 음향학적 모델들과 음향적으로 대비하고 그 결과를 이용하여 단어의 시퀀스를 탐색한다. Navigate to the sequence of words to the speech recognition unit 26 and compared with a second aspect of the acoustic model and acoustic building characteristics parameters from the extraction unit 24 to the acoustic model section 14 using the results do. 단어 시퀀스의 탐색을 위하여, 음성인식부(26)는 발생빈도 데이타 및 발생확률 데이타를 참조하여 발음사전(22)에 수록된 단어들을 조합하여 문장을 구성한다. For the search of the word sequence, and the speech recognition unit 26 is configured by combining the sentence of words contained in the pronunciation dictionary 22, with reference to the frequency data and the probability of occurrence of data. 그리고 음성인식부(26)는 구성된 문장을 음성인식의 결과로써 출력한다. And the speech recognizer 26 outputs a sentence configured as a result of speech recognition.

또한, 언어모델 적응기능을 가진 음성인식장치는 발생빈도 데이타부(18), 발생확률 데이타부(20) 및 발음사전(22)에 접속된 적응문장 처리부(28)를 추가로 구비한다. Further, the voice recognition device has a language model adaptation is further provided with an adaptation sentences processing section 28 connected to the frequency data part (18), the occurrence probability data unit 20 and the pronunciation dictionary 22. 적응문장 처리부(28)는 사용자가 음성인식에 추가로 적용하기를 원하는 문장(이하 "적응문장"이라 함)들을 입력하고 이 적응문장에 발음사전(22)에 등록되지않은 단어들이 포함되어 있는가 검사하여 등록되지 않은 단어를 발음사전(22)에 등록시킨다. Adaptation sentences processing section 28 checks What the user is inputting text (the "adaptation sentences") wants to apply additional speech recognition includes are not registered in the pronunciation dictionary 22. In this adaptation sentence word It registers the unregistered word to the pronunciation dictionary 22. 그리고 적응문장 처리부(28)는 입력된 적응문장이 인식 가능한 문장인가를 판단하여 그 결과을 사용자에게 통보한다. And adaptation sentences processing section 28 judges the input is capable of adaptation sentences recognized text informs the user that gyeolgwaeul.

또한, 적응문장 처리부(28)는 적응문장들에 대한 비중값들을 입력하여 발생빈도 데이타부(18)상의 발생빈도 데이타 및 발생확률 데이타부(20)상의 발생확률 데이타를 수정한다. In addition, the adaptation text processing section 28 modifies the occurrence probability data on the occurrence frequency data and the probability of occurrence of data unit 20 on the occurrence frequency data part (18) to enter the specific gravity values ​​for the adaptation sentence. 이에 따라, 학습용문장 데이타부(16)에 구축되지 않고 사용자가 희망하는 특정 문장이 인식될 수 있도록 한다. Accordingly, it is not built into the training sentence data unit 16 is to be a specific statement recognize that the user desired. 제2도에 도시된 제1 및 제2 특징추출부(12,24), 음성인식부(26) 및 적응문장 처리부(28)는 연산기능을 가진 프로세서(예를 들면, CPU(Centural Process Unit))와 그에 의해 구동되는 음성인식 프로그램 및 언어모델 적응 프로그램에 의해 구현될 수 있다. FIG. 2 the first and second feature extraction unit (12,24), the voice recognition section 26 and adaptation sentences processing section 28 is a processor that has an operation function (for example, CPU (Centural Process Unit) shown in ) and it may be implemented by a speech recognition program, and a language model adaptation program that is driven thereby. 그리고 음향학적 모델부(14), 발생빈도 데이타부(18), 발생확률 데이타부(20) 및 발음사전(22)은 메모리에 의해 구현될 수 있다. And acoustic model unit 14, the frequency data part (18), the occurrence probability data unit 20 and the pronunciation dictionary 22 can be implemented by a memory.

제 3 도는 본 발명의 제2 실시예에 따른 음성인식장치의 블럭구성을 도시한다. The third turn shows a block diagram of a speech recognition apparatus according to a second embodiment of the present invention. 제 3 도에 있어서, 키보드(30)는 음성인식을 위한 각종 기능명령 및 적응문장과 같은 데이타를 발생하여 CPU(32)에 공급한다. In FIG. 3, the keyboard 30 has generated the data, such as various function commands, and adaptation sentences for speech recognition and supplies it to the CPU (32). 롬(ROM, 34)은 음성인식을 위한 음성인식 프로그램 및 본 발명의 따른 언어모델 적응 프로그램을 저장하고 있다. ROM (ROM, 34) has stored a speech recognition program, and a language model adaptation program according to the present invention for speech recognition. 램(RAM, 36)은 제 4 도에 도시된 바와 같이 단어들로 구성된 발음사전(22), 학습용 문장들을 포함하는 학습용문장 데이타(16), 단어 시퀀스들에 대한 발생빈도값로 구성된 발생빈도 데이타(18)및 단어 시퀀스들의 발생확률값들을 포함하는 발생확률 데이타(20)을 저장한다. RAM (RAM, 36) are frequency data consisting of frequency values ​​for the pronunciation dictionary 22, a learning text data 16 including a training text, the word sequence of the words, as shown in FIG. 4 18 and stores the occurrence probability data 20 including the generation probability of the word sequence. 그리고 램(36)은 사용자의 음성데이타로부터 추출된 특징파라메터들을 포함하는 음향학적 모델(14)을 저장하고 마지막으로 CPU(32)의 연산과정에서 발생되는 작업용 데이타에 의해 발생된 연산 데이타들을 일시적으로 보관한다. The RAM 36 temporarily the calculated data produced by the working data, which is stored the acoustic model (14) containing the feature parameters extracted from the user's voice data and generating in the arithmetic process of the last CPU (32) keep it. 마이크(38)는 인식할 음성신호를 전기적신호로 변환한다. Microphone 38 converts the voice signal recognized into electrical signals. A/D변환기(40)는 전기적신호로 변환된 음성신호를 디지탈 신호로 변환하여 CPU(32)로 인가한다. A / D converter 40 converts the audio signal converted to the electric signal into a digital signal is applied to the CPU (32). 모니터(42)는 CPU(32)의 제어에 의해 각종 데이타를 디스플레이한다. Monitor 42 displays various data under the control of the CPU (32).

CPU(32)는 A/D 변환기(40)로부터의 음성데이타로부터 특징 파라메터들을 추출하고 추출된 특징 파라메터들을 램(36)상의 음향학적 모델(14)들과 음향적으로 대비하고 그 결과를 이용하여 단어의 시퀀스를 탐색한다. The CPU (32) is compared to the acoustic model (14) and acoustically on the RAM 36 of the feature parameter extracting feature parameter is extracted from the audio data from the A / D converter 40 and using the result It searches for a sequence of words. 단어 시퀀스의 탐색을 위하여, CPU(32)는 램(36)상의 발생빈도 데이타(18)및 발생확률 데이타(20)를 참조하여 발음사전(22)에 수록된 단어들을 조합하여 문장을 구성한다. For the search of the word sequence, CPU (32) constitutes a sentence with reference to the frequency data 18 and the occurrence probability data 20 on the RAM 36 is a combination of words contained in the pronunciation dictionary 22. 그리고 CPU(32)에 의해 구성된 문장은 모니터(42)상에 음성인식의 결과로써 디스플레이 된다. And a sentence constructed by the CPU (32) is displayed as a result of the speech recognition on a monitor 42.

그리고 CPU(32)는 키보드(30)으로부터 사용자가 음성인식에 추가로 적용하기를 원하는 적응문장 입력하고 이 적응문장에 램(36)상의 발음사전(22)에 등록되지 않은 단어들이 포함되어 있는가 검사하여 등록되지 않은 단어를 발음사전(22)에 등록시킨다. And inspection Is CPU (32) is included to pronounce the word dictionary is not registered in the 22 on the ram (36) and a user adaptation text input you wish to apply, in addition to speech recognition from the keyboard (30) to adapt the sentence It registers the unregistered word to the pronunciation dictionary 22. CPU(32)는 적응문장이 인식 가능한 문장인가를 판단하여 그 결과을 모니터(42)상에 표시한다. The CPU (32) judges the possible adaptation sentences is recognized sentence displayed on the monitor gyeolgwaeul 42.

또한, CPU(32)는 적응문장들에 대한 비중값들을 입력하여 램(36)상의 발생빈도 데이타(18) 및 발생확률 데이타(20)를 수정한다. In addition, CPU (32) corrects the frequency data 18 and the occurrence probability data 20 on the RAM 36 by the input specific gravity values ​​for the adaptation sentence. 즉, 학습용문장 데이타(16)에 존재하지 않은 특정 문장들이 인식될 수 있도록 함과 아울러 수정된 언어학적 모델(즉, 발생빈도 데이타 및 발생확률 데이타)에 의해 연산과정 없이 음성인식을수행한다. That is, it performs a voice recognition process by the learning operation without the sentence data as well as also modified to be a specific statement recognize that are not present in the 16 linguistic model (i.e., the frequency data and the generation probability of data). 이에 따라 음성입력 대한 응답특성을 향상시킬 수 있고, 더 나아가 음성인식의 정확도가 향상될 수 있도록 한다. Accordingly, to enhance the voice input system response, and so that they can be further improve the accuracy of speech recognition.

제 5 도는 본 발명의 실시예에 적용되는 언어학적 모델의 처리수순을 도시하는 흐름도이다. The fifth turning a flow chart showing a processing procedure of a linguistic model that apply to the embodiment of the present invention. 제 5 도의 흐름도는 제 3 도에 도시된 CPU(32)에 의해 수행되며, 이를 상세히 기술하도록 한다. Degrees flowchart of claim 5 is performed by the CPU (32) shown in FIG. 3, and described in detail to do this.

CPU(32)는 키보드(30)로부터 사용자가 입력한 문장 데이타를 입력하고(제44단계), 입력된 문장 데이타에 포함된 단어들과 램(36)의 발음사전(22)에 등록된 단어들과 비교하여 발음사전(22)에 등록되지 않은 단어가 있는가 검색한다 (제46 단계). CPU (32) is to registered to the pronunciation dictionary 22 of words and RAM 36 included in the keyboard 30 is input the sentence data entered by the user, and (a 44) from, the input sentence data word pronounced search there is not registered in the word dictionary 22 (step 46) as compared to. 제46 단계에서 등록되지 않은 단어가 입력 문장 데이타에 포함되어 있을 경우에 CPU(32)는 등록되지 않은 단어들을 램(36)상의 발음사전(22)에 등록한다 (제48 단계). And registers the first word that is not registered is the case in the CPU (32) to be included in the input sentence data are not registered in the word pronunciation dictionary 46 in step 22 on the RAM 36 (step 48).

제48 단계의 수행 후나 또는 발음사전(22)에 등록되지 않은 단어가 입력된 문장 데이타에 존재하지 않을 경우에 CPU(32)는 입력된 문장 데이타의 단어 시퀀스에 대한 램(36)상의 발생빈도 데이타(18) 및 발생확률 데이타(20)를 검색하여 음성인식 가능한 문장인가 판단한다 (제50 단계). 48 steps performed or after or pronunciation dictionary 22. When an unregistered word to not be present in the input sentence data to the CPU (32) of the frequency data on the RAM 36 for the word sequences of the input sentence data 18 and the probability of occurrence is applied sentences available speech recognition is determined by retrieving the data 20 (operation 50). 제50 단계에서 입력된 문장 데이타가 인식 불가능한 문장으로 판명된 경우, CPU(32)는 입력된 문장 데이타가 음성인식 불가능한 문장임을 모니터(42)에 표시하여 사용자가 인지할 수 있도록 한다 (제52 단계). If the cost turns out to be impossible with the sentence data to recognize input from the operation 50 sentences, CPU (32) is to appear in the sentence data, a monitor 42 that the sentence can not be a voice recognition input is for the user to recognize (operation 52 ).

제50 단계에서 입력된 문장 데이타가 음성인식 가능한 문장으로 판명되었거나 또는 제52 단계의 수행 후, CPU(32)는 키보드(30)을 스캔하여 입력된 문장 데이타를 음성인식에 적용하라는 사용자의 적응명령이 입력되는가 검색한다 (제54 단계). After the execution of the sentence data is found, or, or claim 52 step a statement available speech recognition input in operation 50, CPU (32) is adapted in user to apply the text data input by scanning the keyboard 30 to the speech recognition instruction How to retrieve the input (step 54). 제54 단계에서 사용자의 적응명령이 입력된 경우에 CPU(32)는 키보드(30)로부터 사용자가 입력한 "1" 미만의 비중값을 입력한다 (제56 단계). When the adaptation of the user to the command inputted CPU (32) in step 54 inputs a specific gravity value of less than "1" by the user input from the keyboard 30 (step 56). 그리고 CPU(32)는 입력된 비중값에 의해 입력된 문장 데이타의 단어 시퀀스들(바이그램 및 트라이그램)에 대한 램(36)상의 발생빈도 데이타(18) 및 발생확률 데이타(20)를 수정한다 (제58 단계). And the CPU (32) is modified to the word sequence of a sentence data inputted by the input density value (bayigeuraem and trigram) of RAM 36, the frequency data 18 and the occurrence probability on for the data (20) ( 58th step).

상술한 바와 같이, 본 발명에 따른 언어모델 적응기능을 음성인식 장치 및 그 제어방법은 사용자가 입력하는 문장에 따라 언어학적 모델을 수정하여 사용자가 음성인식에 적용하고자 하는 문장을 등록할 수 있다. As described above, the language model adaptation feature of the present invention a voice recognition device and a control method may be to modify the linguistic model in accordance with the statement that the user enters the user to register the sentence to be applied to speech recognition. 그리고 본 발명에 따른 언어모델 적응기능을 가진 음성인식장치 및 그 제어방법은 수정된 언어학적 모델(즉, 발생빈도 및 발생확률 데이타)를 이용하여 별도의 연산과정없이 음성인식을 수행함으로써 음성입력에 대한 응답속도를 향상시킬수 있고 음성인식의 정확도 및 신뢰성을 향상시킬 수 있다. And a voice recognition apparatus and the control method by using the modified linguistic model (that is, the frequency and probability of occurrence of data) performing speech recognition without a separate calculation process, the voice input with the language model adaptation feature of the present invention sikilsu to improve the response speed and improve the accuracy and reliability of voice recognition.

제 1 도는 종래의 음성인식장치의 블럭도. First turning a block diagram of a conventional voice recognition device.

제 2 도는 본 발명의 제1 실시예에 따른 언어모델 적응기능을 갖는 음성인식장치의 블럭도. A second turning a block diagram of a speech recognition device having the language model adaptation feature of the first embodiment of the present invention.

제 3 도는 본 발명의 제2 실시예에 따른 언어모델 적응기능을 갖는 음성인식장치의 블럭도. The third turning a block diagram of a speech recognition apparatus having a language model adaptation according to the second embodiment of the present invention.

제 4 도는 제3도에 도시된 메모리의 메모리 맵을 도시하는 도면. The fourth turning view showing a memory map of a memory illustrated in FIG. 3.

제 5 도는 본 발명의 실시예에 따른 언어모델 적응기능을 갖는 음성인식방법을 도시하는 흐름도. The fifth turning a flow diagram illustrating a voice recognition method with a language model adaptation according to embodiments of the present invention.

** 도면의 주요부분에 대한 부호의 설명 ** Description of the drawings ** **

10 : 학습용발성 데이타부 12,24 : 제1 및 제2 특징추출부 10: learning utterance data unit 12,24: the first and second feature extraction unit

14 : 음향학적 모델부 16 : 학습용문장데이타부 14: Acoustic Models Part 16: Learning sentences Data section

18 : 발생빈도 데이타부 20 : 발생확률 데이타부 18: Incidence data section 20: the probability data unit

22 : 발음사전 26 : 음성인식부 22: 26 pronunciation dictionary: voice recognition unit

28 : 적응문장 처리부 30 : 키보드 28: 30 adaptive processing statement: Keyboard

32 : CPU 34 : 롬 32: CPU 34: ROM

36 : 램 38 : 마이크 36: RAM 38: Mike

40 : A/D 변환기 42 : 모니터 40: A / D converter 42: Monitor

Claims (7)

  1. 학습용발성 데이타에 대한 음향학적 모델이 구축된 음향학적 모델링 수단과, The acoustic modeling means the acoustic model building for the training speech data, and,
    발음될 단어들이 수록된 발음사전과, Pre-recorded pronunciation and words are to be pronounced,
    학습용문장들에 의해 구축된 학습용문장 데이타부와, And a statement Learning data portion constructed by a statement Learning,
    상기 학습용문장 데이타부에 수록된 문장들의 단어 시퀀스에 대한 발생빈도 데이타가 수록된 발생빈도 데이타부와, And the frequency data is frequency data part recorded on the word sequence of sentences contained in the training sentence data unit,
    상기 발생빈도 데이타부에 수록된 발생빈도 데이타를 이용하여 산출된 단어 시퀀스들에 대한 발생확률 데이타를 갖는 발생확률 데이타부와, And the occurrence probability data unit having the occurrence probability data for a word sequence calculated using the frequency of occurrence of data contained in the frequency data part,
    상기 음향학적 모델, 발생확률 데이타 및 발생빈도 데이타를 이용하여 입력 음성에 대한 인식과정을 수행하여 상기 발음사전상의 단어들을 조합함으로써 인식된 문장을 발생하는 인식처리수단과, And recognition processing means for generating the acoustic model, the occurrence probability of data and the frequency recognized by the sentence by using the data to perform the recognition process for the voice input on the combination of the word pronunciation dictionary,
    사용자로부터의 문장 및 그 문장에서의 단어 시퀀스에 대한 비중값을 입력하고, 비중값에 의해 상기 발생빈도 데이터부 상의 발생빈도 데이타 및 상기 발생확률 데이타부상의 발생확률 데이타를 수정하는 적응문장 처리수단을 구비한 것을 특징으로 하는 언어모델 적응기능을 가진 음성인식장치. The crest and adaptation sentences processing means for inputting the weight value for the word sequence in the statement, modify the frequency data and the occurrence probability data of the occurrence probability data portion on said frequency data part by the specific gravity value from the user speech recognition device with the ability to adapt the language model, characterized in that it includes.
  2. 제 1 항에 있어서, According to claim 1,
    상기 적응문장 처리수단은 상기 발음사전에 등록되지 않은 상기 입력문장상의 단어를 상기 발음사전에 등록하도록 된 것을 특징으로 하는 언어모델 적응기능을 가진 음성인식장치. It said adaptive processing means is a sentence speech recognition apparatus having a language model adaptation, characterized in that the registration to the word on the input statement is not registered in the pronunciation dictionary in the pronunciation dictionary.
  3. 제 1 항 또는 제 2 항에 있어서, According to claim 1 or 2,
    상기 적응문장 처리수단은 상기 입력 문장의 음성인식 가능성을 검사하여 그 결과를 사용자에게 통지하도록 된 것을 특징으로 하는 언어모델 적응기능을 가진 음성인식장치. It said adaptive processing means is a sentence speech recognition apparatus having a language model adaptation, characterized in that the to notify the result to the user by checking a possible speech recognition of the input sentence.
  4. 음향학적 모델, 언어학적 모델 및 발음사전을 이용하여 입력음성을 인식하는 음성인식방법에 있어서, In the speech recognition method of recognizing an input speech by using the acoustic model, language model and a pronunciation dictionary chemical,
    사용자가 음성인식에 적용하고자 하는 문장을 입력하는 과정과, The process of the user inputs a sentence to be applied to speech recognition and,
    상기 입력된 문장에 대한 단어 시퀀스에 대한 비중값을 입력하는 과정과, When entering the weight value for the word sequence for the input sentence and,
    상기 비중값에 의해 상기 언어학적 모델을 구성하는 단어 시퀀스의 발생빈도값 및 발생확률값을 수정하는 과정을 포함하는 것을 특징으로 하는 언어모델 적응기능을 가진 음성인식 제어방법. Voice recognition control method with a language model adaptation, comprising the step of modifying the frequency value and the occurrence of a word sequence constituting the linguistic model probability by the weight value.
  5. 제 4 항에 있어서, 5. The method of claim 4,
    상기 입력문장에 상기 발음사전에 등록되지 않은 단어가 존재하는가 검사하는 과정과, Does the process of checking the word is not registered in the pronunciation dictionary is present in the input sentence, and
    상기 발음사전에 등록되지 않은 상기 입력문장상의 단어를 상기 발음사전에 등록하는 과정을 추가로 포함하는 것을 특징으로 하는 언어모델 적응기능을 가진음성인식 제어방법. Voice recognition control method with a language model adaptation, comprising an additional step of registering the word on the input the sentence has not been registered in the pronunciation dictionary in the pronunciation dictionary.
  6. 제 4 항 또는 제 5 항에 있어서, 5. The method of claim 4 or 5,
    상기 입력 문장의 단어 시퀀스들에 대한 발생빈도 및 발생확률값들이 상기 언어모델에 설정되어 있는가를 검사하여 음성인식 가능성을 판단하는 과정과, The process of determining the likelihood of the speech recognition by examining whether the incidence and occurrence probability of the word sequence of the input sentences are set in the language model,
    상기 입력문장의 음성인식 불가능한 문장임을 사용자에게 통지하는 과정을 추가로 포함하는 것을 특징으로 하는 언어모델 적응기능을 가진 음성인식 제어방법. Voice recognition control method with a language model adaptation, comprising an additional step of notifying the user that the non-recognition of the voice input sentence.
  7. 사용자의 음성을 입력하기 위한 수단과, And it means for inputting the user's voice,
    단어들로 구성된 발음사전, 학습용 문장들에 대한 단어 시퀀스들에 대한 발생빈도값들, 단어 시퀀스들의 발생확률값들 및 음성을 모델링한 음향학적 모델이 저장된 메모리와, The pronunciation dictionary made up of words, the words generated for the sequences for the training sentence frequency value in, the occurrence probability and the acoustic model models the speech of the word sequence stored in memory and,
    상기 사용자로부터의 음성을 입력하는 음성입력수단과, And voice input means for inputting the speech from the user,
    상기 사용자가 지정하는 문장, 명령 및 비중값을 입력하는 키보드와, And a keyboard for entering text, commands, and specific gravity values ​​that the user specified,
    상기 음성입력수단으로부터의 음성을 상기 메모리에 저장된 상기 음향학적 모델, 발생빈도 및 발생확률값들과 발음사전을 이용하여 음성인식을 수행하고, 상기 키보드로부터 상기 사용자가 음성인식에 추가로 적용하기를 원하는 문장 및 그 문장의 단어 시퀀스에 대한 비중값을 입력하여 상기 비중값에 의해 상기 메모리상의 발생빈도 및 발생확률값들을 수정하는 제어수단을 구비한 것을 특징으로 하는언어모델 적응기능을 가진 음성인식장치. The voice from the voice input means by using the acoustic model, the frequency of occurrence and occurrence probability and the pronunciation dictionary stored in the memory to perform the speech recognition, and the user from the keyboard wants to apply in addition to the speech recognition sentences, and the sentence of the voice recognition device has a language model adaptation, characterized in that the control means for modifying the frequency of occurrence and occurrence probability on the memory by the input specific gravity values ​​for the word sequence to the specific gravity value.
KR19960032468A 1996-08-03 1996-08-03 Speech recognition apparatus having language model adaptive function and method for controlling the same KR100404852B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR19960032468A KR100404852B1 (en) 1996-08-03 1996-08-03 Speech recognition apparatus having language model adaptive function and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR19960032468A KR100404852B1 (en) 1996-08-03 1996-08-03 Speech recognition apparatus having language model adaptive function and method for controlling the same

Publications (2)

Publication Number Publication Date
KR19980013825A true KR19980013825A (en) 1998-05-15
KR100404852B1 true KR100404852B1 (en) 2003-10-28

Family

ID=37422618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR19960032468A KR100404852B1 (en) 1996-08-03 1996-08-03 Speech recognition apparatus having language model adaptive function and method for controlling the same

Country Status (1)

Country Link
KR (1) KR100404852B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100718147B1 (en) * 2005-02-01 2007-05-14 삼성전자주식회사 Apparatus and method of generating grammar network for speech recognition and dialogue speech recognition apparatus and method employing the same

Similar Documents

Publication Publication Date Title
US5949961A (en) Word syllabification in speech synthesis system
US6212498B1 (en) Enrollment in speech recognition
US6192337B1 (en) Apparatus and methods for rejecting confusible words during training associated with a speech recognition system
US6076056A (en) Speech recognition system for recognizing continuous and isolated speech
US6067514A (en) Method for automatically punctuating a speech utterance in a continuous speech recognition system
US5865626A (en) Multi-dialect speech recognition method and apparatus
US6694296B1 (en) Method and apparatus for the recognition of spelled spoken words
US6041299A (en) Apparatus for calculating a posterior probability of phoneme symbol, and speech recognition apparatus
US5737723A (en) Confusable word detection in speech recognition
US5680510A (en) System and method for generating and using context dependent sub-syllable models to recognize a tonal language
US6163768A (en) Non-interactive enrollment in speech recognition
US7010489B1 (en) Method for guiding text-to-speech output timing using speech recognition markers
US5878390A (en) Speech recognition apparatus equipped with means for removing erroneous candidate of speech recognition
US7580838B2 (en) Automatic insertion of non-verbalized punctuation
US5794204A (en) Interactive speech recognition combining speaker-independent and speaker-specific word recognition, and having a response-creation capability
EP0570660A1 (en) Speech recognition system for natural language translation
US6539353B1 (en) Confidence measures using sub-word-dependent weighting of sub-word confidence scores for robust speech recognition
US6952665B1 (en) Translating apparatus and method, and recording medium used therewith
US6453292B2 (en) Command boundary identifier for conversational natural language
Reddy et al. A model and a system for machine recognition of speech
US5758320A (en) Method and apparatus for text-to-voice audio output with accent control and improved phrase control
US5873061A (en) Method for constructing a model of a new word for addition to a word model database of a speech recognition system
US5937384A (en) Method and system for speech recognition using continuous density hidden Markov models
US6912499B1 (en) Method and apparatus for training a multilingual speech model set
US20050033575A1 (en) Operating method for an automated language recognizer intended for the speaker-independent language recognition of words in different languages and automated language recognizer

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070918

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee