KR20160059265A - Method And Apparatus for Learning Acoustic Model Considering Reliability Score - Google Patents

Method And Apparatus for Learning Acoustic Model Considering Reliability Score Download PDF

Info

Publication number
KR20160059265A
KR20160059265A KR1020140160931A KR20140160931A KR20160059265A KR 20160059265 A KR20160059265 A KR 20160059265A KR 1020140160931 A KR1020140160931 A KR 1020140160931A KR 20140160931 A KR20140160931 A KR 20140160931A KR 20160059265 A KR20160059265 A KR 20160059265A
Authority
KR
South Korea
Prior art keywords
phoneme
learning
information
speech recognition
recognition result
Prior art date
Application number
KR1020140160931A
Other languages
Korean (ko)
Other versions
KR102199246B1 (en
Inventor
곽철
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020140160931A priority Critical patent/KR102199246B1/en
Publication of KR20160059265A publication Critical patent/KR20160059265A/en
Application granted granted Critical
Publication of KR102199246B1 publication Critical patent/KR102199246B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]

Abstract

According to an embodiment of the present invention, an acoustic model learning method in consideration of a reliability measurement score and a device thereof calculate a reliability measurement score with respect to a voice recognition result and learn a feature vector with respect to phoneme information in a different learning method wherein the phoneme information corresponds to a voice recognition result in accordance with the calculated reliability measurement score so as to update phoneme model parameter distribution in correspondence with phoneme information, thereby performing an accurate acoustic model learning process.

Description

신뢰도 측점 점수를 고려한 음향 모델 학습 방법 및 장치{Method And Apparatus for Learning Acoustic Model Considering Reliability Score}TECHNICAL FIELD The present invention relates to a method and apparatus for learning acoustic model considering reliability point score,

본 실시예는 신뢰도 측점 점수를 고려한 음향 모델 학습 방법 및 장치에 관한 것이다.The present embodiment relates to a method and an apparatus for learning an acoustic model considering reliability point scores.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아님을 밝혀둔다.It should be noted that the following description merely provides background information related to the present embodiment and does not constitute the prior art.

음성 인식 기술이란 인간이 발화한 음성과 같은 음향학적 신호를 분석하여 단어나 단어열을 식별하고 그에 대한 의미를 추출하는 기술이다. 일반적으로 음성인식 장치는 인식 어휘 및 그에 상응하는 발음의 집합이 정의된 음향모델을 구비하고, 구비된 음향모델을 이용하여 사용자로부터 발화된 음성을 인식한다. 한편, 음성인식 장치의 음성 인식 성능은 구비된 음향모델에 따라 좌우되며 이에, 정확한 음향모델을 필요로 한다. 특히, 한국어 음성인식 장치의 경우 자음의 경음과 연음을 구별하기 어렵다는 한국어의 특성에 따라 보다 정확한 음향모델을 필요로 한다.Speech Recognition Technology is a technology that identifies words and word sequences by analyzing acoustical signals such as speech uttered by humans and extracts the meaning of them. Generally, the speech recognition apparatus includes an acoustic model in which a recognition vocabulary and a corresponding pronunciation set are defined, and recognizes a speech uttered by the user using the acoustic model. On the other hand, the speech recognition performance of the speech recognition apparatus is dependent on the acoustic model provided, and thus an accurate acoustic model is required. Particularly, in the case of the Korean speech recognition apparatus, a more accurate acoustic model is required in accordance with the characteristics of the Korean language that it is difficult to distinguish the consonants of the consonants from the flesh sounds.

음향모델의 정확성을 향상시키기 위한 방법으로 가장 널리 사용되는 방법은 음향모델 학습방법을 들 수 있다. 음향모델 학습 방법은 음성에 대한 인식결과를 학습하고, 학습에 따른 결과를 음향모델에 반영시켜 음향모델을 업데이트시킨다. 한편, 이러한, 음향모델 학습 방법의 경우 정확도 여부가 확인되지 않은 부정확한 음성인식 결과가 산출된 경우에도 이를 학습하여 음향모델에 반영시키는 상황이 발생할 수 있으며, 이 경우 음향모델에 대한 정확도를 오히려 감소시킨다는 문제점이 존재한다.The most widely used method for improving the accuracy of the acoustic model is the acoustic model learning method. Acoustic model learning method learns the recognition result of voice and updates the acoustic model by reflecting the result of learning to the acoustic model. On the other hand, in the case of the acoustic model learning method, even if the incorrect speech recognition result is not calculated, the learning result may be reflected in the acoustic model. In this case, the accuracy of the acoustic model may be reduced There is a problem.

이에, 음성 인식 결과의 정확성 예컨대, 신뢰도 여부를 확인하고, 이를 고려하여 보다 정확한 음향모델의 학습 과정이 수행될 수 있도록 하는 기술을 필요로 한다.Accordingly, there is a need for a technique for confirming the accuracy of speech recognition results, for example, reliability, and for allowing a more accurate learning process of acoustic models to be performed in consideration of the accuracy.

본 실시예는, 음성인식 결과에 대한 신뢰도 측정 점수를 산출하고, 산출된 신뢰도 측정 점수에 따라 음성 인식결과에 해당하는 음소 정보에 대한 특징 벡터를 서로 다른 학습 방법으로 학습하여 음소 정보에 대응되는 음소 모델 파라미터 분포를 업데이트시킴으로써 보다 정확한 음향모델 학습 과정이 수행될 수 있도록 하는 데 주된 목적이 있다.In this embodiment, a reliability measurement score for the speech recognition result is calculated, and the feature vectors for the phoneme information corresponding to the speech recognition result are learned by different learning methods according to the calculated reliability measurement score, The main purpose is to allow a more accurate acoustic model learning process to be performed by updating the model parameter distribution.

본 실시예는, 입력된 적어도 하나 이상의 음성에 대한 음성 인식결과를 수신하고, 상기 음성 인식결과로부터 음소 정보를 추출하는 정렬부; 상기 음소 정보에 근거하여 상기 음성 인식결과에 대한 신뢰도 측정 점수를 산출하는 신뢰도 측정부; 및 상기 신뢰도 측정부에 의해 산출된 상기 신뢰도 측정 점수에 따라 상기 음소 정보에 대한 특징 벡터를 서로 다른 학습 방법으로 학습하여 상기 음소 정보에 대응되는 음소 모델 파라미터 분포를 업데이트하는 학습부를 포함하는 것을 특징으로 하는 음향 모델 학습장치를 제공한다.The present embodiment includes an arrangement for receiving speech recognition results of at least one input speech and extracting phoneme information from the speech recognition result; A reliability measuring unit for calculating a reliability measurement score for the speech recognition result based on the phoneme information; And a learning unit for learning a feature vector of the phoneme information according to the reliability measurement score calculated by the reliability measurement unit using different learning methods and updating the phoneme model parameter distribution corresponding to the phoneme information. And an acoustic model learning apparatus.

또한, 본 실시예의 다른 측면에 의하면, 음향 모델 학습장치가 신뢰도 측정 점수를 이용하여 비감독 기반 음향모델 변별 학습을 수행하는 방법에 있어서, 입력된 적어도 하나 이상의 음성에 대한 음성 인식결과를 수신하고, 상기 음성 인식결과로부터 음소 정보를 추출하는 음소 정보 추출과정; 상기 음소 정보에 근거하여 상기 음성 인식결과에 대한 신뢰도 측정 점수를 산출하는 산출과정; 및 상기 산출과정을 이용하여 산출된 상기 신뢰도 측정 점수에 따라 상기 음소 정보에 대한 특징 벡터를 서로 다른 학습 방법으로 학습하여 상기 음소 정보에 대응되는 음소 모델 파라미터 분포를 업데이트하는 학습 과정을 포함하는 것을 특징으로 하는 음향 모델 학습장치의 학습 방법을 제공한다.According to another aspect of the present invention, there is provided a method for an acoustic model learning apparatus performing non-supervising-based acoustic model discrimination learning using a reliability measurement score, the method comprising: receiving a speech recognition result of at least one input speech; A phoneme information extracting step of extracting phoneme information from the speech recognition result; A calculation step of calculating a reliability measurement score for the speech recognition result based on the phoneme information; And a learning process of learning a feature vector of the phoneme information according to the reliability measurement score calculated using the calculation process and updating the phoneme model parameter distribution corresponding to the phoneme information by different learning methods A learning method of an acoustic model learning apparatus is provided.

또한, 본 실시예의 다른 측면에 의하면, 데이터 처리 기기에, 입력된 적어도 하나 이상의 음성에 대한 음성 인식결과를 수신하고, 상기 음성 인식결과로부터 음소 정보를 추출하는 음소 정보 추출과정; 상기 음소 정보에 근거하여 상기 음성 인식결과에 대한 신뢰도 측정 점수를 산출하는 산출과정; 및 상기 산출과정을 이용하여 산출된 상기 신뢰도 측정 점수에 따라 상기 음소 정보에 대한 특징 벡터를 서로 다른 학습 방법으로 학습하여 상기 음소 정보에 대응되는 음소 모델 파라미터 분포를 업데이트하는 학습 과정을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.According to another aspect of the present invention, there is provided a method for extracting phonemic information, the method comprising: a phonemic information extracting step of receiving a speech recognition result of at least one input speech and extracting phoneme information from the speech recognition result; A calculation step of calculating a reliability measurement score for the speech recognition result based on the phoneme information; And a learning process for learning a feature vector of the phoneme information according to the reliability measurement score calculated using the calculation process and updating the phoneme model parameter distribution corresponding to the phoneme information by a different learning method The present invention provides a computer readable recording medium having recorded thereon a computer program.

본 실시예에 의하면, 음성인식 결과에 대한 신뢰도 측정 점수를 산출하고, 산출된 신뢰도 측정 점수에 따라 음성 인식결과에 해당하는 음소 정보에 대한 특징 벡터를 서로 다른 학습 방법으로 학습하여 음소 정보에 대응되는 음소 모델 파라미터 분포를 업데이트시킴으로써 보다 정확한 음향모델 학습 과정이 수행될 수 있도록 하는 효과가 있다.According to the present embodiment, the reliability measurement score for the speech recognition result is calculated, and the feature vector for the phoneme information corresponding to the speech recognition result is learned by different learning methods according to the calculated reliability measurement score, There is an effect that a more accurate acoustic model learning process can be performed by updating the phoneme model parameter distribution.

또한, 본 실시예에 의하면, 유사도가 높은 모델 파라미터 분포를 가지는 음소들을 동일 클래스로 군집화시켜 트리 구조 형태로 제공하고, 이를 기반으로 특정 음소와 유사도가 높은 모델 파라미터 분포를 가지는 음소를 산출 및 산출된 음소에 대응되는 음소 모델 파라미터 분포를 추가로 업데이트함으로써 음향모델 학습 과정의 효율성을 향상시킬 수 있는 효과가 있다.According to the present embodiment, phonemes having a model parameter distribution with a high degree of similarity are clustered into the same class and provided as a tree structure. Based on this, a phoneme having a model parameter distribution having a high similarity to a specific phoneme is calculated and calculated The efficiency of the acoustic model learning process can be improved by further updating the phoneme model parameter distribution corresponding to the phoneme.

도 1은 본 실시예에 따른 신뢰도 측점 점수를 고려한 음향 모델 학습장치를 개략적으로 나타낸 블럭 구성도이다.
도 2는 본 실시예에 따른 음향 모델 학습장치가 신뢰도 측점 점수를 이용하여 음향모델 학습 과정을 수행하는 방법을 설명하기 위한 순서도이다.
도 3은 본 실시예에 따른 음향 모델 학습장치가 제1 학습 방법을 이용하여 음향모델을 학습하는 과정을 예시한 예시도이다.
도 4는 본 실시예에 따른 클래식 기반 음소 트리 구조를 예시한 예시도이다.
도 5는 본 실시예에 따른 음향 모델 학습장치가 제2 학습 방법을 이용하여 음향모델을 학습하는 과정을 예시한 예시도이다.1 is a block diagram schematically showing an acoustic model learning apparatus considering a reliability point score according to the present embodiment.
2 is a flowchart for explaining a method of performing an acoustic model learning process using an acoustic model learning apparatus according to an embodiment of the present invention.
3 is a diagram illustrating an example of a process of learning an acoustic model using the first learning method by the acoustic model learning apparatus according to the present embodiment.
4 is a diagram illustrating an example of a classical-based phoneme tree structure according to the present embodiment.
FIG. 5 is a diagram illustrating an example of a process in which the acoustic model learning apparatus according to the present embodiment learns an acoustic model using a second learning method.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings.

본 실시예에서는 음향 모델 학습장치가 음성인식 결과에 대한 신뢰도 측정 점수에 따라 음성 인식결과에 해당하는 음소 정보에 대한 특징 벡터를 서로 다른 학습 방법으로 학습하여 음소 정보에 대응되는 음소 모델 파라미터 분포를 업데이트시킴으로써 보다 정확한 음향모델 학습 과정이 수행될 수 있도록 하는 음향모델 학습 방법을 제안한다.In this embodiment, the acoustic model learning apparatus learns the feature vector of the phoneme information corresponding to the speech recognition result according to the reliability measurement score of the speech recognition result in different learning methods, and updates the phoneme model parameter distribution corresponding to the phoneme information This paper proposes an acoustic model learning method that enables a more accurate acoustic model learning process to be performed.

도 1은 본 실시예에 따른 신뢰도 측점 점수를 고려한 음향 모델 학습장치를 개략적으로 나타낸 블럭 구성도이다. 한편, 도 1에서는 본 실시예에 따른 음향 모델 학습장치에서 수행될 수 있는 음향모델 학습 방법 중 신뢰도 측정 점수를 이용한 비감독 기반 음향모델 학습 방법이 수행되는 동작에 대해서 중점적으로 설명하도록 한다.1 is a block diagram schematically showing an acoustic model learning apparatus considering a reliability point score according to the present embodiment. In FIG. 1, an operation of performing an unconditioning-based acoustic model learning method using a reliability measurement score among acoustic model learning methods that can be performed in the acoustic model learning apparatus according to the present embodiment will be mainly described.

도 1에 도시하듯이, 본 실시예에 따른 음향 모델 학습장치(100)는 특징 추출부(102), 탐색부(104), 언어 모델 데이터베이스(106), 발음 사전 데이터베이스(108), 음향 모델 데이터베이스(110), 정렬부(112), 신뢰도 측정부(114), 학습부(116), 텍스트 데이터베이스(124), 언어모델 학습기(126), 음성 데이터베이스(128) 및 음향모델 학습기(130)를 포함한다.1, the acoustic model learning apparatus 100 according to the present embodiment includes a feature extraction unit 102, a search unit 104, a language model database 106, a pronunciation dictionary database 108, A learning unit 116, a text database 124, a language model learning unit 126, a speech database 128, and an acoustic model learning unit 130. The learning unit 116 includes an input unit 110, an alignment unit 112, a reliability measuring unit 114, do.

특징 추출부(102)는 입력된 적어도 하나 이상의 음성 신호로부터 음성 신호의 특징을 추출한다. 여기서, 음성 신호는 음성 입력 장치나 음성 파일을 통해 입력되며 학습 과정을 위해 준비된 음성일 수 있다. 즉, 본 실시예에 따른 특징 추출부(102)는 입력된 음성 신호를 프레임 단위로 분할하고, 분할된 프레임 단위로부터 특징 벡터를 추출한다. 이때, 특징 추출부(102)는 입력된 음성 신호에서 잡음을 제거하거나 음성 인식 성능을 향상시키기 위한 신호 처리 과정을 수행할 수 있다. 이후, 특징 추출부(102)는 추출된 특성 벡터를 탐색부(104)에 제공한다.The feature extraction unit 102 extracts features of the speech signal from at least one input speech signal. Here, the voice signal may be voice input through the voice input device or voice file and prepared for the learning process. That is, the feature extraction unit 102 according to the present embodiment divides the input speech signal into frames and extracts feature vectors from the divided frame units. At this time, the feature extraction unit 102 may perform a signal processing process to remove noise from the input speech signal or to improve speech recognition performance. Thereafter, the feature extracting unit 102 provides the extracted feature vector to the search unit 104.

탐색부(104)는 언어 모델 데이터베이스(106)에 저장된 언어 모델, 발음 사전 데이터베이스(108)에 저장된 발음 사전 및 음향 모델 테이터베이스(110)에 저장된 음향 모델을 이용하여 음성 인식에 필요한 탐색 공간을 형성한다. 탐색부(104)는 형성된 탐색공간과 특징 추출부(102)로부터 수신한 특징 벡터를 사용하여 음성 인식을 수행한다.The search unit 104 forms a search space necessary for voice recognition using the language model stored in the language model database 106, the pronunciation dictionary stored in the pronunciation dictionary database 108, and the acoustic model stored in the acoustic model database 110 do. The search unit 104 performs speech recognition using the search space formed and the feature vectors received from the feature extraction unit 102. [

본 실시예에 따른 탐색부(104)는 특징 추출부(102)로부터 수신한 특징 벡터와 음향 모델과의 매칭 처리를 통해 음성 인식 과정을 수행한다. 탐색부(140)에 의한 매칭 처리는 음소 단위로 이루어지며, 이를 통해 특징 벡터에 매칭되는 음향 모델의 음소가 음성 인식 결과가 된다. 즉, 탐색부(104)는 매칭 처리 과정을 이용하여 복수 개의 음성 인식 결과 후보를 산출하며, 복수 개의 음식 인식 결과 후보 중 로그우도가 가장 높은 후보를 입력된 음성에 가장 가까운 것으로 선택한다. 이후, 탐색부(104)는 선택된 후보를 구성하는 음향 모델에 대응하는 단어열을 음성 인식 결과로서 출력한다.The searching unit 104 according to the present embodiment performs a speech recognition process by matching processing between a feature vector received from the feature extracting unit 102 and an acoustic model. The matching process by the search unit 140 is performed on a phoneme unit basis, and the phonemes of the acoustic model matching the feature vector become the speech recognition result. That is, the search unit 104 calculates a plurality of speech recognition result candidates using the matching process, and selects candidates having the highest log-likelihood among the plurality of food recognition result candidates as the one closest to the input speech. Then, the search unit 104 outputs a word string corresponding to the acoustic model constituting the selected candidate as a speech recognition result.

언어 모델 데이터베이스(106)는 언어 모델을 저장한다. 이러한, 언어 모델은 단어간의 문법을 고려하여 인식 후보에 가중치를 부여하기 위한 기준으로 사용되며, 이를 통해 문법이 맞는 문장이 더 높은 점수를 얻도록 하여 인식률을 향상시킨다.The language model database 106 stores the language model. The language model is used as a criterion for assigning weights to recognition candidates in consideration of the grammaticality between words, thereby improving the recognition rate by allowing the grammatical sentence to have a higher score.

발음 사전 데이터베이스(108)는 발음 사전을 저장한다. 발음 사전은 음성에 대한 발음을 저장하며, 음향 모델과 연계되어 특정 음성에 대한 다중의 발음들을 저장한다.The pronunciation dictionary database 108 stores a pronunciation dictionary. The pronunciation dictionary stores the pronunciation of the voice and stores the multiple pronunciations of the specific voice in association with the acoustic model.

음향 모델 데이터베이스(110)는 음향 모델을 저장한다. 본 실시예에 따른 음향 모델은 음소 단위의 음향 모델 파라미터 분포에 대한 정보를 포함한다. 이러한, 음향 모델 파라미터 분포 즉, 음소 모델 파라미터의 분포는 음소에 대한 특징 벡터들에 대한 평균 및 분산에 따라 결정된다.The acoustic model database 110 stores an acoustic model. The acoustic model according to this embodiment includes information on the acoustic model parameter distribution on a phoneme unit basis. The distribution of the acoustic model parameters, that is, the phoneme model parameters, is determined according to the average and variance of the feature vectors for the phoneme.

정렬부(112)는 입력된 적어도 하나 이상의 음성에 대한 음성 인식결과를 수신하고, 수신한 음성 인식결과로부터 음소 정보를 추출한다. 즉, 정렬부(112)는 수신한 음성 인식 결과 예컨대, 단어열을 프레임 단위로 정렬하고, 이를 통해, 정렬된 프레임 단위로부터 음소 정보를 추출한다. 이때, 음소 정보는 단어열에 포함된 음소들에 대한 정보를 의미한다.The sorting unit 112 receives the speech recognition result of the inputted at least one speech and extracts the phoneme information from the received speech recognition result. That is, the sorting unit 112 arranges the received speech recognition result, for example, a word string, on a frame-by-frame basis, and extracts phoneme information from the aligned frame unit. At this time, the phoneme information means information on the phonemes included in the word sequence.

신뢰도 측정부(114)는 정렬부(112)로부터 추출된 음소 정보에 근거하여 각각의 음성 인식결과에 대한 신뢰도 측정 점수를 산출한다. 본 실시예에 따른 신뢰도 측정부(114)는 신뢰도 측정(Confidence Measure) 방법을 이용하여 텍스트 정보가 없는 음성 인식결과에 대한 신뢰도 측정 점수를 산출한다. 한편, 신뢰도 측정 방법은 신뢰도 측정 분야에서 일반적인 사용되는 방법인 바 자세한 설명은 생략하도록 한다.The reliability measurement unit 114 calculates a reliability measurement score for each speech recognition result based on the phoneme information extracted from the alignment unit 112. [ The reliability measuring unit 114 according to the present embodiment calculates a reliability measurement score for a speech recognition result without text information by using a confidence measure method. Meanwhile, the reliability measurement method is a commonly used method in the field of reliability measurement, and a detailed description thereof is omitted.

즉, 신뢰도 측정부(114)는 음성 인식결과로부터 추출된 음소 정보 각각에 대하여 개별 신뢰도 측정 점수를 산출하고, 산출된 개별 신뢰도 측정 점수를 평균하여 음성 인식 결과에 대한 신뢰도 측정 점수를 산출한다. 이때, 특정 음소에 대한 개별 신뢰도 측정 점수는 해당 음소에 대한 로그우드(Likehood)와 해당 음소를 제외한 다른 음소들의 로그우드 중 N-best에 대한 로그우드의 평균값 간의 비율에 따라 산출된다. 한편, 본 실시예에서는 신뢰도 측정부(114)가 음성 인식결과에 대한 신뢰도 측정 점수를 산출하는 방법에 대해 특정 방법으로 한정하지는 않는다.That is, the reliability measuring unit 114 calculates individual reliability measurement scores for each of the phoneme information extracted from the speech recognition result, and calculates the reliability measurement score for the speech recognition result by averaging the calculated individual reliability measurement scores. At this time, the individual confidence measure score for a specific phoneme is calculated according to the ratio between the logwood for the phoneme and the average value of the log wood for N-best among the log-woods of the phonemes except the phoneme. On the other hand, in the present embodiment, the method for calculating the reliability measurement score of the speech recognition result by the reliability measuring unit 114 is not limited to a specific method.

신뢰도 측정부(114)는 음성 인식결과에 대한 신뢰도 측정 점수를 기반으로 음성 인식결과의 신뢰도를 측정한다. 즉, 신뢰도 측정부(114)는 음성 인식결과에 대한 신뢰도 측정 점수가 기 설정된 제1 임계값(T2) 이상인 경우 해당 음성 인식결과에 대하여 매우 높은 신뢰도를 가지는 것으로 판단한다. 또한, 신뢰도 측정부(114)는 음성 인식결과에 대한 신뢰도 측정 점수가 기 설정된 제1 임계값(T1) 미만이고 기 설정된 제2 임계값(T1) 이상인 경우 해당 음성 인식결과에 대하여 비교적 높은 신뢰도를 가지는 것으로 판단된다. 이때, 기 설정된 제1 임계값 및 제2 임계값은 사용자 선택에 의해 설정된 값일 수도 있으며, 다수의 결과 데이터에 기초하여 산출된 값이 수도 있다.The reliability measuring unit 114 measures the reliability of the speech recognition result based on the reliability measurement score of the speech recognition result. That is, the reliability measuring unit 114 determines that the reliability of the speech recognition result is very high when the reliability measurement score of the speech recognition result is equal to or greater than a predetermined first threshold value T2. If the reliability measurement score of the speech recognition result is less than the preset first threshold value T1 and equal to or greater than the preset second threshold value T1, the reliability measurement unit 114 may measure a relatively high reliability . At this time, the predetermined first threshold value and the predetermined second threshold value may be a value set by user selection, or may be a value calculated based on a plurality of result data.

신뢰도 측정부(114)는 매우 높은 신뢰도를 가지는 음성 인식결과에 대응되는 음소 정보의 경우 사후확률 최대화 학습부(118)로 전송하고, 비교적 높은 신뢰도를 가지는 음성 인식결과에 대응되는 음소 정보의 경우 음소 트리 제공부(120)를 거쳐 변별 학습부(122)로 전송한다. 한편, 신뢰도 측정부(114)는 음성 인식결과에 대한 신뢰도 측정 점수가 기 설정된 제2 임계값(T1) 미만인 음성 인식결과에 대해서는 잘못된 음성 인식결과라고 판단하여 학습부(116)로 미전송한다. 본 실시예에 따른 신뢰도 측정부(114)는 신뢰도 측정 점수에 따라 음성 인식결과 중 어느 정도의 신뢰성을 만족하는 음성 인식결과를 선별하고, 선별된 음성 인식결과에 대응되는 음소 정보만을 학습부(116)로 출력시킴으로써 부정확한 음성인식 결과에 따라 학습 과정이 수행되는 것을 사전에 차단할 수 있다. 이를 통해, 본 실시예에 따른 음향 모델 학습장치(100)는 보다 정확한 음향모델 학습 과정을 수행하여 음성인식 성능을 최대화할 수 있다.The reliability measuring unit 114 transmits the speech information to the posterior probability maximizing learning unit 118 in the case of the phoneme information corresponding to the speech recognition result having a very high reliability and the phoneme information corresponding to the speech recognition result having the relatively high reliability And transmits it to the discrimination learning unit 122 via the tree classifier 120. [ On the other hand, the reliability measuring unit 114 determines that the speech recognition result of which the reliability measurement score of the speech recognition result is less than the predetermined second threshold value T1 is an incorrect speech recognition result, and does not transmit it to the learning unit 116. [ The reliability measuring unit 114 according to the present embodiment selects a speech recognition result satisfying some degree of reliability among the speech recognition results according to the reliability measurement score and outputs only the phoneme information corresponding to the selected speech recognition result to the learning unit 116 ), It is possible to prevent the learning process from being performed in accordance with an incorrect speech recognition result. Accordingly, the acoustic model learning apparatus 100 according to the present embodiment can perform a more accurate acoustic model learning process to maximize the speech recognition performance.

학습부(116)는 신뢰도 측정부(114)로부터 산출된 음성 인식결과에 대한 신뢰도 측정 점수에 따라 음성 인식결과에 대응되는 음소 정보를 서로 다른 학습 방법으로 학습하여 음소 정보에 대응되는 음소 모델 파라미터의 분포를 업데이트한다. 한편, 비교적 높은 신뢰도를 가지는 음성 인식결과의 경우 몇 개의 음소 결과가 비슷한 모델 파라미터 분포를 가지는 음소로 잘못 인식되는 경우가 발생할 수 있다. 이러한 문제점을 해결하기 위해, 본 실시예에 따른 학습부(116)는 비교적 높은 신뢰도를 가지는 음성 인식결과의 경우 매우 높은 신뢰도를 가지는 음성 인식결과의 학습 방법과는 다른 학습 방법을 이용하여 학습 과정을 수행한다. 이를 통해, 본 실시예에 따른 음향 모델 학습장치(100)는 보다 정확한 음향모델 학습 과정이 수행될 수 있도록 한다.The learning unit 116 learns the phoneme information corresponding to the speech recognition result according to the reliability measurement score of the speech recognition result calculated from the reliability measurement unit 114 by using different learning methods to obtain the phoneme model parameters corresponding to the phoneme information Update the distribution. On the other hand, in the case of speech recognition results having relatively high reliability, some phoneme results may be erroneously recognized as phonemes having a similar model parameter distribution. In order to solve such a problem, the learning unit 116 according to the present embodiment uses a learning method different from the learning method of the speech recognition result having a very high reliability in the case of the speech recognition result having relatively high reliability, . Accordingly, the acoustic model learning apparatus 100 according to the present embodiment allows a more accurate acoustic model learning process to be performed.

본 실시예에 따른 학습부(116)는 사후확률 최대화 학습부(118), 음소 트리 제공부(120) 및 변별 학습부(122)를 포함한다.The learning unit 116 according to the present embodiment includes a posterior probability maximizing learning unit 118, a phoneme tree providing unit 120, and a discrimination learning unit 122.

사후확률 최대화 학습부(118)는 신뢰도 측정 점수가 기 설정된 제1 임계값 이상인 음성 인식결과 예컨대, 매우 높은 신뢰도를 가지는 음성 인식결과들에 대한 음소 정보를 수신하고, 수신된 음소 정보에 대한 특징 벡터를 제1 학습 방법을 이용하여 학습한다. 한편, 사후확률 최대화 학습부(118)는 수신된 음소 정보에 대한 특징 벡터를 특징 추출부(102)로부터 수신한다.The posterior probability maximizing learning unit 118 receives the speech recognition result with a reliability measurement score equal to or larger than a predetermined first threshold value, for example, phoneme information for speech recognition results having a very high reliability, Is learned using the first learning method. On the other hand, the posterior probability maximization learning unit 118 receives the feature vector of the received phoneme information from the feature extraction unit 102.

본 실시예에 따른, 사후확률 최대화 학습부(118)는 제1 학습 방법으로서 사후확률 최대화(Maximum A Posteriori) 방법을 이용하나 반드시 이에 한정되는 것은 아니다. 즉, 사후확률 최대화 학습부(118)는 수신된 음소 정보에 포함된 각각의 음소의 특징 벡터를 기 저장된 각각의 음소에 대한 이전 모델 파라미터에 반영하여 각각의 음소에 대응되는 음소 모델 파라미터 분포를 업데이트한다. 이때, 음소에 대한 이전 모델 파라미터는 각각의 음소에 대응되는 이전 특징 벡터의 평균 및 분산을 의미한다. 예컨대, 사후확률 최대화 학습부(118)는 수신된 음소 정보에 포함된 각각의 음소의 특징 벡터를 기 저장된 각각의 음소에 대한 모델 파라미터 즉, 평균 및 분산에 반영시킴으로써 각각의 음소에 대응되는 음소 모델 파라미터 분포를 업데이트시킨다.The posterior probability maximization learning unit 118 according to the present embodiment uses the Maximum A Posteriori method as the first learning method, but is not limited thereto. That is, the posterior probability maximization learning unit 118 updates the phoneme model parameter distribution corresponding to each phoneme by reflecting the feature vector of each phoneme included in the received phoneme information to the previous model parameter for each phoneme previously stored do. In this case, the previous model parameter for the phoneme means the mean and variance of the previous feature vector corresponding to each phoneme. For example, the posterior probability maximizing learning unit 118 reflects the feature vectors of the respective phonemes included in the received phoneme information to the model parameters, i.e., the mean and the variance, of the previously stored phoneme, Update the parameter distribution.

본 실시예에 따른 사후확률 최대화 학습부(118)는 제1 학습 방법을 이용한 학습 과정을 소정 횟수(N)만큼 반복적으로 수행하며, 이를 통해, 음소 모델 파라미터 분포의 업데이트가 보다 정확하게 이루어질 수 있도록 동작한다. 이때, 제1 학습 방법을 이용한 학습 과정의 반복 횟수(N)는 사용자의 선택 및 다수의 결과 데이터에 기초하여 결정될 수 있다.The posterior probability maximizing learning unit 118 according to the present embodiment repeatedly performs the learning process using the first learning method by a predetermined number of times N so that the phoneme model parameter distribution can be updated more accurately do. At this time, the number of repetitions N of the learning process using the first learning method can be determined based on the user's selection and a plurality of result data.

음소 트리 제공부(120)는 유사도가 높은 모델 파라미터 분포를 가지는 음소들을 동일 클래스로 군집화시켜 트리 구조 형태로 제공한다. 이러한, 음소 트리 제공부(120)는 음소 정보를 수신하는 경우 클래스 기반 음소 트리에 근거하여 음소 정보에 포함된 각각의 음소와 유사도가 높은 모델 파라미터 분포를 가지는 음소를 산출한다. 이때, 음소 트리 제공부(120)에 수신되는 음소 정보는 신뢰도 측정 점수가 제1 임계값 미만이고 제2 임계값 이상인 음성 인식결과 예컨대, 비교적 높은 신뢰도를 가지는 음성 인식결과들에 대한 음소 정보이다.The phoneme tree providing unit 120 groups the phonemes having a model parameter distribution having a high degree of similarity into the same class to provide them as a tree structure. When the phoneme information is received, the phoneme providing unit 120 calculates a phoneme having a model parameter distribution having a high degree of similarity to each phoneme included in the phoneme information based on the class-based phoneme tree. The phoneme information received by the phoneme tree providing unit 120 is phoneme information for speech recognition results having a reliability measurement score of less than a first threshold value and a second threshold value or more, for example, relatively high reliability.

음소 트리 제공부(120)는 산출된 음소 정보를 앞서 수신한 음소 정보와 함께 변별 학습부(122)로 전송한다. 본 실시예에 따른 음소 트리 제공부(120)는 클래스 기반 음소 트리에 근거하여 음소 정보에 포함된 각각의 음소와 유사도가 높은 모델 파라미터 분포를 가지는 음소를 산출하고, 이를 추가 제공함으로써 적은 양의 학습 데이터에서 나타나지 않은 음소의 모델 파라미터 분포 또한 업데이트될 수 있도록 하는 효과가 있다. 또한, 본 실시예에 따른 변별 학습부(122)는 신뢰도 측정부(114)로부터 제공받은 음성 정보 및 음소 트리 제공부(120)에 의해 추가로 산출된 음성 정보를 기반으로 학습 과정을 수행함으로써 서로 오인식될 수 있는 음소들 간의 상호 정보량이 최소화되도록 각 음소에 대응되는 음소 모델 파라미터 분포를 업데이트할 수 있다. 이에 대한 자세한 설명은 변별 학습부(122)를 설명하는 과정에서 후술하도록 한다.The phoneme providing unit 120 transmits the calculated phoneme information to the discrimination learning unit 122 together with the received phoneme information. The phoneme tree providing unit 120 according to the present embodiment calculates a phoneme having a model parameter distribution having a high degree of similarity to each phoneme included in the phoneme information based on the class-based phoneme tree, The model parameter distribution of the phonemes not shown in the data can also be updated. Also, the discrimination learning unit 122 according to the present embodiment performs a learning process based on the speech information provided from the reliability measurement unit 114 and the speech information further calculated by the phoneme tree providing unit 120, The phoneme model parameter distribution corresponding to each phoneme can be updated so that the amount of mutual information between the phonemes which can be misrecognized is minimized. A detailed description thereof will be given later in the process of describing the discrimination learning unit 122. [

변별 학습부(122)는 신뢰도 측정 점수가 제1 임계값 미만이고 제2 임계값 이상인 음성 인식결과 예컨대, 비교적 높은 신뢰도를 가지는 음성 인식결과들에 대한 음소 정보를 수신하고, 수신된 음소 정보에 대한 특징 벡터를 제2 학습 방법을 이용하여 학습한다. 마찬가지로, 변별 학습부(122)는 수신된 음소 정보에 대한 특징 벡터를 특징 추출부(102)로부터 수신한다.The discrimination learning unit 122 receives the speech recognition result of the speech recognition result having the reliability measurement score less than the first threshold value and equal to or greater than the second threshold value, for example, the speech recognition results having relatively high reliability, The feature vector is learned using the second learning method. Similarly, the discrimination learning unit 122 receives the feature vector for the received phoneme information from the feature extraction unit 102. [

본 실시예에 따른 변별 학습부(122)는 제2 학습 방법으로서 최대 상호 정보량(MMI: Maximum Mutual Information) 추정 방법을 이용하나 반드시 이에 한정되는 것은 아니다. 즉, 변별 학습부(122)는 수신된 음소 정보에 포함된 각각의 음소에 대한 카운트 정보 및 각각의 음소의 특징 벡터에 기초하여 각각의 음소와 각각의 음소와 유사도가 높은 모델 파라미터 분포를 가지는 음소 간의 상호 정보량이 최소화되도록 각각의 음소에 대응되는 음소 모델 파라미터 분포를 업데이트한다. 한편, 최대 상호 정보량 추정 방법을 이용한 음향 모델 파라미터 분포 업데이트 방식의 경우 일반적으로 정답 음소의 카운트 정보를 이용한다. 본 실시예의 경우 어느 정도의 신뢰성을 만족하는 음성 인식결과에 대응되는 음소 정보를 기반으로 학습 과정을 수행하기 때문에, 검출되는 음소들에 대하여 모두 정답 음소로 판단한다. 이에, 본 실시예에 따는 변별 학습부(122)는 최대 상호 정보량 추정 방법을 이용한 음향 모델 파라미터 분포 업데이트 과정을 수행 시 수신된 음소에 대한 카운트 정보를 이용한다.The discrimination learning unit 122 according to this embodiment uses the maximum mutual information (MMI) estimation method as the second learning method, but it is not limited thereto. That is, the discrimination learning unit 122 classifies phonemes having phonemes and phonemes having a similar degree of similarity to each phoneme, based on the count information for each phoneme included in the received phoneme information and the feature vector of each phoneme The phoneme model parameter distribution corresponding to each phoneme is updated. On the other hand, in the case of the acoustic model parameter distribution update method using the maximum mutual information estimation method, generally, the count information of the correct answer phoneme is used. In this embodiment, since the learning process is performed based on the phoneme information corresponding to the speech recognition result satisfying a degree of reliability, all of the detected phonemes are determined as correct answer phonemes. Accordingly, the discrimination learning unit 122 according to the present embodiment uses the count information on the received phoneme when performing the process of updating the acoustic model parameter distribution using the maximum mutual information amount estimation method.

본 실시예에 따른 변별 학습부(122)는 수신된 음소 정보에 대한 카운트 정보 및 특징 벡터에 기초한 최대 상호 정보량 추정 방법을 통해 각각의 음소의 특징 벡터를 기 저장된 각각의 음소에 대한 이전 모델 파라미터에 반영시킴으로써 각각의 음소에 대응되는 음소 모델 파라미터 분포를 업데이트한다. 이를 통해, 각각의 음소에 대응되는 음소 모델 파라미터 분포가 각각의 음소에 대한 이상적인 음소 모델 파라미터 분포를 향하여 이동됨으로써 서로 오인식될 수 있는 음소들 간의 상호 정보량이 최소화될 수 있다.The discrimination learning unit 122 according to the present embodiment sets the feature vector of each phoneme to the previous model parameter for each phoneme by previously storing the feature vector of each phoneme using the count information on the received phoneme information and the maximum mutual information amount estimation method based on the feature vector Thereby updating the phoneme model parameter distribution corresponding to each phoneme. This allows the phoneme model parameter distribution corresponding to each phoneme to move toward the ideal phoneme model parameter distribution for each phoneme, thereby minimizing the amount of mutual information between phonemes that can be misrecognized.

한편, 본 실시예에 따른 변별 학습부(122)는 신뢰도 측정부(114)로부터 전송된 음성 정보뿐만 아니라 음소 트리 제공부(120)에 의해 추가로 제공되는 음성 정보에 대해서도 대응되는 음소 모델 파라미터 분포를 업데이트하는 과정을 수행한다. 이때, 변별 학습부(122)는 신뢰도 측정부(114)로부터 전송된 음성 정보에 대한 카운트 정보 및 특징 벡터에 기초하여 음소 트리 제공부(120)로부터 추가 제공된 음성 정보에 포함된 각각의 음소에 대응되는 음소 모델 파라미터 분포를 업데이트한다. 본 실시예에 따른 음향 모델 학습장치(100)는 클래스 기반 음소 트리를 이용하여 적은 양의 학습 데이터에서 나타나지 않는 음소의 모델 파라미터 분포 또한 추가로 업데이트함으로써 음향모델 학습 과정의 효율성을 향상시킬 수 있는 효과가 있다.On the other hand, the discrimination learning unit 122 according to the present embodiment is capable of not only the speech information transmitted from the reliability measurement unit 114 but also the speech information further provided by the phoneme tree providing unit 120, Lt; / RTI > At this time, the discrimination learning unit 122 corresponds to the phonemes included in the voice information additionally provided from the phoneme tree providing unit 120 based on the count information and the feature vector for the voice information transmitted from the reliability measuring unit 114 The phoneme model parameter distribution is updated. The acoustic model learning apparatus 100 according to the present embodiment can improve the efficiency of the acoustic model learning process by further updating the model parameter distribution of phonemes not appearing in a small amount of learning data using the class- .

텍스트 데이터베이스(124)는 언어 모델을 생성하기 위한 텍스트들을 저장한다. 언어 모델 학습기(126)는 텍스트 데이터베이스(124)에 저장된 텍스트들을 통해 언어 모델을 생성 혹은 업데이트한다.The text database 124 stores text for creating a language model. The language model learning machine 126 generates or updates the language model through the texts stored in the text database 124.

음성 데이터베이스(128)는 학습을 위한 음성 및 해당 음성에 대한 텍스트를 저장한다. 이때, 음성에 대한 텍스트는 생략될 수 있다.The voice database 128 stores voice for learning and text for the voice. At this time, the text for the voice may be omitted.

음향모델 학습기(130)는 음성 데이터베이스(128)에 저장된 음성을 통해 음향모델을 생성 혹은 업데이트한다. 이러한, 음향모델 학습기(130)는 최대 로그우도(Maximum Likelihood) 방법을 이용하여 감독 기반 음향모델 학습을 수행하나 반드시 이에 한정되는 것은 아니다.The acoustic model learning device 130 generates or updates the acoustic model through the voice stored in the voice database 128. [ The acoustic model learning unit 130 performs supervision based acoustic model learning using a maximum likelihood method, but is not limited thereto.

도 2는 본 실시예에 따른 음향 모델 학습장치가 신뢰도 측점 점수를 이용하여 음향모델 학습 과정을 수행하는 방법을 설명하기 위한 순서도이다.2 is a flowchart for explaining a method of performing an acoustic model learning process using an acoustic model learning apparatus according to an embodiment of the present invention.

특징 추출부(102)는 적어도 하나 이상의 음성 신호를 입력받고(S200), 입력된 음성 신호로부터 음성 신호의 특징을 추출한다(S202). 단계 S202에서 특징 추출부(102)는 입력된 음성 신호를 프레임 단위로 분할하고, 분할된 프레임 단위로부터 특징 벡터를 추출한다.The feature extraction unit 102 receives at least one speech signal (S200), and extracts the feature of the speech signal from the input speech signal (S202). In step S202, the feature extraction unit 102 divides the input speech signal into frames, and extracts feature vectors from the divided frame units.

탐색부(104)는 단계 S202에서 추출된 음성 신호의 특징 벡터를 수신하고, 수신한 특징 벡터를 사용하여 음성 인식을 수행한다(S204). 단계 S204에서 탐색부(104)는 특징 추출부(102)로부터 수신한 특징 벡터와 음향 모델과의 매칭 처리를 통해 음성 인식 과정을 수행하고, 이를 통해, 음성 인식 결과를 산출한다.The search unit 104 receives the feature vector of the speech signal extracted in step S202, and performs speech recognition using the received feature vector (S204). In step S204, the search unit 104 performs a speech recognition process through a matching process between the feature vector received from the feature extraction unit 102 and the acoustic model, thereby calculating a speech recognition result.

탐색부(104)는 단계 S204로부터 산출된 음성 인식 결과를 정렬부(112)로 제공한다(S206).The search unit 104 provides the speech recognition result calculated in step S204 to the sorting unit 112 (S206).

정렬부(112)는 단계 S204에서 산출된 적어도 하나 이상의 음성에 대한 음성 인식결과를 수신하고, 수신한 음성 인식결과로부터 음소 정보를 추출한다(S208). 단계 S208에서 정렬부(112)는 수신한 음성 인식 결과를 프레임 단위로 정렬하고, 정렬된 프레임 단위로부터 음소 정보를 추출한다.The sorting unit 112 receives the speech recognition result of at least one or more speech data calculated in step S204, and extracts phoneme information from the received speech recognition result (S208). In step S208, the sorting unit 112 arranges the received speech recognition results on a frame-by-frame basis, and extracts phoneme information from the aligned frame units.

신뢰도 측정부(114)는 단계 S204로부터 산출된 음성 인식 결과 및 단계 S208로부터 추출된 음소 정보를 수신하고(S210), 음소 정보에 근거하여 각각의 음성 인식결과에 대한 신뢰도 측정 점수를 산출한다(S212). 단계 S212에서 신뢰도 측정부(114)는 음성 인식결과로부터 추출된 음소 정보 각각에 대하여 개별 신뢰도 측정 점수를 산출하고, 산출된 개별 신뢰도 측정 점수를 평균하여 음성 인식 결과에 대한 신뢰도 측정 점수를 산출한다.The reliability measuring unit 114 receives the speech recognition result calculated in step S204 and the phoneme information extracted in step S208 (S210), and calculates a reliability measurement score for each speech recognition result based on the phoneme information (S212 ). In step S212, the reliability measuring unit 114 calculates an individual reliability measurement score for each phoneme information extracted from the speech recognition result, and averages the calculated individual reliability measurement scores to calculate a reliability measurement score for the speech recognition result.

신뢰도 측정부(114)는 단계 S212에서 산출된 각각의 음성 인식결과에 대한 신뢰도 측정 점수에 기초하여 신뢰도 측정 점수가 기 설정된 제1 임계값 이상인 음성 인식결과를 산출하고, 산출된 음성 인식 결과에 대응되는 음소 정보를 사후확률 최대화 학습부(118)로 전송한다(S214). 단계 S214에서 신뢰도 측정부(114)는 음성 인식결과에 대한 신뢰도 측정 점수가 기 설정된 제1 임계값 이상인 경우 해당 음성 인식결과에 대하여 매우 높은 신뢰도를 가지는 것으로 판단한다.The reliability measuring unit 114 calculates a speech recognition result in which the reliability measurement score is equal to or greater than a predetermined first threshold value based on the reliability measurement score for each speech recognition result calculated in step S212, To the posterior probability maximization learning unit 118 (S214). In step S214, the reliability measuring unit 114 determines that the reliability of the speech recognition result is very high with respect to the speech recognition result when the reliability measurement score of the speech recognition result is equal to or greater than a predetermined first threshold value.

사후확률 최대화 학습부(118)는 신뢰도 측정 점수가 기 설정된 제1 임계값 이상인 음성 인식결과에 대한 음소 정보를 수신하고, 수신된 음소 정보에 대한 특징 벡터를 제1 학습 방법으로 학습하여 음소 정보에 대응되는 음소 모델 파라미터 분포를 업데이트한다(S216). 단계 S216에서 사후확률 최대화 학습부(118)는 사후확률 최대화 방법을 이용하여 수신된 음소 정보에 포함된 각각의 음소의 특징 벡터를 기 저장된 각각의 음소에 대한 이전 모델 파라미터에 반영시킴으로써 각각의 음소에 대응되는 음소 모델 파라미터 분포를 업데이트한다. 이때, 사후확률 최대화 학습부(118)는 음향모델 데이터베이스(110)로부터 각각의 음소에 대한 이전 모델 파라미터 분포 정보를 수신한다.The posterior probability maximizing learning unit 118 receives the phoneme information of the speech recognition result whose reliability measurement score is equal to or larger than a predetermined first threshold value and learns the feature vector of the received phoneme information by the first learning method, The corresponding phoneme model parameter distribution is updated (S216). In step S216, the posterior probability maximization learning unit 118 reflects the feature vectors of the respective phonemes included in the received phoneme information to the previous model parameters of the previously stored phonemes using the posterior probability maximization method, And updates the corresponding phoneme model parameter distribution. At this time, the posterior probability maximization learning unit 118 receives the previous model parameter distribution information for each phoneme from the acoustic model database 110. [

신뢰도 측정부(114)는 단계 S212에서 산출된 각각의 음성 인식결과에 대한 신뢰도 측정 점수에 기초하여 신뢰도 측정 점수가 기 설정된 제1 임계값 미만이고 기 설정된 제2 임계값 이상인 음성 인식결과를 산출하고(S218), 산출된 음성 인식 결과에 대응되는 음소 정보를 음소 트리 저장부(120)로 전송한다(S220). 단계 S218에서 신뢰도 측정부(114)는 음성 인식결과에 대한 신뢰도 측정 점수가 기 설정된 제1 임계값 미만이고 기 설정된 제2 임계값 이상인 음성 인식결과에 대하여 비교적 높은 신뢰도를 가지는 것으로 판단된다. 한편, 단계 S218에서 신뢰도 측정부(114)는 음성 인식결과에 대한 신뢰도 측정 점수가 기 설정된 제2 임계값(T1) 미만인 음성 인식결과에 대해서는 잘못된 음성 인식결과라고 판단하여 이에 대한 학습 과정을 수행하지 않는다.The reliability measuring unit 114 calculates a speech recognition result in which the reliability measurement score is less than a predetermined first threshold value and equal to or greater than a predetermined second threshold value based on the reliability measurement score for each speech recognition result calculated in step S212 (S218), and transmits the phoneme information corresponding to the calculated speech recognition result to the phoneme tree storage unit 120 (S220). The reliability measuring unit 114 determines in step S218 that the reliability measurement score for the speech recognition result is relatively high with respect to the speech recognition result that is less than the predetermined first threshold value and equal to or greater than the predetermined second threshold value. On the other hand, in step S218, the reliability measuring unit 114 determines that the speech recognition result of which the reliability measurement score for the speech recognition result is less than the preset second threshold value T1 is an incorrect speech recognition result, Do not.

음소 트리 제공부(120)는 음소 정보를 수신하는 경우 기 저장된 클래스 기반 음소 트리에 근거하여 음소 정보에 포함된 각각의 음소와 유사도가 높은 모델 파라미터 분포를 가지는 음소를 산출한다(S222). 한편, 음소 트리 제공부(120)는 유사도가 높은 모델 파라미터 분포를 가지는 음소들을 동일 클래스로 군집화시켜 트리 구조 형태로 제공함으로써 각각의 음소와 유사도가 높은 모델 파라미터 분포를 가지는 음소가 산출될 수 있도록 동작한다.When the phoneme information is received, the phoneme providing unit 120 calculates a phoneme having a model parameter distribution having a similarity to each phoneme included in the phoneme information based on the stored class-based phoneme tree (S222). Meanwhile, the phoneme tree providing unit 120 groups the phonemes having a similar degree of model parameter distribution into the same class and provides the phonemes in a tree structure so that phonemes having a model parameter distribution having a similarity to each phoneme can be calculated do.

음소 트리 제공부(120)는 단계 S220에서 수신한 음소 정보와 단계 S222에서 산출한 음소 정보를 변별 학습부(122)로 전송한다(S224).The phoneme providing unit 120 transmits the phoneme information received in step S220 and the phoneme information calculated in step S222 to the discrimination learning unit 122 (S224).

변별 학습부(122)는 단계 S224에서 수신한 음소 정보에 대한 특징 벡터를 제2 학습 방법으로 학습하여 음소 정보에 대응되는 음소 모델 파라미터 분포를 업데이트한다(S226). 단계 S226에서 변별 학습부(122)는 수신된 음소 정보에 포함된 각각의 음소에 대한 카운트 정보 및 각각의 음소의 특징 벡터에 기초한 최대 상호 정보량 추정 방법을 통해 각각의 음소와 각각의 음소와 유사도가 높은 모델 파라미터 분포를 가지는 음소 간의 상호 정보량이 최소화되도록 각각의 음소에 대응되는 음소 모델 파라미터 분포를 업데이트한다.The discrimination learning unit 122 learns the feature vector of the phoneme information received in step S224 using the second learning method and updates the phoneme model parameter distribution corresponding to the phoneme information (S226). In step S226, the discrimination learning unit 122 compares the phonemes with the respective phonemes and the degrees of similarity based on the count information on each phoneme included in the received phoneme information and the maximum mutual information amount estimation method based on the feature vector of each phoneme The phoneme model parameter distribution corresponding to each phoneme is updated so that mutual information amount between phonemes having a high model parameter distribution is minimized.

여기서, 단계 S200 내지 단계 S226은 앞서 설명된 음향 모델 학습장치(100)의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.Here, steps S200 to S226 correspond to the operations of the respective components of the acoustic model learning apparatus 100 described above, so that detailed description will be omitted.

전술한 바와 같이 도 2에 기재된 신뢰도 측점 점수를 이용하여 음향모델 학습 과정을 수행하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 신뢰도 측점 점수를 이용하여 음향모델 학습 과정을 수행하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.As described above, the method of performing the acoustic model learning process using the reliability point score shown in FIG. 2 can be implemented by a program and recorded on a computer-readable recording medium. A program for implementing the method of performing the acoustic model learning process using the reliability point number according to the present embodiment is recorded and the computer readable recording medium is a program for recording all kinds of records in which data that can be read by the computer system is stored Device. Examples of such computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and also implemented in the form of a carrier wave (e.g., transmission over the Internet) . The computer readable recording medium may also be distributed over a networked computer system so that computer readable code is stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present embodiment can be easily inferred by programmers in the technical field to which the present embodiment belongs.

도 3은 본 실시예에 따른 음향 모델 학습장치가 제1 학습 방법을 이용하여 음향모델을 학습하는 과정을 예시한 예시도이다. 한편, 도 3에서는 제1 학습 방법으로 사후확률 최대화 방법이 이용된 경우를 예시하였으며, 이를 통해 음소 "ㅏ"에 대응되는 음소 모델 파라미터 분포가 업데이트된 경우를 예시하였다.3 is a diagram illustrating an example of a process of learning an acoustic model using the first learning method by the acoustic model learning apparatus according to the present embodiment. Meanwhile, FIG. 3 exemplifies a case where the posterior probability maximizing method is used as the first learning method, and a case where the phoneme model parameter distribution corresponding to the phoneme "a" is updated is illustrated.

본 실시예에 따른 음향 모델 학습장치(100)는 신뢰도 측정 점수가 기 설정된 제1 임계값 이상인 음성 인식결과 예컨대, 매우 높은 신뢰도를 가지는 음성 인식결과들에 대해서 사후확률 최대화 방법을 이용하여 음향모델을 업데이트시킨다.The acoustic model learning apparatus 100 according to the present embodiment is configured to use the posterior probability maximization method for the speech recognition results having a reliability measurement score equal to or greater than a predetermined first threshold value, Update it.

도 3에서 도시하듯이, 본 실시예에 따른 음향 모델 학습장치(100)는 사후확률 최대화 방법을 통해 매우 높은 신뢰도를 가지는 음성 인식결과에 대응되는 음소 예컨대, "ㅏ"에 대한 특징 벡터를 기 저장된 음소 "ㅏ"에 대한 이전 모델 파라미터에 반영시킴으로써 음소 "ㅏ"에 대응되는 음소 모델 파라미터 분포를 업데이트시킨다.3, the acoustic model learning apparatus 100 according to the present embodiment stores a feature vector for a phoneme, for example, "a" corresponding to a speech recognition result having a very high reliability through a posterior probability maximization method And updates the phoneme model parameter distribution corresponding to the phoneme "a" by reflecting it in the previous model parameter for the phoneme "a".

도 4는 본 실시예에 따른 클래식 기반 음소 트리 구조를 예시한 예시도이다.4 is a diagram illustrating an example of a classical-based phoneme tree structure according to the present embodiment.

도 4에서 도시하듯이, 본 실시예에 따른 클래식 기반 음소 트리 구조는 서로 유사도가 높은 모델 파라미터 분포를 가지는 음소들에 대하여 동일 클래스로 군집화시켜 제공한다. 본 실시예에 따른 음향 모델 학습장치(100)는 클래스 기반 음소 트리에 근거하여 음소 정보에 포함된 각각의 음소와 유사도가 높은 모델 파라미터 분포를 가지는 음소를 산출하고, 산출된 음소의 모델 파라미터 분포를 추가로 업데이트시킴으로써 음향모델 학습 과정이 보다 효율적으로 이루어질 수 있도록 한다. 예컨대, 본 실시예에 따른 음향 모델 학습장치(100)는 비교적 높은 신뢰도를 가지는 음성 인식결과로부터 추출된 음소 예컨대, "ㅁ"에 대한 모델 파라미터 분포 업데이트 과정을 수행 시 클래스 기반 음소 트리에 근거하여 음소 "ㅁ"과 유사도가 높은 모델 파라미터 분포를 가지는 음소 "ㄴ"을 산출하고, 산출된 음소 "ㄴ"의 모델 파라미터 분포를 추가로 업데이트한다.As shown in FIG. 4, the classical-based phoneme tree structure according to the present embodiment provides clusters of the same class for phonemes having a model parameter distribution having a high degree of similarity. The acoustic model learning apparatus 100 according to the present embodiment calculates a phoneme having a model parameter distribution having a high degree of similarity to each phoneme included in the phoneme information based on the class-based phoneme tree, Further updating allows the acoustic model learning process to be performed more efficiently. For example, in the acoustic model learning apparatus 100 according to the present embodiment, when updating a model parameter distribution for a phoneme, e.g., " ㅁ, "extracted from a speech recognition result having a relatively high reliability, Quot ;, which has a model parameter distribution with a high degree of similarity with "?, &Quot; and further updates the model parameter distribution of the calculated phoneme" ?.

도 5는 본 실시예에 따른 음향 모델 학습장치가 제2 학습 방법을 이용하여 음향모델을 학습하는 과정을 예시한 예시도이다. 한편, 도 5에서는 제2 학습 방법으로 최대 상호 정보량 방법이 이용된 경우를 예시하였으며, 이를 통해 음소 "ㅍ"에 대응되는 음소 모델 파라미터 분포가 업데이트된 경우를 예시하였다.FIG. 5 is a diagram illustrating an example of a process in which the acoustic model learning apparatus according to the present embodiment learns an acoustic model using a second learning method. Meanwhile, FIG. 5 exemplifies a case where the maximum mutual information method is used as the second learning method, and a case where the phoneme model parameter distribution corresponding to the phoneme "?" Is updated is illustrated.

본 실시예에 따른 음향 모델 학습장치(100)는 신뢰도 측정 점수가 기 설정된 제1 임계값 미만이고 제2 임계값 이상인 음성 인식결과 예컨대, 비교적 높은 신뢰도를 가지는 음성 인식결과들에 대해서는 최대 상호 정보량 방법을 이용하여 음향모델을 업데이트시킨다.The acoustic model learning apparatus 100 according to the present embodiment can acquire speech recognition results having a reliability measurement score of less than a predetermined first threshold value and a second threshold value or more, To update the acoustic model.

도 5에서 도시하듯이, 본 실시예에 따른 음향 모델 학습장치(100)는 최대 상호 정보량 방법을 통해 비교적 높은 신뢰도를 가지는 음성 인식결과에 대응되는 음소 예컨대, "ㅍ"과 음소 "ㅍ"과 유사도가 높은 모델 파라미터 분포를 가지는 음소 "ㅁ" 간의 상호 정보량이 최소화되도록 음소 "ㅍ"에 대한 음소 모델 파라미터 분포를 업데이트한다.5, the acoustic model learning apparatus 100 according to the present embodiment compares phonemes corresponding to the results of speech recognition having relatively high reliability, such as "" and phoneme " Updates the phoneme model parameter distribution for the phoneme "" so that the amount of mutual information between the phonemes "" with high model parameter distribution is minimized.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.

100: 음향 모델 학습장치 102: 특징 추출부
104: 탐색부 106: 언어모델 데이터베이스
108: 발음사전 데이터베이스 110: 음향모델 데이터베이스
112: 정렬부 114: 신뢰도 측정부
116: 학습부 118: 사후확률 최대화 학습부
120: 음소 트리 제공부 122: 변별 학습부
124: 텍스트 데이터베이스 126: 언어모델 학습기
128: 음성 데이터베이스 130: 음향모델 학습기
244: 확장부100: acoustic model learning apparatus 102: feature extraction unit
104: search unit 106: language model database
108: pronunciation dictionary database 110: acoustic model database
112: alignment unit 114: reliability measurement unit
116: learning unit 118: posterior probability maximization learning unit
120: a phoneme tree providing unit 122: a discrimination learning unit
124: text database 126: language model learning machine
128: voice database 130: acoustic model learning machine
244:

Claims (11)

입력된 적어도 하나 이상의 음성에 대한 음성 인식결과를 수신하고, 상기 음성 인식결과로부터 음소 정보를 추출하는 정렬부;
상기 음소 정보에 근거하여 상기 음성 인식결과에 대한 신뢰도 측정 점수를 산출하는 신뢰도 측정부; 및
상기 신뢰도 측정부에 의해 산출된 상기 신뢰도 측정 점수에 따라 상기 음소 정보에 대한 특징 벡터를 서로 다른 학습 방법으로 학습하여 상기 음소 정보에 대응되는 음소 모델 파라미터 분포를 업데이트하는 학습부
를 포함하는 것을 특징으로 하는 음향 모델 학습장치.An alignment unit for receiving a speech recognition result of at least one input speech and extracting phoneme information from the speech recognition result;
A reliability measuring unit for calculating a reliability measurement score for the speech recognition result based on the phoneme information; And
A learning unit for learning the feature vector of the phoneme information according to the reliability measurement score calculated by the reliability measurement unit by different learning methods and updating the phoneme model parameter distribution corresponding to the phoneme information,
And an acoustic model learning unit for learning acoustic models. 제 1항에 있어서,
상기 신뢰도 측정부는,
상기 음소 정보에 포함된 각각의 음소에 대하여 개별 신뢰도 측정 점수를 산출하고, 상기 개별 신뢰도 측정 점수에 기초하여 상기 음성 인식결과에 대한 신뢰도 측정 점수를 산출하는 것을 특징으로 하는 음향 모델 학습장치.The method according to claim 1,
The reliability measuring unit includes:
An individual reliability measurement score is calculated for each phoneme included in the phoneme information, and a reliability measurement score for the speech recognition result is calculated based on the individual reliability measurement score. 제 1항에 있어서,
상기 학습부는,
상기 음소 정보 중 상기 신뢰도 측정 점수가 기 설정된 제1 임계값 이상인 음성 인식결과에 대한 음소 정보를 수신하고, 수신된 음소 정보에 대한 특징 벡터를 제1 학습 방법을 이용하여 학습하는 사후확률 최대화 학습부; 및
상기 음소 정보 중 상기 신뢰도 측정 점수가 상기 제1 임계값 미만이고 제2 임계값 이상인 음성 인식결과에 대한 음소 정보를 수신하고, 수신된 음소 정보에 대한 특징 벡터를 제2 학습 방법을 이용하여 학습하는 변별 학습부
를 포함하는 것을 특징으로 하는 음향 모델 학습장치.The method according to claim 1,
Wherein,
A posterior probability maximization learning unit that receives phoneme information of a speech recognition result in which the reliability measurement score is equal to or greater than a predetermined first threshold value and learns a feature vector of the received phoneme information using a first learning method, ; And
Receiving phoneme information of the speech recognition result in which the reliability measurement score is less than the first threshold value and not less than the second threshold value among the phoneme information and learning the feature vector of the received phoneme information using the second learning method Discrimination learning unit
And an acoustic model learning unit for learning acoustic models. 제 3항에 있어서,
상기 사후확률 최대화 학습부는,
수신된 음소 정보에 포함된 각각의 음소의 특징 벡터를 기 저장된 상기 각각의 음소에 대한 이전 모델 파라미터에 반영하여 상기 각각의 음소에 대응되는 음소 모델 파라미터 분포를 업데이트하는 것을 특징으로 하는 음향 모델 학습장치.The method of claim 3,
Wherein the posterior probability maximization learning unit comprises:
And the phoneme model parameter distribution corresponding to each of the phonemes is updated by reflecting the feature vector of each phoneme included in the received phoneme information to the previous model parameters of the phonemes previously stored, . 제 3항에 있어서,
상기 사후확률 최대화 학습부는, 상기 제1 학습 방법으로서 사후확률 최대화(Maximum A Posteriori) 방법을 이용하고,
상기 변별 학습부는, 상기 제2 학습 방법으로서 최대 상호정보량(MMI: Maximum Mutual Information) 추정 방법을 이용하는 것을 특징으로 하는 음향 모델 학습장치.The method of claim 3,
The posterior probability maximization learning unit uses a Maximum A Posteriori method as the first learning method,
Wherein the discrimination learning unit uses a maximum mutual information (MMI) estimation method as the second learning method. 제 3항에 있어서,
상기 사후확률 최대화 학습부는,
상기 제1 학습 방법을 이용한 학습 과정을 소정 횟수만큼 반복적으로 수행하는 것을 특징으로 하는 음향 모델 학습장치.The method of claim 3,
Wherein the posterior probability maximization learning unit comprises:
And the learning process using the first learning method is repeatedly performed a predetermined number of times. 제 3항에 있어서,
상기 변별 학습부는,
수신된 음소 정보에 포함된 각각의 음소에 대한 카운트 정보 및 상기 각각의 음소의 특징 벡터에 기초하여 상기 각각의 음소와 상기 각각의 음소와 유사도가 높은 모델 파라미터 분포를 가지는 음소 간의 상호 정보량이 최소화되도록 상기 각각의 음소에 대응되는 음소 모델 파라미터 분포를 업데이트하는 것을 특징으로 하는 음향 모델 학습장치.The method of claim 3,
Wherein the discrimination learning unit comprises:
So that the mutual information amount between the phonemes of the respective phonemes and the phonemes having the model parameter distribution having a high degree of similarity to each phoneme is minimized based on the count information for each phoneme included in the received phoneme information and the feature vector of each phoneme And updates the phoneme model parameter distribution corresponding to each of the phonemes. 제 3항에 있어서,
상기 학습부는, 유사도가 높은 모델 파라미터 분포를 가지는 음소들을 동일 클래스로 군집화시켜 트리 구조 형태로 제공하는 음소 트리 제공부를 더 포함하며,
상기 변별 학습부는 수신된 음소 정보에 포함된 각각의 음소와 유사도가 높은 모델 파라미터 분포를 가지는 음소를 상기 음소 트리 제공부로부터 제공받고, 상기 제공된 음소에 대응되는 음소 모델 파라미터 분포를 추가로 업데이트하는 것을 특징으로 하는 음향 모델 학습장치.The method of claim 3,
Wherein the learning unit further comprises a phoneme tree providing unit for grouping phonemes having a model parameter distribution having a high degree of similarity into the same class and providing the phonemes as a tree structure,
Wherein the discrimination learning unit is provided with phonemes having a model parameter distribution having a high degree of similarity to each phoneme included in the received phoneme information from the phoneme tree providing unit and further updating the phoneme model parameter distribution corresponding to the provided phoneme Acoustic model learning apparatus. 제 8항에 있어서,
상기 변별 학습부는,
수신된 음소 정보에 대한 카운트 정보 및 특징 벡터에 기초하여 상기 제공된 음소에 대응되는 음소 모델 파라미터 분포를 업데이트하는 것을 특징으로 하는 음향 모델 학습장치.9. The method of claim 8,
Wherein the discrimination learning unit comprises:
And updates phoneme model parameter distribution corresponding to the provided phonemes based on the count information and the feature vector of the received phoneme information. 음향 모델 학습장치가 신뢰도 측정 점수를 이용하여 비감독 기반 음향모델 변별 학습을 수행하는 방법에 있어서,
입력된 적어도 하나 이상의 음성에 대한 음성 인식결과를 수신하고, 상기 음성 인식결과로부터 음소 정보를 추출하는 음소 정보 추출과정;
상기 음소 정보에 근거하여 상기 음성 인식결과에 대한 신뢰도 측정 점수를 산출하는 산출과정; 및
상기 산출과정을 이용하여 산출된 상기 신뢰도 측정 점수에 따라 상기 음소 정보에 대한 특징 벡터를 서로 다른 학습 방법으로 학습하여 상기 음소 정보에 대응되는 음소 모델 파라미터 분포를 업데이트하는 학습 과정
을 포함하는 것을 특징으로 하는 음향 모델 학습장치의 학습 방법.A method for an acoustic model learning apparatus performing non-supervised acoustic model discrimination learning using a reliability measurement score,
A phonemic information extracting step of receiving a speech recognition result of at least one input speech and extracting phoneme information from the speech recognition result;
A calculation step of calculating a reliability measurement score for the speech recognition result based on the phoneme information; And
A learning process of learning a feature vector of the phoneme information in accordance with the reliability measurement score calculated using the calculation process and updating the phoneme model parameter distribution corresponding to the phoneme information
And a learning method of the acoustic model learning apparatus. 데이터 처리 기기에,
입력된 적어도 하나 이상의 음성에 대한 음성 인식결과를 수신하고, 상기 음성 인식결과로부터 음소 정보를 추출하는 음소 정보 추출과정;
상기 음소 정보에 근거하여 상기 음성 인식결과에 대한 신뢰도 측정 점수를 산출하는 산출과정; 및
상기 산출과정을 이용하여 산출된 상기 신뢰도 측정 점수에 따라 상기 음소 정보에 대한 특징 벡터를 서로 다른 학습 방법으로 학습하여 상기 음소 정보에 대응되는 음소 모델 파라미터 분포를 업데이트하는 학습 과정
을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.In the data processing device,
A phonemic information extracting step of receiving a speech recognition result of at least one input speech and extracting phoneme information from the speech recognition result;
A calculation step of calculating a reliability measurement score for the speech recognition result based on the phoneme information; And
A learning process of learning a feature vector of the phoneme information in accordance with the reliability measurement score calculated using the calculation process and updating the phoneme model parameter distribution corresponding to the phoneme information
Readable recording medium having recorded thereon a program for realizing the program.
KR1020140160931A 2014-11-18 2014-11-18 Method And Apparatus for Learning Acoustic Model Considering Reliability Score KR102199246B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140160931A KR102199246B1 (en) 2014-11-18 2014-11-18 Method And Apparatus for Learning Acoustic Model Considering Reliability Score

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140160931A KR102199246B1 (en) 2014-11-18 2014-11-18 Method And Apparatus for Learning Acoustic Model Considering Reliability Score

Publications (2)

Publication Number Publication Date
KR20160059265A true KR20160059265A (en) 2016-05-26
KR102199246B1 KR102199246B1 (en) 2021-01-07

Family

ID=56104665

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140160931A KR102199246B1 (en) 2014-11-18 2014-11-18 Method And Apparatus for Learning Acoustic Model Considering Reliability Score

Country Status (1)

Country Link
KR (1) KR102199246B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180134740A (en) * 2017-06-09 2018-12-19 한국과학기술원 Electronic apparatus and method for optimizing of trained model
KR20190096876A (en) * 2019-07-31 2019-08-20 엘지전자 주식회사 System nad method of unsupervised training with weight sharing for the improvement in speech recognition and recording medium for performing the method
KR102152902B1 (en) * 2020-02-11 2020-09-07 주식회사 엘솔루 Method for converting voice data into text data and speech-to-text device performing method
US10930268B2 (en) 2018-05-31 2021-02-23 Samsung Electronics Co., Ltd. Speech recognition method and apparatus
US11580376B2 (en) 2017-06-09 2023-02-14 Korea Advanced Institute Of Science And Technology Electronic apparatus and method for optimizing trained model
KR102598077B1 (en) * 2023-03-21 2023-11-06 (주)노웨어소프트 Method and apparatus for protecting copyright based on artificial intelligence algorithm

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000067829A (en) * 1998-12-17 2000-11-25 소니 인터내셔널(유로파) 게엠베하 Semi-supervised speaker adaptation
KR20030096862A (en) * 2002-06-18 2003-12-31 정현열 Method for speech recognition using topology design of hm-net model by combining phonetic decision tree with state-splition
KR20050082253A (en) * 2004-02-18 2005-08-23 삼성전자주식회사 Speaker clustering method and speaker adaptation method based on model transformation, and apparatus using the same
KR20090060631A (en) * 2007-12-10 2009-06-15 광주과학기술원 System and method of pronunciation variation modeling based on indirect data-driven method for foreign speech recognition
KR20100083572A (en) * 2009-01-14 2010-07-22 삼성전자주식회사 Signal processing apparatus and method of recognizing voice thereof
JP2013182261A (en) * 2012-03-05 2013-09-12 Nippon Hoso Kyokai <Nhk> Adaptation device, voice recognition device and program
KR20130126570A (en) * 2013-10-25 2013-11-20 에스케이텔레콤 주식회사 Apparatus for discriminative training acoustic model considering error of phonemes in keyword and computer recordable medium storing the method thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000067829A (en) * 1998-12-17 2000-11-25 소니 인터내셔널(유로파) 게엠베하 Semi-supervised speaker adaptation
KR20030096862A (en) * 2002-06-18 2003-12-31 정현열 Method for speech recognition using topology design of hm-net model by combining phonetic decision tree with state-splition
KR20050082253A (en) * 2004-02-18 2005-08-23 삼성전자주식회사 Speaker clustering method and speaker adaptation method based on model transformation, and apparatus using the same
KR20090060631A (en) * 2007-12-10 2009-06-15 광주과학기술원 System and method of pronunciation variation modeling based on indirect data-driven method for foreign speech recognition
KR20100083572A (en) * 2009-01-14 2010-07-22 삼성전자주식회사 Signal processing apparatus and method of recognizing voice thereof
JP2013182261A (en) * 2012-03-05 2013-09-12 Nippon Hoso Kyokai <Nhk> Adaptation device, voice recognition device and program
KR20130126570A (en) * 2013-10-25 2013-11-20 에스케이텔레콤 주식회사 Apparatus for discriminative training acoustic model considering error of phonemes in keyword and computer recordable medium storing the method thereof

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180134740A (en) * 2017-06-09 2018-12-19 한국과학기술원 Electronic apparatus and method for optimizing of trained model
US11580376B2 (en) 2017-06-09 2023-02-14 Korea Advanced Institute Of Science And Technology Electronic apparatus and method for optimizing trained model
US10930268B2 (en) 2018-05-31 2021-02-23 Samsung Electronics Co., Ltd. Speech recognition method and apparatus
KR20190096876A (en) * 2019-07-31 2019-08-20 엘지전자 주식회사 System nad method of unsupervised training with weight sharing for the improvement in speech recognition and recording medium for performing the method
US11164565B2 (en) 2019-07-31 2021-11-02 Lg Electronics Inc. Unsupervised learning system and method for performing weighting for improvement in speech recognition performance and recording medium for performing the method
KR102152902B1 (en) * 2020-02-11 2020-09-07 주식회사 엘솔루 Method for converting voice data into text data and speech-to-text device performing method
WO2021162362A1 (en) * 2020-02-11 2021-08-19 주식회사 엘솔루 Method of training voice recognition model and voice recognition device trained by using same method
KR102598077B1 (en) * 2023-03-21 2023-11-06 (주)노웨어소프트 Method and apparatus for protecting copyright based on artificial intelligence algorithm

Also Published As

Publication number Publication date
KR102199246B1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
US9911413B1 (en) Neural latent variable model for spoken language understanding
US10210862B1 (en) Lattice decoding and result confirmation using recurrent neural networks
US8818813B2 (en) Methods and system for grammar fitness evaluation as speech recognition error predictor
US8478591B2 (en) Phonetic variation model building apparatus and method and phonetic recognition system and method thereof
US9489943B2 (en) System and method for learning alternate pronunciations for speech recognition
CN103544955B (en) Identify the method and its electronic device of voice
KR102199246B1 (en) Method And Apparatus for Learning Acoustic Model Considering Reliability Score
Alon et al. Contextual speech recognition with difficult negative training examples
US9495955B1 (en) Acoustic model training
CN110415725B (en) Method and system for evaluating pronunciation quality of second language using first language data
JP2016062069A (en) Speech recognition method and speech recognition apparatus
Van Dalen et al. Improving multiple-crowd-sourced transcriptions using a speech recogniser
Irtza et al. A hierarchical framework for language identification
US20180012602A1 (en) System and methods for pronunciation analysis-based speaker verification
US20110218802A1 (en) Continuous Speech Recognition
Zhang et al. Improved mandarin keyword spotting using confusion garbage model
KR101483947B1 (en) Apparatus for discriminative training acoustic model considering error of phonemes in keyword and computer recordable medium storing the method thereof
JP2017045027A (en) Speech language corpus generation device and its program
JP6027754B2 (en) Adaptation device, speech recognition device, and program thereof
Bell et al. The UEDIN ASR systems for the IWSLT 2014 evaluation
Perero-Codosero et al. Exploring Open-Source Deep Learning ASR for Speech-to-Text TV program transcription.
KR102299269B1 (en) Method and apparatus for building voice database by aligning voice and script
Li et al. Improving mandarin tone mispronunciation detection for non-native learners with soft-target tone labels and blstm-based deep models
KR102199445B1 (en) Method and apparatus for discriminative training acoustic model based on class, and speech recognition apparatus using the same
CN115424616A (en) Audio data screening method, device, equipment and computer readable medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant