KR101444410B1 - Apparatus and method for pronunciation test according to pronounced level - Google Patents

Apparatus and method for pronunciation test according to pronounced level Download PDF

Info

Publication number
KR101444410B1
KR101444410B1 KR1020110135892A KR20110135892A KR101444410B1 KR 101444410 B1 KR101444410 B1 KR 101444410B1 KR 1020110135892 A KR1020110135892 A KR 1020110135892A KR 20110135892 A KR20110135892 A KR 20110135892A KR 101444410 B1 KR101444410 B1 KR 101444410B1
Authority
KR
South Korea
Prior art keywords
value
reliability
pronunciation
unit
measured
Prior art date
Application number
KR1020110135892A
Other languages
Korean (ko)
Other versions
KR20130068602A (en
Inventor
오유리
이윤근
박전규
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110135892A priority Critical patent/KR101444410B1/en
Publication of KR20130068602A publication Critical patent/KR20130068602A/en
Application granted granted Critical
Publication of KR101444410B1 publication Critical patent/KR101444410B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/72—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for transmitting results of analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 학습자의 발성 문장에 의해, 입력되는 음성 신호를 인식하는 음성 인식부; 상기 인식된 음성 신호로부터 음성 특징 정보를 추출하는 음성 특징 추출부; 상기 추출된 음성 특징 정보를 이용하여 상기 음성 신호의 현재 신뢰도 값을 측정하는 음성 신뢰도 측정부; 상기 측정된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교하고, 그 비교 결과에 근거하여 임계치 값을 갱신하는 임계치 갱신부; 및 상기 갱신된 임계치 값과 상기 현재 측정된 신뢰도 값을 비교하여, 발음 평가 결과를 제공하는 발음 평가 제공부;를 포함한다.The present invention relates to a speech recognition apparatus, a speech recognition method, a speech recognition method, a speech recognition method, A speech feature extraction unit for extracting speech feature information from the recognized speech signal; A voice reliability measurement unit for measuring a current reliability value of the voice signal using the extracted voice feature information; A threshold updating unit for comparing the measured current reliability value with a past measured reliability value and updating the threshold value based on the comparison result; And a pronunciation evaluation providing unit for comparing the updated threshold value with the currently measured reliability value to provide a pronunciation evaluation result.

Description

발음 수준에 따른 발음 평가 장치 및 그 방법{APPARATUS AND METHOD FOR PRONUNCIATION TEST ACCORDING TO PRONOUNCED LEVEL}[0001] APPARATUS AND METHOD FOR PRONUNCIATION TEST ACCORDING TO PRONOUNCED LEVEL [0002]

본 발명은 발음 수준에 따른 발음 평가 장치 및 그 방법에 관한 것으로, 보다 상세하게는 학습자의 발음 수준에 따라 발음을 평가하는 발음 수준에 따른 발음 평가 장치 및 그 방법에 관한 것이다.
The present invention relates to a pronunciation evaluation apparatus and method according to pronunciation levels, and more particularly, to a pronunciation assessment apparatus and method according to a pronunciation level for evaluating a pronunciation according to a pronunciation level of a learner.

일반적으로 현대인들은 산업의 전문화와 국제화의 추세에 따라 외국어에 대한 관심이 많아지는 경향을 보이는데, 이러한 추세에 대응하기 위해 어학용 학습기나 다양한 어학용 프로그램들이 개발되고 있는 실정이다. In general, modern people tend to become more interested in foreign languages due to industry specialization and internationalization trend. In order to cope with this trend, language learning machines and various language programs are being developed.

이러한 어학용 프로그램은 인식하고자 하는 인식 대상이 어휘를 미리 결정해놓고 결정된 인식 대상 어휘 중의 하나 또는 몇 개를 사용자가 발성하면 입력된 음성이 미리 등록된 어휘 중 어느 것에 가장 가까운지를 찾아내어 출력하도록 구성되며, 이러한 음성인식 결과를 정오 혹은 점수 형태로 나타내게 되며, 사용자가 이 음성인식 결과로 자신의 발음의 정확도 여부를 판단하는 것이 가능하도록 구성된 학습 방법이다.The linguistic program is configured to find out which of the vocabularies is the most similar to the previously registered vocabulary, and output the vocabulary when the user utters one or more of the determined vocabulary words to be recognized, The speech recognition result is displayed in a noon or score form, and the user can determine whether or not the pronunciation of the speech is accurate based on the speech recognition result.

하지만, 종래의 인터넷 학습 교육은 학습 교재를 멀티미디어 방식으로 변환하여 온라인으로 학습자에게 제공하는 장점은 있으나, 학습 효과를 높일 수 있는 학습 방법에 따른 서비스를 제공하고 있지 못하고 있다. 그 이유는 종래의 학습 방법이 반복전인 듣기 및 말하기 위주의 학습 방법으로 수행되고, 학습자의 발음 수준에 맞는 영어 학습 평가를 선택하기 곤란하다는 문제점이 있다.
However, the conventional Internet learning education has an advantage of converting the learning material into a multimedia format and providing it to a learner on-line, but does not provide a service according to a learning method for enhancing a learning effect. The reason for this is that the conventional learning method is performed in a repetitive listening and speaking-based learning method, and it is difficult to select an English learning evaluation suited to the pronunciation level of a learner.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 학습자의 발음 수준에 따라 가변적으로 임계치 값을 갱신하여 발음 평가 결과를 제공함으로써, 학습자의 학습 의욕을 고취시킬 수 있는 발음 수준에 따른 발음 평가 장치 및 그 방법을 제공함에 그 목적이 있다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems and it is an object of the present invention to provide a pronunciation evaluation apparatus and a pronunciation evaluation apparatus according to a pronunciation level capable of enhancing a learner's motivation by providing a pronunciation evaluation result by variably updating a threshold value according to a pronunciation level of a learner, The purpose of this method is to provide.

상기의 목적을 달성하기 위하여 본 발명의 실시예에 따른 발음 수준에 따른 발음 평가 장치는, 입력되는 음성 신호를 인식하는 음성 인식부; 상기 인식된 음성 신호로부터 음성 특징 정보를 추출하는 음성 특징 추출부; 상기 추출된 음성 특징 정보를 이용하여 상기 음성 신호의 신뢰도 값을 측정하는 음성 신뢰도 측정부; 상기 측정된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교하고, 그 비교 결과에 근거하여 임계치 값을 갱신하는 임계치 갱신부; 및 상기 갱신된 임계치 값과 상기 현재 측정된 신뢰도 값을 비교하여 발음 평가 결과를 제공하는 발음 평가 제공부;를 포함한다.According to another aspect of the present invention, there is provided a pronunciation evaluation apparatus according to a pronunciation level, comprising: a speech recognition unit for recognizing an input speech signal; A speech feature extraction unit for extracting speech feature information from the recognized speech signal; A voice reliability measurement unit for measuring a reliability value of the voice signal using the extracted voice feature information; A threshold updating unit for comparing the measured current reliability value with a past measured reliability value and updating the threshold value based on the comparison result; And a pronunciation evaluation providing unit for comparing the updated threshold value with the currently measured reliability value to provide a pronunciation evaluation result.

상기 임계치 갱신부는 현재 측정된 신뢰도 값을 저장하는 현재 신뢰도 값 저장부, 과거 측정된 신뢰도 값을 저장하는 과거 신뢰도 값 저장부, 현재 측정된 신뢰도 값과 과거 측정된 신뢰도 값을 비교하는 비교부, 상기 비교부의 비교 결과에 근거하여, 임계치 값을 높이거나 낮추어 갱신하는 갱신부를 포함하는 것을 특징으로 한다.The threshold updating unit may include a current reliability value storing unit for storing the currently measured reliability value, a past reliability value storing unit for storing the past measured reliability value, a comparison unit for comparing the currently measured reliability value with the past measured reliability value, And an updating unit for updating the threshold value by raising or lowering the threshold value based on the comparison result of the comparing unit.

상기 임계치 갱신부는 초급 학습자에 의해 주로 낮은 신뢰도 값이 측정되는 경우 임계치 값을 낮추고, 상급 학습자에 이해 주로 높은 신뢰도 값이 측정되는 경우 임계치 값을 높이게 되는 것을 특징으로 한다.Wherein the threshold updating unit lowers the threshold value when a low reliability value is mainly measured by the elementary learner and increases the threshold value when a high reliability value is mainly measured by the advanced learner.

상기 발음 평가 제공부는 비교 결과 갱신된 임계치 값보다 현재 측정된 신뢰도 값이 큰 경우 그 결과를 성공한 것으로 평가하고, 비교 결과 갱신된 임계치 값보다 현재 측정된 신뢰도 값이 작은 경우 그 결과를 실패한 것으로 평가한다.
If the currently measured reliability value is larger than the updated threshold value, the pronunciation evaluation and providing unit evaluates the result as being successful, and if the currently measured reliability value is smaller than the updated threshold value as a result of comparison, .

상기와 같은 구성을 갖는 본 발명에 의하면 발음 수준에 따른 발음 평가 장치 및 그 방법은 학습자의 발음 수준에 따라 가변적으로 임계치 값을 갱신하여 발음 평가 결과를 제공함으로써, 학습자의 학습 의욕을 고취시키고 학습 동기를 유발할 수 있는 효과가 있다.
According to the present invention having the above-described configuration, the pronunciation evaluation apparatus and method according to the pronunciation level can variably update the threshold value according to the pronunciation level of a learner to provide a pronunciation evaluation result, . ≪ / RTI >

도 1은 본 발명의 실시예에 따른 발음 수준에 따른 발음 평가 장치에 대한 구성도이다.
도 2는 본 발명의 실시예에 채용되는 임계치 갱신부에 대한 세부 구성도이다.
도 3은 본 발명의 실시예에 따른 발음 수준에 따른 발음 평가 방법에 대한 흐름도이다.1 is a configuration diagram of a pronunciation evaluation apparatus according to a pronunciation level according to an embodiment of the present invention.
2 is a detailed configuration diagram of a threshold updating unit employed in an embodiment of the present invention.
3 is a flowchart of a pronunciation evaluation method according to a pronunciation level according to an embodiment of the present invention.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선, 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to facilitate a person skilled in the art to easily carry out the technical idea of the present invention. . First, in adding reference numerals to the constituents of the drawings, it is to be noted that the same constituents are denoted by the same reference symbols as possible even if they are displayed on different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

이하에서는, 본 발명의 실시예에 따른 발음 수준에 따른 발음 평가 장치 및 그 방법에 대하여 첨부한 도면을 참고로 하여 상세히 설명한다.Hereinafter, a pronunciation evaluation apparatus and method according to a pronunciation level according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 발음 수준에 따른 발음 평가 장치에 대한 구성도이고, 도 2는 임계치 갱신부에 대한 세부 구성도이다.FIG. 1 is a configuration diagram of a pronunciation evaluation apparatus according to a pronunciation level, and FIG. 2 is a detailed configuration diagram of a threshold value update unit.

도 1 및 도 2를 참조하여 설명하면, 발음 수준에 따른 발음 평가 장치는 크게 음성 인식부(100), 음성 특징 추출부(110), 음성 신뢰도 측정부(120), 임계치 갱신부(130), 발음 평가 제공부(140)를 포함하여 구성된다.1 and 2, the pronunciation evaluation apparatus according to a pronunciation level includes a speech recognition unit 100, a voice feature extraction unit 110, a voice reliability measurement unit 120, a threshold value update unit 130, And a pronunciation evaluation unit 140.

음성 인식부(100)는 학습자의 발성 문장에 의해 입력되는 음성 신호를 인식한다. 이때, 발성 문장은 학습자에게 제공하기 위해 선정되는 문장으로, 제공자가 발음 교육에 적합하다고 판단하여 임의로 설정한 것일 수 있으며, 학습자에 따라 선정하는 문장을 달라질 수 있다. 소정의 마디 단위는 단어, 구절, 어절, 의미상 관련 있는 구절 또는 강세와 관련된 구절 등과 같이 문장보다 작은 단위를 의미하며, 학계에서 검증되거나 또는 상식적으로 보편화 되어 있어 신뢰성 있게 정의될 수 있다.The speech recognition unit (100) recognizes the speech signal inputted by the learner's utterance sentence. At this time, the speech sentence is a sentence selected to provide to the learner, and may be set arbitrarily by the provider, judging that the provider is suitable for the pronunciation training, and the sentence to be selected may vary depending on the learner. A given unit of measure is a unit smaller than a sentence, such as a word, a phrase, a phrase, a semantically related phrase, or a verse related to an accent, and can be reliably defined since it is verified in academic circles or common sense.

음성 특징 추출부(110)는 인식된 음성 신호로부터 음성 특징 정보를 추출한다. 이때, 음성 특징 추출은 MFCC(Mel Frequency Cepstral Coefficient), LPC(Linear Predictive Coding) 및 PLP(Perceptual Linear Prediction) 등과 같은 알고리즘을 사용하여 추출할 수 있다. 또한, 이러한 음성 특징 추출시에 기본적인 음성 특징인 음소 구간, 확률 정보 이외에 추가적인 음성 특징도 추출할 수 있다. 이러한 추가적인 음성 특징 정보로는 FO 주파수, 포먼트 주파수, 포먼트에서 에너지값 및 주파수 밴드 에너지 등 일 수 있다.The voice feature extraction unit 110 extracts voice feature information from the recognized voice signal. At this time, the speech feature extraction can be extracted using algorithms such as MFCC (Mel Frequency Cepstral Coefficient), LPC (Linear Predictive Coding) and PLP (Perceptual Linear Prediction). Further, at the time of extracting the speech features, additional speech features can be extracted in addition to the basic speech features such as phoneme duration and probability information. These additional voice feature information may be the FO frequency, the formant frequency, the energy value in the formant, and the frequency band energy.

음성 신뢰도 측정부(120)는 추출된 음성 특징 정보를 이용하여 음성 신호의 현재 신뢰도 값을 측정한다. 이때, 신뢰도 값이란 음성인식 결과인 음소나 단어에 대해서 그 이외의 다른 음소나 단어로부터 그 말이 발화되었을 때의 확률에 대한 상대적 확률값을 의미한다. 이러한 신뢰도 값 측정은 반모델(Allmixture antimodel), 적응 반모델(adapted antimodel), 변별학습을 수행하는 반모델(discriminative antimodel), VQ(Vector Quantization)기반 반모델(VQ based antimodel)등 다양한 형태의 반 음소 모델 또는 음소 지속 모델, 기타 정보(우도, Nbest)를 적용하여 측정할 수 있다. The voice reliability measuring unit 120 measures the current reliability value of the voice signal using the extracted voice feature information. In this case, the reliability value means a relative probability value with respect to the probability when the utterance is uttered from other phonemes or words for the phonemes or words that are speech recognition results. This reliability measure can be applied to various types of semi-models such as Allmixture antimodel, adapted antimodel, discriminative antimodel, and VQ based antimodel. Phoneme model or phoneme duration model, and other information (likelihood, Nbest).

임계치 갱신부(130)는 측정된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교하고, 그 비교 결과에 근거하여 임계치 값을 갱신한다. 이때, 임계치 값은 학습자의 발음 수준에 맞춰 미리 설정된다. 또한, 학습자는 발음 수준에 따라 초급 학습자 또는 상급 학습자로 구분되며, 상급 학습자의 임계치 값은 초급 학습자의 임계치 값보다 높게 설정된다.The threshold updating unit 130 compares the measured current reliability value with the past measured reliability value, and updates the threshold value based on the comparison result. At this time, the threshold value is set in advance according to the pronunciation level of the learner. The learner is classified into a beginner learner or an advanced learner according to the pronunciation level, and the threshold value of the advanced learner is set to be higher than the threshold value of the beginner learner.

이를 위하여, 임계치 갱신부(130)는 현재 신뢰도 값 저장부(131). 과거 신뢰도 값 저장부(132), 비교부(133), 갱신부(134)를 포함한다.To this end, the threshold updating unit 130 stores the current reliability value storage unit 131. A past reliability value storing unit 132, a comparing unit 133, and an updating unit 134. [

현재 신뢰도 값 저장부(131)는 음성 신뢰도 측정부(120)로부터 측정된 현재의 신뢰도 값을 저장한다. 과거 신뢰도 값 저장부(132)는 기존에 음성 신뢰도 측정부(120)로부터 측정된 신뢰도 값을 저장한다. 비교부(133)는 저장된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교한다. 갱신부(134)는 비교부(133)의 비교 결과에 근거하여, 임계치 값을 높이거나 낮추어 갱신한다. 즉, 갱신부(134)는 초급 학습자에 의해 주로 낮은 신뢰도 값이 측정되는 경우 임계치 값을 낮추고, 상급 학습자에 이해 주로 높은 신뢰도 값이 측정되는 경우 임계치 값을 높이게 된다. The current reliability value storage unit 131 stores the current reliability value measured by the voice reliability measurement unit 120. [ The past reliability value storage unit 132 stores the reliability value measured from the voice reliability measurement unit 120 in the past. The comparing unit 133 compares the stored current reliability value with the past measured reliability value. The updating unit 134 updates the threshold value based on the comparison result of the comparison unit 133 by raising or lowering the threshold value. That is, the update unit 134 lowers the threshold value when a low reliability value is mainly measured by the beginner learner, and increases the threshold value when a high reliability value is mainly measured by the advanced learner.

발음 평가 제공부(140)는 갱신된 임계치 값과 현재 측정된 신뢰도 값을 비교하여 발음 평가 결과를 제공한다. The pronunciation evaluation providing unit 140 compares the updated threshold value with the currently measured reliability value to provide a pronunciation evaluation result.

발음 평가 제공부(140)는 비교 결과 갱신된 임계치 값보다 현재 측정된 신뢰도 값이 큰 경우 그 결과를 성공한 것으로 평가하고, 비교 결과 갱신된 임계치 값보다 현재 측정된 신뢰도 값이 작은 경우 그 결과를 실패한 것으로 평가한다.
If the currently measured reliability value is greater than the updated threshold value as a result of the comparison, the pronunciation evaluation unit 140 evaluates the result as being successful, and if the currently measured reliability value is smaller than the updated threshold value, .

이하, 발음 수준에 따른 발음 평가 방법을 도 3을 참조하여 상세하게 설명한다. 도 3은 발음 수준에 따른 발음 평가 방법에 대한 흐름도이다.Hereinafter, a pronunciation evaluation method according to the pronunciation level will be described in detail with reference to FIG. 3 is a flowchart of a pronunciation evaluation method according to a pronunciation level.

도 3을 참조하면, 먼저, 학습자가 음성인식 기능이 탑재된 시스템을 사용하여 음성을 입력하면 음성 인식부(100)는 음성 신호를 인식(S301)한다.Referring to FIG. 3, when a learner inputs a voice using a system equipped with a voice recognition function, the voice recognition unit 100 recognizes a voice signal (S301).

다음, 음성 특징 추출부(110)는 인식된 음성 신호로부터 음성 특징 정보를 추출(S302)한다. 이때, 기본적인 음성 특징인 음소 구간, 확률 정보 이외에 추가적인 음성 특징도 추출할 수 있다. 그 다음, 음성 신뢰도 측정부(120)는 추출된 음성 특징 정보를 이용하여 음성 신호의 신뢰도 값을 측정(S303)한다. Next, the voice feature extraction unit 110 extracts voice feature information from the recognized voice signal (S302). At this time, additional speech features can be extracted in addition to the basic speech characteristic, phoneme interval, and probability information. Then, the voice reliability measurement unit 120 measures the reliability value of the voice signal using the extracted voice feature information (S303).

다음, 임계치 갱신부(130)는 측정된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교하고, 그 비교 결과에 근거하여 미리 설정된 임계치 값을 갱신(S304)한다. 즉, 비교 결과, 초급 학습자에 의해 주로 낮은 신뢰도 값이 측정되는 경우 임계치 값을 낮추고, 상급 학습자에 이해 주로 높은 신뢰도 값이 측정되는 경우 임계치 값을 높이게 된다. Next, the threshold updating unit 130 compares the measured current reliability value with the past measured reliability value, and updates the preset threshold value based on the comparison result (S304). That is, the threshold value is lowered when the low reliability value is mainly measured by the beginner learner, and the threshold value is increased when the high reliability value is mainly measured by the advanced learner.

다음, 발음 평가 제공부(140)는 갱신된 임계치 값과 현재 측정된 신뢰도 값을 비교하여 발음 평가 결과를 제공(S305)한다. 즉, 비교 결과 갱신된 임계치 값보다 현재 측정된 신뢰도 값이 큰 경우 그 결과를 성공한 것으로 평가하고, 비교 결과 갱신된 임계치 값보다 현재 측정된 신뢰도 값이 작은 경우 그 결과를 실패한 것으로 평가한다.
Next, the pronunciation evaluation providing unit 140 compares the updated threshold value with the currently measured reliability value and provides a pronunciation evaluation result (S305). That is, if the currently measured confidence value is greater than the updated threshold value, the result is evaluated as successful. If the currently measured confidence value is smaller than the updated threshold value, the result is evaluated as failed.

이와 같이, 본 발명에 따른 발음 수준에 따른 발음 평가 장치 및 그 방법은 학습자의 발음 수준에 따라 가변적으로 임계치 값을 갱신하여 발음 평가 결과를 제공함으로써, 학습자의 학습 의욕을 고취시키고 학습 동기를 유발할 수 있다.
As described above, according to the pronunciation evaluation apparatus and method according to the pronunciation level according to the present invention, the threshold value is variably updated according to the pronunciation level of a learner to provide a pronunciation evaluation result, have.

이상에서, 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications, and variations will be apparent to those skilled in the art without departing from the scope of the appended claims. As will be understood by those skilled in the art.

100 : 음성 인식부 110 : 음성 특징 추출부
120 : 음성 신뢰도 측정부 130 : 임계치 갱신부
140 : 발음 평가 제공부100: voice recognition unit 110: voice feature extraction unit
120: voice reliability measuring unit 130: threshold value updating unit
140: pronunciation evaluation

Claims (9)

입력되는 음성 신호를 인식하는 음성 인식부;
상기 인식된 음성 신호로부터 음성 특징 정보를 추출하는 음성 특징 추출부;
상기 추출된 음성 특징 정보를 이용하여 상기 음성 신호의 현재 신뢰도 값을 측정하는 음성 신뢰도 측정부;
상기 측정된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교하고, 그 비교 결과에 근거하여 과거 측정된 신뢰도값보다 현재 신뢰도값이 낮거나 높은 경우 임계치 값을 낮추거나 높여 갱신하는 임계치 갱신부; 및
상기 갱신된 임계치 값과 상기 현재 측정된 신뢰도 값을 비교하여, 발음 평가 결과를 제공하는 발음 평가 제공부;
를 포함하는 것을 특징으로 하는 발음 수준에 따른 발음 평가 장치.

A voice recognition unit for recognizing an input voice signal;
A speech feature extraction unit for extracting speech feature information from the recognized speech signal;
A voice reliability measurement unit for measuring a current reliability value of the voice signal using the extracted voice feature information;
A threshold updating unit for comparing the measured current reliability value with a past measured reliability value and for updating or updating a threshold value when the current reliability value is lower or higher than a past measured reliability value based on the comparison result; And
A pronunciation evaluation providing unit for comparing the updated threshold value with the currently measured reliability value to provide a pronunciation evaluation result;
And a pronunciation generating unit for generating a pronunciation sound based on the pronunciation.

제 1항에 있어서,
상기 신뢰도 값은 상기 음성 특징 정보의 음소별로 평균 및 표준편차를 사용하여 음소레벨의 신뢰도 측정한 결과인 것을 특징으로 하는 발음 수준에 따른 발음 평가 장치.The method according to claim 1,
Wherein the reliability value is a result of measuring reliability of a phoneme level using an average and a standard deviation of phonemes of the voice feature information. 제 1항에 있어서,
상기 임계치 값은 학습자의 발음 수준에 따른 초급 학습자와 상급 학습자별로 다르게 기 설정되는 것을 특징으로 하는 발음 수준에 따른 발음 평가 장치.The method according to claim 1,
Wherein the threshold value is previously set differently for the beginner and advanced learner according to the pronunciation level of the learner. 제 1항에 있어서,
상기 임계치 갱신부는,
상기 음성 신뢰도 측정부로부터 측정된 상기 현재 신뢰도 값을 저장하는 현재 신뢰도 값 저장부;
기존에 상기 음성 신뢰도 측정부로부터 측정된 상기 과거 측정된 신뢰도 값을 저장하는 과거 신뢰도 값 저장부;
상기 현재 신뢰도 값과 상기 과거 측정된 신뢰도 값을 비교하는 비교부; 및
상기 비교부의 비교 결과에 근거하여, 상기 임계치 값을 낮추거나 높여 갱신하는 갱신부;
를 포함하는 것을 특징으로 하는 발음 수준에 따른 발음 평가 장치.The method according to claim 1,
Wherein the threshold updating unit comprises:
A current reliability value storage unit for storing the current reliability value measured from the voice reliability measurement unit;
A past reliability value storing unit for storing the past measured reliability value measured from the voice reliability measuring unit;
A comparing unit comparing the current reliability value with the past measured reliability value; And
An updating unit for lowering or raising the threshold value based on a comparison result of the comparing unit;
And a pronunciation generating unit for generating a pronunciation sound based on the pronunciation. 제 4항에 있어서,
상기 갱신부는 초급 학습자에 의해 상기 과거 측정된 신뢰도 값보다 상기 현재 신뢰도 값이 낮게 측정되는 경우에 상기 임계치 값을 낮추고, 상급 학습자에 의해 상기 과거 측정된 신뢰도 값보다 상기 현재 신뢰도 값이 높게 측정되는 경우에 상기 임계치 값을 높이는 것을 특징으로 하는 발음 수준에 따른 발음 평가 장치.5. The method of claim 4,
Wherein the update unit lowers the threshold value when the initial reliability level is lower than the past reliability level and the current reliability level is higher than the past reliability level by the advanced learner And the threshold value is increased in accordance with the pronunciation level. 제 1항에 있어서,
상기 발음 평가 제공부는 상기 갱신된 임계치 값보다 상기 현재 측정된 신뢰도 값이 큰 경우 상기 발음 평가 결과를 성공으로 평가하고, 상기 갱신된 임계치 값보다 상기 현재 측정된 신뢰도 값이 작은 경우 상기 발음 평가 결과를 실패로 평가하는 것을 특징으로 하는 발음 수준에 따른 발음 평가 장치.The method according to claim 1,
Wherein the pronunciation evaluation providing unit evaluates the pronunciation evaluation result as success if the currently measured confidence value is greater than the updated threshold value and if the currently measured confidence value is smaller than the updated threshold value, And a failure evaluation unit for evaluating the pronunciation of the speech. 음성 인식부에 의해, 입력되는 음성 신호를 인식하는 단계;
음성 특징 추출부에 의해, 상기 인식된 음성 신호로부터 음성 특징 정보를 추출하는 단계;
음성 신뢰도 측정부에 의해, 상기 추출된 음성 특징 정보를 이용하여 상기 음성 신호의 현재 신뢰도 값을 측정하는 단계;
임계치 갱신부에 의해, 상기 측정된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교하고, 그 비교 결과에 근거하여 과거 측정된 신뢰도 값보다 현재 신뢰도 값이 낮거나 높은 경우, 임계치 값을 낮추거나 높여 갱신하는 단계; 및
발음 평가 제공부에 의해, 상기 갱신된 임계치 값과 상기 현재 측정된 신뢰도 값을 비교하여, 발음 평가 결과를 제공하는 단계;
를 포함하는 것을 특징으로 하는 발음 수준에 따른 발음 평가 방법.Recognizing an input speech signal by the speech recognition unit;
Extracting speech feature information from the recognized speech signal by a speech feature extraction unit;
Measuring a current reliability value of the speech signal using the extracted speech feature information by a speech reliability measurement unit;
The threshold value updating unit compares the measured current reliability value with a past measured reliability value, and when the current reliability value is lower or higher than the past measured reliability value based on the comparison result, the threshold value is lowered or increased ; And
Comparing the updated threshold value with the currently measured reliability value by pronunciation evaluation and providing the pronunciation evaluation result;
Wherein the pronunciation of each of the plurality of sounds is determined according to a pronunciation level. 제 7항에 있어서,
상기 측정된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교하고, 그 비교 결과에 근거하여 임계치 값을 갱신하는 단계는,
현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교한 비교 결과에 근거하여, 초급 학습자에 의해 상기 과거 측정된 신뢰도 값보다 상기 현재 신뢰도 값이 낮게 측정되는 경우에는 상기 임계치 값을 낮추고, 상급 학습자에 의해 상기 과거 측정된 신뢰도 값보다 상기 현재 신뢰도 값이 높게 측정되는 경우에는 상기 임계치 값을 높이는 것을 특징으로 하는 발음 수준에 따른 발음 평가 방법.8. The method of claim 7,
Comparing the measured current reliability value with a past measured reliability value, and updating the threshold value based on the comparison result,
When the current reliability value is lower than the past reliability value measured by the beginner learner based on a comparison result of comparing the current reliability value and the past measured reliability value, the threshold value is lowered, And when the current reliability value is higher than the past reliability value, the threshold value is increased. 제 7항에 있어서,
상기 갱신된 임계치 값과 상기 현재 측정된 신뢰도 값을 비교하여, 발음 평가 결과를 제공하는 단계는,
상기 갱신된 임계치 값보다 상기 현재 측정된 신뢰도 값이 큰 경우 상기 발음 평가 결과를 성공으로 평가하고, 상기 갱신된 임계치 값보다 상기 현재 측정된 신뢰도 값이 작은 경우 상기 발음 평가 결과를 실패로 평가하는 것을 특징으로 하는 발음 수준에 따른 발음 평가 방법.


8. The method of claim 7,
Comparing the updated threshold value with the currently measured confidence value to provide a pronunciation evaluation result,
Evaluating the pronunciation evaluation result as success when the currently measured reliability value is greater than the updated threshold value and evaluating the pronunciation evaluation result as failure when the currently measured reliability value is smaller than the updated threshold value A pronunciation evaluation method according to a pronunciation level.


KR1020110135892A 2011-12-15 2011-12-15 Apparatus and method for pronunciation test according to pronounced level KR101444410B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110135892A KR101444410B1 (en) 2011-12-15 2011-12-15 Apparatus and method for pronunciation test according to pronounced level

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110135892A KR101444410B1 (en) 2011-12-15 2011-12-15 Apparatus and method for pronunciation test according to pronounced level

Publications (2)

Publication Number Publication Date
KR20130068602A KR20130068602A (en) 2013-06-26
KR101444410B1 true KR101444410B1 (en) 2014-10-01

Family

ID=48864194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110135892A KR101444410B1 (en) 2011-12-15 2011-12-15 Apparatus and method for pronunciation test according to pronounced level

Country Status (1)

Country Link
KR (1) KR101444410B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102643501B1 (en) * 2016-12-26 2024-03-06 현대자동차주식회사 Dialogue processing apparatus, vehicle having the same and dialogue processing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050058598A (en) * 2003-12-12 2005-06-17 엘지전자 주식회사 Method for inspecting ignition of voice recognition system
KR20070061266A (en) * 2005-12-08 2007-06-13 한국전자통신연구원 Apparatus and method for speech recognition using automatic update of threshold for utterance verification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050058598A (en) * 2003-12-12 2005-06-17 엘지전자 주식회사 Method for inspecting ignition of voice recognition system
KR20070061266A (en) * 2005-12-08 2007-06-13 한국전자통신연구원 Apparatus and method for speech recognition using automatic update of threshold for utterance verification

Also Published As

Publication number Publication date
KR20130068602A (en) 2013-06-26

Similar Documents

Publication Publication Date Title
CN108496219B (en) Speech processing system and method
Franco et al. EduSpeak®: A speech recognition and pronunciation scoring toolkit for computer-aided language learning applications
EP1557822B1 (en) Automatic speech recognition adaptation using user corrections
US20180137109A1 (en) Methodology for automatic multilingual speech recognition
US7962341B2 (en) Method and apparatus for labelling speech
US20140156276A1 (en) Conversation system and a method for recognizing speech
US20090313016A1 (en) System and Method for Detecting Repeated Patterns in Dialog Systems
US20090182559A1 (en) Context sensitive multi-stage speech recognition
KR20160115041A (en) Apparatus and method for pronunciation
WO2006034200A2 (en) Method and system for the automatic generation of speech features for scoring high entropy speech
US20120078630A1 (en) Utterance Verification and Pronunciation Scoring by Lattice Transduction
KR20040073291A (en) appraisal system of foreign language pronunciation and method thereof
KR20160122542A (en) Method and apparatus for measuring pronounciation similarity
US11810471B2 (en) Computer implemented method and apparatus for recognition of speech patterns and feedback
WO2021074721A2 (en) System for automatic assessment of fluency in spoken language and a method thereof
KR20180048136A (en) Method for pronunciation assessment and system using the method
Fukuda et al. Detecting breathing sounds in realistic Japanese telephone conversations and its application to automatic speech recognition
Van Doremalen et al. Optimizing automatic speech recognition for low-proficient non-native speakers
US20210225389A1 (en) Methods for measuring speech intelligibility, and related systems and apparatus
US20180012602A1 (en) System and methods for pronunciation analysis-based speaker verification
Black et al. Automatic detection and classification of disfluent reading miscues in young children's speech for the purpose of assessment.
KR101145440B1 (en) A method and system for estimating foreign language speaking using speech recognition technique
KR101598950B1 (en) Apparatus for evaluating pronunciation of language and recording medium for method using the same
JP2006084966A (en) Automatic evaluating device of uttered voice and computer program
KR101444410B1 (en) Apparatus and method for pronunciation test according to pronounced level

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 6