KR101740636B1 - 음성 인식 기반 발음 평가 방법 및 장치 - Google Patents

음성 인식 기반 발음 평가 방법 및 장치 Download PDF

Info

Publication number
KR101740636B1
KR101740636B1 KR1020150030920A KR20150030920A KR101740636B1 KR 101740636 B1 KR101740636 B1 KR 101740636B1 KR 1020150030920 A KR1020150030920 A KR 1020150030920A KR 20150030920 A KR20150030920 A KR 20150030920A KR 101740636 B1 KR101740636 B1 KR 101740636B1
Authority
KR
South Korea
Prior art keywords
native
speech recognition
speech
value
pronunciation
Prior art date
Application number
KR1020150030920A
Other languages
English (en)
Other versions
KR20160107735A (ko
Inventor
오유리
박전규
전형배
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150030920A priority Critical patent/KR101740636B1/ko
Publication of KR20160107735A publication Critical patent/KR20160107735A/ko
Application granted granted Critical
Publication of KR101740636B1 publication Critical patent/KR101740636B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 원어민 특성에 최적화된 음향 모델과 발음 모델뿐 아니라 비원어민 학습자의 발성 특성이 반영된 음향 모델 및 발음 모델을 사용하여 학습자의 발음을 평가할 수 있도록 한 음성 인식 기반 발음 평가 방법에 관한 것으로, 상기 방법은, 발성 스크립트와, 발성 스크립트에 대응되는 학습자 발음에 대한 음성 신호가 입력되면, 입력되는 발성 스크립트와 학습자 음성신호를 기 설정된 원어민 음향 모델 및 비 원어민 음향 모델을 이용하여 각각 음성 인식을 수행하는 단계; 상기 원어민 음향 모델을 이용한 음성 인식 결과 값과, 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 각각의 신뢰도 값을 측정하는 단계; 및 상기 측정된 각각의 신뢰도 값을 비교하여 그 결과에 따른 학습자 발음 평가 점수를 계산하여 출력하는 단계를 포함한다.

Description

음성 인식 기반 발음 평가 방법 및 장치{Method and apparatus for evaluating pronunciation based on speech recognition}
본 발명은 음성 인식 기반 발음 평가 방법 및 장치에 관한 것으로서, 특히 원어민 특성에 최적화된 음향 모델과 발음 모델 뿐 아니라 비원어민 학습자의 발성 특성이 반영된 음향 모델 및 발음 모델을 사용하여 학습자의 발음을 평가할 수 있도록 한 음성 인식 기반 발음 평가 방법 및 장치에 관한 것이다.
최근 들어, 산업의 전문화와 국제화 추세에 따라 외국어에 대한 중요성이 날로 커지고 있다. 이러한 중요성에 따라 많은 사람들이 외국어 학습에 많은 시간을 튜자하고 있으며, 이에 발맞추어 다양한 온-오프라인 어학 강좌들이 개설되고 있다.
그러나, 일반적으로 발음이나 발음에 대한 교정은 외국인 강사와의 1:1 지도 방식에 의해 이루어지고 있고, 이 경우 어학 학습에 많은 비용이 소요된다는 문제점이 있으며, 특별히 정해진 시간에 교육이 이루어지기 때문에 직장인 등과 같은 바쁜 일상 생활을 영위하는 사람들에게는 그 학습에의 참여가 극히 제한적이라는 문제점이 있었다.
따라서, 유휴 시간에 혼자서도 효과적으로 외국어에 대한 발음이나 발음 등을 학습하고, 원어민의 발음과 비교 평가하는 교육 프로그램 등을 필요로 하게 되었다.
이러한 요구에 부응하기 위하여 현재 음성 인식을 이용한 다양한 어학용 프로그램들을 탑재한 어학용 학습기가 개발되어 보급되고 있는 실정이다.
이와 같은 음성인식을 이용한 발음 평가는 다양한 영어 말하기 학습 프로그램에 적용되고 있다. 특히, 발화 성공 또는 실패를 판단하는 경우는, 비원어민 학습자 음성에 대한 음성인식 성능을 향상시키기 위하여 비원어민 음성으로 학습된 음향 모델이 사용되기도 한다.
그러나, 발음을 제대로 발성했는지를 판단하는 발음 평가에서는 원어민 음향 모델을 이용하여 발음 점수를 측정하는 것이 일반적이다.
따라서, 본 발명의 목적은, 본 발명은 원어민 특성에 최적화된 음향 모델과 발음 모델뿐 아니라 비원어민 학습자의 발성 특성이 반영된 음향 모델 및 발음 모델을 사용함으로써, 비원어민 학습자에 대한 발음 평가를 우호적으로 제공할 수 있도록 음성 인식 기반 발음 평가 방법 및 장치를 제공함에 있다. 즉, 본 발명은 원어민 특성에 최적화된 음향 모델과 발음 모델을 사용하여 음성인식 기반 발음 평가를 수행하는 경우, 비원어민 학습자의 음성에 대한 음성 인식을 실패 또는 원어민 음성 특성과 상이한 발화 특성으로 인한 낮은 발음 평가 점수를 제공하곤 한다. 이 경우, 비원어민 학습자의 학습 의욕 저하를 초래할 수 있으므로, 비원어민 학습자의 발음점수를 우호적으로 제공할 수 있도록 한 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 음성 인식 기반 발음 평가 방법은, 발성 스크립트와, 발성 스크립트에 대응되는 학습자 발음에 대한 음성 신호가 입력되면, 입력되는 발성 스크립트와 학습자 음성신호를 기 설정된 원어민 음향 모델 및 비 원어민 음향 모델을 이용하여 각각 음성 인식을 수행하는 단계; 상기 원어민 음향 모델을 이용한 음성 인식 결과 값과, 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 각각의 신뢰도 값을 측정하는 단계; 및 상기 측정된 각각의 신뢰도 값을 비교하여 그 결과에 따른 학습자 발음 평가 점수를 계산하여 출력하는 단계를 포함할 수 있다.
상기 신뢰도 값을 측정하는 단계에서, 상기 원어민 음향 모델을 이용한 음성 인식 결과 값과, 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대하여 발성 스크립트의 각 단어별로 신뢰도를 측정한다.
상기 학습자 발음 평가 점수를 계산하여 출력하는 단계는, 상기 측정된 각각의 신뢰도값의 비교 결과, 상기 원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 신뢰도값이 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 각각의 신뢰도 값보다 높은 경우, 원어민과 유사한 발음이라 판단하여 원어민 음성 기준으로 발음 평가 점수를 설정된 최저 임계치(a)와 100사이의 값으로 점수로 계산한다.
상기 학습자 발음 평가 점수를 계산하여 출력하는 단계는, 상기 측정된 각각의 신뢰도값의 비교 결과, 상기 원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 신뢰도값이 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 각각의 신뢰도 값보다 낮은 경우, 비원어민과 유사한 발음이라 판단하여 비원어민 음성 기준으로 발음 평가 점수를 설정된 상기 최저 임계치(a)와 상기 최저 임계치(a) 보다 작은 임계치(b)사이의 값으로 평가 점수를 계산한다.
상기 학습자 발음 평가 점수를 계산하여 출력하는 단계는, 상기 음성 인식을 수행하는 단계에서 원어민 음향 모델에 대한 음성 인식만을 성공한 경우 발음 평가 점수를 상기 최저 임계치(a)와 100 사이의 값으로 점수로 계산하고, 비원어민 음향 모델에 대한 음성 인식만을 성공한 경우에는 상기 임계치(b)와 상기 임계치(b)보다 작은 임계치(c)사이의 값으로 평가점수를 계산한다.
한편, 본 발명에 따른 음성 인식 기반 발음 평가 장치는, 발성 스크립트와, 발성 스크립트에 대응되는 학습자 발음에 대한 음성 신호를 입력하는 입력부; 상기 입력부를 통해 입력되는 발성 스크립트와 학습자 음성신호를 기 설정된 원어민 음향 모델 및 비 원어민 음향 모델을 이용하여 각각 음성 인식을 수행하는 음성 인식부; 상기 음성 인식부를 통해 인식된 원어민 음향 모델을 이용한 음성 인식 결과 값과, 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 각각의 신뢰도 값을 측정하는 신뢰도 측정부; 및 상기 측정된 각각의 신뢰도 값을 비교하여 그 결과에 따른 학습자 발음 평가 점수를 계산하여 출력하는 점수 계산부를 포함할 수 있다.
상기 신뢰도 측정부는, 상기 원어민 음향 모델을 이용한 음성 인식 결과 값과, 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대하여 발성 스크립트의 각 단어별로 신뢰도를 측정한다.
상기 점수 계산부는, 상기 신뢰도 측정부에서 측정된 각각의 신뢰도값의 비교 결과, 상기 원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 신뢰도값이 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 각각의 신뢰도 값보다 높은 경우, 원어민과 유사한 발음이라 판단하여 원어민 음성 기준으로 발음 평가 점수를 설정된 최저 임계치(a)와 100사이의 값으로 점수로 계산한다.
상기 점수 계산부는, 상기 신뢰도 측정부에서 측정된 각각의 신뢰도값의 비교 결과, 상기 원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 신뢰도값이 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 각각의 신뢰도 값보다 낮은 경우, 비원어민과 유사한 발음이라 판단하여 비원어민 음성 기준으로 발음 평가 점수를 설정된 상기 최저 임계치(a)와 상기 최저 임계치(a) 보다 작은 임계치(b)사이의 값으로 평가 점수를 계산한다.
상기 점수 계산부는, 상기 음성 인식부에서 원어민 음향 모델에 대한 음성 인식만을 성공한 경우 발음 평가 점수를 상기 최저 임계치(a)와 100 사이의 값으로 점수로 계산하고, 비원어민 음향 모델에 대한 음성 인식만을 성공한 경우에는 상기 임계치(b)와 상기 임계치(b)보다 작은 임계치(c)사이의 값으로 평가점수를 계산한다.
본 발명에 따르면, 원어민 특성에 최적화된 음향 모델과 발음 모델뿐 아니라 비원어민 학습자의 발성 특성이 반영된 음향 모델 및 발음 모델을 사용함으로써, 비원어민 학습자에 대한 발음 평가 점수를 우호적으로 제공할 수 있으며, 비원어민 학습자의 발음 점수를 계산함에 있어서 원어민에 의한 발음점수보다는 낮은 점수이지만 우호적인 점수를 제공함으로써, 학습자의 학습 의욕을 고취시키는 효과를 제공한다.
도 1은 본 발명에 따른 음성 인식 기반 발음 평가 장치에 대한 블록 구성을 나타낸 도면.
도 2는 본 발명에 따른 음성 인식 기반 발음 평가 방법에 대한 동작 플로우챠트를 나타낸 도면.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 본 발명에 따른 음성 인식 기반 발음 평가 장치 및 그 방법에 대하여 첨부한 도면을 참조하여 상세하게 설명해 보기로 한다.
도 1은 본 발명에 따른 음성 인식 기반 발음 평가 장치에 대한 블록 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 음성 인식 기반 발음 평가 장치는, 발성 스크립트 입력부(10), 음성 입력부(11), 음성 인식부(20), 저장부(30), 발음 평가부(40) 및 출력부(50)를 포함할 수 있다. 여기서, 상기 저장부(30)는 원어민 음향 모델 저장 영역(31)과 비원어민 음향 모델 저장 영역(32)을 포함할 수 있으며, 발음 평가부(40)는 신뢰도 측정부(41)와 점수 계산부(42)를 포함할 수 있다.
발성 스크립트 입력부(10)는 기 녹음된(주어진) 원어민의 발음에 대한 발성 스크립트를 음성 인식부(20)로 입력한다.
음성 입력부(11)는 상기 발성 스크립트에 대하여 학습자에 의해 발성된 발음에 대한 학습자 음성을 음성 인식부(20)로 입력한다.
음성 인식부(20)는 상기 발성 스크립트 입력부(10)에서 입력되는 발성 스크립트 신호에 대한 음성 인식을 수행하고, 음성 입력부(20)로부터 입력되는 학습자 음성신호를 인식한다.
음성 인식부(20)에서의 음성 인식은 먼저, 음성 입력부(11)를 통해 입력되는 학습자 음성과 발성 스크립트 입력부(10)를 통해 입력되는 발성 스크립트에 대하여 저장부(30)의 원어민 음향 모델 저장 영역(31)에 저장된 원어민 음향 모델을 이용하여 음성인식을 수행하여 음성 인식 결과값(ASR1)을 발음 평가부(40)로 제공한다.
그리고, 음성 인식부(20)는 음성 입력부(11)를 통해 입력되는 학습자 음성과 발성 스크립트 입력부(10)를 통해 입력되는 발성 스크립트에 대하여 저장부(30)의 비원어민 음향 모델 저장 영역(32)에 저장된 비원어민 음향 모델을 이용하여 음성인식을 수행하여 음성 인식 결과값(ASR2)을 발음 평가부(40)로 제공한다. 여기서, 상기한 원어민 음향 모델과 비 원어민 음향 모델을 이용하여 발성 스크립트와 학습자 음성을 인식하는 방법은 이미 공지된 기술로서 상세 설명은 생략하기로 하면서, 이미 공지된 어떠한 음성 인식 방법을 이용하여도 무관하다.
발음 평가부(40)는 상기 음성 인식부(30)에서 출력되는 음성 인식 결과인 ASR1과 ASR2에 대하여 발성 스크립트의 각 단어에 대하여 평가를 수행하고, 평가 결과에 따른 신뢰도를 측정한 후, 측정된 신뢰도에 따라 학습자의 발음에 대한 점수를 계산하여 출력부(50)를 통해 출력한다.
구체적으로 살펴보면, 먼저, 발음 평가부(40)의 신뢰도 측정부(41)는 상기 음성 인식부(30)에서 출력되는 ASR1에 대하여 발성 스크립트의 각 단어별로 신뢰도를 측정한다.
그리고, 신뢰도 측정부(41)는 상기 음성 인식부(30)에서 출력되는 ASR2에 대하여 발성 스크립트의 각 단어별로 신뢰도를 측정한다. 여기서, 상기 음성 인식 결과인 ASR1과 ASR2에 대한 신뢰도 측정은 이미 공지된 UV기법 및 다양한 발음 평가 방법 등을 이용하여 측정할 수 있음을 이해해야 할 것이다.
발음 평가부(40)의 점수 계산부(42)는 신뢰도 측정부(41)에서 측정된 ASR1과 ASR2에 대한 신뢰도를 각각 비교하여 그 결과에 따라 학습자 발음에 대한 평가 점수를 계산하고, 계산된 발음 평가 점수를 출력부(50)를 통해 출력하는 것이다. 여기서, 출력부(50)는 발음 평가 점수를 화면으로 디스플레이할 수도 있고, 음성으로 출력할 수도 있다.
점수 계산부(42)에서의 발음 평가 점수 계산 방법에 대하여 좀 더 구체적으로 살펴보기로 한다.
먼저 원어민 음향 모델에 대한 음 성인식을 성공할뿐 아니라, 비원어민 음향모델에 대한 음성 인식을 성공한 경우는 다음과 같이 발음점수를 제공한다.
상기 음성 인식부(20)의 음성 인식 결과인 ASR1의 신뢰도가 ASR2 보다 높다고 판단되면, 원어민과 유사한 발음이라 판단하며 원어민 음성 기준에서 발음점수를 계산하며, 계산된 발음 평가 점수는 미리 정한 최저 임계치 a와 100 사이의 값으로 정해진다.
반면, 상기 음성 인식부(20)에서 음성 인식된 결과인 ASR2의 신뢰도가 ASR1보다 높다고 판단되면, 비원어민과 유사한 발음이라 판단하여 비원어민 음성 기준에서 발음 점수를 계산한다. 여기서, 상기 계산된 점수는 미리 정한 최저 임계치 b 와 a 사이의 값으로 정해진다. 즉, ASR1을 이용한 발음점수는 ASR2를 이용한 발음점수보다 크도록 한다.
그리고, 원어민 음향모델에 대한 음성인식만을 성공한 경우는, 상기 ASR1의 신뢰도가 높다고 판단된 경우와 동일한 방식으로 발음점수를 계산한다. 반면, 비원어민 음향모델에 대한 음성인식만을 성공한 경우는, 미리 정한 최저 임계치 c 와 b 사이의 값으로 발음점수를 계산한다. 마지막으로, 음성인식 결과가 없는 경우 발음평가 최저점수로 정한다.
상기한 본 발명에 따른 음성 인식 기반 발음 평가 장치의 동작과 상응하는 본 발명에 따른 음성 인식 기반 발음 평가 방법에 대하여 도 2를 참조하여 단계적으로 설명해 보기로 하자.
도 2는 본 발명에 따른 음성 인식 기반 발음 평가 방법에 대한 동작 플로우챠트를 나타낸 도면이다.
도 2에 도시된 바와 같이, 먼저, 기 녹음된(주어진) 원어민의 발음에 대한 발성 스크립트와, 상기 발성 스크립트에 대하여 학습자에 의해 발성된 발음에 대한 학습자 음성이 입력된다(S201).
S210 단계에서, 주어진 발성 스크립트와 발성 스크립트에 대하여 학습자가 발성한 음성 신호가 입력되면, 입력되는 학습자 음성과 발성 스크립트에 대하여 기 설정된 원어민 음향 모델을 이용하여 음성인식을 수행하여 음성 인식 결과값(ASR1)을 출력한다(S202).
한편, 상기 S201 단계에서, 주어진 발성 스크립트와 발성 스크립트에 대하여 학습자가 발성한 음성신호가 입력되면, 기 설정된 비원어민 음향 모델을 이용하여 음성인식을 수행하여 음성 인식 결과값(ASR2)을 출력한다(S203). 여기서, 상기한 원어민 음향 모델과 비 원어민 음향 모델을 이용하여 발성 스크립트와 학습자 음성을 인식하는 방법은 이미 공지된 기술로서 상세 설명은 생략하기로 하면서, 이미 공지된 어떠한 음성 인식 방법을 이용하여도 무관함을 이해해야 할 것이다.
이어, 상기 S202 및 S203단계에서 음성 인식된 결과값(ASR1, ASR2)에 대하여 발성 스크립트의 각 단어에 대하여 평가를 수행하고, 평가 결과에 따른 신뢰도를 측정한 후, 측정된 신뢰도에 따라 학습자의 발음에 대한 점수를 계산하여 출력한다.
구체적으로 살펴보면, 먼저, S202 단계에서 음성 인식된 음성 인식 결과값(ASR1)에 대하여 발성 스크립트의 각 단어별로 신뢰도를 측정한다(S204).
그리고, S203 단계에서 음성 인식된 음성 인식 결과값(ASR2)에 대하여 발성 스크립트의 각 단어별로 신뢰도를 측정한다(S205). 여기서, 상기 음성 인식 결과인 ASR1과 ASR2에 대한 신뢰도 측정은 이미 공지된 UV 기법 및 다양한 발음 평가 방법 등을 이용하여 측정할 수 있음을 이해해야 할 것이다.
이어, 상기 S204 단계 및 S205 단계에서 각각 측정된 음성 인식 결과 값 ASR1과 ASR2에 대한 신뢰도 값을 각각 비교한다(S206).
그리고, 상기 각각의 신뢰도 값의 비교 결과에 따라 학습자 발음에 대한 평가 점수를 계산하고(S207), 계산된 발음 평가 점수를 출력하는 것이다(S208). 여기서, 출력부(50)는 발음 평가 점수를 화면으로 디스플레이할 수도 있고, 음성으로 출력할 수도 있다.
상기한 S207 단계에서의 발음 평가 점수 계산 방법에 대하여 좀 더 구체적으로 살펴보기로 한다.
먼저 원어민 음향 모델에 대한 음성 인식을 성공할 뿐 아니라, 비원어민 음향 모델에 대한 음성 인식을 성공한 경우는 다음과 같이 발음점수를 제공한다.
상기 음성 인식 결과인 ASR1의 신뢰도가 ASR2 보다 높다고 판단되면, 원어민과 유사한 발음이라 판단하며 원어민 음성 기준에서 발음 점수를 계산하며, 계산된 발음 평가 점수는 미리 정한 최저 임계치 a와 100 사이의 값으로 정해진다.
반면, 상기 음성 인식된 결과인 ASR2의 신뢰도가 ASR1보다 높다고 판단되면, 비원어민과 유사한 발음이라 판단하여 비원어민 음성 기준에서 발음 점수를 계산한다. 여기서, 상기 계산된 점수는 미리 정한 최저 임계치 b 와 a 사이의 값으로 정해진다. 즉, ASR1을 이용한 발음 점수는 ASR2를 이용한 발음 점수보다 크도록 한다.
그리고, 원어민 음향 모델에 대한 음성 인식만을 성공한 경우는, 상기 ASR1의 신뢰도가 높다고 판단된 경우와 동일한 방식으로 발음점수를 계산한다. 반면, 비원어민 음향 모델에 대한 음성 인식만을 성공한 경우는, 미리 정한 최저 임계치 c 와 b 사이의 값으로 발음 점수를 계산한다. 마지막으로, 음성인식 결과가 없는 경우 발음 평가 최저 점수로 정한다.
한편, 본 발명에 따른 음성 인식 기반 발음 평가 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 발성 스크립트 입력부
11 : 음성 입력부
20 : 음성 인식부
30 : 저장부
31 : 원어민 음향 모델 저장 영역
32 : 비원어민 음향 모델 저장 영역
40 : 발음 평가부
41 : 신뢰도 측정부
42 : 점수 계산부
50 : 출력부

Claims (10)

  1. 발성 스크립트와, 발성 스크립트에 대응되는 학습자 발음에 대한 음성 신호가 입력되면, 입력되는 발성 스크립트와 학습자 음성신호를 기 설정된 원어민 음향 모델 및 비 원어민 음향 모델을 이용하여 각각 음성 인식을 수행하는 단계;
    상기 원어민 음향 모델을 이용한 음성 인식 결과 값과, 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 각각의 신뢰도 값을 측정하는 단계; 및
    상기 측정된 각각의 신뢰도 값을 비교하여 그 결과에 따른 학습자 발음 평가 점수를 계산하여 출력하는 단계를 포함하고,
    상기 학습자 발음 평가 점수를 계산하여 출력하는 단계는,
    상기 측정된 각각의 신뢰도값의 비교 결과, 상기 원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 신뢰도값이 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 각각의 신뢰도 값보다 높은 경우, 원어민과 유사한 발음이라 판단하여 원어민 음성 기준으로 발음 평가 점수를 설정된 최저 임계치(a)와 100사이의 값으로 점수로 계산하는 것인 음성 인식 기반 발음 평가 방법.
  2. 제1항에 있어서,
    상기 신뢰도 값을 측정하는 단계에서, 상기 원어민 음향 모델을 이용한 음성 인식 결과 값과, 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대하여 발성 스크립트의 각 단어별로 신뢰도를 측정하는 것인 음성 인식 기반 발음 평가 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 학습자 발음 평가 점수를 계산하여 출력하는 단계는,
    상기 측정된 각각의 신뢰도값의 비교 결과, 상기 원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 신뢰도값이 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 각각의 신뢰도 값보다 낮은 경우, 비원어민과 유사한 발음이라 판단하여 비원어민 음성 기준으로 발음 평가 점수를 설정된 상기 최저 임계치(a)와 상기 최저 임계치(a) 보다 작은 임계치(b)사이의 값으로 평가 점수를 계산하는 것인 음성 인식 기반 발음 평가 방법.
  5. 제4항에 있어서,
    상기 학습자 발음 평가 점수를 계산하여 출력하는 단계는,
    상기 음성 인식을 수행하는 단계에서 원어민 음향 모델에 대한 음성 인식만을 성공한 경우 발음 평가 점수를 상기 최저 임계치(a)와 100 사이의 값으로 점수로 계산하고, 비원어민 음향 모델에 대한 음성 인식만을 성공한 경우에는 상기 임계치(b)와 상기 임계치(b)보다 작은 임계치(c)사이의 값으로 평가점수를 계산하는 것인 음성 인식 기반 발음 평가 방법.
  6. 발성 스크립트와, 발성 스크립트에 대응되는 학습자 발음에 대한 음성 신호를 입력하는 입력부;
    상기 입력부를 통해 입력되는 발성 스크립트와 학습자 음성신호를 기 설정된 원어민 음향 모델 및 비 원어민 음향 모델을 이용하여 각각 음성 인식을 수행하는 음성 인식부;
    상기 음성 인식부를 통해 인식된 원어민 음향 모델을 이용한 음성 인식 결과 값과, 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 각각의 신뢰도 값을 측정하는 신뢰도 측정부; 및
    상기 측정된 각각의 신뢰도 값을 비교하여 그 결과에 따른 학습자 발음 평가 점수를 계산하여 출력하는 점수 계산부를 포함하고,
    상기 점수 계산부는, 상기 점수 계산부는,
    상기 신뢰도 측정부에서 측정된 각각의 신뢰도값의 비교 결과, 상기 원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 신뢰도값이 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 각각의 신뢰도 값보다 높은 경우, 원어민과 유사한 발음이라 판단하여 원어민 음성 기준으로 발음 평가 점수를 설정된 최저 임계치(a)와 100사이의 값으로 점수로 계산하는 것인 음성 인식 기반 발음 평가 장치.
  7. 제6항에 있어서,
    상기 신뢰도 측정부는, 상기 원어민 음향 모델을 이용한 음성 인식 결과 값과, 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대하여 발성 스크립트의 각 단어별로 신뢰도를 측정하는 것인 음성 인식 기반 발음 평가 장치.
  8. 삭제
  9. 제6항에 있어서,
    상기 점수 계산부는,
    상기 신뢰도 측정부에서 측정된 각각의 신뢰도값의 비교 결과, 상기 원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 신뢰도값이 비원어민 음향 모델을 이용한 음성 인식 결과 값에 대한 각각의 신뢰도 값보다 낮은 경우, 비원어민과 유사한 발음이라 판단하여 비원어민 음성 기준으로 발음 평가 점수를 설정된 상기 최저 임계치(a)와 상기 최저 임계치(a) 보다 작은 임계치(b)사이의 값으로 평가 점수를 계산하는 것인 음성 인식 기반 발음 평가 장치.
  10. 제9항에 있어서,
    상기 점수 계산부는,
    상기 음성 인식부에서 원어민 음향 모델에 대한 음성 인식만을 성공한 경우 발음 평가 점수를 상기 최저 임계치(a)와 100 사이의 값으로 점수로 계산하고, 비원어민 음향 모델에 대한 음성 인식만을 성공한 경우에는 상기 임계치(b)와 상기 임계치(b)보다 작은 임계치(c)사이의 값으로 평가점수를 계산하는 것인 음성 인식 기반 발음 평가 장치.
KR1020150030920A 2015-03-05 2015-03-05 음성 인식 기반 발음 평가 방법 및 장치 KR101740636B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150030920A KR101740636B1 (ko) 2015-03-05 2015-03-05 음성 인식 기반 발음 평가 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150030920A KR101740636B1 (ko) 2015-03-05 2015-03-05 음성 인식 기반 발음 평가 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160107735A KR20160107735A (ko) 2016-09-19
KR101740636B1 true KR101740636B1 (ko) 2017-05-26

Family

ID=57103498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150030920A KR101740636B1 (ko) 2015-03-05 2015-03-05 음성 인식 기반 발음 평가 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101740636B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190053584A (ko) * 2017-11-10 2019-05-20 충남대학교산학협력단 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템
US10930268B2 (en) 2018-05-31 2021-02-23 Samsung Electronics Co., Ltd. Speech recognition method and apparatus

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102426717B1 (ko) 2017-06-27 2022-07-29 삼성전자주식회사 발화 인식 모델을 선택하는 시스템 및 전자 장치
CN111583906B (zh) * 2019-02-18 2023-08-15 中国移动通信有限公司研究院 一种语音会话的角色识别方法、装置及终端
KR102442020B1 (ko) * 2019-11-15 2022-09-08 한국전자통신연구원 말하기의 자동 유창성 평가 방법 및 그 장치
KR102321141B1 (ko) * 2020-01-03 2021-11-03 주식회사 셀바스에이아이 발음 평가를 위한 사용자 인터페이스 제공 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015026057A (ja) * 2013-07-29 2015-02-05 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ インタラクティブキャラクター基盤の外国語学習装置及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015026057A (ja) * 2013-07-29 2015-02-05 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ インタラクティブキャラクター基盤の外国語学習装置及び方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190053584A (ko) * 2017-11-10 2019-05-20 충남대학교산학협력단 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템
KR102012096B1 (ko) * 2017-11-10 2019-10-14 충남대학교산학협력단 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템
US10930268B2 (en) 2018-05-31 2021-02-23 Samsung Electronics Co., Ltd. Speech recognition method and apparatus

Also Published As

Publication number Publication date
KR20160107735A (ko) 2016-09-19

Similar Documents

Publication Publication Date Title
KR101740636B1 (ko) 음성 인식 기반 발음 평가 방법 및 장치
US10269346B2 (en) Multiple speech locale-specific hotword classifiers for selection of a speech locale
US9911420B1 (en) Behavior adjustment using speech recognition system
US20140156276A1 (en) Conversation system and a method for recognizing speech
US8880399B2 (en) Utterance verification and pronunciation scoring by lattice transduction
JP4680714B2 (ja) 音声認識装置および音声認識方法
CN104978963A (zh) 语音识别装置、方法以及电子设备
CN104575490A (zh) 基于深度神经网络后验概率算法的口语发音评测方法
CN108766415B (zh) 一种语音测评方法
KR20160115041A (ko) 음성인식 기반의 발음 학습 장치 및 학습 방법
GB2602398A (en) Emotion detection using speaker baseline
US9520143B2 (en) Foreign language learning apparatus and method for correcting pronunciation through sentence input
US20140297277A1 (en) Systems and Methods for Automated Scoring of Spoken Language in Multiparty Conversations
Tabbaa et al. Computer-aided training for Quranic recitation
KR20130068598A (ko) 외국어 학습자의 발음 평가 장치 및 방법
KR102410110B1 (ko) 한국어 학습 서비스 제공 방법
KR101145440B1 (ko) 음성인식 기술을 이용한 외국어 말하기 평가 방법 및 시스템
JP2007148170A (ja) 外国語学習支援システム
KR102388948B1 (ko) 음성 시각화 기술을 활용한 언어 유창성 평가 방법 및 시스템
JPWO2012093451A1 (ja) 音声認識システム、音声認識方法および音声認識プログラム
KR20130043817A (ko) 어학 학습 장치 및 어학 학습 방법
KR101181928B1 (ko) 문법오류 검출 장치 및 이를 이용한 문법오류 검출 방법
Wang et al. Phoneme set design for speech recognition of English by Japanese
KR20160109942A (ko) 실시간 단어별 지속시간 모델링을 이용한 발화검증 장치 및 방법
KR101444410B1 (ko) 발음 수준에 따른 발음 평가 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant