KR101444410B1

KR101444410B1 - 발음 수준에 따른 발음 평가 장치 및 그 방법

Info

Publication number: KR101444410B1
Application number: KR1020110135892A
Authority: KR
Inventors: 오유리; 이윤근; 박전규
Original assignee: 한국전자통신연구원
Priority date: 2011-12-15
Filing date: 2011-12-15
Publication date: 2014-10-01
Also published as: KR20130068602A

Abstract

본 발명은 학습자의 발성 문장에 의해, 입력되는 음성 신호를 인식하는 음성 인식부; 상기 인식된 음성 신호로부터 음성 특징 정보를 추출하는 음성 특징 추출부; 상기 추출된 음성 특징 정보를 이용하여 상기 음성 신호의 현재 신뢰도 값을 측정하는 음성 신뢰도 측정부; 상기 측정된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교하고, 그 비교 결과에 근거하여 임계치 값을 갱신하는 임계치 갱신부; 및 상기 갱신된 임계치 값과 상기 현재 측정된 신뢰도 값을 비교하여, 발음 평가 결과를 제공하는 발음 평가 제공부;를 포함한다.

Description

발음 수준에 따른 발음 평가 장치 및 그 방법{APPARATUS AND METHOD FOR PRONUNCIATION TEST ACCORDING TO PRONOUNCED LEVEL}

본 발명은 발음 수준에 따른 발음 평가 장치 및 그 방법에 관한 것으로, 보다 상세하게는 학습자의 발음 수준에 따라 발음을 평가하는 발음 수준에 따른 발음 평가 장치 및 그 방법에 관한 것이다.

일반적으로 현대인들은 산업의 전문화와 국제화의 추세에 따라 외국어에 대한 관심이 많아지는 경향을 보이는데, 이러한 추세에 대응하기 위해 어학용 학습기나 다양한 어학용 프로그램들이 개발되고 있는 실정이다.

이러한 어학용 프로그램은 인식하고자 하는 인식 대상이 어휘를 미리 결정해놓고 결정된 인식 대상 어휘 중의 하나 또는 몇 개를 사용자가 발성하면 입력된 음성이 미리 등록된 어휘 중 어느 것에 가장 가까운지를 찾아내어 출력하도록 구성되며, 이러한 음성인식 결과를 정오 혹은 점수 형태로 나타내게 되며, 사용자가 이 음성인식 결과로 자신의 발음의 정확도 여부를 판단하는 것이 가능하도록 구성된 학습 방법이다.

하지만, 종래의 인터넷 학습 교육은 학습 교재를 멀티미디어 방식으로 변환하여 온라인으로 학습자에게 제공하는 장점은 있으나, 학습 효과를 높일 수 있는 학습 방법에 따른 서비스를 제공하고 있지 못하고 있다. 그 이유는 종래의 학습 방법이 반복전인 듣기 및 말하기 위주의 학습 방법으로 수행되고, 학습자의 발음 수준에 맞는 영어 학습 평가를 선택하기 곤란하다는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 학습자의 발음 수준에 따라 가변적으로 임계치 값을 갱신하여 발음 평가 결과를 제공함으로써, 학습자의 학습 의욕을 고취시킬 수 있는 발음 수준에 따른 발음 평가 장치 및 그 방법을 제공함에 그 목적이 있다.

상기의 목적을 달성하기 위하여 본 발명의 실시예에 따른 발음 수준에 따른 발음 평가 장치는, 입력되는 음성 신호를 인식하는 음성 인식부; 상기 인식된 음성 신호로부터 음성 특징 정보를 추출하는 음성 특징 추출부; 상기 추출된 음성 특징 정보를 이용하여 상기 음성 신호의 신뢰도 값을 측정하는 음성 신뢰도 측정부; 상기 측정된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교하고, 그 비교 결과에 근거하여 임계치 값을 갱신하는 임계치 갱신부; 및 상기 갱신된 임계치 값과 상기 현재 측정된 신뢰도 값을 비교하여 발음 평가 결과를 제공하는 발음 평가 제공부;를 포함한다.

상기 임계치 갱신부는 현재 측정된 신뢰도 값을 저장하는 현재 신뢰도 값 저장부, 과거 측정된 신뢰도 값을 저장하는 과거 신뢰도 값 저장부, 현재 측정된 신뢰도 값과 과거 측정된 신뢰도 값을 비교하는 비교부, 상기 비교부의 비교 결과에 근거하여, 임계치 값을 높이거나 낮추어 갱신하는 갱신부를 포함하는 것을 특징으로 한다.

상기 임계치 갱신부는 초급 학습자에 의해 주로 낮은 신뢰도 값이 측정되는 경우 임계치 값을 낮추고, 상급 학습자에 이해 주로 높은 신뢰도 값이 측정되는 경우 임계치 값을 높이게 되는 것을 특징으로 한다.

상기 발음 평가 제공부는 비교 결과 갱신된 임계치 값보다 현재 측정된 신뢰도 값이 큰 경우 그 결과를 성공한 것으로 평가하고, 비교 결과 갱신된 임계치 값보다 현재 측정된 신뢰도 값이 작은 경우 그 결과를 실패한 것으로 평가한다.

상기와 같은 구성을 갖는 본 발명에 의하면 발음 수준에 따른 발음 평가 장치 및 그 방법은 학습자의 발음 수준에 따라 가변적으로 임계치 값을 갱신하여 발음 평가 결과를 제공함으로써, 학습자의 학습 의욕을 고취시키고 학습 동기를 유발할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 발음 수준에 따른 발음 평가 장치에 대한 구성도이다.
도 2는 본 발명의 실시예에 채용되는 임계치 갱신부에 대한 세부 구성도이다.
도 3은 본 발명의 실시예에 따른 발음 수준에 따른 발음 평가 방법에 대한 흐름도이다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선, 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

이하에서는, 본 발명의 실시예에 따른 발음 수준에 따른 발음 평가 장치 및 그 방법에 대하여 첨부한 도면을 참고로 하여 상세히 설명한다.

도 1은 발음 수준에 따른 발음 평가 장치에 대한 구성도이고, 도 2는 임계치 갱신부에 대한 세부 구성도이다.

도 1 및 도 2를 참조하여 설명하면, 발음 수준에 따른 발음 평가 장치는 크게 음성 인식부(100), 음성 특징 추출부(110), 음성 신뢰도 측정부(120), 임계치 갱신부(130), 발음 평가 제공부(140)를 포함하여 구성된다.

음성 인식부(100)는 학습자의 발성 문장에 의해 입력되는 음성 신호를 인식한다. 이때, 발성 문장은 학습자에게 제공하기 위해 선정되는 문장으로, 제공자가 발음 교육에 적합하다고 판단하여 임의로 설정한 것일 수 있으며, 학습자에 따라 선정하는 문장을 달라질 수 있다. 소정의 마디 단위는 단어, 구절, 어절, 의미상 관련 있는 구절 또는 강세와 관련된 구절 등과 같이 문장보다 작은 단위를 의미하며, 학계에서 검증되거나 또는 상식적으로 보편화 되어 있어 신뢰성 있게 정의될 수 있다.

음성 특징 추출부(110)는 인식된 음성 신호로부터 음성 특징 정보를 추출한다. 이때, 음성 특징 추출은 MFCC(Mel Frequency Cepstral Coefficient), LPC(Linear Predictive Coding) 및 PLP(Perceptual Linear Prediction) 등과 같은 알고리즘을 사용하여 추출할 수 있다. 또한, 이러한 음성 특징 추출시에 기본적인 음성 특징인 음소 구간, 확률 정보 이외에 추가적인 음성 특징도 추출할 수 있다. 이러한 추가적인 음성 특징 정보로는 FO 주파수, 포먼트 주파수, 포먼트에서 에너지값 및 주파수 밴드 에너지 등 일 수 있다.

음성 신뢰도 측정부(120)는 추출된 음성 특징 정보를 이용하여 음성 신호의 현재 신뢰도 값을 측정한다. 이때, 신뢰도 값이란 음성인식 결과인 음소나 단어에 대해서 그 이외의 다른 음소나 단어로부터 그 말이 발화되었을 때의 확률에 대한 상대적 확률값을 의미한다. 이러한 신뢰도 값 측정은 반모델(Allmixture antimodel), 적응 반모델(adapted antimodel), 변별학습을 수행하는 반모델(discriminative antimodel), VQ(Vector Quantization)기반 반모델(VQ based antimodel)등 다양한 형태의 반 음소 모델 또는 음소 지속 모델, 기타 정보(우도, Nbest)를 적용하여 측정할 수 있다.

임계치 갱신부(130)는 측정된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교하고, 그 비교 결과에 근거하여 임계치 값을 갱신한다. 이때, 임계치 값은 학습자의 발음 수준에 맞춰 미리 설정된다. 또한, 학습자는 발음 수준에 따라 초급 학습자 또는 상급 학습자로 구분되며, 상급 학습자의 임계치 값은 초급 학습자의 임계치 값보다 높게 설정된다.

이를 위하여, 임계치 갱신부(130)는 현재 신뢰도 값 저장부(131). 과거 신뢰도 값 저장부(132), 비교부(133), 갱신부(134)를 포함한다.

현재 신뢰도 값 저장부(131)는 음성 신뢰도 측정부(120)로부터 측정된 현재의 신뢰도 값을 저장한다. 과거 신뢰도 값 저장부(132)는 기존에 음성 신뢰도 측정부(120)로부터 측정된 신뢰도 값을 저장한다. 비교부(133)는 저장된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교한다. 갱신부(134)는 비교부(133)의 비교 결과에 근거하여, 임계치 값을 높이거나 낮추어 갱신한다. 즉, 갱신부(134)는 초급 학습자에 의해 주로 낮은 신뢰도 값이 측정되는 경우 임계치 값을 낮추고, 상급 학습자에 이해 주로 높은 신뢰도 값이 측정되는 경우 임계치 값을 높이게 된다.

발음 평가 제공부(140)는 갱신된 임계치 값과 현재 측정된 신뢰도 값을 비교하여 발음 평가 결과를 제공한다.

발음 평가 제공부(140)는 비교 결과 갱신된 임계치 값보다 현재 측정된 신뢰도 값이 큰 경우 그 결과를 성공한 것으로 평가하고, 비교 결과 갱신된 임계치 값보다 현재 측정된 신뢰도 값이 작은 경우 그 결과를 실패한 것으로 평가한다.

이하, 발음 수준에 따른 발음 평가 방법을 도 3을 참조하여 상세하게 설명한다. 도 3은 발음 수준에 따른 발음 평가 방법에 대한 흐름도이다.

도 3을 참조하면, 먼저, 학습자가 음성인식 기능이 탑재된 시스템을 사용하여 음성을 입력하면 음성 인식부(100)는 음성 신호를 인식(S301)한다.

다음, 음성 특징 추출부(110)는 인식된 음성 신호로부터 음성 특징 정보를 추출(S302)한다. 이때, 기본적인 음성 특징인 음소 구간, 확률 정보 이외에 추가적인 음성 특징도 추출할 수 있다. 그 다음, 음성 신뢰도 측정부(120)는 추출된 음성 특징 정보를 이용하여 음성 신호의 신뢰도 값을 측정(S303)한다.

다음, 임계치 갱신부(130)는 측정된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교하고, 그 비교 결과에 근거하여 미리 설정된 임계치 값을 갱신(S304)한다. 즉, 비교 결과, 초급 학습자에 의해 주로 낮은 신뢰도 값이 측정되는 경우 임계치 값을 낮추고, 상급 학습자에 이해 주로 높은 신뢰도 값이 측정되는 경우 임계치 값을 높이게 된다.

다음, 발음 평가 제공부(140)는 갱신된 임계치 값과 현재 측정된 신뢰도 값을 비교하여 발음 평가 결과를 제공(S305)한다. 즉, 비교 결과 갱신된 임계치 값보다 현재 측정된 신뢰도 값이 큰 경우 그 결과를 성공한 것으로 평가하고, 비교 결과 갱신된 임계치 값보다 현재 측정된 신뢰도 값이 작은 경우 그 결과를 실패한 것으로 평가한다.

이와 같이, 본 발명에 따른 발음 수준에 따른 발음 평가 장치 및 그 방법은 학습자의 발음 수준에 따라 가변적으로 임계치 값을 갱신하여 발음 평가 결과를 제공함으로써, 학습자의 학습 의욕을 고취시키고 학습 동기를 유발할 수 있다.

이상에서, 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.

100 : 음성 인식부 110 : 음성 특징 추출부
120 : 음성 신뢰도 측정부 130 : 임계치 갱신부
140 : 발음 평가 제공부

Claims

입력되는 음성 신호를 인식하는 음성 인식부;
상기 인식된 음성 신호로부터 음성 특징 정보를 추출하는 음성 특징 추출부;
상기 추출된 음성 특징 정보를 이용하여 상기 음성 신호의 현재 신뢰도 값을 측정하는 음성 신뢰도 측정부;
상기 측정된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교하고, 그 비교 결과에 근거하여 과거 측정된 신뢰도값보다 현재 신뢰도값이 낮거나 높은 경우 임계치 값을 낮추거나 높여 갱신하는 임계치 갱신부; 및
상기 갱신된 임계치 값과 상기 현재 측정된 신뢰도 값을 비교하여, 발음 평가 결과를 제공하는 발음 평가 제공부;
를 포함하는 것을 특징으로 하는 발음 수준에 따른 발음 평가 장치.
제 1항에 있어서,
상기 신뢰도 값은 상기 음성 특징 정보의 음소별로 평균 및 표준편차를 사용하여 음소레벨의 신뢰도 측정한 결과인 것을 특징으로 하는 발음 수준에 따른 발음 평가 장치.
제 1항에 있어서,
상기 임계치 값은 학습자의 발음 수준에 따른 초급 학습자와 상급 학습자별로 다르게 기 설정되는 것을 특징으로 하는 발음 수준에 따른 발음 평가 장치.
제 1항에 있어서,
상기 임계치 갱신부는,
상기 음성 신뢰도 측정부로부터 측정된 상기 현재 신뢰도 값을 저장하는 현재 신뢰도 값 저장부;
기존에 상기 음성 신뢰도 측정부로부터 측정된 상기 과거 측정된 신뢰도 값을 저장하는 과거 신뢰도 값 저장부;
상기 현재 신뢰도 값과 상기 과거 측정된 신뢰도 값을 비교하는 비교부; 및
상기 비교부의 비교 결과에 근거하여, 상기 임계치 값을 낮추거나 높여 갱신하는 갱신부;
를 포함하는 것을 특징으로 하는 발음 수준에 따른 발음 평가 장치.
제 4항에 있어서,
상기 갱신부는 초급 학습자에 의해 상기 과거 측정된 신뢰도 값보다 상기 현재 신뢰도 값이 낮게 측정되는 경우에 상기 임계치 값을 낮추고, 상급 학습자에 의해 상기 과거 측정된 신뢰도 값보다 상기 현재 신뢰도 값이 높게 측정되는 경우에 상기 임계치 값을 높이는 것을 특징으로 하는 발음 수준에 따른 발음 평가 장치.
제 1항에 있어서,
상기 발음 평가 제공부는 상기 갱신된 임계치 값보다 상기 현재 측정된 신뢰도 값이 큰 경우 상기 발음 평가 결과를 성공으로 평가하고, 상기 갱신된 임계치 값보다 상기 현재 측정된 신뢰도 값이 작은 경우 상기 발음 평가 결과를 실패로 평가하는 것을 특징으로 하는 발음 수준에 따른 발음 평가 장치.
음성 인식부에 의해, 입력되는 음성 신호를 인식하는 단계;
음성 특징 추출부에 의해, 상기 인식된 음성 신호로부터 음성 특징 정보를 추출하는 단계;
음성 신뢰도 측정부에 의해, 상기 추출된 음성 특징 정보를 이용하여 상기 음성 신호의 현재 신뢰도 값을 측정하는 단계;
임계치 갱신부에 의해, 상기 측정된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교하고, 그 비교 결과에 근거하여 과거 측정된 신뢰도 값보다 현재 신뢰도 값이 낮거나 높은 경우, 임계치 값을 낮추거나 높여 갱신하는 단계; 및
발음 평가 제공부에 의해, 상기 갱신된 임계치 값과 상기 현재 측정된 신뢰도 값을 비교하여, 발음 평가 결과를 제공하는 단계;
를 포함하는 것을 특징으로 하는 발음 수준에 따른 발음 평가 방법.
제 7항에 있어서,
상기 측정된 현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교하고, 그 비교 결과에 근거하여 임계치 값을 갱신하는 단계는,
현재 신뢰도 값과 과거 측정된 신뢰도 값을 비교한 비교 결과에 근거하여, 초급 학습자에 의해 상기 과거 측정된 신뢰도 값보다 상기 현재 신뢰도 값이 낮게 측정되는 경우에는 상기 임계치 값을 낮추고, 상급 학습자에 의해 상기 과거 측정된 신뢰도 값보다 상기 현재 신뢰도 값이 높게 측정되는 경우에는 상기 임계치 값을 높이는 것을 특징으로 하는 발음 수준에 따른 발음 평가 방법.
제 7항에 있어서,
상기 갱신된 임계치 값과 상기 현재 측정된 신뢰도 값을 비교하여, 발음 평가 결과를 제공하는 단계는,
상기 갱신된 임계치 값보다 상기 현재 측정된 신뢰도 값이 큰 경우 상기 발음 평가 결과를 성공으로 평가하고, 상기 갱신된 임계치 값보다 상기 현재 측정된 신뢰도 값이 작은 경우 상기 발음 평가 결과를 실패로 평가하는 것을 특징으로 하는 발음 수준에 따른 발음 평가 방법.