KR20150001189A - 음성인식을 이용한 외국어 말하기 능력의 훈련 및 평가 방법과 그 장치 - Google Patents

Abstract

본 발명은 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 방법에 관한 것으로, 보다 상세하게는 컴퓨터 또는 기타 측정장치를 이용하여 외국어 말하기 능력을 사용자 스스로 훈련하고 평가하는 방법에 관한 것이다.
본 발명의 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 방법은 제1사용자로부터 발성된 외국어 음성신호를 입력 받는 단계, 입력 받은 음성신호를 레코딩하는 단계, 레코딩된 음성신호를 재생하여 제2사용자에게 제공하는 단계, 제공된 음성신호에 대응되는 텍스트 데이터를 제2사용자로부터 입력 받는 단계, 입력 받은 텍스트 데이터와 상기 레코딩된 음성신호를 비교하여 정확도를 측정하는 단계, 및 측정된 정확도에 따른 평가결과를 상기 제1사용자에게 제공하는 단계를 포함한다.

Description

음성인식을 이용한 외국어 말하기 능력의 훈련 및 평가 방법과 그 장치 {System and method for evaluating and training capability of speaking in foreign language using voice recognition}

본 발명은 음성인식을 이용한 외국어 말하기 능력의 훈련 및 평가 방법에 관한 것으로, 보다 상세하게는 컴퓨터 또는 기타 측정장치를 이용하여 외국어 말하기 능력을 사용자 스스로 훈련하고 평가하는 방법에 관한 것이다.

영어를 포함한 여러 외국어 교육 과정에서 말하기 능력에 대한 비중이 커지면서 이에 따른 교육 수요가 늘고 있으며, 국가영어능력평가 시험(NEAT: National English Ability Test) 등과 같은 대규모 말하기 능력 평가 시험도 늘어나면서 이에 따른 훈련 및 평가 장치에 대한 수요가 커지고 있다.

도 1은 종래의 외국어 말하기 훈련 또는 평가 방법의 일 예로서 (a) 미리 정해진 스크립트를 낭독하는 경우, (b) 자유롭게 발성하고 음성인식 시스템이 발성 내용을 자동으로 인식하는 경우를 나타내는 도면이다.

먼저 도 1의 (a) 그림에서와 같이, 현재 컴퓨터 및 기타 보조장치를 이용한 외국어 말하기 훈련 및 평가 방법 중 스크립트가 미리 정해져 있는 경우에는, 사용자가 스크립트를 보고 이에 따라 낭독하여 음성신호를 발생시킨다. 이렇게 발생된 음성신호를 녹음하고, 녹음된 신호와 사전에 저장된 스크립트를 비교하여 정량적으로 말하기 능력을 평가하는 것이 일반적인 방법이다.

그러나 이러한 경우에는 스크립트를 미리 준비해 놓고 읽는다는 점에서 실제 말하기와는 차이가 있어서 테스트의 효용성이 낮아질 수 밖에 없다.

한편, 위와 같은 문제점을 해결하기 위하여 도 1의 (b) 그림과 같이 자동 음성인식 시스템을 이용하여 사용자가 발성한 내용을 자동으로 인식하고, 이를 이용하여 말하기 능력을 평가하는 경우도 있으나, 현재의 음성인식 기술로는 인식의 결과가 부정확하고 또한 약간의 인식 오작동이라도 있는 경우에는 최종 평가 결과가 크게 달라지는 상황을 초래할 수 있어 정확한 평가가 불가능하다는 문제점이 있다.

본 발명은 위와 같은 문제점들을 극복하기 위한 방안으로서, 본 발명에서는 사용자가 스크립트 없이 자유롭게 먼저 발성한 다음에, 이를 녹음하여 사용자에게 즉시 또는 일정 시간 이후에 들려주고, 사용자는 이를 듣고 본인이 발성했던 내용을 키보드 등의 입력장치를 이용하여 직접 타이핑하며, 이렇게 타이핑된 문장과 녹음된 발성 문장을 서로 비교하여 말하기 능력의 평가를 시행하는 방법을 제안한다.

이러한 과정을 통하여 앞서 제시했던 문제점들이 모두 해결될 수 있으며, 사용자도 스스로 발성했던 내용을 다시 확인하면서 텍스트를 작성하기 때문에, 듣기 능력이 향상될 뿐만 아니라 자신의 발음상의 문제점을 스스로 인식하게 되어 교육 효과를 더욱 높일 수 있게 된다.

본 발명의 기술적 과제를 달성하기 위한 본 발명의 일 실시예는 음성인식을 이용한 외국어 말하기 능력의 훈련 및 평가 방법에 있어서, 제1사용자로부터 발성된 외국어 음성신호를 입력 받는 단계; 상기 입력 받은 음성신호를 레코딩하는 단계; 상기 레코딩된 음성신호를 재생하여 제2사용자에게 제공하는 단계; 상기 제공된 음성신호에 대응되는 텍스트 데이터를 상기 제2사용자로부터 입력 받는 단계; 상기 입력 받은 텍스트 데이터와 상기 레코딩된 음성신호를 비교하여 정확도를 측정하는 단계; 및 상기 측정된 정확도에 따른 평가결과를 상기 제1사용자에게 제공하는 단계;를 포함한다.

상기 제1사용자는 상기 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가에서 피평가자이며, 상기 제2사용자는 상기 제1사용자와 동일한 사용자인 것이 바람직하다.

상기 레코딩된 음성신호를 재생하여 제2사용자에게 제공하는 단계는, 상기 입력 받은 음성신호를 레코딩한 즉시 또는 소정의 n시간(n은 양의 실수) 이후에 상기 제2사용자에게 제공하는 것이 바람직하다.

상기 제공된 음성신호에 대응되는 텍스트 데이터를 입력 받는 단계는, 상기 제공된 음성신호에 대응되는 전체 텍스트를 입력 받거나, 또는 음성인식 모듈이 인식한 음성신호의 텍스트에서 오류가 포함된 일부 텍스트에 대한 수정 데이터를 입력 받는 것이 바람직하다.

상기 정확도를 측정하는 단계는, 상기 레코딩된 음성신호를 아날로그 음성신호에서 디지털 음성신호인 음성 데이터로 변환하는 단계; 상기 입력 받은 텍스트 데이터를 발음 기호로 표시된 문자열인 발음열로 변환하는 단계; 상기 변환된 발음열을 상기 변환된 음성 데이터와 정렬시키는 단계; 및 상기 정렬된 발음열과 음성 데이터를 비교하여 상기 발음열 단위의 정확도를 정량적으로 측정하는 단계;를 포함하는 것이 바람직하다.

상기 정확도를 정량적으로 측정하는 단계는, 상기 발음열의 음성적 자질(phonetic feature)을 이용하여, 상기 음성적 자질이 상기 음성 데이터에 포함되어 있는지 여부에 기초하여 상기 정확도를 측정하는 것이 더욱 바람직하다.

상기 정확도를 정량적으로 측정하는 단계는, 상기 발음열의 각 음소에 해당하는 신호 자체를 모델로 정의하여, 상기 음성 데이터와 상기 정의된 모델 간의 차이를 스코어로 계산함으로써 상기 정확도를 측정하는 것이 더욱 바람직하다.

한편, 본 발명의 기술적 과제를 달성하기 위한 본 발명의 다른 실시예는 음성인식을 이용한 외국어 말하기 능력의 훈련 및 평가 장치에 있어서, 제1사용자로부터 발성된 외국어 음성신호를 입력 받는 음성신호 수신부; 상기 입력 받은 음성신호를 레코딩하는 녹음부; 상기 레코딩된 음성신호를 재생하여 제2사용자에게 제공하는 음성신호 재생부; 상기 제공된 음성신호에 대응되는 텍스트 데이터를 상기 제2사용자로부터 입력 받는 텍스트 수신부; 상기 입력 받은 텍스트 데이터와 상기 레코딩된 음성신호를 비교하여 정확도를 측정하는 정확도 측정부; 및 상기 측정된 정확도에 따른 평가결과를 상기 제1사용자에게 제공하는 평가부;를 포함한다.

상기 제1사용자는 상기 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가에서 피평가자이며, 상기 제2사용자는 상기 제1사용자와 동일한 사용자인 것이 바람직하다.

상기 음성신호 재생부는, 상기 입력 받은 음성신호를 레코딩한 즉시 또는 소정의 n시간(n은 양의 실수) 이후에 상기 제2사용자에게 제공하는 것이 바람직하다.

상기 텍스트 수신부는, 상기 제공된 음성신호에 대응되는 전체 텍스트를 입력 받거나, 또는 음성인식 모듈이 인식한 음성신호의 텍스트에서 오류가 포함된 일부 텍스트에 대한 수정 데이터를 입력 받는 것이 바람직하다.

상기 정확도 측정부는, 상기 레코딩된 음성신호를 아날로그 음성신호에서 디지털 음성신호인 음성 데이터로 변환하는 AD컨버터; 상기 입력 받은 텍스트 데이터를 발음 기호로 표시된 문자열인 발음열로 발음열 변환부; 상기 변환된 발음열을 상기 변환된 음성 데이터와 정렬시키는 정렬부; 및 상기 정렬된 발음열과 음성 데이터를 비교하여 상기 발음열 단위의 정확도를 정량적으로 측정하는 서브 정확도 측정부;를 포함하는 것이 바람직하다.

상기 서브 정확도 측정부는, 상기 발음열의 음성적 자질(phonetic feature)을 이용하여, 상기 음성적 자질이 상기 음성 데이터에 포함되어 있는지 여부에 기초하여 상기 정확도를 측정하는 것이 더욱 바람직하다.

상기 서브 정확도 측정부는, 상기 발음열의 각 음소에 해당하는 신호 자체를 모델로 정의하여, 상기 음성 데이터와 상기 정의된 모델 간의 차이를 스코어로 계산함으로써 상기 정확도를 측정하는 것이 더욱 바람직하다.

본 발명에 따른 음성인식을 이용한 외국어 말하기 능력의 훈련 및 평가 방법을 통해, 사용자로 하여금 정해진 스크립트를 읽는 것이 아니라 자유롭게 발성하도록 유도함으로써 실제 말하기 능력을 훈련시킬 수 있고 또한 이를 평가할 수 있으며, 사용자가 입력한 문장과 발성한 음성신호를 자동으로 비교하여 기존의 음성인식 시스템상의 오작동에 의한 평가 결과의 오류를 방지할 수 있다.

또한 평가 시에 음성인식 기술을 이용하여 발성 내용과 문자열을 음소 단위로 정렬하는 방법을 적용할 수 있어 사용자의 발성에 대한 유창성 평가, 발음 평가 등이 보다 정확하게 가능해진다.

도 1은 종래의 외국어 말하기 훈련 또는 평가 방법의 일 예로서 (a) 미리 정해진 스크립트를 낭독하는 경우, (b) 자유롭게 발성하고 음성인식 시스템이 발성내용을 자동으로 인식하는 경우를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 외국어 말하기 능력 훈련 및 평가장치를 이용하여 자유롭게 발성하고 평가결과를 제공받는 예시 도면이다.
도 3은 본 발명의 일 실시예에 따라 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 방법을 나타내는 플로우 차트이다.
도 4는 본 발명의 일 실시예에 따라 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 장치를 나타내는 기능 블록도이다.
도 5는 본 발명의 일 실시예에 따라 녹음된 음성 데이터와 텍스트 데이터를 비교하여 정확도를 측정하는 방법을 설명하는 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일/유사한 부분에 대해서는 동일/유사한 도면 부호를 붙였다.

본 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

아울러, 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

본 발명은 음성인식 시스템을 이용하여 외국어 말하기 능력을 훈련하고 평가하는 방법에 관한 것으로, 음성인식 기술을 이용하여 사용자가 말한 내용을 문자로 변환하여 외국어 발성 내용을 자동으로 평가하는 과정에 있어서, 음성인식 기술의 오류를 보완하기 위하여 발성했던 사용자로 하여금 발성 내용을 키보드 등의 입력 장치를 이용하여 문자로 입력하게 하여, 입력된 문자 데이터와 녹음된 음성 데이터를 비교하고 사용자의 외국어 능력을 평가하여 정확한 평가결과를 사용자에게 제공함으로써 스스로 훈련이 되도록 하는 방법 및 장치에 관한 것이다.

이하, 여러 가지 도면을 참고하여 본 발명의 음성인식을 이용한 외국어 말하기 능력의 훈련 및 평가 방법을 보다 상세히 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따라 외국어 말하기 능력 훈련 및 평가장치를 이용하여 자유롭게 발성하고 평가결과를 제공받는 예시 도면이다.

앞서 간단히 언급한 것처럼 종래의 음성인식을 이용한 외국어 말하기 능력 평가 시스템의 경우에는 사용자가 미리 정해진 문장을 사용자가 읽으면 이에 따라 사용자의 발음 능력 또는 억양 등을 평가하거나, 또는 사용자가 자유롭게 발성하는 경우에 자동 음성인식을 시도하여 인식된 결과가 문법 및 외국어 어법에 맞는지를 평가하는 방식이었다.

전자의 경우에는 자유로운 말하기 능력에 대한 평가가 불가능하고, 후자의 경우에는 자동 음성인식 시스템의 오류로 인하여 일관성 있는 평가가 불가능하다는 단점이 있었다.

따라서, 도 2와 같이 본 발명에서는 사용자로 하여금 자유롭게 발성하도록 한 이후에, 훈련 및 평가 장치에서 이를 녹음해서 다시 재생하고, 사용자는 녹음된 발성 내용을 듣고 나서 해당 문장을 직접 문자로 바꾸어 텍스트(text)를 입력하고, 평가 장치는 이를 기초로 이전에 녹음되었던 음성 데이터에 대한 정확도를 측정함으로써 사용자의 말하기 능력 평가결과(result)를 제공하는 것으로 고안하였다.

위와 같은 방식으로 인해, 사용자는 정해진 스크립트 없이 자유롭게 외국어말하기를 훈련하면서도. 기존의 자동 음성인식 시스템의 오작동으로 인한 평가 시스템의 오류 발생 가능성을 방지할 수 있다.

보다 자세한 동작과정은 이하 도 3 및 도 4를 참고하여 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따라 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 방법을 나타내는 플로우 차트이다.

도 3을 참고하면, 본 발명의 훈련 및 평가 방법은 제1사용자로부터 발성된 외국어 음성신호를 입력 받는 단계(S310)와 입력 받은 음성신호를 레코딩하는 단계(S320)와 레코딩된 음성신호를 재생하여 제2사용자에게 제공하는 단계(S330)와 제공된 음성신호에 대응되는 텍스트 데이터를 상기 제2사용자로부터 입력 받는 단계(S340)와 입력 받은 텍스트 데이터와 상기 레코딩된 음성신호를 비교하여 정확도를 측정하는 단계(S350) 및 측정된 정확도에 따른 평가결과를 상기 제1사용자에게 제공하는 단계(S360)을 포함한다.

여기서 구분되어 기재된 제1사용자와 제2사용자는 동일한 사용자일 수도 있고, 다른 사용자일 수도 있으며, 제2사용자가 자동화 장치(예: 자동 음성인식 시스템)일 수도 있다.

일반적인 영어 말하기 능력 평가의 경우 사용자(즉, 피평가자)는 주어진 환경에 따라 스스로 자유롭게 발성하고, 평가자는 이를 녹음한 후 사후에 이를 듣고 얼마나 유창하게 발성하였는지를 정량적으로 평가하게 된다.

본 발명은 이 과정에서 녹음된 음성 파일을 듣고 평가하는 단계를 컴퓨터 등의 자동화 장치가 자동으로 수행하고자 하는 경우에 관한 것으로, 크게 다섯 단계로 나누어 보면, (1) 피평가자가 주어진 환경 또는 임무에 따라 자유롭게 발성하는 단계, (2) 발성하는 내용을 녹음하는 단계, (3) 녹음된 내용을 피평가자에게 들려주는 단계, (4) 녹음된 내용을 피평가자가 듣고 키보드 등의 입력 장치를 이용하여 텍스트로 변환 및 입력하는 단계, (5) 입력된 텍스트와 녹음된 데이터를 비교하여 말하기 능력을 자동으로 평가하는 단계로 나누어 볼 수 있다.

앞서 기술한 피평가자가 녹음된 내용을 듣고 키보드 등의 입력 장치를 이용하여 텍스트로 변환하는 단계에서는 피평가자가 처음부터 끝까지 전체 텍스트를 작성할 수도 있고, 또는 음성인식 모듈이 인식한 내용에서 피평가자로 하여금 오류를 포함한 일부분만을 수정하게 할 수도 있다.

이러한 여러 단계를 거침으로써 사용자는 자신이 발성한 내용을 다시 한번 확인할 수 있는 기회를 가질 수 있을 뿐만 아니라, 전체 음성인식 시스템의 인식 및 변환 오작동을 방지할 수 있어서 발음, 억양 등의 말하기 능력 자체를 평가하는데 있어 정확도 및 일관성을 크게 향상 시킬 수 있다.

이하, 훈련 및 평가 장치를 구성하는 세부 모듈들 간의 신호 및 데이터 전달과정을 살펴보면서 아래에서 구체적으로 살펴보기로 한다.

도 4는 본 발명의 일 실시예에 따라 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 장치를 나타내는 기능 블록도이다.

도 4를 참고하면, 본 발명의 훈련 및 평가 장치(400)는 제1사용자로부터 발성된 외국어 음성신호를 입력 받는 음성신호 수신부(410)와 입력 받은 음성신호를 레코딩하는 녹음부(420)와 레코딩된 음성신호를 재생하여 제2사용자에게 제공하는 음성신호 재생부(430)와 제공된 음성신호에 대응되는 텍스트 데이터를 상기 제2사용자로부터 입력 받는 텍스트 수신부(440)와 입력 받은 텍스트 데이터와 상기 레코딩된 음성신호를 비교하여 정확도를 측정하는 정확도 측정부(450)와 측정된 정확도에 따른 평가결과를 상기 제1사용자에게 제공하는 평가부(460)를 포함한다.

훈련 및 평가 장치(400)를 구성하는 세부 모듈들 간의 데이터 전달과정을 살펴보면, 먼저 피평가자로부터 외국어로 발성된 음성(voice)이 음성신호 수신부(410)로 입력된다.

음성신호 수신부(410)는 이를 녹음부(420)로 전달하고, 녹음부(420)에서는 입력된 음성신호를 레코딩하여 차후 정확도의 측정 및 평가를 위해 정확도 측정부(450)로 전달한다.

한편, 녹음된 음성신호는 음성신호 재생부(430)를 통하여 다시 피평가자에게 제공되는데, 이때 음성신호를 녹음한 즉시 피평가자에게 제공할 수도 있고, 소정의 n시간(n은 양의 실수) 이후에 피평가자에게 제공할 수도 있다.

앞서 언급한 것처럼, 녹음된 음성신호는 피평가자에게 제공될 수도 있지만, 다른 사용자(또는 음성인식 시스템)에게 제공된 이후에 평가를 위한 기초자료로 활용될 수도 있다.

그런 다음, 녹음된 음성(recorded voice)을 청취한 피평가자는 제공받은 음성신호에 대응되는 전체 텍스트를 입력 하거나, 또는 음성인식 시스템이 인식한 음성신호의 전체 텍스트에서 오류가 포함된 일부 텍스트에 대한 수정 데이터를 입력 하는 방식으로 스크립트 텍스트(text)를 입력하고, 훈련 및 평가 장치(400) 내의 텍스트 수신부(440)는 이를 수신한다.

그리고, 텍스트 수신부(440)는 텍스트 데이터를 정확도 측정부(450)로 전달하여 음성신호 평가의 기초 자료로 활용한다.

정확도 측정부(450)를 구성하는 세부 모듈들을 살펴보면, 정확도 측정부(450)는 녹음된 음성신호를 아날로그 음성신호에서 디지털 음성신호인 음성 데이터로 변환하는 AD컨버터(451)와 입력 받은 텍스트 데이터를 발음 기호로 표시된 문자열인 발음열로 발음열 변환부(453)와 변환된 발음열을 상기 변환된 음성 데이터와 정렬시키는(forced to align) 정렬부(452) 및 정렬된 발음열과 음성 데이터를 비교하여 발음열 단위의 정확도를 정량적으로 측정하는 서브 정확도 측정부(454)를 포함할 수 있다.

마지막으로, 위와 같은 역할을 수행하는 정확도 측정부(450)의 측정결과에 따라, 발성에 대한 최종 평가결과가 평가부(460)를 통해 피평가자에게 피드백 된다.

도 5는 본 발명의 일 실시예에 따라 녹음된 음성 데이터와 텍스트 데이터를 비교하여 정확도를 측정하는 방법을 설명하는 도면이다.

사용자가 발성한 음성신호(또는 변환된 음성 데이터)와 사용자가 입력한 텍스트 데이터를 이용하여, 말하기 능력을 측정하고 평가하는 구체적인 방식은 다음과 같은 방식을 사용할 수 있다.

먼저, 사용자가 입력한 텍스트 데이터를 발음열로 변환시킨다. 발음열은 해당 영문을 발음 기호로 표시한 문자열을 의미한다.

이후에 이러한 발음열을 사용자가 발성한 음성 데이터와 정렬시킨다(forced to align).

위 과정은 일반적인 음성인식 시스템을 이용하여 음성 데이터 중 해당 발음열에 해당하는 구간을 정확히 일치시키는 과정이다.

그런데 앞서 사용자가 스스로 발성 내용을 정확히 문자열(text)로 바꾸었으므로, 위 정렬 과정에서의 오차를 크게 줄일 수 있게 된다.

이제 발음열과 음성신호가 정렬된 상태가 되면, 발음열 단위로 음성신호를 분석하여 사용자가 얼마나 정확하게 해당 발음열을 발성하였는지 정량적으로 측정할 수 있는 상태가 된다.

이런 단계에서는 발음열의 음성적 자질(phonetic feature)을 이용하여 해당 자질이 음성신호에 포함되어있는지 등을 정확도를 측정하는 수단으로 사용할 수 있다. 예를 들어 /b/, /d/, /g/와 같은 유성음의 경우에 유성음의 자질이 음성신호에 있는지 여부를 사용할 수 있다.

또한 다른 방법으로, 개별 음성학적 자질 이외에도 각 음소에 해당하는 음성신호 자체를 각각 모델로 정의하여 현재 사용자의 신호와 저장된 모델 간의 차이를 스코어로 계산하는 방법도 있다

도 5를 참고하면, 입력된 텍스트(520)를 발음열로 변환하여(530), 녹음된 음성 데이터(510)와 서로 정렬시킨 후에, 각 발음열(541b 내지 543b)에 해당하는 구간에서 음성신호의 모델들(541a 내지 543a) 간의 차이를 각각의 스코어(score)로 계산하여 총 합을 집계함으로써 평가결과를 산출할 수 있다(550).

이렇게 본 발명에 따른 외국어 말하기 능력의 훈련 및 평가 방법을 이용하면, 사용자로 하여금 정해진 스크립트를 읽는 것이 아니라 자유롭게 발성하도록 유도함으로써 실제 말하기 능력을 훈련 및 평가할 수 있으며, 뿐만 아니라 사용자가 입력한 문장과 발성한 음성신호를 자동으로 비교하여 자동 음성인식 오작동에 의한 평가 시스템의 오류를 방지한다.

또한 음성인식 기술을 이용하여 발성 내용과 문자열을 음소 단위로 정렬하는 방법을 적용하여 사용자 발성에 대한 유창성 평가, 발음 평가 등이 보다 정확하게 가능해지는 효과가 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수도 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

1. 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 방법에 있어서,
   제1사용자로부터 발성된 외국어 음성신호를 입력 받는 단계;
   상기 입력 받은 음성신호를 레코딩하는 단계;
   상기 레코딩된 음성신호를 재생하여 제2사용자에게 제공하는 단계;
   상기 제공된 음성신호에 대응되는 텍스트 데이터를 상기 제2사용자로부터 입력 받는 단계;
   상기 입력 받은 텍스트 데이터와 상기 레코딩된 음성신호를 비교하여 정확도를 측정하는 단계; 및
   상기 측정된 정확도에 따른 평가결과를 상기 제1사용자에게 제공하는 단계;를 포함하는 것을 특징으로 하는 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 방법.
2. 제1항에 있어서,
   상기 제1사용자는 상기 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가에서 피평가자이며, 상기 제2사용자는 상기 제1사용자와 동일한 사용자인 것을 특징으로 하는 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 방법.
3. 제1항에 있어서,
   상기 레코딩된 음성신호를 재생하여 제2사용자에게 제공하는 단계는,
   상기 입력 받은 음성신호를 레코딩한 즉시 또는 소정의 n시간(n은 양의 실수) 이후에 상기 제2사용자에게 제공하는 것을 특징으로 하는 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 방법.
4. 제1항에 있어서,
   상기 제공된 음성신호에 대응되는 텍스트 데이터를 입력 받는 단계는,
   상기 제공된 음성신호에 대응되는 전체 텍스트를 입력 받거나, 또는 음성인식 모듈이 인식한 음성신호의 텍스트에서 오류가 포함된 일부 텍스트에 대한 수정 데이터를 입력 받는 것을 특징으로 하는 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 방법.
5. 제1항에 있어서,
   상기 정확도를 측정하는 단계는,
   상기 레코딩된 음성신호를 아날로그 음성신호에서 디지털 음성신호인 음성 데이터로 변환하는 단계;
   상기 입력 받은 텍스트 데이터를 발음 기호로 표시된 문자열인 발음열로 변환하는 단계;
   상기 변환된 발음열을 상기 변환된 음성 데이터와 정렬시키는 단계; 및
   상기 정렬된 발음열과 음성 데이터를 비교하여 상기 발음열 단위의 정확도를 정량적으로 측정하는 단계;를 포함하는 것을 특징으로 하는 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 방법.
6. 제5항에 있어서,
   상기 정확도를 정량적으로 측정하는 단계는,
   상기 발음열의 음성적 자질(phonetic feature)을 이용하여, 상기 음성적 자질이 상기 음성 데이터에 포함되어 있는지 여부에 기초하여 상기 정확도를 측정하는 것을 특징으로 하는 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 방법.
7. 제5항에 있어서,
   상기 정확도를 정량적으로 측정하는 단계는,
   상기 발음열의 각 음소에 해당하는 신호 자체를 모델로 정의하여, 상기 음성 데이터와 상기 정의된 모델 간의 차이를 스코어로 계산함으로써 상기 정확도를 측정하는 것을 특징으로 하는 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 방법.
8. 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 장치에 있어서,
   제1사용자로부터 발성된 외국어 음성신호를 입력 받는 음성신호 수신부;
   상기 입력 받은 음성신호를 레코딩하는 녹음부;
   상기 레코딩된 음성신호를 재생하여 제2사용자에게 제공하는 음성신호 재생부;
   상기 제공된 음성신호에 대응되는 텍스트 데이터를 상기 제2사용자로부터 입력 받는 텍스트 수신부;
   상기 입력 받은 텍스트 데이터와 상기 레코딩된 음성신호를 비교하여 정확도를 측정하는 정확도 측정부; 및
   상기 측정된 정확도에 따른 평가결과를 상기 제1사용자에게 제공하는 평가부;를 포함하는 것을 특징으로 하는 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 장치.
9. 제8항에 있어서,
   상기 제1사용자는 상기 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가에서 피평가자이며, 상기 제2사용자는 상기 제1사용자와 동일한 사용자인 것을 특징으로 하는 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 장치.
10. 제8항에 있어서,
    상기 음성신호 재생부는,
    상기 입력 받은 음성신호를 레코딩한 즉시 또는 소정의 n시간(n은 양의 실수) 이후에 상기 제2사용자에게 제공하는 것을 특징으로 하는 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 장치.
11. 제8항에 있어서,
    상기 텍스트 수신부는,
    상기 제공된 음성신호에 대응되는 전체 텍스트를 입력 받거나, 또는 음성인식 모듈이 인식한 음성신호의 텍스트에서 오류가 포함된 일부 텍스트에 대한 수정 데이터를 입력 받는 것을 특징으로 하는 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 장치.
12. 제8항에 있어서,
    상기 정확도 측정부는,
    상기 레코딩된 음성신호를 아날로그 음성신호에서 디지털 음성신호인 음성 데이터로 변환하는 AD컨버터;
    상기 입력 받은 텍스트 데이터를 발음 기호로 표시된 문자열인 발음열로 발음열 변환부;
    상기 변환된 발음열을 상기 변환된 음성 데이터와 정렬시키는 정렬부; 및
    상기 정렬된 발음열과 음성 데이터를 비교하여 상기 발음열 단위의 정확도를 정량적으로 측정하는 서브 정확도 측정부;를 포함하는 것을 특징으로 하는 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 장치.
13. 제12항에 있어서,
    상기 서브 정확도 측정부는,
    상기 발음열의 음성적 자질(phonetic feature)을 이용하여, 상기 음성적 자질이 상기 음성 데이터에 포함되어 있는지 여부에 기초하여 상기 정확도를 측정하는 것을 특징으로 하는 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 장치.
14. 제12항에 있어서,
    상기 서브 정확도 측정부는,
    상기 발음열의 각 음소에 해당하는 신호 자체를 모델로 정의하여, 상기 음성 데이터와 상기 정의된 모델 간의 차이를 스코어로 계산함으로써 상기 정확도를 측정하는 것을 특징으로 하는 음성인식을 이용한 외국어 말하기 능력 훈련 및 평가 장치.

Images