KR100755417B1

KR100755417B1 - 온라인 외국어 자가 학습 및 평가 시스템과 그 시스템을이용한 자가 학습 및 평가 방법

Info

Publication number: KR100755417B1
Application number: KR1020040065991A
Authority: KR
Inventors: 김영철
Original assignee: 동아시테크주식회사
Priority date: 2004-08-20
Filing date: 2004-08-20
Publication date: 2007-09-04
Also published as: KR20060017339A

Abstract

본 발명은 특정 외국어를 온라인 상에서 인터넷 가능한 단말기를 이용하여 학습할 수 있는 온라인 학습 시스템 및 그 방법에 관한 것으로, 특히 인터넷 가능한 학습자 단말기에 연결되어 학습자 단말기로 제공되는 각종 프로그램과 다양한 컨텐츠를 학습자의 외국어 레벨 또는 개성에 따라 선택하고 이를 학습하도록 한 후, 상기 학습 유형과 관련하여 학습자의 외국어 음성을 입력하도록 하고, 상기 입력된 음성을 원어민의 음성과 비교 분석하며, 상기 분석된 음성에 개인별로 부여되는 특정요소에 대한 팩터별 가중치에 따라 분절적, 비분절적 특성 점수 및 종합적인 점수를 산출하여 학습자 단말기로 제공함으로써 학습자 스스로가 외국어에 대해 학습을 실시하고 정확한 평가를 받을 수 있도록 하는 온라인 외국어 자가 학습 및 평가 시스템과 그 시스템을 이용한 온라인 외국어 자가 학습 및 평가 방법을 제공한다.

온라인 외국어 자가 학습 및 평가 시스템, 방법

Description

온라인 외국어 자가 학습 및 평가 시스템과 그 시스템을 이용한 자가 학습 및 평가 방법{Online Self-Study and Test System and Method of Foreign Languages}

도1은 본 발명에 따른 온라인 외국어 자가 학습 및 평가 시스템의 구성을 개략적으로 나타낸 블록도.

도2는 도1의 외국어 학습 및 평가 서버를 구성하는 웹 모듈을 나타낸 블록도.

도3은 도1의 외국어 학습 및 평가 서버를 구성하는 텍스트 모듈을 나타낸 블록도.

도4는 도1의 외국어 학습 및 평가 서버를 구성하는 음성분석 모듈을 나타낸 블록도.

도5는 도1의 외국어 학습 및 평가 서버를 구성하는 음성평가 모듈을 나타낸 블록도.

도6은 본 발명에 따른 온라인 외국어 자가 학습 및 평가 서버에서 학습자 단말기로 제공되는 컨텐츠의 한 실시예를 나타낸 도면.

도7은 본 발명에 따른 온라인 외국어 자가 학습 및 평가 서버에서 학습자 단 말기로 제공되는 멀티뷰어의 한 실시예를 나타낸 도면.

도8은 본 발명에 따른 온라인 외국어 자가 학습 및 평가 방법을 순차적으로 나타낸 도면.

<도면의 주요부분에 대한 부호의 설명>

10 : 학습자 단말기 20 : 웹모듈

21 : 등록부 22 : 프로그램 다운로드부

23 : 컨텐츠 다운로드부 24 : 텍스트 입력부

25 : 음성파일 입력부 26 : 평가결과 제공부

30 : 컨텐츠 모듈 40 : 텍스트 모듈

41 : 텍스트 분석부 42 : 텍스트 평가부

43 : 텍스트 교정부 44 : 평가점수/교정 텍스트 전송부

50 : 음성분석 모듈 51 : 음성 분석부

52 : 비교 분석부 53 : 데이터 저장부

60 : 음성평가 모듈 61 : 분절적 특성 점수 평가부

62 : 비분절적 특성 점수 평가부 63 : 종합점수 평가부

64 : 평가점수 저장부

100 : 온라인 외국어 자가 학습 및 평가 서버

최근 들어 산업과 경제의 국제화 추세에 따라 외국어, 특히 외국어 회화에 대한 중요성이 날로 커지고 있고, 이에 따라 많은 사람들이 외국어 학습에 많은 시간을 할애하고 있다. 그리고 이를 위하여 다양한 온-오프 라인 어학 강좌 등 어학 학습 프로그램들이 개설되어 있다.

그러나, 일반적으로 어학 강좌는 특별히 정해진 시간에 이루어지기 때문에 직장인 등과 같은 바쁜 일상생활을 영위하는 사람들에게는 그 학습 참여 기회가 극히 제한적이라는 문제점이 있었다.

따라서, 여가 시간에 혼자서도 효과적으로 외국어에 대한 발음이나 음성 등을 학습하고, 원어민의 발음과 비교 평가하는 교육 프로그램 등을 필요로 하게 되었다.

이러한 요구에 부응하기 위하여 현재 음성인식을 이용하여 외국어를 학습할 수 있는 하는 어학용 프로그램이 탑재된 어학용 학습기 또는 인터넷 등 온라인 방식의 어학 학습 시스템이 개발되어 보급되고 있다.

상기와 같은 시스템 등의 외국어 발음 평가 시스템은 음성 신호 처리 기술을 이용한 발음 비교방법에 의하며, 구체적으로는 은닉 마코브 모델(Hidden Markov Model, 이하 "HMM" 이라 함)을 이용하여 학습자의 발음을 인식한 후, 이를 원어민의 음성에 대한 특성 데이터와 비교하는 방법을 채용하였다. 특히, 여기서는 학습자의 음성에 대한 분절적 특성 중 하나의 요소특성을 그에 대응하는 원어민의 특성과 비교하는 방법을 사용하여 발음의 정확도를 평가하였고, 특히 분절적 특성 중 음소에 대한 특성 데이터를 많이 사용하였다.

상기 원어민의 특징 데이터는 훈련된 AM(Acoustic Model) 또는 발성 시점에서의 원어민의 음성 데이터로부터 추출한 것이다. 그러나 상기 AM이나 원어민 음성에서 추출된 특징 데이터는 원어민 개개의 발성 성향이 갖는 다양한 특징을 간과한 것으로서, 상기 데이터를 사용하는 것만으로는 외국어 발음에 대한 올바른 평가를 기대할 수 없으며, 음절이나 구문, 문장의 강세나 등시성 등에 대한 평가가 불가능하거나, 평가하더라도 그 정확성을 확신할 수 없다는 문제점이 있었다.

또한, 상기와 같은 발음 비교분석 프로그램들은 학습자의 발음을 평가하여 단순히 점수만을 부여하는 기능을 구비하고 있는 것에 불과하며, 모든 발성의 분절적, 비분절적 특성들에 대하여 동일한 가중치를 일괄적으로 부여함으로써 특정 문장 또는 단어 등의 억양, 강세, 발성 속도 등에 대한 요소별 특징의 평가에는 적용할 수 없어 학습자들이 상기와 같은 프로그램을 탑재한 학습 장치를 사용할 경우, 학습자는 원어민의 발음에 따라 자신의 발음을 정밀하게 교정하는데 한계가 있다는 문제점이 있었다.

또한, 종래의 음성인식 프로그램 또는 엔진이 탑재된 외국어 학습 장치들은 각 학습자의 언어 사용 능력 또는 발성 특징을 구체적으로 반영하고 있지 아니하여 학습자가 자신의 레벨 또는 개성에 맞는 학습을 진행할 수 없다는 문제점이 있었으며, 또한 종래의 음성 인식기들에 의해서는 초보적인 학습 목표인 최소 변별쌍(minimal pair)의 효과적인 구분조차 현실적으로 불가능하고, 잡음 환경에 대한 효과적인 대처가 불가능하며, 핵심어나 핵심 어구의 검출 성능이 낮거나 효과적이지 못한 것이 실정이다.

상술한 문제점들을 해결하기 위하여 본 발명은 음향 및 음성학의 원리에 따라 영어 음성법 및 음성평가 기법들에 기반을 둔 온라인 시스템을 제공함으로써 학습자가 자신의 발음에 대해 스스로 학습할 수 있으며, 또한 정확하게 평가받을 수 있도록 하는 것을 목적으로 한다.

또한, 학습자의 레벨과 개성에 최대한 부합되도록 다양한 유형의 컨텐츠를 제공하고, 학습자의 성향에 따라 이를 실시간으로 업데이트 함으로써 학습자가 외국어를 학습하고 평가받는데 실질적인 도움을 얻을 수 있도록 하는 것을 또 다른 목적으로 한다.

또한, 학습자가 입력한 음성을 음성인식방법으로 분석하고, 이를 원어민의 음성 데이터와 비교한 후, 각 개인별로 분절적, 비분절적 특성요소에 따른 팩터별 가중치를 부여하여 외국어 발음에 대한 점수를 산출하고, 이를 학습자에게 제공함으로써 자신이 입력한 음성과 원어민의 음성을 스스로 비교 학습할 수 있도록 하는 것을 또 다른 목적으로 한다.

또한, 상기 입력된 학습자 음성의 특징 데이터를 이용하여 음성의 에너지, 피치 및 억양곡선 등과 같은 초분절적 음성 분석과, 광대역 또는 협대역의 스펙토그램 및 포만트 기본 형태 등의 스펙트럼 분석, 그리고 음성 해석 및 시간 정렬 등으로 다양하게 분석하고 이를 그래프화 하여 상기 그래프들 중 적어도 하나 이상을 디스플레이 수단 상에 동시에 표시하여 줌으로써 학습자 스스로 잘못된 발음을 총체적, 다면적으로 확인하고 효과적으로 교정할 수 있도록 하는 것을 또 다른 목적으로 한다.

또한, 음성과 함께 컨텐츠에서 제공하는 유형에 따라 학습자가 외국어로 작문된 텍스트를 입력할 수 있게 하여 이를 평가하고 교정하여 학습자에게 제공함으로써 음성 평가와 함께 학습자의 외국어 작문 실력을 스스로 평가할 수 있도록 하는 것을 또 다른 목적으로 한다.

또한, 학습자가 평가를 위해 입력한 음성과 텍스트를 파일 형태로 저장하고, 필요에 따라 선택하여 다시 듣거나 열람할 수 있도록 함으로써, 시간이 경과함에 따라 자신의 발음 및 작문의 향상도를 스스로 파악할 수 있도록 하는 것을 또 다른 목적으로 한다.

상기 목적을 달성하기 위하여 본 발명은 인터넷 가능한 학습자 단말기에 연결되어 외국어를 학습할 수 있도록 하는 온라인 외국어 학습 시스템에 있어서, 학습자 단말기로 제공되는 각종 프로그램과 다양한 컨텐츠를 학습자의 외국어 레벨 또는 개성에 따라 선택하고 이를 학습하도록 한 후, 상기 학습 유형과 관련하여 학습자의 외국어 음성을 입력하도록 하고, 상기 입력된 음성을 원어민의 음성과 비교 분석하며, 상기 분석된 음성에 개인별로 부여되는 특정요소에 대한 팩터(factor)별 가중치에 따라 분절적, 비분절적 특성 점수 및 종합적인 점수를 산출하여 학습자 단말기로 제공하는 외국어 학습 및 평가 서버를 포함하는 것을 특징으로 하는 온라인 외국어 자가 학습 및 평가 시스템을 제공한다.

또한, 상기 온라인 외국어 자가 학습 및 평가 시스템을 이용하여, 학습자에게 제공되는 컨텐츠에서 학습/평가 유형을 선택하여 학습을 진행하는 단계와; 상기 학습과 관련하여 학습자가 자신의 음성을 입력하는 단계와; 상기 입력된 음성을 온라인으로 전송하는 단계와; 상기 전송된 음성파일을 분석하고 개인별 발음의 특정요소에 대한 팩터별 가중치를 적용하여 점수를 부여하는 단계와; 상기 음성 평가 결과를 학습자에게 제공하는 단계를 포함하는 것을 특징으로 하는 온라인 외국어 자가 학습 및 평가 방법을 제공한다.

이하, 첨부된 도면을 참조로 하여 본 발명을 좀 더 상세히 설명하기로 한다.

먼저, 도1은 본 발명에 따른 온라인 외국어 학습 및 평가 시스템을 나타낸 것으로, 학습자 단말기로 제공되는 각종 프로그램과 다양한 컨텐츠를 학습자의 외국어 레벨 또는 개성에 따라 선택하고 이를 학습하도록 한 후, 상기 학습 유형과 관련하여 학습자의 외국어 음성을 입력하도록 하고, 상기 입력된 음성을 원어민의 음성과 비교 분석하며, 상기 분석된 음성에 개인별로 부여되는 특정요소에 대한 팩터별 가중치에 따라 분절적, 비분절적 특성 점수 및 종합적인 점수를 산출하여 학습자 단말기로 제공하는 외국어 학습 및 평가 서버를 포함하는 것을 특징으로 하는 온라인 외국어 자가 학습 및 평가 시스템(100)으로 구성된다.

상기 외국어 학습 및 평가 서버(100)는 인터넷 가능한 학습자 단말기에 연결되어 학습자에게 학습에 필요한 컨텐츠 또는 프로그램들을 제공하며, 학습자가 입력한 음성을 전송받거나, 상기 음성에 대한 평가결과를 학습자에게 전송하는 웹모듈(20)과; 상기 학습자에게 학습에 필요한 컨텐츠를 다양한 유형으로 생성하는 컨텐츠 모듈(30)과; 상기 웹모듈(20)을 통해 입력된 음성 파일의 특징 데이터를 추출하고, 이를 원어민의 특징 데이터와 비교/분석하여 그 결과를 산출하는 음성 분석 모듈(50); 및 상기 음성 분석 모듈(50)의 비교/분석 결과를 기초로 학습자 음성의 특정요소에 대한 팩터별 가중치를 적용하여 분절적, 비분절적 특성 점수 및 음성에 대한 종합적인 점수를 평가하고, 이를 상기 분석결과와 함께 웹모듈(20)로 전송하는 음성 평가 모듈(60)로 구성된다.

여기서, 상기 외국어 학습 및 평가 서버(100)는 학습자가 작문하여 웹모듈(20)을 통해 전송한 외국어 텍스트를 전송받아 답안과 비교하여 그 결과를 점수로 환산하며, 틀린 부분을 교정하고 그 평가 결과 또는 교정된 텍스트를 웹모듈로 전송하는 텍스트 모듈(40)을 더 포함하여 구성될 수 있다.

다음에, 상기 웹모듈(20)은 도2에 도시된 바와 같이, 학습자들에게 필요한 질문/요청사항, 답변 또는 평가 결과를 전송하거나, 학습자의 질문/요청사항, 답변 또는 음성을 전송받기 위한 등록부(21)와; 상기 학습자들이 학습 및 평가에 필요한 각종 프로그램을 다운로드 받도록 하기 위한 프로그램 다운로드부(22)와; 상기 학습자들이 자가학습 하는데 필요한 다양한 컨텐츠들을 다운로드 받도록 하기 위한 컨텐츠 다운로드부(23)와; 상기 학습자가 입력한 음성을 전송하면, 상기 전송된 음성을 음성 분석 모듈(50) 및 음성 평가 모듈(60)로 재전송 하기 위한 음성파일 입력부(25)와; 상기 음성분석 모듈(50)과 음성평가 모듈(60)에서 분석 평가된 음성 평가 결과를 학습자에게 제공하기 위한 평가 결과 제공부(26)로 구성된다.

여기서, 상기 웹모듈은 상기 컨텐츠에 포함된 유형에 따라 입력한 텍스트 파일을 텍스트 모듈(40)로 전송하기 위한 텍스트 입력부(24)를 더 포함하여 구성될 수 있으며, 상기 평가 결과 제공부(26)는 상기 텍스트 모듈(40)에서 평가되거나 교정된 텍스트 평가 결과를 더 포함하여 학습자에게 제공할 수 있다.

다음에, 컨텐츠 모듈(30)은 학습자들이 외국어 자가 학습 및 평가를 위해 선택 할 수 있도록 다양한 유형의 컨텐츠들을 제공하기 위한 것으로서, 그 일 실시례로 학습자가 문제를 듣고 답하기, 작문 및 작문 읽기, 제시한 정답 읽기, 암기하여 발음하기 등과 같은 유형 등이 있으며, 또한 선택된 각 유형에 따르는 다양한 예문을 제공한다. 이 때, 외국어를 수준별로 분류하여 학습자들이 학습대상을 선택할 수 있도록 할 수 있다. 또한, 상기 컨텐츠 모듈이 업그레이드 될 때마다 학습자들에게 이를 알려주도록 하여 학습자들이 업그레이드된 컨텐츠를 다운로드받아 학습 및 평가에 이용할 수 있도록 한다. 도6은 상기 컨텐츠 모듈에서 제공되는 컨텐츠의 한 실시예를 나타낸 것이다.

다음에, 텍스트 모듈(40)은 도3에 도시된 바와 같이, 상기 웹모듈(10)로부터 전송된 학습자의 텍스트를 분석하여 정·오 여부를 판단하는 텍스트 분석부(41)와; 상기 텍스트 분석부(41)에서 분석된 내용에 따라 작문된 텍스트에 점수를 부여하는 텍스트 평가부(42)와; 상기 텍스트 분석부(41)에서 분석된 내용에 따라 작문된 텍스트를 교정하는 텍스트 교정부(43)와; 그리고 상기 텍스트 평가부(42)에서 산출한 점수와, 상기 텍스트 교정부(43)에서 교정한 작문 텍스트를 웹모듈(20)로 전송하기 위한 평가점수/교정텍스트전송부(44)로 구성된다. 즉, 학습자가 작문된 외국어를 입력하면, 텍스트 모듈(40)은 이를 분석하여 점수로 환산하고, 틀린 부분을 교정한 후 다시 학습자에게 점수와 교정된 텍스트를 전송하여 학습자 자신이 작문 점수를 확인함과 동시에 틀린 부분을 정확히 알 수 있도록 함으로써 학습 효과를 높일 수 있게 된다.

다음에, 음성 분석 모듈(50)은 도4에 도시된 바와 같이, 상기 웹모듈(20)로부터 전송된 음성 파일을 분석하여 음성, 음향적인 특징 데이터를 추출하는 음성 분석부(51)와; 원어민의 음성을 분석하여 특징 데이터를 저장하고 있는 원어민 특징 데이터 통계 DB(53-1), 상기 음성 분석부에서 분석된 학습자의 특징 데이터를 저장하는 학습자 특징 데이터 통계 DB(53-2), 상기 특징 데이터들의 이론치 DB(53-3)로 구성된 데이터 저장부(53)와; 상기 데이터 저장부(53)에 분석되어 저장된 학습자 특징 데이터와 원어민 음성의 특징 데이터와의 PDF(52-1, Probability Density Function), DTW(52-2, Dynamic Time Warping)를 수행하고, 특정 요소에 대한 팩터(factor)별 가중치(52-3)를 적용토록 하는 비교 분석부(52)로 구성된다.

여기서 PDF(Probability Density Function)란 확률 밀도 함수의 약자로서, 학습자의 특징 데이터와 원어민 음성의 특징데이터와의 PDF를 수행한다 함은 학습자의 특징데이터와 원어민 음성의 특징데이터를 비교하여 확률 밀도 함수로 나타냄을 의미한다.

또한, DTW(Dynamic Time Warping)란 템플릿 기반의 패턴 매칭 방법을 이용하여 음성을 인식하는 방법으로서 DTW를 이용한 음성인식 시스템은 화자종속 고립어 인식시스템 구성에 주로 이용되며 인식률이 높다는 장점이 있다.

상기 음성 분석부(51)에서 분석되는 특징 데이터는 음성, 음향학적인 분석 요소들을 의미하는 것으로, 음의 길이(duration), 음의 에너지(energy), 피치(pitch), 모음의 구성음소 즉, 포만트(formant), RFC(Rising Falling Connection)/Tilt, 스펙트럼(Spectrum), VOT(Voice Onset Time) 등이며, 이는 수치 데이터와 패턴 데이터로 구분된다. 상기 수치 데이터는 "어떤 프레임에서 피치가 150Hz"라는 식의 수치적인 데이터를 의미하며, 이로부터 평균값과 표준편차 값을 갖는 통계 값을 이용하여 PDF를 수행함으로써 소정의 평가치를 산출하게 되고, 상기 PDF를 통해 산출되는 평가치는 PDF를 수행한 각각의 결과를 나타낸 것으로서 비분절적 특성에 대한 결과치일 수도 있으며, 분절적 특성에 대한 결과치일 수도 있다. 이는 확률적인 평가방법으로 상기 데이터의 수치 그 자체가 중요한 의미를 갖는다.

또한, 상기 패턴 데이터는 전체 문장의 인토네이션 등을 의미하는 것으로, 이는 수치값으로 표현되는 것이 아니라 어느 곳에서 억양이 올라가고(rising), 어느 곳에서 내려가는(falling) 것인지 그 형태, 성향 및 순서 등이 중심이 되는 데이터이며, 이는 DTW 방식으로 비교할 수 있다. 이때 상기 DTW 방식은 시간적 변동을 고려하여 대상 패턴들을 비교하는 평가 방법을 나타낸다.

또한, 상기 데이터 저장부(53)를 구성하는 상기 원어민의 특징 데이터 통계 DB(53-1)는 표준에 가장 가까운 발음을 하는 원어민의 특징 데이터들에 대한 통계치가 분절적, 비분절적 항목으로 구분되어 저장되어 있으며, 학습자 특징 데이터 통계 DB(53-2)는 일정 수의 평범한 다른 학습자의 특징 데이터들에 대한 통계치가 분절적, 비분적절 항목으로 구분되어 저장되어 있다. 또한, 상기 특징 데이터들의 이론치 DB(53-3)에는 학계에서 검증을 받거나 상식적으로 보편화되어 있는 특징 데이터들의 이론치가 분절적, 비분절적 항목으로 구분되어 저장되어 있다. 이때, 상기 특징 데이터들의 이론치는, 예를 들어 파열음은 일반적으로 어떠한 특징으로 갖고 있는지, 학습자의 경우 나라별 또는 언어권 별로 어떠한 부분에서 오류가 많이 발생하는지 등에 대한 지금까지의 연구 결과 및 논문 등 학계에서 인증한 모든 데이터를 말하는 것으로 분절적, 비분절적 특성 요소에 대한 부분을 모두 포함하고 있다.

상기와 같이 입력 및 저장된 학습자의 음성 즉, 발음에 대한 특징 데이터들은 상기 데이터 저장부(53)에 저장된 원어민의 특징 데이터 통계 DB(53-1), 특징 데이터들의 이론치 DB(53-3) 및 상기 비교 분석부(52)를 통해 정확한 비교결과를 얻을 수 있게 된다.

또한, 상기 비교 분석부(52)는 상기 특징 데이터의 수치 데이터에 대해서 PDF(52-1)를 수행하여 학습자의 발음에 대한 소정 요소(음의 세기, 피치 등)의 수치값이 얼마나 원어민의 소정 요소에 근접해 있는지 비교하고, 상기 패턴 데이터에 대해서는 DTW(52-2)를 수행하여 학습자의 인토네이션 등이 원어민의 인토네이션 등 과 얼마나 유사한지를 비교하며, 상기 학습자의 특징 데이터, 특징 데이터의 이론치 및 학습자의 음성 분석 자료를 근간으로 각 분절적, 비분절적 특성 및 중요도를 산출하여 각 요소에 대한 팩터별 가충치(52-3)를 유추하고 적용하는 역할을 수행한다.

상기와 같이 학습자 발음의 수치데이터 및 원어민의 특징 데이터 DB의 통계값에 대한 PDF를 수행함으로써, 학습자의 발음 중 수치로 표현될 수 있는 소정의 요소에 대해 그 수치값이 원어민의 수치값에 얼마나 근접해 있는가를 알 수 있게 된다. 즉, 통계적으로 원어민과 70% 유사하다는 등의 판단이 가능하게 되는 것이다.

또한, 음성 분석부(51)를 통해 추출된 학습자 발음의 패턴 데이터는 저장되어 있는 원어민의 음성 데이터로부터 추출된 패턴 데이터들과 DTW(52-2)를 수행하게 됨으로써 평가치가 산출된다. 상기 패턴 데이터는 상술한 바와 같이 분절적 요소의 억양, 틸트(tilt) 등을 의미하는 것이며, 상기 DTW(52-2)는 상기 패턴 데이터를 비교할 수 있는 방법으로 시간적 변동을 고려하여 대상 패턴들의 비교값을 산출하는 비교 논리를 나타낸다. 즉, DTW(52-2)는 어떤 선형적인 데이터를 보강하고 정규화 하여 비교하는 것으로, 이는 비교되는 양 패턴 데이터가 얼마나 유사한 양상을 띄고 있는 지를 수치적인 값으로 표시하게 된다.

이와 같이 학습자의 발음에 대한 특징 데이터 즉, 수치 데이터 및 패턴 데이 터에 대해 각각 PDF 및 DTW를 수행함으로써 학습자의 음성에 대한 평가 데이터를 생성할 수 있으며, 상기 생성된 평가 데이터가 비분절적 요소에 관한 것인지, 분절적 요소에 관한 것인지에 따라 상기 평가 데이터는 비분절적 특성 평가 데이터 또는 분절적 특성 평가 데이터로 나뉘게 된다.

여기서, 상기 분절적 특성은 음성의 경우 문장, 구절, 음절, 단어, 음소 등으로 분리가 가능하고 세분화 할 수 있는 항목을 말하며, 비분절적 특성은 음성의 경우 억양, 강세, 등시성 등과 같이 분절되지 않는 항목을 말한다. 즉, 분절적 요소인 음소의 첫 번째 포만트의 피크(peak)값은 분절적 요소의 특징이라 할 수 있고, 입력된 음성에 대한 등시성은 비분절적 요소 특징이라 할 수 있다.

상기 PDF 및 DTW는 수치 데이터 및 패턴 데이터에 대한 비교 분석을 하는 것이기 때문에 각각의 평가치는 모두 분절 특성 평가 데이터 및 비분절 특성 평가 데이터를 동시에 포함하고 있다.

또한, 이렇게 생성된 학습자의 특성 평가 데이터들은 각 요소별로 가중치를 적용 받게 된다. 상기 학습자의 특성 평가 데이터들에 가중치를 부여하기 위해서는 데이터베이스부의 특징 데이터들의 이론치 DB를 이용하여 학습자의 발음 중 어떤 분절적 또는 비분절적 요소의 중요도가 높은지를 판단하여야 한다. 즉, 상기 데이터들을 비교분석하면 학습자의 어떠한 음소, 음절 등의 어떠한 특성(억양, 등시성, 강세)에서 오류가 발생하는지 또는 원어민의 발음과 비교하여 어떠한 음성 특성을 가지고 있는 지를 알 수 있게 된다. 예를 들면, 한국인의 경우 'r'과 'l'의 발음 차이가 거의 없다는 등의 특성을 검출하게 되면 이러한 사항이 검출되는 구간의 중요도가 높다고 판단되는 것이다. 이러한, 중요도를 기반으로 하여 각 비분절적, 분절적 평가 데이터에 대한 가중치를 산출하게 된다. 즉, 상기 중요도가 높은 곳에 대해 가중치를 높게 한다.

여기서, 상기 분절 특성 평가 데이터는 음소, 단어, 음절, 구절, 문장으로 구성되며, 각각의 분절 요소는 해당 특징 데이터 및 비분절 특성 평가 데이터를 포함하고 있다. 이때, 상기 비분절적 특성 평가 데이터는 억양, 강세, 음의 길이(duration), 등시성, 정지(pause)로 구성된다.

즉, 분절, 비분절 특성 평가 데이터는 PDF 및 DTW를 통해 생성된 평가치이고, 이는 요소별 가중치 생성에 의해 가중치 처리된다. 결과적으로 학습자의 발음에 대한 모든 특성요소들은 가중치의 적용을 받아 하나의 점수 또는 각 분절적 요소에 대한 점수로서 산출되며 이는 곧 학습자의 발음에 대한 수치적인 점수로 나타나게 된다.

다음에 음성 평가 모듈(60)은 도5에 도시된 바와 같이, 상기 학습자 음성의 특정요소에 대한 팩터별 가중치를 적용하여, 분절적 요소에 대한 평가 점수를 산출하는 분절적 특성 점수 평가부(61)와, 비분절적 요소에 대한 평가 점수를 산출하는 비분절적 특성 점수 평가부(62)와, 상기 분절적 및 비분절적 점수 평가부에서 산출된 점수를 바탕으로 학습자가 입력한 음성에 대한 종합적인 점수를 산출하는 종합점수 평가부(63)와, 상기 평가부들로부터 산출된 점수들을 입력된 음성파일에 따라 구분하여 저장하는 평가 점수 저장부(64)로 구성된다.

즉, 상기 음성 분석 모듈(50)의 PDF 및 DTW에서 분석된 분절적 또는 비분절적 특징 데이터의 분석 데이터와, 그 분석된 데이터의 팩터별로 부여된 가중치에 따라 논리적으로 학습자가 입력한 음성의 분절적 및 비분절적 평가와 분석을 수행하여 점수를 산정하여 저장하고, 상기 분절적 및 비분절적 평가 점수를 바탕으로 학습자의 발음에 대한 종합적인 평가 및 분석을 수행하여 수치적인 결과로서 점수를 산출하여 저장한다. 이때, 각 점수는 해당 음성파일별로 저장되므로 학습자가 현재의 평가결과를 이전의 평가 결과들과 비교할 수 있다.

상기와 같은 분석결과는 다양한 형태의 멀티뷰어로 표시될 수 있다. 상기 멀티 뷰어는 웹모듈(20)의 평가 결과 제공부(26)에 포함된다. 상기 멀티뷰어는 에너지 곡선(energy curve), 피치(pitch contour), 억양곡선(intonation curve) 등과 같은 학습자와 원어민의 음성 특징 데이터들 중 초분절적 음성 해석 정보를 표시하기 위한 뷰어와; 광대역(wideband) 또는 협대역(narrowband) 스펙트로그램과, 포만트의 기본 형태 등과 같은 학습자와 원어민의 음성 특징 데이터들 중 스펙트럼 분석정보를 표시하여 주는 뷰어와; 음소 수준의 시간정렬 결과(IPA 음소 기호), 단어 수준의 시간 정렬 결과, 문자의 시작과 끝에 대한 정보 등과 같은 학습자와 원어민의 음성 특징 데이터들 중 음성 해석 및 시간정렬(alignment) 정보를 표시하기 위한 뷰어를 각각 표시하거나 이를 하나의 표시창에 모두 동시에 표시하여 줄 수 있다.

또한, 상기와 같이 구성된 멀티뷰어 모듈은 학습자가 디스플레이수단 상에서 원하는 형태의 분석정보를 선택하여 볼 수 있도록 하고 있으며, 상기 멀티뷰어 표시창에는 학습자가 이제까지 입력한 문장이나 음성을 선택할 수 있도록 구성되어 있다. 따라서, 학습자로 하여금 자신의 향상된 기록을 한번에 파악할 수 있도록 하여 외국어 학습 성취도에 따른 학습 동기를 유발시킬 수 있다. 구체적으로는 도7에 도시된 바와 같이 일측에는 질문번호, 질문형태, 나의 점수, 그리고 음성의 재생 등에 관한 다수의 기능키들을 구비하고, 타측에는 음의 길이, 억양, 파장 에너지 등을 나타내는 그래프가 표시된다.

다음에, 도8에 도시된 바와 같이 온라인 외국어 자가 학습 및 평가 시스템을 이용한 학습 및 평가방법은, 학습자가 단말기를 이용하여 외국어 학습 및 평가 서버에 연결하여 ID와 패스워드를 입력하여 정당한 회원임을 확인 받거나 신규 접속인 경우 학습자 정보를 입력한 후 자가 학습 평가 신청을 하여 ID와 패스워드를 부여받아 회원으로 등록한 후 접속한다(S01,S02). 다음에, 학습자가 컨텐츠에서 원하는 유형을 선택(S04)하여 학습을 진행한다. 다음에, 상기 학습 유형과 관련하여 학습자가 음성을 입력하도록 하고, 상기 입력된 음성을 파일형태로 제작하여 전송하도록 한다(S05). 다음에, 상기 전송된 음성파일을 분석하여 도4 및 도5에 대한 설명에 기재된 바와 같은 방법으로 다양한 형태의 평가 결과를 산출하고, 상기 평가결과의 개인별 특정요소에 대한 팩터별 가중치를 적용하여 점수를 부여한다(S06,S09,S10). 다음에, 상기 음성 평가 결과를 학습자가 원하는 형태의 즉, 음성 이나 텍스트 또는 멀티뷰어 형태로 제공한다(S11).

여기서, 학습자가 학습을 진행하기에 앞서 자가 학습 및 평가에 필요한 컨텐츠와 프로그램을 다운로드 받아 설치하도록 하는 단계(S03)를 더 포함할 수 있다.

또한, 상기 설치된 컨텐츠에서 원하는 유형을 선택(S04)하여 학습을 진행한 후, 학습 유형과 관련하여 텍스트를 입력할 수도 있다(S05). 이때, 상기 학습유형에 관련된 평가 받을 파일의 형태가 음성 또는 텍스트일 수 있으므로, 전송된 파일에 텍스트 파일이 포함되어 있는지의 여부를 판단하여(S06) 음성 파일일 경우 상기 S09~S10의 과정을 수행하고, 텍스트 파일이 포함된 경우 텍스트 파일을 정답 파일과 비교 분석하여 평가하고, 교정을 실시한다(S07,S08). 상기와 같이 교정된 텍스트와 평가된 점수는 학습자가 원하는 형태로 제공한다(S11).

또한, 상기 입력된 음성파일을 텍스트로 변환하여 잘못된 부분을 교정하여 텍스트 형태로 수강자 단말기로 제공할 수도 있다. 상기와 같이 음성파일을 교정하여 텍스트 파일로 제공하는 방법은, 상기 분석된 음성파일을 텍스트 파일로 생성한 다음, 상기 생성된 텍스트 파일을 텍스트 분석 평가 모듈을 통해 분석 평가하고, 잘못된 부분을 교정한다. 상기와 같이 분석평가된 결과와 교정된 텍스트는 수강자 단말기에 제공함으로써 음성으로 입력한 내용을 교정된 텍스트 형태로 확인할 수 있도록 한다.

상기와 같은 단계의 반복을 통해 학습자는 자신의 발음 및 작문능력을 정확하게 평가받을 수 있고, 학습 진척도를 쉽게 파악할 수 있으며, 따라서 외국어의 학습 성취도가 올라가게 된다.

이상과 같이 본 발명을 도면에 도시한 실시예를 참고하여 설명하였으나, 이는 발명을 설명하기 위한 것일 뿐이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진자라면 상세한 설명으로부터 다양한 변형 또는 균등한 실시예가 가능하다는 것을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 권리범위는 청구범위의 기술적 사상에 의해 결정되어야 한다.

상술한 바와 같이 본 발명에 따른 온라인 외국어 자가 학습 및 평가 시스템과 그 방법은 온라인을 기반으로 학습자 스스로가 문제에 답하고 그 결과를 즉시 또는 빠른 시간내에 확인할 수 있도록 함으로써 자신의 발음에 대해 스스로 학습하고 평가할 수 있어 외국어 학습 성취도를 향상시킬 수 있다.

또한, 학습자가 입력한 음성에 대한 분절적, 비분절적 특성요소에 따른 팩터별 가중치를 부여하여 외국어 발음에 대한 점수를 산출함으로써 개인의 발음에 대해 더욱 정확히 평가받을 수 있도록 할 수 있다.

또한, 학습자의 레벨에 맞는 다양한 유형의 컨텐츠를 제공하여 학습자 스스로가 자기의 레벨에 따른 컨텐츠를 선택하여 외국어를 학습할 수 있도록 함으로써 외국어 학습 및 평가의 효율을 높일 수 있다.

또한, 학습자가 평가를 위해 입력한 음성을 상기 음성인식방법으로 분석하여, 원어민의 데이터와 비교한 결과와, 그 비교된 데이터를 비분절적 음성 분석, 스펙트럼 분석, 음성 해석 및 시간 정렬 등 학습자가 원하는 형태로 그래프화하여 이중 적어도 하나 이상의 그래프를 동시에 디스플레이 수단 상에 현시하여 줌으로써 학습자 스스로 발음이 잘못된 부분을 확인하고 교정하도록 할 수 있다.

또한, 음성과 함께 컨텐츠에서 제공하는 유형에 따라 텍스트를 입력할 수 있게 하고, 입력된 텍스트를 평가 및 교정하여 줌으로써 학습자의 외국어 작문 실력을 스스로 평가하도록 할 수 있다.

또한, 학습자가 평가를 위해 입력한 음성과 텍스트를 파일 형태로 저장하고, 필요에 따라 선택하여 재생할 수 있도록 하여, 시간이 경과함에 따라 발음 및 작문의 향상된 정도를 파악할 수 있도록 함으로써 학습효과를 증대시킬 수 있다.

Claims

인터넷 가능한 학습자 단말기에 연결되어 외국어를 학습할 수 있도록 하는 온라인 외국어 학습 시스템에 있어서,

상기 학습자 단말기에 연결되어 학습자에게 학습에 필요한 컨텐츠 또는 프로그램들을 제공하며, 학습자가 입력한 음성 또는 텍스트를 전송받거나, 상기 음성 또는 텍스트에 대한 평가결과를 학습자에게 전송하는 웹모듈;

상기 학습자에게 학습에 필요한 컨텐츠를 다양한 유형으로 생성하는 컨텐츠 모듈; 상기 웹모듈을 통해 입력된 음성 파일의 특징 데이터를 추출하고, 이를 원어민의 특징 데이터와 비교/분석하여 그 결과를 산출하는 음성 분석 모듈;

상기 음성 분석 모듈의 비교/분석결과를 기초로 학습자 음성의 특정요소에 대한 팩터별 가중치를 적용하여 분절적, 비분절적 특성 점수 및 음성에 대한 종합적인 점수를 평가하여 상기 비교/분석결과와 함께 웹모듈로 전송하는 음성 평가 모듈; 및

상기 웹모듈을 통해 입력된 학습자의 텍스트를 답안과 비교 평가하여 그 평가결과를 점수로 환산하며, 틀린 부분을 교정하고 그 평가 결과 또는 교정된 텍스트를 웹모듈로 전송하는 텍스트 모듈로 구성된 외국어 학습 및 평가 서버를 포함하여서,

상기 학습자 단말기로 학습한 학습 유형과 관련하여 음성 또는 텍스트를 입력하도록 한 후, 입력된 음성 또는 텍스트를 정답과 비교하여 점수를 부여하고 교정을 실시하여 음성 또는 텍스트 형태로 학습자 단말기로 제공하는 것을 특징으로 하는 온라인 외국어 자가 학습 및 평가 시스템.
삭제
제 1 항에 있어서,

상기 웹모듈은,

학습자 단말기들로 필요한 질문/요청사항, 답변 또는 평가 결과를 전송하거나, 학습자 단말기의 질문/요청사항, 답변 또는 음성 및/또는 텍스트를 전송받기 위한 등록부;

상기 학습자들이 학습 및 평가에 필요한 각종 프로그램 또는 컨텐츠를 다운로드 받도록 하기 위한 프로그램 다운로드부;

상기 학습자가 입력한 음성을 전송하면, 상기 전송된 음성을 음성 분석 모듈 및 음성 평가 모듈로 재전송하기 위한 음성 파일 입력부;

상기 음성분석 모듈과 음성평가 모듈에서 분석/평가된 음성 평가 결과를 학습자에게 제공하기 위한 평가 결과 제공부; 및

상기 다운로드 받은 컨텐츠에 포함된 유형에 따라 입력한 텍스트 파일을 텍스트 모듈로 전송하기 위한 텍스트 입력부;

를 더 포함하는 것을 특징으로 하는 온라인 외국어 자가 학습 및 평가 시스템.
제 3 항에 있어서,

상기 평가 결과 제공부는,

학습자와 원어민의 음성 특징 데이터들 중 초분절적 음성 해석 정보를 표시하기 위한 뷰어;

학습자와 원어민의 음성 특징 데이터들 중 스펙트럼 분석정보를 표시하여 주는 뷰어; 및

학습자와 원어민의 음성 특징 데이터들 중 음성 해석 및 시간정렬 정보를 표시하기 위한 뷰어;

중 적어도 하나 이상을 단말기의 디스플레이 상에 표시하는 멀티뷰어를 포함하는 것을 특징으로 하는 온라인 외국어 자가 학습 및 평가 시스템.
제 1 항에 있어서,

상기 컨텐츠 모듈은,

문제 듣고 답하기, 작문한 후 작문 읽기, 제시된 문장 읽기, 암기하여 발음하기 등의 평가 컨텐츠 유형과, 각 컨텐츠 유형마다 다수의 문제와 예문이 포함되어 있는 것을 특징으로 하는 온라인 외국어 자가 학습 및 평가 시스템.
제 1 항에 있어서,

상기 음성 분석 모듈은,

상기 웹모듈로부터 전송된 음성 파일을 분석하여 음성, 음향적인 특징 데이터를 추출하는 음성 분석부;

원어민의 음성을 분석하여 특징 데이터를 저장하고 있는 원어민 특징 데이터 통계 DB, 상기 음성 분석부에서 분석된 학습자의 특징 데이터를 저장하는 학습자 특징 데이터 통계 DB, 상기 특징 데이터들의 이론치 DB로 구성된 데이터 저장부; 및

상기 데이터 저장부에 분석되어 저장된 학습자 특징 데이터와 원어민 음성의 특징 데이터와의 PDF, DTW를 수행하고, 특정 요소에 대한 팩터별 가중치를 적용토록 하는 비교 분석부;

로 구성된 것을 특징으로 하는 온라인 외국어 자가 학습 및 평가 시스템.
제 1 항에 있어서,

상기 음성 평가 모듈은,

상기 음성 분석 모듈에서 분석한 특징 데이터들의 분절적 요소에 대한 평가 점수를 산출하는 분절적 특성 점수 평가부;

상기 음성 분석 모듈에서 분석한 특징 데이터들의 비분절적 요소에 대한 평가 점수를 산출하는 비분절적 특성 점수 평가부;

상기 분절적 및 비분절적 점수 평가부에서 산출된 점수를 바탕으로 학습자가 입력한 음성에 대한 종합적인 점수를 산출하는 종합점수 평가부; 및

상기 평가부들로부터 산출된 점수들을 입력된 음성파일에 따라 구분하여 저장하는 평가 점수 저장부;

로 구성된 것을 특징으로 하는 온라인 외국어 자가 학습 및 평가 시스템.
삭제
삭제
삭제
제 1 항에 있어서,

상기 텍스트 모듈은,

상기 전송된 학습자의 텍스트를 분석하여 정오여부를 판단하는 텍스트 분석부;

상기 텍스트 분석 결과에 따라 작문된 텍스트에 점수를 부여하는 텍스트 평가부;

상기 분석 결과에 따라 작문된 텍스트를 교정하는 텍스트 교정부; 및

상기 텍스트 평가부에서 부여된 점수와, 상기 텍스트 교정부에서 교정된 작문 텍스트를 웹모듈로 전송하기 위한 평가점수/교정텍스트 전송부;

로 구성된 것을 특징으로 하는 온라인 외국어 자가 학습 및 평가 시스템.
제 1 항의 온라인 외국어 자가 학습 및 평가 시스템을 이용하여,

상기 학습자 단말기를 이용하여 학습 및 평가를 신청하고 회원 등록한 후 접속하는 단계;

학습자 단말기로 제공되는 컨텐츠에서 학습/평가 유형을 선택하여 학습을 진행하도록 하는 단계;

상기 학습 유형에 따라 음성 또는 텍스트를 입력하여, 온라인으로 전송하도록 하는 단계;

상기 전송된 파일이 음성파일이라면, 그 음성파일을 분석하여 다양한 형태의 평가 결과를 산출하고, 상기 평가결과의 개인별 특정요소에 따른 팩터별 가중치를 적용하여 점수를 부여하는 단계;

상기 전송된 파일이 텍스트 파일인 경우, 그 텍스트 파일을 정답 파일과 비교 분석하여 평가하고, 교정하는 단계; 및

상기 음성파일의 평가결과와 점수 또는 텍스트 파일을 평가한 결과와 교정된 텍스트 파일을 학습자 단말기로 제공하는 단계를 포함하는 것을 특징으로 하는 온라인 외국어 자가 학습 및 평가방법.
제 12 항에 있어서,

학습자가 상기 학습을 진행하는 단계 이전에 학습에 필요한 컨텐츠 및/또는 프로그램을 다운로드받아 설치하도록 하는 단계를 더 포함하는 것을 특징으로 하는 온라인 외국어 자가 학습 및 평가 방법.
삭제
삭제
제 12 항에 있어서,

상기 전송된 음성파일을 분석 평가하여 점수를 부여하는 단계에서,

상기 분석된 음성파일을 텍스트 파일로 생성하는 단계와;

상기 생성된 텍스트 파일을 텍스트 모듈을 토해 분석 평가하고, 교정된 텍스트를 학습자에게 제공하는 단계를 더 포함하는 것을 특징으로 하는 온라인 외국어 자가 학습 및 평가 방법.