KR20190041105A - 학습자의 문장입력 및 음성입력을 이용한 학습 시스템 및 그 방법 - Google Patents

Abstract

본 발명에 따른 외국어 학습 방법은 서버에서 학습자 단말기로 학습영상을 제공하는 단계 및 학습자 단말기에서 학습영상이 재생되는 중간에 특정 학습 포인트에서 학습 문장이 존재하는 경우 문장 학습 단계로 진행하는 단계를 포함한다. 여기서 상기 문장 학습 단계는, 청취한 학습 문장에 대응하는 학습자의 음성 입력을 수신하는 단계, 학습 문장의 기준 음성 파형과 사용자의 음성 입력 파형을 비교하여 피드백 그래프 출력하는 단계를 포함한다. 또한 상기 피드백 그래프를 출력하는 단계는, 학습 문장의 기준 음성 파형과 학습자의 음성 입력 파형을 비교하여 도시하는 단계, 학습 문장의 기준 음성 파형을 청크 단위로 분할하는 단계, 학습자의 음성 입력 파형 중 발화 구간을 분절하여 청크 단위로 분할하는 단계, 기준 음성 파형의 청크와 음성 입력 파형의 청크를 순차적으로 비교하는 단계 및 분절된 청크 단위별로 파형의 일치도를 평가하는 단계를 포함한다.

Description

학습자의 문장입력 및 음성입력을 이용한 학습 시스템 및 그 방법 {LEARNING SYSTEM AND METHOD USING SENTENCE INPUT AND VOICE INPUT OF THE LEARNER}

본 발명은 음성입력 및 문장, 표현, 단어 구조를 이용한 학습 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 학습자로부터 학습 문장을 완성하기 위한 입력을 수신하고 이러한 학습 문장에 대응하는 음성입력을 수신하여 학습도를 판단한다. 본 발명은 학습자가 문장을 완성하고 완성된 문장의 발음을 입력받아 외국어 학습 효과를 향상시키는 학습 시스템 및 그 방법에 관한 것이다.

최근 들어 외국어 학습 특히 영어나 중국어 구사 능력이 더욱 더 중요하게 여겨지고 있다. 특히 영어의 경우 세계 공용어(lingua franca), 국제어(English as an international language)로서 기능하고 있는바, 이는 영어가 국가와 문화의 경계를 넘어서 세계적으로 의사소통을 하는 수단으로 자리를 잡았다는 것을 의미한다. 우리나라는 영어 교육에 상당한 투자를 하고 있음에도 불구하고 한국어와 영어의 구조체계가 상당히 상이하고 영어를 모국어로 하고 있지 않다는 점 때문에 영어학습의 효과가 뚜렷하게 다가오지 않고 있다. 이와 대비되게, 영어가 모국어는 아니지만 공용어나 제2언어로 사용하는 국가들의 경우 모국어와 함께 영어를 공용어로 오랜 기간 사용했기 때문에 교육수준에 비해 영어 구사 능력이 상당히 뛰어나며 영어학습 효과 또한 좋은 편이다.

우리나라도 영어교육을 강화하기 위해 각 학교에 원어민 영어강사 배치, 영어수업 확대 등 영어 공교육을 개선해서 학생들의 영어능력을 향상시키고자 노력하고 있다. 그러나 영어 교수, 학습법, 학습 모델에 대한 연구 및 개발은 상대적으로 관심도가 낮다고 생각된다. 보편적으로 가장 많이 쓰이는 영어교수법의 경우 문법-번역식 교수법(The Grammar-Translation Method), 직접식 교수법(The Direct Method), 청화식 교수법(The Audio-lingual Method), 전신 반응 교수법(TPR : Total Physical Response), 의사소통 중심 언어 교수법(Communicative Language Teaching) 등이 있다. 그러나 널리 사용하는 영어교수·학습 모델은 일반적으로 도입(presentation) - 연습(practice) - 발화(production)의 학습 형태를 갖고 있으며, 다양한 학습자들의 요구와 필요를 제대로 충족시키지 못한다는 비판이 제기되고 있다. 또한 이러한 교수법들은 교사가 학생들을 가르칠 때 어떻게 해야 하는지에 중점을 두어 개발된 학습법이므로, 최근 인터넷에 기반한 학습 시스템에 그대로 적용하기 어려우며 적용한다 하더라도 그 효과를 장담하기 어렵다. 따라서 인터넷 기반 외국어 학습법에서는 학습 컨텐츠가 어떻게 학습자에게 전달할 것인지, 학습자의 학습도를 어떻게 측정할 것인지, 학습자의 학습도에 따라 어떠한 학습 방향을 제시할 것인지에 관해 새로운 모델이 고려되어야 하고, 종합적이고 실제적인 관점에서 새로운 학습법을 개발할 필요성이 있다.

그러나 종래의 발명은 문장 또는 단어 등을 기준으로 하여 학습자의 발음을 판단하는 기능 위주로 구성되어 있으며, 대화 중 하나의 묶음으로 자연스럽게 이어지는 단위, 즉 청크에 대한 음성 인식 방안에는 구체적으로 기재하고 있지 않았다. 외국어 말하기 교육에 있어 청크의 연결을 통해 원어민에 가까운 자연스러운 말하기 학습이 가능하므로 본 발명은 이러한 점에 착안하였다.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

작동적 조건화 이론(operant conditioning theory)에서 작동적 조건화란 반드시 눈에 보이는 자극이 없더라도 반응(response)이 일어나는 조건화를 의미한다. 언어의 경우, 아이가 어떤 소리를 능동적, 자발적으로 발성하거나 모방하였을 때 이 모방이 작동(operant)의 기능을 하게 되어 아이의 발성에 대해 부모나 주위에서 긍정적이거나 부정적인 반응을 보임으로써 그 발성 행위가 강화(reinforce)되거나 소멸된다. 이처럼 작동에서 시작하여 강화와 소멸의 반복과정을 통하여 아이는 필요한 언어행동을 배운다. 따라서 외국어 학습은 외국어의 단편적 언어요소 하나하나가 모방과 강화에 의해 차례차례 축적되어 나가는 과정으로 볼 수 있다. 이러한 이론에 따르면 자극을 중요시한 고전적 행동주의와는 달리 반응 다음에 오는 강화를 학습의 중요한 요소로 간주하였고, 학습을 강화에 의한 조작적 조건화의 결과로 보았다.

언어 학습에서 모방적 방식은 상대방 발화의 전부나 부분을 단어 대 단어로 반복하는 것으로 이해된다. 예를 들어, “Would you like some bread and peanut butter?"라는 질문에 “Some bread and peanut butter”로 답변하는 것이다. 이와 대비되어 연습이란 한 형태의 반복적 조작을 의미한다. 예를 들어, 아이가 문장의 일부 구성요소를 바꾸어 “I can handle it. Hanah can handle it. We can handle it”과 같이 연습을 하는 것이다. (Lightbown과 Spapda, 2006: 2).

언어에서 말하기는 단순히 글로 쓰여진 단어들의 연결이 아니라 문장 내에서 하나의 의미 단위 또는 발음상 부드럽게 연결되는 하나의 덩어리(chunk)들의 연결로서 이해될 수 있다. 본 발명은 언어를 학습함에 있어 문장 내에서 청크 단위로 학습 및 연습할 수 있도록 하는 방법을 제공하고 이러한 학습 과정 및 학습의 결과를 시각적으로 학습자에게 보여줄 수 있는 학습법을 그 과제로 하고 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따르면 서버에서 학습자 단말기로 학습영상을 제공하는 단계 및 학습자 단말기에서 학습영상이 재생되는 중간에 특정 학습 포인트에서 학습 문장이 존재하는 경우 문장 학습 단계로 진행하는 단계를 포함하는 외국어 학습 방법이 제공된다.

여기서 상기 문장 학습 단계는, 청취한 학습 문장에 대응하는 학습자의 음성 입력을 수신하는 단계, 학습 문장의 기준 음성 파형과 사용자의 음성 입력 파형을 비교하여 피드백 그래프 출력하는 단계를 포함한다.

여기서 상기 피드백 그래프를 출력하는 단계는, 학습 문장의 기준 음성 파형과 학습자의 음성 입력 파형을 비교하여 도시하는 단계, 학습 문장의 기준 음성 파형을 청크 단위로 분할하는 단계, 학습자의 음성 입력 파형 중 발화 구간을 분절하여 청크 단위로 분할하는 단계, 기준 음성 파형의 청크와 음성 입력 파형의 청크를 순차적으로 비교하는 단계 및 분절된 청크 단위별로 파형의 일치도를 평가하는 단계를 포함한다.

본 발명에 따른 학습 방법은 읽고 쓰는 학습과 듣고 말하는 학습의 유기적인 결합 결합이 가능하다. 전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일실시예는 음성 입력을 이용하여 단순히 기준 음성 파형과 학습자의 음성 입력 파형을 비교하는 것에서 더 나아가 문장에서 의미 또는 발음시 연결되는 청크(chunk)를 파악하고 이러한 청크 별로 학습자의 음성 학습이 가능하게 한다.

본 발명은 기준 음성 파형 및 학습자의 음성 입력 파형에서 청크를 구분하고 구분된 청크를 서로 비교하는 것을 가능하게 하며, 각 청크에 따라 학습도를 체크하고 학습도에 따라 시각화된 그래프도 학습자에게 학습도에 따른 재학습을 가능하게 한다.

이러한 방식의 학습 방법은 단순히 주어지는 단어 또는 문장을 소리내어 따라하는 모방 학습 뿐만 아니라 그 안에서 유기적으로 연결된 의미 또는 발음의 덩어리를 기초로 학습할 수 있기 때문에 자연스러운 발음을 유도할 수 있다. 또한 청크 단위별 학습도를 체크할 수 있으므로, 학습을 반복할수록 원어민에 가까운 자연스러운 말하기 학습이 가능하다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일실시예에 따른 음성 입력을 이용한 학습 방법의 순서도이다.
도 2 내지 3은 본 발명의 일실시예에 따른 학습 장치 및 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 일실시예에 따른 음성 입력과 기준 음성 표현의 비교를 설명하기 위한 예시도이다.
도 5 는 본 발명의 또다른 실시예에 따른 학습 방법을 설명하기 위한 순서도이다.
도 6 내지 8은 본 발명의 또다른 실시예에 따른 학습 장치 및 방법을 설명하기 위한 예시도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 음성입력을 이용한 학습방법을 설명하기 위한 구성도이다. 본 발명의 일 실시예는 구성요소로 서버, 학습자 단말기를 포함하며, 서버는 학습영상을 저장하는 학습영상 저장부, 학습문장을 저장하는 학습문장 저장부, 학습을 진행하는 제어부를 포함한다. 제어부는 학습영상 및 학습문장을 이용하여 문장 학습 단계를 제어하는 문장 학습부 및 학습 결과를 판단하여 학습 결과(예를 들어, 피드백 그래프)를 출력하는 학습 결과 출력부 등이 포함될 수 있다. 또한 사용자 단말기는 학습자에 학습 영상을 재생하기 위한 디스플레이와 음성 송신부, 음성 입력을 수신하기 위한 음성 입력부 등을 구비할 수 있다.

본 발명에 따른 외국어 학습 방법은 서버에서 학습자 단말기로 학습영상을 제공하는 단계(S101) 및 학습자 단말기에서 학습영상이 재생되는 중간에 특정 학습 포인트에서 학습 문장이 존재하는 경우 문장 학습 단계(S1020)로 진행하는 단계를 포함한다. 서버에는 외국어 학습을 위한 학습 영상이 저장되어 있으며 이러한 학습 영상 중 학습자의 학습도 또는 커리큘럼에 따라 학습자 단말기에 학습 영상이 전송되게 된다.

도 2를 참조하면, 학습영상은 캐릭터와 원어민 영상을 동적으로 합성하여, 캐릭터와 원어민이 대화하는 형태를 취하고 있으며, 학습 내용은 학습할 핵심 표현을 반복적으로 제시할 수 있다. 학습 영상에 삽입된 캐릭터는 사전에 녹음된 사운드에 반응하여 움직이도록 설정되어 있으며 캐릭터는 말하는 시점에 따라, 화면상에서 프론트/백그라운드를 이동할 수 있도록 되어 있다. 또한 학습 영상은 자막선택 기능 제공할 수 있다.

도 3을 참조하면, 학습자 단말기(사용자 단말기)는 서버로부터 수신한 학습영상을 재생하며, 학습 영상이 재생 중 특정 포인트에서 문장 학습 단계로 진행할 수 있다. 문장 학습 단계는 학습영상이 재생되는 도중에 팝업(pop-up)이 오픈되면서 학습자에게 제공될 수 있다. 또한 학습자 단말기는 학습 영상의 재생이 종료된 이후에 문장 학습 단계로 진행할 수도 있다.

상기 문장 학습 단계는, 청취한 학습 문장에 대응하는 학습자의 음성 입력을 수신하는 단계(S1021), 학습 문장의 기준 음성 파형과 사용자의 음성 입력 파형을 비교하는 단계(S1022) 및 피드백 그래프를 출력하는 단계(S1023)를 포함한다.

도 4는 본 발명의 일실시예에 따른 음성 입력과 기준 음성 표현의 비교를 설명하기 위한 예시도이다. 상기 피드백 그래프를 출력하는 단계는, 학습 문장의 기준 음성 파형과 학습자의 음성 입력 파형을 비교하여 도시하는 단계, 학습 문장의 기준 음성 파형을 청크 단위로 분할하는 단계, 학습자의 음성 입력 파형 중 발화 구간을 분절하여 청크 단위로 분할하는 단계, 기준 음성 파형의 청크와 음성 입력 파형의 청크를 순차적으로 비교하는 단계 및 분절된 청크 단위별로 파형의 일치도를 평가하는 단계를 포함한다.

상기 학습 문장의 기준 음성 파형과 학습자의 음성 입력 파형을 비교하여 도시하는 단계에서, 학습 문장의 기준 음성 파형은 일종의 가이드 음성 파형으로써 해당 학습 문장을 발음하였을 때 가장 표준에 가까운 음성 파형으로 설정된다. 즉, 원어민이 해당 학습 문장을 발음하였을 때 입력될 수 있는 음성 파형이라고 이해된다. 학습자는 학습 문장을 듣거나 본 이후에 학습 문장을 따라하게 되며, 이러한 학습자의 음성 입력 파형은 학습자 단말기의 음성 입력부틀 통해 수신된다.

상기 피드백 그래프는 학습자와 원어민의 인토네이션을 비교할수 있으며, 학습자와 원어민의 액센트를 비교 확인할 수 있다. 이를 통해 상기 피드백 그래프는 인토네이션과 액센트의 유사성을 기준으로 점수를 판정한다. 또한 상기 피드백 그래프는 학습자가 따라하는 문장의 단어별로 유사성을 판별할 수 있다.

상기 학습 문장의 기준 음성 파형을 청크 단위로 분할하는 단계는, 기준 음성 파형 중 피치를 추출하여 엑센트 부분을 판단하는 단계 및 상기 엑센트 부분에 기반하여 기준 음성 파형의 청크 시작 지점 및 청크 종료 지점을 파악하고, 분절되는 청크의 수를 판단하는 단계를 포함한다. 도 4를 참조하면, 기준 음성 파형에서 총 2개의 엑센트가 존재하고 2개의 청크로 분할된다. 두번째 청크의 엑센트는 도면부호 402에서 확인할 수 있다.

청크(chunk)는 문장에서 의미 또는 발음시 연결되는 덩어리로 이해될 수 있다. 교육심리학적인 측면에서, Miller는 단기기억의 용량제한에 대한 연구를 하며, 다양하게 나타나는 단기기억의 크기를 이해하기 위해서 기억되는 단위가 각 경우마다 다르다는 점을 인식하였다. 이러한 연구에서 개개의 낱자, 단어, 문장 등은 기억의 단위로 쪼개져 인식되고 학습될 수 있다는 점이 언급되었는데, 이 기억단위를 청크라고 한다. 즉 인간의 기억은 자극의 물리적 단위의 수보다는 의미 있는 청크의 수에 의해 제한되며, 대개 일곱 청크를 기억한다고 한다.

따라서, 위와 같이 문장에서 청크를 분할하고 이러한 청크에 기반하여 학습을 하는 것은 학습자의 기억효과를 높일 수 있다. 본 발명에 따른 외국어 학습 방법에 있어서, 음성 입력 파형 중 발화 구간을 분절하여 청크 단위로 분할하는 단계는, 상기 기준 음성 파형의 청크 시작 지점 및 종료 지점에 기반하여 음성 입력 파형의 청크의 시작 지점과 종료 지점을 결정하는 단계, 및 상기 기준 음성 파형의 청크의 시작 지점과 상기 음성 입력 파형의 청크의 시작 지점을 연결하여 표시하고, 상기 기준 음성 파형의 청크의 종료 지점과 상기 음성 입력 파형의 청크의 종료 지점을 연결하여 표시하는 단계를 포함한다.

도 4를 참조하면, 기준 음성 파형(위쪽 그래프)의 청크 시작 지점과 음성 입력 파형(아래쪽 그래프)의 청크 시작 지점을 점선으로 연결하여 표시하는 것이 설명된다(도면부호 401).

즉, 위와 같은 단계들을 통해 학습자는 문장에서 청크의 시작지점과 종료지점을 시각적으로 파악할 수 있게 된다. 기준 음성 파형의 청크 시작 지점과 음성 입력 파형의 청크 시작 지점은 발음상에서 음성 파형이 일정 진폭 이하로 미리 설정된 기간 동안 지속되는 곳이 청크 시작 지점으로 설정될 수 있고, 또는 의미상에서 단어들의 집합이 하나의 의미를 전달하는 경우 이러한 단어가 시작되는 지점이 청크 시작 지점으로 설정될 수 있다. 이와 마찬가지로, 기준 음성 파형의 청크 종료 지점과 음성 입력 파형의 청크 종료 지점은 발음상에서 음성 파형이 일정 진폭 이상으로 존재하다가 갑자기 일정 진폭 이하로 떨어지고 이후 일정 진폭 이하로 미리 설정된 기간 동안 지속되면, 해당 지점이 청크 종료 지점으로 설정될 수 있다. 또한 의미상에서 단어들의 집합이 하나의 의미를 전달하는 경우 단어들의 집합에서 마지막 단어가 끝나는 부분이 청크 종료 지점으로 설정될 수 있다.

피드백 그래프에서 기준 음성 파형과 음성 입력 파형의 청크의 시작 지점과 종료 지점을 연결하여 표시하면, 학습자는 청크 단위로 문장의 전체적인 인토네이션과 엑센트를 파악하기 더 쉬워지며 어떠한 단어들을 묶어서 해석하고 발음해야 하는지를 더 잘 이해하게 된다. 또한 기준 음성 파형과 음성 입력 파형의 시작 지점과 종료 지점이 서로 차이가 나는 경우 해당 청크를 더 빨리 발음해야 하는지 또는 해당 청크를 어느 정도의 지속 시간으로 발음해야 하는지 등을 파악할 수 있다.

상기 피드백 그래프를 출력하는 단계는, 분절된 청크 단위별로 파형의 일치도를 평가하는 단계 이후에, 음성 입력 파형의 분절된 청크의 길이를 나타내는 하나 이상의 보조 그래프를 표시하는 단계를 더 포함한다. 여기서 상기 보조 그래프 각각은 대응하는 청크의 파형 일치도에 따라 서로 다른 색상으로 표현될 수 있다. 본 발명에 따른 외국어 학습 방법은 단어 또는 문장이 아니나 청크 단위별로 파형의 일치도를 판단하며, 이는 해당 청크별로 어느정도로 학습이 되어있는지를 판단할 수 있는 기준이 된다. 또한 음성 입력 파형의 분절된 청크의 길이를 나타내는 하나 이상의 보조 그래프를 표시하는데 이러한 보조 그래프는 음성 파형의 밑에 바(bar) 형태로 표현될 수도 있고, 또는 파형 그래프에 더 굵은 라인으로 오버랩되어 표현될 수 있다. (예시적으로, 도 4의 403 블록에는 초록색 바(bar) 형태로 표현되어 있다)또한 상기 보조 그래프를 파형 일치도에 따라 서로 다른 색상으로 표현한다면 청크 단위별로 일종의 학습도를 파악할 수 있게 되며 하나의 문장 속에서 청크의 지속 시간을 시각적으로 용이하게 구별할 수 있도록 도와준다.

본 발명에서 상기 문장 학습 단계는, 음성 입력 파형의 청크별 학습도를 합산하여 학습 문장의 전체 학습도를 판단하는 단계를 더 포함할 수 있다. 상기 음성 입력 파형의 청크별 학습도는 기준 음성 파형과 음성 입력 파형의 일치도 뿐만 아니라 각 청크의 길이, 엑센트 부분에서의 피크의 높이, 청크의 시작 지점과 종료 지점을 고려하여 산출될 수 있는데, 단순히 음성 파형의 일치도 외에도 청크 단위로 학습도를 판단할 때 도입될 수 있는 다양한 추가 요소들을 학습도 판단에 고려하는 것이다.

도 5 는 본 발명의 또다른 실시예에 따른 학습 방법을 설명하기 위한 순서도이다. 본 발명의 또다른 실시예는 다른 방식의 문장 학습 단계를 포함하는 외국어 학습 방법을 제공할 수 있다. 본 발명의 또다른 실시예에 따른 외국어 학습 방법은 서버에서 학습자 단말기로 학습영상을 제공하는 단계 및 학습자 단말기에서 학습영상이 재생되는 중간에 특정 학습 포인트에서 학습 문장이 존재하는 경우 문장 학습 단계로 진행하는 단계를 포함한다.

여기서 상기 문장 학습 단계는, 학습 문장을 구성하는 후보 단어를 임의의 순서로 배치하여 출력하는 단계, 후보 단어의 순서를 재배치하여 사용자 입력 문장을 구성하는 단계 및 후보 단어의 순서를 재배치하여 구성된 사용자 입력 문장과 학습 문장을 비교하는 단계, 학습 문장에 대응하는 학습자의 음성 입력을 수신하는 단계, 및 학습 문장의 기준 음성 파형과 사용자의 음성 입력 파형을 비교하여 피드백 그래프 출력하는 단계를 포함할 수 있다.

상기 학습 문장 단계는 학습할 문장을 학습자가 스스로 재구성할 수 있도록 유도하는 단계이다. 하나의 문장을 구성하는 복수의 단어 또는 구절을 제시하고 학습자는 이러한 복수의 단어 또는 구절을 재조합하여 옳은 문장을 구성하게 된다. 또한 먼저 한글문장이 제시되면 학습자가 이에 대응하는 영어문장을 생성하는 것도 가능하다. 이 때 문장 학습에 빈칸이 도입되는 경우, 해당 빈칸에 들어가는 단어를 선택해서 삽입할 수 있다. 이 때 빈칸에 들어가는 후보 단어는 정답 단어의 품사와 유사한 단어들이 제시될 수 있으며, 예를 들어, 빈칸에 I (한글 뜻으로 '나')라는 단어를 맞춰야 할때, 후보 단어는 "I / You / He" 등이 제시될 수 있고, 학습 난이도에 따라 후보 단어의 개수는 유동적으로 변경될 수 있다. 도 6 내지 8은 본 발명의 또다른 실시예에 따른 학습 장치 및 방법을 설명하기 위한 예시도이다. 도 6은 빈칸에 들어갈 단어를 입력받는 예시를 표현하며, 도 7은 정답 단어를 확인하는 예시를 표현하고 있다. 도 8은 정답 문장을 다시 재생하여 학습자에게 들려주는 예시를 표현하고 있다.

본 발명의 또다른 실시예에서 상기 피드백 그래프를 출력하는 단계는, 학습 문장의 기준 음성 파형과 학습자의 음성 입력 파형을 비교하여 도시하는 단계, 학습 문장의 기준 음성 파형을 청크 단위로 분할하는 단계, 학습자의 음성 입력 파형 중 발화 구간을 분절하여 청크 단위로 분할하는 단계, 기준 음성 파형의 청크와 음성 입력 파형의 청크를 순차적으로 비교하는 단계 및 분절된 청크 단위별로 파형의 일치도를 평가하는 단계를 포함할 수 있다.

본 발명의 또다른 실시예에서, 학습 문장의 기준 음성 파형을 청크 단위로 분할하는 단계는, 기준 음성 파형 중 피치를 추출하여 엑센트 부분을 판단하는 단계, 및 상기 엑센트 부분에 기반하여 기준 음성 파형의 청크 시작 지점 및 청크 종료 지점을 파악하고, 분절되는 청크의 수를 판단하는 단계를 포함할 수 있다. 청크 시작 지점 및 청크 종료 지점은 앞서 기재된 실시예에서 이미 설명된 바 있다.

본 발명의 또다른 실시예에서, 음성 입력 파형 중 발화 구간을 분절하여 청크 단위로 분할하는 단계는, 상기 기준 음성 파형의 청크 시작 지점 및 종료 지점에 기반하여 음성 입력 파형의 청크의 시작 지점과 종료 지점을 결정하는 단계, 및 상기 기준 음성 파형의 청크의 시작 지점과 상기 음성 입력 파형의 청크의 시작 지점을 연결하여 표시하고, 상기 기준 음성 파형의 청크의 종료 지점과 상기 음성 입력 파형의 청크의 종료 지점을 연결하여 표시하는 단계를 포함할 수 있다.

본 발명의 또다른 실시예에서, 상기 피드백 그래프를 출력하는 단계는, 분절된 청크 단위별로 파형의 일치도를 평가하는 단계 이후에, 음성 입력 파형의 분절된 청크의 길이를 나타내는 하나 이상의 보조 그래프를 표시하는 단계를 더 포함할 수 있다. 여기서 상기 보조 그래프 각각은 대응하는 청크의 파형 일치도에 따라 서로 다른 색상으로 표현될 수 있다.

본 발명의 또다른 실시예에서, 상기 문장 학습 단계는, 음성 입력 파형의 청크별 학습도를 합산하여 학습 문장의 전체 학습도를 판단하는 단계를 더 포함할 수 있다. 상기 음성 입력 파형의 청크별 학습도는 기준 음성 파형과 음성 입력 파형의 일치도 뿐만 아니라 각 청크의 길이, 엑센트 부분에서의 피크의 높이, 청크의 시작 지점과 종료 지점을 고려하여 산출될 수 있다.

[종합등급 판정의 일 실시예]

위에서 설명된 음성 입력을 기반으로 학습도를 평가하고 피드백 그래프를 산출하는 것은 다음과 같이 음성인식 엔진을 이용하여 구현될 수 있다.

1. 단어별 인식 점수 (문장 인식)

[단어수] wordCnt : 3

[단어위치(ms)] wordPosition : [110,550],[820,1140],[1230,1650]

[단어점수(0-100)] wordScore : 63,74,66

[단어] word : I,am,Joey

[단어 강세] wordStress : 99,0,22

[총점] totalScore : 69

문장 인식 단계에서 단어별로 점수를 인식하여 단어 단위로 판단한다. 즉, 단어위치, 단어점수 및 단어 강세를 파악하여 총점을 산출한다.

2. 문장 비교 점수

[단어수] word_cnt 3

[발음 점수] pronunciation_score 92

[억양 점수] intonation_score 76

[타이밍 점수] timing_score 90

[종합점수] overall 81

문장 비교 단계에서는 전체 문장에 대한 음성 입력을 기준 음성 파형과 비교하여 발음, 억양, 문장이 시작되고 종료되는 타이밍, 또는 문장 중 특정 부분이 음성으로 입력되는 타이밍 등을 기준으로 문장을 비교하여 점수를 산출한다.

3. 종합등급 판정

종합등급은 다음과 같이 판정될 수 있다.

- 단어별 점수를 기반으로 청크(Chunk) 점수 판정

- 청크 점수를 합산하여 최종 판정등급 산출

- 단어점수를 통해 종합등급 보정

(예를 들어, 최소기준을 못넘은 단어가 포함되면, 종합등급 하락)

- 문장 비교를 통해 종합등급 보정

(예를 들어, 청크별 점수가 낮아도, 문장 비교 점수가 높을 경우, 종합등급 상승)

본 발명의 실시예들을 통해 설명된 학습 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

또한 본 발명의 일실시예에 따른 학습 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.

따라서 본 발명의 일실시예에 따르는 학습 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.

또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.

그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (11)

1. 서버에서 학습자 단말기로 학습영상을 제공하는 단계; 및
   학습자 단말기에서 학습영상이 재생되는 중간에 특정 학습 포인트에서 학습 문장이 존재하는 경우 문장 학습 단계로 진행하는 단계;를 포함하며,
   상기 문장 학습 단계는,
   청취한 학습 문장에 대응하는 학습자의 음성 입력을 수신하는 단계;
   학습 문장의 기준 음성 파형과 사용자의 음성 입력 파형을 비교하여 피드백 그래프 출력하는 단계;를 포함하며,
   
   상기 피드백 그래프를 출력하는 단계는,
   학습 문장의 기준 음성 파형과 학습자의 음성 입력 파형을 비교하여 도시하는 단계;
   학습 문장의 기준 음성 파형을 청크 단위로 분할하는 단계;
   학습자의 음성 입력 파형 중 발화 구간을 분절하여 청크 단위로 분할하는 단계;
   기준 음성 파형의 청크와 음성 입력 파형의 청크를 순차적으로 비교하는 단계; 및
   분절된 청크 단위별로 파형의 일치도를 평가하는 단계;를 포함하는, 외국어 학습 방법.
   
2. 제 1항에 있어서,
   학습 문장의 기준 음성 파형을 청크 단위로 분할하는 단계는,
   기준 음성 파형 중 피치를 추출하여 엑센트 부분을 판단하는 단계;
   상기 엑센트 부분에 기반하여 기준 음성 파형의 청크 시작 지점 및 청크 종료 지점을 파악하고, 분절되는 청크의 수를 판단하는 단계;를 포함하는, 외국어 학습 방법.
   
3. 제 2항에 있어서,
   음성 입력 파형 중 발화 구간을 분절하여 청크 단위로 분할하는 단계는,
   상기 기준 음성 파형의 청크 시작 지점 및 종료 지점에 기반하여 음성 입력 파형의 청크의 시작 지점과 종료 지점을 결정하는 단계;
   상기 기준 음성 파형의 청크의 시작 지점과 상기 음성 입력 파형의 청크의 시작 지점을 연결하여 표시하고, 상기 기준 음성 파형의 청크의 종료 지점과 상기 음성 입력 파형의 청크의 종료 지점을 연결하여 표시하는 단계;를 포함하는, 외국어 학습 방법.
   
4. 제 2항에 있어서,
   상기 피드백 그래프를 출력하는 단계는, 분절된 청크 단위별로 파형의 일치도를 평가하는 단계 이후에,
   음성 입력 파형의 분절된 청크의 길이를 나타내는 하나 이상의 보조 그래프를 표시하는 단계;를 더 포함하며,
   상기 보조 그래프 각각은 대응하는 청크의 파형 일치도에 따라 서로 다른 색상으로 표현되는 것을 특징으로 하는, 외국어 학습 방법.
   
5. 제 4항에 있어서,
   상기 문장 학습 단계는,
   음성 입력 파형의 청크별 학습도를 합산하여 학습 문장의 전체 학습도를 판단하는 단계;를 더 포함하며,
   상기 음성 입력 파형의 청크별 학습도는 기준 음성 파형과 음성 입력 파형의 일치도 뿐만 아니라 각 청크의 길이, 엑센트 부분에서의 피크의 높이, 청크의 시작 지점과 종료 지점을 고려하여 산출되는 것을 특징으로 하는, 외국어 학습 방법.
   
6. 서버에서 학습자 단말기로 학습영상을 제공하는 단계; 및
   학습자 단말기에서 학습영상이 재생되는 중간에 특정 학습 포인트에서 학습 문장이 존재하는 경우 문장 학습 단계로 진행하는 단계;를 포함하며,
   상기 문장 학습 단계는,
   학습 문장을 구성하는 후보 단어를 임의의 순서로 배치하여 출력하는 단계;
   후보 단어의 순서를 재배치하여 사용자 입력 문장을 구성하는 단계; 및
   후보 단어의 순서를 재배치하여 구성된 사용자 입력 문장과 학습 문장을 비교하는 단계;
   학습 문장에 대응하는 학습자의 음성 입력을 수신하는 단계;
   학습 문장의 기준 음성 파형과 사용자의 음성 입력 파형을 비교하여 피드백 그래프 출력하는 단계;를 포함하는, 외국어 학습 방법.
   
7. 제 6항에 있어서,
   상기 피드백 그래프를 출력하는 단계는,
   학습 문장의 기준 음성 파형과 학습자의 음성 입력 파형을 비교하여 도시하는 단계;
   학습 문장의 기준 음성 파형을 청크 단위로 분할하는 단계;
   학습자의 음성 입력 파형 중 발화 구간을 분절하여 청크 단위로 분할하는 단계;
   기준 음성 파형의 청크와 음성 입력 파형의 청크를 순차적으로 비교하는 단계; 및
   분절된 청크 단위별로 파형의 일치도를 평가하는 단계;를 포함하는, 외국어 학습 방법.
   
8. 제 7항에 있어서,
   학습 문장의 기준 음성 파형을 청크 단위로 분할하는 단계는,
   기준 음성 파형 중 피치를 추출하여 엑센트 부분을 판단하는 단계;
   상기 엑센트 부분에 기반하여 기준 음성 파형의 청크 시작 지점 및 청크 종료 지점을 파악하고, 분절되는 청크의 수를 판단하는 단계;를 포함하는, 외국어 학습 방법.
   
9. 제 8항에 있어서,
   음성 입력 파형 중 발화 구간을 분절하여 청크 단위로 분할하는 단계는,
   상기 기준 음성 파형의 청크 시작 지점 및 종료 지점에 기반하여 음성 입력 파형의 청크의 시작 지점과 종료 지점을 결정하는 단계;
   상기 기준 음성 파형의 청크의 시작 지점과 상기 음성 입력 파형의 청크의 시작 지점을 연결하여 표시하고, 상기 기준 음성 파형의 청크의 종료 지점과 상기 음성 입력 파형의 청크의 종료 지점을 연결하여 표시하는 단계;를 포함하는, 외국어 학습 방법.
   
10. 제 7항에 있어서,
    상기 피드백 그래프를 출력하는 단계는, 분절된 청크 단위별로 파형의 일치도를 평가하는 단계 이후에,
    음성 입력 파형의 분절된 청크의 길이를 나타내는 하나 이상의 보조 그래프를 표시하는 단계;를 더 포함하며,
    상기 보조 그래프 각각은 대응하는 청크의 파형 일치도에 따라 서로 다른 색상으로 표현되는 것을 특징으로 하는, 외국어 학습 방법.
    
11. 제 7항에 있어서,
    상기 문장 학습 단계는,
    음성 입력 파형의 청크별 학습도를 합산하여 학습 문장의 전체 학습도를 판단하는 단계;를 더 포함하며,
    상기 음성 입력 파형의 청크별 학습도는 기준 음성 파형과 음성 입력 파형의 일치도 뿐만 아니라 각 청크의 길이, 엑센트 부분에서의 피크의 높이, 청크의 시작 지점과 종료 지점을 고려하여 산출되는 것을 특징으로 하는, 외국어 학습 방법.

Images