KR101427528B1 - 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치 - Google Patents

Abstract

본 발명은 마이크로부터 입력되는 음성입력과 스피커로부터 출력되는 스피커의 음성을 처리하는 오디오처리부와, 상기 외국어 동영상 컨텐츠 재생시 동영상 장면을 표시하고 해당 자막 텍스트를 표시하는 화면 표시부와, 사용자 기능명령어 데이터베이스(DB)와 동영상 컨텐츠 DB등으로 구성된 DB부 등을 구비한 대화형 학습장치를 이용하여, 사용자가 학습장치와 대화형식으로 듣고 말하면서 사용자의 대화능력을 향상시키고 능력 향상에 따라 새로운 표현들을 동영상 컨텐츠 DB에 추가하여 점차 다양한 표현을 학습할 수 있도록 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치에 관한 것이다.

Description

외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치{Method of interactive language learning using foreign Video contents and Apparatus for it}

본 발명은 외국어 자막 또는 외국어와 자국어 모두의 자막이 구비된 외국 영화 동영상 파일로 된 외국어 동영상 컨텐츠를 이용하여 사용자가 학습장치와 대화형으로 외국어를 학습하는 방법 및 대화형 학습장치에 관한 것으로서, 더욱 상세하게는 마이크로부터 입력되는 음성입력과 스피커로부터 출력되는 스피커의 음성을 처리하는 오디오처리부와, 상기 외국어 동영상 컨텐츠 재생시 동영상 장면을 표시하고 해당 자막 텍스트를 표시하는 화면 표시부와, 사용자 기능명령어 데이터베이스(Database, 이하 ‘DB'라 함)와 동영상 컨텐츠 DB등으로 구성된 DB부 등을 구비한 대화형 학습장치를 이용하여, 입력되는 사용자의 음성을 상기 사용자 기능명령어 DB와 동영상 컨텐츠 DB내에 저장된 사용자의 음성들과 대비하여 입력된 음성이 위 DB부에 저장된 어느 표현에 해당하는지를 인식하는 음성인식기능과, 외국어 학습 진행과정에서 입력되는 사용자의 음성이 사용자 기능 명령어로 인식되면 그 명령에 할당된 명령을 수행하고 입력되는 사용자의 음성이 동영상 컨텐츠 DB에 저장된 표현으로 인식되면 사용자가 해당 표현을 말한 것으로 처리하며, 사용자의 음성이 상기 DB부에 저장된 표현이 아닌 경우는 사용자가 DB부에 없는 표현을 말한 것으로 처리하도록 함으로써, 사용자가 학습장치와 대화형식으로 듣고 말하면서 사용자의 대화능력을 향상시키고 능력 향상에 따라 새로운 표현들을 동영상 컨텐츠 DB에 추가하여 점차 다양한 표현을 학습할 수 있도록 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치에 관한 것이다.

일반적으로 PC, 노트북, 타블렛 PC, 스마트폰 등의 동영상이 재생되는 동영상 재생장치에서 재생되는 영화 등은 윈도우에 포함되는 미디어 플레이어를 비롯하여 모든 동영상 플레이어에서 기본적으로 지원되는 대표적인 동영상 포맷인 AVI(Audio Video Interleaved)와 영상과 오디오 압축에 관한 표준기구에서 제정한 형식으로 MPEG, 그리고, 인터넷방송, 동영상 강좌 등에 사용되는 ASF(Advanced Streaming Format), MPEG4 V7 코덱을 사용하여 mp3와 비슷한 음질에도 불구하고 용량이 작은 WMV 등의 다양한 형태의 동영상 파일이 있다. 이러한 동영상 파일에서 외국 영화, 드라마, 뉴스 등과 같이 외국어 음성이 출력되는 외국어 동영상 파일인 경우 그 해당 외국어로 된 자막은 물론이고 번역된 자국어 자막도 함께 제공되는 것들이 있다. 이러한 파일에는 해당 장면에 맞는 자막의 표시가 시작되는 시점과 자막의 표시가 종료되는 시점에 관한 정보가 외국어와 자국어의 자막 내용에 대한 정보와 함께 들어 있어서 이들 정보들을 화면을 구성하는 시청각 정보와 함께 활용하는 경우 매우 훌륭한 외국어 학습 자료로 활용할 수 있다.

본 발명인은 위와 같은 외국어 및 자국어 자막을 구비한 외국어 동영상 컨텐츠를 이용하여 외국어 학습을 할 수 있는 “동영상 파일 재생시 자막 표시 및 자막 음성 출력 방법”에 관한 발명을 특허출원 10-2012-0091110호(2012. 8.21. 출원)로 출원한 바 있다.

상기 특허출원은 외국어 및 자국어 자막을 구비한 외국어 동영상 컨텐츠에 있는 음성 표현만을 가지고 외국어 학습을 하기 때문에 대화형 외국어 학습을 할 수 없었다.

한편, 종래의 대화형 외국어 학습장치들은 사용자의 음성을 인식하는 비율이 낮아 자연스럽게 대화를 이어나가기 어려운 단점이 있었다. 상기와 같이 음성 인식률이 낮은 이유는 학습 대상이 되는 표현의 내용과 대비 대상이 되는 음성자료를 제한하지 않아 너무 많은 대비 대상 표현과 음성자료를 요구하였기 때문이다.

현재 음성인식 기능과 TTS (텍스트 음성 변환) 기능을 이용하여 외국어 학습을 할 수 있도록 하는 시도들이 제시되고 있으나 이 또한 그 인식 대상을 한정하지 않아서 인식률이 너무 떨어져서 제대로 대화를 이어나갈 수 없는 단점이 있다.

상기와 같은 종래기술의 문제점 등을 해소하여 PC, 노트북, 타블렛 PC, 스마트폰, 등의 디지털 정보단말기와 같이 동영상 컨텐츠를 재생할 수 있는 동영상 재생장치에서 외국어 자막 또는 외국어와 자국어 모두의 자막이 구비된 외국 영화 동영상 파일로 된 외국어 동영상 컨텐츠를 이용하여 사용자가 학습장치와 대화형으로 원활하게 외국어 학습을 진행시킬 수 있도록 하기 위하여서는 다음과 같은 과제들이 해결되어야 한다.

첫째로는 외국어 동영상 컨텐츠는 파일 또는 DVD 등의 형태로 제공되는데 이를 어떻게 대화형 학습장치의 기본 소재로 삼을 수 있는가 하는 것이다. 위 외국어 동영상 컨텐츠는 재생장치가 사용자에게 일방적으로 정해진 내용을 전달하는 것이기 때문에 특별한 방법을 강구하지 않으면 이를 이용하여 대화형의 학습방법을 개발할 수 없기 때문이다.

다음으로는 학습장치와 사용자가 완전한 대화형의 학습을 하기 위하여서는 동영상 컨텐츠 내에 있는 표현들만으로는 사용자가 학습장치와 서로 대화를 나누면서 외국어 학습을 하기 어려우므로 학습장치와 사용자 사이에 기본적인 의사소통 방법이 강구되어야 한다.

또한 기존의 음성인식부들은 음성인식률이 너무 저조하여 자연스러운 대화가 불가능하고 대비대상이 되는 표현들과 음성자료들를 방대하게 하는 경우 인식률이 높아질 수 있으나 이는 너무 많은 비용과 장치가 소요되는 단점이 있었기 때문에 이러한 문제점을 해결하기 위하여서는 대비대상이 되는 표현들과 음성자료들을 제한하여 음성인식률을 획기적으로 높이면서도 자연스러운 대화가 가능하도록 하기 위한 새로운 방법을 안출하지 않으면 안되었다.

본 발명은 상기와 같은 과제들을 해결하여, 기본적으로 재미있는 스토리가 있는 외국어 동영상 컨텐츠를 사용하기 때문에 별도의 컨텐츠를 따로 개발할 필요도 없고 사용자의 흥미를 유발할 뿐만 아니라, 해당 외국어를 사용하는 나라에서 일상적으로 사용되는 정확한 외국어를 대상으로 학습을 하면서도 일방 주입식이 아닌 자연스러운 대화형으로 학습을 진행함으로써 학습효율을 높일 수 있는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치를 제공하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위하여 본 발명은 다음과 같은 수단을 사용하였다.

첫째는 종래 기술의 가장 큰 문제점인 음성인식률의 저하를 막기 위하여 학습장치에 입력되는 사용자의 음성과 대비대상이 되는 표현과 음성자료 자체를 대폭 제한하여 음성인식률을 획기적으로 높이는 수단을 사용하였다. 즉 대비대상이 되는 음성정보를 사용자가 학습장치에게 명령하는 표현을 담는 사용자 기능 명령어 DB내의 표현과 동영상 컨텐츠 내의 외국어의 각 표현에 대하여 미리 사용자의 음성을 입력받아 이를 녹음하여 동영상 컨텐츠 DB에 저장하여 두고 이들 음성자료들만을 대비대상으로 하였다. 이렇게 함으로써 대비대상이 되는 표현자체가 매우 제한되게 되었고, 음성정보 또한 사용자가 자신의 음성으로 녹음하여 둔 것과 대비를 하기 때문에 입력된 음성정보와 유사한 음성정보를 찾는 것이 훨씬 용이하게 되었다.

둘째는, 대화형 학습이 가능하도록 하기 위하여, 사용자는 학습장치에게 자신의 음성으로 학습장치가 가지는 기능을 수행할 것을 명령하는 사용자 기능명령어 DB를 구축하여 두고 그 기능명령어들을 자신의 음성으로 녹음하여 저장한 후 실제 상황에서 음성으로 사용자 기능 명령어를 학습장치에게 말하면 학습장치가 DB에 저장된 음성자료와 대비하여 사용자의 명령을 이해하고 그 기능을 수행할 수 있도록 하고, 학습장치는 동영상 컨텐츠 내에 있는 외국어 음성은 동영상 컨텐츠 자체 내에 있는 외국어 음성을 사용자에게 들려주고, 여기에 더하여 동영상 컨텐츠 내의 표현이 아닌 것으로서 학습장치가 학습자에게 말하여야 하는 기능어 표현들은 이를 미리 학습장치 기능어 DB로 준비하고 이를 TTS 기능을 사용하여 음성으로 학습자에게 전달할 수도 있게 함으로써 완전한 대화형 학습이 가능하도록 하였다는 점이다.

위와 같은 기본적인 과제해결수단을 사용하는 본 발명에 따른 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법은, 외국어 자막 또는 외국어 및 자국어 모두의 자막을 구비한 외국어 동영상 컨텐츠를 이용하여 대화형으로 외국어를 학습시키는 방법에 있어서, 사용자로부터 입력되는 사용자 기능 명령어 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트들과 그 각 표현들이 입력되는 경우 학습장치가 수행할 기능이 저장된 사용자 기능명령어 DB를 구비하고, 상기 외국어 동영상 컨텐츠에 있는 외국어 음성을 그에 대응되는 장면의 화면에 관한 정보 및 외국어 자막 또는 외국어 및 자국어 모두의 자막과 그 자막의 출현 시작 시간과 종료 시점에 관한 시간정보가 저장된 동영상 컨텐츠 DB를 구비하는 단계와; 상기 학습장치가, 상기 사용자 기능 명령어 표현들 각각에 대하여 사용자 음성을 입력받아 이를 녹음한 파일을 해당 텍스트에 대한 사용자의 음성파일로 상기 사용자 기능명령어 DB에 저장하고, 상기 동영상 컨텐츠에 있는 외국어 음성을 자막 단위별로 사용자의 음성으로 입력받아 이를 녹음한 파일을 해당 장면의 외국어 음성과 화면 정보 및 그에 대응되는 외국어 자막 또는 외국어 및 자국어 자막 모두와 대응되는 사용자의 음성파일로 상기 동영상 컨텐츠 DB에 저장하는 단계와; 상기 학습장치에 입력되는 사용자의 음성을 음성인식기능에 의하여 상기 DB부에 저장된 사용자의 음성들과 대비하고. 대비 결과, 입력된 음성이 상기 사용자 기능 명령어 DB에 저장된 사용자 음성으로 인식되면 그 사용자 음성에 할당된 기능명령을 수행하고, 상기 입력된 음성이 상기 동영상 컨텐츠 DB에 저장된 사용자 음성으로 인식되면 그에 대응되는 외국어 음성을 말한 것으로 처리하며, 상기 입력된 음성이 상기 DB부에 저장된 사용자 음성으로 인식되지 않는 경우에는 DB부에 없는 표현을 말한 것으로 처리하는 단계;를 포함하는 것을 특징으로 한다.

또한, 본 발명은 대화형으로 외국어 학습을 진행시키기 위해 상기 학습장치가 사용자에게 전달하는 학습장치 기능어 표현을 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트로 저장된 학습장치 기능어 DB를 더 구비하고, 상기 학습장치가 상기 학습장치 기능어 표현을 미리 설정된 경우에 사용자에게 텍스트음성변환(TTS)기능을 사용하여 음성으로 전달하는 것을 포함하는 것을 특징으로 한다.

또한, 본 발명은 상기 학습장치가 상기 사용자 기능명령어 DB 및 상기 사용자 기능명령어 DB에 저장된 사용자의 음성에 대하여 학습의 진행에 따라 주기적으로 또는 사용자의 선택에 의하여 새로운 사용자의 음성으로 갱신하여 저장시키는 것을 특징으로 한다.

또한, 본 발명은 기본학습 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트와, 그 외국어 텍스트에 대응되는 외국어 음성이 저장된 기본학습표현 DB를 구비하고, 상기 기본학습표현 DB에 있는 외국어 음성을 그 문장별로 사용자의 음성으로 입력받아 이를 녹음한 파일을 해당 표현에 대응되는 외국어 음성과 외국어 자막 또는 외국어 및 자국어 자막 모두와 대응되는 사용자의 음성파일로 상기 기본학습표현 DB에 저장하며, 상기 학습장치에 입력되는 사용자의 음성을 음성인식기능에 의하여 상기 기본학습표현 DB에 저장된 사용자의 음성들과 대비하여 입력된 음성이 상기 기본학습표현 DB에 저장되어 있는 음성으로 인식되면 사용자가 그에 대응되는 외국어 음성을 말한 것으로 처리하는 단계를 더 포함하는 것을 특징으로 한다.

한편, 본 발명에 따른 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 장치는, 외국어 자막 또는 외국어 및 자국어 모두의 자막을 구비한 외국어 동영상 컨텐츠를 이용하여 대화형으로 외국어를 학습할 수 있는 대화형 외국어 학습장치에 있어서, 마이크로부터 입력되는 음성입력과 스피커로부터 출력되는 스피커의 음성을 처리하는 오디오처리부와, 상기 외국어 동영상 컨텐츠 재생시 동영상 장면을 표시하고 해당 자막 텍스트를 표시하는 화면 표시부와, 대화형 외국어 학습 진행을 위해 학습장치가 구비한 기능들을 수행할 것을 사용자가 명령하는 사용자 기능 명령어 표현들에 대한 외국어 또는 자국어 표현들과 그 표현들을 사용자의 음성으로 녹음한 음성파일 및 그 각 표현이 입력된 경우에 학습장치가 수행하여야 하는 기능의 내용을 매칭시켜 저장한 사용자 기능명령어 DB와, 동영상 컨텐츠에 있는 외국어 음성을 그에 대응되는 장면의 화면에 관한 정보 및 외국어 자막 또는 외국어 및 자국어 자막 모두와 그 자막의 출현 시작 시간과 종료 시점에 관한 시간정보와 각 매칭시켜 저장한 동영상 컨텐츠 DB를 포함하여 구성하는 DB부와, 상기 학습장치의 입출력 및 내부를 전체적으로 제어하는 제어부를 포함하여 구성하고, 상기 제어부는, 입력되는 사용자의 음성을 상기 DB부에 저장된 사용자의 음성들과 대비하여 입력된 음성이 상기 DB부에 저장된 어느 표현에 해당하는지를 인식하는 음성인식기능을 수행하고, 외국어 학습 진행과정에서 학습장치에 입력되는 사용자의 음성이 사용자 기능명령어 DB에 저장된 사용자 기능 명령어로 인식되면 그 명령에 할당된 명령을 수행하며, 상기 입력되는 사용자의 음성이 동영상 컨텐츠 DB에 저장된 표현으로 인식되면 사용자가 해당 표현을 말한 것으로 처리하며, 상기 입력되는 사용자의 음성이 상기 DB부에 저장된 표현이 아닌 경우에는 상기 DB부에 없는 표현을 말한 것으로 처리하는 것을 특징으로 한다.

또한, 본 발명은 학습장치가 사용자에게 전달하는 학습장치 기능어 표현을 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트로 저장한 학습장치 기능어 DB와, 상기 학습장치 기능어 DB에 저장된 표현을 미리 설정된 경우에 사용자에게 음성으로 전달하는 텍스트음성변환(TTS)기능을 수행하는 TTS부를 더 구비하고, 상기 학습장치가 상기 학습장치 기능어 표현을 미리 설정된 경우에 사용자에게 상기 TTS 기능을 사용하여 음성으로 전달하는 것을 또 다른 특징으로 한다.

또한, 본 발명은 기본학습 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트와, 그 외국어 텍스트에 대응되는 외국어 음성 및 그 표현들을 사용자의 음성으로 녹음한 음성파일을 서로 매칭시켜 저장하는 기본학습표현 DB를 상기 DB부에 더 구비하고, 상기 제어부는, 입력되는 사용자의 음성을 상기 DB부에 저장된 사용자의 음성들과 대비하여 입력된 음성이 상기 DB부에 저장된 어느 표현에 해당하는지를 인식하는 음성인식기능을 수행하고, 외국어 학습 진행과정에서 학습장치에 입력되는 사용자의 음성이 사용자 기능명령어 DB에 저장된 사용자 기능 명령어로 인식되면 그 명령에 할당된 명령을 수행하며, 상기 입력되는 사용자의 음성이 동영상 컨텐츠 DB에 저장된 표현으로 인식되면 사용자가 해당 표현을 말한 것으로 처리하며, 상기 입력되는 사용자의 음성이 상기 기본학습표현 DB에 저장된 표현으로 인식되면 사용자가 그에 대응되는 외국어 음성을 말한 것으로 처리하며, 상기 입력되는 사용자의 음성이 상기 DB부에 저장된 표현이 아닌 경우에는 상기 DB부에 없는 표현을 말한 것으로 처리하는 것을 또 다른 특징으로 한다.

본 발명에 따른 외국어 자막 또는 외국어 및 자국어 모두의 자막을 구비한 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습방법 및 그것을 위한 대화형 학습장치는 사용자의 음성으로 입력된 기능명령어에 의하여 상기 외국어 학습장치의 기능을 실행할 수 있고, 상기 외국어 학습장치 사용자가 대화형식으로 듣고 말하면서 사용자의 대화능력을 향상시키고 능력 향상에 따라 새로운 표현들을 동영상 컨텐츠 DB에 추가하여 점차 다양한 표현을 학습할 수 있는 효과가 있다.

또한, 본 발명은 상기 사용자의 외국어 또는 자국어 음성으로 녹음한 사용자 기능명령어를 해당 기능들과 매칭시켜 저장한 기능명령어 DB를 구축하고, 사용자의 외국어 학습 진행과정에서 상기 사용자가 해당 기능의 명령 문구에 대하여 음성으로 말하면 기능명령어 DB에 저장되어 있는 사용자 기능명령어들과 대비하여 대응되는 기능을 명령한 것으로 간주하여 해당 기능이 수행되도록 함으로써, 기능명령어에 대한 음성 인식률을 획기적으로 높일 수 있어 사용자의 음성으로 대화형 학습장치의 기능을 원활히 수행할 수 있는 효과가 있다.

이와 같이 사용자 기능명령어를 사용자의 음성으로 녹음하고 녹음된 기능명령어를 실제로 사용하는 과정에서도 외국어 학습효과를 높일 수 있고 같은 기능을 수행하는 다양한 기능명령어를 저장하여 두고 그 중 어느 하나를 말하더라도 같은 기능을 수행하게 함으로써 보다 많은 표현들을 익힐 수 있는 효과가 있다.

또한, 본 발명은 상기 사용자가 해당 외국어를 따라 읽고 이를 녹음한 사용자 외국어 음성을 상기 해당 장면과 매칭시켜 저장하는 동영상 컨텐츠 DB가 상기 사용자의 외국어 학습 진행과정에서 항상 최신의 것으로 또는 사용자의 선택에 의하여 상기 사용자가 녹음한 외국어 음성으로 갱신하여 저장할 수 있게 함으로써, 사용자가 학습을 원하는 내용을 자연스럽게 대화형으로 학습하면서 학습이 진행됨에 따라 점차 표현의 내용을 다양화할 수 있는 효과가 있다.

또한, 본 발명은 기본학습 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트와, 그 외국어 텍스트에 대응되는 외국어 음성자료를 저장하는 기본 학습표현 DB를 더 구비함으로써, 상기 기본 학습표현 DB를 사용하여 상기 사용자가 상기 동영상 컨텐츠에서 표현되는 외국어에 병행하여 기본학습 표현들을 더 학습할 수 있는 효과가 있다.

도 1은 본 발명에 따른 대화형 외국어 학습장치의 전체 블럭도
도 2는 본 발명에서 DB부를 구축하는 과정을 도시한 흐름도
도 3은 본 발명에서 입력된 사용자의 음성에 따라 처리하는 과정을 도시한 도면
도 4는 본 발명에 따른 사용자 기능명령어 DB와 관련된 과정의 흐름도
도 5는 본 발명에 동영상 컨텐츠 DB와 관련된 과정의 흐름도

이하, 본 발명에 따른 외국어 또는 외국어 및 자국어 모두의 자막을 구비한 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습방법 및 그것을 위한 대화형 외국어 학습장치에 대하여 도면을 참고로 설명하면 다음과 같다.

본 발명에 따른 대화형 외국어 학습장치는 PC, 노트북, 타블렛 PC, 스마트폰, 등의 디지털 정보단말기와 같이 동영상을 재생할 수 있는 동영상 재생장치에서 외국어 자막 또는 외국어와 자국어 모두의 자막이 구비된 외국 영화 등의 동영상 파일로 된 외국어 동영상 컨텐츠를 이용하여 사용자가 대화형으로 외국어를 학습하는 대화형 외국어 학습장치에 관한 것으로서, 도 1에 도시된 바와 같이 외부 음성이 입력되는 마이크(11)와 음성이 외부로 출력되는 스피커(12)와 상기 마이크(11)와 스피커(12)로부터 입출력되는 음성을 처리하는 오디오처리부(10)와, 상기 외국어 동영상 컨텐츠 재생시 동영상 장면을 표시하고 해당 자막 텍스트를 표시하는 화면 표시부(20)와, 학습장치의 기능명령어 및 동영상 컨텐츠와 관련된 데이터를 저장하는 DB부(40)와, 외부 입력신호를 입력받는 입력부(50)와, USB와 같은 외부메모리와 플래시메모리 등으로 된 내부메모리 등으로 구성된 메모리부(60)와, 상기 모든 구성 등을 제어하는 제어부(30) 등으로 구성되어 있다.

상기 DB부(40)는, 상기 사용자의 외국어 또는 자국어 음성으로 녹음한 사용자 기능명령어를 해당 기능들과 매칭시켜 저장한 사용자 기능명령어 DB(41)와, 상기 사용자가 해당 외국어를 따라 읽고 이를 녹음한 사용자 외국어 음성을 상기 해당 장면과 매칭시켜 저장하고 그 후에도 상기 사용자의 외국어 학습 진행과정에서 사용자의 선택에 의하여 상기 사용자 외국어 음성을 갱신하여 저장하는 동영상 컨텐츠 DB(42) 등으로 구성되어 있다.

또한, 상기 대화형 외국어 학습장치는 사용자가 외국어 또는 자국어 음성으로 녹음된 사용자 기능명령어와 상기 동영상 컨텐츠 DB(42)에 저장된 상기 사용자 외국어 음성 등이 출력될 때 그 음성을 인식하는 음성인식부(70)를 포함하고, 여기에 더하여 외국어 자막 또는 외국어 및 자국어 모두의 자막 텍스트 형태로 저장된 표현을 사람이 인식할 수 있는 음성으로 읽어 들려주는 티티에스(TTS, Text to Speech)부(80) 등이 포함될 수 있다. 상기 음성인식부(70) 및 TTS부(80)는 하드웨어로 할 수 있지만 소프트웨어로 그 기능을 수행하게 할 수 있다.

상기 대화형 외국어 학습장치는 상기 사용자의 외국어 학습 진행과정에서 상기 사용자가 해당 기능의 명령문구에 대하여 음성으로 말하면 사용자 기능명령어 DB(41)에 사용자의 음성으로 저장되어 있는 사용자 기능명령어들과 대비하여 대응되는 기능을 명령한 것으로 간주하여 해당 기능을 수행하여 대화형 외국어 학습을 할 수 있게 한다.

한편, 본 발명에 따른 외국어 자막 또는 외국어 및 자국어 모두의 자막을 구비한 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습방법에 대하여 도 2내지 도 5를 참고로 설명하면 다음과 같다.

본 발명에서 DB부를 구축하는 과정을 도 2를 참고로 설명하면 다음과 같다.

먼저 대화형 외국어 학습 진행을 위해 상기 학습장치가 구비한 기능들을 수행할 것을 사용자가 명령하는 사용자 기능 명령어 표현들에 대한 외국어 또는 자국어 표현들과 그 각 표현이 입력된 경우에 상기 학습장치가 수행하여야 할 기능의 내용과 매칭시켜 저장하는 사용자 기능명령어 DB(41)를 구비하고(S11 단계), 상기 사용자 기능 명령어 표현들 각각에 대하여 사용자 음성을 입력받아 이를 녹음하며(S12 단계), 해당 텍스트 및 그 텍스트의 표현들이 입력된 경우에 상기 학습장치가 수행하여야 기능들과 매칭시켜 상기 사용자 기능명령어 DB(41)에 저장하여(S13 단계) DB부(40)를 구축한다(S30 단계).

또한, 상기 외국어 동영상 컨텐츠에 있는 외국어 음성을 그에 대응되는 장면의 화면에 관한 정보 및 외국어 자막 또는 외국어 및 자국어 자막 모두와 그 자막의 출현 시작 시간과 종료 시점에 관한 시간정보와 각 매칭시켜 저장하는 동영상 컨텐츠 DB(42)를 구비하고(S21 단계), 상기 학습장치가 상기 동영상 컨텐츠에 있는 외국어 음성을 자막 단위별로 사용자의 음성으로 입력받아 이를 녹음하며(S22 단계), 해당 장면의 외국어 음성과 화면 정보 및 그에 대응되는 외국어 자막 또는 외국어 및 자국어 자막 모두와 매칭시켜 상기 동영상 컨텐츠 DB(42)에 저장하여 DB부(40)를 구축한다(S30 단계).

다음으로 본 발명에서 입력된 사용자의 음성에 따라 처리하는 과정을 도 3을 참고로 설명하면 다음과 같다.

상기 학습장치에 사용자의 음성이 입력되면(S41 단계), 상기 학습장치의 제어부(30)는 상기 입력되는 사용자의 음성을 음성인식기능부(70)의 음성인식기능을 이용하여 상기 DB부(40)에 저장된 사용자의 음성들과 대비한다(S42 단계).

대비한 결과, 상기 입력된 사용자의 음성이 상기 사용자 기능 명령어 DB(41)에 저장된 사용자 음성으로 인식되면(S43단계) 그 사용자 음성에 할당된 기능명령을 수행하고(S44단계), 상기 입력된 사용자의 음성이 상기 동영상 컨텐츠 DB(42)에 저장된 사용자 음성으로 인식되면(S45 단계) 그에 대응되는 외국어 음성을 말한 것으로 인식하며(S46 단계), 상기 입력된 음성이 상기 사용자 기능 명령어 DB(41)에 저장된 사용자 음성도 아니고 상기 동영상 컨텐츠 DB(42)에 저장된 사용자 음성도 아닌 것으로 인식되면 즉, 상기 DB부(40)에 저장된 사용자 음성으로 인식되지 않는 경우(S47 단계)에는 상기 DB부(40)에 없는 표현을 말한 것으로 처리하게 된다(S48 단계).

상기 DB부(40)에 없는 표현을 말한 것으로 처리하는 방법으로는 상기 입력된 사용자의 음성에 대한 표현이 DB부(40)에 없으니 다시 말할 것을 요구하거나, 사용자에게 힌트를 원하는지를 묻고 그 힌트의 내용도 자국어 자막을 화면에 보여 주거나 또는 자국어 텍스트를 TTS 기능으로 읽은 내용을 들려 줄 것을 원하는지를 묻는 내용 등으로 다양하게 구성할 수 있다.

다음으로 본 발명에서 사용자 기능명령어 DB 구축 등과 관련된 과정을 도 4를 참고로 설명하면 다음과 같다.

상기 사용자 기능명령어 DB는 음성인식부(70)에서 음성 인식률을 높이기 위하여 사용자의 음성으로 사용자 기능명령어를 외국어 또는 자국어로 입력하고 녹음하여 저장하는 것이다. 사용자가 외국어 학습 진행을 위해 수행해야 할 각 기능들에 대한 단어 또는 문장으로 된 명령 문구에 대하여 상기 사용자의 외국어 또는 자국어 음성을 마이크를 통하여 입력받아 사용자 기능명령어로 녹음한다(S51 단계). 이 경우 사용자의 외국어 능력에 따라 외국어 또는 자국어 음성으로 할 수 있지만 외국어 학습을 위해서도 자국어 음성보다는 외국어 음성으로 하는 것이 바람직하다.

상기 사용자 기능명령어를 사용자의 음성으로 녹음을 함에 있어서는 텍스트로 되어 있는 사용자 기능명령어를 사용자의 음성으로 녹음한다. 이 때 사용자 기능명령어를 TTS부(80)의 TTS기능을 이용하여 사용자에게 음성으로 들려주고 사용자가 이를 따라서 말하도록 하여 그 음성을 녹음할 수도 있다. 상기 사용자의 기능명령어에 대한 외국어 또는 자국어 음성이 사용자 기능명령어로 녹음되면, 상기 사용자 기능명령어를 해당 기능들과 매칭시켜 사용자 기능명령어 DB(41)에 저장하는 것을 반복하여 사용자 기능명령어 DB를 구축한다(S52단계).

사용자 기능명령어 DB(41)에 저장된 상기 사용자 기능명령어를 사용하여 대화형 외국어 학습장치의 기능을 제어한다(S53 단계).

대화형 외국어 학습장치에서 외국어 학습을 진행하다가 특정 사용자 기능명령어에 대하여 변경하고 싶은 것이 있으면 해당 기능명령에 대하여 사용자가 새로운 기능명령어를 마이크를 통하여 입력한 뒤 갱신된 사용자 기능명령어로 녹음하고(S54 단계), 이전에 녹음되었던 기존의 기능명령어(단어 또는 문장의 음성입력)를 변경(S55 단계)하여 사용자 기능명령어 DB(41)에 저장한다.

상기와 같이 함으로써. 사용자의 외국어 학습 진행과정에서 상기 사용자가 기능명령어를 사용자의 외국어 능력에 따라 변경 가능하여 사용자의 대화능력을 향상시키고 능력 향상에 따라 새로운 표현들을 기능명령어 표현 DB에 추가하여 점차 다양한 표현을 학습할 수 있게 된다.

상기 사용자의 외국어 학습 진행과정에서 상기 사용자가 해당 기능의 명령 문구에 대하여 음성으로 말하면 음성인식부(70)에서 그 음성을 인식하여 상기 사용자 기능명령어 DB(41)에 저장되어 있는 사용자 기능명령어들과 대비하여 대응되는 기능을 명령한 것으로 간주하여 해당 기능을 수행할 수 있게 되고, 이 경우 상기 음성인식부(70)의 음성인식을 위한 대비 대상을 사용자의 음성으로 녹음된 음성자료에 한정하고 있기 때문에 음성 인식률이 크게 향상된다.

상기 사용자 기능명령어의 내용에 포함될 수 있는 것들을 예시하면 다음과 같다.

(1) 대화를 시작할 것인지를 학습장치에게 묻고 학습장치가 그러한 질문을 하는 경우 이에 답하는 내용

예) Would you like to have a conversation?

Yes, I would like that.

(2) 학습장치의 표현을 학습자가 다시, 또는 반복하여 들려주거나 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트로 보여 줄 것, 또는 자국어로 말해줄 것을 요구하는 내용

예) Would you talk to me again?

Please repeat it. Would you repeat it?

Would you show me the english text of it?

Would you show me the korean text of it?

Would you tell me in korean?

(3) DB부(40)의 표현 내용을 순서에 따라 플레이하면서 역할극을 할 수 있도록 할 것을 명령하는 내용

예) Let’s say it in turns.

Let’s enjoy the conversation by the roll play.

(4) 특정 시점(5분전, 10분전, 처음 등)이나 직전 대화, 다음 대화, 직전 ?터(또는 북마크), 다음 쳅터 등으로 이동할 것을 명령하는 내용

예) Let’s move to previous sentence.

Let’s move to next sentence.

Let’s move to previous chapter.

Let’s move to next chapter.

Let’s move to previous bookmark.

Let’s move to next bookmark.

(5) 특정 단어나 문장 표현이 들어 있는 곳을 찾아서 이동할 것을 명령하는 내용

예) Let’s search and move to the express “ ”.

(6) 대화를 마치고 끝낼 것을 명령하는 내용

예) OK, That is it. Let’s finish.

(7) 학습자가 요구하지 않더라도 정해진 시간에 또는 임의의 시간에 학습장치가 학습을 시작하겠는지를 묻는 내용,

예) Please start talking with me after 30 minutes.

상기 사용자 기능명령어는 단수 또는 복수로 해당 기능에 매칭시켜 하나의 기능에 여러 가지 표현이 대응될 수 있도록 하여 사용자가 하나의 기능에 대하여 다양한 표현을 할 수 있도록 다수개의 기능명령어를 사용할 수 있게 하며, 이와 같이 기능명령어를 다양하게 말하고 학습장치가 말하는 기능어 표현을 듣는 것 자체로도 외국어 회화의 학습효과를 거둘 수 있다.

다음으로 본 발명에서 동영상 컨텐츠 DB와 관련된 과정을 도 5를 참고로 설명하면 다음과 같다.

먼저 외국어 자막 또는 외국어와 자국어 모두의 자막이 구비된 외국 영화 동영상 파일로 된 외국어 동영상 컨텐츠를 재생하면 상기 동영상 컨텐츠 재생과정에서 각 장면에서 외국어 음성이 있는 장면은 외국어 자막 또는 자국어 자막이 상기 화면표시부에 동영상 화면과 함께 표시되는데(S61 단계), 사용자는 외국어 음성이 있는 특정 장면의 외국어 자막 또는 자국어 자막을 보고 마이크(11)를 통하여 사용자의 외국어 음성으로 입력하여 녹음한다(S62 단계). 이 때 학습장치는 사용자의 음성으로 녹음한 외국어 음성을 동영상 컨텐츠 DB에 저장된 외국어 음성을 들려주고 이를 따라서 말하도록 하여 녹음을 할 수도 있다.

상기 특정 장면의 외국어 음성에 대한 사용자의 외국어 음성이 사용자의 외국어 음성으로 녹음되면, 사용자의 외국어 음성을 해당 특정 장면과 매칭시켜 동영상 컨텐츠 DB(42)에 저장하고, 이를 반복하여 동영상 컨텐츠 DB(42)를 구축한다(S63 단계).

상기 동영상 컨텐츠 DB(42)가 일차적으로 구축되면, 대화형 학습 기능을 진행할 경우, 상기 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트를 구비한 외국어 동영상 컨텐츠를 재생할 때, 상기 사용자가 외국어 음성이 출력되는 장면에서 상기 동영상 컨텐츠 DB(42)에 이미 저장된 대응되는 상기 사용자의 외국어 음성을 사용자에게 들려줄 수도 있다. 이렇게 함으로써 이전에 사용자가 녹음하였던 사용자의 외국어 음성과 현재의 외국어 음성을 대비할 수 있어 사용자 스스로 자신의 학습의 진행 상황을 느끼게 되어 외국어 어학 학습에 상당한 도움을 줄 수 있게 된다.

상기와 같이 상기 사용자가 외국어 음성이 출력되는 장면에서 외국어 음성을 따라하거나 외국어 자막을 읽어 마이크(11)를 통하여 입력하면서 이전에 사용자가 녹음하였던 사용자의 외국어 음성과 대비하여 현재의 사용자의 외국어 음성이 좋은 경우 사용자는 현재의 사용자의 외국어 음성을 현재 사용자의 외국어 음성으로 녹음하고(S64 단계), 이전에 사용자가 녹음하였던 기존 사용자의 외국어 음성을 현재 사용자의 외국어 음성으로 변경하여(S65단계) 동영상 컨텐츠 DB(42)에 저장한다.

상기 동영상 컨텐츠 DB(42)에서 상기 현재 사용자의 외국어 음성을 기존 사용자의 외국어 음성으로 변경(갱신)하는 것은 상기 사용자의 선택에 의하여 할 수 있지만 학습의 진행에 따라 주기적으로 할 수도 있다

상기 동영상 컨텐츠 DB(42)에 특정 장면에 대응되는 사용자의 외국어 음성을 매칭시키는 방법은 외국어 자막 또는 외국어와 자국어 모두의 자막이 구비된 외국 영화 동영상 파일로 된 외국어 동영상 컨텐츠에 설정된 자막 텍스트의 표출 시간 정보에 의하여 외국어 음성이 출력되는 장면별로 사용자의 음성으로 외국어를 따라 읽고 이를 녹음하였다가 들려주는 따라하기 기능을 이용하여 외국어 음성에 대응되는 사용자의 음성을 입력받아 이를 녹음하여 상기 동영상 컨텐츠 DB(42)에 저장하면 된다.

상기 대화형 외국어 학습장치를 사용하여 학습을 진행하는 방법으로서 외국어 동영상 컨텐츠의 내용을 사용자에게 단순히 순서대로 들려주는 방법(단순 들려주기 방법)이 있고, 외국어 동영상 컨텐츠의 정해진 시간정보에 따라 자막이 표현되는 한 대사씩을 순서대로 학습장치와 사용자가 교대로 대화를 진행하게 할 수 있고(교차진행 방법), 학습장치가 단수 또는 복수의 표현을 먼저 들려주고 사용자가 이를 따라서 하는 방법(따라하기 방법)이 있으며, 외국어 동영상 컨텐츠 내의 표현들을 학습장치와 사용자 중 누가 말할 것인지를 미리 정해두고 그 정해진 역할에 따라 대화를 진행하는 방법(역할극 방법) 등 단수 또는 복수의 학습패턴을 정해두고 이 패턴에 따라 학습을 진행한다.

다음으로 본 발명은 대화형 외국어 학습 진행을 위해 학습장치가 사용자에게 전달할 필요가 있는 학습장치 기능어 표현을 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트로 저장하는 학습장치 기능어 DB(43)를 추가로 사용할 수도 있는데 그와 관련된 과정을 설명하면 다음과 같다.

상기 학습장치 기능어 DB(43)는 학습이 완전한 대화형으로 진행되도록 하기 위하여 학습장치가 동영상 컨텐츠 DB 내에 있는 표현을 들려주는 것 이외의 표현들을 저장한 데이터베이스이다. 이는 앞에서 본 사용자 기능명령어 표현이 사용자가 학습장치에 전달하는 것과 반대로 자연스러운 대화형 학습의 진행을 위하여 학습장치가 사용자에게 전달하는 표현들이다. 상기 학습장치 기능어 DB(43)는 기본적으로 외국어 자막 또는 외국어 및 자국어 모두의 자막 텍스트로 구성된 기능어 표현들을 저장한 것으로서, 학습장치는 TTS부(80)의 TTS 기능을 이용하여 상기 학습장치 기능어 DB(43)에 저장된 표현들을 학습장치에 설정된 내용에 따라서 외국어 또는 자국어 음성으로 사용자에게 들려주게 된다. 외국어 학습효과를 높이기 위하여서는 외국어 음성으로 들려주는 것이 바람직하나 초보자 등을 위하여 자국어 음성을 사용할 수도 있다.

상기 학습장치 기능어 표현이 언제 음성으로 사용자에게 전달되는가 하는 것은 대화형 학습의 원활하고 재미있는 진행을 위하여 필요에 따라 미리 설정할 수 있는데, 가령 사용자가 사용자 기능명령어 표현을 말한 것으로 인식되면 학습장치의 제어부(30)는 그 명령 받은 기능을 수행하기에 앞서 간단하게 대답을 하도록 하거나 수행되는 명령의 내용을 다시 말하게 할 수 있고, 학습자가 사용자 기능어명령어 DB(41)나 동영상 컨텐츠 DB(42)에 없는 표현을 말한 것으로 인식되는 경우 그러한 표현은 DB부(40)에 없으니 다시 말할 것을 요구하거나, 사용자에게 힌트를 원하는지를 묻고 그 힌트의 내용도 자국어 자막을 화면에 보여 주거나 외국어 텍스트 또는 자국어 텍스트를 TTS 기능으로 읽은 내용을 들려 줄 것을 원하는지를 묻는 내용 등으로 다양하게 구성할 수 있다.

상기 학습장치 기능어 DB(43)에 저장되는 상기 학습장치 기능어 표현의 내용에 포함될 수 있는 것들을 예시하면 다음과 같다.

(1) 대화를 시작할 것인지를 묻고 답하는 내용

예) Would you like to have a convestation?

Yes, I would like that.

(2) 학습장치의 표현을 학습자가 다시, 또는 반복하여 들려주거나 외국어 텍스트 또는 자국어 텍스트로 보여 줄 것, 또는 자국어로 말해줄 것을 요구하는 내용

예) Would you talk to me again?

Please repeat it. Would you repeat it?

Would you like to show me the english text of it?

Would you to see the korean text of it?

Would you like to say it in korean?

(3) DB부(40)의 표현 내용을 순서에 따라 플레이하면서 역할극을 할 수 있도록 할 것을 명령하는 내용

예) Let’s say it in turns.

Let’s enjoy the conversation by the roll play.

(4) 특정 시점(5분전, 10분전, 처음 등)이나 직전 대화, 다음 대화, 직전 ?터(또는 북마크), 다음 쳅터 등으로 이동하라는 명령을 받은 경우 그 내용을 음성으로 들려 주는 내용

예) O.K., I will move to the previous sentence.

O.K., I will move to the next sentence.

O.K., I will move to the previous chapter.

O.K., I will move to the next chapter.

O.K., I will move to the previous bookmark.

O.K., I will move to the next bookmark.

(5) 특정 단어나 문장 표현이 들어 있는 곳을 찾아서 이동할 것을 명령받은 경우에 이에 답하는 내용

예) Yes, I will search and move to the express “ ”.

(6) 상기 각 명령을 수행하는 과정에서 학습자의 선택이 필요한 경우 그 선택지들을 제시하고 선택할 것을 요구하는 내용

예) Do you want one of this list?

(7) 대화를 마치고 끝낼 것을 명령받고 응답하는 내용

예) OK, I will finish.

(8) 학습장치가 학습자가 말하는 표현과 일치하는 것이 없으면 학습자에게 못 알아들었으니 다시 말할 것을 요구하는 기능어 표현을 음성으로 들려주어 학습자가 다시 말하도록 유도하는 내용.

예) I could not catch your meaning. Please tell me again.

(9) 학습장치는 학습자가 말하는 것과 일치하는지가 불명확하지만 매우 가까운 표현이 복수로 있는 경우에는 이들을 제시하고 그 중의 어떤 것인지를 학습자에게 묻는 내용.

예) I am not sure what do you mean. Did you tell me one of these?

Please tell me which one is your meaning.

(10) 학습자가 요구하지 않더라도 정해진 시간에 또는 임의의 시간에 학습장치가 학습을 시작하겠는지를 묻는 내용,

예) Would you like me to start talking after 30 minutes?

상기 학습장치 기능어 표현은 단수 또는 복수로 해당 경우에 매칭시켜 하나의 상황에 여러 가지 표현이 대응될 수 있도록 하여 사용자가 하나의 상황에 대하여 다양한 표현을 들을 수 있도록 하여 학습장치가 말하는 학습장치 기능어 표현을 듣는 것 자체로도 외국어 회화의 학습효과를 거둘 수 있다.

또한, 상기 대화형 외국어 학습장치는 제공하고자 하는 기본학습 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트와, 그 외국어 텍스트에 대응되는 외국어 음성자료를 저장하는 기본 학습표현 DB(44)를 더 구비하고, 상기 기본 학습표현 DB(44)를 사용하여 상기 사용자가 기본학습 표현들을 학습하도록 할 수 있다. 이 기본학습표현들의 경우에는 그 표현에 대응되는 비디오 정보가 함께 포함될 수도 있고 비디오 정보 없이 음성과 텍스트만 표시될 수도 있다.

이와 같이 기본학습 대상표현들이 추가로 저장된 경우에는 그 저장된 표현들에 대하여 외국어 동영상 컨텐츠의 내용과 기본 학습대상 표현들에 대한 학습은 서로 교차되거나 내용을 섞어서 진행할 수도 있다.

상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 아래의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10: 오디오처리부 11: 마이크
12: 스피커 20: 화면 표시부
30: 제어부 40: DB부
41: 사용자 기능명령어 DB 42: 동영상 컨텐츠 DB
43: 학습장치 기능어 DB 44: 기본학습표현 DB
50: 입력부 60: 메모리부
70: 음성인식부 80: TTS부

Claims (7)

1. 외국어 자막 또는 외국어 및 자국어 모두의 자막을 구비한 외국어 동영상 컨텐츠를 이용하여 대화형으로 외국어를 학습시키는 방법에 있어서,
   사용자로부터 입력되는 사용자 기능 명령어 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트들과 그 각 표현들이 입력되는 경우 학습장치가 수행할 기능이 저장된 사용자 기능명령어 DB를 구비하고,
   상기 외국어 동영상 컨텐츠에 있는 외국어 음성을 그에 대응되는 장면의 화면에 관한 정보 및 외국어 자막 또는 외국어 및 자국어 모두의 자막과 그 자막의 출현 시작 시간과 종료 시점에 관한 시간정보가 저장된 동영상 컨텐츠 DB를 구비하는 단계와;
   상기 학습장치가, 상기 사용자 기능 명령어 표현들 각각에 대하여 사용자 음성을 입력받아 이를 녹음한 파일을 해당 텍스트에 대한 사용자의 음성파일로 상기 사용자 기능명령어 DB에 저장하고,
   상기 동영상 컨텐츠에 있는 외국어 음성을 자막 단위별로 사용자의 음성으로 입력받아 이를 녹음한 파일을 해당 장면의 외국어 음성과 화면 정보 및 그에 대응되는 외국어 자막 또는 외국어 및 자국어 자막 모두와 대응되는 사용자의 음성파일로 상기 동영상 컨텐츠 DB에 저장하는 단계와;
   상기 학습장치에 입력되는 사용자의 음성을 음성인식기능에 의하여 상기 DB부에 저장된 사용자의 음성들과 대비하고.
   대비 결과, 입력된 음성이 상기 사용자 기능 명령어 DB에 저장된 사용자 음성으로 인식되면 그 사용자 음성에 할당된 기능명령을 수행하고, 상기 입력된 음성이 상기 동영상 컨텐츠 DB에 저장된 사용자 음성으로 인식되면 그에 대응되는 외국어 음성을 말한 것으로 처리하며, 상기 입력된 음성이 상기 DB부에 저장된 사용자 음성으로 인식되지 않는 경우에는 DB부에 없는 표현을 말한 것으로 처리하는 단계;
   를 포함하는 것을 특징으로 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법.
   
2. 제1항에 있어서,
   대화형으로 외국어 학습을 진행시키기 위해 상기 학습장치가 사용자에게 전달하는 학습장치 기능어 표현을 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트로 저장된 학습장치 기능어 DB를 더 구비하고,
   상기 학습장치가 상기 학습장치 기능어 표현을 미리 설정된 경우에 사용자에게 텍스트음성변환(TTS)기능을 사용하여 음성으로 전달하는 것을 포함하는 것
   을 특징으로 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법.
   
3. 제1항에 있어서,
   상기 학습장치가 상기 사용자 기능명령어 DB 및 상기 사용자 기능명령어 DB에 저장된 사용자의 음성에 대하여 학습의 진행에 따라 주기적으로 또는 사용자의 선택에 의하여 새로운 사용자의 음성으로 갱신하여 저장시키는 것
   을 특징으로 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법.
   
4. 제1항에 있어서,
   기본학습 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트와, 그 외국어 텍스트에 대응되는 외국어 음성이 저장된 기본학습표현 DB를 구비하고,
   상기 기본학습표현 DB에 있는 외국어 음성을 그 문장별로 사용자의 음성으로 입력받아 이를 녹음한 파일을 해당 표현에 대응되는 외국어 음성과 외국어 자막 또는 외국어 및 자국어 자막 모두와 대응되는 사용자의 음성파일로 상기 기본학습표현 DB에 저장하며,
   상기 학습장치에 입력되는 사용자의 음성을 음성인식기능에 의하여 상기 기본학습표현 DB에 저장된 사용자의 음성들과 대비하여 입력된 음성이 상기 기본학습표현 DB에 저장되어 있는 음성으로 인식되면 사용자가 그에 대응되는 외국어 음성을 말한 것으로 처리하는 단계를 더 포함하는 것
   을 특징으로 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법.
   
5. 외국어 자막 또는 외국어 및 자국어 모두의 자막을 구비한 외국어 동영상 컨텐츠를 이용하여 대화형으로 외국어를 학습할 수 있는 대화형 외국어 학습장치에 있어서,
   마이크로부터 입력되는 음성입력과 스피커로부터 출력되는 스피커의 음성을 처리하는 오디오처리부와,
   상기 외국어 동영상 컨텐츠 재생시 동영상 장면을 표시하고 해당 자막 텍스트를 표시하는 화면 표시부와,
   대화형 외국어 학습 진행을 위해 학습장치가 구비한 기능들을 수행할 것을 사용자가 명령하는 사용자 기능 명령어 표현들에 대한 외국어 또는 자국어 표현들과 그 표현들을 사용자의 음성으로 녹음한 음성파일 및 그 각 표현이 입력된 경우에 학습장치가 수행하여야 하는 기능의 내용을 매칭시켜 저장한 사용자 기능명령어 DB와, 동영상 컨텐츠에 있는 외국어 음성을 그에 대응되는 장면의 화면에 관한 정보 및 외국어 자막 또는 외국어 및 자국어 자막 모두와 그 자막의 출현 시작 시간과 종료 시점에 관한 시간정보 및 상기 외국어 자막의 내용을 사용자의 음성으로 녹음한 음성파일을 각 매칭시켜 저장한 동영상 컨텐츠 DB를 포함하여 구성하는 DB부와,
   상기 학습장치의 입출력 및 내부를 전체적으로 제어하는 제어부를 포함하여 구성하고,
   상기 제어부는,
   입력되는 사용자의 음성을 상기 DB부에 저장된 사용자의 음성들과 대비하여 입력된 음성이 상기 DB부에 저장된 어느 표현에 해당하는지를 인식하는 음성인식기능을 수행하고,
   외국어 학습 진행과정에서 학습장치에 입력되는 사용자의 음성이 사용자 기능명령어 DB에 저장된 사용자 기능 명령어로 인식되면 그 명령에 할당된 명령을 수행하며,
   상기 입력되는 사용자의 음성이 동영상 컨텐츠 DB에 저장된 표현으로 인식되면 사용자가 해당 표현을 말한 것으로 처리하며,
   상기 입력되는 사용자의 음성이 상기 DB부에 저장된 표현이 아닌 경우에는 상기 DB부에 없는 표현을 말한 것으로 처리하는 것
   을 특징으로 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 장치.
   
6. 제5항에 있어서,
   학습장치가 사용자에게 전달하는 학습장치 기능어 표현을 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트로 저장한 학습장치 기능어 DB와,
   상기 학습장치 기능어 DB에 저장된 표현을 미리 설정된 경우에 사용자에게 음성으로 전달하는 텍스트음성변환(TTS)기능을 수행하는 TTS부를 더 구비하고,
   상기 학습장치가 상기 학습장치 기능어 표현을 미리 설정된 경우에 사용자에게 상기 TTS 기능을 사용하여 음성으로 전달하는 것
   을 특징으로 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 장치.
   
7. 제5항에 있어서,
   기본학습 표현들에 대한 외국어 텍스트 또는 외국어 및 자국어 모두의 텍스트와, 그 외국어 텍스트에 대응되는 외국어 음성 및 그 외국어 텍스트의 내용을 사용자의 음성으로 녹음한 음성파일을 서로 매칭시켜 저장하는 기본학습표현 DB를 상기 DB부에 더 구비하고,
   상기 제어부는,
   입력되는 사용자의 음성을 상기 DB부에 저장된 사용자의 음성들과 대비하여 입력된 음성이 상기 DB부에 저장된 어느 표현에 해당하는지를 인식하는 음성인식기능을 수행하고,
   상기 입력되는 사용자의 음성이 동영상 컨텐츠 DB에 저장된 표현으로 인식되면 사용자가 해당 표현을 말한 것으로 처리하며,
   상기 입력되는 사용자의 음성이 상기 기본학습표현 DB에 저장된 표현으로 인식되면 사용자가 그에 대응되는 외국어 음성을 말한 것으로 처리하는 것,
   을 특징으로 하는 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 장치.

Images