KR20210135151A - 단말기의 음성인식 기능과 tts 기능을 이용한 상호 음성전달에 의한 대화 형 외국어 학습방법 - Google Patents

Abstract

본 발명은 스마트폰, 태블릿 PC, 노트북, PC 등 화면이 있는 단말기에서 그것에 내장된 음성인식 기능과 TTS 기능 및 영화, 드라마, 뉴스 등 외국어 음성표현이 들어 있는 동영상을 이용하여 상기 단말기와 학습자가 1 대 1의 음성전달 방식에 의하여 외국어 학습을 할 수 있도록 하는 대화 형 외국어 학습방법에 관한 것으로서, 더욱 상세하게는 단말기가 음성인식을 위한 음성입력 대기상태에서 학습자가 말하는 음성을 입력받아 그것이 미리 준비한 음성명령어에 해당하면 그 명령의 내용을 수행한 후 다시 음성입력 대기상태가 되게 하고, 음성명령어에 해당하지 않은 경우 학습자의 선택에 따라서 단말기의 음성을 학습자가 따라서 말하는 학습모드와 단말기와 학습자가 번갈아 가며 한 문장씩을 말하는 대화모드 및 그 중간적인 형태의 학습모드 등 다양한 학습방법을 구비하여 두고 학습자의 음성명령에 의하여 학습방법을 바꾸어 가면서 단말기와 학습자가 화면 터치를 최소한으로 줄이고 서로 음성전달에 의하여 1 대 1의 대화 형식으로 외국어 학습을 할 수 있게 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법에 관한 것이다.

Description

단말기의 음성인식 기능과 TTS 기능을 이용한 상호 음성전달에 의한 대화 형 외국어 학습방법{Method of interactive foreign language learning by voice talking each other using voice recognition function and TTS function}

본 발명은 스마트폰, 태블릿 PC, 노트북, PC 등 화면이 구비된 단말기(이하 단말기라고 한다)에서 그것에 내장된 음성인식 기능과 TTS(Text to Speech) 기능 및 영화, 드라마, 뉴스 등 외국어 음성 표현이 들어 있는 비디오 콘텐츠(이하 외국어 콘텐츠 또는 콘텐츠라고 한다)를 이용하여 상기 단말기와 학습자가 서로 음성전달에 의하여 대화하는 형식으로 외국어 학습을 할 수 있도록 하는 대화 형 외국어 학습방법에 관한 것으로서, 더욱 상세하게는 단말기가 음성인식을 위한 학습자의 음성입력 대기상태에서 학습자가 말하는 음성을 입력받아 그것이 미리 저장된 명령어에 해당하는 경우 정해진 명령을 수행한 후 다시 음성입력 대기상태를 출현시키고, 그것이 학습대상 문장과 동일하거나 동일 범주에 속하는 경우에는 단말기가 다음 학습대상 문장을 들려준 후 음성입력 대기상태를 출현시켜 학습자가 따라서 말하게 하고 그것이 현재의 화면에 표시된 문장의 동일 범주에 미치지 못하는 경우에는 단말기가 현재의 문장을 다시 들려주고 음성입력 대기상태를 출현시켜 따라서 말하게 하고, 학습의 진행과정에서 화면에 학습대상 문장에 관련된 동영상 또는 이미지와 현재 및 다음 학습대상 문장과 그에 대응되는 각 자국어 자막을 함께 표시하는 방식의 학습을 진행하고, 학습자가 화면을 터치하지 않거나 화면의 터치를 예외적인 경우로 최소화하여 단말기와 학습자가 서로 음성전달에 의하여 1 대 1의 대화 형식으로 외국어 학습을 할 수 있게 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 외국어 학습방법에 관한 것이다.

일반적으로 PC, 노트북, 태블릿 PC, 스마트폰 등의 외국어 콘텐츠가 재생되는 장치와 외국어 콘텐츠를 이용하여 외국어를 학습하는 방법들이 많이 사용되어 왔고, 최근에는 그러한 장치들에 음성인식 기술과 TTS의 기술을 적용할 수 있게 되면서 이러한 기술들을 부가하여 외국어를 학습하는 방법들도 많이 제안되었다.

그런데 종래의 외국어 콘텐츠를 이용한 외국어 학습방법은 단말기가 실행하는 비디오를 학습자가 감상하는 것을 주된 목적으로 하고 일일이 화면을 터치하면서 학습을 진행하기 때문에 학습자가 단말기와 서로 음성전달에 의하여 대화를 나누는 방식으로 진행되는 것이 아니어서 학습자가 스스로 말을 할 수 있는 기회가 많이 부여되지 아니하고, 외국어 학습에 도움이 되는 다양한 줄거리를 가지는 외국어 콘텐츠의 내용을 순차적으로 따라가면서 그 줄거리와 상황전개에 맞는 표현들을 계속하여 학습할 수 있게 하는 것이 아닐 뿐만 아니라, 학습자의 능력과 학습 단계 및 학습을 하는 상황에 따라 적절하게 선택하여 사용할 수 있는 다양한 학습방법들이 개발되지 아니하여 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습하기에는 매우 어려운 단점이 있었다.

관련 선행기술 문헌으로는 등록특허공보 10-0954498호, 10-1125572호, 10-1427528호 등이 있다.

본 발명은 상기와 같은 종래기술의 문제점을 해소하여 외국어 콘텐츠의 동영상 또는 이미지와 함께 현재와 다음 학습대상이 되는 외국어 문장과 그에 대응되는 자국어 자막을 화면에 함께 표시하여 학습자가 이를 보면서 학습할 수 있는 다양한 학습방법을 제시하기 위한 것이다. 외국의 영화, 드라마 등이 사용 언어를 달리하는 다른 나라의 사람들이 자국어 자막과 함께 사용하는 경우 외국어 학습의 훌륭한 교재가 될 수 있다는 것은 주지의 사실이다. 그런데 그러한 영화 등은 원래 다른 나라 사람들의 언어 학습 목적으로 만들어진 것이 아니기 때문에 이를 외국어 학습의 목적으로 사용하려면 그 목적에 부합하는 기본적인 기술적 과제들이 해결되어야 하고, 그러한 기술적 토대 위에서 학습자가 지루하지 않고 자신의 능력이나 학습단계 및 학습을 하는 주변 환경 등에 맞추어 다양하게 사용할 수 있는 학습방법들이 개발되어야 한다.

본 발명의 상기와 같은 목적을 이루기 위하여 우선적으로 해결되어야 할 기술적 과제들은 다음과 같다.

(1) 학습자가 단말기에 하는 의사전달이 종래와 같이 버튼을 누르는 것에 의하지 않고 학습자의 음성전달에 의하려면 종래에 버튼을 누르던 상황에서 단말기가 학습자의 음성입력을 대기하는 상태(이하 대기상태라고 한다)를 출현시켜서 학습자가 음성을 입력할 수 있도록 하여야 한다. 이를 위하여 음성인식 기능을 실행하는 프로그램에서는 프로그램의 시작과 함께 그 대기상태가 출현되도록 해야 하고, 그 이후에도 단말기의 버튼을 누르거나 화면을 터치하지 않고도 대기상태가 출현되도록 프로그램이 구성되어야 한다.

(2) 학습자가 대기상태에서 음성입력을 하면 단말기는 학습자가 말하는 음성의 내용을 인식한 후 그것이 단말기에게 특정한 기능을 수행할 것을 요구하는 명령에 해당하는 경우 그 명령 받은 기능을 수행하도록 하여야 한다. 이를 위하여서는 학습자가 단말기에 음성으로 전달하고자 하는 음성 명령 표현들이 별도로 단말기 등에 준비되어 저장되어 있어야 하고 단말기는 학습자의 음성 입력이 이 준비된 명령어에 해당하는지 여부를 판단하여 그에 해당하는 경우 대응되는 기능을 실행시킬 수 있게 하여야 한다.

(3) 외국어 콘텐츠에 있는 외국어 표현을 사용하여 학습자와 단말기가 상호 음성전달에 의한 대화 형식으로 학습이 진행되게 하려면 단말기가 먼저 학습대상 문장을 콘텐츠 음성 또는 TTS 음성으로 들려주고 학습자가 이를 따라서 말하는 학습방법이 구비되어야 한다. 이러한 학습방법에 의하여 학습자는 정확한 발음방법과 정확한 외국어 표현내용을 숙지할 수 있게 된다. 이러한 학습을 진행하는 과정에서는 학습자가 학습대상 문장을 얼마나 정확하게 말하였는지 여부를 판단하여 그 판단결과에 따라 단말기가 다른 대응을 하게 하여야 한다. 즉, 학습자가 학습대상 문장을 정확하게 말한 경우에는 학습이 충분히 된 것으로 판단하고 다음 문장의 학습을 할 수 있도록 하고 그렇지 못한 경우에는 현재 문장에 대한 학습을 더 하도록 하여야 한다. 그런데 학습자가 말한 내용이 현재의 학습대상 문장과 일치하는지 여부를 판단함에 있어서 학습자의 외국어 발음 능력과 음성인식 프로그램의 인식능력의 한계로 인하여 완전히 일치하는 결과를 얻어 내는 것이 지나치게 어려워 계속하여 현재의 문장만을 가지고 학습할 것을 요구하게 되면, 학습자가 지친 나머지 학습을 포기하게 될 수도 있고 한 문장에 매달려 지나치게 많은 시간을 소비하는 경우 자연스러운 대화 형식의 학습이 저해될 수 있다. 따라서 이러한 문제점을 해결하여야 자연스러운 대화 형식의 학습이 가능하게 된다.

(4) 본 발명이 대화 형식의 외국어 학습방법이 되게 하려면, 단말기와 학습자가 1 대 1로 한 문장씩을 번갈아 말하는 대화 형식으로 학습을 하는 수단이 마련되어야 한다. 그렇게 하기 위하여서는 현재의 문장이나 여러 개의 문장들에 대하여 단말기가 들려주는 음성을 듣고 학습자가 따라서 말하는 학습과정만으로는 충분하지 않고, 학습자가 그러한 학습과정에 의하여 익힌 능력을 가지고 실제로 단말기와 1 대 1식의 대화를 하고 그 결과에 따라서 학습이 계속 진행될 수 있도록 하는 학습방법이 마련되어야 한다.

(5) 종래의 버튼을 누르거나 화면터치를 하면서 학습을 진행하는 방식은 학습자가 버튼을 눌러야 할 때가 언제인지를 판단하여 그 때(예컨대 하나의 학습대상 문장에 대한 비디오나 오디오의 실행이 끝날 때)가 될 때까지 기다렸다가 다음 문장을 실행하라는 버튼을 눌러서 실행하도록 하면 되었으므로 특별히 학습자가 버튼을 누를 시점에 대한 고려를 할 필요가 없었다. 그러나 학습자의 음성전달이 버튼을 누르는 동작을 대신하게 하려면 학습자의 음성을 전달받기 위한 대기상태가 종래에 학습자에 의하여 버튼이 눌리던 시점에 출현되도록 하여야 한다. 따라서 대기상태가 출현하여야 할 적정 시점을 산출하여 그에 관한 정보를 단말기에 전달할 수 있어야 비로소 대화 형식의 학습을 진행할 수 있게 된다.

(6) 학습자가 외국어 콘텐츠에 들어 있는 음성 또는 자막 상의 외국어 문장표현들과 학습자가 그 해당 문장을 말하려는 의도를 가지고 해당 문장을 따라서 읽어서 생성되는 문자 표현들 사이에는 음성 인식 프로그램의 특성에 의하여 상당한 차이가 생기게 되는데, 이러한 차이를 극복할 수 있는 수단이 마련되면 보다 자연스러운 대화 형식의 외국어 학습이 가능하게 된다.

(7) 학습자는 외국어 발음 능력에 따라 학습대상 문장의 일부(음소나 음절, 단어의 형태를 모두 포함한다) 또는 전부를 학습대상 문장과 동일하게 인식되도록 말하지 못하는 경우가 발생하므로 학습자가 틀리는 부분을 확인시켜 학습자에게 보여주어 알게 하면 보다 효율적인 학습이 될 수 있다.

위와 같은 기본적인 기술적 과제들은 단말기에서 본 발명이 제시하는 학습방법들을 실행시킬 수 있게 하기 위한 선결 과제에 해당한다. 이러한 선결과제들이 해결된 후에는 학습자가 영화 등 외국어 콘텐츠에 들어 있는 스토리 전개 상황에 맞는 정확한 외국어 표현들을 그 상황을 나타내는 동영상이나 이미지를 보고, 외국어 콘텐츠에 들어 있는 원어민의 음성이나 TTS 음성을 들으며, 그 보고 들은 것들을 토대로 자신의 음성으로 직접 말을 할 수 있도록 하여 단말기와 학습자가 1 대 1의 대화 형식으로 학습을 진행하도록 하고, 학습자가 자신의 학습능력과 학습단계 및 학습을 하는 주변의 상황 등에 따라서 지루함을 느끼지 않고 효율적으로 학습을 계속할 수 있도록 하는 다양한 학습방법들을 개발하여 제공하여야 한다. 이러한 학습방법들을 제시하는 것이 본 발명의 중심 과제이다.

또한 영화 등은 각종 언어로 자막이 부가되어 언어를 달리하는 여러 나라의 사람들이 감상하게 되는데, 언어를 달리하는 나라 사람들 간에는 다른 나라 사람을 위한 자막은 그 자체로 제2외국어를 학습하기 위한 훌륭한 교재가 될 뿐만 아니라 학습대상 언어를 보다 정확하게 이해하는데도 도움이 된다. 본 발명은 자국어가 아닌 다른 나라의 언어로 만들어진 자막(이하 제2 외국어 자막이라 한다)을 영화 등을 이용한 외국어 학습을 위하여 활용하는 방법 또한 제시하기 위한 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 단말기의 음성인식 기능과 TTS 기능을 이용한 상호 음성전달에 의한 대화 형 외국어 학습방법은, 다수개의 외국어 학습대상 문장들이 텍스트들로 구비된 외국어 콘텐츠를 이용하여 단말기와 학습자가 상호 음성전달에 의한 1 대 1의 대화방식으로 외국어를 학습시키는 방법에 있어서, 단말기가 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면 표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려 주고, 그에 대하여 학습자가 음성 입력을 하면 단말기가 그 입력된 내용을 인식하여 그에 따른 대응을 한 다음 다시 음성 입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려 주고, 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써 학습자가 단말기의 화면 터치를 하지 않거나 화면 터치를 예외적인 경우로 최소화하여 학습자와 단말기가 서로 음성전달에 의하여 1대 1의 대화 형식으로 학습이 진행되는 것을 특징으로 한다.

본 발명은 또한 학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드와 같은 저장장치에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 단말기가 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 저장된 특정 음성명령어들 중의 어느 하나와 일치하면 그 해당 음성 명령어의 내용에 대응되는 기능을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려 주는 것을 특징으로 한다.

본 발명은 상기 대비 단계에서 학습자가 입력한 음성의 내용이 미리 저장된 음성 명령어의 어느 것과도 일치하지 않으면, 본 발명이 제시하는 여러 가지 학습방법에 따라서 각기 다른 대비대상 문장과 대비하고 그 대비결과에 따른 반응을 달리하면서 다양한 방법의 학습을 가능하게 하는 것을 특징으로 한다. 각기 다른 구체적인 학습방법은 뒤에 자세히 설명한다.

본 발명은 또한 상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 동영상 또는 이미지를 표시하여 학습자가 볼 수 있도록 하는 것을 특징으로 한다.

본 발명은 또한 상기 단말기의 화면에 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 그 각 학습대상 문장에 대응되는 학습자의 자국어 자막이 학습자의 선택에 따라서 각 함께 표시되거나 표시되지 않도록 하는 것을 특징으로 한다.

본 발명은 또한 학습대상이 되는 언어와 학습자의 자국어가 영어가 아닌 경우 현재 학습대상 문장과 다음 학습대상 문장에 각 대응되는 영어 자막을 학습자의 자국어 자막과 함께 화면에 표시하는 것을 특징으로 한다.

본 발명은 또한 학습자가 복수의 학습방법을 함께 구비하고 현재 학습하는 방법에서 다른 학습방법으로의 전환을 화면을 터치함이 없이 음성명령에 의하여 하는 것을 특징으로 한다.

본 발명은 또한 단말기의 화면에 학습자가 현재 사용하고 있는 학습방법을 표시하고 그 표시가 학습자가 음성명령에 의하여 다른 학습방법으로 바뀜에 따라 함께 바뀌는 것을 특징으로 한다.

본 발명은 또한 학습자가 음성 명령에 의하여 전환할 수 있는 학습방법들의 목록을 학습자의 음성명령에 의하여 화면에 표시하여 주는 것을 특징으로 한다.

본 발명은 또한 학습자가 사용할 수 있는 음성명령어들의 목록을 학습자의 음성명령에 의하여 화면에 표시하여 주는 것을 특징으로 한다.

본 발명은 또한 학습자가 학습중인 학습대상 문장의 번호와 학습자가 학습과정에서 획득한 점수를 화면에 표시하여 주는 것을 특징으로 한다.

본 발명은 또한 학습자가 단말기의 음성 입력 대기상태에서 학습대상 문장을 입력할 때 마다 학습대상 문장들 중 정확하게 말하지 못한 단어가 하나 이상 있는 경우에 그 단어나 단어들을 화면에 표시하여 주는 것을 특징으로 한다.

본 발명은 또한 학습자가 입력한 음성과 학습대상 문장이 유사한지 여부를 판단함에 있어서 그 유사성 여부를 판단하는 방법이 학습대상 문장의 길이와 학습자가 지정한 학습 난이도의 두 가지 중 어느 하나 또는 둘 모두에 따라서 달라지는 것을 특징으로 한다.

본 발명은 또한 상기와 같은 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법을 포함하는 앱인 것을 특징으로 한다.

본 발명에 따른 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법은, 학습자가 단말기를 이용하여 마치 원어민 친구나 선생님이 항상 동행하면서 외국어 콘텐츠의 한 장면으로 들어가 1 대 1로 대화를 나누고 단말기가 학습자가 말한 외국어 문장이 올바른지를 바로 평가하여 그에 따른 반응을 보이면서 콘텐츠의 스토리를 따라가면서 스토리의 상황전개에 맞는 정확한 외국어 문장을 계속하여 말하도록 하여 자연스럽게 외국어 학습을 할 수 있게 하는 효과가 있다. 이와 같은 학습방법은 비용이 많이 들지 않고 시간과 장소에 구애 받지 않으며 학습자의 열의에 따라서는 집중적인 반복 학습을 통하여 단기간에 외국인들의 정확한 발음과 억양을 익히는 등 전반적인 외국어 학습의 효과를 볼 수 있다.

본 발명은 학습자가 단말기에 전달하는 거의 모든 명령들을 화면터치 방법이 아니라 자신의 음성에 의한 음성명령에 의하고, 다양한 음성명령어들의 목록을 통하여 어떠한 음성명령어들을 사용할 수 있는지도 확인할 수 있기 때문에, 그러한 명령어들을 익혀서 말하는 과정에서도 외국어를 말하는 능력이 향상되게 되고 화면터치를 최소화하기 때문에 화면 터치로 인하여 대화 형식의 학습이 끊기는 것을 방지할 수 있다.

본 발명은 화면에 학습대상 문장에 대응되는 동영상이나 이미지를 표시하기 때문에 학습자가 이를 보고 스토리가 전개되는 상황에 맞는 외국어 표현들을 그 상황과 함께 학습하여 기억하게 되고, 기본적으로는 단말기의 화면에 학습대상 문장과 그 자막을 표시하여 주는 것에 의하여 학습자가 말하는 외국어의 표현의 의미와 용법을 이해하면서 학습을 할 수 있고 나아가 학습방법에 따라서는 정답에 해당하는 학습대상 문장이 보이지 않는 상태에서 집중적인 듣기와 말하기를 연습함으로써 효과적이고 다양한 방법으로 외국어를 학습할 수 있게 된다.

본 발명은 또한 학습대상이 되는 언어와 학습자의 자국어가 영어가 아닌 경우 현재 학습대상 문장과 다음 학습대상 문장에 각 대응되는 영어 자막을 학습자의 자국어 자막과 함께 화면에 표시하여 학습대상 언어에 대한 보다 깊이 있는 이해가 가능해지고 간접적으로 영어도 함께 학습할 수 있게 된다.

본 발명은 또한 학습자가 하나의 단말기에서 복수의 학습방법들을 함께 구비하고 음성명령에 의하여 사용가능한 다양한 학습방법들의 목록을 보고 필요한 학습방법으로 전환해 가면서 학습자의 학습단계와 상황에 맞는 학습방법들을 편리하게 사용할 수 있어서 지루하지 않게 외국어 학습을 할 수 있게 된다.

본 발명은 또한 학습자가 정확하게 말하지 못한 단어들을 화면에 표시하여 줌으로써 학습자가 정확한 발음과 억양을 구사하기 위하여 노력하게 되고, 학습대상 문장의 길이와 학습자가 지정한 학습 난이도에 따라서 유사성의 판단 방법을 달리 적용할 수 있어서 학습대상 문장의 난이도와 학습자의 학습 단계에 맞는 적정한 난이도의 학습을 할 수 있게 해준다.

도 1은 본 발명에 따른 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법에서 명령어 인식과정의 흐름도
도 2는 본 발명에서 학습자의 음성입력에 의한 외국어 학습과정 중 학습모드의 흐름도
도 3은 본 발명에서 학습자의 음성입력에 의한 외국어 학습과정 중 대화모드의 흐름도

앞에서 설명한 발명의 기술적인 선결 과제를 해결하기 위하여 본 발명이 채택한 방법들을 구체적으로 설명하면 다음과 같다.

(1) 학습자가 종래와 같이 버튼을 누르거나 화면을 터치하지 않고 단말기에 음성 전달을 하고 단말기가 이에 반응한 후 다시 학습자가 음성을 전달함으로써 단말기와 학습자가 대화 형식의 학습을 계속하여 할 수 있게 하기 위하여 본 발명은 다음과 같은 방법을 사용한다.

본 발명에 따른 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법은 음성인식 기능과 TTS(Text to Speech) 기능을 가진 스마트폰, 태블릿 PC, 노트북, PC 등 화면이 있는 단말기에 본 발명에서 제시하고 있는 학습방법을 포함하는 앱(app, application의 약자) 또는 그와 유사한 프로그램을 설치함으로써 구현될 수 있다. 본 발명의 명세서에서 제시하는 실시 예는 스마트폰에서 실행되는 앱의 개발 도구들 중의 하나인 안드로이드 스튜디오(Android Studio)에서 컴퓨터 프로그래밍 언어 중의 하나인 자바(JAVA) 언어를 사용하여 구현된 것이다(이하 본 발명의 명세서에서 실시 예를 설명할 때 다른 언급이 없는 한 위 개발도구와 언어에 의하여 구현되는 실시 예를 가지고 설명 한다). 그러나 본 발명은 안드로이드 스튜디오가 아닌 다른 개발도구나 다른 컴퓨터 언어를 사용하여 구현할 수도 있고 단말기도 스마트폰이 아닌 다른 기기에서 구현될 수도 있으며, 스마트폰에서 구현하는 경우 그 운영체제도 안드로이드에 국한되지 않고 애플사의 아이폰의 운영체제 등 다른 것들도 사용될 수 있다.

상기 외국어 콘텐츠는 외국어 표현이 있는 영화, 드라마, 뉴스 등 외국어 표현과 이를 번역한 자막이 있는 동영상(비디오)을 사용한다. 이러한 외국어 콘텐츠에서 음성과 영상 및 텍스트 등의 기본 자료들을 추출하여 저장하는 방법에는 제한이 없으므로 본 발명의 목적을 달성하기 위하여 사용가능한 모든 방법들을 사용할 수 있다. 이러한 저장방법의 예로는 외국어 콘텐츠를 단말기 내의 특정 폴더에 저장하여 두고 단말기가 이를 읽어 들여 실행시키는 방법, 클라우드와 같은 단말기 외부의 저장장치에 저장된 콘텐츠를 사용하는 방법, 인터넷의 서버 등에 저장하고 이를 스트리밍의 방법으로 내려 받아 사용하는 방법 등이 모두 사용될 수 있다. 구체적인 콘텐츠의 저장 형태도 데이터베이스와 같은 데이터 저장용 프로그램을 만들어 여기에 자료들을 분류하여 저장하는 방법과 그러한 것을 만들지 않고 외국어 텍스트, 자국어 및 제2 외국어 자막의 텍스트, 명령어, 자막의 시간정보, 학습성적 등과 같이 각각의 자료 들을 텍스트스위처(textswitcher), 해시맵(Hashmap), 쉐어드프레퍼런스(sharedpreference) 등과 같이 프로그램 내에서 파일의 형태로 자료를 저장하였다가 현출시켜 사용하는 방법 등을 적절하게 채택하여 사용할 수도 있다. 그리고 외국어 콘텐츠의 전체 또는 일부분, 나아가 각 학습대상 문장들을 저장장치 또는 저장 프로그램으로부터 불러들여 실행시키는 방법도 본 발명의 목적인 자연스러운 대화 형식의 학습 진행을 위하여 사용되는 오디오플레이어 및 비디오 플레이어의 성능이나 특성에 맞추어 여러 가지 방법을 사용할 수 있다. 예를 들면 특정한 문장에 대한 화면이나 음성을 재생시키기 위하여 미디어플레이어 등의 실행 프로그램에서 해당 콘텐츠의 특정 재생 시점(학습대상 문장이 있는 부분)으로 이동시켜 재생(플레이)을 할 수도 있고, 해당 미디어플레이어나 단말기의 성능 차이로 정확한 시작 시점부터 종료 시점까지의 재생이 어려운 경우에는 콘텐츠를 각 학습대상 문장 단위로 분할하여 저장한 후 이를 실행시키는 방법을 택할 수도 있다. 이와 같은 방법들은 각기 장점과 단점들을 가지고 있으므로 학습대상이 되는 콘텐츠의 크기나 단말기의 저장 용량과 성능 등의 조건들에 맞추어 적절하게 선택하여 실시할 수 있다.

본 발명을 구현한 실시예의 앱에서는 안드로이드 스튜디오가 지원하는 텍스트 스위처(Text Switcher) 기능을 이용하여 학습대상 문장인 외국어 동영상의 외국어 자막에 있는 문장들을 텍스트 스위처에서 보여주는 기본문장들의 배열(String array)로 입력시켜 프로그램 내에 저장하고, 이에 대응되는 자국어 자막과 제2 외국어 자막의 내용 및 자막이 화면에 표시되는 시간에 대한 정보들을 각 해시맵{Hash map, 자료를 키(key)와 그에 대응되는 값(value)의 배열 형태로 저장하여 두고 필요에 따라 읽어 들여 사용하는 기법}의 키와 값의 형태로 프로그램 내에 저장한 후, 각 학습대상 문장에 대응되는 각 자국어 자막과 제2 외국어 자막 및 소리파일과 동영상 또는 이미지 파일에도 텍스트 스위처에서 보여주는 학습대상 문장들의 일련번호와 같은 번호를 부여하여 서로 대응되도록 하였다. 단말기의 화면에는 필요에 의하여 보이지 않게 하는 경우를 제외하고는 항상 현재의 학습대상 문장과 다음 학습대상 문장 및 각 문장에 대응되는 자국어 자막과 제2 외국어 자막이 표시되고 학습의 진행에 따라서 일련번호가 다른 새로운 학습대상 문장들과 함께 대응되는 자막의 내용이 표시된다. 각 학습대상 문장에 대한 콘텐츠 음성은 단말기가 각 문장번호에 대응시켜 저장된 오디오 파일이나 비디오 파일을 실행시켜 소리와 동영상을 들려주고 보여주는 방법을 사용하고, 단말기의 TTS 음성은 단말기가 학습대상 문장이나 자막의 문장을 읽어줌에 따라서 소리가 나게 한다. 이는 앱의 내용이 간단하여 관리가 용이하면서도 학습자가 단말기와 상호 음성전달에 의하여 자연스럽게 단말기와 대화 형식으로 외국어 학습을 진행한다는 본 발명의 목적에 부합하도록 적절하게 구현한 경우에 해당하지만 하나의 실시예에 해당할 뿐이므로 본 발명의 권리범위는 이에 한정되지 않고 이와 다른 방법을 사용하더라도 본 발명의 청구항 기재 내용을 실시하는 여러 변형의 형태를 모두 포함한다.

본 발명에 따른 단말기의 음성인식 기능과 TTS 기능을 이용한 상호 음성전달에 의한 대화 형 외국어 학습방법은 상기 단말기가 작동되는 순간부터 종료 시까지의 과정이 대부분 학습자와 단말기 사이의 음성전달에 의한 대화 형식으로 진행이 되고, 그 진행과정에서 학습자가 단말기의 화면을 접촉하거나 버튼을 누르는 동작으로 단말기를 작동하게 하는 것을 최소화시킨 것을 특징으로 한다. 여기에서 학습의 전 과정을 100% 음성전달방식으로만 진행한다고 하지 아니한 것은 학습의 진행과정에서 단말기나 프로그램이 가지는 특성이나 한계로 인하여 접촉방식에 의하지 않고는 대기상태 출현이 안 되는 특수한 상황이 발생하거나 지나치게 복잡한 과정을 거쳐서 구현되는 음성전달방식 보다는 접촉방식이 오히려 자연스러운 대화 형식에 더 유리한 상황 등 불가피하게 접촉방식을 병행할 수밖에 없는 경우가 있기 때문이다. 본 발명은 실질적으로 중요한 대부분의 방식을 음성전달방식에 의하여 진행하는 것을 특징으로 하므로 본 발명의 권리범위를 회피하기 위하여 의도적으로 어느 정도의 접촉방식을 혼용하더라도 실질적인 관점에서 볼 때 학습 진행과정의 많은 부분을 음성전달방식에 의한다면 그러한 실시형태는 본 발명의 권리범위를 벗어날 수 없는 것이다. 본 발명의 실시예에서는 단말기가 앱을 실행하기 시작하여 첫 화면이 표시될 때부터 단말기가 학습자의 음성입력을 대기하는 상태에 있음을 소리신호로 알리고 화면에도 이를 표시하여 학습자가 음성을 입력할 수 있는 상태가 되었음을 알 수 있도록 한다. 이러한 기능은 안드로이드 스튜디오에서 지원하는 onStart 함수와 같이 프로그램이 시작될 때에 실행될 내용에 대기상태를 출현시키라는 명령을 포함시켜서 구현할 수 있다. 단말기가 이러한 대기상태를 출현시키면 학습자는 미리 정의된 음성명령어를 말하거나 단말기의 화면에 표시되는 학습대상 문장을 읽는 방법으로 음성전달을 하고 단말기가 전달된 음성의 내용을 인식하여 그에 따른 반응을 하면서 학습을 진행하게 된다. 실시예에 따라서는 단말기가 먼저 첫 학습대상 문장을 읽어 준 후 대기상태를 출현시켜 학습자가 따라서 말을 하도록 할 수 있다. 학습자는 단말기가 읽어준 현재의 문장을 따라서 읽음으로써 현재의 문장부터 시작하는 학습모드의 학습을 진행하거나 아니면 다른 챕터 또는 다음 문장 등으로 이동하라는 등의 명령어를 말하여 원하는 챕터나 문장 등으로 이동을 한 후 학습을 진행할 수도 있다. 이와 같은 학습자의 음성입력에 대하여 단말기는 그 음성입력이 명령어에 해당하는지 또는 학습대상 문장들 중의 어느 하나와 동일하거나 동일 범주에 속하는지 여부 등에 대한 판단을 한 후 그 결과에 따라서 반응을 하게 되는데 그러한 각 반응에는 언제나 마지막에 학습자가 다음 음성입력을 할 수 있도록 대기상태를 출현시켜 주는 것을 포함한다. 이와 같은 과정에 의하여 본 발명의 실시 례에서는 앱이 시작되어 표시된 음성입력 대기화면에서 학습자가 단말기에 외국어 음성전달을 하고 그에 대하여 단말기가 반응을 하면서 학습을 진행하다가 최종적으로 학습을 끝내게 되는 과정의 대부분을 종래와 같은 접촉방식이 아니라 음성전달 방식으로 진행할 수 있게 된다.

단말기와 학습자가 상호 음성전달에 의하여 끊이지 않고 자연스러운 대화 형식으로 학습을 이어나갈 수 있게 하려면 대기상태가 소멸되지 않게 하여야 한다. 단말기의 음성입력 대기상태가 쉽게 소멸되는 것을 방지하기 위하여 학습자가 단말기가 대기상태에 있는 것을 인식하게 되면 가장 간단한 어떠한 표현이라도 외국어로 인식되는 말을 하면 단말기는 이를 현재의 문장을 잘못 말한 것으로 인식하여 현재의 문장을 콘텐츠 음성 또는 TTS 음성으로 들려준 후 다시 대기상태로 전환하고 소리 신호를 내어 학습자가 화면을 보지 않고도 그러한 사실을 알 수 있게 한다. 그 결과 학습자는 단말기가 대기상태에 있음을 인식한 경우 현재 문장 속의 한 단어와 같이 가장 간단한(그러나 음성인식프로그램이 요구하는 최소한의 길이 이상의) 외국어를 음성으로 전달하기만 하면 대기상태가 소멸되는 것을 방지할 수 있으므로, 학습자는 원하는 만큼 음성 입력에 의한 대화 상태를 유지할 수 있게 된다. 그리고 학습자가 현재의 문장에 대한 학습을 마친 후 다음 문장으로 넘어가야 하는데 학습자가 계속하여 미리 정해진 정도 이상으로 유사하게 현재의 문장을 말하지 못하는 경우에는 “yes", "okay", “next”, “next sentence”와 같이 간단하고 단말기가 인식하기 용이한 음성 명령을 하거나, “Would you please to speak the next sentence for me?”와 같이 간단하지 않더라도 그 명령어를 말하는 것 자체가 외국어 학습이 될 수 있도록 사전에 정해진 음성 명령어를 말함으로써 다음 문장의 학습으로 넘어갈 수 있게 하였다. 이와 같은 수단들에 의하여 학습자는 단말기의 대기상태가 소멸하는 것을 막을 수 있으므로 자연스러운 대화 형식의 학습 진행이 끊기는 것을 방지할 수 있다. 본 항에서 설명한 부분들을 구현하기 위한 보다 자세한 기술적 구성들은 본 발명의 기술이 적용되는 분야에서 보통의 지식을 가진 사람에게는 공지의 기술들이므로 보다 상세한 설명은 생략한다(이하 본 명세서 내의 기술적 구성을 설명하는 다른 항들에서도 해당 기술이 적용되는 분야에서 보통의 지식을 가진 사람에게 공지의 기술에 해당하는 부분에 대하여는 보다 자세한 설명을 생략한다).

(2) 학습자가 단말기의 음성입력 대기상태에서 음성명령어를 입력함으로써 단말기는 학습자가 말하는 각 음성명령의 의미를 인식한 후 명령 받은 기능을 수행할 수 있도록 하여야 한다. 이를 위하여서는 학습자가 단말기에 음성으로 전달하고자 하는 모든 명령 표현들이 별도로 단말기 등 저장장치에 준비되어 저장되어 있어야 하고 단말기는 학습자가 말하는 표현이 이 준비된 명령어에 해당하는지 여부를 판단하여 그에 해당하는 경우 단말기가 그 명령 내용에 따른 반응을 하면서 학습이 진행되도록 하여야 하는데, 학습자의 음성전달에 대하여 단말기가 반응하는 방식은 본 발명이 목표로 하는 상호 음성전달에 의한 대화 형식의 외국어 학습이 가능하도록 하기 위하여 특별히 고안된 방법을 사용하여야 한다. 즉, 단말기는 학습자의 음성입력을 받아들여 그 내용을 인식한 후 그것이 미리 저장된 명령어들 중의 어느 하나와 일치하면 해당 명령어에 대응되는 기능을 수행한다. 그러한 명령어는 학습대상 문장들 사이에서 단수 또는 복수의 문장만큼 앞으로 또는 뒤로의 이동, 챕터가 구분된 경우에는 전후의 챕터로의 이동 또는 특정 챕터로의 이동 등의 이동 명령, 복수의 학습방법들이 구비된 경우 다른 학습방법으로의 전환 명령, 학습을 끝내고 앱을 종료시키라는 명령 등이 포함될 수 있다. 그리고 상기 각종 명령에 의하여 대응되는 기능을 실행한 후에는 학습자가 다시 음성 입력을 할 수 있도록 대기 상태를 출현시키게 하여 상호 음성전달에 의한 대화 형식의 학습이 계속 될 수 있게 된다. 그러한 음성 명령어들의 일부 예를 표시하면 다음과 같다.

"yes, okay, next, next sentence"(다음 문장을 콘텐츠 음성 또는 TTS 음성으로 들려 줌),

"you speak this sentence"(현재 문장을 콘텐츠 음성 또는 TTS 음성으로 들려 줌),

"you speak next sentence"(다음 문장을 콘텐츠 음성 또는 TTS 음성으로 들려 줌

"please repeat this sentence"(현재의 문장을 단말기가 콘텐츠 음성 또는 TTS 음성으로 설정된 횟수만큼 반복하여 들려줌),

"music", "play music", "would you play a music for me"(해당 챕터의 콘텐츠에 대한 오디오 파일을 재생시킴),

"next chapter", "please go to next chapter", "would you please bring me to the next chapter"(다음 챕터로 이동함),

"previous chapter", "please go to the previous chapter", "would you please bring me to the previous chapter"(이전 챕터로 이동함),

"seventh chapter, chapter 7"(특정 챕터로 이동함),

"next 11, 20, 50, 100, 500, 1000"(숫자만큼 앞으로 이동함),

"previous 11, 20, 50, 100, 500, 1000"(숫자만큼 뒤로 이동함),

“artificial sound mode"(단말기가 들려주는 음성을 TTS 음성으로 전환함),

“original sound mode"(단말기가 들려주는 음성을 콘텐츠 음성으로 전환함),

"good job see you again soon"(학습결과 얻은 성적과 학습한 마지막 문장번호 등의 정보를 저장하고 학습을 종료함),

이와 같은 명령어들로 인하여 실시 례의 구성에 따라서는 앱이 시작되면서부터 앱을 종료시키는 마지막 순간까지 거의 모든 과정에서 종래의 접촉방식에 의하지 아니하고 음성전달방식에 의하여 학습을 진행할 수 있게 된다.

(3) 외국어 콘텐츠에 있는 외국어 표현을 사용하여 학습자와 단말기가 상호 음성전달에 의한 대화 형식으로 학습이 진행되게 하려면 단말기가 먼저 학습대상 문장을 콘텐츠 음성 또는 TTS 음성으로 들려주고 학습자가 이를 따라서 말하는 학습방법(이하 이를 학습모드에 의한 학습이라고 한다)이 구비되어야 한다. 이러한 학습방법에 의하여 학습자는 정확한 발음방법과 정확한 외국어 표현내용을 숙지할 수 있게 된다. 이러한 학습을 진행하는 과정에서는 학습자가 학습대상 문장을 정확하게 말하였는지 여부를 판단하여 그 판단결과에 따라 단말기가 다른 대응을 하게 하여야 한다. 즉, 학습자가 학습대상 문장을 정확하게 말한 경우에는 학습이 충분히 된 것으로 판단하고 다음 문장의 학습을 할 수 있도록 하고 그렇지 못한 경우에는 현재 문장에 대한 학습을 더 하도록 하여야 한다. 그런데 학습자가 말한 내용이 현재의 학습대상 문장과 일치하는지 여부를 판단함에 있어서 학습자의 외국어 발음 능력과 음성인식 프로그램의 인식능력의 한계로 인하여 완전히 일치하는 결과를 얻어 내는 것이 지나치게 어려워 계속하여 현재의 문장만을 가지고 학습할 것을 요구하게 되면 학습자가 지친 나머지 학습을 포기하게 될 수도 있고 한 문장에 매달려 지나치게 많은 시간을 소비하는 경우 자연스러운 대화 형식의 학습이 저해될 수 있다. 따라서 이러한 문제점을 해결하여야 보다 더 자연스러운 대화 형식의 학습이 가능하게 된다.

앞에서 본 음성입력 대기상태의 끊임없는 출현과 학습자가 단말기에 전달하는 각종 명령어에 의한 음성전달에 의하여 학습자는 현재 학습대상 문장을 단말기가 들려주는 콘텐츠 음성 또는 TTS 음성을 듣고 이를 따라서 말하는 학습 모드의 학습을 반복할 수 있게 된다. 이 학습과정에서 학습자는 단말기가 학습대상 문장을 콘텐츠 음성 또는 TTS 음성 중의 어느 하나로 들려 줄 것을 선택할 수 있다. 물론 이러한 선택도 화면터치가 아닌 음성명령에 의하여 할 수 있도록 한다. 정확한 발음을 들려주는 콘텐츠 음성은 듣기 훈련을 위하여도 필요하고 학습자가 정확한 발음으로 외국어를 말할 수 있도록 반복훈련을 하는데 매우 효과적이다. 그런데, 야간이나 소음으로 인하여 콘텐츠 음성을 잘 이해하기 어려운 상황에서는 TTS 음성이 더욱 명확하게 들릴 수 있어서 효과적이 될 수 있다. 학습자는 앞에서 일부 예시한 명령어를 보다 다양하게 준비하고 단말기의 음성을 콘텐츠 음성 또는 TTS 음성으로 상황에 맞추어 바꾸어 가면서 학습대상 문장의 학습을 반복할 수 있다. 그런데, 학습자의 능력과 콘텐츠 내용의 난이도에 따라서는 학습자가 단말기의 음성인식시스템에 현재 외국어 문장을 자막에 있는 외국어 문장의 내용과 완전히 같은 것으로 판단을 받을 수 있을 정도로 정확하게 말하는 것은 쉽지 않은 일이다. 이러한 경우에 학습자가 정확한 표현을 말하지 못했다고 하여 계속하여 같은 문장을 100% 정확하게 될 때까지 말하게 하기 보다는 학습자가 말한 내용의 정확성 여부의 판단에 유사성의 정도를 등급화하여 그 등급의 단계에 따라 단말기가 달리 대응을 하게 하면, 상기와 같은 문제점을 해소할 수 있다. 즉, 학습자가 말한 내용과 비교대상 문장(현재의 학습대상 문장과 다음 학습대상 문장이 여기에 포함된다)의 유사 정도를 판단할 때에 유사성의 정도에 등급을 두어 그 등급에 따라 미리 설정된 등급 이상인 것으로(학습대상 문장의 동일 범주에 속하는 것으로) 판명되면 학습대상 문장에 대한 학습이 어느 정도 된 것으로 처리하여 다음 문장을 들려준 후 음성입력 대기상태로 전환하고, 학습자가 말한 내용이 미리 설정된 등급 미만인 것으로 판명되면 비교대상 문장과 동일 범주에 속하는 말을 하지 못한 것으로 처리하여 현재 학습대상 문장을 다시 들려준 후 음성입력 대기상태로 전환하여 다시 말하게 하는 것이다. 이와 같은 방법을 사용함으로써 학습자가 포기하지 않고 자연스럽게 레벨을 향상시키면서 대화 형식의 외국어 학습을 하는 것이 가능하게 된다. 본 발명의 실시예에서는 비교대상 문장이 완전히 일치하는지 여부를 판정할 때에는 equals(), equalsIgnoreCase() 와 같은 함수를 사용하고 글자 수를 기준으로 판단할 때는 문장의 글자 수를 구하는 함수{length()}를 사용하여 양 문장의 글자 수를 구하여 그 차이를 계산한 후 그 차이의 정도에 따라 등급을 달리 부여 하였다. 단순한 글자 수 만을 가지고 판정하는 경우 현재의 문장과 다음 문장이 모두 동일 범주에 속하는 것으로 판정되는 문제가 발생할 수 있으므로 문장의 실제 내용을 비교하는 방법을 부가하는 방법(예컨대 첫 글자나 마지막 글자 또는 문장의 일부가 동일한지 등을 추가로 판정하게 하는 방법)으로 그러한 문제가 발생하지 않게 할 수 있다.

(4) 상기와 같은 방법들에 의하여 어느 정도의 학습이 된 학습자는 텍스트의 내용을 단말기가 들려주는 음성을 듣지 않고도 외국어 콘텐츠 내의 어느 문장을 스스로 말할 정도의 능력을 갖추게 된다. 본 발명이 대화 형식의 외국어 학습방법이 되게 하려면, 단말기와 학습자가 1 대 1로 한 문장씩을 번갈아 말하는 대화 형식으로 학습을 하는 수단이 마련되어야 한다. 그렇게 하기 위하여서는 현재의 문장이나 여러 개의 문장들에 대하여 단말기가 실행하는 것을 듣고 학습자가 따라서 말하는 상기 학습 모드의 학습과정만으로는 충분하지 않고, 학습자가 그러한 학습과정에 의하여 익힌 능력을 가지고 실제로 단말기와 1 대 1식의 대화를 주고받는 방식의 학습방법(이하 이를 대화 모드의 학습이라 한다)이 필요하다. 이를 위하여 본 발명에서는 학습자의 음성입력이 명령어가 아닌 경우 그것이 현재 학습대상 문장의 다음 문장과 동일하거나 동일 범주에 속하는 것인지를 검사하여 동일하거나 동일 범주에 속하는 경우에는, 학습자가 현재의 문장에 대한 학습모드의 학습이 아니라 학습자가 다음 문장부터 상기 대화 모드의 학습을 진행하기를 원하는 것으로 간주한다. 그리하여 학습자가 말한 문장의 다음 문장으로 이동하여 그 문장을 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려 준 다음 그 다음 문장으로 이동하여 대기상태를 출현시켜서 학습자가 단말기가 말한 문장의 다음 문장을 말하도록 한다.

(5) 본 발명에서는 대기상태가 출현하여야 할 적정 시점을 산출하여 그에 관한 정보를 단말기에 전달하기 위하여 다음과 같은 방법을 사용한다. 즉, 대기상태가 출현하여야 할 적정시간을 단말기가 해당 명령을 수행하거나 현재나 다음 문장을 실행시키는데 소요되는 시간(이하 이를 단말기 소요시간이라 한다)과 그 문장을 듣고 학습자가 따라서 말을 하는데 소요되는 시간(이하 이를 학습자 소요시간이라 한다)을 모두 고려하여 다음 대기상태의 출현시간을 정한다. 여기에서 단말기 소요시간은 단말기가 현재의 문장을 읽어주는 방법이 무엇이냐에 따라서 달라진다. 단말기가 현재의 문장을 콘텐츠 음성으로 들려줄 때는 외국어 콘텐츠에서 해당 문장이 얼마나 빨리 실행되는지에 따라서 달라지지만 TTS 음성으로 들려주는 시간은 해당 문장의 글자 수에 비례한다. 일반적으로는 콘텐츠 음성을 들려주는 시간이 TTS 음성으로 들려주는 것에 비하여 더 시간이 소요된다. 적정한 단말기 소요시간이나 학습자 소요시간은 학습대상 문장의 길이와 원래의 콘텐츠에서 해당 문장이 실행되는데 걸리는 시간을 고려하여 정하게 된다. 콘텐츠 음성의 실행시간은 자막에 들어 있는 시간정보에 의하여 자막이 표시되는 시간을 산정한 후 이를 고려하여 정하고, TTS 음성의 실행시간은 해당 문장의 글자 수에 비례하여 정하는 것이 보통의 방법이지만, 실시예에 따라서 문장의 길이와 실행시간 모두 또는 그 중의 어느 하나만을 고려하여 대기상태 전환시간을 설정할 수 있고 문장길이와 실행시간이 산정되면 그 산정결과를 그대로 적용할 수도 있고 문장길이나 실행시간을 여러 단계로 나누어 그 단계별로 다른 시간을 설정할 수도 있다. 이러한 대기상태 출현의 적정시간 산정이 보다 정교할수록 대화 형식의 학습이 더욱 자연스러워진다. 문장의 길이는 문장에 들어 있는 문자의 수를 산출하는 함수{예컨대 length()} 등을 사용하여 추출할 수 있고, 문장의 실행시간은 비디오의 자막 파일에서 추출할 수 있다. 자막 파일에는 각 자막이 화면에 표시되는 시간을 나타내는 정보가 들어 있는데, 각 자막 단위로 자막이 표시되기 시작하는 시간과 끝나는 시간(별도로 끝나는 시간이 표시되지 않는 경우에는 다음 자막의 시작 시간이 이전 자막의 종료 시간이 된다)을 포함하고 있으므로 끝나는 시간에서 시작하는 시간을 빼서 문장의 실행시간을 산출하면 되고, 자막에 따라서는 그 산출결과인 실행시간을 함께 표시하는 것도 있으므로 이를 사용하면 된다. 본 발명에서는 학습대상 문장을 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 해당 학습대상 문장에 대응되는 동영상이나 이미지를 보여주게 되는데, 동영상이나 이미지를 학습대상 문장을 들려주기 전이나 후에 보여주는 경우에는 이러한 동영상이나 이미지를 보여주는데 소요되는 시간도 단말기 실행시간에 포함시켜야 한다.

(6) 본 발명에서는 학습자의 음성입력이 음성 명령어가 아니어서 학습 대상 문장을 말한 것이라고 판단되는 경우 그 음성 입력을 단말기가 인식하여 생성한 텍스트와 학습 대상 문장의 내용 사이에서 음성 인식의 과정에서 발생하는 불일치(실제로는 일치하는 것임에도 음성 인식 프로그램의 특성으로 인하여 발생하는 불일치) 로 인하여 발생하는 문제를 다음과 같은 방법으로 해결한다. 즉, 학습자가 입력한 음성이 변환된 텍스트와 외국어 콘텐츠의 외국어 학습대상 문장의 양 문장을 대비함에 있어서 물음표(?), 느낌표(!), 쉼표(,), 마침표(.), 따옴표(" "), 붙임표(-), 가운뎃점(), 소괄호{()}, 중괄호({ }), 대괄호([ ])와 같은 문장부호나 문장 앞부분과 뒷부분에 잘못 부가된 공란과 중복되는 공란은 없는 것으로 처리하여 대비를 한다. 그리고 숫자의 표현을 아라비아 숫자로 표시한 것과 알파벳으로 표시한 것, 주어 뒤에 생략부호()를 사용하여 뒤에 오는 동사, 조동사를 축약형으로 표시한 것과 축약형을 사용하지 않고 원래의 형태로 표시한 것, 부정문을 생략부호()를 사용하여 축약형으로 표시한 것과 축약형을 사용하지 않고 원래대로 표시한 것, "going to"와 gonna, want to"와 wanna", "got to"와 gotta", 대소문자를 구분하여 사용하는 것과 구분하지 않고 사용하는 것은 이를 동일한 것으로 본다. 이와 같이 문자열 중 일부를 없는 것으로 처리하거나 동일한 것으로 처리하는 방법으로는 치환함수(replace 함수)를 사용한다. 실시예에 따라서는 위의 방법들 중의 일부만을 사용할 수도 있고 추가적인 방법을 더하여 사용할 수도 있다. 이와 같이 실제로는 일치하는 것임에도 음성인식의 과정에서 불일치한 것으로 표시됨으로 인하여 생기는 문제를 해결하기 위하여 고안된 보정방법을 사용함으로써 동일 또는 유사성의 판단이 보다 정확해진다.

(7) 본 발명에서는 학습자의 음성 입력에 대한 단말기의 인식 결과 학습자가 학습대상 문장을 100% 정확하게 말하지 못한 것으로 판명되는 경우, 학습대상 문장에 포함된 단어들 중 단말기의 음성인식 기능에 의하여 생성된 텍스트 내에 포함되어 있지 않은 단어들을 추출하여 이를 화면에 표시하여 줌으로써 학습자가 어떠한 단어들을 잘못 말하였는지를 알 수 있도록 한다. 이를 위하여 학습대상 문장과 음성 인식 결과 생성된 텍스트에서 각 띄어쓰기를 위하여 첨가된 공란에 의하여 분리시키는 함수(split 함수)를 사용하여 각 문장에 포함된 단어들을 추출한 후 학습대상 문장에는 들어 있지만 음성인식에 의하여 생성된 텍스트 내에는 포함되어 있지 않은 단어들을 추출하여 화면에 표시하는 방법을 사용한다.

이상과 같은 기술적인 선결과제들을 해결함에 따라서 단말기와 학습자가 1 대 1 식의 대화를 주고받으면서 외국어 학습을 하는 것이 가능하게 되는데, 이를 본 발명의 일 실시예에 의하여 도 1 내지 도 3을 참고로 개략적인 설명을 하면 다음과 같다.

본 발명에 따른 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법은 다수개의 외국어 학습대상 문장들이 텍스트들로 구비된 외국어 콘텐츠를 이용하여 상호 음성전달에 의하여 대화 형으로 외국어를 학습시키는 방법에 관한 것으로서, 도 1에 도시된 바와 같이 먼저 학습자가 단말기에 전달할 음성 명령어들을 텍스트 형태로 미리 단말기나 서버 또는 클라우드 등 저장장치에 저장한다(S11 단계). 상기 단말기에서 앱이 실행되어 화면이 표시될 때 학습자의 음성입력을 받을 수 있는 음성입력 대기모드 화면이 표시된다(S12 단계). 학습자의 음성입력을 받을 수 있는 상기 음성입력 대기모드 화면에서 학습자가 음성을 입력하면 음성인식 기능에 의하여 텍스트로 변환한 뒤(S13 단계), 미리 저장된 텍스트 형태의 명령어와 대비하여(S14 단계), 특정 명령어와 일치하면 상기 해당 명령어를 실행한 후(S15 단계) 다시 음성입력 대기모드 화면이 표시된다(S16 단계). 상기 대비 단계(S14 단계)에서 학습자가 상기 음성입력 대기모드 화면에서 입력한 음성의 변환된 텍스트가 특정 명령어와 일치하지 않으면 상기 학습자가 입력한 음성이 변환된 텍스트를 외국어 학습을 위한 텍스트로 인식한다.

단말기가 학습자의 음성입력을 외국어 학습을 위한 텍스트로 인식하는 경우, 도 2에 도시된 바와 같이 현재의 문장과 동일하거나 동일 범주에 속하는 것인지 여부를 검사한다(S21 단계). 상기 판단 결과(S22 단계) 상기 학습자가 입력한 음성이 변환된 텍스트와 상기 외국어 학습대상 텍스트 문장이 동일하거나 동일 범주에 속하는 경우 다음 외국어 학습대상 텍스트 문장으로 이동하고(S23 단계), 그 텍스트에 해당되는 외국어 콘텐츠의 음성 또는 그 텍스트 문장의 TTS 음성으로 들려준 후(S24 단계), 다시 음성입력 대기모드 화면이 표시되게 한다(S25 단계). 상기 판단 결과(S22 단계) 상기 학습자가 입력한 음성이 변환된 텍스트가 상기 외국어 학습대상 텍스트 문장과 동일하거나 동일 범주에 속하지 않는 경우 상기 학습자가 입력한 음성이 변환된 텍스트와 상기 외국어 학습대상 텍스트 문장이 동일하거나 동일 범주에 속한다고 판단될 때까지 이전에 재생하였던 외국어 콘텐츠의 음성 또는 그 텍스트 문장의 TTS 음성을 재생(S26 단계)한 후 대기상태를 출현시켜(S27 단계) 다시 말하도록 한다. 여기에서 학습자가 현재의 외국어 학습대상 문장에 대하여 계속하여 동일 범주에 속하는 음성입력을 하지 못하여 현재의 학습대상 문장에 대한 학습이 반복되는 경우 yes, okay, next, next sentence, you speak next sentence와 같이 사전에 정해진 명령어를 음성 입력하면(S28 단계) 현재의 해당 외국어 학습대상 문장에 대한 재생을 중단하고 다음 학습대상 문장으로 이동할 수 있게 한다(S23 단계).

다음으로 상기 대비(S14 단계) 결과 학습자의 음성입력이 명령어에 해당하지 아니하여 학습자의 음성입력을 외국어 학습을 위한 텍스트로 인식하는 경우, 도 3에 도시된 바와 같이 상기 학습자가 입력한 음성의 변환된 텍스트가 현재 학습대상 문장의 다음 문장과 대비하여 동일하거나 동일 범주에 속하는지를 검사한다(S35 단계). 검사 결과 현재 학습대상 문장의 다음 문장과 동일하거나 동일 범주에 속하면 해당 학습대상 문장의 다음 문장, 즉 현재 학습대상 문장의 다음 다음 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려주고(S36 단계), 음성입력 대기상태임을 알려(S37 단계) 학습자가 그 다음 문장을 말하게 한다.

본 발명에서는 위에서 설명한 학습모드와 대화모드를 기본적인 학습방법으로 하고 여기에 학습자의 학습능력과 학습단계 및 학습자가 학습을 하는 상황 등에 맞추어 적절하게 선택하여 사용할 수 있도록 위 기본 학습방법의 일부를 변형시키거나 추가하여 만들어진 다양한 학습방법들을 제시한다. 각 학습 방법들의 내용을 구체적으로 설명하면 다음과 같다.

(1) 각 학습대상 문장을 순차로 학습모드에 따라서 학습하는 방법

이 학습방법은 가장 기본적인 학습 모드의 학습방법에 해당한다. 앞에서 설명한 바와 같이 먼저 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠의 실행이 준비된 후, 단말기가 음성인식기능을 실행하기 위하여 학습자로부터 음성을 입력받는 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면 표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려 주고, 그에 대하여 학습자가 음성 입력을 하면 단말기가 그 입력된 내용을 인식하여 그에 따른 대응을 한 다음 다시 음성 입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려 주고 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써, 학습자가 단말기의 화면 터치를 하지 않거나 화면 터치를 예외적인 경우로 최소화하여 학습자와 단말기가 서로 음성전달에 의하여 1대 1의 대화 형식으로 학습이 진행되도록 한다. 이러한 방법에 의하여 단말기와 학습자가 대화 형식으로 상호 연속적인 음성 전달을 할 수 있게 된다. 단말기의 음성전달에 의하여 학습자는 외국어의 학습대상 문장을 들을 수 있게 되고 학습자의 음성전달에 의하여 학습자가 들은 학습대상 문장을 자신의 입으로 말을 하게 되므로 외국어 학습의 가장 기본에 해당하는 듣고 말하기를 연속적으로 할 수 있게 되는 것이다. 이 방법은 뒤에 설명하는 모든 학습방법의 기초가 된다(이하 이 부분을 ① 대화 형식의 연속적인 음성 전달 부분 또는 ① 구성 부분이라 한다).

학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드와 같은 저장장치에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 단말기가 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 저장된 특정 음성명령어들 중의 어느 하나와 일치하면 그 해당 음성 명령어의 내용에 대응되는 기능을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려 준다. 이러한 음성명령어에 의하여 단말기와 학습자가 화면을 터치함이 없이 연속하여 대화 형식의 상호 음성 전달에 의한 학습이 가능해진다(이하 이를 ② 학습자의 음성 명령어의 입력과 그에 따른 단말기의 대응 부분 또는 ② 구성 부분이라 한다).

상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 음성 명령어의 어느 것과도 일치하지 않으면, 단말기는 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 그 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 하는 방식의 학습을 진행한다. 이와 같은 진행방식(이하 이를 ③ 음성 입력이 음성 명령어가 아닌 경우의 대응 부분 또는 ③ 구성 부분이라 한다)에 의하여 학습자와 단말기 사이에 대화 형식의 연속적인 음성 전달에 의한 학습이 가능하게 되고, 학습자는 현재 학습대상 문장에 대한 학습을 끝내고 다음 학습대상 문장으로 넘어가기 위하여 최대한 단말기가 들려주는 음성과 유사한 발음과 억양으로 발음하기 위하여 노력하게 되므로 자연스럽게 외국어를 학습할 수 있게 된다.

상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 동영상 또는 이미지를 표시하여 학습자가 볼 수 있도록 한다. 이는 외국어 콘텐츠를 외국어 학습을 위한 교재로 활용하는 큰 이점이 될 수 있는데, 외국어 학습에 있어서는 그러한 표현이 사용되는 상황을 함께 기억하는 것이 어떤 표현을 암기하는데도 도움이 될 뿐만 아니라 그러한 표현을 어떠한 상황에서 사용하는 것이 적절한 것인지를 함께 기억할 수 있게 해주기 때문이다. 이와 같이 외국어 콘텐츠의 동영상이나 이미지를 화면에 표시하여 보여주는 것(이하 이를 ④ 콘텐츠 영상 표시 부분 또는 ④ 구성 부분이라 한다)은 사용례에 따라서 적절하게 선택하여 사용할 수 있다. 학습대상 문장에 대응되는 동영상 부분을 실행시켜 주게 되면 당연히 소리와 영상이 함께 재생되므로 콘텐츠 음성을 들려주기 위하여 별도의 소리파일을 재생시킬 필요가 없으나 이미지만을 보여주는 경우에는 별도의 소리파일을 재생시켜 콘텐츠 음성을 들려주게 된다. 그리고 학습대상 문장에 대응되는 콘텐츠 음성을 들려주지 않고 TTS 음성만을 들려주는 경우에는 소리의 재생을 포함하는 동영상은 실행시키지 않고 소리가 포함되지 않은 동영상을 보여주거나 이미지만을 보여주게 된다. 동영상을 보여는 주는 경우에는 단말기의 화면 중 현재와 다음의 학습대상 문장과 그 자막을 표시하여 주는 부분을 제외한 부분에 동영상을 실행시키는 공간을 확보하고 그 자리에 현재 학습대상 문장에 대응되는 동영상을 일반적으로 사용되는 동영상 실행방법을 사용하여 보여주면 되므로 특별한 설명을 요하지 않는다. 이미지를 보여주는 경우에는 학습대상 문장에 대응하는 이미지를 미리 준비하여 저장하였다가 해당 이미지를 단말기가 학습대상 문장을 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 3초 내지 4초간 보이게 하고 자동으로 사라지게 하는 것으로서 안드로이드 스튜디오가 지원하는 이미지 토스트(Image Toast) 기법을 사용할 수도 있고 동영상이 실행되는 화면의 자리에 사라지지 않고 고정적으로 보이게 할 수도 있다.

상기 단말기의 화면에는 뒤에서 설명하는 다른 학습방법과 달리 항상 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 그 각 학습대상 문장에 대응되는 학습자의 자국어 자막이 각 함께 표시되도록 한다. 학습대상 문장의 표현 및 그에 대응되는 자국어 자막에 의하여 학습자는 학습의 대상인 표현의 내용을 볼 수 있고 그 의미를 파악할 수 있게 되며, 현재의 학습대상 문장 및 그 자막과 다음 학습대상 문장 및 그 자막을 화면에 함께 표시하여 줌으로 인하여(이하 이를 ⑤ 현재 및 다음 학습대상 문장 및 각 자막을 표시하여 주는 부분 또는 ⑤ 구성 부분이라 한다) 단말기가 들려주는 소리의 내용과 의미를 함께 보면서 학습을 진행할 수 있게 된다. 즉, 학습자의 음성 입력이 현재 학습대상 문장과 동일하거나 동일 범주에 속할 정도로 유사한 경우에는 단말기가 다음 문장으로 이동하여 그것을 읽어주게 되는데 이 때 다음 학습대상 문장도 화면에 함께 표시되므로 학습자는 이를 보면서 단말기가 들려주는 음성을 들을 수 있게 되어 효율적인 학습을 할 수 있게 된다.

(2) 학습자가 단말기의 TTS 음성과 콘텐츠 음성을 연속하여 들은 후 말하도록 하는 학습방법

이 학습 방법은 상기 (1)의 학습 방법과 상기 ③ 구성 부분만 다르고 나머지 ①, ②, ④, ⑤의 각 구성 부분은 동일하다.

이 학습 방법에서는, 상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 음성 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 다음 학습대상 문장으로 이동하여 다음 학습대상 문장을 단말기의 TTS 음성으로 들려 준 후 같은 문장을 외국어 콘텐츠 음성으로 다시 들려준 다음 음성입력 대기상태로 전환하고 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장을 단말기의 TTS 음성으로 들려 준 후 같은 문장을 외국어 콘텐츠 음성으로 다시 들려준 다음 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 하는 방식의 학습이 진행된다. 이렇게 함으로써 학습자는 주변에 소음이 많은 길을 걸으면서 학습을 하는 것과 같이 단말기가 들려주는 콘텐츠 음성을 잘 듣기 어려운 상황에서 보다 명확하게 들리는 TTS 음성을 먼저 듣고 이어서 콘텐츠 음성을 듣게 되어 보다 분명하게 학습대상 문장의 내용을 파악할 수 있을 뿐만 아니라 학습대상 문장의 내용을 두 번 반복하여 듣게 되는 학습효과가 있다. 위 (1)의 학습방법과는 다른 특징을 가지고 있어서 주변상황이나 학습자의 학습능력 및 학습단계에 맞추어 사용할 수 있는 효용이 있다.

(3) 학습대상 문장을 학습자가 단말기의 음성을 들음이 없이 스스로 말한 후 단말기가 같은 문장을 다시 말하게 하는 학습방법

이 학습 방법은 상기 (1)의 학습 방법과 상기 ③ 구성 부분만 다르고 나머지 ①, ②, ④, ⑤의 각 구성 부분은 동일하다.

이 학습 방법에서는, 상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 음성 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 그 다음 학습대상 문장으로 이동한 다음 학습자가 말한 문장을 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 후에 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주어 다음 학습대상 문장을 학습자가 말하게 하고, 동일하거나 동일 범주에 속하지 않으면 학습자가 말한 문장을 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 후에 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 같은 문장(현재 학습대상 문장)을 학습자가 다시 말하게 하는 방식의 학습이 진행되는 것이다. 이는 위 (1)과 (2)의 학습방법에 의하여 학습을 한 결과 단말기가 먼저 들려주는 것을 듣지 않고도 스스로 말할 수 있을 정도의 단계가 된 경우에 사용할 수 있는 학습방법이다. 이 방법에 의하여 학습자는 자신이 먼저 말한 문장을 단말기가 다시 들려주므로 반복하여 학습을 하게 되는 효과가 있고, 자신이 먼저 말할 때 확신이 없었던 부분을 단말기가 다시 들려 줄 때 확인할 수 있는 효과도 있다. 또한 학습자는 단말기가 다시 들려 준 문장의 다음 문장을 스스로 말하게 되므로 따라 하기 방식의 학습모드인 위 (1), (2)의 방법만을 계속 사용하는 경우 지루함을 느끼게 되는 것을 방지할 수 있고, 본격적인 대화모드의 다음 학습방법으로 나가기 전에 사용할 수 있는 중간적인 학습방법으로서의 효용이 있다.

(4) 단말기와 학습자가 한 문장씩을 번갈아 말하도록 하는 대화모드의 학습방법

이 학습 방법은 상기 (1)의 학습 방법과 상기 ③ 구성 부분만 다르고 나머지 ①, ②, ④, ⑤의 각 구성 부분은 동일하다.

이 학습 방법에서는 학습자가 입력한 음성의 내용이 저장된 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 단말기가 다음 학습대상 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 후에 다음 다음 문장으로 이동하여 단말기의 화면에 다음 다음 문장과 그 다음 문장이 표시되게 하고 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 한다. 이렇게 함으로써 단말기와 학습자가 순차적으로 한 문장씩을 서로 음성 전달에 의한 대화 형식으로 말할 수 있게 된다. 중간에 학습자가 자신이 말하여야 할 문장을 동일하거나 유사하게 말하지 못하면 단말기가 학습자가 읽어야 할 문장을 들려주어서 학습자가 이를 따라서 다시 말할 수 있게 한다. 이러한 학습 방법은 상기 (1) 내지 (3)의 학습 방법에 의하여 어느 정도 학습이 된 학습자가 사용할 수 있는 학습 방법이다. 학습자가 학습한 내용에 기초하여 단말기와 1대 1의 대화 형식으로 학습을 진행할 수 있으므로 위 학습 방법들에 비하여 덜 지루하고 콘텐츠의 스토리를 따라서 계속적인 대화를 이어 나갈 수 있어서 역동적인 외국어 학습을 할 수 있게 된다.

(5) 위 (1)과 (4)의 학습방법을 혼합한 학습방법

이 학습방법은 위 (1), (4)의 학습방법과 상기 ③ 구성 부분만 다르고 나머지 ①, ②, ④, ⑤의 각 구성 부분은 동일한 것으로서, 상기 (1)과 (4)의 학습방법을 혼합한 것이다.

이 학습방법에서는 상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 명령어들 중의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 다음 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 그 다음 학습대상 문장으로 이동하여 그 문장을 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 학습자의 음성입력이 저장된 음성명령어들 중의 어느 것과도 일치하지 않고 다음 학습대상 문장과 동일하거나 동일 범주에 속하지도 않으면 현재 학습대상 문장과 동일하거나 동일범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 다음 학습대상 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알리고, 학습자의 음성 입력이 음성명령어들 중의 어느 것과도 일치하지 않고 다음 학습대상 문장이나 현재 학습대상 문장의 어느 것과도 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주어 학습자가 다시 말하게 한다.

이 구성은 위 (1)과 (4)의 각 학습방법의 각 ③의 구성 부분을 혼합한 형태의 것이다. 앞에서 설명한 바와 같이 (1)의 학습방법을 학습모드라고 하고 (4)의 학습방법을 대화모드라고 할 수 있는데 이 학습방법은 그 둘을 혼합한 형태이다. 즉 학습자의 음성 입력이 다음 학습문장과 동일하거나 유사하면 위 (4)의 학습방법 즉 대화모드에 의하여 단말기는 학습자가 말한 문장의 다음 문장인 다음 다음 학습문장을 말한 후 대기상태를 만들어 학습자의 음성 입력을 기다리고, 학습자의 음성 입력이 단말기가 들려준 문장과 동일하거나 유사하면 단말기는 위 (1)의 학습방법인 대화모드에 의하여 학습자가 말한 문장의 다음 문장을 말하고, 학습자의 음성입력이 현재 문장과 다음 문장의 어느 것과도 동일 또는 유사하지 않으면 학습자가 현재 문장을 잘못 말한 것으로 처리하여 단말기가 현재 문장을 다시 들려주고 학습자로 하여금 다시 말하도록 하는 것이다. 이는 현재 문장과 다음 문장이 서로 유사한 경우에는 학습자의 의도와는 달리 대화 모드의 학습을 우선시하게 되는 경우가 발생하는 단점이 있으나, 학습방법 자체를 바꾸지 않고도 학습자가 화면에 항상 표시되는 현재문장을 말하느냐 다음 문장을 말하느냐에 따라서 학습모드의 학습{위 (1)의 학습방법}을 하느냐 대화모드의 학습{위 (4)의 학습방법}을 하느냐를 선택할 수 있는 장점이 있어서 위 (1), (4)의 학습방법과 확실하게 구별되는 매우 유용한 학습방법이다. 앞에서 본바와 같이 본 발명에서는 화면에 현재 학습문장과 다음 학습문장 및 그 자막들을 모두 표시하므로 학습자가 그 중 어느 학습문장을 말하느냐에 따라서 학습 모드를 자동으로 바꾸는 효과를 가질 수 있기 때문이다.

(6) 학습자가 말하여야 할 학습대상 문장 중 일부의 단어들을 공란으로 표시하여 학습자가 들은 내용과 자국어 자막의 내용에 기초하여 유추하여 말하도록 하는 학습방법

이 학습 방법은 상기 (1)의 학습 방법과 상기 ⑤ 구성 부분만 다르고 나머지 ①, ②, ③, ④의 각 구성 부분은 동일하다.

이 학습 방법에서는 단말기의 화면에 현재의 학습대상 문장을 구성하는 각 단어들 중의 일부를 공란으로 표시하고 나머지 단어들은 그 내용을 표시하고, 다음 학습대상 문장의 내용 및 현재 학습대상 문장과 다음 학습대상 문장에 대응되는 학습자의 자국어 자막이 각 함께 표시되도록 하여, 학습자가 현재 학습대상 문장의 공란으로 표시된 단어들의 내용을 유추해가면서 현재 학습대상 문장을 말하도록 한다. 이 학습 방법은 위 (1) 내지 (5)의 학습 방법에 의하여 상당한 학습이 된 학습자가 사용할 수 있는 방법이다. 즉, 학습자가 충분히 학습이 되어 학습대상 문장을 구성하는 단어들 중의 일부를 보지 않고도 해당 문장을 말할 수 있을 정도가 된 경우에는 이 학습방법을 사용하여 확실히 문장의 내용을 알고 있는지를 확인해 볼 수 있는 것이다. 여기에서 학습대상 문장을 구성하는 단어들 중 어느 것을 공란으로 둘 것인지는 실시 예에 따라 다양하게 구성할 수 있다. 학습대상 문장을 띄어쓰기를 위하여 부가되는 공란(“ ”)에 의하여 구분되도록 하는 함수(split 함수)를 사용하여 구분하고 처음부터 시작하여 홀수 번째 또는 짝수 번째 단어를 밑줄만 있는 공란으로 표시(“______”)하도록 지정해주는 방법 등이 사용될 수 있다.

이 학습방법은 학습의 진행경과에 따라 자신의 실력을 점검해 볼 수 있는 것이어서 다른 학습방법들과 병용해가면서 학습을 하면 지루하지 않게 학습할 수 있다.

(7) 단말기가 다음 학습대상 문장을 학습자에게 들려줄 때에는 다음 학습대상 문장 전체가 화면에 보이지 않게 하고, 학습자가 선택하는 횟수만큼 다음 학습대상 문장에 해당되는 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주어 학습자가 보고 들은 문장의 내용을 유추해 볼 수 있게 하고, 학습자의 유추가 끝난 학습 대상 문장을 단말기가 들려주거나 학습자가 말할 때에는 학습자의 선택에 따라서 화면에 학습대상 문장을 표시하거나 표시하지 않도록 하며, 학습자가 학습대상 문장을 동일하거나 동일 범주에 속할 정도로 말한 경우에 학습자의 선택에 따라서 다음 문장의 학습으로 넘어가거나 현재의 문장에 대한 학습을 계속할 수 있도록 하는 학습방법.

이 학습 방법은 상기 (1)의 학습 방법과 상기 ③, ⑤ 구성 부분은 다르고 나머지 ①, ②, ④의 각 구성 부분은 동일하다.

이 학습 방법에서는 단말기가 다음 학습대상 문장을 학습자에게 들려줄 때에는 단말기의 화면에 들려주는 학습대상 문장(다음 학습 대상 문장)이 표시되지 않도록 한 상태(학습대상 문장에 대응되는 자국어 자막은 학습자의 선택에 따라서 표시되게 할 수도 있고 표시되지 않게 할 수도 있다)에서 학습자가 선택하는 횟수만큼 다음 학습대상 문장에 해당되는 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주어, 학습자가 듣는 학습대상 문장의 내용을 유추해 볼 수 있게 한다. 이 방법에 의하여 학습자는 외국어의 내용을 정확하게 듣는 훈련을 할 수 있다. 이와 같은 유추가 끝난 학습 대상 문장을 단말기가 들려주거나 학습자가 말을 할 때에는 학습자의 선택에 따라서 화면에 학습대상 문장이 표시되거나 표시되지 않게 한다. 학습자는 화면에 보이지 않게 되었던 학습대상 문장이 표시되게 하여 자신이 하였던 유추가 정확했는지를 확인하거나, 표시되지 않게 하고 하는 유추를 더 해볼 수 있다.

학습자가 말을 할 때 학습대상 문장을 표시하지 않게 하는 경우 학습대상 문장을 보지 않고 말하는 것은 보면서 말하는 것에 비하여 훨씬 어려운 것이 당연하지만 학습대상 문장의 내용을 거의 외울 정도로 반복 훈련이 된 후에는 가능하게 되고 학습자 스스로 자신의 학습정도를 확인할 수 있게 된다.

그리고 지금까지 설명한 학습방법들에서는 학습자가 말하는 것이 학습대상 문장과 동일하거나 동일 범주에 속할 정도로 유사한 경우에는 다음 학습대상 문장의 학습으로 넘어가도록 하였지만, 이 학습방법에서는 그러한 경우에도 계속하여 현재 학습대상 문장에 대한 학습을 더하는 것을 선택할 수 있다. 학습대상 문장을 원어민이 말하는 것과 동일한 정도로 발음이나 발성, 강세, 억양 및 전체 문장을 말하는 리듬까지도 정확하게 학습하기 위하여서는 한 번 동일하거나 동일 범주에 속할 정도로 유사하게 말하는 것만으로는 부족할 수 있으므로, 학습자가 충분한 학습이 되었다고 느낄 때에 비로서 다음 문장의 학습으로 넘어가게 하는 것이다. 학습자가 미리 지정된 음성명령어를 말한 경우에는 현재 문장에 대한 학습을 끝내고 다음 학습대상 문장으로 넘어갈 수 있게 된다.

이 학습방법에서 학습자가 1회가 아닌 복수의 횟수만큼의 반복적인 듣기나 말하기를 할 수 있도록 하는 방법은 뒤의 (9)에서 자세히 설명하는 반복적인 실행 방법을 사용하면 된다. 학습자의 유추가 끝난 학습대상 문장을 단말기가 들려주거나 학습자가 말을 할 때에 화면에 학습대상 문장이 표시되게 하거나 표시되지 않게 하는 상태를 선택하여 적용시키는 방법은 다양한 방법들이 사용될 수 있는데 이에 관하여는 다른 항에서 별도로 설명한다.

이 학습방법에서 학습자는 듣거나 보는 학습대상 문장의 내용을 처음에는 따라서 말하는 훈련을 하다가 어느 정도 익숙하게 된 후에는 따라서 말하는 것이 아니라 소리를 들음과 동시에 말하는 훈련을 할 수 있는데 이러한 방법에 의하여 원어민이 말하는 발음 또는 발성과 강세, 억양 및 말하는 리듬까지도 거의 유사하게 말할 수 있게 된다.

이 학습방법은 앞에서 열거한 학습방법들에 의하여 어느 정도 외국어를 듣거나 말하는 것에 익숙해진 상태에서 사용할 수도 있지만, 학습자에 따라서는 잘못된 방법으로 듣거나 말하기를 반복하여 부정확한 듣기와 말하기가 고착되지 않도록, 처음부터 이 방법에 의한 듣기와 말하기를 집중적으로 훈련하는 것이 단시간에 정확한 듣기와 말하기를 할 수 있게 되는 효율적인 방법이 될 수 있다.

(8) 자국어 자막의 내용을 먼저 들려 준 후 학습대상 문장을 들려주고 학습자가 말하도록 하는 학습방법

이 학습방법은 위 (1)의 학습방법과 상기 ③ 구성 부분만 다르고 나머지 ①, ②, ④, ⑤의 각 구성 부분은 동일하다.

이 학습방법에서는 상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 음성 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 그 문장에 대응되는 자국어 자막의 내용을 단말기의 TTS 음성으로 들려 준 후 이어서 그 학습 대상 문장을 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장을 그 문장에 대응되는 자국어 자막의 내용을 TTS 음성으로 들려 준 후 그 학습 대상 문장을 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 한다. 단말기가 학습대상 문장의 내용을 읽어 주기 전에 먼저 자국어 자막의 내용을 읽어 주도록 하는 것은 단말기의 TTS 기능에 의하여 쉽게 구현 가능하므로 특별한 설명을 요하지 않는다. 이 학습방법은 학습대상 문장의 의미를 단말기가 학습자의 자국어로 읽어준 후 학습대상 문장을 다시 콘텐츠 음성 또는 TTS 음성으로 읽어 주게 되므로 학습자가 단말기의 화면을 보지 않고도 학습대상 문장의 의미를 명확하게 인식하면서 학습을 진행할 수 있을 뿐만 아니라 단말기가 먼저 학습자의 자국어로 자막의 내용을 읽어줄 때 그에 대응되는 학습대상 문장의 내용을 미리 마음속으로 유추해 볼 수 있고 단말기가 이어서 학습대상문장을 들려줄 때 자신의 유추가 정확했는지를 확인할 수 있다는 점에서 유용성을 가지는 학습방법이다. 학습자는 단말기가 들려주는 자국어 자막의 내용과 학습대상 문장의 내용을 모두 들은 후에 자신이 학습대상 문장을 말할 수 있으므로 여전히 학습모드에 의한 학습효과를 거둘 수 있다.

(9) 단말기가 위 (1)의 학습방법에 의하여 학습대상 문장을 읽어주는 것을 학습자가 지정한 횟수만큼 반복하는 학습방법

이 학습방법은 위 (1)의 학습방법과 상기 ③ 구성 부분만 다르고 나머지 ①, ②, ④, ⑤의 각 구성 부분은 동일하다.

이 학습방법에서는 단말기가 현재의 학습대상 문장이나 다음 학습대상 문장을 각 문장에 대응되는 콘텐츠 음성이나 TTS 음성으로 들려줄 때 학습자가 미리 지정한 횟수만큼 반복하여 들려준 후 대기상태를 만들어 학습자가 따라서 말을 하게 한다. 이 방법의 구현을 위하여서는 단말기에서 학습자가 미리 반복하는 회수를 지정할 수 있도록 하는 설정 화면을 구비하여 두고, 학습자가 그 설정 화면에서 설정한 내용이 저장 장치에 저장되도록 한 후 학습 대상 문장을 들려주는 함수 부분에서 설정된 저장회수를 참조하여 그 횟수만큼 반복 실행하도록 하는 방법을 사용하면 된다. 학습대상 문장에 대응되는 화면과 소리를 실행시키는 방법은 기본적으로는 학습대상 문장에 대응되는 비디오 부분을 반복적으로 실행시키는 방법을 사용할 수 있지만 단말기와 비디오를 실행시키는 소프트웨어의 성능에 따라서는 많은 횟수를 반복하는 것이 어려울 수도 있으므로 해당 비디오 부분의 오디오만 실행되도록 하거나 해당 비디오 부분을 엠피쓰리(mp3)와 같은 오디오 파일로 만들어 저장한 후 이를 반복실행에 사용할 수도 있다. 학습대상 문장을 TTS 음성으로 들려주는 것을 반복하는 것은 학습대상 문장을 TTS로 읽어 주는 코드를 선택된 횟수만큼 반복실행시킴으로써 가능하다.

이와 같이 반복횟수를 선택하여 저장한 후 실행시키거나 비디오와 오디오를 반복 실행시키기 위하여 필요한 구성은 일반적으로 알려진 방법을 사용하면 되므로 특별한 설명을 요하지 않는다.

이 학습방법은 위 (1)과 같은 학습모드에 의한 학습방법이지만 (1)의 학습방법과 달리 학습자가 지정한 횟수만큼 반복하여 보거나 들을 수 있게 해주므로 해당 외국어를 처음 학습을 하는 사람이 사용하기에 적합한 학습방법이다. 학습자는 단말기가 수회 반복하여 학습대상 문장을 읽어줄 때 이를 소리를 내거나 마음속으로 따라서 말하면서 연습을 한 후 단말기가 대기상태를 만들면 자신의 음성으로 말을 하게 되므로 초기 학습 단계에서 좋은 학습효과를 거둘 수 있다.

(10) 단말기가 학습대상 문장의 일부를 공란으로 표시하는 위 (6)의 학습방법에 의하여 학습대상 문장을 읽어줄 때 학습자가 지정한 횟수만큼 반복하도록 하는 학습방법

이 학습방법은 위 (6)의 학습방법과 상기 ③ 구성 부분만 다르고 나머지 ①, ②, ④, ⑤의 각 구성 부분은 동일하다.

이 학습방법에서는 단말기가 현재의 학습대상 문장이나 다음 학습대상 문장을 각 문장에 대응되는 콘텐츠 음성이나 TTS 음성으로 들려줄 때 학습자가 미리 지정한 횟수만큼 반복하여 들려준 후 대기상태를 만들어 학습자가 따라서 말을 하게 한다. 그리고 단말기의 화면에 현재의 학습대상 문장을 구성하는 각 단어들 중의 일부를 공란으로 표시하고 나머지 단어들은 그 내용을 표시하고, 다음 학습대상 문장의 내용 및 현재 학습대상 문장과 다음 학습대상 문장에 대응되는 학습자의 자국어 자막이 각 함께 표시되도록 하여, 학습자가 현재 학습대상 문장의 공란으로 표시된 단어들의 내용을 유추해가면서 현재 학습대상 문장을 말하도록 한다. 이 학습 방법은 위 (6)의 학습방법에서 학습대상 문장을 구성하는 단어들 중의 일부를 보지 않고 유추하여 말을 해야 하는 어려움을 보완하는 효과가 있다. 학습자는 지정된 횟수만큼 반복하여 학습대상 문장의 내용을 들은 후에 공란이 포함되어 있는 학습대상 문장을 유추하여 말을 하게 되므로 (6)의 학습방법보다 쉽게 학습을 할 수 있게 된다. 이 학습방법을 사용하는 경우 반복해서 듣는 효과와 공란으로 된 문장의 내용을 유추해서 말하는 두 가지 학습효과를 볼 수 있으므로 학습자의 레벨에 따라서 유용하게 사용할 수 있다. 이 학습방법을 구현하는 기술적 부분은 위 (6)에서의 일부 단어를 공란으로 표시하는 구성과 위 (9)에서의 학습대상 문장을 반복하여 읽어주도록 하는 구성을 사용하면 된다.

(11) 단말기가 학습대상 문장을 순차로 들려주고 학습자는 들은 내용을 마음속으로 따라서 말하는 학습방법

이 학습방법은 위 (1)의 학습방법과 상기 ①, ②, ③ 구성 부분은 다르고 나머지 ④, ⑤의 각 구성 부분은 동일하다.

이 학습방법에서는 단말기가 현재의 학습대상 문장부터 시작하여 학습자가 미리 지정한 숫자만큼의 학습대상 문장이나 마지막 학습대상 문장에 이르거나 또는 학습자가 중단시킬 때까지 학습대상 문장을 순차적으로 각 학습대상 문장에 대응되는 콘텐츠 음성 또는 TTS 음성으로 읽어주고 학습자가 들은 내용을 소리를 내거나 마음속으로 따라서 말할 수 있는 시간을 부여한 후 다음 학습대상 문장을 읽어주는 것을 반복한다. 이 학습방법은 위에서 본 학습방법들과는 달리 학습자가 직접 자신의 입으로 소리를 내어 말을 하기 어려운 상황에서 사용하기 좋은 학습방법이다. 주변이 소란스러워 단말기가 학습자의 음성입력을 잘 인식하지 못하는 경우나, 대중 교통을 이용할 때와 같이 소리를 내어 말을 하기 어려운 상황, 또는 집안에서 쉬거나 집안일을 하면서 외국어 학습을 하기 원할 때 등에 사용될 수 있다.

이 학습방법에서는 단말기가 대기상태를 만들어 학습자의 음성입력을 받지 않지만 학습자가 단말기가 들려주는 내용을 소리를 내거나 마음속으로 따라서 말할 수 있는 시간을 부여한 후 다음 문장을 들려주는 것을 반복함으로써 앞에서 본 학습방법들과 유사한 학습효과를 거둘 수 있다. 그리고 위와 같이 학습자가 따라서 말할 수 있도록 하기 위하여 부여하는 시간을 짧게 하는 경우 거의 영화 등 콘텐츠를 보는 것과 유사하게 콘텐츠를 감상할 수 있도록 하는 효과도 있다.

이 학습방법에서도 위 (1)의 학습방법에서의 ④, ⑤의 구성 부분 즉 상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 동영상 또는 이미지를 표시하여 학습자가 볼 수 있도록 한다. 그리고 단말기의 화면에는 학습자의 선택에 따라서 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 그 각 학습대상 문장에 대응되는 학습자의 자국어 자막의 전부나 일부가 각 함께 표시되도록 할 수도 있고, 보이지 않게 할 수도 있다. 이는 마치 외국어 학습을 위하여 영화를 감상할 때 외국어 자막이나 자국어 자막의 전부나 그 중 일부를 보이지 않게 하고 감상하는 것과 마찬가지이다. 이 학습방법에서는 비록 학습자가 말하는 내용을 단말기가 인식하여 반응을 보이지는 않지만 화면을 통하여 단말기가 보여주는 동영상 또는 이미지와 각 학습대상 문장과 그 자막의 내용을 보거나 유추하면서 학습을 계속할 수 있는 효과가 있다.

이 학습방법을 구현하기 위하여서는 단말기가 같은 유형의 기능을 장시간 계속 반복하여 실행하도록 하는 기법을 사용한다. 이러한 기법은 앱 개발도구나 프로그램 언어에 따라 다양한 방법이 있는데, 본 발명의 실시례에서는 안드로이드 스튜디오가 지원하는 어싱크태스크{AsyncTask, 비교적 장시간 동안 실행되는 내용을 백그라운드에서 실행되는 함수(doinBackground 함수)와 화면에 실시간 업데이트 되도록 하는 함수(onProgressUpdate 함수)가 병렬적으로 실행되도록 하는 것} 기법을 사용하였다. 단말기가 다음 학습대상으로 이동한 후 학습대상 문장을 학습자가 따라서 말하는 시간을 부여하는 것을 반복해나가는 부분은 백그라운드 함수(doinBackground 함수)에서 실행하고 학습대상 문장이 바뀔 때마다 화면 표시를 업데이트 하고 해당 동영상이 플레이되게 하는 부분은 온프로그래스업데이트 함수(onProgressUpdate 함수)에서 실행도록 하는 것이다. 이 기법에 대한 자세한 설명은 구글에서 제공하는 설명문서

(https://developer.android.com/reference/android/os/AsyncTask.Status)를 참조하면 되므로 여기에서는 자세한 설명을 생략한다.

(12) 단말기가 위 (11)의 방법에 의하여 학습대상 문장을 들려주기 전에 대응되는 자국어 자막을 먼저 읽어주는 학습방법

이 학습방법도 위 (1)의 학습방법과 상기 ①, ②, ③ 구성 부분은 다르고 나머지 ④, ⑤의 각 구성 부분은 동일한 것으로서, 위 (11)의 학습방법에서 단말기가 읽어 주는 내용만 달리한 것이다.

이 학습방법에서는 단말기가 현재의 학습대상 문장부터 시작하여 학습자가 미리 지정한 숫자만큼의 학습대상 문장이나 마지막 학습대상 문장에 이르거나 또는 학습자가 중단시킬 때까지 순차적으로 학습대상 문장에 대응되는 자국어 자막의 내용을 TTS 음성으로 읽어 준 후에 다시 학습대상 문장을 대응되는 콘텐츠 음성 또는 TTS 음성으로 읽어주고 학습자가 들은 내용을 소리를 내거나 마음속으로 따라서 말할 수 있는 시간을 부여한 후 다음 학습대상 문장으로 넘어가는 것을 반복하고, 상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 동영상 또는 이미지를 표시하여 학습자가 볼 수 있도록 한다. 그리고 단말기의 화면에는 학습자의 선택에 따라서 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 그 각 학습대상 문장에 대응되는 학습자의 자국어 자막의 전부나 일부가 각 함께 표시되도록 할 수도 있고, 보이지 않게 할 수도 있다.

이 학습방법에서는 위 (11)의 학습방법에 단말기가 학습대상 문장을 콘텐츠 음성 또는 TTS 음성으로 읽어주기 전에 먼저 대응되는 자국어 자막의 내용을 TTS 음성으로 읽어주는 구성이 첨가된 것이다. 이 첨가된 구성으로 인하여 학습자가 단말기의 화면을 보지 않고도 학습대상 문장의 의미를 명확하게 인식하면서 학습을 진행할 수 있을 뿐만 아니라 단말기가 먼저 학습자의 자국어로 자막의 내용을 읽어줄 때 그에 대응되는 학습대상 문장의 내용을 마음속으로 유추해 볼 수 있고 단말기가 이어서 학습대상문장을 들려줄 때 자신의 유추가 정확했는지를 확인할 수 있다는 점에서 위 (11)의 학습방법 보다 학습 단계가 높아진 학습자들에게 유용한 학습방법이다.

이 학습방법을 구현하기 위한 기술구성은 위 (8)에서의 자막의 내용을 읽어 주도록 하는 부분과 위 (11)에서의 어싱크태스크 방법을 결합시켜 사용하면 되는데, 본 발명의 실시예에서는 위 (11)의 어싱크테스크 기법에서 학습대상 문장이 바뀔 때마다 화면 표시를 업데이트 하고 해당 동영상이 플레이되게 하는 부분인 온프로그래스업데이트 함수(onProgressUpdate 함수) 내에 위 (8)에서의 자막을 읽어 주는 구성을 추가로 포함시켜서 구성을 하였다. 그러나 자막을 읽어 주는 부분은 화면의 업데이트를 필요로 하지 않으므로 백그라운드에서 실행되는 부분에 포함시켜서 구성할 수도 있다.

(13) 단말기가 위 (11)의 방법에 의하여 학습대상 문장을 들려준 후에 대응되는 제2 외국어 자막을 추가로 읽어주는 학습방법

이 학습방법도 위 (1)의 학습방법과 상기 ①, ②, ③ 구성 부분은 다르고 나머지 ④, ⑤의 각 구성 부분은 동일한 것으로서, 위 (11)의 학습방법에서 단말기가 읽어 주는 내용만 달리한 것이다.

이 학습방법에서는 단말기가 현재의 학습대상 문장부터 시작하여 학습자가 미리 지정한 숫자만큼의 학습대상 문장이나 마지막 학습대상 문장에 이르거나 또는 학습자가 중단시킬 때까지 순차적으로 학습대상 문장을 대응되는 콘텐츠 음성 또는 TTS 음성으로 읽어준 후에 학습대상 문장에 대응되는 제2 외국어 자막의 내용을 TTS 음성으로 읽어 준 후에 학습자가 들은 내용을 소리를 내거나 마음속으로 따라서 말할 수 있는 시간을 부여한 후 다음 학습대상 문장을 읽어주는 것을 반복하고, 상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 동영상 또는 이미지를 표시하여 학습자가 볼 수 있도록 한다. 그리고 단말기의 화면에는 학습자의 선택에 따라서 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 그 각 학습대상 문장에 대응되는 학습자의 자국어 자막의 전부나 일부가 각 함께 표시되도록 할 수도 있고, 보이지 않게 할 수도 있다.

이 학습방법에서는 위 (11)의 학습방법에 단말기가 학습대상 문장을 콘텐츠 음성 또는 TTS 음성으로 읽어준 후에 대응되는 제2 외국어 자막을 TTS 음성으로 읽어주는 구성이 첨가된 것이다. 이 학습방법은 학습대상 외국어에 대한 학습이 어느 정도 진행되어 그 외국어 문장의 의미를 알게 된 학습자가 이를 토대로 제2 외국어 자막의 내용을 학습할 때 유용한 방법이다. 단말기가 학습대상 문장을 콘텐츠 음성 또는 TTS 음성으로 먼저 읽어 줄 때 학습대상 문장의 의미를 이해한 학습자가 그 문장을 제2 외국어로 표현할 때는 어떻게 하는지를 마음속으로 유추해 보거나 소리를 내어 말을 해 볼 수 있는 시간을 부여한 후에 해당 제2 외국어 자막의 내용을 TTS 음성으로 들려주게 되므로 그 때 자신이 한 유추가 정확했는지를 확인하는 방법으로 학습이 진행될 수 있기 때문이다.

(14) 단말기가 학습대상 문장을 하나씩 건너뛰면서 순차로 들려주고 학습자는 들은 학습대상 문장의 다음 문장의 내용을 유추하여 말하도록 하는 학습방법

이 학습방법은 위 (1)의 학습방법과 상기 ①, ②, ③ 구성 부분은 다르고 나머지 ④, ⑤의 각 구성 부분은 동일하다.

이 학습방법에서는 단말기가 현재의 학습대상 문장부터 시작하여 학습자가 미리 지정한 숫자만큼의 학습대상 문장이나 마지막 학습대상 문장에 이르거나 또는 학습자가 중단시킬 때까지 학습대상 문장을 하나씩 건너뛰면서 순차적으로 각 학습대상 문장에 대응되는 콘텐츠 음성 또는 TTS 음성으로 읽어주고 학습자는 들은 학습대상 문장의 다음 문장의 내용을 유추하여 소리를 내거나 마음 속으로 말할 수 있는 시간을 부여한 후 그 다음 학습대상 문장을 읽어주는 것을 반복한다. 이 학습방법도 위 (11)의 학습방법과 같은 상황에서 사용할 수 있는 학습방법이다. 그러나 이 학습방법은 콘텐츠의 문장 내용들을 거의 암기할 정도의 단계에 이른 학습자가 단말기와 한 문장씩을 번갈아 가면서 말하는 역할극 형태로 학습을 할 수 있게 하는 학습방법이다. 이 학습방법을 구현하기 위한 기술구성은 위 (11)의 학습방법에서 다음 문장으로 이동하는 대신에 한 문장을 건어 뛰어 다음 다음 문장으로 이동하도록 하고 학습자가 말할 수 있는 시간도 어느 정도 길게 부여한다는 것 외에는 동일하다.

(15) 제2 외국어 자막의 내용을 위 (1)의 방법에 의하여 학습하는 학습방법

이 학습방법은 위 (1)의 학습방법과 상기 ③, ⑤ 구성 부분은 다르고 나머지 ①, ②, ④의 각 구성 부분은 동일하다.

이 학습방법에서는 상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 음성 명령어의 어느 것과도 일치하지 않으면, 현재 학습대상 문장에 대응되는 제2 외국어 자막의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 그 문장에 대응되는 제2 외국어 자막을 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장에 대응되는 제2 외국어 자막의 내용을 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 한다. 이 학습방법에서 사용하는 기술구성은 단말기가 읽어주는 학습대상 문장이 제2 외국어 자막이 된다는 것 외에는 위 (1)에서의 기술구성과 동일하다. 제2 외국어 자막을 구비하는 방법은 자국어 자막과 마찬가지로 해시맵(Hashmap) 형태로 저장하였다가 필요한 부분에서 불러내어 사용하면 된다.

이와 같이 학습자의 자국어가 아닌 제2 외국어로 된 자막을 함께 구비하여 화면에 표시하고 그 자막의 내용을 학습대상으로 삼아서 학습할 수 있는 수단을 제공하는 경우에는 그 제2 외국어를 자국어로 사용하는 사람들이나 다수 언어를 함께 학습하고자 하는 사람들도 하나의 학습기나 학습방법을 함께 사용할 수 있게 되어 경제적일 뿐만 아니라 다른 언어로 된 자막들을 비교함으로써 자막의 번역 오류도 보다 쉽게 찾아낼 수 있게 된다. 이 학습방법에서는 단말기가 음성 입력을 받아들여 인식하는 언어가 외국어 콘텐츠의 언어가 아니라 제2 외국어 자막상의 언어가 되어야 하므로, 단말기에서 음성인식 기능을 적용하는 언어를 변경시킨 후 이 학습방법을 사용하여야 한다.

(16) 제2 외국어 자막의 내용을 반복하여 들려주고 따라서 말하도록 하는 학습방법

이 학습방법은 위 (1)의 학습방법과 상기 ③, ⑤ 구성 부분은 다르고 나머지 ①, ②, ④의 각 구성 부분은 동일하다.

이 학습방법은 위 (15)의 학습방법에서 단말기가 현재의 학습대상 문장이나 다음 학습대상 문장에 대응되는 제2 외국어 자막의 내용을 단말기의 TTS 음성으로 들려줄 때 학습자가 미리 지정한 횟수 만큼 반복하여 들려주는 것이다. 제2 외국어 자막의 내용을 처음 학습하는 사람들에게 유용한 학습방법이다. 이 학습방법을 구현하기 위하여 제2 외국어 자막을 저장하였다가 불러내어 사용하는 방법은 위 (13) 에서, 반복하여 들려주는 방법은 위 (9)에서 각 설명한 것과 같다.

(17) 제2 외국어 자막을 학습대상으로 하고, 제2 외국어 자막을 구성하는 단어들 중 일부를 공란으로 표시하고 나머지 단어들은 그 내용을 표시하여 학습자가 공란으로 되어 있는 부분을 유추하여 말하도록 하는 학습방법

이 학습방법은 위 (1)의 학습 방법과 상기 ③, ⑤ 구성 부분은 다르고 나머지 ①, ②, ④의 각 구성 부분은 동일하고, 외국어 콘텐츠로 된 학습대상 문장에 대한 상기 (10)의 학습방법을 제2 외국어 자막의 학습에 적용한 것이다.

이 학습방법에서는 상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장에 대응되는 제2 외국어 자막의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 그 문장에 대응되는 제2 외국어 자막의 내용을 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장에 대응되는 제2 외국어 자막의 내용을 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 하는 방식의 학습이 진행되고,

상기 단말기의 화면에 현재의 학습대상 문장에 대응되는 제2 외국어 자막의내용을 구성하는 각 단어들 중의 일부를 공란으로 표시하고 나머지 단어들은 그 내용을 표시하고, 현재 학습대상 문장과 다음 학습대상 문장의 내용을 표시하고, 다음 학습대상 문장에 대응되는 제2 외국어 자막의 내용이 각 함께 표시되도록 하여, 학습자가 현재 학습대상 문장에 대응되는 제2 외국어 자막에 공란으로 표시된 단어들의 내용을 유추해가면서 현재 학습대상 문장에 대응되는 제2 외국어 자막의 내용을 말하도록 한다. 이 학습방법을 구현하기 위한 기술적 구성 중 제2 외국어를 학습대상 문장으로 하는 방법은 위 (13)에서, 제2 외국어 자막의 단어 일부를 공란으로 표시하는 부분은 위 (6)에서 각 설명한 것과 같다.

학습자는 이와 같은 구성에 의하여 공란으로 표시된 부분의 내용을 유추해가면서 학습대상 문장에 대응되는 제2 외국어 자막을 말할 수 있게 되는 학습효과가 있다.

(18) 위 (17)의 학습방법에서 단말기가 들려주는 제2 외국어 자막을 지정된 횟수 만큼 반복하여 들려주고 학습자가 들은 내용을 말하도록 하는 학습방법

이 학습방법은 위 (1)의 학습 방법과 상기 ③, ⑤ 구성 부분은 다르고 나머지 ①, ②, ④의 각 구성 부분은 동일하고, 위 (17)의 학습방법과는 읽어 주는 제2 외국어 자막의 내용을 반복하여 읽어주는 것만 차이가 있고 나머지는 동일하다. 제2 외국어 자막의 내용을 반복하여 읽어 주는 기술 구성은 위 (16)에서 설명한 것과 같다.

이 학습방법에서는 위 (16)에서와 같이 단말기가 현재의 학습대상 문장이나 다음 학습대상 문장에 대응되는 제2 외국어 자막의 내용을 단말기의 TTS 음성으로 들려줄 때 학습자가 미리 지정한 횟수 만큼 반복하여 들려주고, 위 (17)에서와 같이 단말기의 화면에 현재의 학습대상 문장에 대응되는 제2 외국어 자막의 내용을 구성하는 각 단어들 중의 일부를 공란으로 표시하고 나머지 단어들은 그 내용을 표시하고, 현재 학습대상 문장과 다음 학습대상 문장 및 다음 학습대상 문장에 대응되는 제2 외국어 자막의 내용이 각 함께 표시되도록 하여, 학습자가 현재 학습대상 문장에 대응되는 제2 외국어 자막에 공란으로 표시된 단어들의 내용을 유추해가면서 현재 학습대상 문장에 대응되는 제2 외국어 자막의 내용을 말하도록 한다. 이는 위 (16)과 (17)의 각 방법을 결합한 학습방법으로서, 이러한 방법을 사용함으로써 제2 외국어 자막을 처음 학습하는 사람이 보다 쉽게 제2 외국어 자막의 학습을 할 수 있게 된다.

(19) 학습대상 문장을 이루는 글자나 단어들 중 미리 지정한 수 만큼의 글자나 단어만을 단말기가 읽어 주고 이를 학습자가 따라서 말하도록 하는 학습방법

이 학습방법은 위 (1)의 학습방법과 상기 ③ 구성 부분만 다르고 나머지 ①, ②, ④, ⑤의 각 구성 부분은 동일하다.

이 학습방법에서는 상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 음성 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용 중 문장 처음부터 시작하여 학습자가 미리 지정한 숫자만큼의 글자나 단어의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 그 문장의 내용 중 문장 처음부터 시작하여 학습자가 미리 지정한 숫자만큼의 글자나 단어의 내용을 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장의 내용 중 문장 처음부터 시작하여 학습자가 미리 지정한 숫자만큼의 글자나 단어의 내용을 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 한다.

이러한 방법에 의하여 학습대상 외국어를 처음 배우는 학습자가 문장이 아닌 글자와 단어의 학습부터 시작하여 점차 학습하는 글자와 단어의 수를 늘려가면서 학습을 할 수 있는 효과가 있다. 학습자는 이와 같은 글자와 단어 학습에 의하여 어느 정도 외국어 학습의 기초가 형성된 후 전체 문장을 학습하는 단계로 나아갈 수 있게 된다.

이 학습방법을 구현하기 위하여서는 단말기의 설정화면에서 학습자가 학습대상 문장 중에서 처음부터 시작하여 글자 수 몇 개 또는 단어 수 몇 개를 학습대상으로 삼을 것인지를 정하도록 하고 그 정해진 글자 수 또는 단어 수를 저장한 다음 학습대상 문장을 읽어 주는 부분에서 위 저장된 글자 수 또는 단어 수를 참조하여 해당 글자 수 또는 단어 수만큼만 읽어 주도록 하면 된다. 학습 대상 문장에서 지정한 글자 수만큼만 읽어주도록 하는 것은 문자열(CharSequence)에 대하여 처음부터 시작하여 몇 개의 글자까지를 선택하는 함수(subSequence 함수)를 사용하여 선택되는 글자(예컨대 처음부터 시작 하여 1글자를 선택한 경우 CharSequence subtextL1 = (String) (QUOTES[currentIndex]).subSequence(0, 1); )를 읽어 주도록 하면 되고, 학습자가 처음부터 몇 개의 단어를 읽어주도록 지정한 경우에는 학습 대상 문장을 공란에 의하여 단어를 구분하는 함수(split 함수)를 사용하여 각 단어별로 구분을 한 후 학습자가 지정한 단어수를 참조하여 각 해당 단어들을 추출한 후 이를 공란(" ")으로 연결한 텍스트를 만든 후 이를 읽어 주도록 하면 된다{예컨대 학습자가 처음부터 시작하여 단어 2개를 읽어주도록 설정한 경우 학습 대상 문장에서 첫 단어와 두 번째 단어를 추출한 후 이를 공란(" ")으로 연결한 텍스트를 만든 후(subtextw2 = (String) (QUOTES[currentIndex]).split(" ")[0].toLowerCase()+" "+(QUOTES[currentIndex]).split(" ")[1].toLowerCase();)에 이를 TTS 음성으로 읽어 주도록 한다}.

(20) 제2 외국어 자막 문장을 이루는 글자나 단어들 중 미리 지정한 수 만큼의 글자나 단어만을 단말기가 읽어 주고 이를 학습자가 따라서 말하도록 하는 학습방법

이 학습방법도 위 (1)의 학습방법과 상기 ③, ⑤ 구성 부분은 다르고 나머지 ①, ②, ④의 각 구성 부분은 동일한 것으로서, 위 (19)의 학습방법을 제2 외국어 자막의 학습에 적용한 것이다.

이 학습방법에서는 상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 음성 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장에 대응되는 제2외국어 자막의 내용 중 문장 처음부터 시작하여 학습자가 미리 지정한 수만큼의 글자나 단어의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 그 문장에 대응되는 제2외국어자막의 내용 중 문장 처음부터 시작하여 학습자가 미리 지정한 수만큼의 글자나 단어의 내용을 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장의 내용 중 문장 처음부터 시작하여 학습자가 미리 지정한 숫자의 글자나 단어의 내용을 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 한다.

이 학습방법을 구현하기 위한 기술 구성은 위 (19)의 방법과 같은 구성을 사용하되 다만 TTS로 읽어 주는 문장이 학습대상 문장이 아니라 학습대상 문장에 대응되는 제2 외국어 자막이 된다는 점만 달라지게 된다{글자수 1을 지정한 경우는 CharSequence subtext = (String) locallang2.subSequence(0, 1); }단어 수 2를 지정한 경우는 { subtextw2 = (String) (locallang2).split(" ")[0].toLowerCase()+" "+(locallang2).split(" ")[1].toLowerCase(); } 의 각 구성에 의하여 선택되거나 만들어지는 텍스트를 읽어 주도록 하면 된다.

이러한 방법에 의하여 제2 외국어를 처음 배우는 학습자가 문장이 아닌 글자와 단어 학습부터 시작하여 점차 학습하는 글자와 단어의 수를 늘려가면서 학습을 할 수 있는 효과가 있다. 학습자는 이와 같은 글자와 단어 학습에 의하여 어느 정도 제2 외국어 학습의 기초가 형성된 후 전체 문장을 학습하는 단계로 나아갈 수 있게 된다.

(21) 위 (1) 내지 (20)의 학습방법들 중 어느 하나에 있어서 학습대상이 되는 언어와 학습자의 자국어가 영어가 아닌 경우 영어로 된 자막도 함께 표시하는 학습방법

이 학습방법은 상기 기재한 모든 학습방법들 중의 어느 하나에 영어로 된 자막을 추가로 포함시키는 것이다. 즉, 학습대상 언어가 영어가 아닌 경우 예컨대 일본어가 학습대상 언어이고 자국어가 한국어인 경우 영어로 된 자막을 화면에 추가로 표시한다는 것이다. 현재 영어는 영어권 국가가 아닌 나라에서 가장 많은 사람들이 배우고자 하는 언어이고 세계의 공통어처럼 사용되고 있다. 따라서 영어가 주 학습대상이 아닌 학습기나 학습방법에 영어로 된 자막을 제2 외국어 자막의 하나로 표시하여 주면 영어를 제2 외국어 자막의 학습방법에 의하여 학습할 수 있을 뿐만 아니라 다른 언어의 자막들이 정확하게 번역된 것인지를 확인하는 수단이 될 수도 있다. 영어로 된 자막을 추가하는 방법은 기존의 자국어 자막 추가 방법과 동일하므로 별도의 설명을 요하지 않는다.

(22) 위 (1) 내지 (20)의 학습방법들 중 어느 하나에 있어서, 현재 학습대상 문장과 다음 학습대상 문장에 각 대응되는 하나 이상의 제2 외국어 자막 문장을 학습자의 자국어 자막 문장과 함께 화면에 표시하는 학습방법

이 학습방법은 상기 기재한 모든 학습방법들 중의 어느 하나에 자국어 자막 이외의 제2 외국어 자막을 하나 이상 화면에 표시하는 것이다. 이렇게 하면 외국어 학습대상 문장에 대응되는 자막이 최소한 둘 이상 화면에 표시되게 되고, 자막의 수 만큼의 다른 언어를 사용하는 사람들이 함께 본 발명이 구현된 앱을 사용하여 외국어 학습을 할 수 있게 된다. 그리고 앞에서 본 학습방법들 중 자막(자국어 자막과 제2 외국어 자막을 포함)의 내용을 읽어주는 것을 포함하는 학습방법들을 사용할 수 있는 사람들이 위 자막의 수만큼 많아지게 된다. 그리고 한 언어를 사용하는 학습자의 자국어 자막은 다른 언어를 사용하는 학습자에게는 제2 외국어 자막이 되므로, 본 발명이 제시하는 자막을 읽어주는 것을 포함하는 여러 학습방법들 중의 일부 또는 전부를 구현한 앱을 사용하여 주 학습대상인 외국어를 학습할 수 있을 뿐만 아니라 다른 나라 사람들의 언어를 제2 외국어로 학습할 수 있게 되는 것이다. 따라서 외국어를 공부하는 사람들이 사용하는 언어별로 따로 앱을 만들지 않아도 되기 때문에 매우 경제적이다. 그리고 자국어를 포함하는 두 개 이상의 언어에 대하여 어느 정도의 지식을 갖추게 된 사람에게는 복수의 자막을 통하여 각 자막이 제대로 번역된 정확한 것인지를 자막 상호간의 대비를 통하여 알 수 있게 되는 효과도 있다. 이와 같이 각기 다른 언어로 된 복수개의 자막을 갖추어 화면에 표시하는 구성은 앞에서 설명한 바와 같이 각 언어의 자막 내용을 해시맵 형태로 저장하여 두고 그 자막 정보들이 화면에 표시되도록 하면 된다. 단말기의 화면에 현재의 학습문장과 다음 학습문장의 각 자막이 표시되는 공간으로 정해진 자리에 복수개의 자막을 배치하려면 하나의 공간을 배치하는 자막의 수 만큼 분할하여 배치하면 되고 배치되는 자막의 수가 많아질수록 자막의 글자 크기를 작게 하면 된다.

(23) 위 (1) 내지 (20)의 학습방법들 중 어느 하나에 있어서, 학습자의 자국어 자막과 하나 이상의 다른 나라의 언어로 된 제2 외국어 자막을 구비하고 그 구비된 자막들 중 학습자가 선택하는 하나 이상의 자막이 화면에 표시되도록 하는 학습방법

이 학습방법은 학습자가 상기 (22)의 학습방법에 의하여 단말기의 화면에 표시된 복수의 자막들 중에서 학습과정에서 화면에 표시할 일부의 자막만을 선택할 수 있도록 하는 것이다. 이렇게 하면 너무 많은 수의 자막이 화면에 함께 표시됨으로 인하여 각 자막의 글자크기가 너무 작아져서 읽기 어렵게 되는 문제를 해소할 수 있고, 실제 학습과정에서는 학습자가 집중적으로 학습하기를 원하는 자막만을 선택할 수 있게 되어 효과적인 학습을 할 수 있게 된다. 이를 위하여서는 단말기가 화면에 표시하는 자막들을 선택할 수 있도록 하는 설정 화면을 제공하고 학습자가 선택한 내용에 따라 화면 표시가 되도록 하면 된다.

(24) 위 (22)의 학습방법에 있어서, 학습자가 화면에 표시된 자막에 사용된 언어들 중 어느 언어를 단말기가 읽어주는 자막 언어로 할 것인지를 선택할 수 있도록 하고, 학습자가 선택한 자막의 언어 이름을 화면에 표시하는 학습방법

이 학습방법은 학습자가 상기 (22)의 학습방법에 의하여 단말기의 화면에 표시된 복수의 자막에 사용된 언어들 중에서 단말기가 읽어 주는 자막 언어를 선택할 수 있도록 하고 그 선택된 자막 언어의 이름을 화면에 표시하여 학습자가 볼 수 있도록 하는 것이다. 위 (22)의 학습방법에서 설명한 바와 같이 본 발명에서 제시하는 학습방법들 중에는 자국어 자막 또는 제2 외국어 자막 내용을 단말기가 TTS로 읽어 주는 학습방법들이 다수 있는데, 이와 같은 학습방법들에서 단말기가 어느 언어를 읽어주는지를 학습자가 선택하고, 그 선택된 언어의 이름을 화면에 표시하여 학습자가 알 수 있게 하면 외국어 학습 또는 제2 외국어 학습이 보다 효율적으로 될 수 있다. 이를 위하여서는 단말기가 읽어 주는 자막 언어를 본 발명이 구현된 앱 내에 구비된 자막언어들 중에서 선택할 수 있도록 하는 설정 화면을 제공하고 학습자가 선택한 내용을 저장하고 화면에도 표시되도록 하며, 뒤에 자국어 자막 또는 제2 외국어 자막을 읽어 주게 될 때 단말기가 그 저장된 내용을 참조하여 읽어 주도록 하면 된다.

(25) 위 (1) 내지 (20)의 학습방법들 중 둘 이상의 학습방법을 함께 구비하고 어느 하나의 학습방법에서 다른 학습방법으로의 전환을 음성명령에 의하여 할 수 있도록 하는 학습방법

이 학습방법은 위 (1) 내지 (20)의 학습방법들 중의 둘 이상의 학습방법을 함께 구비하고 학습자가 현재 학습하는 방법에서 다른 학습방법으로의 전환을 화면을 터치함이 없이 음성명령에 의하도록 하는 것이다. 본 발명에서는 자연스러운 1 대 1 대화 형식의 외국어 학습을 추구하므로 음성전달 방식이 아닌 화면터치로 인하여 자연스러운 1 대 1 대화 형식의 학습이 끊어지는 것을 방지하기 위한 것이다. 본 발명이 제시하는 학습방법들 중 둘 이상을 구비하고 구비된 각 학습방법으로 전환하라는 명령에 대응되는 음성명령어들을 미리 준비하여 저장하였다가 학습자가 어느 한 학습방법을 사용하다가 다른 학습방법으로 전환시키고자 할 때 화면상의 버튼을 찾아서 이를 누르지 않고 단지 단말기에 해당 음성명령어를 말하면 단말기가 이를 인식하여 해당 학습모드로 전환시킨 후 다시 음성명령대기상태를 현출시키도록 하는 것이다. 이러한 학습방법을 구현하기 위한 구성으로는 구비된 각 학습모드를 대표하는 명칭을 정한 후(예컨대 각 학습방법의 특징을 나타내는 문구의 뒤에 “mode"를 붙인 명칭)음성명령어를 만들어 저장하고 후에 그러한 명령어가 입력된 경우 해당 학습방법이 실행되도록 하면 된다.

(26) 위 (25)의 학습방법에서 화면에 현재의 학습방법을 표시하고 음성명령에 의하여 학습방법이 바뀌는 경우 그 바뀐 방법을 표시해주는 학습 방법

이 학습방법은 단말기의 화면에 학습자가 현재 사용하고 있는 학습방법을 표시하고 그 표시가 학습자의 음성명령에 의하여 다른 학습방법으로 바뀜에 따라서 함께 바뀌도록 하는 것이다. 이렇게 하면 학습자가 현재 자신이 어느 학습방법에 의한 학습을 할 수 있는지를 알 수 있고 다른 학습방법으로 바꾸기 위한 음성명령어를 말 하였을 때 단말기가 이를 정확하게 인식하여 학습자가 원하는 대로 학습방법을 바꾸었는지를 확인할 수 있게 되어 유용하다.

이 학습방법을 구현하기 위한 구성을 위에서 제시한 (1) 내지 (20)의 모든 학습방법들을 모두 구비하는 경우를 예로 들어 설명하면 다음과 같다. 화면에 학습방법의 대 분류를 나타내는 스위치(Switch, 켜진 상태와 꺼진 상태를 나타내는 화면 표시 방법)가 네 개 표시되도록 하고, 각 대 분류 하에서 세부적인 학습방법을 구분하는 스피너(Spinner, A, B, C, D, E, F, G와 같이 몇 개의 분류를 자동으로 수축 팽창하는 목록으로 표시하는 표시 방법)를 두어 각 스위치와 스피너의 항목의 조합에 의하여 각 학습방법이 표시되도록 한다. 예컨대 1번 스위치를 단말기가 학습대상 문장을 읽어 주는 음성을 선택하는 스위치로 하여 그것이 꺼진 상태에서는 콘텐츠 음성을 읽어주고 켜진 상태에서는 TTS 음성을 읽어 주도록 하고, 2번 스위치를 학습대상 문장을 반복하여 읽어 줄 것인지 여부를 나타내는 스위치로 하여 그것이 꺼진 상태에서는 1번만 읽고 켜진 상태에서는 설정된 반복 횟수 만큼 읽도록 한다. 3번 스위치를 단말기가 읽어 주는 문장이 학습대상 문장인지 제2 외국어 자막 문장인지를 나타내는 스위치로 하여 그것이 꺼진 상태에서는 학습대상 문장을 읽어 주고 켜진 상태에서는 제2 외국어 자막 문장을 읽도록 하고, 4번 스위치를 단말기가 문장의 전체를 읽어 주는지 학습자가 미리 설정한 수 만큼의 글자나 단어만을 읽어 주는지를 나타내는 스위치로 하여 그것이 꺼진 상태에서는 문장 전체를 읽어 주고 켜진 상태에서는 학습자가 미리 설정한 수 만큼의 글자나 단어만을 읽어 주도록 한다. 다음으로 세부적인 학습방법을 구분하는 스피너에서 A가 선택된 경우에는 위 (1)의 기본적인 대화모드의 학습을 하고, B가 선택된 상태에서는 콘텐츠 음성과 TTS 음성을 이어서 들려 주는 위 (2)의 방법에 의한 학습을 하고, C가 선택된 상태에서는 다음 학습대상 문장을 학습자가 스스로 말하게 하는 위 (3)의 방법에 의한 학습을 하고, D가 선택된 경우는 위 (4)의 대화모드의 학습을 하고, E가 선택된 상태에서는 학습모드와 대화모드가 혼합된 위 (5)의 방법에 의한 학습을 하고, F가 선택된 상태에서는 학습대상 문장의 단어 일부를 공란으로 표시하는 위 (6)의 방법에 의한 학습을 하고, G가 표시된 상태에서는 자국어 자막의 내용을 먼저 읽어 준 후 학습대상 문장을 읽어 주는 위 (7)의 방법에 의한 학습을 하는 것으로 프로그램을 구성한다. 이와 같은 방법으로 설치된 스위치나 스피너가 표시하는 값의 내용이 달라짐에 따라서 학습방법들이 달라지게 하는 것은 각 학습방법들을 프로그램 내에서 별개의 함수로 만들어 두고 위 스위치나 스피너의 값의 변화에 따라서 실행되는 학습방법의 함수들이 달라지게 구성을 하면 된다. 그 예를 들어 보면,

} else if (!switch1.isChecked()) {

String stspinnertext = speakingType.getSelectedItem().toString();

if (stspinnertext.equals("A")) {

addSleepTime2();

와 같이, 스위치1의 값이 꺼진 상태이고 스피너의 값이 A인 경우 콘텐츠 음성으로 다음 문장을 읽어 주는 학습방법의 함수를 실행하도록 하는 것이다. 이는 하나의 예로서 실시예에 따라서는 보다 적은 수의 학습방법만을 선택하여 나타내도록 하거나 더 많은 수의 학습방법을 나타내도록 할 수도 있고, 각 분류방법에 의한 표시도 스위치나 스피너가 아닌 다른 방법에 의하여 표시할 수도 있다. 위와 같이 각 학습방법을 대표하는 스위치나 스피너를 만든 후 학습자의 음성명령에 의하여 그 학습방법이 바뀜과 함께 화면의 표시도 바뀌도록 하는 것이다. 예컨대 학습대상 문장을 읽어 주는 음성을 TTS 음성으로 바꾸라는 음성명령어를 “artificial sound mode"로 저장한 후 학습자가 이 명령어를 입력하면 위의 1번 스위치를 꺼진 상태(off)에서 켜진 상태(on)로 바꾸라는 코드가 실행되도록 프로그램을 구성한다. 이러한 프로그램의 부분을 예시하면 다음과 같다.

if (iptext.equalsIgnoreCase("artificial sound mode")) {

switch1.setChecked(true); }

(27) 위 (1) 내지 (20)의 학습방법들 중 어느 하나에서 음성명령에 의하여 전환할 수 있는 학습방법들의 목록을 학습자의 음성명령에 의하여 화면에 표시하여 주는 학습방법

이 학습방법은 학습자가 음성 명령에 의하여 전환할 수 있는 학습방법들을 학습자의 음성명령에 의하여 화면에 표시하여 주는 것이다. 본 발명이 제시하는 다양한 학습방법들을 모두 기억하였다가 사용하는 것은 아주 숙련된 학습자가 되기 전에는 쉽지 않은 일이 될 수 있다. 더욱이 본 발명을 사용하는 학습기나 학습방법에는 본 발명에서 명시하지 않는 방법들이 추가로 사용될 수도 있어서 학습자가 자신이 어떠한 학습방법들을 사용할 수 있는지를 제시하는 목록을 통하여 확인할 수 있도록 해 주는 것은 매우 유용하다. 이 방법의 구현을 위하여서는 해당 음성명령이 입력되었을 때 안드로이드 스튜디오에서 지원하는 어럴트다이얼로그(AlertDialog, 화면에 팝업 형식의 메시지를 보여주는 것)기법을 이용하여 사용할 수 있는 학습방법들을 긴 메시지 형식의 목록을 화면에 표시하는 방법을 사용하면 되고 실시예에 따라서는 다른 방법에 의하여도 구현될 수 있다.

(28) 위 (1) 내지 (20)의 학습방법들 중 어느 하나에서 학습자가 사용할 수 있는 음성명령어들의 목록을 학습자의 음성명령에 의하여 화면에 표시해 주는 학습 방법

이 학습방법은 학습자가 단말기에 대한 음성명령어로 사용할 수 있는 명령어들의 목록을 학습자의 음성명령에 의하여 화면에 표시하여 주는 것이다. 본 발명이 제시하는 음성명령어들을 모두 기억하였다가 사용하는 것은 아주 숙련된 학습자가 되기 전에는 쉽지 않은 일이다. 따라서 학습자가 굳이 자연스러운 대화 형식의 학습이 끊어지는 것을 감수하면서 화면에서 버튼을 찾아 누르지 않고 자신의 음성으로 명령할 수 있는 명령어들의 목록을 화면에 표시하여 주는 것은 학습자에게 매우 유용하고, 그러한 음성명령어의 목록을 보여줄 것을 요구하는 것도 화면터치방식에 의하는 것이 아니라 음성명령어로 할 수 있게 하는 것은 더욱 유용하다. 학습자는 이러한 음성명령어도 단말기가 인식하는 외국어로 말해야 하므로 그러한 명령어들을 학습하여 말하는 것 자체도 좋은 외국어 학습방법이 될 수 있다. 이 학습방법의 구현 방법은 위 (24)에서 설명한 것과 같은 방법을 사용하면 된다.

(29) 위 (1) 내지 (20)의 학습방법들 중 어느 하나에서 학습자가 잘못 말한 단어들의 내용을 화면에 표시하여 주는 학습 방법

이 학습방법은 위 (1) 내지 (20)의 어느 한 학습방법에 있어서 학습자가 단말기의 음성 입력 대기상태에서 학습대상 문장을 입력할 때 마다 학습대상 문장들 중 정확하게 말하지 못한 단어가 하나 이상 있는 경우에 그 단어나 단어들을 화면에 표시하여 주는 것이다. 학습자가 한 음성입력이 미리 정해진 음성명령어의 어느 것에도 해당하지 않는 경우에는 단말기는 학습자가 학습대상 문장을 말한 것으로 보고 각 학습방법에 따라서 정해지는 학습대상 문장과의 대비를 통하여 해당 문장을 구성하는 단어들 중 어떤 단어나 단어들을 잘못 말했는지를 추출해 낼 수 있으므로 그 결과를 화면에 표시하여 학습자에게 알려주도록 하는 것이다. 학습자가 한 음성입력이 비록 학습대상 문장과 동일하지 않더라도 동일성의 범주에 속할 정도로 유사하게 말한 것으로 인정되는 경우에는 다음 학습대상 문장으로 넘어가게 되는데 이 때에도 정확하게 말하지 못한 단어나 단어들을 추출하여 보여주고 학습자가 학습대상 문장을 유사하게 말하지 못하여 현재 학습대상 문장에 대한 학습을 계속하도록 할 때에도 마찬가지로 잘못 말한 단어들을 추출하여 보여 준다. 이 방법에 의하여 학습자는 자신이 어떤 단어나 단어들을 잘못 말했는지를 알 수 있게 되므로 그 틀린 단어들을 정확하게 말하고자 하는 노력을 하게 되고 그 과정을 통하여 외국어를 보다 정확하게 말할 수 있게 된다. 이 방법을 구현하기 위한 기술적 내용은 앞의 선결 과제 (7)에서 자세히 설명하였으므로 이를 참조하면 된다.

(30) 위 (1) 내지 (20)의 학습방법들 중 어느 하나에서 학습자가 학습중인 문장의 번호와 학습에 의하여 얻은 점수를 화면에 표시하여 주는 학습 방법

이 학습방법은 위 (1) 내지 (20)의 어느 한 학습방법에 있어서, 학습자가 학습중인 학습대상 문장의 번호와 학습자가 학습과정에서 획득한 점수를 화면에 표시하여 주는 것이다. 이로 인하여 학습자는 자신이 전체 학습대상 문장들 중 어떤 문장을 학습하고 있는지를 알 수 있게 되고, 자신이 학습과정에서 얻은 점수들을 확인할 수 있게 되어 보다 효율적인 학습을 할 수 있게 된다. 이를 위하여 학습자가 학습대상 문장과 완전히 동일한 문장을 말하는 것으로 평가된 경우 한 문장에 대하여 부여할 수 있는 점수 중 가장 높은 점수를 부여하고, 완전히 동일하지는 않지만 어느 정도 유사하여 다음 문장으로 학습을 진행시킬 수 있는 경우에는 그 유사성의 정도에 따라 부여하는 점수를 달리하여 순차적으로 낮은 점수를 부여한다. 학습자가 말한 내용이 다음 문장으로 넘어가도 될 정도인 경우에 적용하는 레벨에 미달하는 경우에는 점수를 부여하지 않고 계속하여 다음 문장을 말할 것을 요구한다. 그리고 학습자가 학습대상 문장을 정확하게 말한 경우라도 그것이 학습자가 학습대상 문장의 내용을 보면서 말한 것인지 아니면 이를 보지 않고 완전히 외워서 말한 것인지, 또한 문장을 보더라도 자국어 자막만을 보거나 외국어나 자국어 자막의 일부분만을 힌트로 제공받아 이를 보고 나머지를 유추하여 말했는지, 앞에서 본 것과 같이 학습모드에서 말한 것인지 대화모드에서 말한 것인지 등의 사정에 따라 다른 포인트를 부가할 수 있다. 학습자가 미리 저장된 명령어를 말한 경우도 그 명령어를 말하는 것의 난이도에 상응하는 점수를 부가할 수 있다. 이 경우에는 저장된 명령어와의 유사성 정도는 따로 판단하지 않고 완전히 일치하는 경우에만 해당 명령어를 말한 것으로 처리하여 점수 부가 여부를 결정한다. 실시예에 따라서는 이와 같은 방법에 의하여 축적된 학습자의 점수를 학습자가가 학습을 끝내는 경우 저장하여 두었다가 다음 학습시작 시에는 종전에 얻은 점수에 더하여 점수를 축적시킬 수 있도록 할 수도 있다.

(31) 학습자가 입력한 음성과 학습대상 문장의 유사성 여부의 판단 방법이 학습대상 문장의 길이와 학습자가 지정한 학습 난이도의 두 가지 중 어느 하나 또는 둘 모두에 따라서 달라지도록 하는 학습방법

이 학습방법은 위 (1) 내지 (20)의 학습방법 중 어느 하나에 있어서, 학습자가 입력한 음성과 학습대상 문장이 유사한지 여부를 판단함에 있어서 그 유사성 여부의 판단 방법이 학습대상 문장의 길이와 학습자가 지정한 학습 난이도의 두 가지 중 어느 하나 또는 둘 모두에 따라서 달라지도록 하는 것이다. 학습자의 음성입력과 학습대상 문장 사이의 동일성은 학습자의 음성입력을 텍스트화한 문장과 학습대상 문장이 완전히 일치하여야 하지만, 두 문장 사이의 유사성은 여러 가지 방법에 의하여 정할 수 있다. 유사하다고 인정되면 현재 학습대상 문장에 대한 학습을 끝내고 다음 학습대상 문장으로 넘어가지만 유사하지 않다고 인정되면 현재 학습대상 문장에 대한 학습을 다시 반복하게 된다. 이 유사성의 판단 방법은 여러 가지 다양한 방법이 사용될 수 있는데 어떠한 방법을 사용하더라도 학습대상 문장의 길이와 학습자가 지정한 학습 난이도의 두 가지 중 어느 하나 또는 두 가지 모두에 따라서 판단의 방법을 달리 적용하면 보다 학습자의 학습 단계에 맞고 자연스러운 대화 형식의 학습이 가능해 진다. 예를 들어 설명하면, 학습대상 문장의 길이가 30자를 넘는 긴 문장의 경우와 10자 미만의 짧은 문장에 대하여 동일한 판단방법을 적용하면 전자의 경우에는 유사성 판단을 받는 것이 너무 어렵게 되고 후자의 경우에는 너무 쉬워지게 된다. 따라서 이러한 두 가지 경우에 비슷한 난이도가 나오도록 판단방법을 달리 설계하여 적용하면 유사성 판단을 받는 난이도가 비슷해져서 너무 쉽거나 어려워 자연스러운 대화 형식의 학습이 저해되는 것을 방지할 수 있다. 또한 학습자가 학습 난이도를 미리 지정할 수 있게 하여 초보자인 경우에는 유사성의 정도를 매우 넓게 판단하고, 상급자인 경우에는 유사성의 정도를 매우 좁게 판단하면 자신의 실력에 상응하는 판단을 받을 수 있게 된다.

(32) 위 (7)의 학습방법에서에서 학습자의 유추가 끝난 학습대상 문장을 단말기가 들려주거나 학습자가 말을 할 때에 화면에 학습대상 문장이 표시되게 하거나 표시되지 않게 하는 것이, 각기 미리 정한 해당 음성명령어를 말하는 것에 의하여 되도록 하는 방법과 학습자가 학습대상 문장을 동일하거나 동일 범주에 속할 정도로 말한 경우에는 학습대상 문장이 화면에 표시되지 않게 하고 학습자가 학습대상 문장을 동일하거나 동일 범주에 속할 정도로 말하지 않은 경우에는 학습대상 문장이 화면에 표시되게 하는 방법들 중 전부 또는 일부에 의하여 되도록 하는 학습 방법

이 학습방법은 위 (7)의 학습방법에서 학습자의 유추가 끝난 학습대상 문장을 단말기가 들려주거나 학습자가 말을 할 때에 화면에 학습대상 문장이 표시되는 상태와 표시되지 않는 상태가 학습자의 선택에 의하여 바뀌도록 하는 방법에 관한 것이다. 그 방법으로서는 학습대상 문장이 표시되도록 하는 것과 표시되지 않도록 하는 음성명령어를 각각 준비하여 학습자가 해당 음성명령어를 말하는 경우 그러한 상태가 되도록 하는 방법이 사용될 수 있다. 이 방법은 화면에 학습대상 문장을 표시하는 기능과 표시하지 않는 기능을 수행하는 버튼들을 설치해 두고 이를 누르도록 하는 방법에 비하여 상호 음성전달에 의한 대화 형식의 외국어 학습이라는 목적에 부합한다. 또한 학습자가 학습대상 문장을 동일하거나 동일 범주에 속할 정도로 유사하게 말하였는지의 여부에 따라서 학습대상 문장이 화면에 표시되고 표시되지 않는 상태가 바뀌도록 하는 방법도 위에서 설명한 버튼을 누르는 것에 비하면 훨씬 효과적이다. 즉, 학습자가 동일하거나 동일 범주에 속할 정도로 유사하게 말한 경우에는 화면에 학습대상 문장이 표시되지 않는 상태가 되게 하고, 그렇지 않은 경우에는 표시가 되도록 하는 것이다. 학습자는 학습대상 문장을 2회 또는 3회 이어서 말하여 단말기가 동일 유사하게 말하지 않은 것으로 인식하게 함으로써 화면에 학습대상 문장이 표시되게 할 수 있고, 학습대상 문장을 1회만 말하여 동일 유사하게 말한 것으로 인식하게 함으로써 학습대상 문장이 표시되지 않게 할 수 있다. 학습대상 문장을 1회 이상 이어서 말하는 것은 그 자제로 말하기의 연습방법이 되므로, 학습자는 단지 듣고 말하기의 연습을 하는 것 자체로 화면의 표시를 원하는 상태로 만들면서 듣기나 말하기를 계속 연습할 수 있게 된다. 그리고 학습자가 처음으로 다음 학습문장에 대한 듣기를 하는 경우 유추가 정확치 아니하여 학습문장 내용을 말하기 어려운 경우에는 지정된 음성명령어를 말하여 학습문장을 화면에 표시하게 할 수 있다. 학습자는 위에서 든 방법들 중 전부나 일부를 적절하게 혼용함으로써 학습대상 문장의 화면 표시를 제어할 수 있게 된다.

(33) 학습자가 위 (1) 내지 (20)의 학습방법에 있어서 미리 준비된 음성명령어와 같은 기능을 수행하는 다른 음성명령어를 추가로 등록하여 저장한 후 사용할 수 있도록 하는 학습방법.

이 학습방법은 위 (1) 내지 (20)의 학습방법에서 초기에 설정된 음성명령어들에 더하여 미리 준비된 음성명령어와 같은 기능을 수행하는 다른 음성명령어를 학습자가 추가하여 저장한 후 이를 사용할 수 있도록 하는 것을 특징으로 하는 것이다. 학습자에 따라서 미리 준비된 음성명령어를 그대로 사용하는 것보다는 같은 기능을 수행하는 다른 음성명령어를 추가한 후 그 추가된 음성명령어를 말하여 같은 기능을 수행시킬 수 있도록 하는 것이 학습에 더 도움이 될 수 있다. 학습대상 언어를 음성인식 언어로 사용하여 학습하는 경우에 있어서도 미리 준비된 음성명령어가 학습자에 따라서는 발음이 어렵거나 불명료하여 음성명령어로 정확하게 인식시키지 못하는 경우가 자주 발생할 수 있는데 이러한 경우에 자신의 발음에 의하여 단말기가 인식 오류 없이 정확하게 인식하는 단어나 문장을 음성명령어로 추가로 등록하여 두고 이를 사용하는 것이 편리할 수 있다. 더욱이 제2외국어 자막을 음성인식 언어로 사용하여 제2외국어를 학습하고자 하는 경우{위 (15) 내지 (20)의 학습방법}에는 단말기에 모든 제2외국어에 대한 음성명령어를 구비시키는 것이 어려워 일부 필수적인 음성명령어만 구비시킬 수 있는데(이 경우에도 기본 학습대상 언어로 된 음성명령어는 미리 구비되어 있다) 이 경우에는 미리 구비되지 않은 음성명령어나 구비되었어도 보다 인식시키기 용이한 다른 단어나 문장으로 된 음성명령어를 학습자가 제2외국어로 추가로 등록해두고 사용할 수 있도록 하는 것이다.

이 학습방법을 구현하기 위하여서는 미리 설정된 음성명령어의 일부를 학습자가 같은 언어로 된 다른 단어나 문장으로 된 음성명령어나 다른 언어로 된 단어나 문장으로 된 음성명령어를 미리 준비된 음성명령어와 대응시켜 저장시킬 수 있는 수단을 제공하여야 한다. 이를 위하여서는 학습자로부터 미리 준비된 음성명령어들 중 일부에 대응시켜 추가하고자 하는 음성명령어를 입력 받아 이를 미리 준비된 음성명령어에 대응시켜 추가로 저장하도록 한 후, 학습자가 말하는 것이 음성명령어에 해당하는지 여부를 판단하는 단계에서 학습자 새로 추가시킨 음성명령어를 말하는 경우에도 미리 저장된 음성명령어와 같은 기능을 수행하도록 하면 된다. 이를 구현하는 방법을 한 실시 예를 들어 설명하면, 안드로이드 스튜디오에서 구현되는 자바 언어에서 한 문자열을 다른 문자열로 치환시키는 함수인 “replace” 함수를 사용하여 학습자의 음성입력 중 추가로 저장된 음성명령어가 입력되는 경우 이를 미리 저장된 음성명령어로 치환시켜 인식하도록 프로그램을 구성하면 된다. 즉 학습자의 모든 음성입력을 인식하는 단계에서 그 음성입력에 학습자가 추가로 저장시킨 음성명령어가 포함되어 있는지를 검사하여 그러한 문자열은 대응되도록 미리 저장된 음성명령어의 문자열로 치환시켜 인식하도록 하는 것이다. 학습자로부터 추가 음성명령어를 입력 받아 저장하는 방법은 학습자가 추가 음성명령어를 입력할 수 있는 별도의 입력 창을 만들어 미리 준비된 음성명령어에 대응되는 새로운 음성명령어를 입력 받은 후 이를 미리 준비된 음성명령어에 대응시켜 파일이나 데이터베이스에 저장시키면 된다.

(34) 위 (1) 내지 (33)의 학습방법들은 그 중의 하나 또는 복수의 방법들이스마트폰, PC 등에서 애플리케이션으로 적용할 수 있다,

본 발명이 제시하는 각 학습방법들은 그 중의 하나 또는 복수의 방법들이 각종 기기에서 애플리케이션의 형태로 제작, 설치되어 사용될 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 본 발명의 기술이 적용되는 분야에서 보통의 지식을 가진 사람은 아래의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (34)

1. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
   단말기가 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면 표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려 주고, 그에 대하여 학습자가 음성 입력을 하면 단말기가 그 입력된 내용을 인식하여 그에 따른 대응을 한 다음 다시 음성 입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려 주고, 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써 학습자가 단말기의 화면 터치를 하지 않거나 화면 터치를 예외적인 경우로 최소화하여 학습자와 단말기가 서로 음성전달에 의하여 1대 1의 대화 형식으로 학습이 진행되는 것과,
   학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드와 같은 저장장치에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 단말기가 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 저장된 특정 음성명령어들 중의 어느 하나와 일치하면 그 해당 음성 명령어의 내용에 대응되는 기능을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려 주고,
   상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 음성 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 그 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 하는 방식의 학습이 진행되는 것과,
   상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 동영상 또는 이미지를 표시하는 것과,
   상기 단말기의 화면에 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 그 각 학습대상 문장에 대응되는 학습자의 자국어 자막이 각 함께 표시되도록 하는 것을 포함하는 것
   을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
   
2. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
   단말기가 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면 표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려 주고, 그에 대하여 학습자가 음성 입력을 하면 단말기가 그 입력된 내용에 따른 대응을 한 다음 다시 음성 입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려 주고, 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써 학습자가 단말기의 화면 터치를 하지 않거나 화면 터치를 예외적인 경우로 최소화하여 학습자와 단말기가 서로 음성전달에 의하여 1대 1의 대화 형식으로 학습이 진행되는 것과,
   학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드와 같은 저장장치에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 단말기가 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 저장된 특정 음성명령어들 중의 어느 하나와 일치하면 그 해당 음성 명령어의 내용에 대응되는 기능을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려 주고,
   상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 음성 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 다음 학습대상 문장으로 이동하여 다음 학습대상 문장을 단말기의 TTS 음성으로 들려 준 후 같은 문장을 외국어 콘텐츠 음성으로 다시 들려준 다음 다시 음성입력 대기상태로 전환하고 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장을 단말기의 TTS 음성으로 들려 준 후 같은 문장을 외국어 콘텐츠 음성으로 다시 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 하는 방식의 학습이 진행되는 것과,
   상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 영상이나 이미지를 표시하여 학습자가 볼 수 있도록 하는 것과,
   상기 단말기의 화면에 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 현재 학습대상 문장과 다음 학습대상 문장에 대응되는 학습자의 자국어 자막이 각 함께 표시되도록 하는 것을 포함하는 것
   을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
   
3. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
   단말기가 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면 표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려 주고, 그에 대하여 학습자가 음성 입력을 하면 단말기가 그 입력된 내용에 따른 대응을 한 다음 다시 음성 입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려 주고, 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써 학습자가 단말기의 화면 터치를 하지 않거나 화면 터치를 예외적인 경우로 최소화하여 학습자와 단말기가 서로 음성전달에 의하여 1대 1의 대화 형식으로 학습이 진행되는 것과,
   학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드와 같은 저장장치에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 단말기가 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 저장된 특정 음성명령어들 중의 어느 하나와 일치하면 그 해당 음성 명령어의 내용에 대응되는 기능을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려 주고,
   상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 음성 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 그 다음 학습대상 문장으로 이동한 다음 학습자가 말한 문장을 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 후에 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주어 다음 학습대상 문장을 학습자가 말하게 하고, 동일하거나 동일 범주에 속하지 않으면 학습자가 말한 문장을 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 후에 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 같은 문장을 학습자가 다시 말하게 하는 방식의 학습이 진행되는 것과,
   상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 영상이나 이미지를 표시하여 학습자가 볼 수 있도록 하는 것과,
   상기 단말기의 화면에 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 현재 학습대상 문장과 다음 학습대상 문장에 대응되는 학습자의 자국어 자막이 각 함께 표시되도록 하는 것을 포함하는 것
   을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
   
4. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
   단말기가 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면 표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려 주고, 그에 대하여 학습자가 음성 입력을 하면 단말기가 그 입력된 내용에 따른 대응을 한 다음 다시 음성 입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려 주고, 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써 학습자가 단말기의 화면 터치를 하지 않거나 화면 터치를 예외적인 경우로 최소화하여 학습자와 단말기가 서로 음성전달에 의하여 1대 1의 대화 형식으로 학습이 진행되는 것과,
   학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드와 같은 저장장치에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 단말기가 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 저장된 특정 음성명령어들 중의 어느 하나와 일치하면 그 해당 음성 명령어의 내용에 대응되는 기능을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려 주고,
   상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 단말기가 다음 학습대상 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 후에 다음 다음 문장으로 이동하여 단말기의 화면에 다음 다음 문장과 그 다음 문장이 표시되게 하고 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 하는 방식의 학습이 진행되는 것과,
   상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 영상이나 이미지를 표시하여 학습자가 볼 수 있도록 하는 것과,
   상기 단말기의 화면에 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 그 각 학습대상 문장에 대응되는 학습자의 자국어 자막이 각 함께 표시되도록 하는 것을 포함하는 것
   을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
   
5. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
   단말기가 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면 표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려 주고, 그에 대하여 학습자가 음성 입력을 하면 단말기가 그 입력된 내용에 따른 대응을 한 다음 다시 음성 입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려 주고, 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써 학습자가 단말기의 화면 터치를 하지 않거나 화면 터치를 예외적인 경우로 최소화하여 학습자와 단말기가 서로 음성전달에 의하여 1대 1의 대화 형식으로 학습이 진행되는 것과,
   학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드와 같은 저장장치에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 단말기가 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 저장된 특정 음성명령어들 중의 어느 하나와 일치하면 그 해당 음성 명령어의 내용에 대응되는 기능을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려 주고,
   상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 명령어들 중의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 다음 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 그 다음 학습대상 문장으로 이동하여 그 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 학습자의 음성입력이 저장된 음성명령어들 중의 어느 것과도 일치하지 않고 다음 학습대상 문장과 동일하거나 동일 범주에 속하지도 않으면 현재 학습대상 문장과 동일하거나 동일범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 다음 학습대상 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알리고, 학습자의 음성 입력이 음성명령어들 중의 어느 것과도 일치하지 않고 다음 학습대상 문장이나 현재 학습대상 문장의 어느 것과도 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주어 학습자가 다시 말하게 하는 방식의 학습이 진행되는 것과,
   상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 영상이나 이미지를 표시하여 학습자가 볼 수 있도록 하는 것과,
   상기 단말기의 화면에 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 각 학습대상 문장에 대응되는 학습자의 자국어 자막이 함께 표시되도록 하는 것을 포함하는 것
   을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
   
6. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
   단말기가 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면 표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려 주고, 그에 대하여 학습자가 음성 입력을 하면 단말기가 그 입력된 내용에 따른 대응을 한 다음 다시 음성 입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려 주고, 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써 학습자가 단말기의 화면 터치를 하지 않거나 화면 터치를 예외적인 경우로 최소화하여 학습자와 단말기가 서로 음성전달에 의하여 1대 1의 대화 형식으로 학습이 진행되는 것과,
   학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드와 같은 저장장치에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 단말기가 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 저장된 특정 음성명령어들 중의 어느 하나와 일치하면 그 해당 음성 명령어의 내용에 대응되는 기능을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려 주고,
   상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 그 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 하는 방식의 학습이 진행되는 것과,
   상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 영상이나 이미지를 표시하여 학습자가 볼 수 있도록 하는 것과,
   상기 단말기의 화면에 현재의 학습대상 문장을 구성하는 각 단어들 중의 일부를 공란으로 표시하고 나머지 단어들은 그 내용을 표시하고, 다음 학습대상 문장의 내용 및 현재 학습대상 문장과 다음 학습대상 문장에 대응되는 학습자의 자국어 자막이 각 함께 표시되도록 하여, 학습자가 현재 학습대상 문장의 공란으로 표시된 단어들의 내용을 유추해가면서 현재 학습대상 문장을 말하도록 하는 것을 포함하는 것
   을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
   
7. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
   단말기가 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면 표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려 주고, 그에 대하여 학습자가 음성 입력을 하면 단말기가 그 입력된 내용에 따른 대응을 한 다음 다시 음성 입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려 주고, 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써 학습자가 단말기의 화면 터치를 하지 않거나 화면 터치를 예외적인 경우로 최소화하여 학습자와 단말기가 서로 음성전달에 의하여 1대 1의 대화 형식으로 학습이 진행되는 것과,
   학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드와 같은 저장장치에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 단말기가 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 저장된 특정 음성명령어들 중의 어느 하나와 일치하면 그 해당 음성 명령어의 내용에 대응되는 기능을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려 주고,
   상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 학습자의 선택에 따라서 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 학습자가 선택하는 횟수만큼 그 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주거나, 다시 현재 학습대상 문장을 학습자가 선택하는 횟수만큼 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장을 학습자가 선택하는 횟수만큼 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 하는 방식의 학습이 진행되는 것과,
   상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 영상이나 이미지를 표시하여 학습자가 볼 수 있도록 하는 것과,
   상기 단말기가 학습자에게 다음 학습대상 문장을 들려줄 때에는 상기 단말기의 화면에 다음 학습대상 문장 전체가 보이지 않게 하여 학습자가 듣는 내용을 유추하게 한 후 다음 학습대상 문장을 표시하여 학습자가 유추한 내용이 맞는지를 확인할 수 있게 하고, 학습자의 유추와 확인이 끝난 학습 대상 문장을 단말기가 들려주거나 학습자가 말할 때에는 화면에 학습자의 선택에 따라서 학습대상 문장을 표시하거나 표시하지 않는 것을 포함하는 것
   을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
   
8. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
   단말기가 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면 표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려 주고, 그에 대하여 학습자가 음성 입력을 하면 단말기가 그 입력된 내용에 따른 대응을 한 다음 다시 음성 입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려 주고, 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써 학습자가 단말기의 화면 터치를 하지 않거나 화면 터치를 예외적인 경우로 최소화하여 학습자와 단말기가 서로 음성전달에 의하여 1대 1의 대화 형식으로 학습이 진행되는 것과,
   학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드와 같은 저장장치에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 단말기가 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 저장된 특정 음성명령어들 중의 어느 하나와 일치하면 그 해당 음성 명령어의 내용에 대응되는 기능을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려 주고,
   상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 음성 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 그 문장에 대응되는 자국어 자막의 내용을 단말기의 TTS 음성으로 들려 준 후 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장을 그 문장에 에 대응되는 자국어 자막의 내용을 단말기의 TTS 음성으로 들려 준 후 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 하는 방식의 학습이 진행되는 것과,
   상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 영상 또는 이미지를 표시하여 학습자가 볼 수 있도록 하는 것과,
   상기 단말기의 화면에 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 그 각 학습대상 문장에 대응되는 학습자의 자국어 자막이 각 함께 표시되도록 하는 것을 포함하는 것
   을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
   
9. 제1항에 있어서,
   단말기가 현재의 학습대상 문장이나 다음 학습대상 문장을 각 문장에 대응되는 콘텐츠 음성이나 TTS 음성으로 들려줄 때 학습자가 미리 지정한 횟수 만큼 반복하여 들려주는 것을 포함하는 것
   을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
   
10. 제6항에 있어서,
    단말기가 현재의 학습대상 문장이나 다음 학습대상 문장을 각 문장에 대응되는 콘텐츠 음성이나 TTS 음성으로 들려줄 때 학습자가 미리 지정한 횟수 만큼 반복하여 들려주는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
11. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
    단말기가 현재의 학습대상 문장부터 시작하여 학습자가 미리 지정한 숫자만큼의 학습대상 문장이나 마지막 학습대상 문장에 이르거나 또는 학습자가 중단시킬 때까지 학습대상 문장을 순차적으로 각 학습대상 문장에 대응되는 콘텐츠 음성 또는 TTS 음성으로 읽어주고 학습자가 들은 내용을 소리를 내거나 마음속으로 따라서 말할 수 있는 시간을 부여한 후 다음 학습대상 문장을 읽어주는 것을 반복하는 방식으로 학습을 진행하는 것과,
    단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 영상 또는 이미지를 표시하여 학습자가 볼 수 있도록 하는 것과,
    상기 단말기의 화면에 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 그 각 학습대상 문장에 대응되는 학습자의 자국어 자막이 학습자의 선택에 따라서 그 중 전부 또는 일부가 함께 표시되도록 하거나 표시되지 않도록 하는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
12. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
    단말기가 현재의 학습대상 문장부터 시작하여 학습자가 미리 지정한 숫자만큼의 학습대상 문장이나 마지막 학습대상 문장에 이르거나 또는 학습자가 중단시킬 때까지 순차적으로 학습대상 문장에 대응되는 자국어 자막의 내용을 TTS 음성으로 읽어 준 후에 다시 학습대상 문장을 대응되는 콘텐츠 음성 또는 TTS 음성으로 읽어주고 학습자가 들은 내용을 소리를 내거나 마음속으로 따라서 말할 수 있는 시간을 부여한 후 다음 학습대상 문장을 읽어주는 것을 반복하는 방식으로 학습을 진행하는 것과,
    단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 영상 또는 이미지를 표시하여 학습자가 볼 수 있도록 하는 것과,
    상기 단말기의 화면에 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 그 각 학습대상 문장에 대응되는 학습자의 자국어 자막이 학습자의 선택에 따라서 그 중 전부 또는 일부가 함께 표시되도록 하거나 표시되지 않도록 하는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
13. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
    단말기가 현재의 학습대상 문장부터 시작하여 학습자가 미리 지정한 숫자만큼의 학습대상 문장이나 마지막 학습대상 문장에 이르거나 또는 학습자가 중단시킬 때까지 순차적으로 학습대상 문장을 대응되는 콘텐츠 음성 또는 TTS 음성으로 읽어준 다음 학습대상 문장에 대응되는 제2 외국어 자막의 내용을 TTS 음성으로 읽어 준 후에 학습자가 들은 내용을 소리를 내거나 마음속으로 따라서 말할 수 있는 시간을 부여한 후 다음 학습대상 문장을 읽어주는 것을 반복하는 방식으로 학습을 진행하는 것과,
    단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 영상 또는 이미지를 표시하여 학습자가 볼 수 있도록 하는 것과,
    상기 단말기의 화면에 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 그 각 학습대상 문장에 대응되는 학습자의 자국어 자막이 학습자의 선택에 따라서 그 중 전부 또는 일부가 함께 표시되도록 하거나 표시되지 않도록 하는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
14. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
    단말기가 현재의 학습대상 문장부터 시작하여 학습자가 미리 지정한 숫자만큼의 학습대상 문장이나 마지막 학습대상 문장에 이르거나 또는 학습자가 중단시킬 때까지 학습대상 문장을 하나씩 건너뛰면서 순차적으로 각 학습대상 문장에 대응되는 콘텐츠 음성 또는 TTS 음성으로 읽어주고 학습자가 들은 문장의 다음 학습대상 문장의 내용을 소리를 내거나 마음속으로 따라서 말할 수 있는 시간을 부여한 후 그 다음 학습대상 문장을 읽어주는 것을 반복하는 방식으로 학습을 진행하는 것과,
    단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 영상 또는 이미지를 표시하여 학습자가 볼 수 있도록 하는 것과,
    상기 단말기의 화면에 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 그 각 학습대상 문장에 대응되는 학습자의 자국어 자막이 학습자의 선택에 따라서 그 중 전부 또는 일부가 함께 표시되도록 하거나 표시되지 않도록 하는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
15. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
    단말기가 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면 표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려 주고, 그에 대하여 학습자가 음성 입력을 하면 단말기가 그 입력된 내용에 따른 대응을 한 다음 다시 음성 입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려 주고, 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써 학습자가 단말기의 화면 터치를 하지 않거나 화면 터치를 예외적인 경우로 최소화하여 학습자와 단말기가 서로 음성전달에 의하여 1대 1의 대화 형식으로 학습이 진행되는 것과,
    학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드와 같은 저장장치에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 단말기가 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 저장된 음성명령어들 중의 어느 하나와 일치하면 그 해당 음성 명령어의 내용에 대응되는 기능을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려 주고,
    상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 음성 명령어의 어느 것과도 일치하지 않으면, 현재 학습대상 문장에 대응되는 제2 외국어 자막의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 그 문장에 대응되는 제2 외국어 자막을 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장에 대응되는 제2 외국어 자막의 내용을 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 하는 방식의 학습이 진행되는 것과,
    상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장에 대응되는 제2외국어 자막의 내용을 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 영상 또는 이미지를 표시하여 학습자가 볼 수 있도록 하는 것과,
    상기 단말기의 화면에 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 그 각 학습대상 문장에 대응되는 학습자의 자국어 자막과 제2 외국어 자막이 각 함께 표시되도록 하는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
16. 제15항에 있어서,
    단말기가 현재의 학습대상 문장이나 다음 학습대상 문장에 대응되는 제2 외국어 자막의 내용을 단말기의 TTS 음성으로 들려줄 때 학습자가 미리 지정한 횟수 만큼 반복하여 들려주는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
17. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
    단말기가 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면 표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려 주고, 그에 대하여 학습자가 음성 입력을 하면 단말기가 그 입력된 내용에 따른 대응을 한 다음 다시 음성 입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려 주고, 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써 학습자가 단말기의 화면 터치를 하지 않거나 화면 터치를 예외적인 경우로 최소화하여 학습자와 단말기가 서로 음성전달에 의하여 1대 1의 대화 형식으로 학습이 진행되는 것과,
    학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드와 같은 저장장치에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 단말기가 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 저장된 특정 음성명령어들 중의 어느 하나와 일치하면 그 해당 음성 명령어의 내용에 대응되는 기능을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려 주고,
    상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장에 대응되는 제2 외국어 자막의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 그 문장에 대응되는 제2 외국어 자막의 내용을 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장에 대응되는 제2 외국어 자막의 내용을 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 하는 방식의 학습이 진행되는 것과,
    상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용을 외국어 콘텐츠 음성 또는 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 영상이나 이미지를 표시하여 학습자가 볼 수 있도록 하는 것과,
    상기 단말기의 화면에 현재의 학습대상 문장에 대응되는 제2 외국어 자막의내용을 구성하는 각 단어들 중의 일부를 공란으로 표시하고 나머지 단어들은 그 내용을 표시하고, 현재 학습대상 문장과 다음 학습대상 문장의 내용을 표시하고, 다음 학습대상 문장에 대응되는 제2 외국어 자막의 내용이 각 함께 표시되도록 하여, 학습자가 현재 학습대상 문장에 대응되는 제2 외국어 자막에 공란으로 표시된 단어들의 내용을 유추해가면서 현재 학습대상 문장에 대응되는 제2 외국어 자막의 내용을 말하도록 하는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
18. 제17항에 있어서,
    단말기가 현재의 학습대상 문장이나 다음 학습대상 문장에 대응되는 제2 외국어 자막의 내용을 단말기의 TTS 음성으로 들려줄 때 학습자가 미리 지정한 횟수 만큼 반복하여 들려주는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
19. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
    단말기가 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면 표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려 주고, 그에 대하여 학습자가 음성 입력을 하면 단말기가 그 입력된 내용에 따른 대응을 한 다음 다시 음성 입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려 주고, 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써 학습자가 단말기의 화면 터치를 하지 않거나 화면 터치를 예외적인 경우로 최소화하여 학습자와 단말기가 서로 음성전달에 의하여 1대 1의 대화 형식으로 학습이 진행되는 것과,
    학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드와 같은 저장장치에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 단말기가 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 저장된 특정 음성명령어들 중의 어느 하나와 일치하면 그 해당 음성 명령어의 내용에 대응되는 기능을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려 주고,
    상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 음성 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용 중 문장 처음부터 시작하여 학습자가 미리 지정한 숫자의 글자나 단어의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 그 문장의 내용 중 문장 처음부터 시작하여 학습자가 미리 지정한 숫자의 글자나 단어의 내용을 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장의 내용 중 문장 처음부터 시작하여 학습자가 미리 지정한 숫자의 글자나 단어의 내용을 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 하는 방식의 학습이 진행되는 것과,
    상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장의 내용 중 문장 처음부터 시작하여 학습자가 미리 지정한 숫자의 글자나 단어의 내용을 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 영상 또는 이미지를 표시하여 학습자가 볼 수 있도록 하는 것과,
    상기 단말기의 화면에 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 그 각 학습대상 문장에 대응되는 학습자의 자국어 자막이 각 함께 표시되도록 하는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
20. 다수개의 외국어 표현이 들어 있는 비디오의 외국어 콘텐츠를 이용하여 대화 형으로 외국어를 학습시키는 방법에 있어서,
    단말기가 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면 표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려 주고, 그에 대하여 학습자가 음성 입력을 하면 단말기가 그 입력된 내용에 따른 대응을 한 다음 다시 음성 입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려 주고, 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써 학습자가 단말기의 화면 터치를 하지 않거나 화면 터치를 예외적인 경우로 최소화하여 학습자와 단말기가 서로 음성전달에 의하여 1대 1의 대화 형식으로 학습이 진행되는 것과,
    학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드와 같은 저장장치에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 단말기가 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 저장된 특정 음성명령어들 중의 어느 하나와 일치하면 그 해당 음성 명령어의 내용에 대응되는 기능을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려 주고,
    상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 음성 명령어의 어느 것과도 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장에 대응되는 제2외국어 자막의 내용 중 문장 처음부터 시작하여 학습자가 미리 지정한 숫자의 글자나 단어의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 그 문장에 대응되는 제2외국어자막의 내용 중 문장 처음부터 시작하여 학습자가 미리 지정한 숫자의 글자나 단어의 내용을 단말기의 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장의 내용 중 문장 처음부터 시작하여 학습자가 미리 지정한 숫자의 글자나 단어의 내용을 TTS 음성으로 들려준 다음 다시 음력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 하는 방식의 학습이 진행되는 것과,
    상기 단말기가 현재 학습대상 문장 또는 다음 학습대상 문장에 대응되는 제2외국어 자막의 내용 중 문장 처음부터 시작하여 학습자가 미리 지정한 숫자의 글자나 단어의 내용을 TTS 음성으로 들려주기 전이나 후 또는 들려줌과 동시에 단말기의 화면에 해당 학습대상 문장에 대응되는 영상 또는 이미지를 표시하여 학습자가 볼 수 있도록 하는 것과,
    상기 단말기의 화면에 현재의 학습대상 문장과 다음 학습대상 문장의 내용 및 그 각 학습대상 문장에 대응되는 학습자의 자국어 자막과 제2외국어 자막이 각 함께 표시되도록 하는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
21. 제1 내지 20항 중 어느 한 항에 있어서,
    학습대상이 되는 언어와 학습자의 자국어가 영어가 아닌 경우 현재 학습대상 문장과 다음 학습대상 문장에 각 대응되는 영어 자막을 학습자의 자국어 자막과 함께 화면에 표시하는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
22. 제1 내지 17항 중 어느 한 항에 있어서,
    현재 학습대상 문장과 다음 학습대상 문장에 각 대응되는 하나 이상의 제2 외국어 자막 문장을 학습자의 자국어 자막 문장과 함께 화면에 표시하는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
23. 제 1 내지 20항 중 어느 한 항에 있어서,
    학습자의 자국어 자막과 하나 이상의 다른 나라의 언어로 된 제2 외국어 자막을 구비하고 그 구비된 자막들 중 학습자가 선택하는 하나 이상의 자막이 화면에 표시되도록 하는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
24. 제22항에 있어서,
    학습자가 화면에 표시된 자막에 사용된 언어들 중 어느 언어를 단말기가 읽어주는 자막 언어로 할 것인지를 선택할 수 있도록 하는 것과,
    상기 학습자가 선택한 자막의 언어 이름이 화면에 표시되는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
25. 제1 내지 20항의 학습방법들 중 둘 이상의 학습방법을 함께 구비하고, 학습자가 현재 학습하는 방법에서 다른 학습방법으로의 전환을 음성명령에 의하여 하는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
26. 제25항에 있어서,
    단말기의 화면에 학습자가 현재 사용하고 있는 학습방법을 표시하고 그 표시가 학습자가 음성명령에 의하여 다른 학습방법으로 바뀜에 따라 바뀌는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
27. 제1 내지 20항의 어느 한 항에 있어서,
    학습자가 음성 명령에 의하여 전환할 수 있는 학습방법들을 학습자의 음성명령에 의하여 화면에 표시하여 주는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
28. 제1 내지 20항 중 어느 한 항에 있어서,
    학습자가 사용할 수 있는 음성명령어들의 내용을 학습자의 음성명령에 의하여 화면에 표시하여 주는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
29. 제1 내지 20항 중 어느 한 항에 있어서,
    학습자가 단말기의 음성 입력 대기상태에서 학습대상 문장을 입력할 때 마다 학습대상 문장들 중 정확하게 말하지 못한 단어가 하나 이상 있는 경우에 그 단어나 단어들을 화면에 표시하여 주는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
30. 제1 내지 20항 중 어느 한 항에 있어서,
    학습자가 학습중인 학습대상 문장의 번호와 학습자가 학습과정에서 획득한 점수를 화면에 표시하여 주는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
31. 제1 내지 20항의 어느 한 항에 있어서,
    학습자가 입력한 음성과 학습대상 문장이 유사한지 여부를 판단함에 있어서 그 유사성 여부를 판단하는 방법이 학습대상 문장의 길이와 학습자가 지정한 학습 난이도의 두 가지 중 어느 하나 또는 둘 모두에 따라서 달라지는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
32. 제7항에 있어서,
    단말기가 학습대상 문장을 들려주거나 학습자가 말을 할 때에 화면에 학습대상 문장이 표시되게 하거나 표시되지 않게 하는 것이, 각기 미리 정한 해당 음성명령어들을 말하는 것에 의하여 되도록 하는 방법과 학습자가 학습대상 문장을 동일하거나 동일 범주에 속할 정도로 말한 경우에는 학습대상 문장이 화면에 표시되지 않게 하고 학습자가 학습대상 문장을 동일하거나 동일 범주에 속할 정도로 말하지 않은 경우에는 학습대상 문장이 화면에 표시되게 하는 방법들 중 전부 또는 일부에 의하여 되도록 하는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
33. 제1 내지 20항 중 어느 한 항에 있어서,
    학습자가 미리 저장된 음성명령어들에 더하여 미리 저장된 음성명령어와 같은 기능을 수행하는 다른 음성명령어를 추가로 등록하여 저장시킨 후 이를 사용할 수 있도록 하는 것을 포함하는 것
    을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화 형 외국어 학습방법.
    
34. 제1항 내지 제20항 중 어느 한 항의 방법을 포함하는 애플리케이션.

Images