KR20200094060A

KR20200094060A - 단말기의 음성인식 기능과 tts 기능을 이용한 상호 음성전달에 의한 대화형 외국어 학습방법

Info

Publication number: KR20200094060A
Application number: KR1020190081669A
Authority: KR
Inventors: 이장호
Original assignee: 이장호
Priority date: 2019-01-29
Filing date: 2019-07-06
Publication date: 2020-08-06

Abstract

본 발명은 스마트폰, 태블릿 PC, 노트북, 말하는 장난감, AI 스피커 등의 음성인식 기능과 TTS 기능을 구비한 단말기에서 그것에 내장된 음성인식 기능과 TTS 기능 및 영화, 드라마, 팝송, 뉴스 등 외국어 음성표현이 들어 있는 비디오 또는 오디오 콘텐츠를 이용하여 상기 단말기와 학습자가 자연스럽게 대화하는 형식으로 외국어 학습을 할 수 있도록 하는 대화형 외국어 학습방법에 관한 것으로서, 더욱 상세하게는 단말기가 음성인식을 위한 학습자의 음성입력 대기상태에서 학습자가 말하는 음성을 입력받아 그것이 현재 학습대상 문장과 동일하거나 동일 범주에 속하지 않는 경우에는 현재의 학습대상 문장에 대하여 단말기가 먼저 읽어 주고 학습자가 따라서 말하는 방식의 학습을 진행하게 하고, 학습자의 음성입력이 현재의 학습대상 문장의 다음 문장과 동일하거나 동일 범주에 속하는 경우에는 단말기와 학습자가 번갈아 가며 한 문장씩을 말하는 방식의 학습을 진행하여 단말기와 학습자가 서로 음성전달에 의하여 1 대 1의 대화형식으로 자연스럽게 외국어 학습을 할 수 있게 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법에 관한 것이다.

Description

단말기의 음성인식 기능과 TTS 기능을 이용한 상호 음성전달에 의한 대화형 외국어 학습방법{Method of interactive foreign language learning by voice talking each other using voice recognition function and TTS function}

본 발명은 스마트폰, 태블릿 PC, 노트북, 말하는 장난감, AI 스피커 등의 음성인식 기능과 TTS 기능을 구비한 단말기에서 그것에 내장된 음성인식 기능과 TTS(Text to Speech) 기능을 이용하고 영화, 드라마, 팝송, 뉴스 등 외국어 음성 표현이 들어 있는 비디오 또는 오디오 콘텐츠(이하 외국어 콘텐츠 또는 콘텐츠라고 한다)를 활용하여 상기 단말기와 학습자가 서로 음성전달에 의하여 자연스럽게 대화하는 형식으로 외국어 학습을 할 수 있도록 하는 대화형 외국어 학습방법에 관한 것으로서, 더욱 상세하게는 단말기가 음성인식을 위한 학습자의 음성입력 대기상태에서 학습자가 말하는 음성을 입력받아 그것이 미리 저장된 명령어에 해당하는 경우 정해진 명령을 수행한 후 다시 음성입력 대기상태를 출현시키고, 학습자의 음성입력이 현재의 학습대상 문장과 동일하거나 동일 범주에 속하는 경우에는 단말기가 다음 문장을 들려준 후 음성입력 대기상태를 출현시켜 학습자가 따라서 말하게 하고 학습자의 음성입력이 현재의 학습대상 문장의 동일 범주에 미치지 못하는 경우에는 단말기가 현재의 문장을 다시 들려주고 음성입력 대기상태를 출현시켜 따라서 말하게 하는 방식의 학습을 진행하게 하고, 학습자의 음성입력이 현재의 학습대상 문장의 다음 문장과 동일하거나 동일 범주에 속하는 경우에는 단말기와 학습자가 번갈아 가며 한 문장씩을 말하는 방식의 학습을 진행하게 하여, 화면을 가진 단말기의 경우에도 학습자가 화면을 터치하지 않거나 화면의 터치를 예외적인 경우로 최소화하여 단말기와 학습자가 서로 음성전달에 의하여 1 대 1의 대화형식으로 자연스럽게 외국어 학습을 할 수 있게 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법에 관한 것이다.

일반적으로 PC, 노트북, 태블릿 PC, 스마트폰 등의 콘텐츠가 재생되는 장치와 외국어 콘텐츠를 이용하여 외국어를 학습하는 방법들이 많이 사용되어 왔고, 최근에는 그러한 장치들에 음성인식 기술과 TTS의 기술을 적용할 수 있게 되면서 이러한 기술들을 부가하여 외국어를 학습하는 방법들도 많이 제안되었다.

그리고 구글이나 삼성 등과 같은 회사들이 구글 어시스턴트나 삼성 빅스비와 같은 음성인식 기술과 TTS 기술을 접목시킨 프로그램을 개발하여 단말기에 말을 하여 어떤 질문을 하거나 단말기가 가지는 기능을 실행시킬 수 있게 되었다.

그러나 위 외국어 콘텐츠를 이용한 외국어 학습방법은 단말기가 실행하는 비디오 또는 오디오 콘텐츠를 학습자가 감상하는 것을 주된 목적으로 하고 학습자가 단말기와 서로 음성전달에 의하여 대화를 나누는 방식으로 진행되는 것이 아니어서 학습자가 스스로 말을 할 수 있는 기회가 많이 부여되지 아니하고, 음성인식 기능을 이용하여 학습자가 말로 단말기에 어떠한 기능을 실행하게 하거나 검색을 하게 하는 프로그램은 기본적으로 정확한 외국어를 학습하게 하는 목적의 프로그램이 아니어서 이미 외국어를 어느 정도 공부하여 외국어로 대화를 이어나갈 정도의 실력을 가진 경우가 아니면 위 프로그램들을 이용하여 대화를 하는 것이 쉽지 않고 또 어느 정도 대화를 할 실력이 있더라도 대화 주제의 제한과 학습자가 사용하는 표현의 정확성도 담보할 수 없으므로 외국어 학습방법으로는 적절치 못한 문제점이 있었다.

관련 선행기술 문헌으로는 등록특허공보 10-0954498호, 10-1125572호, 10-1427528호 등이 있다.

본 발명은 상기와 같은 종래기술의 문제점을 해소하기 위하여 연구 개발된 것이다. 본 발명자는, 음성인식 기술과 TTS 기술을 활용하여 단말기와 학습자가 서로 음성전달에 의하여 계속하여 대화를 나누는 방식으로 학습을 하도록 하여 학습자에게 자신의 음성으로 외국어를 말하는 기회를 최대한으로 부여하고, 학습자가 말하여야 하는 내용도 정확한 외국어 표현의 집합체라고 볼 수 있는 외국어 콘텐츠를 사용함으로써 학습자와 단말기가 정확한 외국어 표현을 이용한 음성전달에 의하여 1 대 1 식의 대화를 계속하도록 하는 본 발명의 기본 기술사상을 착안한 후 그 구체화 과정에서 발생하는 여러 가지 문제점들을 순차로 해결함으로써 본 발명을 완성하기에 이르렀다.

본 발명이 스마트폰, 태블릿 PC, 노트북, 말하는 장난감, AI 스피커 등의 단말기에서 그것에 내장된 음성인식 기능과 TTS 기능을 적용하여 상기 단말기와 학습자가 외국어 콘텐츠를 이용한 대화를 하는 형식으로 외국어 학습을 진행할 수 있도록 하기 위하여 해결되어야 할 과제들은 다음과 같다.

(1) 학습자가 단말기에 하는 의사전달이 종래와 같이 버튼을 누르는 것에 의하지 않고 학습자의 음성전달에 의하려면 종래에 버튼을 누르던 모든 상황에서 단말기가 학습자의 음성입력을 대기하는 상태(이하 '대기상태'라고 한다)를 출현시켜 학습자가 음성을 입력시킬 수 있도록 하여야 한다. 그런데 음성인식 기능을 실행하는 프로그램에서는 단말기의 대기상태가 출현되도록 하려면 그 출현을 명령하는 내용이 할당된 버튼을 학습자가 눌러야 하므로, 이는 모든 명령의 전달을 학습자의 음성으로 하게 한다는 본 발명의 목표에 부합하지 않는다. 따라서 본 발명이 추구하는 목적을 완전하게 이루기 위해서는 학습자가 음성으로 명령을 전달하기 위한 대기상태를 만드는 것 자체도 학습자의 음성명령에 의하여 실행되는 내용에 포함되도록 프로그램을 구성하여야 한다.

(2) 학습자가 단말기의 음성입력 대기상태에서 음성입력을 함으로써 단말기는 학습자가 말하는 각 음성명령의 의미를 인식한 후 학습자의 명령에 대하여 외국어 음성으로 반응을 보이거나 명령 받은 기능을 수행할 수 있도록 하여야 한다. 그래야만 학습의 과정이 학습자와 단말기 사이의 상호 음성전달에 의한 1 대 1 대화형식으로 진행되게 되어 학습자가 외국어로 말을 하는 기회를 많이 갖게 될 뿐만 아니라 학습자가 단말기를 보면서 손으로 화면을 터치하는 과정으로 인하여 자연스러운 대화가 끊기는 현상이 생기는 것을 방지할 수 있다. 이를 위하여서는 학습자가 단말기에 음성으로 전달하고자 하는 명령 표현들이 별도로 단말기에 준비되어 저장되어 있어야 하고 단말기는 학습자가 말하는 표현이 이 준비된 명령어에 해당하는지 여부를 판단하여 그에 해당하는 경우 대응되는 기능을 실행시킬 수 있게 하여야 한다.

(3) 외국어 콘텐츠에 있는 외국어 표현을 사용하여 학습자와 단말기가 상호 음성전달에 의한 대화형식으로 학습이 진행되게 하려면 단말기가 먼저 학습대상 문장을 콘텐츠 음성 또는 TTS 음성으로 들려주고 학습자가 이를 따라서 말하는 학습방법이 구비되어야 한다. 이러한 학습방법에 의하여 학습자는 정확한 발음방법과 정확한 외국어 표현내용을 숙지할 수 있게 된다. 이러한 학습을 진행하는 과정에서는 학습자가 학습대상 문장을 정확하게 말하였는지 여부를 판단하여 그 판단결과에 따라 단말기가 다른 대응을 하게 하여야 한다. 즉, 학습자가 학습대상 문장을 정확하게 말한 경우에는 학습이 충분히 된 것으로 판단하고 다음 문장의 학습을 할 수 있도록 하고 그렇지 못한 경우에는 현재 문장에 대한 학습을 더 하도록 하여야 한다. 그런데 학습자가 말한 내용이 현재의 학습대상 문장과 일치하는지 여부를 판단함에 있어서 학습자의 외국어 발음 능력과 음성인식 프로그램의 인식능력의 한계로 인하여 완전히 일치하는 결과를 얻어 내는 것이 지나치게 어려워 계속하여 현재의 문장만을 가지고 학습할 것을 요구하게 되면 학습자가 지친 나머지 학습을 포기하게 될 수도 있고 한 문장에 매달려 지나치게 많은 시간을 소비하는 경우 자연스러운 대화형식의 학습이 저해될 수 있다. 따라서 이러한 문제점을 해결하여야 보다 더 자연스러운 대화형식의 학습이 가능하게 된다.

(4) 본 발명이 진정한 자연스러운 대화형식의 외국어 학습방법이 되게 하려면, 단말기와 학습자가 1 대 1로 한 문장씩을 번갈아 말하는 대화형식으로 학습을 하는 수단이 마련되어야 한다. 그렇게 하기 위하여서는 현재의 문장이나 여러 개의 문장들에 대하여 단말기가 실행하는 것을 듣고 학습자가 따라서 말하는 학습과정만으로는 충분하지 않고, 학습자가 그러한 학습과정에 의하여 익힌 능력을 가지고 실제로 단말기와 1 대 1식의 대화를 하고 그 결과에 따라서 학습이 계속 진행될 수 있도록 하는 학습방법이 마련되어야 한다.

(5) 종래의 버튼(대기상태를 출현시키기 위한 버튼을 포함한다)을 누르는 방식은 학습자가 버튼을 눌러야 할 때가 언제인지를 판단하여 그 때(예컨대 하나의 학습대상 문장에 대한 비디오나 오디오의 실행이 끝날 때)가 될 때까지 기다렸다가 다음 문장을 실행하라는 버튼을 눌러서 실행하도록 하면 되었으므로 특별히 학습자가 버튼을 누를 시점에 대한 고려를 할 필요가 없었다. 그러나 학습자의 음성전달이 버튼을 누르는 동작을 대신하게 하려면 학습자의 음성을 전달받기 위한 대기상태가 출현되도록 하여야 하고, 그러한 대기상태는 종래에 학습자에 의하여 버튼이 눌리던 시점에 출현되도록 하여야 한다. 따라서 대기상태가 출현하여야 할 적정 시점을 산출하여 그에 관한 정보를 단말기에 전달하면 보다 자연스러운 대화형식의 학습을 진행할 수 있게 된다.

(6) 학습자가 외국어 콘텐츠에 들어 있는 음성 또는 자막(오디오 콘텐츠도 가사나 대사 등이 자막으로 표시되는 경우가 있으므로, 이하 가사나 대사 등 그 형태와 관계없이 자막으로 표시되는 모든 경우를 합하여 자막이라고만 한다) 상의 외국어 문장표현들과 학습자가 그 해당 문장을 말하려는 의도를 가지고 해당 문장을 따라서 읽어서 생성되는 음성 또는 문자 표현들 사이에는 어느 정도의 차이가 생기게 마련인데, 이러한 차이를 극복할 수 있는 수단이 마련되면 보다 자연스러운 대화형식의 외국어 학습이 가능하게 된다. 학습자가 입력한 음성의 내용과 콘텐츠의 문장 내용을 대비하는 과정에서 양 문장의 텍스트를 대비하는 경우에는 다음과 같은 점들이 고려되어야 한다. 콘텐츠의 자막에 들어 있는 텍스트 형식의 문장 표현은 자막이 100% 정확하게 만들어졌다고 하더라도 단말기의 음성인식 기능에 의하여 생성되는 문장 표현과 여러 가지 점에서 불일치를 보일 수 있다. 예를 들면 단말기에서 사용하는 음성인식 프로그램은 프로그램 마다 대문자, 소문자의 처리나 물음표, 느낌표, 따옴표, 괄호 등의 문장부호 및 $, kg, % 등과 같은 각종 단위 표시 기호의 사용 여부, 숫자나 고유명사의 표현방법 등에 따라서 두 문장은 차이를 보이게 된다. 그리고 일반적으로 컴퓨터는 두 문자열 사이의 동일성을 판단함에 있어서 공란도 하나의 문자로 인식하기 때문에 공란의 존재 여부나 그 위치 및 개수로 인하여 문자열 사이의 동일성 판단 결과가 달라진다. 그 결과 자막에 들어 있는 텍스트와 음성인식 기능을 통하여 생성되는 텍스트 사이에는 실질적으로는 같은 의미를 나타냄에도 불구하고 동일하지 않은 것으로 인식되는 경우가 생긴다. 이러한 차이가 존재하면 학습자가 정확하게 외국어 표현을 말한 경우에도 단말기는 학습자가 틀린 표현을 한 것으로 처리하게 된다. 따라서 이러한 차이들을 극복하는 방법을 안출하여 적용하면 보다 자연스러운 대화형식의 외국어 학습이 가능하게 된다.

(7) 학습자와 단말기 사이에서 1 대 1의 대화형식의 학습이 보다 더 자연스럽게 진행될 수 있도록 하려면 학습자가 학습대상 문장을 콘텐츠 음성으로 듣고 이를 이해한 후 따라서 말하는 것의 어려움을 보완하기 위한 추가적인 수단이 마련되면 보다 용이하게 학습을 진행할 수 있게 된다.

(8) 학습자가 단말기의 버튼이나 화면의 접촉을 최소한으로 줄이고 단말기에 음성을 전달하고 이에 대하여 단말기가 반응을 하면서 외국어 학습을 진행하는 과정에서는 학습자가 단말기에 대하여 하는 음성명령어와 학습대상 문장의 표현들 사이에 서로 혼동이 발생하여 학습자가 예상치 못한 방식으로 단말기가 반응하는 경우가 생기게 된다. 음성명령어와 학습대상 문장 사이의 혼동이 생기는 것을 방지하기 위한 수단이 추가적으로 마련되면 단말기와 학습자가 보다 자연스럽게 서로 음성전달에 의한 대화 형식으로 외국어 학습을 진행할 수 있게 된다.

(9) 학습자는 외국어 발음 능력에 따라 학습대상 문장의 일부(음소나 음절, 단어의 형태를 모두 포함한다) 또는 전부를 학습대상 문장과 동일하게 인식되도록 말하지 못하는 경우가 발생하므로 학습자가 자주 틀리는 부분을 확인시켜 학습자에게 보여주어 알게 하는 수단을 강구할 필요가 있다. 이러한 수단이 구비되는 경우 학습자가 학습대상 문장 중에서 자주 틀리는 부분을 집중적으로 학습할 수 있게 하여 학습자의 외국어 발음 능력의 향상과 자연스러운 대화 형식의 학습이 가능하게 할 수 있다.

(10) 학습자가 음성입력을 하여야 함에도 단말기가 대기상태를 출현시키지 않아서 음성입력을 하지 못하고 먼저 대기상태를 출현시키기 위하여 버튼을 찾아서 눌러야 하는 상황이 발생하지 않도록 하여야 한다. 일반적으로 음성인식 프로그램에서 단말기의 대기상태는 단말기가 학습자에게 특별한 소리신호를 보내거나 소리신호와 함께 화면에 특정한 모양의 아이콘을 표시하여 단말기가 학습자의 음성입력을 받아들일 상태가 되었음을 알린 후 몇 초간(일반적으로 5 내지 7초) 그 상태를 유지하다가 음성입력이 없으면 아이콘의 모양이 바뀌어 그 부분을 다시 접촉하지 않으면 다시 대기상태로 복귀하지 않는다. 본 발명이 추구하는 목표를 이루기 위하여서는 이와 같이 대기상태가 소멸되는 상황이 발생하지 않도록 하여야 하고 만일 소멸된 경우에는 버튼을 찾아 누르지 않고도 위 대기상태로 전환시킬 수 있는 추가적인 수단이 강구되어야 한다.

(11) 학습자가 흥미를 잃지 않고 단말기와 대화형식의 외국어 학습을 계속할 수 있게 하려면 학습자가 정확하게 외국어 표현을 말하여 단말기로 하여금 미리 정해진 기능을 수행시키거나 학습대상 콘텐츠 내에 있는 표현을 정확하게 말하여 그 다음 단계의 학습으로 넘어가는 경우 및 학습자가 인내심을 가지고 상당 시간 학습을 지속한 경우 등에는 그 학습의 성과를 수치로 반영하여 나타냄으로써 학습자의 학습의욕을 고취시키고 학부모나 선생님 등이 학습자의 성취를 확인할 수 있는 수단이 추가적으로 마련될 수 있다. 이러한 수단은 서버를 통하여 본 발명이 사용되는 경우에는 여러 학습자들 사이의 비교 등을 통하여 경쟁을 유발하여 학습자들에게 성취 의욕을 더욱 고취시킬 수 있게 될 것이다. 따라서, 이와 같이 학습자의 학습 성과를 산정하여 나타내 주는 수단은 추가적으로 해결되어야 할 과제에 포함시킬 수 있다.

(12) 본 발명을 실시하는 과정에서는 학습자가 명령어 또는 학습대상 문장을 자신의 음성으로 말하면 단말기가 이를 미리 저장된 명령어의 문장 또는 학습대상 문장과 일치하는지를 판단하는 상황이 계속하여 발생하게 된다. 이 과정에서 단말기는 학습자가 말하는 내용을 녹음한 후 그 녹음결과물에서 필요한 데이터를 추출하여 이를 음성인식 알고리즘 내의 비교대상 데이터와 비교하는 방식으로 음성인식 기능을 수행하게 되는데, 그러한 비교 후에 학습자의 음성을 저장하지 않으면 그 음성녹음 결과물은 소멸되게 된다. 그런데 학습자가 어떤 문장을 정확하게 읽을 의도를 가지고 자신의 음성으로 읽은 것을 녹음한 결과물은 이를 학습대상 문장과 대응시켜 저장하여 두고 그로부터 데이터를 추출하여 음성인식 기능의 수행을 위하여 사용하는 것을 포함한 여러 가지 용도로 활용할 수 있는 귀중한 데이터가 된다. 따라서 이를 소멸시키지 않고 학습대상 문장과 대응시켜 저장하여 보다 효율적인 음성인식을 위한 데이터로 사용하고, 학습과정에서도 이를 활용하는 수단이 강구되어야 한다.

또한 학습자가 학습대상 문장 등을 정확하게 읽을 의도를 가지고 말한 것을 음성인식기가 인식하여 이를 텍스트화한 결과물을 학습자의 음성과 별도로 저장하고 이를 상기와 같은 여러 용도로 활용하는 수단들이 강구되어야 한다.

(13) 본 발명을 실시한 어플리케이션(이하 앱이라 한다) 등은 외국어 콘텐츠를 사용하게 되는데 콘텐츠에 따라서는 그에 대한 저작권자의 사용 동의를 얻어야 하는 문제가 생길 수 있다. 원래 외국어 콘텐츠는 자연스러운 대화형식의 외국어 학습을 목표로 하여 만드는 것이 아니기 때문에, 이러한 콘텐츠를 외국어 학습용으로 사용하는 것도 저작권자의 허락을 받아야 하는 경우가 있을 수 있다. 일반적으로 이러한 콘텐츠들을 교육용으로 사용하는 경우에는 저작권자의 허락이 없이도 가능하게 하는 법제도 있지만 이러한 콘텐츠를 사용한 교육을 상업용으로 실시하는 경우에는 그것이 저작권자의 허락을 받아야 하는 것인지가 불분명한 경우도 많다. 따라서 학습대상이 되는 외국어 콘텐츠가 학습자가 저작권자의 허락을 받아 실시하는 것인지를 본 발명의 실시과정에서 확인함으로써 본 발명을 실시하는 것이 불법적인 것이 되지 않도록 하기 위한 수단을 강구하는 것이 필요하다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 단말기의 음성인식 기능과 TTS 기능을 이용한 상호 음성전달에 의한 대화형 외국어 학습방법은, 다수개의 외국어 학습대상 표현들이 들어 있는 외국어 콘텐츠를 이용하여 단말기와 학습자가 상호 음성전달에 의한 1 대 1의 대화방식으로 외국어를 학습시키는 방법에 있어서, 상기 단말기가 소리신호로 음성입력 대기상태가 되었음을 알리거나 그러한 소리신호와 함께 화면에 음성입력 대기모드 화면이 표시되고, 그 음성입력 대기상태에서 학습자가 음성을 입력하면 단말기가 그 입력된 내용에 따른 대응을 한 후 다시 음성입력 대기상태가 되어 화면을 구비한 단말기의 경우에도 학습자가 단말기의 화면을 터치하지 않거나 화면 터치를 예외적인 경우로 최소화하여 단말기와 학습자가 서로 음성전달에 의하여 1 대 1의 대화형식으로 학습을 행하는 것을 특징으로 한다. 본 발명은 또한 학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드에 저장하고, 상기 음성입력 대기상태에서 입력되는 학습자의 음성이 상기 저장된 명령어와 대비하여 특정 명령어와 일치하면 상기 해당 명령어를 실행하는 것을 특징으로 한다.

본 발명은 또한, 상기 학습자가 입력한 음성의 내용이 현재의 학습대상 문장과 동일하거나 동일 범주에 속하는 경우에는 단말기가 다음 문장을 들려준 후 음성입력 대기상태를 출현시켜 학습자가 따라서 말하게 하고 그것이 현재의 학습대상 문장의 동일 범주에 미치지 못하는 경우에는 단말기가 현재의 문장을 다시 들려주고 음성입력 대기상태를 출현시켜 따라서 말하게 하는 방식으로 반복적으로 학습을 진행하게 하는 것을 특징으로 한다.

본 발명은 또한, 상기 학습자가 입력한 음성의 내용이 현재의 학습대상 문장의 다음 문장과 동일하거나 동일 범주에 속하는 것으로 판정되면 단말기와 학습자가 번갈아 가며 한 문장씩을 말하는 방식의 학습을 진행하는 것을 특징으로 한다.

본 발명은 또한, 상기 음성입력 대기상태로 전환되는 시간이 해당 외국어 학습대상 문장의 길이와 외국어 콘텐츠에서 해당 외국어 학습대상 문장이 실행되는데 걸리는 시간을 고려하여 정해지는 것을 특징으로 한다.

본 발명은 또한, 상기 학습자가 입력한 음성의 내용을 외국어 콘텐츠의 외국어 학습대상 표현들과 동일한지 또는 동일 범주에 속하는지를 판단하는 과정에서 양 문장의 텍스트를 대비하는 방법을 사용하는 경우에는 양 문장에서 물음표(?), 느낌표(!), 쉼표(,), 마침표(.), 따옴표(" "), 붙임표(-), 가운뎃점(·), 소괄호{()}, 중괄호({ }), 대괄호([ ])와 같은 문장부호나 문장 앞부분과 뒷부분에 잘못 부가된 공란과 중복되는 공란은 없는 것으로 보고, 숫자의 표현을 아라비아 숫자로 표시한 것과 알파벳으로 표시한 것, 주어 뒤에 생략부호( ’)를 사용하여 뒤에 오는 동사, 조동사를 축약형으로 표시한 것과 축약형을 사용하지 않고 원래의 형태로 표시한 것, 부정문을 생략부호( ’)를 사용하여 축약형으로 표시한 것과 축약형을 사용하지 않고 원래대로 표시한 것, "going to"와 gonna, "want to"와 wanna, "got to"와 gotta, 대소문자를 구분하여 사용하는 것과 구분하지 않고 사용하는 것은 이를 동일한 것으로 보는 것들 중의 일부 또는 전부를 포함하는 것을 특징으로 한다.

본 발명은 또한, 학습자가 해당 외국어 학습대상 문장에 대하여 계속하여 동일 범주에 속하는 음성입력을 하지 못하여 계속하여 상기 해당 외국어 학습대상 문장이 반복되는 경우 yes, okay와 같이 간단한 음성을 입력하거나 you speak next sentence와 같이 사전에 정해진 명령어를 음성입력하면 현재의 해당 외국어 학습대상 문장에 대한 재생을 중단하고 다음 문장으로 이동할 수 있게 한 것을 특징으로 한다.

본 발명은 또한, 추가적으로 화면이 구비된 단말기의 경우에 단말기에 현재의 학습대상 문장과 함께 다음의 학습대상 문장을 함께 표시하도록 한 것을 특징으로 한다.

본 발명은 또한, 추가적으로 단말기가 학습자에게 학습대상 문장에 대한 외국어 콘텐츠 음성 또는 TTS 음성을 들려주기 전에 그 외국어 음성에 대응되는 자국어 자막의 내용을 TTS 음성으로 읽어서 들려주는 것을 특징으로 한다.

본 발명은 또한, 추가적으로 단말기가 학습자에게 학습대상 문장에 대한 외국어 콘텐츠 음성을 들려주기 전에 학습대상 문장을 TTS 음성으로 읽어서 들려주는 것을 특징으로 한다.

본 발명은 또한, 추가적으로 단말기가 학습자에게 학습대상 문장에 대한 외국어 콘텐츠 음성을 들려주기 전에 그 외국어 음성에 대응되는 자국어 자막의 내용과 학습대상 문장의 내용을 각 TTS 음성으로 읽어서 들려주는 것을 특징으로 한다.

본 발명은 또한, 상기 단말기에서 음성입력 대기상태가 소멸된 경우, 학습자가 화면을 터치하지 않고 리모컨(삼성 갤럭시노트의 펜도 포함)이나 이어폰의 버튼 중의 하나 또는 복수의 버튼을 누르거나 삼성 빅스비, 구글 어시스턴트와 같이 음성을 인식하는 다른 소프트웨어를 이용함으로써, 음성입력 대기상태를 활성화할 수 있는 것을 특징으로 한다.

본 발명은 또한, 상기 학습자가 외국어 콘텐츠를 이용하여 대화형으로 외국어를 학습하는 과정에서 그 학습의 성과를 평가하여 수치로 나타내는 것을 특징으로 한다.

본 발명은 또한, 상기 학습자가 입력한 음성의 내용이 학습대상 문장을 100% 정확하게 말한 것으로 판단되어 단말기가 그 다음 문장으로 이동하여 학습을 진행시키게 되는 경우에는 그 학습자의 음성녹음을 그 학습대상 문장과 대응시켜 저장하도록 함으로써 상기 학습자의 음성으로 특정 문장을 말하여 생성된 음성녹음 데이터를 보전하여 사용할 수 있게 한 것을 특징으로 한다.

본 발명은 또한, 학습자가 단말기에 대하여 하는 음성명령어와 학습대상 문장의 표현들 사이에 서로 혼동이 발생하여 학습자가 예상치 못한 방식으로 단말기가 반응하는 것을 방지하기 위하여 음성명령어의 전부 또는 일부에 학습대상 문장의 표현과 혼동되지 않도록 하는 식별자를 첨가하여 사용하는 것을 특징으로 한다.

본 발명은 또한, 학습자가 입력한 음성의 내용이 학습대상 문장과 100% 정확하게 일치하지 않는 경우에 학습자의 음성입력을 단말기의 음성인식부가 변환한 텍스트를 학습대상 문장 또는 그 문장번호와 대응시켜 저장하는 것을 특징으로 한다.

본 발명은 또한, 학습자가 입력한 음성의 내용이 학습대상 문장과 100% 정확하게 일치하지 않는 경우에 학습자의 음성입력을 단말기의 음성인식부가 변환한 텍스트와 학습대상 문장과 차이가 나는 부분을 추출하여 학습자에게 보여주는 것을 특징으로 한다.

본 발명은 또한, 학습자가 입력한 음성의 내용이 학습대상 문장과 100% 정확하게 일치하지 않는 경우에 학습자의 음성입력을 단말기의 음성인식부가 변환한 텍스트와 학습대상 문장과 차이가 나는 부분을 추출하여 이를 저장하는 것과, 그 저장된 자료들로부터 학습자가 가장 많이 틀리는 것들 순으로 순위를 매겨 그 전부 또는 일부를 학습자에게 보여주는 것을 특징으로 한다.

본 발명은 또한, 학습자가 학습대상 문장을 말한 것을 녹음하여 보관하여 그 자료를 해당 문장에 대한 콘텐츠 음성과 대비하여 음성인식의 신속성과 정확성을 높이는 자료로 활용하는 방법과, 학습자가 학습대상 문장을 말한 것을 녹음하여 보관하여 그 자료를 해당 문장에 대하여 학습자 자신이 이전에 말하여 녹음한 녹음파일과 대비하여 음성인식의 신속성과 정확성을 높이는 자료로 활용하는 방법과, 학습자가 학습대상 문장을 말하여 녹음하여 저장하여 그 자료를 음성인식시스템이 음성인식을 위하여 저장장치에 저장된 데이터들과 대비함에 있어서 보조자료로 활용하는 방법들 중, 상기 한 가지 또는 복수의 방법을 조합하여 음성인식의 효율성을 제고하는데 사용하는 것을 특징으로 한다.

본 발명은 또한, 상기와 같은 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법을 포함하는 앱인 것을 특징으로 한다.

본 발명에 따른 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법은, 학습자는 단말기를 이용하여 마치 원어민 친구나 선생님이 항상 동행하면서 외국어 콘텐츠의 한 장면으로 들어가 1 대 1로 대화를 나누고 학습자가 말한 외국어 문장이 올바른지를 바로 평가하여 그에 따른 반응을 보이면서 반복하여 정확한 외국어 문장을 말하도록 하여 자연스럽게 외국어 학습을 할 수 있게 하는 효과를 누릴 수 있다. 이는 특별히 많은 비용이 드는 학원이나 개인 교습을 받는 경우에 비하여도 많은 이점이 있다. 그리고 장소와 시간에 구애를 받지 않으므로 반복 학습을 통하여 외국어를 말하는 능력을 향상시킬 수 있다. 그리고 자신이 좋아하는 영화나 드라마, 팝송 등을 반복하여 보거나 들으면서 그러한 장면의 주인공이 되어 역할극을 해 볼 수도 있고 명장면의 대사들을 거의 암기할 정도로 반복학습을 할 수도 있다.

본 발명은 또한, 음성인식 기능을 통하여 학습자가 외국어를 말한 내용이 학습대상 문장을 정확하게 말한 것으로 평가받기 위하여서는 외국인의 음성과 거의 동일하게 말하지 않으면 안되므로, 학습자는 그러한 평가를 받기 위하여 평소 잘 안되던 발음 등을 교정하기 위한 노력을 하게 되고 이로 인하여 전반적인 외국어 학습의 효과를 볼 수 있게 된다.

본 발명은 또한, 실시하는 과정에서 처음 단계에서는 비디오를 보거나 오디오를 들으면서 전체적인 콘텐츠의 내용을 파악하게 되고 그러한 내용 파악이 끝난 후 또는 내용 파악과 동시에 콘텐츠의 각 학습대상 문장들을 콘텐츠 음성 또는 TTS 음성으로 들으면서 따라서 유사하게 말하는 훈련을 할 수 있게 된다. 이러한 과정들은 학습자가 장소에 구애받지 않고 이어폰을 이용하여 길을 걸으면서도 할 수 있고 화면이 없는 단말기를 이용하거나 야간에 화면을 보기 어려운 상황에서도 계속 대화형의 학습을 이어 나아갈 수 있게 되며, 이로 인하여 학습자의 노력 정도에 따라서는 단기간에 영화나 드라마, 팝송, 뉴스 등 콘텐츠 속의 내용을 파악하고 이를 암기하여 더욱 자연스럽게 대화형식의 학습을 즐길 수 있게 되며, 그러한 학습자의 성취는 본 발명의 학습성과 표시방법에 의하여 학습자 본인이나 학부모 등이 쉽게 확인할 수 있기 때문에 더욱 학습효과를 증진시킬 수 있게 된다.

본 발명은 또한, 실시하는 과정에서 생기는 특정 문장과 대응되는 학습자의 음성자료를 보존하여 활용함으로써 학습자가 더욱 정확하게 외국어를 말하게 되고 더욱 자연스러운 대화형식의 외국어 학습이 가능하게 된다.

본 발명은 또한, 학습자가 학습대상 문장을 정확하게 말한 것을 녹음하여 보관하여 그 자료를 해당 문장에 대한 콘텐츠 음성과 대비하거나, 또는 학습자가 학습대상 문장을 정확하게 말한 것을 녹음하여 보관하여 그 자료를 해당 문장에 대하여 학습자 자신이 이전에 말하여 녹음한 녹음파일과 대비함으로써 음성인식의 신속성과 정확성을 높이는 자료로 활용할 수 있고, 학습자가 학습대상 문장을 정확하게 말한 것을 녹음하여 저장하여 그 자료를 음성인식시스템이 음성인식을 위하여 저장장치에 저장된 데이터들과 대비함에 있어서 보조자료로 활용할 수도 있으며, 위와 같은 한 가지 방법 또는 복수의 방법을 조합하여 음성인식의 효율성을 제고하는데 사용할 수 있도록 하는 효과가 있다.

본 발명은 또한, 학습자가 학습대상 문장을 정확하게 말할 의도를 가지고 말한 것을 단말기의 음성인식 기능에 의하여 텍스트로 생성한 것들 중 학습대상 문장을 100% 정확하게 말하지 못하여 생성된 텍스트들을 학습대상 문장과 비교하여 차이가 나는 부분들을 학습자에게 알려주고 가장 많이 틀린 부분들 순으로 순위를 매겨 보여줌으로써 학습자가 효율적으로 틀리게 말한 부분을 시정하기 위한 노력을 할 수 있도록 하는 효과가 있다.

도 1은 본 발명에 따른 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법에서 명령어 인식과정의 흐름도
도 2는 본 발명에서 학습자의 음성입력에 의한 외국어 학습과정 중 학습모드의 흐름도
도 3은 본 발명에서 학습자의 음성입력에 의한 외국어 학습과정 중 대화모드의 흐름도

본 발명은 스마트폰, 태블릿 PC, 노트북, 말하는 장난감, AI 스피커 등의 단말기에서 그것에 내장된 음성인식 기능과 TTS(Text to Speech) 기능을 이용하고 영화, 드라마, 팝송, 뉴스 등 외국어 콘텐츠를 활용하여 상기 단말기와 학습자가 자연스럽게 대화하는 형식으로 외국어 학습을 할 수 있도록 하는 대화형 외국어 학습방법에 관한 것이다.

본 발명에 따른 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법은 음성인식 기능과 TTS(Text to Speech) 기능을 가진 스마트폰, 태블릿 PC, 노트북 같은 휴대용 단말기에 본 발명에서 제시하고 있는 학습방법을 포함하는 앱(app, application의 약자)을 설치함으로써 구현될 수 있다. 상기 실시예는 앱의 개발도구로서 자바(JAVA) 언어를 사용하는 안드로이드 스튜디오(Android Studio)를 통하여 구현된 것이다. 그러나 본 발명은 안드로이드 스튜디오가 아닌 다른 개발도구나 다른 컴퓨터 언어를 사용하여 구현할 수도 있고 스마트폰을 구동시키는 운영체제(오퍼레이팅 시스템)도 구글 안드로이드에 국한되지 않고 애플 아이폰의 운영체제 등 다른 것들도 사용될 수 있다.

그리고 학습자가 입력한 음성의 내용을 미리 저장된 명령어의 내용 및 학습대상 콘텐츠의 내용과 대비하는 과정에서는 학습자의 음성을 녹음한 파일을 콘텐츠의 음성 파일과 대비하는 방법, 음성인식시스템이 보유하고 있는 데이터 파일과 대비하는 방법, 미리 저장된 학습자의 다른 음성 파일과 대비하는 방법, 음성인식시스템이 만들어내는 텍스트를 학습대상 콘텐츠의 텍스트와 대비하는 방법 등의 여러 가지 방법들 중의 하나 또는 복수의 방법이 사용될 수 있다.

상기 외국어 콘텐츠는 외국어 표현이 있는 영화, 드라마, 팝송, 뉴스 등이 포함되고, 외국어 표현의 자막과 이를 번역한 자국어 자막이 포함되게 된다. 이러한 기본자료들을 추출하여 저장하는 방법에는 제한이 없으므로 본 발명의 목적을 달성하기 위하여 사용가능한 모든 방법들을 사용할 수 있다. 이러한 저장방법의 예로는 외국어 콘텐츠를 단말기 내의 특정 폴더에 저장하여 두고 단말기가 이를 읽어 들여 실행시키는 방법, 클라우드와 같은 단말기 외부의 저장장치에 저장된 콘텐츠를 사용하는 방법, 인터넷의 서버에서 이를 스트리밍의 방법으로 내려 받아 사용하는 방법 등이 모두 사용될 수 있다. 구체적인 콘텐츠의 저장 형태도 저장장치를 만들어 여기에 자료들을 분류하여 저장하는 방법과 저장장치를 만들지 않고 외국어 텍스트, 자국어 텍스트, 명령어, 자막의 시간정보, 학습성적 등과 같이 각각의 자료들을 텍스트 스위처(text switcher), 해시맵(Hashmap), 쉐어드프레퍼런스(sharedpreference) 등과 같이 프로그램 내에서 파일의 형태로 자료를 저장하였다가 현출시켜 사용하는 방법 등을 적절하게 채택하여 사용할 수도 있다. 그리고 외국어 콘텐츠의 전체 또는 일부분, 나아가 각 학습대상 문장들을 저장장치로부터 불러들여 실행시키는 방법도 본 발명의 목적인 자연스러운 대화형식의 학습 진행을 위하여 사용되는 미디어플레이어 등 비디오 또는 오디오 플레이어의 성능이나 특성에 맞추어 여러 가지 방법을 사용할 수 있다. 예를 들면 특정한 문장에 대한 화면이나 음성을 재생시키기 위하여 해당 콘텐츠의 특정 재생 시점(학습대상 문장이 있는 부분)으로 이동시켜 재생(플레이)을 할 수도 있고, 해당 미디어 플레이어나 단말기의 성능 차이로 정확한 시작 시점부터 종료 시점까지의 재생이 어려운 경우에는 콘텐츠를 각 학습대상 문장 단위로 분할하여 저장한 후 이를 실행시키는 방법을 택할 수도 있다. 이와 같은 방법들은 각기 장점과 단점들을 가지고 있으므로 학습대상이 되는 콘텐츠의 크기나 학습자가 가지고 있는 단말기의 저장 용량과 성능 등의 조건들에 맞추어 적절하게 선택하여 실시할 수 있다.

본 발명을 구현한 실시예의 앱에서는 안드로이드 스튜디오가 지원하는 텍스트 스위처(Text Switcher) 기능을 이용하여 외국어 동영상의 외국어 자막에 있는 외국어 문장을 처음부터 끝까지 또는 학습대상으로 선택되는 일부의 문장들을 텍스트 스위처에서 보여주는 기본문장들의 배열(String array)로 입력시켜 프로그램 내에 저장하고, 이에 대응되는 자국어 자막의 내용은 해시맵{Hash map, 자료를 키(key)와 그에 대응되는 값(value)의 형태로 저장하여 두고 사용하는 기법}의 키와 텍스트 스위처 기본문장의 순번을 나타내는 아이디(id)에 대응시켜 저장하며, 기본문장이 실행되는 비디오나 오디오 파일(비디오 파일은 화상과 음성을 모두 실행시키는 파일이고, 오디오 파일은 음성만을 실행시키는 파일로서 학습자의 선택에 따라서 사용된다)의 모두 또는 그 중 어느 하나를 해당 문장별로 또는 내용상의 구분에 의하여 설정된 챕터별로 분할하여 적절한 이름(각 문장별로 분할하는 경우에는 그 문장의 번호에 대응되는 이름을 붙이는 것이 편리하다)을 붙여 저장한 후 해당 학습대상 문장 또는 챕터에 대응시켜 실행되도록 하는 방법을 사용하였다. 이는 앱의 내용이 간단하여 관리가 용이하면서도 학습자가 단말기와 상호 음성전달에 의하여 자연스럽게 단말기와 대화형식으로 외국어 학습을 진행한다는 본 발명의 목적에 부합하도록 적절하게 구현한 경우에 해당하지만 이는 한 실시예에 해당할 뿐이므로 본 발명의 권리범위는 이에 한정되지 않고 이와 다른 방법을 사용하더라도 본 발명의 청구항 기재 내용을 실시하는 여러 변형의 형태를 모두 포함한다.

본 발명의 일 실시예에 따른 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법에 대하여 도 1 내지 도 3을 참고로 개략적인 설명을 하면 다음과 같다.

본 발명에 따른 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법은 다수개의 외국어 학습대상 문장들이 텍스트들로 구비된 외국어 콘텐츠를 이용하여 상호 음성전달에 의하여 대화형으로 외국어를 학습시키는 방법에 관한 것으로서, 도 1에 도시된 바와 같이 먼저 학습자가 단말기에 전달할 음성 명령어들을 미리 단말기에 저장한다(S11 단계). 여기에서 음성 명령어들을 단말기 외에 서버 또는 클라우드에 저장할 수도 있다. 상기 단말기에서 앱이 실행되어 음성이 출력되거나 음성출력과 함께 화면이 표시될 때 학습자의 음성입력을 받을 수 있는 음성입력 대기상태가 되었음을 소리신호 또는 소리신호와 함께 화면에 표시됨으로써 학습자에게 전달된다(S12 단계). 학습자의 음성입력을 받을 수 있는 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 음성인식 기능에 의하여 그 내용을 인식한 뒤(S13 단계), 미리 저장된 명령어와 대비하여(S14 단계), 특정 명령어와 일치하면 상기 해당 명령어를 실행한 후(S15 단계) 다시 음성입력 대기상태가 된다(S16 단계). 상기 대비 단계(S14 단계)에서 학습자가 상기 음성입력 대기상태에서 입력한 음성의 내용이 저장된 명령어와 일치하지 않으면 상기 학습자가 입력한 음성이 외국어 학습을 위한 콘텐츠에 들어 있는 표현을 말한 것으로 인식한다.

단말기가 학습자의 음성입력을 외국어 학습을 위한 콘텐츠 내의 표현을 말한 것으로 인식하는 경우, 도 2에 도시된 바와 같이 현재의 문장과 동일하거나 동일 범주에 속하는 것인지 여부를 검사한다(S21 단계). 상기 판단 결과(S22 단계) 상기 학습자가 입력한 음성의 내용이 현재의 학습대상 문장과 동일하거나 동일 범주에 속하는 경우 다음 학습대상 문장으로 이동하고(S23 단계), 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 그 문장의 TTS 음성으로 들려준 다음(S24 단계), 다시 음성입력 대기상태로 전환하고 화면표시 및/또는 소리신호를 전달한다(S25 단계). 상기 판단 결과(S22 단계) 상기 학습자가 입력한 음성의 내용이 상기 현재의 학습대상 문장과 동일하거나 동일 범주에 속하지 않는 경우 상기 학습자가 입력한 음성의 내용이 상기 학습대상 문장과 동일하거나 동일 범주에 속한다고 판단될 때까지 이전에 재생하였던 외국어 콘텐츠의 음성 또는 그 텍스트 문장의 TTS 음성을 재생(S26 단계)한 후 대기상태를 출현시켜(S27 단계) 다시 말하도록 한다(이러한 학습 방식을 이하 학습모드라고 한다). 여기에서 학습자가 현재의 외국어 학습대상 문장에 대하여 계속하여 동일 범주에 속하는 음성입력을 하지 못하여 현재의 학습대상 문장에 대한 학습이 반복되는 경우 yes, okay와 같이 간단한 음성을 입력하거나 you speak next sentence와 같이 사전에 정해진 명령어를 음성입력하면(S28 단계) 현재의 해당 외국어 학습대상 문장에 대한 학습을 중단하고 다음 학습대상 문장으로 이동할 수 있게 한다(S23 단계).

다음으로 상기 대비(S14 단계) 결과 학습자의 음성입력이 명령어에 해당하지 아니하여 학습자의 음성입력을 외국어 학습을 위한 표현을 말한 것으로 인식하는 경우, 도 3에 도시된 바와 같이 상기 학습자가 입력한 음성의 내용이 현재의 학습대상 문장의 다음 문장과 동일하거나 동일 범주에 속하는지를 검사한다(S35 단계). 검사 결과 현재 학습대상 문장의 다음 문장과 동일하거나 동일 범주에 속하면 해당 학습대상 문장의 다음 문장, 즉 현재 학습대상 문장의 다음 다음 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려주고(S36 단계), 음성입력 대기상태임을 알려(S37 단계) 학습자가 그 다음 문장을 말하게 한다(이러한 학습 방식을 이하 대화모드라고 한다).

한편, 상기 외국어 콘텐츠의 전부 또는 일부를 각 학습대상 문장별로 또는 분할된 챕터별로 실행할 수 있는 준비가 되면, 이러한 외국어 콘텐츠들을 이용하여 단말기와 자연스럽게 대화형식으로 외국어 학습을 진행해 나가기 위하여 필요한 구체적인 내용을 실행하게 된다. 그런데 본 발명은 종래의 일반적인 외국어 콘텐츠를 이용한 외국어 학습방법과 달리 학습자가 일일이 화면의 버튼을 눌러가면서 동영상 감상식의 학습을 하는 것이 아니라, 학습자가 단말기에게 음성을 입력시키고 이에 대하여 단말기가 적절한 반응을 하도록 하여 자연스럽게 대화형식의 학습을 진행시키는 것이다. 이러한 목적을 달성하기 위한 구체적인 과정을 앞에서 정리한 해결되어야 할 과제들의 순서에 따라 설명하면 다음과 같다.

(1) 첫 번째 과제(접촉방식이 아닌 음성명령 전달방식으로 대화형식의 외국어 학습이 되게 함)의 해결방법에 관한 구체적인 설명 및 실시예의 예시

본 발명에 따른 단말기의 음성인식 기능과 TTS 기능을 이용한 상호 음성전달에 의한 대화형 외국어 학습방법은 상기 단말기가 작동되는 순간부터 종료 시까지의 거의 모든 과정이 학습자와 단말기 사이의 음성전달에 의한 대화형식으로 진행이 되고, 그 진행과정에서 학습자가 화면이 있는 단말기의 경우에도 단말기의 화면을 접촉하거나 버튼을 누르는 동작으로 단말기를 작동하게 하는 것을 최소화시킨 것을 특징으로 한다. 여기에서 학습자가 음성전달에 의한 대화의 형식(이하 음성전달방식이라 한다)으로 하지 않고 종래와 같이 단말기화면을 접촉하거나 버튼을 누르는 동작으로 단말기를 작동하게 하는 방식(이하 이를 접촉방식이라 한다)을 전혀 사용하지 않고 학습과정의 전 과정을 100% 음성전달방식으로만 진행한다고 하지 아니한 것은 화면을 사용하는 단말기의 경우 학습의 진행과정에서 단말기가 다운되거나 기술적인 이유로 대기상태 출현이 안 되는 특수한 상황 등이 발생하거나 음성전달방식 보다는 접촉방식이 오히려 자연스러운 대화형식에 더 유리한 특수한 상황 등 불가피하게 접촉방식을 병행할 수밖에 없는 경우가 생길 수 있기 때문이다. 본 발명은 실질적으로 중요한 대부분의 방식을 음성전달방식에 의하여 진행하는 것이므로 본 발명의 권리범위를 회피하기 위하여 의도적으로 어느 정도의 접촉방식을 혼용하더라도 실질적인 관점에서 볼 때 중요한 진행과정의 많은 부분을 음성전달방식에 의한다면 그러한 실시형태는 본 발명의 권리범위를 벗어날 수 없는 것이다. 본 발명의 일 실시예에서는 단말기가 앱을 실행하기 시작하여 학습대상 첫 문장에 대한 음성이 출력되거나 그러한 음성출력과 함께 화면이 표시될 때부터 단말기가 학습자의 음성입력을 대기하는 상태에 있음을 소리신호로 알리거나 소리신호와 함께 화면에도 이를 표시하여 학습자가 음성을 입력할 수 있는 상태가 되었음을 알 수 있도록 한다. 이러한 기능은 단말기를 작동시키는 프로그램에서, 예컨대 안드로이드 스튜디오에서 사용되는 언어인 자바의 onStart 함수와 같이 프로그램이 시작될 때에 실행될 내용에 대기상태를 출현시키라는 명령을 포함시켜서 구현할 수 있는데 같은 기능을 수행하는 다른 방법을 사용할 수도 있다. 이 상태에서 학습자는 단말기에게 미리 정의된 명령어 또는 저장된 콘텐츠 내에 있는 정확한 외국어 표현을 사용하여 외국어 음성을 전달하는 것으로 학습을 시작할 수 있다. 실시예에 따라서는 단말기는 학습대상 첫 문장에 대하여 위와 같은 대기상태임을 알리는 소리신호를 보내거나 화면이 있는 단말기의 경우에는 소리신호와 함께 화면에 학습대상 문장을 표시하여 학습자가 이를 보고 말을 할 수도 있고, 첫 학습대상 문장을 콘텐츠 음성 또는 TTS 음성으로 읽어 줄 수도 있으며 설정하기에 따라서는 미리 저장된 콘텐츠 음성 또는 TTS 음성으로 환영인사와 학습방법에 대한 안내를 하는 것을 포함시킬 수도 있다. 그리고 실시예에 따라서는 단말기가 종전에 학습자가 학습을 종료한 위치를 저장하였다가 앱이 다시 실행될 때에는 그 위치로 이동하여 해당 학습대상 문장을 콘텐츠 음성 또는 TTS 음성으로 읽어 주고 학습자가 따라서 말하기를 기다리는 대기상태를 현출시킬 수도 있다.

단말기에서 본 발명을 적용한 프로그램이 실행되어 현출된 대기상태에서 학습자는 단말기가 읽어준 현재의 문장에 대한 학습을 진행하거나 아니면 다른 챕터 또는 다음 문장 등으로 이동하라는 등의 명령어를 말하여 원하는 챕터 등으로 이동을 한 후 학습을 진행할 수도 있다. 현재의 문장이 학습자가 학습을 원하는 문장인 경우 학습자는 단말기가 들려준 문장의 내용을 따라서 말하는 것으로 새로운 학습을 시작할 수 있다. 이와 같이 학습자의 음성입력에 대하여 단말기는 그 음성입력이 명령어에 해당하는지 또는 학습대상 문장들 중의 어느 하나와 동일하거나 동일 범주에 속하는지 여부 등에 대한 판단을 한 후 그 결과에 따라서 반응하게 되는데 그러한 각 반응에는 언제나 마지막에 학습자가 다음 음성입력을 할 수 있도록 대기상태를 출현시켜 주는 것을 포함한다. 이와 같은 과정에 의하여 본 발명에서는 앱이 시작되어 표시된 음성입력 대기상태에 학습자가 단말기에 외국어 음성전달을 하고 그에 대하여 단말기가 반응을 하면서 학습을 진행하다가 최종적으로 학습을 끝내게 되는 과정의 많은 부분들을 종래와 같은 접촉방식이 아니라 음성전달 방식으로 진행할 수 있게 함으로써 학습자가 단말기와 상호 음성전달에 의한 자연스러운 대화형식의 외국어 학습을 진행할 수 있게 된다.

단말기와 학습자가 상호 음성전달에 의하여 끊이지 않고 자연스러운 대화형식으로 학습을 이어나갈 수 있게 하기 위하여 대기상태가 소멸되지 않게 한다는 과제를 해결하기 위하여 본 발명은 다음과 같은 방법을 사용하였다. 단말기의 음성입력 대기상태가 쉽게 소멸되는 것을 방지하기 위하여 학습자가 단말기가 대기상태에 있는 것을 인식하게 되면 가장 간단한 어떠한 표현이라도 외국어로 인식되는 말을 하면 단말기는 이를 현재의 문장을 잘못 말한 것으로 인식하여 현재의 문장을 콘텐츠 음성 또는 TTS 음성으로 들려준 후 다시 대기상태로 전환하고 소리신호를 내어 화면이 있는 단말기의 경우에도 학습자가 화면을 보지 않고도 그러한 사실을 알 수 있게 하는 방법을 사용하였다. 그 결과 학습자는 단말기가 대기상태에 있음을 인식한 경우 현재 문장 속의 한 단어와 같이 가장 간단한(하지만 음성인식프로그램이 요구하는 최소한의 길이 이상의) 외국어를 음성으로 전달하기만 하면 대기상태가 소멸되는 것을 방지할 수 있으므로, 학습자는 원하는 만큼 음성입력에 의한 대화 상태를 유지할 수 있게 된다. 그리고, 학습자가 현재의 문장에 대한 학습을 마친 후 다음 문장으로 넘어가야 하는데 학습자가 계속하여 미리 정해진 정도 이상으로 유사하게 현재의 문장을 말하지 못하는 경우에는 계속하여 현재의 문장만을 반복하여야 하는 문제가 생기기 때문에 이 경우에도 yes, okay와 같이 간단하고 단말기가 인식하기 용이한 말을 하거나, you speak next sentence와 같이 사전에 정해진 명령어를 말함으로써 다음 문장의 학습으로 넘어갈 수 있게 하였다. 이와 같은 수단들에 의하여 학습자는 단말기의 대기상태가 소멸하는 것을 막을 수 있으므로 자연스러운 대화형식의 학습 진행이 끊기는 것을 방지할 수 있다.

(2) 두 번째 과제(학습자의 음성으로 전달하는 명령어를 준비함)의 해결방법에 관한 상세한 설명 및 실시예의 예시

학습자가 단말기와 대화하는 형식으로 외국어 학습을 진행시킨다는 본 발명의 목적을 달성하기 위하여서는 학습자가 단말기에 음성으로 전달할 명령어들을 준비하여 저장한 후 학습자가 명령어를 음성으로 전달하면 단말기가 그 명령 내용에 따른 반응을 하면서 대화형식의 외국어 학습이 되도록 하여야 한다. 학습자의 음성전달에 대하여 단말기가 반응하는 방식은 본 발명이 목표로 하는 상호 음성전달에 의한 자연스러운 대화형식의 외국어 학습이 가능하도록 하기 위하여 특별히 고안된 방법을 사용하여야 한다. 즉, 단말기는 학습자의 음성입력을 받아들여 그 내용을 인식한 후 그것이 미리 저장된 명령어들과 일치하면 해당 명령어를 수행한다. 그러한 명령어는 학습대상 문장들 사이에서 단수 또는 복수의 문장만큼 앞으로 또는 뒤로의 이동, 챕터가 구분된 경우에는 전후의 챕터로의 이동 또는 특정 챕터로의 이동, 전체 학습대상 문장들 중의 첫 문장 또는 마지막 문장으로 이동시키는 이동 명령, 현재의 문장 하나 또는 현재의 문장에서 시작하여 10개 또는 20개 정도의 문장을 순차적으로 또는 하나씩 건너뛰어 이동하면서 해당 문장을 콘텐츠 음성 또는 TTS 음성으로 읽어 주도록 하는 실행명령, 화면이 있는 단말기의 경우에는 챕터별로 콘텐츠의 내용을 자막과 함께 또는 자막이 없이 화면만을 보여주도록 하는 비디오 실행명령, 콘텐츠의 내용을 오디오 파일로 녹음한 파일을 재생시켜서 들려주도록 하는 오디오 실행명령, 화면이 있는 단말기의 경우에는 이러한 실행 시에 자막을 보여주도록 하는 자막 관련 명령, 한 문장에 대한 콘텐츠 음성 또는 TTS의 음성실행이 끝나면 학습자가 이를 따라서 말할 수 있도록 시간을 부여한 후 다음 문장을 재생시키는 따라하기 명령, 10개, 20개 등 학습자가 미리 정해진 개수의 문장 또는 챕터 전체의 문장을 처음에는 단말기가 다음에는 학습자가 말을 하는 역할극(roll play) 방식으로 진행하도록 하는 역할극 명령, 학습자가 말할 현재의 문장 또는 다음 문장에 대한 힌트 또는 의미 설명을 위하여 해당 자국어 자막의 내용을 TTS로 읽어 줄 것을 요구하는 명령, 미리 저장된 음성명령어의 리스트를 텍스트 또는 음성의 형태로 보여줄 것을 요구하는 명령, 학습을 끝내고 앱을 종료시키라는 명령 등이 포함될 수 있다. 그리고 상기 각종 이동명령에는 각 해당 문장으로 이동한 후 그 문장을 콘텐츠의 음성이나 TTS 음성으로 들려준 후 대기상태를 출현시키게 하여 상호 음성전달에 의한 대화형식의 학습이라는 본 발명의 목적에 더욱 부합하게 할 수 있다. 그러한 명령어들의 일부 예를 표시하면 다음과 같다.

"please show me voice order list"(명령어의 리스트를 보여 줌),

"yes"(다음 문장을 콘텐츠 음성으로 들려 줌),

"okay"(다음 문장을 TTS 음성으로 들려 줌),

"you speak this sentence"(현재 문장을 콘텐츠 음성으로 들려 줌),

"you speak next sentence"(다음 문장을 콘텐츠 음성으로 들려 줌),

"please let me hear episode speaking"(설정된 개수의 문장을 TTS 음성으로 들려 줌),

"please let me hear original sound episode speaking""(설정된 개수의 문장을 콘텐츠 음성으로 들려 줌),

"please let me follow your speaking"(설정된 개수의 문장을 하나씩 TTS 음성으로 들려주고 각 문장을 따라서 말할 수 있는 시간을 부여함),

"please let me follow your speaking 100 times""(100개의 문장을 하나씩 TTS 음성으로 들려주고 각 문장을 따라서 말할 수 있는 시간을 부여함),

"please let me follow your original sound speaking"(설정된 개수의 문장을 하나씩 콘텐츠 음성으로 들려주고 각 문장을 따라서 말할 수 있는 시간을 부여함),

"please let me follow your original sound speaking 100 times"(100개의 문장을 하나씩 콘텐츠 음성으로 들려주고 각 문장을 따라서 말할 수 있는 시간을 부여함),

"please skip and play together"(설정된 개수의 문장을 단말기와 학습자가 TTS 음성을 사용하여 번갈아 말하도록 함),

"please skip and play original sound speaking together"(설정된 개수의 문장을 단말기와 학습자가 콘텐츠 음성을 사용하여 번갈아 말하도록 함),

"please repeat this sentence"(현재의 문장을 단말기가 TTS 음성으로 설정된 횟수만큼 반복하여 들려줌),

"please repeat original sound this sentence"(현재의 문장을 설정된 횟수만큼 콘텐츠 음성으로 들려줌),

"hint"(다음 문장의 자국어 자막을 보여 줌),

"wait"(학습을 일시 중지시키기 위하여 대기상태의 출현을 멈춤),

"music", "play music", "would you play a music for me"(해당 챕터의 콘텐츠에 대한 오디오 파일을 재생시킴),

"movie", "play movie", "would you play a movie for me"(해당 챕터의 콘텐츠에 대한 비디오 파일을 재생시킴),

"next chapter", "please go to next chapter", "would you please bring me to next chapter"(다음 챕터로 이동함),

"previous chapter", "please go to previous chapter", "would you please bring me to previous chapter"(이전 챕터로 이동함),

"seventh chapter, chapter 7"(특정 챕터로 이동함),

"next 11, 20, 50, 100, 500, 1000"(숫자만큼 앞으로 이동함),

"previous 11, 20, 50, 100, 500, 1000"(숫자만큼 뒤로 이동함),

"first"(첫 문장으로 이동함), "last"(끝 문장으로 이동함),

"good job see you again soon"(학습결과 얻은 성적을 저장하고 학습을 종료함)

이와 같은 명령어들은 본 발명을 실시하는 단말기가 시작되어 실행되다가 종료되는 마지막 순간까지 거의 모든 과정에서 종래의 접촉방식에 의하지 아니하고 음성전달방식에 의하여 학습자가 단말기와 자연스러운 대화형식의 외국어 학습을 진행한다는 본 발명의 목적이 실행될 수 있게 한다.

본 발명은 학습자가 말하는 음성명령어 중 학습대상 문장의 표현과 사이에 혼동이 발생하는 것을 방지하기 위하여 학습대상 문장 표현과 사이에 혼동이 발생하기 쉬운 음성명령어에 대하여 학습대상 문장과 구별이 용이한 식별자를 첨가하여 사용하는 것을 특징으로 한다. 본 발명은 단말기의 버튼이나 화면 접촉을 최소한으로 줄이고 단말기에 학습자가 말을 하고 단말기가 이를 인식하여 자연스러운 대화형식의 외국어를 학습할 수 있게 하는 것을 특징으로 하므로 학습자가 단말기에 전달하여야 할 명령을 대부분 음성명령어 형태로 미리 준비하여 두었다가 이를 말하면 단말기가 이를 해당 명령을 수행하라는 명령어로 인식할 수 있게 하는 방법을 사용한다. 그런데 그러한 음성명령어들의 수가 많아질수록 학습자가 말하는 내용이 음성명령어인지 학습대상 문장들 중의 어느 하나를 말하는 것인지를 구별하는 것이 점점 어려워질 수 있다. 이러한 경우에 학습자가 전달하는 음성표현의 내용이 학습대상 문장을 말하는 것이 아니라 단말기가 수행하여야 할 음성명령어라는 것을 명확하게 하기 위한 식별자를 첨가하여 말하도록 함으로써 그러한 혼동이 생기를 것을 방지할 수 있게 된다. 예를 들면 줄거리가 있는 영화, 드라마, 뉴스 등의 외국어 동영상 콘텐츠는 그 내용을 학습자가 학습하기 적당한 길이를 가지고 전체적으로 장면이나 줄거리의 내용에 따라서 적정한 길이를 가진 챕터별로 분할하여 학습자가 그 챕터별로 비디오나 오디오를 감상하고 그 챕터안에 있는 문장들을 학습대상 문장으로 삼아 학습을 하는 것이 외국어 동영상 콘텐츠의 이해와 기억에 많은 도움이 된다. 이와 같이 챕터별로 외국어 동영상 콘텐츠의 내용을 분할하는 경우에 그 분할되는 챕터의 내용에 적합한 제목을 붙여주면 학습자가 뒤에 해당 챕터의 내용을 기억하여 이를 다시 학습하거나 그 챕터에 들어 있는 문장들에 대한 기억을 되살리는데 많은 도움이 된다. 이러한 해당 챕터의 제목은 해당 챕터로의 이동 명령 등에 사용될 수 있는데, 그러한 챕터 제목을 사용하는 명령어는 외국어 동영상 콘텐츠의 학습대상 문장과 혼동이 발생하기 쉽다. 이러한 경우에 본 발명에서는 일반적으로 학습대상 문장에는 잘 나오지 않는 표현들을 식별자로 사용하여 이를 챕터의 제목 뒤에 붙여서 말을 하도록 하는 방법을 사용하여 음성명령어와 학습대상 문장 사이에 혼동이 생기는 것을 방지한다. 예컨대 챕터의 제목 뒤에 "챕터"와 같이 일반 외국어 동영상 콘텐츠의 대사에서는 잘 나오지 않는 표현을 식별자로 사용하는 것이다. 가령 제목이 "looking for a motive"인 챕터로 이동하라는 명령어로 챕터 제목인 "looking for a motive"의 뒤에 "chapter"라는 식별자를 첨가하여 말하면 단말기가 이를 해당 제목의 챕터로 이동하라는 명령어로 인식하여 그 명령을 수행하도록 하는 것이다. 이와 같은 식별자의 사용은 챕터 간의 이동 명령에 국한되지 않고 챕터 내 문장들이나 해당 챕터의 비디오, 오디오의 재생 명령 등 다른 음성 명령어에도 사용될 수 있다.

(3) 세 번째 과제(학습모드에서의 학습방법의 구현)

앞에서 본 음성입력 대기상태의 끊임없는 출현과 학습자가 단말기에 전달하는 각종 명령어에 의한 음성전달에 의하여 학습자는 현재 학습대상 문장을 단말기가 들려주는 콘텐츠 음성 또는 TTS 음성을 듣고 이를 따라서 말하는 학습을 반복할 수 있게 된다. 이 학습과정에서 학습자는 단말기가 학습대상 문장을 콘텐츠 음성 또는 TTS 음성 중의 어느 하나로 들려 줄 것을 선택할 수 있다. 정확한 발음을 들려주는 콘텐츠 음성은 듣기 훈련을 위하여도 필요하고 학습자가 정확한 발음으로 외국어를 말할 수 있도록 반복훈련을 하는데 매우 효과적이다. 그런데, 화면이 없는 단말기의 경우나 야간이나 소음으로 인하여 콘텐츠 음성을 잘 이해하기 어려운 상황에서는 TTS 음성이 더욱 명확하게 들릴 수 있어서 더욱 효과적이 될 수 있다. 학습자는 앞에서 적시한 각종 명령어를 다양한 방법으로 조합하고 단말기의 음성을 콘텐츠 음성 또는 TTS 음성으로 상황에 맞추어 바꾸어 가면서 학습대상 문장의 학습을 반복할 수 있다. 그런데, 학습자의 능력과 콘텐츠 내용의 난이도에 따라서는 학습자가 단말기의 음성인식시스템에 현재 외국어 문장을 콘텐츠 내에 있는 문장의 내용과 완전히 같은 것으로 판단을 받을 수 있을 정도로 정확하게 말하는 것은 쉽지 않은 일이다. 이러한 경우에 학습자가 정확한 표현을 말하지 못했다고 하여 계속하여 같은 문장을 100% 정확하게 될 때까지 말하게 하기 보다는 학습자가 말한 내용의 정확성 여부의 판단에 유사성의 정도를 등급화하여 그 등급의 단계에 따라 단말기가 달리 대응을 하게 하면, 상기와 같은 문제점을 해소할 수 있다. 즉, 학습자가 말한 내용과 비교대상 문장(현재의 학습대상 문장과 다음 학습대상 문장이 여기에 포함된다)의 유사 정도를 판단할 때에 유사성의 정도에 등급을 두어 그 등급에 따라 미리 설정된 등급 이상인 것으로(학습대상 문장의 동일 범주에 속하는 것으로) 판명되면 학습대상 문장에 대한 학습이 어느 정도 된 것으로 처리하여 다음 문장을 들려준 후 음성입력 대기상태로 전환하고, 학습자가 말한 내용이 미리 설정된 등급 미만인 것으로 판명되면 비교대상 문장과 동일 범주에 속하는 말을 하지 못한 것으로 처리하여 현재 학습대상 문장을 들려준 후 음성입력 대기상태로 전환하여 다시 말하게 하는 것이다. 이와 같은 방법을 사용함으로써 학습자가 포기하지 않고 자연스럽게 레벨을 향상시키면서 대화형식의 외국어 학습을 하는 것이 가능하게 된다. 이와 같은 방법을 사용하는 구체적인 예를 들어 보면, 학습자가 한 음성입력이 비교대상이 되는 문장과 100% 정확한 경우를 A 등급이라고 하고, A 등급은 아니어도 상당한 정도로 유사하여 다음 문장으로 넘어갈 수 있을 정도의 경우를 B 등급(학습대상 문장의 동일 범주에 속하는 경우의 등급)으로 하고, B 등급에 못 미치는 경우를 C 등급 등으로 나누어 A 등급이 아닌 B 등급의 경우에도 다음 문장으로 넘어갈 수 있게 하는 것이다.

(4) 네 번째 과제(1 대 1 방식의 자연스러운 대화방법 구현)의 해결 방법에 관한 상세한 설명과 예시

상기와 같은 방법들에 의하여 어느 정도의 학습이 된 학습자는 단말기가 들려주는 음성을 듣지 않고도 외국어 콘텐츠 내의 어느 문장을 스스로 말할 정도의 능력을 갖추게 된다. 이 경우에 학습자는 위에서 본 따라서 말하기와 같은 학습모드의 학습을 계속 진행하기 보다는 단말기와 학습자가 1 대 1로 대화를 주고받는 대화모드의 학습방법이 필요하다. 본 발명에서는 앞에서 본 접촉방식이 아닌 음성전달방식으로 자연스러운 대화형식의 외국어 학습방법을 제공한다는 본 발명의 목적을 벗어나지 않으면서도 학습모드와 대화모드의 두 가지 모두를 가능하게 하기 위하여 다음과 같은 방법을 사용하였다.

즉, 음성입력이 명령어가 아닌 경우, 그것이 현재의 학습대상 문장의 다음 문장과 동일하거나 동일 범주에 속하는지 여부를 검사하여, 검사 결과 학습자의 음성입력이 다음 문장과 동일하거나 동일 범주에 속하는 것으로 판정되는 경우에는, 학습자가 현재의 문장에 대한 학습모드의 학습이 아니라 학습자가 말한 문장부터 대화모드의 학습을 진행하기를 원하는 것으로 간주한다. 그리하여 학습자가 말한 문장의 다음 문장, 즉 현재 학습대상 문장의 다음 다음 문장으로 이동하여 그 문장을 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려 준 후 대기상태가 되게 하는 것이다.

이와 같은 방법에 의하여 학습모드와 대화모드의 변경을 위한 특별한 방법을 사용하지 않고도 학습모드의 학습과 대화모드의 학습이 모두 가능하게 되었고, 대화모드에서도 학습모드에서와 같이 100% 정확하게 음성음력을 하지 못하더라도 자연스럽게 대화형식의 학습을 진행하는 것이 가능하게 되었다.

본 발명에서 사용하는 학습모드와 대화모드에 따른 단말기의 대응방법에 관하여 보다 상세하게 설명하면 다음과 같다. 단말기가 학습자가 현재 학습대상 문장의 다음 문장과 동일하거나 동일 범주에 속하는 말을 한 것으로 판단되는 경우에는 학습자가 단말기가 들려주는 현재의 문장에 대한 학습을 그만두고 대화모드로 학습을 하겠다는 의사를 나타낸 것으로 간주한다. 즉, 학습자가 현재의 문장(예컨대 7번 문장)을 말하지 않고 현재 문장의 다음 문장(8번 문장)과 동일하거나 동일 범주에 속하는 말을 한 것으로 판정되는 경우에는 그 다음 문장, 즉 현재 문장의 다음 다음 문장(9번 문장)을 읽어주고 대기상태를 출현시킨다. 이와 같이 학습자가 현재의 문장(7번 문장)이 아니고 다음 문장(8번 문장)을 동일하거나 동일 범주에 속하는 정도로 말하여 단말기가 그 다음 문장 즉, 현재 문장의 다음 다음 문장인 9번 문장으로 이동하여 이를 읽어주고 대기상태를 출현시켜 대화모드로 진입한 이후에도, 학습자가 말할 그 다음 문장(10번 문장)을 동일하거나 동일 범주에 속하는 정도로 말하지 못하여 단말기가 읽어준 문장(9번 문장)을 다시 읽어준 경우에도 학습자는 단말기가 읽어준 문장(9번 문장)을 따라서 말하여 학습모드의 학습을 하거나 단말기가 읽어준 문장의 다음 문장(10번 문장)을 말하여 다시 대화모드로의 진입을 시도할 수 있다.

본 발명의 실시예에 따라서는 학습자의 음성입력이 음성명령어에 해당하지 않는 경우 현재의 문장이나 다음 문장과 동일하거나 동일 범주에 속하지 않고 현재 문장과 다음 문장을 제외한 전체 문장 중에 100% 동일한 문장이 있는지를 판정하여 그에 따른 대응을 하는 방법을 추가적으로 실시할 수도 있다. 이와 같이 현재의 문장과 다음 문장을 제외한 전체의 문장 중의 어느 한 문장과 100% 동일한 문장을 학습자가 말한 경우에는 학습자가 그 문장부터 시작하는 대화모드에 의한 학습을 하려고 하는 의도를 나타낸 것으로 받아들여서 단말기는 학습자가 말한 문장의 다음 문장으로 이동하여 이를 외국어 콘텐츠 음성 또는 TTS 음성으로 들려준 후 대기상태를 출현시키도록 하면 된다.

(5) 다섯 번째 과제(적정한 대기상태 출현시간을 산정하여 부여함)의 해결방법에 관한 구체적인 설명 및 실시예의 예시

본 발명은 상기 음성입력 대기상태가 되는 시간이 해당 외국어 학습대상 문장의 길이와 외국어 콘텐츠에서 해당 외국어 학습대상 문장이 실행되는데 걸리는 시간을 고려하여 정해지도록 하는 추가적인 수단을 사용한다.

본 발명에서는 거의 대부분 학습자의 음성입력을 받아 그 내용에 따른 실행을 하고 다시 대기상태로 전환하여 학습자가 대화형식의 학습을 계속할 수 있도록 하는데 그 대기상태가 출현하는 시간을 적절하게 조절하면 보다 자연스러운 대화형식의 학습이 계속되게 할 수 있다. 이러한 적정시간은 단말기가 해당 명령을 수행하거나 현재나 다음 문장을 실행시키는데 소요되는 시간(이하 이를 단말기 소요시간이라 한다)과 그 문장을 듣고 학습자가 따라서 말하는 과정이 포함된 경우(이 경우는 학습자가 단말기가 대기상태로 전환된 상태에서 말을 하는 것이 아니라 단순히 단말기의 말을 따라서 하는 학습과정으로서 예컨대 따라하기의 경우가 이에 해당한다)에는 학습자가 말을 하는데 소요되는 시간(이하 이를 학습자 소요시간이라 한다)을 모두 고려하여 다음 대기상태의 출현시간을 정해야 한다. 경우에 따라서는 단말기 소요시간을 고려할 필요가 없는 경우도 있는데 비디오나 오디오 파일의 전체 재생이나 챕터별 재생과 같이 전체의 재생이 끝난 후 대기상태 전환이 되기만 하는 경우가 그러한 경우이다. 이러한 경우에는 학습자 소요시간만 고려하여 대기상태 전환시간을 정해주면 된다. 여기에서 단말기 소요시간은 단말기가 현재의 문장을 읽어주는 방법이 무엇이냐에 따라서 달라진다. 단말기가 현재의 문장을 콘텐츠 음성으로 들려줄 때는 외국어 콘텐츠에서 해당 문장이 얼마나 빨리 실행되는지에 따라서 달라지지만 TTS 음성으로 들려주는 시간은 해당 문장의 글자 수에 비례한다. 일반적으로는 콘텐츠 음성을 들려주는 시간이 TTS 음성으로 들려주는 것에 비하여 더 시간이 소요되는데, 콘텐츠 음성을 들려주기 위하여 미디어플레이어 등 실행장치가 플레이를 준비하고 반응하는 시간이 TTS 음성의 재생시간보다 더 긴 것도 그 한 원인이 된다. 적정한 대기상태 출현시간을 정함에 있어서는 이 점도 고려하여야 한다. 적정한 단말기 소요시간이나 학습자 소요시간은 학습대상 문장의 길이와 원래의 콘텐츠에서 해당 문장이 실행되는데 걸리는 시간을 고려하여 정하게 된다. 콘텐츠 음성의 실행시간은 자막에 들어 있는 시간정보에 의하여 자막이 표시되는 시간을 산정한 후 이를 고려하여 정하고, TTS 음성의 실행시간은 해당 문장의 글자 수에 비례하여 정하는 것이 일반적인 방법이지만, 실시예에 따라서 문장의 길이와 실행시간 모두 또는 그 중의 어느 하나만을 고려하여 대기상태 전환시간을 설정할 수 있고 문장길이와 실행시간이 산정되면 그 산정결과를 그대로 적용할 수도 있고 문장길이나 실행시간을 여러 단계로 나누어 그 단계별로 다른 시간을 설정할 수도 있다. 이러한 대기상태 출현의 적정시간 산정이 보다 정교할수록 대화형식의 학습이 더욱 자연스러워진다. 문장의 길이는 문장에 들어 있는 문자의 수를 산출하는 함수{예컨대 length()} 등을 사용하여 추출할 수 있고, 문장의 실행시간은 비디오의 자막 파일 또는 오디오의 가사 파일에서 추출할 수 있다. 자막 또는 가사 파일에는 각 자막이나 가사가 화면에 표시되는 시간을 나타내는 정보가 들어 있는데, 각 자막 단위로 자막이 표시되기 시작하는 시간과 끝나는 시간(별도로 끝나는 시간이 표시되지 않는 경우에는 다음 자막의 시작 시간이 이전 자막의 종료 시간이 된다)을 포함하고 있으므로 끝나는 시간에서 시작하는 시간을 빼서 문장의 실행시간을 산출하면 되고, 자막에 따라서는 그 산출결과인 실행시간을 함께 표시하는 것도 있으므로 이를 사용하면 된다.

이러한 과정을 자막 파일에 포함된 현재의 문장에 대한 실행시간이 3초이고 학습자의 음성입력에 대하여 단말기가 현재의 문장을 콘텐츠 음성으로 한 번 읽어 주고 학습자가 이를 따라서 한 번 말할 수 있는 시간을 부여한 후 대기상태를 출현시켜야 하는 경우의 예를 들어 설명하면, 학습자의 음성입력이 끝난 후 다음 대기상태를 출현시켜야 할 최소시간은 단말기 소요시간 3초에 학습자 소요시간 3초를 더한 6초가 되는데 여기에 단말기의 성능이나 사용하는 플레이어의 특성 및 학습자가 외국어를 듣고 말하는 능력 등에 따라서 적절한 추가시간을 부여하여야 하므로 최종적으로 산출되는 적정시간은 7초 내지 8초가 될 수 있다. 이러한 추가시간은 실시예에 따라서 적절하게 부여될 수 있다. 그리고 단말기가 콘텐츠 음성이 아니라 TTS 음성으로 들려줄 때의 단말기 실행시간은 문장의 길이에 따라서 정하면 된다.

(6) 여섯 번째 과제(양 문장의 일치를 위한 보정단계)의 해결방법에 관한 구체적인 설명 및 실시예의 예시

본 발명의 실시예에 따라서는 학습자가 대기상태에서 입력한 음성을 단말기의 음성인식부가 인식하여 텍스트화한 후 그 텍스트의 내용과 학습대상 문장의 텍스트를 비교하는 방법으로 학습자가 말한 내용이 비교대상 문장의 내용과 일치하는지 또는 동일 범주에 속하는지 여부를 판단하는 방법을 사용할 수 있다. 그런데 음성인식의 결과 생성된 텍스트와 학습대상 텍스트를 비교함에 있어서 비교대상이 되는 텍스트의 양쪽 모두 또는 그 어느 한쪽의 텍스트에 대하여 보정의 단계를 거치는 추가적인 수단을 사용함으로써 보다 자연스러운 대화형식의 학습을 가능하게 할 수 있다. 즉, 외국어 콘텐츠의 자막에 있는 문장과 음성인식프로그램이 학습자의 음성을 입력받아 이를 텍스트화한 문장에는 여러 면에서 불일치가 생길 수 있는데 그러한 불일치로 인하여 학습자가 실질적으로는 현재 문장과 완벽하게 일치하는 문장을 말했음에도 불구하고 불일치로 판정되는 경우가 많이 발생한다. 이러한 경우들을 예로 들면, 비교대상 문장들이 대소문자를 구분하여 사용하는지 여부, 문장부호나 특수문자의 사용 여부, 숫자의 표현 방법, 축약형태의 사용 여부 등에 따라서 실제로 같은 의미를 다른 표현방법을 사용하여 표현하기 때문에 초래되는 차이 등의 이유로 유사성 여부가 달리 판정되는 것이다. 그렇기 때문에 실질적인 문장의 유사성 여부를 판단할 수 있도록 양쪽 문자열 또는 어느 한 문자열에 대하여 실질적 대비를 위한 보정단계를 거치는 추가적인 수단을 마련할 수 있다. 이러한 보정단계에서는 양 문장에 있는 공란의 개수와 그 위치가 대비결과에 영향을 미치지 않도록 하기 위하여 불필요한 공란을 미리 제거하거나 대비 시에 이를 없는 것으로 처리하도록 하는 것이 포함된다. 이와 같은 보정 방법은, 양 문장에서 물음표(?), 느낌표(!), 쉼표(,), 마침표(.), 따옴표(" "), 붙임표(-), 가운뎃점(·), 소괄호{()}, 중괄호({ }), 대괄호([ ])와 같은 문장부호나 문장 앞부분과 뒷부분에 잘못 부가된 공란과 중복되는 공란은 없는 것으로 보고, 숫자의 표현을 아라비아 숫자로 표시한 것과 알파벳으로 표시한 것, 주어 뒤에 생략부호( ’)를 사용하여 뒤에 오는 동사, 조동사를 축약형으로 표시한 것과 축약형을 사용하지 않고 원래의 형태로 표시한 것, 부정문을 생략부호( ’)를 사용하여 축약형으로 표시한 것과 축약형을 사용하지 않고 원래대로 표시한 것, "going to"와 gonna, "want to"와 wanna, "got to"와 gotta", 대소문자를 구분하여 사용하는 것과 구분하지 않고 사용하는 것은 이를 동일한 것으로 보는 것들 중의 일부 또는 전부를 포함한다.

이러한 보정을 하는 구체적인 방법은 대문자를 소문자로 바꾸어 표시하도록 하는 함수{예컨대 lowerCase()}, 특정 문자를 다른 문자로 바꾸어 표시하도록 하는 함수{예컨대 replace()} 등을 사용하여 자막 또는 학습자의 음성입력에 의하여 표시되는 텍스트를 변경시켜 일치시키는 방법을 사용할 수 있다. 이와 같은 보정의 방법을 사용하면 보정을 하지 않은 경우에 비하여 보다 정확한 비교(실질적으로 의미가 같고 음성의 내용이 같을 때는 이를 같은 것으로 처리함)가 가능하게 되어 보다 자연스러운 대화형식의 외국어 학습이 가능하게 된다.

(7) 일곱 번째 과제의 해결방법(학습자와 단말기 사이의 1 대 1의 대화형식의 학습이 용이하도록 하기 위한 추가적인 수단을 구비함)에 관한 구체적인 설명

앞의 항에서 설명한 대화모드로의 진행을 함에 있어서 학습자가 말할 문장을 단말기의 음성을 듣고 이를 따라서 말하지 않고 완전히 외워서 스스로 말하는 것은 학습자에 따라서는 쉽지 않은 일이므로 이를 보완하기 위하여 화면이 있는 단말기의 경우에 단말기에 항상 표시되는 외국어 문장을 현재의 문장과 함께 다음 문장도 표시되도록 하면 학습자가 쉽게 대화모드로의 진입을 시도할 수 있게 된다. 이렇게 하면 학습자는 항상 화면에서 현재의 학습대상 문장과 함께 다음의 학습대상 문장을 볼 수 있어서 현재의 학습대상 문장에 대한 학습모드의 학습을 중단하고 대화모드의 학습을 진행하기를 원하는 경우 단말기가 읽어주는 현재의 문장을 따라서 말하지 않고 다음 문장을 스스로 말하여 대화모드로의 진입을 시도할 수 있게 된다. 어느 정도의 학습이 진행된 이후에는 학습자가 단말기와 상호 음성전달에 의한 1 대 1의 대화형식의 학습을 이어나갈 수 있게 하는 것이 매우 중요하므로 이와 같은 다음 문장을 표시하는 수단을 갖추는 것은 중요한 의미를 갖는다. 단말기에 현재의 학습대상 문장과 함께 다음의 학습대상 문장을 표시하는 방법은 일반적으로 알려진 방법을 사용하면 되므로 특별한 설명을 요하지 않는다.

학습자와 단말기 사이의 대화 형식의 학습이 용이하도록 하기 위한 추가적인 수단으로서 단말기가 학습대상 문장에 대한 외국어 콘텐츠의 음성 또는 TTS 음성을 들려주기 전에 해당 학습대상 문장에 대응하는 자국어 자막의 내용을 TTS 음성으로 들려주는 방법을 추가적으로 사용할 수 있다. 이렇게 하면 학습자는 단말기가 말하려는 학습대상 문장의 의미를 미리 파악한 후 외국어 콘텐츠의 음성 또는 TTS 음성을 들을 수 있게 되어 보다 학습이 용이하게 된다.

특히 시각 장애로 인하여 또는 읽기 능력의 부족으로 인하여 빨리 자국어 자막의 내용을 읽을 수 없는 경우 또는 주변의 소음 등으로 인하여 단말기가 들려주는 학습대상 문장의 의미를 파악하기 어려운 상황에서도 위와 같은 방법을 사용하면 보다 용이하게 학습이 이루어질 수 있다.

또한 이미 상당한 실력을 갖춘 학습자의 경우에는 미리 들려주는 자국어 자막 내용을 듣고 마음속으로 그에 상응하는 학습대상 외국어 문장의 내용을 미리 추측해본 후 이어서 들려오는 외국어 콘텐츠의 음성에 의하여 자신의 추측이 맞았는지를 점검해보는 방식의 학습이 가능하게 되는 효과가 있다.

학습자와 단말기 사이의 대화 형식의 학습이 용이하도록 하기 위한 추가적인 수단으로서, 단말기가 학습대상 문장에 대한 콘텐츠 음성을 들려주기 전에 해당 학습대상 문장을 TTS 음성으로 들려주는 방법을 사용할 수 있다. 일반적으로 TTS 음성은 외국어 콘텐츠 음성에 비하여 명확하게 들리는 경향이 있으므로 위와 같은 수단에 의하여 학습자는 보다 명확하게 학습대상 문장을 들을 수 있을 뿐만 아니라 같은 문장을 반복하여 듣는 효과도 있어서 학습이 보다 용이해질 수 있다.

학습자와 단말기 사이의 대화 형식의 학습이 용이하도록 하기 위한 추가적인 수단으로서, 단말기가 학습대상 문장에 대한 콘텐츠 음성을 들려주기 전에 해당 학습대상 문장에 대응되는 자국어 자막의 내용과 외국어 학습대상 문장의 내용을 각 TTS 음성으로 들려주는 방법을 사용할 수 있다. 이렇게 하면 학습자는 학습대상 문장에 대한 의미도 명확하게 파악하고 분명한 발음으로 학습대상 문장을 들은 후 다시 반복하여 외국어 콘텐츠 음성을 들을 수 있게 되어 학습이 보다 용이해질 수 있다.

(8) 여덟 번째 과제의 해결방법(대기상태 소멸시의 회복방법)에 관한 구체적인 설명 및 실시예의 예시

앞에서 본 바와 같이 본 발명은 상호 음성전달에 의하여 자연스러운 대화형식의 학습을 가능하게 하기 위하여 음성인식 대기상태가 소멸되는 것을 방지하는 수단을 사용한다. 그러나, 그러한 수단의 사용에도 불구하고 대기상태가 소멸하는 경우가 발생할 수 있다. 일반적으로 음성인식 기능은 대기상태가 시작된 된 후 6 내지 7초 정도 음성입력을 기다리는데 이 시간 동안에 학습자가 지정된 언어로 인식되는 말을 하여야 한다(이러한 대기상태에서 아무런 음성입력이 없으면 대기상태가 소멸하거나 휴면상태로 전환되게 된다). 이와 같이 대기상태가 소멸된 경우에 본 발명에서는 화면이 있는 단말기의 경우 단말기의 화면을 보고 대기상태로 전환하는 명령어가 연결된 버튼을 누르지 않더라도 단말기에 유선 또는 블루투스 기능에 의하여 연결된 외부 리모트 컨트롤(이하 리모컨이라 함, 삼성 갤럭시노트의 펜도 여기에 포함된다)이나 이어폰의 버튼 중의 하나 또는 복수의 버튼을 누르는 동작이 단말기에서 대기상태로의 전환을 명하는 버튼을 누르는 것과 같은 기능을 실행하도록 설정하여 두고 단말기에서 음성입력 대기상태가 소멸된 경우에 리모컨이나 이어폰의 해당 버튼을 눌러서 단말기가 대기상태로 전환되도록 하는 방법을 사용하였다. 이 리모컨에는 카메라의 사진 찍는 버튼 기능을 수행하는 리모컨이나 필기용 펜의 버튼에 다른 앱의 기능을 설정하여 리모컨으로 기능하도록 하는 휴대폰의 필기용 펜이 포함되지만 여기에 한정되지 않고 같은 기능을 하는 리모컨을 별도로 사용할 수도 있다. 이와 같이 대기상태로 전환되도록 하는 방법에는 리모컨이나 이어폰과 같은 별도의 하드웨어를 사용하는 것 말고도 구글 어시스턴트나 삼성 빅스비와 같은 프로그램의 기능을 연결시켜 사용하는 방법이 포함된다. 구글의 어시스턴트는 오케이 구글 같은 명령어를 음성으로 전달하면 휴대폰의 화면이 동작하지 않는 잠김 상태에서도 구글 어시스턴트 명령어를 입력시켜 특정 기능들을 수행시킬 수 있는데 이 기능 중의 하나를 본 발명이 적용되는 앱에서 대기상태로 전환을 시키는 명령어 또는 그 명령을 실행시키는 버튼과 연결시켜 설정을 함으로써 학습자는 단말기의 화면을 접촉하지 않고도 대기상태를 다시 살려낼 수 있다. 그리고 위와 같은 리모컨으로 본 발명을 실시한 단말기의 내부기능에 속하는 대기상태를 출현시키는 것이 어려운 경우에는 리모컨으로 같은 프로그램을 재차 실행시키는 방법을 사용할 수도 있다. 앞에서 본 바와 같이 위 프로그램은 처음 실행되면서 자동적으로 대기상태가 되게 할 수 있으므로 두 번째로 실행된 앱에 음성입력에 의한 명령으로 종전의 앱을 종료시키고 새로 열린 앱으로 대화를 이어나갈 수도 있다. 이 경우에는 새로 실행된 앱에서는 종전의 앱이 실행되던 위치로 이동하여 학습을 진행하게 된다.

(9) 아홉 번째 과제의 해결방법(학습 성과를 산정하여 나타냄)에 관한 구체적인 설명 및 실시예의 예시

본 발명은 학습자의 학습 과정에서 그 학습의 성과를 평가하여 수치로 나타냄으로써 학습자의 학습 의욕을 고취시키고 학부모나 선생님 등이 학습자의 성취를 확인할 수 있는 수단을 추가적으로 마련하였다. 이러한 수단은 모든 경우에 필수적으로 사용되어야 하는 것은 아니고 학습자나 학습자의 부모, 선생님 등의 취향과 학습목표에 따라 추가적으로 선택될 수 있다. 구체적으로는 학습자가 학습대상 문장과 완전히 동일한 문장을 말하는 것으로 평가된 경우 한 문장에 대하여 부여할 수 있는 점수 중 가장 높은 점수를 부여하고, 완전히 동일하지는 않지만 어느 정도 유사하여 다음 문장으로 학습을 진행시킬 수 있는 경우에는 그 유사성의 정도에 따라 부여하는 점수를 달리하여 순차적으로 낮은 점수를 부여한다. 학습자가 말한 내용이 다음 문장으로 넘어가도 될 정도인 경우에 적용하는 레벨에 미달하는 경우에는 점수를 부여하지 않고 계속하여 다음 문장을 말할 것을 요구한다. 그리고 학습자가 학습대상 문장을 정확하게 말한 경우라도 그것이 학습자가 학습대상 문장의 내용을 보면서 말한 것인지 아니면 이를 보지 않고 완전히 외워서 말한 것인지, 또한 문장을 보더라도 자국어 자막만을 보거나 외국어나 자국어 자막의 일부분만을 힌트로 제공받아 이를 보고 나머지를 유추하여 말했는지, 앞에서 본 것과 같이 학습모드에서 말한 것인지 대화모드에서 말한 것인지 등의 사정에 따라 다른 포인트를 부가할 수 있다. 학습자가 미리 저장된 명령어를 말한 경우도 그 명령어를 말하는 것의 난이도에 상응하는 점수를 부가할 수 있다. 이 경우에는 저장된 명령어와의 유사성 정도는 따로 판단하지 않고 완전히 일치하는 경우에만 해당 명령어를 말한 것으로 처리하여 점수 부가 여부를 결정한다. 본 발명에서는 학습자의 학습에 대한 평가와 학습의욕을 고취시키기 위하여 학습자의 학습 성과를 측정하여 그 성과에 따른 포인트를 부여하는 것을 포함시켜 실시할 수 있고, 그 포인트는 학습자의 선택에 따라서 학습자가 단말기의 사용을 끝내는 경우 그 점수를 저장하여 두었다가 다음 학습시작 시에는 종전에 얻은 포인트에 더하여 포인트를 축적시킬 수 있도록 하는 포인트누적시스템을 추가적으로 포함시켜 실시할 수도 있다.

(10) 열 번째 과제의 해결방법(학습자의 음성녹음 데이터를 보존함)에 대한 구체적인 설명 및 예시

본 발명에서는 학습자가 입력한 음성의 내용이 학습대상 문장을 100% 정확하게 말한 것으로 판단되어 단말기가 다음 문장으로 이동하여 학습을 진행시키게 되는 경우에는 그 학습자의 음성녹음을 그 학습대상 문장과 대응시켜 저장하도록 함으로써 학습자의 음성으로 특정 문장을 말하여 생성된 음성녹음 데이터를 보전하여 사용할 수 있게 하였다. 그 방법은 단말기가 대기상태를 출현시켜 학습자가 말을 하는 경우에는 음성인식프로그램이 이를 녹음하여 음성인식에만 사용하지 않고 이를 해당 문장에 대응하는 이름을 붙여 저장장치에 저장하도록 하면 된다. 그리고 이와 같은 과정에 의한 저장은 학습자의 선택에 따라서 최신의 보다 향상된 것으로 교체하여 저장할 수도 있고 복수로 저장할 수도 있다. 이와 같은 방법으로 저장한 학습자의 음성녹음은 이를 이용하여 단말기와 대화형식으로 구현하면서 학습자가 들어볼 수 있고, 음성녹음과 학습자가 다시 말하는 방식의 대화형식을 구현하면서 학습을 하는데 사용할 수도 있으며, 음성녹음만 계속 재생되게 하여 들어보면서 학습자가 자신이 말한 것을 들으면서 보완해야 할 점을 캐치하는데 사용하는 등의 방법으로 다양하게 활용할 수 있다. 이와 같은 학습자의 음성녹음은 본 발명의 실시를 위하여 사용되는 음성인식프로그램의 한계를 보완하는 방법이 될 수 있는데, 음성인식프로그램의 성능이나 본 발명을 사용하는 학습자의 능력 및 상황에 따라서 전에는 정확하게 인식을 하였음에도 불구하고 뒤에 다시 음성입력을 하는 경우에 계속 상당한 정도로 정확하게 인식되지 못하여 다음 문장으로 넘어가지 못하는 경우에는 학습자가 전에 100% 정확하게 말하여 통과되었던 음성녹음을 재생시키게 하고 이를 따라서 말한 후 다음 문장으로 넘어가게 할 수 있다.

본 발명은 학습자가 입력한 음성의 내용이 학습대상 문장과 100% 정확하게 일치하지 않는 경우에 학습자의 음성입력을 단말기의 음성인식부가 변환한 텍스트(이하 이를 불일치 텍스트라 한다)를 학습대상 문장 또는 그 문장번호와 대응시켜 저장하는 것을 특징으로 한다. 이러한 불일치 텍스트들은 학습자의 외국어 학습을 위하여 활용할 수 있는 귀중한 자료가 된다.

본 발명은 이러한 불일치 텍스트들을 추출하여 학습자에게 들려주거나 보여줌으로써 학습자가 자신이 말한 내용 중 틀린 부분을 확인하고 이를 토대로 그 부분을 정확하게 말하기 위한 노력을 할 수 있도록 한다.

본 발명은 저장된 불일치 텍스트들 중 나타나는 빈도수를 추출하여 빈도수가 높은 순으로 순위를 매겨 그 중 전부나 일부를 학습자에게 들려주거나 보여줌으로써 학습자가 이를 확인하고 자주 틀리는 부분들을 다시 틀리지 않도록 하기 위한 노력을 할 수 있도록 해 준다.

본 발명의 일 실시예에서는 학습자가 정확하게 말하지 못한 문장에 있는 단어들을 추출하여 그 단어들이 음성인식 결과 생성된 텍스트 내에 포함되어 있는지 여부를 검사하여 포함되어 있지 않은 단어들을 TTS 음성으로 들려주거나 화면에 나타내 주도록 하는 방법을 사용하였는데 그 과정을 상세하게 설명하면 다음과 같다.

학습자가 단말기에 있는 현재의 학습대상 문장을 말한 경우(앞에서 본 학습모드의 경우)와 다음 학습대상 문장을 말한 경우(앞에서 본 대화모드의 경우)에 각 학습대상 문장과 학습자의 음성을 단말기의 음성인식 기능이 텍스트로 변환함으로 인하여 생성된 텍스트와 비교하여 100% 정확하게 일치하지 않는 경우에, 학습대상문장에서 각 단어들을 추출한 후 그 각각의 단어가 음성인식 기능이 생성한 텍스트 내에 포함되어 있는지를 검사하여 포함되어 있지 않은 단어들을 추출하여 이를 학습자에게 TTS 음성을 이용하거나 화면에 표시하여 주는 방법으로 알려준다. 이러한 틀린 단어들은 이를 학습대상 문장의 문장번호와 대응시켜 단말기의 내부 또는 외부의 저장장치에 저장한다. 그 저장된 틀린 단어들에 대하여 빈도수를 추출하여 빈도수가 높은 단어들 순으로 정렬하여 그 전부 또는 일부를 학습자에게 알려준다.

본 발명에서는 본 발명을 실시하는 것이 불법이 되지 않도록 하기 위하여 저작권의 대상이 되는 콘텐츠를 사용하여 본 발명을 실시하는 경우에는 앱이 실행과정에서 해당 단말기에 또는 단말기 내부의 특정한 폴더에 저작권자의 허락을 받아 설치된 콘텐츠가 있는지를 검색하여 만일 발견이 되지 않는 경우에는 저작권자의 허락을 얻은 콘텐츠를 설치한 후 시행할 것을 요구하는 메시지를 표시한 후 그 실행을 중단하는 과정을 추가하여 사용할 수 있다. 이와 같이 단말기 내 또는 단말기 내의 특정 폴더에 저작권자의 허락을 받아 설치한 외국어 콘텐츠가 있는지를 확인하고 확인이 되지 않는 경우 메시지를 표시하고 실행을 중단시키는 구체적인 방법은 이미 공지된 방법들을 사용하면 되므로 특별한 설명을 요하지 않는다.

(12) 추가적으로 학습자가 학습대상 문장을 말한 것을 녹음하여 보관하여 그 자료를 해당 문장에 대한 콘텐츠 음성과 대비하여 음성인식의 신속성과 정확성을 높이는 자료로 활용한다. 추가적으로 학습자가 학습대상 문장을 말한 것을 녹음하여 보관하여 그 자료를 해당 문장에 대하여 학습자 자신이 전에 말하여 녹음한 녹음파일과 대비하여 음성인식의 신속성과 정확성을 높이는 자료로 활용한다. 추가적으로 학습자의 학습대상 문장에 대한 음성녹음을 저장하여 그 자료를 음성인식시스템이 음성인식을 위하여 저장장치에 저장된 데이터들과 대비함에 있어서 보조자료로 활용함으로써 음성인식의 효율성(신속성, 정확성)을 높인다. 상기 세 가지 방법 중의 적어도 하나 또는 2 이상을 조합하여 음성인식의 효율성을 제고하는데 사용한다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 아래의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

다수개의 외국어 표현이 들어 있는 비디오 또는 오디오의 외국어 콘텐츠를 이용하여 대화형으로 외국어를 학습시키는 방법에 있어서,
단말기가 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려주고, 그에 대하여 학습자가 음성입력을 하면 단말기가 그 입력된 내용에 따른 대응을 한 다음 다시 음성입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려주고, 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써 학습자가 화면이 있는 단말기의 경우에도 단말기의 화면을 터치하지 않거나 화면 터치를 예외적인 경우로 최소화하여 단말기와 학습자가 서로 음성전달에 의하여 1 대 1의 대화형식으로 학습이 진행되는 것과,
학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 특정 명령어와 일치하면 상기 해당 명령어의 내용을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고,
상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 명령어와 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 그 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 하는 방식의 학습이 진행되는 것과,
상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 명령어 중의 하나와 일치하지 않으면, 학습자가 입력한 음성의 내용이 현재 학습대상 문장의 다음 학습대상 문장과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 그 해당 문장의 다음 문장, 즉 현재 문장의 다음 다음 문장으로 이동하여 그 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 음성입력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 그 다음 문장을 말하게 하는 방식의 학습이 진행되는 것을
포함하는 것을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
상기 음성입력 대기상태로 전환되는 시간은 해당 외국어 학습대상 문장의 길이 및/또는 외국어 콘텐츠에서 해당 외국어 학습대상 문장이 실행되는데 걸리는 시간을 고려하여 정해지는 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
상기 학습자가 입력한 음성이 변환된 텍스트와 외국어 콘텐츠의 외국어 학습대상 문장의 텍스트가 동일하거나 동일 범주에 속하는지를 판단하는 방법이,
양 문장에서 물음표(?), 느낌표(!), 쉼표(,), 마침표(.), 따옴표(" "), 붙임표(-), 가운뎃점(·), 소괄호{()}, 중괄호({ }), 대괄호([ ])와 같은 문장부호나 문장 앞부분과 뒷부분에 잘못 부가된 공란과 중복되는 공란은 없는 것으로 보고, 숫자의 표현을 아라비아 숫자로 표시한 것과 알파벳으로 표시한 것, 주어 뒤에 생략부호( ’)를 사용하여 뒤에 오는 동사, 조동사를 축약형으로 표시한 것과 축약형을 사용하지 않고 원래의 형태로 표시한 것, 부정문을 생략부호( ’)를 사용하여 축약형으로 표시한 것과 축약형을 사용하지 않고 원래대로 표시한 것, "going to"와 gonna, "want to"와 wanna, "got to"와 gotta, 대소문자를 구분하여 사용하는 것과 구분하지 않고 사용하는 것은 이를 동일한 것으로 보는 것들 중의 일부 또는 전부를 포함하는 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
학습자가 해당 외국어 학습대상 문장에 대하여 계속하여 동일 범주에 속하는 음성입력을 하지 못하여 상기 해당 외국어 학습대상 문장에 대한 학습이 반복되는 경우 yes, okay와 같이 간단한 음성을 입력하거나 you speak next sentence와 같이 사전에 정해진 명령어를 음성입력하면 현재의 해당 외국어 학습대상 문장에 대한 학습을 중단하고 다음 문장으로 이동하여 학습을 할 수 있게 한 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
상기 단말기의 화면에 현재의 학습대상 콘텐츠의 외국어 문장과 함께 다음의 학습대상 콘텐츠의 외국어 문장을 표시한 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
단말기가 학습자에게 학습대상 문장에 대한 외국어 콘텐츠 음성 또는 TTS 음성을 들려주기 전에 해당 학습대상 문장에 대응되는 자국어 자막의 내용을 TTS 음성으로 들려주는 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
단말기가 학습자에게 학습대상 문장에 대한 외국어 콘텐츠 음성을 들려주기 전에 학습대상 문장을 TTS 음성으로 읽어서 들려주는 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
단말기가 학습자에게 학습대상 문장에 대한 외국어 콘텐츠 음성을 들려주기 전에 학습대상 문장에 대응되는 자국어 자막의 내용과 외국어 학습대상 문장의 내용을 각 TTS 음성으로 들려주는 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
상기 단말기에서 음성입력 대기모드가 소멸된 경우, 학습자가 리모컨(삼성 갤럭시노트의 펜도 포함)이나 이어폰의 버튼 중의 하나 또는 복수의 버튼을 누르거나, 삼성 빅스비, 구글 어시스턴트와 같이 음성을 인식하는 다른 소프트웨어의 기능을 이용함으로써, 음성입력 대기모드를 활성화할 수 있는 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
상기 학습자가 외국어 콘텐츠를 이용하여 대화형으로 외국어를 학습하는 과정에서 그 학습의 성과를 평가하여 학습자에게 알려주는 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
상기 학습자가 학습대상 문장을 말하여 음성인식 결과 학습대상 문장을 100% 정확하게 말한 것으로 판단되어 단말기가 다음 문장으로 이동하여 학습을 진행시키게 되는 경우에는 그 학습자의 음성녹음을 그 학습대상 문장과 대응시켜 저장하도록 함으로써 상기 학습자의 음성으로 특정 문장을 정확하게 말하여 생성된 음성녹음 데이터를 보전하여 사용할 수 있게 한 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제11항에 있어서,
학습자가 학습대상 문장을 정확하게 말한 것을 녹음하여 보관하여 그 자료를 해당 문장에 대한 콘텐츠 음성과 대비하여 음성인식의 신속성과 정확성을 높이는 자료로 활용하는 방법과,
학습자가 학습대상 문장을 정확하게 말한 것을 녹음하여 보관하여 그 자료를 해당 문장에 대하여 학습자 자신이 이전에 말하여 녹음한 녹음파일과 대비하여 음성인식의 신속성과 정확성을 높이는 자료로 활용하는 방법과,
학습자가 학습대상 문장을 정확하게 말한 것을 녹음하여 저장하여 그 자료를 음성인식시스템이 음성인식을 위하여 저장장치에 저장된 데이터들과 대비함에 있어서 보조자료로 활용하는 방법들 중,
한 가지 방법 또는 복수의 방법을 조합하여 음성인식의 효율성을 제고하는데 사용하는 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
상기 학습자가 단말기에 전달하는 음성명령어의 전부 또는 일부에 음성명령어를 학습대상 문장과 식별시키기 위한 식별자를 첨가하여 사용하는 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
상기 학습자가 학습대상 문장을 말하여 음성인식 결과 학습대상 문장을 100% 정확하게 말하지 못한 것으로 판단되는 경우, 단말기의 음성인식 기능에 의하여 생성된 텍스트를 해당 학습대상 문장 또는 그 문장번호와 대응시켜 저장하도록 한 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
상기 학습자가 학습대상 문장을 말하여 음성인식 결과 학습대상 문장을 100% 정확하게 말하지 못한 것으로 판단되는 경우, 단말기의 음성인식 기능에 의하여 생성된 텍스트와 학습대상 문장을 대비하여 일치하지 않는 부분을 추출하여 학습자에게 알려주도록 한 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
상기 학습자가 학습대상 문장을 말하여 음성인식 결과 학습대상 문장을 100% 정확하게 말하지 못한 것으로 판단되는 경우, 단말기의 음성인식 기능에 의하여 생성된 텍스트와 학습대상 문장을 대비하여 일치하지 않는 부분을 추출하여 이를 저장하도록 한 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
상기 학습자가 학습대상 문장을 말하여 음성인식 결과 학습대상 문장을 100% 정확하게 말하지 못한 것으로 판단되는 경우, 학습대상 문장에 포함된 단어들 중 단말기의 음성인식 기능에 의하여 생성된 텍스트 내에 포함되어 있지 않은 단어를 추출하여 이를 학습자에게 알려주도록 한 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
상기 학습자가 학습대상 문장을 말하여 음성인식 결과 학습대상 문장을 100% 정확하게 말하지 못한 것으로 판단되는 경우, 학습대상 문장에 포함된 단어들 중 단말기의 음성인식 기능에 의하여 생성된 텍스트 내에 포함되어 있지 않은 단어를 추출하여 이를 저장하도록 한 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항에 있어서,
상기 학습자가 학습대상 문장을 말하여 음성인식 결과 학습대상 문장을 100% 정확하게 말하지 못한 것으로 판단되는 경우, 학습대상 문장에 포함된 단어들 중 단말기의 음성인식 기능에 의하여 생성된 텍스트 내에 포함되어 있지 않은 단어를 추출하여 이를 저장하도록 함으로써 저장된 단어들에 대하여 빈도수를 검사하여 그 중 전부 또는 빈도수가 높은 일부를 학습자에게 알려주도록 한 것
을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
다수개의 외국어 표현이 들어 있는 비디오 또는 오디오의 외국어 콘텐츠를 이용하여 대화형으로 외국어를 학습시키는 방법에 있어서,
단말기가 음성입력 대기상태에 있음을 소리신호로 알리는 방법과 화면표시로 알리는 방법 중의 전부나 일부에 의하여 학습자에게 알려주고, 그에 대하여 학습자가 음성입력을 하면 단말기가 그 입력된 내용에 따른 대응을 한 다음 다시 음성입력 대기상태로 전환한 후 상기와 같은 방법으로 학습자에게 알려주고, 그에 대하여 다시 학습자가 음성입력을 하는 것을 반복함으로써 학습자가 화면이 있는 단말기의 경우에도 단말기의 화면을 터치하지 않거나 화면 터치를 예외적인 경우로 최소화하여 단말기와 학습자가 서로 음성전달에 의하여 1 대 1의 대화형식으로 학습이 진행되는 것과,
학습자가 단말기에 전달할 음성 명령어들을 미리 단말기나 서버 또는 클라우드에 저장하고, 상기 음성입력 대기상태에서 학습자가 음성을 입력하면 음성인식 기능에 의하여 그 내용을 파악한 뒤 그 내용이 특정 명령어와 일치하면 상기 해당 명령어의 내용을 실행한 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려주고,
상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 명령어와 일치하지 않으면, 학습대상 콘텐츠 내의 현재 학습대상 문장의 내용과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 현재 학습대상 문장의 다음 학습대상 문장으로 이동하여 그 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환한 후 이를 학습자에게 알려 주고, 동일하거나 동일 범주에 속하지 않으면 현재 학습대상 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 다시 음성입력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 다시 말하게 하는 방식의 학습이 진행되는 것과,
상기 대비 단계에서 학습자가 입력한 음성의 내용이 저장된 명령어 중의 하나와 일치하지 않으면, 학습자가 입력한 음성의 내용이 현재 학습대상 문장의 다음 학습대상 문장과 동일하거나 동일 범주에 속하는지를 판단하여 동일하거나 동일 범주에 속하면 그 해당문장의 다음 문장, 즉 현재 문장의 다음 다음 문장으로 이동하여 그 문장을 그 문장에 해당되는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 음성입력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 그 다음 문장을 말하게 하는 방식의 학습이 진행되는 것과,
상기 대비 단계에서 학습자가 입력한 음성의 내용이 학습대상 문장들 중 현재의 문장과 다음 문장을 제외한 어느 한 문장과 동일한 경우 단말기가 그 해당 문장의 다음 문장으로 이동하여 그 문장을 그 문장에 해당하는 외국어 콘텐츠의 음성 또는 TTS 음성으로 들려준 다음 음성입력 대기상태로 전환하고 이를 학습자에게 알려서 학습자가 그 다음 문장, 즉 단말기가 들려준 문장의 다음 문장을 말하게 하는 방식의 학습이 진행되는 것
을 포함하는 것을 특징으로 하는 단말기의 음성인식 기능과 TTS 기능을 이용한 대화형 외국어 학습방법.
제1항 내지 제21항 중 어느 한 항의 방법을 포함하는 애플리케이션.