KR20210077172A

KR20210077172A - 발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템

Info

Publication number: KR20210077172A
Application number: KR1020190168510A
Authority: KR
Inventors: 곽용진
Original assignee: 주식회사 이르테크
Priority date: 2019-12-17
Filing date: 2019-12-17
Publication date: 2021-06-25
Also published as: KR102415006B1

Abstract

본 발명은 발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템에 관한 것으로, 더욱 상세하게는 언어학습 중 전화 등을 이용한 말하기 학습에 있어서 말하기 교정 기술(발화 시각화)을 이용하여 학습시 수반되는 시간적, 공간적 제약을 해소하고, 반복 및 준비 학습을 수행할 수 있도록 하는 것으로써, 학습 전/중/후에 발생하는 교사의 교수 내용과 학습자의 학습 준비 사항, 학습 내용의 반복 등을 전화 학습에 통합되어 적용할 수 있도록 함으로써 언어학습자의 말하기 학습 효율 개선과 말하기 실력을 향상시킬 수 있도록 하는 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템에 관한 것이다.

Description

발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템{Phone Language Learning Automation System Using Speech Visualization and Storytelling Chatbot Framework}

현재 외국어 학습 방법 및 시스템은 상당히 다양한 종류가 공개되어 있고, 최근의 인공지능 기술 등을 활용한 기계적 방법을 통한 음성 발음 평가부터 전통적인 전화 회화를 통한 말하기 연습까지 다양한 형태로 학습 가능하다.

하지만, 전화를 통한 말하기 학습은 발음 및 대화 내용의 교정 등 다양한 말하기 지도가 가능하나, 통화가 종료되면 취약한 부분을 반복적으로 확인하여 연습할 수 없는 한계를 가지고, 다른 온라인 시스템을 통한 말하기 학습은 제공되는 원어민 발음의 듣기를 통한 따라말하기 또는 원어민과의 발음 비교를 통한 발음 평가에 국한되어 말하기의 내용적인 오류나 발음을 교정하기 위한 방법이 제공되지 않아 말하기의 일부 영역만 학습 가능한 한계를 가진다.

구체적으로, 말하기의 종합력 능력, 즉 발음/억양, 유창성, 논리성, 구사된 단어의 수준 등 학습자가 학습해야할 많은 말하기 영역을 학습하는 데는 현재의 기술, 방법은 적절하지 않아 학습자 개개인 별로 취약한 부분을 확인하고 교정하여 학습자가 이를 종합적이고 시각적으로 쉽게 확인하여 스스로 학습할 수 있는 방법이 필요하였다.

예를 들어, 언어학습은 통상 읽기, 듣기, 쓰기, 말하기 네 가지 분야에 대해 학습한다.

기존의 언어학습 서비스 및 다양한 언어학습 방법을 통해 읽기, 듣기, 쓰기는 학습이 가능하나 말하기 학습은 교사 등에 의해 학습자의 발화에 대한 지도, 교정을 통해서만 학습이 가능하다.

말하기 학습은 발음의 정확한 구사 또는 유창성 등에 해당하는 발음 평가, 교정과 외국어를 이용한 자신의 생각, 설명, 의견 등에 대한 표현 능력에 대한 학습으로 이루어지나 기존의 학습 방법으로 제공되는 것은 원어민의 발음을 듣고 따라하는 방법 등 발음에 국한되거나 단방향으로 제공되는 콘텐츠를 반복 수행하는 연습에 국한되고 있어 학습자는 자신의 말하기가 어떤 문제가 있고, 바른 말하기가 무엇인지 확인하여 효과적으로 학습하기 어렵다.

또한, 학습자는 자신의 학습 성향이나 수준에 적합한 말하기 학습 방법을 선택하여 연습하기 어렵고, 이러한 말하기 교정, 지도를 위한 적합한 방법, 효율적인 도구가 종래에는 제시되지 않아 종래의 외국어 말하기 학습 방법은 상기와 같이 제약적인 말하기 연습 방법만 제공하게 된다.

결국, 말하기 학습에 있어 학습자가 학습하기 어려웠던 말하기 학습을 효과적으로 학습할 수 있는 교정 방법 및 시스템을 제공할 필요성이 대두되고 있는 실정이다.

한편, 현재 외국어 학습 방법 및 시스템은 상당히 다양한 종류가 공개되어 있고, 최근의 인공지능 기술 등을 활용한 기계적 방법을 통한 음성 발음 평가부터 전통적인 전화 회화를 통한 말하기 연습까지 다양한 형태로 학습 가능하다.

하지만, 전화를 통한 말하기 학습은 발음 및 대화 내용의 교정 등 다양한 말하기 지도가 가능하나 통화가 종료되면 취약한 부분을 반복적으로 확인하여 연습할 수 없는 한계를 가지고, 다른 온라인 시스템을 통한 말하기 학습은 제공되는 원어민 발음의 듣기를 통한 따라말하기 또는 원어민과의 발음 비교를 통한 발음 평가에 국한되어 말하기의 내용적인 오류나 발음을 교정하기 위한 방법이 제공되지 않아 말하기의 일부 영역만 학습 가능한 한계를 가진다.

따라서, 말하기의 종합력 능력, 즉 발음/억양, 유창성, 논리성, 구사된 단어의 수준 등 학습자가 학습해야 할 많은 말하기 영역을 학습하는 데는 현재의 기술, 방법은 적절하지 않아 학습자 개개인별로 취약한 부분을 확인하고 교정하여 학습자가 이를 종합적이고 시각적으로 쉽게 확인하여 스스로 학습할 수 있는 방법이 필요하다.

(선행문헌1) 대한민국 등록특허번호 제10-1318377호 (선행문헌2) 대한민국 등록특허번호 제10-0788781호 (선행문헌3) 대한민국 등록특허번호 제10-1826714호 (선행문헌4) 대한민국 등록특허번호 제10-1160414호

종래에 실현되고 있는 전화 언어학습(전화 영어, 전화 중국어 등)은 학교, 학원 등의 수업 장소가 아닌 곳에서도 교사, 강사의 지도를 받을 수 있는 서비스로 각광받고 있다.

그러나, 통화 연결 가능 시간, 약정된 학습 진행 시간, 학습 내용/화제 및 준비, 학습자의 해당 언어 청취/이해/발화 수준에 따라 학습 효과의 편차가 크며, 학습 종료 후에는 단순 녹음에 자료에 의한 재청취 외에는 반복할 수가 없어 학습내용에 대한 휘발성이 높다.

또한, 상기 문제로 인해 재학습, 타 교사의 보완, 학습자 발화에 대한 평가 등 언어학습 과정이 갖는 일반적인 교수-학습 기술이 통합되기 어려워 말하기(대화) 경험은 대체할 수 있으나, 말하기 능력 신장에 있어서 효과적인 학습 수단으로는 한계가 있다.

따라서, 본 발명은 상기 종래의 문제점을 해소하기 위한 것으로,

본 발명의 제1 목적은 상기와 같이 말하기 학습에 있어 전화 학습이 갖는 한계를 극복하여, 학습자가 학습하기 어려웠던 말하기 학습을 효과적으로 학습할 수 있는 시스템을 제공하는 것을 목적으로 한다.

본 발명이 과제를 해결하기 위하여, 본 발명의 실시예에 따른 발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템은,

교사와 학습자(학생)의 학습간 대화를 진행하기 위한 학습대화부(110);

학습간 교사 교안과 응답 예시 정보를 제공하며, 학습 진행을 제어하며, 학습 종료시 학습 내용을 재구성하여 저장하기 위한 스토리텔링챗봇프레임워크부(120);를 포함하여 구성되는 학습대화데이터변환수단(100)과,

전화 학습시, 입력되는 음성을 인식하기 위한 음성인식부(210);

학습자(학생)의 발화를 교사 발화 또는 원어민 발화에 맞춰 분할, 전사, 교정, 매핑하여 발음과 유창성을 평가하기 위한 발음유창성평가부(220);

상기 학습자의 음성 인식 정보를 토대로 교정 내용과 교정 발음을 처리하여 학습자(학생)에게 제공하기 위한 말하기교정부(230);를 포함하여 구성되는 말하기교정데이터처리수단(200)을 포함한다.

본 발명인 발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템에 의하면,

언어학습 중 전화 등을 이용한 말하기 학습에 있어서 말하기 교정 기술(발화 시각화)을 이용하여 학습시 수반되는 시간적, 공간적 제약을 해소하고, 반복 및 준비 학습을 수행할 수 있도록 하는 것으로써, 학습 전/중/후에 발생하는 교사의 교수 내용과 학습자의 학습 준비 사항, 학습 내용의 반복 등을 전화 학습에 통합되어 적용할 수 있도록 함으로써 언어학습자의 말하기 학습 효율 개선과 말하기 실력을 향상시킬 수 있는 효과를 발휘하게 된다.

도 1은 본 발명의 실시예에 따른 발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템의 전체 구성도.
도 2는 본 발명의 실시예에 따른 발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템의 말하기교정데이터처리수단 기능을 개략적으로 나타낸 예시도.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다.

또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지 않을 수 있다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.

본 발명의 실시예에 따른 발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템은,

상기 학습자의 음성 인식 정보를 토대로 교정 내용과 교정 발음을 처리하여 학습자(학생)에게 제공하기 위한 말하기교정부(230);를 포함하여 구성되는 말하기교정데이터처리수단(200)을 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 전화 언어학습 자동화 시스템은,

학습 전 교사 교안 정보와 응답 예시 정보를 제공하여 사전 예습을 진행하기 위한 챗봇시뮬레이터(300)를 더 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 스토리텔링챗봇프레임워크부(120)는,

연습을 위한 문제, 지문 등의 문제 콘텐츠와 문제를 통해 연습한 학습자의 연습데이터, 학습자가 연습한 내용을 교정한 교정 데이터를 저장하고 있는 전화언어학습정보DB;를 더 포함하여 구성되는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명인 발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템의 바람직한 실시예를 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템의 전체 구성도이다.

도 1에 도시한 바와 같이, 본 발명인 발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템은, 학습자단말기(10), 교사단말기(20), 학습대화데이터변환수단(100), 말하기교정데이터처리수단(200)을 포함하여 구성되게 된다.

구체적으로 설명하면, 상기 학습자단말기(10)는 학습대화데이터변환수단(100)에 접속후, 학습대화데이터변환수단(100)에서 제공하는 문제 콘텐츠에 따라 학습자가 발화한 음성정보를 학습대화데이터변환수단(100)으로 제공하게 된다.

이때, 말하기교정데이터처리수단(200)에서 생성한 최종 교정 결과정보를 학습자단말기로 제공하게 되면, 학습자단말기에서는 시각적으로 그리고, 청각적으로 표출하여 학습자가 교정 결과를 확인할 수 있도록 하는 것이다.

또한, 학습대화데이터변환수단(100)은 학습자단말기(10)로 문제 컨텐츠를 제공하게 되는데, 예를 들어, 학습자가 문제 콘텐츠들을 확인하고, 자신이 원하는 문제 콘텐츠를 선택하게 되면 해당 문제 콘텐츠를 학습자단말기로 제공하여 말하기 연습을 수행하도록 한다.

이때, 학습자가 발화한 음성정보를 학습대화데이터변환수단(100)으로 제공하게 되며, 학습대화데이터변환수단(100)은 해당 정보를 말하기교정데이터처리수단(200)로 제공하여 말하기교정데이터처리수단(200)에서는 학습자단말기(10)가 제공하는 학습자의 음성정보를 텍스트로 변환처리한 텍스트 정보를 생성하고, 음성정보와 텍스트정보를 이용하여 교정 결과정보를 생성하게 된다.

이후, 말하기교정데이터처리수단(200)에서 생성된 교정 결과정보를 접속한 학습자단말기(10)로 실시간으로 제공하게 되는 것이다.

다음은 상기와 같은 학습대화데이터변환수단(100), 말하기교정데이터처리수단(200)의 구성요소 및 동작에 대하여 도면을 참조하여 구체적으로 설명하도록 한다.

도 1에 도시한 바와 같이, 상기 학습대화데이터변환수단(100)은,

학습간 교사 교안과 응답 예시 정보를 제공하며, 학습 진행을 제어하며, 학습 종료시 학습 내용을 재구성하여 저장하기 위한 스토리텔링챗봇프레임워크부(120);를 포함하여 구성되게 된다.

이때, 학습자단말기(10)는,

학습대화데이터변환수단(100)에서 제공하는 문제 콘텐츠를 화면에 표출시키기 위한 학습자용콘텐츠표출부;

상기 화면에 표출된 문제 콘텐츠에 대하여 발화한 학습자의 음성정보를 획득하여 학습대화데이터변환수단(100)으로 제공하기 위한 학습자발화음성정보획득부;

학습대화데이터변환수단(100)에서 제공한 최종 교정 결과정보를 시각적으로, 청각적으로 표출하기 위한 최종교정결과정보표출부;를 포함하여 구성되게 된다.

구체적으로 설명하면, 상기 학습자용콘텐츠표출부는 학습대화데이터변환수단(100)에서 제공하는 문제 콘텐츠를 화면에 표출시키게 된다.

예를 들어, 학습자가 지문 따라 말하기, 커리큘럼에 따른 말하기 연습, 주제별 자유로운 말하기, 듣고 대답하기와 같은 항목을 제공하고, 이중에서 어느 하나를 선택하게 되면 학습대화데이터변환수단(100)에서 문제 콘텐츠를 제공하게 된다.

이때, 학습자는 전화 학습시, 화면에 표출된 문제 콘텐츠를 보고, 발화하게 되는 것이다.

이후, 상기 학습자발화음성정보획득부는 상기 화면에 표출된 문제 콘텐츠에 대하여 발화한 학습자의 음성정보를 획득하여 학습대화데이터변환수단(100)으로 제공하게 되는 것이다.

이후, 학습대화데이터변환수단(100)에서 최종 교정 결과정보를 생성시키게 되며, 해당 학습자가 학습자단말기를 통해 접속하게 되면 생성된 최종 교정 결과정보를 학습자단말기로 제공하게 된다.

따라서, 상기 최종교정결과정보표출부는 학습대화데이터변환수단(100)에서 제공한 최종 교정 결과정보를 시각적으로, 청각적으로 표출하게 되는 것이다.

상기와 같이, 최종교정결과정보표출부를 구성하게 되면, 학습자는 학습자의 말하기 연습 건에 대해 복합적이고 유기적으로 연결된 교정 내용을 확인할 수 있음에 따라 말하기의 종합적 능력을 학습할 수 있다.

또한, 학습할 내용을 시각적으로 표현함으로써, 외국어 학습이 가지는 근원적 한계인 학습으로의 접근의 거부감을 해소할 수 있어 학습자가 종래의 방법보다 용이하게 학습을 시도할 수 있다.

이를 통해 학습자는 전화 학습 진행시에도 외국어 말하기 학습을 쉽게 접근하여 학습량을 늘릴 수 있고 학습에 있어 단편적이고 편향된 말하기 학습이 아닌 종합적인 지도 내용으로 자가 학습이 가능하며 데이터 기반으로 반복적인 학습이 가능하게 된다.

한편, 상기 학습대화부(110)는 전화 콜을 수행하며, 전화 착신시에 교사와 학습자(학생)의 학습간 대화를 진행하는 기능을 수행하게 된다.

이때, 상기 스토리텔링챗봇프레임워크부(120)는 학습간 교사 교안과 응답 예시 정보를 제공하며, 학습 진행을 제어하며, 학습 종료시 학습 내용을 재구성하여 저장하게 되는 것이다.

이때, 부가적인 양태에 따라, 스토리텔링챗봇프레임워크부(120)는,

연습을 위한 문제, 지문 등의 문제 콘텐츠와 문제를 통해 연습한 학습자의 연습데이터, 학습자가 연습한 내용을 교정한 교정 데이터를 저장하고 있는 전화언어학습정보DB;를 포함하여 구성하게 된다.

따라서, 연습을 위한 문제, 지문 등의 문제 콘텐츠와 문제를 통해 연습하게 되며, 동시에 학습자의 연습데이터, 학습자가 연습한 내용을 교정한 교정 데이터를 저장하고 관리하기 때문에 전화 학습이 종료되어도 전화하면서 학습한 데이터를 학습자가 언제든지 접속하여 학습 데이터를 확인하여 반복 학습할 수 있는 효과를 제공할 수 있게 되는 것이다.

한편, 상기 말하기교정데이터처리수단(200)은,

상기 학습자의 음성 인식 정보를 토대로 교정 내용과 교정 발음을 처리하여 학습자(학생)에게 제공하기 위한 말하기교정부(230);를 포함하여 구성되는 것을 특징으로 한다.

구체적으로 설명하면, 상기 음성인식부(210)는 전화가 연결되어 교사와 학습자 간에 학습 데이터를 토대로 학습을 진행할 경우에 말하기를 수행하게 되면 학습자에 의해 발화된 음성을 인식하여 텍스트 문장으로 변환하게 되는 것이다.

이때, 상기 발음유창성평가부(220)를 통해 학습자(학생)의 발화를 교사 발화 또는 원어민 발화에 맞춰 분할, 전사, 교정, 매핑하여 발음과 유창성을 평가하게 된다.

예를 들어, 교사가 먼저 특정 학습 문장에 대하여 발화를 한 후, 따라하기를 수행하게 되면 교사 발화 문장에 맞추어 학습자의 따라하기 문장을 분할, 전사, 교정을 수행하게 된다.

이후, 매핑 알고리즘을 이용하여 따라하기 발음을 매핑시키고, 발음과 유창성을 평가하게 되는 것이다.

이때, 상기 말하기교정부(230)는 상기 학습자의 음성 인식 정보를 토대로 교정 내용과 교정 발음을 처리하여 학습자(학생)에게 제공하게 되는 것이다.

즉, 발화한 음성에 따른 문장 상에 교정 내용이 존재하게 되면 교정을 수행하고, 교정 발음을 처리하여 학습자의 학습자단말기로 전송하게 되는 것이다.

이때, 본 발명에서 설명하고 있는 문제 콘텐츠는,

문제 형태의 질문, 길게 읽을 수 있는 지문, 보고 설명할 수 있는 이미지를 포함하고 있으며, 듣고 말할 수 있는 음성과 보고 말할 수 있는 문자 또는 그림, 도표를 포함하는 것을 특징으로 한다.

따라서, 수험자가 지문, 이미지, 음성 등을 보고, 들으면서 자가 학습을 수행할 수 있게 되는 것이다.

그리고, 상기 말하기교정데이터처리수단(200)은 학습정보DB를 더 포함하여 구성할 수도 있다.

즉, 상기 학습정보DB에는 연습을 위한 문제콘텐츠별 수준, 주제, 학습시간, 난이도를 포함한 메타 정보, 연습한 학습자의 문제콘텐츠정보와 음성정보를 포함한 연습원문정보, 분할된 음성정보별 교정음성 정보, 교정 결과정보, 학습자가 연습한 음성정보를 교정한 최종 교정결과정보를 저장하고 있게 되는 것이다.

결국, 상기와 같은 구성 및 동작을 통해 전화 학습시, 학습자가 연습한 말하기 발음과 내용 교정을 통해 학습자가 효과적으로 말하기 학습을 할 수 있도록 도와주어 학습자의 학습 효율 개선과 말하기 실력을 향상시킬 수 있는 효과를 발휘하게 된다.

또한, 말하기의 내용과 발음을 함께 연계하여 화면에 제공함으로써, 종합적이고 효과적으로 교정할 수 있는 효과를 발휘하게 된다.

한편, 부가적인 양태에 따라, 본 발명인 발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템은,

학습 전 교사 교안 정보와 응답 예시 정보를 제공하여 사전 예습을 진행하기 위한 챗봇시뮬레이터(300)를 더 포함하여 구성할 수 있다.

즉, 전화 학습 전에 챗봇시뮬레이터(300)를 통해 학습 전 교사 교안 정보와 응답 예시 정보를 제공하여 사전 예습을 진행하게 되는 것이다.

상기와 같은 기능을 수행하기 위하여, 챗봇시뮬레이터(300)는,

문제선택모듈, 말하기선택모듈, 학습진행방식선택모듈, 상세학습방식선택모듈, 수동문제출제모듈, 자동출제조건설정모듈, 자동문제출제모듈, 학습자말하기연습용음성정보송출모듈을 포함하여 구성되게 된다.

구체적으로 설명하면, 상기 문제선택모듈은 학습자에게 수동 문제 혹은 자동 출제 중 어느 하나를 선택하도록 선택페이지를 제공하기 위한 기능을 수행한다.

예를 들어, 학습자가 다양한 유형, 형태의 말하기 연습을 수행할 수 있는 문제 출제 및 선택 방식을 학습자에게 제공하는 것이다.

즉, 문제선택모듈을 통해 학습자가 수동 문제 혹은 자동 출제 중 어느 하나를 선택하기 위한 선택페이지를 제공하게 되는 것이다.

이때, 학습자가 수동 문제를 선택하게 되면, 말하기선택모듈은 읽고 말하기 혹은 듣고 말하기 중 어느 하나를 선택하도록 선택페이지를 제공하게 된다.

즉, 문제를 학습자가 읽고 말하는 방식 혹은 학습자에게 문장을 들려 주고 말하는 방식 중 어느 하나를 선택하기 위한 선택페이지를 제공하는 것이다.

이때, 상기 학습진행방식선택모듈은 상기 말하기선택모듈을 통해 선택한 말하기 유형에 따라 지문 읽고/듣고 말하기, 학습 커리큘럼 진행, 주제별 자유 말하기 중 어느 하나를 선택하도록 선택페이지를 제공하게 되는 것이다.

예를 들어, 읽고 말하기를 선택하게 되면 지문 읽고/듣고 말하기, 학습 커리큘럼 진행, 주제별 자유 말하기 중 어느 하나를 선택하기 위한 선택페이지를 제공하는 것이다.

이후, 상세학습방식선택모듈은 학습진행방식선택모듈을 통해 선택한 학습 진행 방식이 지문 읽고/듣고 말하기일 경우에 지문 주제/길이 선택 페이지를 제공하며, 학습 커리큘럼 진행일 경우에 커리큘럼 수준/단계 선택 페이지를 제공하며, 주제별 자유 말하기일 경우에 주제 선택 페이지를 제공하게 되는 것이다.

예를 들어, 지문 주제로 과학, 역사, 수학, 일상생활 등의 주제를, 길이는 단문, 중문, 장문 등의 문장의 길이를 선택할 수 있는 선택페이지를 제공하는 것이며, 학습 커리큘럼 진행일 경우에는 커리큘럼의 수준을 상, 중, 하 중 어느 하나를 선택할 수 있는 선택페이지를 제공하는 것이며, 주제별 자유 말하기는 과학, 역사, 수학, 일생생활 등의 주제를 제공하고 이 중 어느 하나를 선택하기 위한 선택페이지를 제공하는 것이다.

그리고, 수동문제출제모듈은 상기 상세학습방식선택모듈을 통해 선택한 지문 주제/길이에 해당하는 선택 유형 지문을 제시하며, 선택한 커리큘럼 수준/단계에 해당하는 선택 커리큘럼을 진행하기 위한 문제를 제공하며, 선택한 주제에 해당하는 문제를 출제하게 되는 것이다.

예를 들어 설명하자면, 제시 지문 따라 말하기를 선택하게 되면, '음악은 소리로 된 예술이다. 예술이 아름다움을 추구한다면 음악 또한 아름다움을 추구해야 할 것이다. 그렇다면 아름다운 음악 작품은 듣기 좋은 소리로만 만들어 질 수 있는 것일까? 음악적 아름다움은 어떻게 구현되는 것일까?'라는 지문을 제시하고, 이를 따라 말하기를 진행시키는 것이다.

그리고, 커리큘럼에 따른 말하기 연습은 ''그래서'를 포함하여 말해보세요'라는 지문을 제시하고, 이를 따라 말하기를 진행시키는 것이다.

그리고, 주제별 자유로운 말하기 연습은 '환경 보호에 관한 주제를 선택했습니다. 최근 일본 원전사고와 함께 원자력 발전을 줄이고 태양광 에너지 등 신재생에너지의 전환 등 환경보호와 에너지 정책에 관해 말해보세요'라는 지문을 제시하고, 이를 따라 말하기를 진행시키는 것이다.

한편, 학습자가 자동 출제를 선택할 경우에 자동출제조건설정모듈은 학습 수준 등록, 선호 주제 등록, 1회 학습량 등록을 위한 자동출제등록페이지를 제공하게 된다.

이때, 상기 자동출제등록페이지 상에는 학습 수준, 선호 주제, 1회 학습량 등을 선택할 수 있는 선택페이지를 제공하게 되는 것이다.

따라서, 자동문제출제모듈은 자동출제조건설정모듈을 통해 선택한 학습 수준, 선호 주제, 1회 학습량 정보를 토대로 문제 난이도 확인, 문제 주제 확인, 문제 길이 확인 페이지를 제공하게 된다.

예를 들어, 학습 수준을 '상', 선호 주제를 '환경', 1회 학습량은 '1시간'으로 선택하게 되면 학습자가 자신이 선택한 사항을 확인할 수 있도록 문제 난이도 확인, 문제 주제 확인, 문제 길이 확인 페이지를 제공하게 된다.

이때, 학습자가 자신이 선택한 결과가 일치하여 일치함을 알리기 위한 버튼이나 페이지를 선택하게 되면 확인 결과 정보를 획득하게 되며, 이를 토대로 문제 난이도, 문제 주제, 문제 길이에 맞는 문제를 자동으로 선택하여 학습자단말기의 화면에 출력시키게 되는 것이다.

이후, 최종적으로 학습자말하기연습용음성정보송출모듈은 학습자에 의해 말하기를 연습할 경우에, 발화된 음성 정보를 획득하여 말하기교정부(230)로 전송하게 되는 것이다.

종래에는 학습자가 말하기 학습하는 방법이 원어민과의 발음 비교 및 평가, 주어진 원어민 발음의 청취를 통한 따라하기 등 시스템에서 정하는 특정한 형태의 제약된 말하기 연습만 가능하였다.

이는 정형화된 학습 시스템으로 제약된 말하기 학습 방식만을 제공하기 때문이고 사람의 개입없이 정해진 콘텐츠의 재사용 또는 제약적 상황에서만 구동하는 하는 기술을 기반으로 시스템이 구성되었기 때문이다.

본 발명에서는 정형화된 시스템을 지향하는 것이 아닌 사람이 개입하는 자유로운 시스템을 통해 교정 지도를 함으로써, 학습자는 제약된 형태의 학습이 아닌 다양한 형태의 자유로운 구조로 학습자의 성향, 수준에 맞는 말하기 연습을 선택할 수 있다.

학습자는 학습자의 학습 수준, 성향 등에 따라 학습정보DB에 저장된 문제 콘텐츠를 다양한 방식으로 선택할 수 있다.

즉, 다양한 문제, 주제, 지문, 커리큘럼 등 문자 또는 음성으로 구성된 글감을 선택하여 학습자는 연습할 수 있다.

또한, 학습자가 미리 등록한 방식, 정보에 따라 학습자가 연습할 수 있는 문제 콘텐츠를 자동으로 제공할 수 있다.

이러한 방식을 통해 학습자가 연습할 수 있는 말하기 형태는 다양하게 제시될 수 있다.

다양한 말하기 연습을 위해 학습정보DB에 저장된 문제 콘텐츠는 콘텐츠 별로 수준, 주제, 길이, 난이도 등의 다양한 메타 정보를 포함한다.

즉, 문제에 연결된 메타 정보는,

문제코드 정보, 유형 정보, 토픽수준 정보, 대주제 정보, 중주제 정보, 소주제 정보, 학습시간 정보, 어휘난이도 정보, 문제형태 정보, 연습문법 정보를 포함하는 것을 특징으로 한다.

예를 들어, 문제는 문제코드 - T001, 유형 - 텍스트, TOPIK 수준 - 1급, 대주제 - 인사, 중주제 - -, 소주제 - 자기소개, 학습시간 - 3분 미만, 어휘난이도 - 상, 문제 형태 - 대화형, 연습문법 - 인칭 등의 메타 정보를 저장하게 된다.

따라서, 학습자는 정형화된 학습이 아닌 학습자의 수준, 성향에 맞는 다양한 말하기 연습을 수행할 수 있는 효과적인 학습이 가능하게 되는 것이다.

그리고, 본 발명에서 음성의 문자로의 변환은 종래의 STT(Speech to text) 기술을 이용하여 자동으로 문자로 변환하거나 학습자의 음성을 들으면서 해당 음성 구간의 내용을 교정자가 문자로 기재한다.

한편, 본 발명에서 설명하고 있는 연습원문정보는,

학습자 아이디, 문제코드, 말하기 아이디, 말하기 화일명, 길이 정보를 포함하는 것을 특징으로 한다.

예를 들어, 학습자 아이디 : 001, 002를, 문제코드 : T002, A001를, 말하기 아이디 : A002, A003을, 말하기 화일명 : 201812120007.mp3, 201812120008.mp3을, 길이 : 3분 30초, 7분 21초 등의 정보를 포함하게 된다.

따라서, 각각의 말하기 아이디를 고유한 키로하여 교정자가 연습원문을 획득할 수 있게 되는 것이다.

그리고, 본 발명에서 설명하고 있는 분할된 음성 정보는,

말하기 아이디 정보, 문장 순서 정보, 시작 시각 정보, 종료 시각 정보를 포함하는 것을 특징으로 한다.

예를 들어, 말하기 아이디 정보 : A002, A003을, 문장 순서 정보 : 1,2,3,4,1을, 시작 시각 정보 : 00분 01초, 00분 47초, 01분 30초, 02분 48초, 00분 02초를, 종료 시각 정보 : 00분 45초, 01분 27초, 02분 42초, 03분 30초, 00분 32초를 포함하게 된다.

그리고, 본 발명에서 설명하고 있는 전사 내용 정보는,

말하기 아이디 정보, 문장 순서 정보, 시작 시각 정보, 종료 시각 정보, 전사 내용 정보를 포함하는 것을 특징으로 한다.

예를 들어, 말하기 아이디 정보 : A002를, 문장 순서 정보 : 1,2,3,4를, 시작 시각 정보 : 00분 00초, 00분 47초, 01분 30초, 02분 48초를, 종료 시각 정보 : 00분 45초, 01분 27초, 02분 42초, 03분 30초를, 전사 내용 정보 : 음악은 소리로 된 예술이다, 예술이 아름다움을 추구한다면 음악 또한 아름다움을 추구해야 할 것이다, 그렇다면 아름다운 음악 작품은 듣기조은 소리로마 만드러 질 수 있는 거실까?, 음악적 아름다움은 어떻게 구혀되는 거실까? 를 포함하는 것이다.

그리고, 본 발명에서 설명하고 있는 교정음성 정보는,

말하기 아이디 정보, 문장 순서 정보, 시작 시각 정보, 종료 시각 정보, 전사 내용 정보, 원문 정보, 교정문 정보, 원문 및 교정문의 시작 위치 정보, 원문 및 교정문의 종료 위치 정보, 교정 음성 아이디 정보, 교정 화일명 정보, 원문 시작 시각 정보, 원문 종료 시각 정보를 포함하는 것을 특징으로 한다.

예를 들어, 말하기 아이디 정보 : A002를, 문장 순서 정보 : 3, 4를, 시작 시각 정보 : 01분 30초, 02분 48초를, 종료 시각 정보 : 02분 42초, 03분 30초를, 전사 내용 정보 : 그렇다면 아름다운 음악 작품은 듣기조은 소리로마 만드러 질 수 있는 거실까?, 음악적 아름다움은 어떻게 구혀되는 거실까? 를, 원문 정보 : 듣기조은, 소리로마, 만드러, 거실까, 구혀되는, 거실까 를, 교정문 정보 : 듣기좋은, 소리로만, 만들어, 것일까, 구현되는, 것일까 를, 원문 및 교정문의 시작 위치 정보 : 59, 64, 69, 80, 99, 105 를, 원문 및 교정문의 종료 위치 정보 : 62, 67, 71, 82, 103, 107 를, 교정 음성 아이디 정보 : AC-001, AC-002, AC-003, AC-004, AC-005, AC-006 을, 교정 화일명 정보 : 201812120007_301, 201812120007_302, 201812120007_303, 201812120007_304, 201812120007_401, 201812120007_402 를, 원문 시작 시각 정보 : 1분 42초, 1분 58초, 2분 12초, 2분 31초, 3분 2초, 3분 23초 를, 원문 종료 시각 정보 : 1분 55초, 2분 5초, 2분 28초, 2분 40초, 3분 12초, 3분 28초 를 포함하게 되는 것이다.

한편, 교정데이터처리수단(200)은 전체 학습 내용 중 잘못된 단어(어절), 구문/문장만 구분하여 텍스트로 변환한 후, 해당 부분을 오디오와 연결하는 기능을 수행하게 된다.

도 2에 도시한 바와 같이, 전체 학습 내용 중 잘못된 단어(어절), 구문/문장만 구분하여 텍스트로 변환한 후, 해당 부분을 오디오와 연결하는 기능을 수행하기 때문에 시간적 연속성을 제거할 수 있게 된다.

즉, 작은 단위로 분할 및 연결할 수 있게 된다.

종래의 전화 및 메신저 학습은 시간이 고정적인 문제점이 있지만, 본 발명의 경우에는 반복, 불필요, 학습무관한 대화 내용을 정리할 수 있으며, 정리되지 않은 피드백 정보는 제거하게 됨으로써, 시간 볼륨을 축소시킬 수 있는 장점을 제공하게 된다.

예를 들어, 기존 전화 및 메신저 학습 시간이 1시간 정도일 경우에 본 발명의 시스템을 이용하게 되면 약 40분 정도가 소요되므로 약 20분 정도의 시간을 절약할 수 있게 되는 것이다.

본 발명에 의하면, 언어학습 중 전화 등을 이용한 말하기 학습에 있어서 말하기 교정 기술(발화 시각화)을 이용하여 학습시 수반되는 시간적, 공간적 제약을 해소하고, 반복 및 준비 학습을 수행할 수 있도록 하는 것으로써, 학습 전/중/후에 발생하는 교사의 교수 내용과 학습자의 학습 준비 사항, 학습 내용의 반복 등을 전화 학습에 통합되어 적용할 수 있도록 함으로써 언어학습자의 말하기 학습 효율 개선과 말하기 실력을 향상시킬 수 있는 효과를 발휘하게 된다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100 : 학습대화데이터변환수단
200 : 말하기교정데이터처리수단
300 : 챗봇시뮬레이터

Claims

발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템에 있어서,
교사와 학습자(학생)의 학습간 대화를 진행하기 위한 학습대화부(110);
학습간 교사 교안과 응답 예시 정보를 제공하며, 학습 진행을 제어하며, 학습 종료시 학습 내용을 재구성하여 저장하기 위한 스토리텔링챗봇프레임워크부(120);를 포함하여 구성되는 학습대화데이터변환수단(100)과,
전화 학습시, 입력되는 음성을 인식하기 위한 음성인식부(210);
학습자(학생)의 발화를 교사 발화 또는 원어민 발화에 맞춰 분할, 전사, 교정, 매핑하여 발음과 유창성을 평가하기 위한 발음유창성평가부(220);
상기 학습자의 음성 인식 정보를 토대로 교정 내용과 교정 발음을 처리하여 학습자(학생)에게 제공하기 위한 말하기교정부(230);를 포함하여 구성되는 말하기교정데이터처리수단(200)을 포함하여 구성되는 것을 특징으로 하는 발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템.
제 1항에 있어서,
상기 전화 언어학습 자동화 시스템은,
학습 전 교사 교안 정보와 응답 예시 정보를 제공하여 사전 예습을 진행하기 위한 챗봇시뮬레이터(300)를 더 포함하여 구성되는 것을 특징으로 하는 발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템.
제 1항에 있어서,
상기 스토리텔링챗봇프레임워크부(120)는,
연습을 위한 문제, 지문 등의 문제 콘텐츠와 문제를 통해 연습한 학습자의 연습데이터, 학습자가 연습한 내용을 교정한 교정 데이터를 저장하고 있는 전화언어학습정보DB;를 더 포함하여 구성되는 것을 특징으로 하는 발화 시각화와 스토리텔링 챗봇 프레임워크를 이용한 전화 언어학습 자동화 시스템.