KR102043419B1 - 아동언어학습을 위한 음성인식 기반 학습 시스템 및 학습방법 - Google Patents

Abstract

아동의 언어 학습을 위한 음성인식 기반 학습시스템을 개시한다. 실시예에 따른 학습시스템은 아동언어학습어플리케이션을 생성하는 학습서버; 및 학습서버로부터 아동언어학습 어플리케이션을 분산방식으로 전송 받아 설치하는 스마트 단말; 을 포함하고, 학습서버는 아동언어학습 어플리케이션을 생성하기 위해, 아동음성인식을 위한 음성인식 데이터, 인식된 음성에 매칭되는 텍스트 데이터 및 텍스트와 인식된 음성에 매칭되는 시각자료 데이터를 저장하는 데이터베이스; 아동의 연령 및 언어학습 수준에 대응하는 언어 학습을 위한 불완전 문장을 생성하고, 불완전 문장에 포함될 수 있는 단어에 해당하는 음성 데이터와 음성 데이터에 대응되는 텍스트 및 시각자료를 매칭하는 매칭모듈; 및 아동으로부터 입력되는 음성신호를 분석하여 아동이 발화하는 음성신호에 대응하는 텍스트와 시각자료를 추출하는 추출모듈; 을 포함한다.

Description

아동언어학습을 위한 음성인식 기반 학습 시스템 및 학습방법 {SPEECH RECOGNITION BASED TRAINING SYSTEM AND METHOD FOR CHILD LANGUAGE LEARNING}

본 개시는 학습 시스템 및 방법에 관한 것으로서 구체적으로, 아동음성인식 후 유사도를 측정하여 유사도가 일정 수준 미만인 경우 이를 학습자인 아동에게 알려 피드백하고, 아동이 발화한 음성에 매칭되는 텍스트와 이미지 등의 시각자료를 아동 발화 시점에 싱크 되도록 디스플레이하여 아동의 언어 학습 효과를 향상시키는 아동의 언어학습을 위한 음성인식 기반 학습 시스템 및 방법에 관한 것이다.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래기술이라고 인정되는 것은 아니다.

아동은 스마트 단말에 상시 노출되어 있다. 일반적으로 스마트 단말은 아동에게 있어 유희의 도구로 이용되므로, 일반적으로 부모들은 아이들의 사용을 제한한다. 부모가 늘 사용하는 스마트 단말을 아동에게 이용하지 못하도록 막는 것은 아동에게 있어 납득하기 어려운 불만일 수 있다. 따라서 아동에게 스마트 단말 이용을 무조건 막기보다는 이를 건전한 방법으로 이용할 수 있도록 유도하는 것이 보다 현명한 대안일 것이다.

이와 같은 인식에서 스마트 단말을 아동이 유익하게 이용할 수 있는 방법이 필요하다.

최근 들어 음성인식의 정확도가 비약적으로 향상되면서 음성인식은 단순 입력 수단을 넘어 언어 학습의 중요한 도구로 활용할 수 있게 되었다. 그러나 학습 도구로써의 음성인식은 현시점에서 외국어 학습에만 주로 이용되고 있으며, 유아기 학습자의 모국어 학습에는 거의 이용되지 않고 있다.

또한 언어를 학습하는 유아기 학습자는 본인이 발화한 말이 어떠한 상황을 가리키며 문자로 어떻게 표기되는지 확인이 필요하다. 그러나 이와 같은 모국어 학습자의 능동적 언어 학습을 위한 기술이나 서비스는 현시점에서 보편화되어 있지 않다. 기 개발된 디지털 언어 학습 도구들도 기존의 인쇄물을 디지털 환경으로 옮긴 수준에 머물면서 기존 학습 방법에 비해 학습자의 언어 학습 동기와 효과를 비약적으로 향상시키지는 못했다.

또한, 집중 시간이 짧은 유아기 학습자에게 인쇄된 그림 또는 문자를 활용하는 것은 학습에 오랜 시간 흥미를 지속시키도록 하지 못하며, 움직이는 시각 매체에 익숙한 현 시대의 아동에게는 활용하기 어려운 방법이 되었다. 이러한 현실에서 유아기 학습자에게 과거의 방법을 그대로 활용하기 보다는 학습자의 흥미를 유발하는 디지털 기기를 활용하여 언어를 학습하게 함이 효과적일 수 있다. 그리고 디지털 기기를 이용한 언어 학습 도구는 기존의 인쇄물을 디지털 환경으로 옮긴 수준을 넘어 디지털을 장점을 살린 능동적이고 상호작용이 가능한 형태로 제공하는 것이 바람직하다.

1. 한국 특허등록 제 10-1438088 (2014.08.29)

실시예에 따른 아동언어학습을 위한 음성인식 기반 학습 시스템 및 방법은 정확도 향상이 이루어진 음성인식 기술을 활용하여 능동적으로 언어 학습을 할 수 있도록 개발되는 모바일 어플리케이션을 제공한다. 특히, 어플리케이션을 통해 아동이 단어나 문장의 말하기, 읽기 학습 과정에서 학습 내용과 관련되는 영상을 시각자료로 활용하며 학습할 수 있도록 한다. 또한, 문장 학습의 경우 문장에 들어갈 주요 단어를 바꿔가며 능동적으로 연습해 볼 수 있도록 하고 학습자의 발화 내용을 스마트 단말의 음성 인식 기능을 사용하여 확인하고 피드백을 제공 받을 수 있도록 한다.

또한 학습자는 문장을 읽고 이를 따라 읽는 수준을 넘어서 서버에서 생성된 불완전 문장을 완성시키기 위해 스스로 단어들을 조합하여 문장을 만들 수 있도록 한다. 이로써, 학습자가 보다 능동적인 언어 학습을 할 수 있도록 하고, 말하거나 읽은 이후에 이에 대한 피드백을 전달받아 본인의 발화를 교정할 수 있도록 하는 아동언어학습을 위한 음성인식 기반 학습 시스템 및 학습방법을 제공한다.

실시예에 따른 아동의 언어 학습을 위한 음성인식 기반 학습 시스템은 아동언어학습어플리케이션을 생성하는 학습서버; 및 학습서버로부터 아동언어학습 어플리케이션을 분산방식으로 전송 받아 설치하는 스마트 단말; 을 포함한다. 학습서버는 아동언어학습 어플리케이션을 생성하기 위해, 아동음성인식을 위한 음성인식 데이터, 상기 인식된 음성에 매칭되는 텍스트 데이터 및 상기 텍스트와 인식된 음성에 매칭되는 시각자료 데이터를 저장하는 데이터베이스; 아동의 연령 및 언어학습 수준에 대응하는 언어 학습을 위한 불완전 문장을 생성하고, 상기 불완전 문장에 포함될 수 있는 단어에 해당하는 음성 데이터와 상기 음성 데이터에 대응되는 텍스트 및 시각자료를 매칭하는 매칭모듈; 및 아동으로부터 입력되는 음성신호를 분석하여 상기 아동이 발화하는 음성신호에 대응하는 텍스트와 시각자료를 추출하는 추출모듈; 을 포함할 수 있다.

실시예에 따른 스마트 단말은 스마트 단말의 마이크 또는 센서를 통해 입력되는 아동 음성을 인식하고, 인식된 아동 음성을 분석하여 상기 아동이 발화한 음성에 포함된 문자열과 기 저장된 문자열의 유사도를 산출하는 연산부; 산출된 유사도가 일정수준 이상인 경우, 상기 문자열에 해당하는 텍스트 및 이미지를 포함하는 시각자료가 배경이미지와 겹쳐지도록 하고, 아동이 문자열을 발화하는 시점과 싱크 되도록 디스플레이하는 디스플레이부; 를 포함할 수 있다.

실시예에 따른 아동언어학습을 위한 음성인식 기반 학습 시스템 및 학습방법은 학습자의 학습 과정에서 즉각적인 피드백을 제공할 수 있다. 실시예에서는 학습자인 아동의 음성을 스마트 단말의 마이크를 이용해 입력 값으로 받아들여 텍스트화(Speech to Text)한 후 해당 텍스트를 사전에 설정한 정답 텍스트와 비교하여 학습자가 제대로 발화했는지 피드백을 제공할 수 있다. 이와 같이 본 개시에서는 실물 형태의 교구 또는 콘텐츠만을 제공하는 디지털 교구와 달리 입력 값에 대한 피드백을 통해 학습자와 양방향 상호작용이 가능하도록 한다.

또한, 능동적으로 학습할 수 있는 환경을 제공한다. 구체적으로 실시예에 따른 학습서버에서 제공하는 문장 학습 영역에서는 학습자가 예약된 문장을 따라 말하거나 읽지 않고, 사전에 학습한 단어들을 불완전 문장에 삽입하여 능동적으로 문장을 만들 수 있도록 한다.

또한, 실시예에서는 학습자가 발화한 단어와 불완전 문장의 조합에 따라 결과로 출력되는 영상을 상황에 맞게 보여 주기 때문에 학습자는 능동적으로 단어를 변경하며 문장을 발화하면서 변화되는 단어에 따른 상황 변화를 영상을 통해 즉각적으로 확인할 수 있는 기회를 얻게 된다.

아울러, 학습서버에 의해 제공되는 아동언어학습 어플리케이션 이용 시, 인공지능 스피커나 유사홀로그램을 이용하는 방식으로 하드웨어를 접목하는 경우, 스마트 단말의 환경적 한계를 보완하여 실내 곳곳에서 어디에서든 언어 학습이 가능한 높은 활용성을 가진 발전된 서비스를 제공할 수 있다.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.

도 1은 실시예에 따른 음성인식 기반 아동언어 학습시스템의 구성을 나타낸 도면
도 2a는 실시예에 따른 스마트 단말의 아동언어 학습어플리케이션 데이터 처리블록을 나타낸 도면
도 2b는 실시예에 따른 아동언어 학습을 위한 음성인식 기반 언어 학습서버의 데이터 처리블록을 나타낸 도면
도 3은 실시예에 따른 추출모듈(250)의 데이터 처리 구성을 나타낸 도면
도 4a 및 도 4b는 실시예에 따른 유아의 언어 학습 어플리케이션의 초기 화면 인터페이스 예를 나타낸 도면
도 5a는 실시예에 따른 어플리케이션에서 제공하는 단어 학습 인터페이스 디스플레이 예를 나타낸 도면
도 5b는 실시예에 따른 어플리케이션에서 제공하는 문장 학습 인터페이스 디스플레이 예를 나타낸 도면
도 6a는 실시예에 따른 아동언어 학습을 위한 음성인식 기반 학습시스템에서의 신호 흐름도를 나타낸 도면
도 6b은 실시예에 따른 학습서버에서의 아동언어 학습 어플리케이션 생성 과정을 나타낸 흐름도

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이제 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

도 1은 실시예에 따른 음성인식 기반 아동언어학습 시스템의 구성을 나타낸 도면이다.

도 1을 참조하면, 아동언어학습을 위한 음성인식기반 학습 시스템은 스마트 단말(100) 및 학습서버(200)를 포함하여 구성될 수 있다.

학습서버(200)는 유아기 아동의 국어 학습을 위한 음성인식 기반의 아동 언어학습 어플리케이션을 제작해 분산방식으로 스마트 단말(100)로 제공한다. 스마트 단말(100)은 학습서버(200)로부터 아동언어학습 어플리케이션을 다운로드 하여 설치하고, 스마트 단말(100)을 통해 아동에게 음성인식기반 언어 학습 프로세스를 제공한다.

실시예에 따른 음성인식 기반 아동언어 학습 시스템은 ‘음성 언어의 입력, 처리’와 기능과 ‘영상 출력’의 기능을 제공하도록 구성된다. 예컨대, 음성인식 기반 아동 언어학습 시스템에서는 사용자가 말하기 또는 읽기 과정에서 단독 단어나 단어가 포함된 문장을 발화하면 해당 음성을 원격지로 보내고 클라우드 기반의 통계적 패턴 매칭을 통해 유사도가 높은 결과를 찾아 사용자 단말기에 회신한다. 회신 받은 음성 인식 결과는 단말기 내부적으로 문자열 유사도(String Distance) 알고리즘을 이용하여 제시한 단어나 문장 구성과의 유사도 비교 작업을 진행한다. 이후, 유사도 확인 결과 유사도 조건을 만족하지 못하면 이를 사용자에게 안내하고, 유사 조건을 만족한다면 관련 영상을 기기 화면에 출력한다. 단어의 경우라면 관련된 영상 하나를 단독으로 출력하면 되지만, 문장의 경우라면 상황과 관련된 배경 영상을 하단 레이어에 삽입하고 단어와 관련된 영상은 상단 레이어에 삽입하여 동시에 출력한다. 예를 들어, ‘식탁에 물병이 있습니다.’라는 문장이라면 식탁 영상을 하단 레이어에 삽입하고, 상단 레이어에 물병 영상을 삽입하여 겹쳐진 상태로 동시에 출력한다. 영상 겹침은 HTML5 Canvas API와 CSS의 Sprite Sheet 등을 활용하며, 배경 영상과 단어 영상 사이에 z-index 차이를 두어 공통 영역에 객체의 배치 순서를 달리하여 영상 겹침 효과를 얻는다. 영상 겹침 시 배경 영상은 한 개이나 단어 영상은 복수개가 될 수 있으며, 단어 영상은 영상 자체의 배경이 투명해 기존 배경 영상에 영향을 주지 않는다.

실시예에 따른 스마트 단말(100)은 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다. 즉, 스마트 단말(100)는 유무선 통신망을 경유하여 학습서버(200)에 접속하기 위한 특정 어플리케이션을 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하고 있는 단말기를 의미한다. 즉, 스마트 단말(100)은 스마트 폰이나 개인 PC인 것이 일반적이지만, 학습서버(200)와 서버-클라이언트 통신이 가능하다면 그 어떠한 단말기도 가능하며, 노트북 컴퓨터, 이동통신 단말기, PDA 등 여하한 통신 컴퓨팅 장치를 모두 포함하는 넓은 개념이다. 한편, 스마트 단말(100)는 터치 스크린을 구비한 형태로 제작되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.

도 2a는 실시예에 따른 스마트 단말의 아동언어 학습어플리케이션 데이터 처리블록을 나타낸 도면이다.

도 2a를 참조하면, 실시예에 따른 아동언어 학습 어플리케이션은 데이터베이스(110), 연산부(130) 및 디스플레이부(150)를 포함하여 구성될 수 있다.

데이터베이스(110)에는 아동언어 학습 어플리케이션이 설치된 스마트 단말에서 아동의 음성인식 및 문자열의 유사도를 비교하기 위해 필요한 일련의 데이터 및 아동의 언어학습 어플리케이션의 프로그램데이터 등이 저장된다.

연산부(130)는 학습서버(100)에서 분석된 아동음성인식데이터를 전달받아, 아동음성인식데이터의 분석 결과물인 문자열(text)과 스마트 단말(100)에 기 저장된 문자열의 유사도를 산출한다.

또한 실시예에서 연산부(130)는 어플리케이션이 설치된 스마트 단말의 마이크 또는 센서를 통해 입력되는 아동 음성을 인식하고, 인식된 아동의 음성을 분석하여 아동이 발화한 음성에 포함된 문자열과 어플리케이션 데이터에 기 저장된 문자열의 유사도를 산출할 수 있다.

디스플레이부(150)는 연산부(130)에서 산출된 유사도가 일정수준 이상인 경우, 문자열에 해당하는 텍스트 및 이미지를 포함하는 시각자료를 아동이 문자열을 발화하는 시점과 싱크 하도록 디스플레이한다. 또한, 디스플레이부(150)는 아동이 발화한 음성에 대응하는 시각자료를 HTML5 Canvas API와 CSS의 Sprite Sheet 등을 통해 배경영상과 겹쳐지도록 디스플레이 할 수 있다. 예컨대, 디스플레이부(150)는 배경영상과 시각자료의 Z-index를 다르게 조정하여 디스플레이 할 수 있다. 만일 복수개의 시각자료가 디스플레이 되는 경우, 아동이 단어를 발화하는 시점과 싱크 되도록 시각자료를 디스플레이 할 수 있고 이때, 각각의 시각자료의 Z-index는 모두 다르게 조정된다.

만일 산출된 유사도가 일정수준 미만인 경우, 디스플레이부(150)는 아동이 발화한 음성에 포함된 문자열과 기 저장된 문자열의 유사도가 일정수준 미만인 것을 출력하고, 기 저장된 문자열의 음성, 텍스트 및 이미지를 포함하는 시각자료를 출력하여 아동을 학습 시킨다.

또한, 실시예에서 디스플레이부(150)는 아동언어에 해당하는 텍스트와 시각자료를 아동이 발화하는 음성신호의 특정 단어 발화 시점과 싱크 하도록 디스플레이 할 수 있다. 특히, 디스플레이부(150)는 아동음성에 대응하는 시각자료가 복수개인 경우, 시각자료가 추출되는 시점 순서대로 디스플레이 되는 객체의 순서를 나타내는 z-index를 조정하여 인식된 아동음성에 대응하는 시각자료와 텍스트 각각을 디스플레이 할 수 있다. z-index는 특정 요소의 스택(stack) 순서를 설정하는 CSS(Cascading Style Sheets) 속성이다. 스택 순서가 더 큰 요소는 항상 스택 순서가 낮은 다른 요소 앞에 있도록 디스플레이 될 수 있다.

또한 디스플레이부(150)은 아동이 발화한 음성 데이터의 유사도가 일정수준 이하인 경우, 유사도 조건을 만족하지 못하면 이를 학습자인 아동에게 안내하고, 아동이 발화해야 하는 어휘의 정확한 음성, 텍스트 및 이미지를 출력하여 아동을 학습시킬 수 있다.

도 2b는 실시예에 따른 아동언어 학습을 위한 음성인식 기반 언어 학습서버의 데이터 처리블록을 나타낸 도면이다.

도 2b를 참조하면, 학습서버(200)는 데이터베이스(210), 매칭모듈(230) 및 추출모듈(250)을 포함하여 구성될 수 있다. 본 명세서에서 사용되는 '모듈' 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.

데이터베이스(210)는 실시예에 따른 유아기 아동의 국어 학습을 위한 음성인식 기반의 모바일 어플리케이션 제작 및 배포에 필요한 일련의 데이터를 저장한다. 예컨대, 데이터베이스(210)는 아동이 입력한 음성을 인식하기 위한 음성인식 데이터, 인식된 음성에 매칭되는 텍스트 데이터 및 텍스트와 인식된 음성에 매칭되는 시각자료 데이터 등을 미리 저장할 수 있다.

매칭모듈(230)은 아동의 연령 및 언어학습 수준에 대응하는 언어 학습을 위한 불완전 문장을 생성한다. 예컨대, 불완전 문장은 특정 문장요소가 아동에 의해 선택되어 완전한 문장이 되는 형식의 문장으로서 구체적으로, 불완전 문장은 '책상에는 ( ), ( ), ( ) 이 있습니다.' 와 같이 문장에서 명사, 동사 등의 문장요소가 삭제된 형태가 될 수 있다. 특히, 아동의 언어 학습을 위해 생성되는 불완전 문장은 아동의 연령이나 언어 학습 수준에 따라, 아동이 채워야 하는 문장요소의 종류와 개수가 조정되어 생성될 수 있다. 이후 매칭모듈(230)은 불완전 문장에 포함될 수 있는 단어에 해당하는 음성 데이터와 음성 데이터에 대응되는 텍스트 및 시각자료를 매칭한다. 앞서 개시한 불완전 문장의 예를 계속해서 설명하면, 연필, 책, 지우개 등 아동이 학습해야 하는 어휘에 해당하는 텍스트와 이에 대한 이미지, 영상 등의 시각화 자료가 음성데이터에 매칭된다.

추출모듈(250)은 아동으로부터 입력되는 음성신호를 분석하여 아동이 발화하는 음성신호에 대응하는 텍스트와 시각자료를 추출한다. 예컨대, 아동이 스마트 단말로 불완전 문장에 빠진 문장요소를 발화하여 음성신호를 입력하는 경우, 입력되는 음성신호에 대응하는 텍스트 및 시각자료를 추출한다.

도 3은 실시예에 따른 추출모듈(250)의 데이터 처리 구성을 나타낸 도면이다.

도 3을 참조하면, 실시예에 따른 추출모듈(250)은 보정부(251) 및 추출부(253)을 포함하여 구성될 수 있다.

보정부(251)는 입력된 아동의 음성을 기 저장된 음성 데이터에 기반하여 보정한다. 스마트 단말(100)로 입력되는 아동의 음성신호는 대부분 정확하지 않은 경우가 많기 때문에, 음성입력 신호에 대응하는 텍스트나 시각자료를 추출하기 전에 먼저 입력된 아동의 음성신호를 보정하는 과정을 거친다. 이후, 추출부(253)는 보정된 아동음성 데이터와 기 저장된 음성 데이터간 유사도를 측정하여 가장 유사한 텍스트 데이터 및 상기 보정된 아동음성 데이터 또는 텍스트 데이터에 대응하는 시각자료를 추출한다.

도 4a 내지 도 5b는 음성인식 기반 아동언어 학습 서버에서 제공하는 아동언어 학습 어플리케이션의 모바일 디스플레이 인터페이스의 예를 나타낸 도면이다.

도 4a 및 도 4b는 실시예에 따른 유아의 언어 학습 어플리케이션의 초기 화면 인터페이스 예를 나타낸 도면이다.

도 4a 및 도 4b에 도시된 바와 같이, 초기 화면(a, f)에서 학습 유형을 선택할 수 있다. 예컨대, 스마트 단말에 디스플레이 되는 어플리케이션 초기 화면(a)에서는 말하기와 읽기 중 원하는 학습을 선택한다. 문자 음독 가능 여부에 따라 말하기와 읽기 학습의 대상이 구분할 수 있다. 이하 말하기 학습에 대한 실시예를 설명한다. 말하기 학습 선택 이후, 주제 선택 인터페이스 화면(b, g)에서 학습을 원하는 주제를 선택한다. 주제에는 학습을 위한 단어와 문장 문항이 포함되어 있다. 예컨대, 동물 주제에는 사자, 코끼리, 개 등의 단어 문항과 '풀밭에 ( )가 있습니다.' 와 같은 주제와 관련된 학습 문장 문항 및 불완전 문장이 포함되어있다. 실시예에서 각 주제는 무료와 유료로 구분되는데, 유료 주제는 유료결제를 하는 경우 이용 할 수 있다. 실시예에 따른 어플리케이션을 이용한 단어 학습으로는 주제와 관련된 단어 어휘를 학습할 수 있다. 실시예에 따른 어플리케이션에서 제공되는 단어 학습은 단어와 관련된 영상을 보고 단어를 아동이 맞추는 학습이다. 예컨대, 10개의 단어를 공부한다면 영상을 보고 단어 말하기를 10번 진행하고, 아동이 말해야 할 단어를 음성을 통해 반복하여 들어볼 수 있도록 한다. 또한, 실시예에 따른 언어학습 어플리케이션을 통해 학습자가 말한 단어가 맞는지는 음성 인식을 통해 확인할 수 있도록 한다.

또한, 실시예에 따른 어플리케이션에서는 문장 학습에서 다양한 문장을 만들어 볼 수 있도록 한다. 예컨대, 문장 학습에서는 단어 학습에서 배운 단어들을 이용하여 아동이 문장을 만들어 볼 수 있도록 한다. 예를 들어 어플리케이션에서 '연못에는 ( )이 삽니다.' 와 같은 불완전 문장을 제시하면 학습인 아동은 배운 단어 중 하나를 빈칸에 넣어 완전한 문장을 말할 수 있다. 또한, 아동은 불완전 문장과 후보 단어를 음성을 통해 들어볼 수 있도록 하고, 학습자가 적절한 단어를 이용하여 알맞은 문장을 말했는지는 음성 인식을 통해 확인할 수 있도록 한다.

또한 실시예에 따른 어플리케이션에서는 아동이 문장을 발화하면 문장에 포함된 어휘에 해당하는 시각화 자료를 영상에 추가하여 아동에게 제공할 수 있다. 앞서 설명한 '연못에는 ( )이 삽니다.' 라는 예시로 설명하면, 이 문장에서 아동이 '개구리'를 넣어 말하면 연못 배경 영상에 개구리 단어에 매칭되는 시각자료가 추가되어 아동에게 디스플레이 된다.

도 5a는 실시예에 따른 어플리케이션에서 제공하는 단어 학습 인터페이스 디스플레이 예를 나타낸 도면이다.

도 5a에 도시된 바와 같이, 실시예에서는 아동이 영상을 보고 영상에서 디스플레이 되는 단어를 맞추는 방식으로 진행될 수 있다. 이때, 단어 음성도 함께 재생되며, 영상과 음성 출력 이후 학습자가 음성 인식 버튼을 눌러 발화하면 정답을 말했는지 어플리케이션에서 확인할 수 있다.

도 5b는 실시예에 따른 어플리케이션에서 제공하는 문장 학습 인터페이스 디스플레이 예를 나타낸 도면이다.

도 5b에 도시된 바와 같이, 아동은 빈칸이 있는 문장에 단어 학습에서 배운 단어 중 하나를 발화하여 입력하고, 문장을 만들면, 단어 학습에서와 같이 아동이 입력한 음성인식을 통해 정답 여부를 확인할 수 있다.

도 4a 내지 도 5b에 도시된 학습 어플리케이션의 디스플레이 인터페이스는 실시예에 따른 아동언어 학습 서버를 이용하는 학습 방법의 예를 설명한 것일 뿐, 이에 한정하기 위한 것이 아니다.

이하에서는 실시예에 따른 아동언어 학습방법에 대해서 차례로 설명한다. 아동언어학습 방법의 작용(기능)은 아동언어 학습 시스템, 어플리케이션 및 학습서버의 기능과 본질적으로 같은 것이므로 도 1 내지 도 5b와 중복되는 설명은 생략하도록 한다.

도 6a는 실시예에 따른 아동언어 학습을 위한 음성인식 기반 학습시스템에서의 신호 흐름도를 나타낸 도면이다.

S110 단계에서는 학습서버(200)에서 아동언어학습 어플리케이션을 생성하고, S120 단계에서는 생성된 아동언어학습어플리케이션을 분산방식으로 스마트 단말(100)로 배포한다.

S130 단계에서는 스마트 단말(100)에서 아동언어학습어플리케이션을 다운로드 하여 설치하고, S140 단계에서 스마트 단말(100)에 설치된 어플리케이션 동작을 시작 시킨다.

S150 단계에서는 스마트 단말(100)사용자 또는 학습자인 아동을 통해 학습 영역을 입력받고, S160 단계에서는 입력된 학습영역에 포함되는 불완전 문장을 디스플레이한다.

S170 단계에서는 스마트 단말(100)에 구비된 센서를 통해 아동으로부터 음성신호를 입력 받는다. S172 단계에서는 스마트 단말(100)에서 학습서버(200)으로 음성데이터를 전송하면, S174 단계에서는 학습서버(200)에서 수신한 음성 데이터를 분석한다. 이후, S176 단계에서는 학습서버(200)에서 분석한 음성 데이터에 대한 음성인식 결과를 스마트 단말(100)으로 전송한다.

S180 단계에서는 스마트 단말(100)에서 음성인식 결과를 수신하고, 수신한 음성인식 결과에 포함된 문자열(text)과 어플리케이션 프로그램 데이터에 기 저장된 문자열의 유사도를 산출한다.

S190 단계에서는 산출된 유사도가 일정수준 이상인지 확인한다.

산출된 유사도가 일정수준 이상인 경우, S200 단계에서는 유사도가 일정수준 이상인 문자열에 해당하는 텍스트 및 이미지를 포함하는 시각자료를 아동이 문자열을 발화하는 시점과 싱크 하고 배경화면과 겹쳐지도록 디스플레이한다. 예컨대, 불완전 문장은 '책상에는 ( ), ( ), ( ) 이 있습니다.'에 대해 아동이 '책상에는 (연필), (책), (공책)이 있습니다'로 발화하는 경우, 아동이 연필, 책, 공책이라는 단어를 발화하는 시점의 싱크에 맞추어 각 어휘에 대응하는 텍스트 또는 시각자료를 배경화면과 겹쳐지도록 디스플레이 할 수 있다. 이때, 아동음성에 대응하는 시각자료가 복수개인 경우, 시각자료가 추출되는 시점 순서대로 디스플레이 되는 객체 순서를 나타내는 z-index를 조정하고, 조정된 z-index 및 특정 단어 발화 시점에 따라 복수개의 시각자료를 순차적으로 디스플레이 할 수 있다.

S210 단계에서는 유사도가 일정수준 미만인 경우, 상기 아동이 발화한 음성에 포함된 문자열과 기 저장된 문자열의 유사도가 일정수준 미만인 것을 출력하고, 불완전 문장에 포함될 어휘의 시각자료를 출력하여 아동을 학습 시킬 수 있다.

S220 단계에서는 스마트 단말(100)에서 수집한 학습자인 아동회원 정보(예컨대, 연령, 학습 수준 등) 및 정답여부를 수집하여 학습서버(200)로 전송한다.

S230 단계에서는 스마트 단말(100)에서 수집된 데이터를 전송 받아 분석하고 분석결과에 따라 아동언어학습어플리케이션을 업데이트 할 수 있다.

도 6b은 실시예에 따른 학습서버에서의 아동언어 학습 어플리케이션 생성 과정을 나타낸 흐름도이다.

S111 에서는 데이터베이스에 아동이 입력한 음성을 인식하기 위한 음성인식 데이터, 인식된 음성에 매칭되는 텍스트 데이터 및 텍스트와 인식된 음성에 매칭되는 시각자료 데이터를 저장한다.

S113 단계에서는 매칭모듈에서 아동의 언어학습을 위한 불완전 문장을 생성한다. S113 단계에서는 학습자인 아동의 연령, 언어 인지 수준 및 발화 수준을 포함하는 학습자 정보를 입력받고 입력된 학습자 정보를 기반으로 학습자인 아동의 학습 수준을 고려한 불완전 문장을 생성할 수 있다.

S115 단계에서는 추출모듈에서 입력된 음성신호를 분석한다. 예컨대, S115 단계에서는 입력된 아동의 음성을 기 저장된 음성 데이터에 기반하여 보정하고 보정된 아동음성 데이터와 기 저장된 음성 데이터간 유사도를 측정하여 가장 유사한 텍스트 데이터를 추출할 수 있다.

S117 단계에서는 추출모듈에서 측정된 유사도를 기반으로 입력된 음성신호와 가장 유사한 텍스트 데이터를 추출하고 추출된 텍스트 데이터에 매칭되는 이미지를 포함하는 시각자료를 추출한다. 실시예에서 S50 단계에서는 먼저 입력된 아동의 음성을 기 저장된 음성 데이터에 기반하여 보정하고, 보정된 아동음성 데이터와 기 저장된 음성 데이터간 유사도를 측정하여 가장 유사한 텍스트 데이터를 추출할 수 있다.

개시된 바와 같은 아동언어 학습을 위한 음성인식 기반 학습서버 및 방법을 통해 정확도 향상이 이루어진 음성인식 기술을 활용하여 능동적으로 언어 학습을 할 수 있도록 개발되는 모바일 어플리케이션을 제공한다. 특히, 어플리케이션을 통해 아동이 단어나 문장의 말하기, 읽기 학습 과정에서 학습 내용과 관련되는 영상을 시각자료로 활용하며 학습할 수 있도록 한다. 또한, 문장 학습의 경우 문장에 들어갈 주요 단어를 바꿔가며 능동적으로 연습해 볼 수 있도록 하고 학습자의 발화 내용을 스마트 단말의 음성 인식 기능을 사용하여 확인하고 피드백을 제공받을 수 있도록 한다.

이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (11)

1. 아동의 언어 학습을 위한 음성인식 기반 학습 시스템에 있어서,
   아동언어학습어플리케이션을 생성하는 학습서버; 및
   상기 학습서버로부터 아동언어학습 어플리케이션을 분산방식으로 전송 받아 설치하는 스마트 단말; 을 포함하고,
   상기 학습서버는 아동언어학습 어플리케이션을 생성하기 위해, 아동음성인식을 위한 음성인식 데이터, 상기 인식된 음성에 매칭되는 텍스트 데이터 및 상기 텍스트와 인식된 음성에 매칭되는 시각자료 데이터를 저장하는 데이터베이스;
   아동의 연령 및 언어학습 수준에 대응하는 언어 학습을 위한 불완전 문장을 생성하고, 상기 불완전 문장에 포함될 수 있는 단어에 해당하는 음성 데이터와 상기 음성 데이터에 대응되는 텍스트 및 시각자료를 매칭하는 매칭모듈; 및
   입력된 아동의 음성신호를 보정하고, 상기 보정된 음성신호를 분석하여 상기 아동이 발화하는 음성신호에 대응하는 텍스트와 시각자료를 추출하는 추출모듈; 을 포함하고
   상기 스마트 단말은
   상기 아동음성에 대응하는 시각자료가 복수개인 경우, 상기 시각자료가 추출되는 시점 순서대로 디스플레이 되는 객체 순서를 나타내는 z-index를 조정하여, 배경 영상과 단어 영상 사이에 z-index 차이를 두어 공통 영역에 객체의 배치 순서를 달리하여 영상 겹침 효과를 생성하고,
   상기 매칭모듈은
   학습자인 아동의 연령, 언어 인지 수준 및 발화 수준을 포함하는 학습자 정보를 수집하고, 상기 수집된 학습자 정보를 기반으로 학습자인 아동의 학습 수준을 고려한 불완전 문장을 생성하고, 상기 아동의 언어 학습을 위해 생성하는 불완전 문장은 아동의 연령이나 언어 학습 수준에 따라, 아동이 채워야 하는 문장요소의 종류와 개수를 조정하여 생성하고, 불완전 문장에 포함될 수 있는 단어에 대응되는 텍스트 및 음성자료를 아동이 학습해야 하는 어휘에 해당하는 이미지, 영상을 포함하는 시각화 자료에 매칭하고
   상기 스마트 단말은
   상기 조정된 z-index 및 특정 단어 발화 시점에 따라 복수개의 시각자료를 순차적으로 디스플레이 하고, 아동이 발화한 음성에 대응하는 시각자료를 HTML5 Canvas 어플리케이션과 CSS(cascading style sheets)의 Sprite Sheet를 통해 배경영상과 겹쳐지도록 디스플레이하고,
   문자열 유사도(String Distance) 알고리즘을 이용하여 입력된 단어나 문장 구성과의 유사도 비교 이후, 유사도 조건을 만족하지 못하면 이를 사용자에게 안내하고, 유사 조건을 만족한다면 관련 영상을 기기 화면에 출력하고
   상기 스마트 단말은
   스마트 단말의 마이크 또는 센서를 통해 입력되는 아동음성 데이터를 상기 학습서버로 전송하고, 학습서버로부터 분석된 아동음성 데이터를 전달받아, 상기 아동이 발화한 음성인식 결과물인 문자열과 기 저장된 문자열의 유사도를 산출하는 연산부;
   상기 산출된 유사도가 일정수준 이상인 경우, 상기 문자열에 해당하는 텍스트 및 이미지를 포함하는 시각자료가 배경이미지와 겹쳐지도록 하고, 상기 아동이 문자열을 발화하는 시점과 싱크 되도록 디스플레이하고, 산출된 유사도가 일정수준 미만인 경우, 아동이 발화한 음성에 포함된 문자열과 기 저장된 문자열의 유사도가 일정수준 미만인 것을 출력하고, 기 저장된 문자열의 음성, 텍스트 및 이미지를 포함하는 시각자료를 출력하여 아동을 학습시키는 디스플레이부; 를 포함하는 것을 특징으로 하는 학습시스템.
   
2. 제 1항에 있어서, 상기 추출모듈은
   상기 아동음성을 기 저장된 음성 데이터에 기반하여 보정하는 보정부; 및
   상기 보정된 아동음성 데이터와 기 저장된 음성 데이터간 유사도를 측정하여 가장 유사한 음성데이터를 추출하고, 상기 추출된 음성데이터에 매칭되는 텍스트 데이터를 추출하고,
   상기 보정된 아동음성 데이터 또는 텍스트 데이터에 대응하는 시각자료를 추출하는 추출부; 를 포함하는 것을 특징으로 하는 학습시스템.
   
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 아동언어 학습을 위한 음성인식 기반 학습시스템에서의 언어학습방법에 있어서,
   (A) 학습서버에서 아동언어학습 어플리케이션을 생성하여, 상기 생성된 아동언어학습어플리케이션을 분산방식으로 스마트 단말로 배포하는 단계;
   (B) 상기 스마트 단말에서 상기 아동언어학습어플리케이션을 다운로드 하여 설치하고, 상기 스마트 단말에 구비된 센서를 통해 아동으로부터 음성신호를 입력 받는 단계;
   (C) 상기 스마트 단말에서 입력된 아동음성데이터를 보정하고, 상기 보정된 아동음성데이터를 학습서버로 전송하고, 상기 학습서버에서 아동음성데이터를 분석한 후, 분석된 음성인식데이터를 스마트 단말로 전송하는 단계;
   (D) 상기 스마트 단말에서 상기 분석된 음성인식데이터를 수신하여, 상기 분석된 음성인식데이터의 결과물인 문자열과 기 저장된 문자열의 유사도를 산출하고, 산출된 유사도에 따라 상기 입력된 음성신호에 대응하는 텍스트 및 이미지를 포함하는 시각자료를 디스플레이 하는 단계; 를 포함하고
   상기 (D) 상기 스마트 단말에서 상기 분석된 음성인식데이터를 수신하여, 상기 분석된 음성인식데이터의 결과물인 문자열과 기 저장된 문자열의 유사도를 산출하고, 산출된 유사도에 따라 상기 입력된 음성신호에 대응하는 텍스트 및 이미지를 포함하는 시각자료를 디스플레이 하는 단계; 는
   상기 아동음성에 대응하는 시각자료가 복수개인 경우, 상기 시각자료가 추출되는 시점 순서대로 디스플레이 되는 객체 순서를 나타내는 z-index를 조정하여, 배경 영상과 단어 영상 사이에 z-index 차이를 두어 공통 영역에 객체의 배치 순서를 달리하여 영상 겹침 효과를 생성하고, 상기 조정된 z-index 및 특정 단어 발화 시점에 따라 복수개의 시각자료를 순차적으로 디스플레이 하고, 아동이 발화한 음성에 대응하는 시각자료를 HTML5 Canvas 어플리케이션과 CSS(cascading style sheets)의 Sprite Sheet를 통해 배경영상과 겹쳐지도록 디스플레이 하는 것을 특징으로 하고
   상기 언어학습방법은
   (E) 학습자인 아동의 연령, 언어 인지 수준 및 발화 수준을 포함하는 학습자 정보를 수집하고, 상기 수집된 학습자 정보를 기반으로 학습자인 아동의 학습 수준을 고려한 불완전 문장을 생성하는 단계; 를 더 포함하고
   상기 (D) 스마트 단말에서 입력된 음성신호에 대응하는 텍스트 및 이미지를 포함하는 시각자료를 디스플레이 하는 단계; 는
   연산부에서 학습서버로부터 분석된 아동음성 데이터를 전송 받아, 아동음성데이터에 포함된 문자열과 기 저장된 문자열의 유사도를 산출하는 단계; 및
   디스플레이부에서 산출된 유사도가 일정수준 이상인 경우, 상기 문자열에 해당하는 텍스트 및 이미지를 포함하는 시각자료를 배경이미지와 겹치도록 디스플레이하고, 아동이 문자열을 발화하는 시점과 싱크 되도록 디스플레이하는 단계; 및
   유사도가 일정수준 미만인 경우, 상기 아동이 발화한 음성에 포함된 문자열과 기 저장된 문자열의 유사도가 일정수준 미만인 것을 출력하고, 상기 기 저장된 문자열의 음성, 텍스트 및 이미지를 포함하는 시각자료를 출력하여 상기 아동을 학습 시키는 단계;를 포함하고
   상기 (E) 학습자인 아동의 연령, 언어 인지 수준 및 발화 수준을 포함하는 학습자 정보를 수집하고, 상기 수집된 학습자 정보를 기반으로 학습자인 아동의 학습 수준을 고려한 불완전 문장을 생성하는 단계; 는
   상기 아동의 언어 학습을 위해 생성하는 불완전 문장은 아동의 연령이나 언어 학습 수준에 따라, 아동이 채워야 하는 문장요소의 종류와 개수를 조정하여 생성하고, 불완전 문장에 포함될 수 있는 단어에 대응되는 텍스트 및 음성자료를 아동이 학습해야 하는 어휘에 해당하는 이미지, 영상을 포함하는 시각화 자료에 매칭하는 것을 특징으로 하는 언어학습방법.
   
8. 제 7항에 있어서, 상기 (A) 학습서버에서 아동언어학습 어플리케이션을 생성하여, 상기 생성된 아동언어학습어플리케이션을 분산방식으로 배포하는 단계; 는
   (a) 데이터베이스에 입력된 아동음성을 인식하기 위한 음성인식 데이터, 상기 인식된 음성에 매칭되는 텍스트 데이터 및 상기 텍스트와 인식된 음성에 매칭되는 시각자료 데이터를 저장하는 단계;
   (b) 매칭모듈에 아동의 연령 및 언어학습 수준에 대응하는 언어 학습을 위한 불완전 문장을 생성하는 단계;
   (c) 매칭모듈에서 상기 불완전 문장에 포함될 수 있는 단어에 해당하는 음성 데이터와 상기 음성 데이터에 대응되는 텍스트 및 시각자료를 매칭하는 단계; 및
   (d) 추출모듈에 상기 아동으로부터 입력되는 음성신호를 분석하여 상기 아동이 발화하는 음성신호에 대응하는 텍스트와 시각자료를 추출하는 단계; 를 포함하는 것을 특징으로 하는 언어학습방법.
   
9. 삭제
10. 삭제
11. 삭제

Images