KR100791024B1 - 음성인식을 이용한 온라인 어학학습방법 및 시스템 - Google Patents

Abstract

본 발명은 학습자가 능동적으로 참여할 수 있고 음성인식을 이용한 게임을 통해 재미있게 학습할 수 있는 음성인식을 이용한 어학학습방법 및 시스템에 관한 것이다. 이러한 본 발명의 시스템은 회화학습 콘텐츠 파일과, 시네마학습 콘텐츠 파일, 발음다지기 콘텐츠 파일, 테스트 콘텐츠 파일 등 학습에 필요한 콘텐츠를 저장하고 있는 콘텐츠 데이터베이스; 학습자인 고객의 정보를 저장하고 있는 고객 데이터베이스; 어학학습 서비스를 웹 방식으로 제공하기 위한 웹 서버; 음성인식기술을 이용한 다양한 어학학습 게임 콘텐츠를 저장하고 있는 게임 데이터베이스; 및 상기 게임데이터베이스의 게임 콘텐츠를 이용하여 어학학습 게임을 제공하는 게임 서버로 구성되어 유선 단말기를 가진 학습자나 무선 단말기를 가진 학습자가 유/무선 인터넷을 통해 어학학습 서비스 시스템에 접속할 수 있도록 된 것이다.

따라서 본 발명에 따르면, 네트웍을 통해 연결된 다수의 학습자들이 게임방식으로 어학학습을 진행하여 경쟁심에 의해 학습동기를 유도함과 아울러 드라마 게임 등 다양한 방식으로 학습동기를 부여하여 자연스럽게 게임 참여자의 어학 능력을 향상시킬 수 있는 효과가 있다.

음성인식, 온라인 어학학습, 어학학습, 게임

Description

음성인식을 이용한 온라인 어학학습방법 및 시스템{ Language learning system and method using voice recognition }

도 1은 종래의 동영상이나 음성인식을 이용한 어학학습의 개략도,

도 2는 본 발명에 따른 콘텐츠 생성 및 학습 개념을 도시한 개념도,

도 3은 본 발명에 따라 생성된 표준 콘텐츠 파일의 구조를 도시한 예,

도 4는 본 발명에 따른 어학학습시스템의 구현예,

도 5는 본 발명에 따른 어학학습절차를 도시한 순서도,

도 6은 도 5에 도시된 회화학습 세부 절차를 도시한 순서도,

도 7은 도 5에 도시된 시네마학습 세부 절차를 도시한 순서도,

도 8은 도 5에 도시된 발음 다지기(단어) 학습절차를 도시한 순서도,

도 9는 도 5에 도시된 발음 다지기(문장) 학습절차를 도시한 순서도,

도 10은 도 5에 도시된 테스트 절차를 도시한 순서도,

도 11은 도 5에 도시된 네트웍 게임 학습절차를 도시한 순서도,

도 12는 도 5에 도시된 드라마 게임 학습절차를 도시한 순서도,

도 13은 본 발명에 따른 회화 학습실 화면의 예,

도 14는 본 발명에 따른 문장 학습화면의 예,

도 15는 본 발명에 따른 역할 설정화면의 예,

도 16은 본 발명에 따른 대화방식을 설정하기 위한 화면의 예,

도 17은 본 발명에 따른 사운드 설정화면의 예,

도 18은 본 발명에 따른 회화 학습화면의 예,

도 19는 본 발명에 따른 시네마 학습 화면의 예,

도 20은 본 발명에 따른 네트웍 게임 학습의 대기실 화면의 예,

도 21은 본 발명에 따른 네트웍 게임 학습의 게임방 화면의 예,

도 22는 본 발명에 따른 네트웍 게임 학습의 게임화면의 예,

도 23은 본 발명에 따른 네트웍 게임 학습의 결과화면의 예,

도 24는 본 발명에 따른 드라마 게임을 설명하기 위한 화면의 예.

*도면의 주요부분에 대한 부호의설명

21: 소스 22: 콘텐츠 에디터

23: 표준 콘텐츠 파일 24: 어학학습시스템

25: 사용자(학습자) 241: 웹 서버

242: 콘텐츠 DB 243: 고객 DB

244: 게임서버 245: 게임 DB

본 발명은 음성인식을 이용한 어학학습방법 및 시스템에 관한 것으로, 더욱 상세하게는 학습자가 능동적으로 참여할 수 있고 음성인식을 이용한 게임을 통해 재미있게 학습할 수 있는 음성인식을 이용한 어학학습방법 및 시스템에 관한 것이다.

현대사회는 지구촌이라는 말과 같이 교통과 문화가 발달하여 국제간 교류가 일상화되고 있고, 이에 따라 외국어학습은 국가경쟁력의 기초가 되는 아주 중요한 요소가 되었다. 그러나 어학학습은 단기간에 이루어지지 않고 지루한 과정이기 때문에 효율적인 어학학습시스템을 개발하고자 많은 노력이 기울여지고 있다.

도 1은 동영상이나 음성인식을 이용한 종래의 어학학습 개념의 개략도로서, 종래의 어학학습시스템은 동영상을 이용한 어학학습일 경우에는 동영상(11)을 하나의 파일(12)로 단순히 재생하는 방식이었고, 음성인식을 이용한 어학학습의 경우에는 음성인식을 위한 소스(13)를 실시간으로 실행(14)하는 방식의 학습이었다.

그런데 이와 같은 종래의 어학학습시스템은 단순히 동영상을 재생하는 방식이어서 콘텐츠 내용에 따라 학습자가 능동적으로 대응하지 못하고 단지 시청하는 일방향의 학습방식으로서 비효율적이고, 학습자가 쉽게 싫증이나 학습효과가 떨어지는 문제점이 있다. 또한 종래의 어학학습시스템의 콘텐츠는 일정한 규칙이 없이 저장된 단순한 동영상파일들로만으로 이루어져 다양한 서비스가 어렵고, 콘텐츠 확장이 이려운 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로, 어학학습과 회화 테스트에 있어서 학습자가 능동적으로 학습내용에 참여할 수 있는 음성인식을 이용한 어학학습 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적은 음성인식을 이용한 게임을 이용하여 학습자가 재미있게 학습할 수 있는 음성인식을 이용한 어학학습방법을 제공하는 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명의 어학학습법은, 다수의 표준 콘텐츠 파일들로 이루어진 어학학습시스템을 이용한 어학 학습방법에 있어서, 상기 어학학습시스템을 구동하여 메인화면을 표시하는 단계; 상기 메인화면에서 원하는 어학학습과정을 선택하는 단계; 회화 학습실을 선택하면, 테마와 대화방법, 주인공을 선택한 후 소정의 회화 학습화면에서 학습하는 단계; 시네마 학습실을 선택하면, 원하는 영화를 선택하고, 대화벙법을 선택하며, 주인공을 선택한 후 소정의 시네마 학습화면에서 학습하는 단계; 및 어학의 회화를 음성인식기술에 의해 객관적으로 평가할 수 있는 회화 및 급수 테스트 단계를 포함하는 것을 특징으로 한다.

또한 상기와 같은 다른 목적을 달성하기 위하여 본 발명의 어학학습법은, 다수의 표준 콘텐츠 파일들로 이루어진 게임 데이터 베이스와 게임 소프트웨어를 포 함하여 네트웍을 통해 접속한 다수의 게이머들에게 게임을 통한 어학학습을 제공하기 위한 방법에 있어서, 게임서버에 접속하여 게임 프로그램을 다운로딩받아 실행하는 단계; 게임의 상황별 테마를 선택하는 단계; 상기 선택된 상황에 대한 다수의 게임방을 표시하는 단계; 상기 게임방을 선택하여 입장하는 단계; 상기 게임방에 입장하면, 게임화면에서 화자를 선택하는 단계; 게임을 시작하면 해당 상황에 따른 대화가 표시되면서 각 게이머가 선택한 화자의 스피킹순서에 게이머의 음성을 입력하는 단계; 상기 게이머의 음성을 입력받아 파형과 점수를 표시하는 단계; 및 상기 상황에 따른 대화가 완료되면 게임이 종료됨과 아울러 각 게이머의 아이디와 점수를 순위별로 표시하는 단계를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 자세히 설명하기로 한다.

도 2는 본 발명에 적용되는 음성인식 표준 콘텐츠를 생성하여 학습하는 개념을 도시한 개념도이다.

도 2를 참조하면, 전체 과정은 콘텐츠 제공업자(CP)에 의해 수행되는 음성인식 콘텐츠 생성과정과, 생성된 콘텐츠에 대해 사용자가 학습하는 어학학습과정으로 크게 구분된다. 콘텐츠 제공업자(CP)는 음성인식 기술이 적용된 표준 콘텐츠를 생성하기 위한 콘텐츠 에디터(22)를 이용하여 멀티미디어 소스(21)로부터 어학학습을 위한 표준 콘텐츠 파일(23)을 생성한다.

이와 같이 생성된 표준 콘텐츠 파일(23)은 도 3에 도시된 바와 같이, 콘텐츠 고유번호(231), 보안코드(232), 음성인식을 위한 소스(233), 이미지 데이터(234), 원어민음성 데이터(235), 동영상 데이터(236) 등으로 이루어진다. 그리고 음성인식을 위한 소스(233)와 이미지 데이터(234), 원어민 음성 데이터(235)는 대화 개수에 맞춰 반복되는 음성인식 및 멀티미디어 소스(40)이다.

도 3을 참조하면, 고유번호와 보안코드(231,232)는 콘텐츠 공급자(CP)가 콘텐츠를 제작하는데 있어 추가 및 수정과 기존의 인터넷 교육 사이트에 손쉽게 에드온(add on)할 수 있도록 한다. 또한 표준 콘텐츠 파일(23)은 스트리밍 구조로 되어 있는데, 최소 500KB에서 10MB 이상이 되는 파일을 학습자(사용자)에게 인터넷에서 스트리밍 서비스를 제공하여 기존의 동영상 스트리밍 서비스와 같이 즉각적인 학습을 할 수가 있고, 여기에 다양한 멀티미디어 기능 구현을 위한 ‘표준 콘텐츠 파일’에 의해 대화적인 양방향 학습이 가능하여 학습자가 적극적으로 학습에 임할 수 있도록 되어 있다. 즉, 본 발명에 따른 표준 콘텐츠 파일을 구동시키면 원어민과 실제 회화를 하는 것처럼 가상의 환경을 제공하는데, 콘텐츠에서 제시된 화자중에서 학습자가 원하는 사람의 역할을 선택하여 다양한 방식으로 학습할 수 있다. 이때, 마이크 설정이나 대화 방법 등을 설정한 후 시작 버튼을 눌러 음성인식을 이용한 어학학습을 할 수 있다.

한편, 본 발명에 따라 음성인식을 이용한 어학학습기능을 제공하는 어학학습시스템(24)은 다수의 표준 콘텐츠 파일(23)을 포함하는 음성인식 소프트웨어로 구현될 수 있는데, 데스크탑 컴퓨터나 노트북 컴퓨터 등을 이용한 단독 실행형(stand alone)으로 동작될 수도 있고, 어학학습기, 전자책과 같은 다양한 형식의 전용 단말기 형태로 구현될 수도 있으며, PDA나 휴대폰 등과 같은 이동단말기 및 기존의 책속에 장치를 삽입하는 형태를 통해서도 제공될 수 있다. 그리고 인터넷을 통해서도 제공될 수 있는데, 본 발명의 실시예에서는 도 4에 도시된 바와 같이 인터넷 웹 사이트를 통해 제공되는 서비스를 예로 들어 설명한다.

도 4는 본 발명의 어학학습시스템을 웹 사이트 상에 구현하여 인터넷을 통해 서비스하는 구성을 도시한 개략도이다.

도 4를 참조하면, 본 발명에 따른 어학학습시스템(24)은 회화학습 콘텐츠 파일(242-1), 시네마학습 콘텐츠 파일(242-2), 발음다지기 콘텐츠 파일(242-3), 테스트 콘텐츠 파일(242-4) 등 학습에 필요한 콘텐츠를 저장하고 있는 콘텐츠 데이터베이스(242)와, 학습자인 고객의 정보를 저장하고 있는 고객 데이터베이스(243), 본 발명에 따른 어학학습 서비스를 웹 방식으로 제공하기 위한 웹 서버(241), 음성인식기술을 이용한 다양한 어학학습 게임 콘텐츠를 저장하고 있는 게임 데이터베이스(245), 및 본 발명에 따른 어학학습 게임을 제공하는 게임 서버(244)로 구성되어 유선 단말기를 가진 학습자(251,252)나 무선 단말기를 가진 학습자(253)가 유/무선 인터넷(102)을 통해 어학학습 서비스 시스템(24)에 접속할 수 있도록 되어 있다.

도 5는 본 발명에 따른 어학학습절차를 도시한 순서도이다.

도 5를 참조하면, 학습자는 본 발명에 따라 표준 콘텐츠 파일을 생성하여 인터넷(102)을 통해 서비스를 제공하는 어학학습 서비스 시스템(24)에 접속한다(S1). 서비스 시스템(24)에 접속하면 사용자를 위한 메인화면이 나타나 기존회원일 경우 바로 로그인할 수 있게 하고 비회원일 경우 신규회원으로 가입하여 로그인할 수 있게 한다(S2~S4). 인증을 통해 정상적인 로그인이 이루어지면 메인화면에서 제공하는 다양한 메뉴들을 선택하여 원하는 학습을 할 수 있다(S5). 본 발명에 따라 메인화면에서 제공되는 대표적인 어학 학습 메뉴로는 "회화학습실"과 "시네마학습실", "발음다지기(단어)", "발음다지기(문장)" "테스트", "네트웍 게임학습실", "드라마 게임학습실" 등이 있다.

만일, 학습자가 '회화 학습실' 메뉴를 선택하면 각종 예문들을 통해 회화를 반복 연습할 수 있는 콘텐츠를 제공하고(S6,S7), '시네마 학습실'을 선택하면 자신이 원하는 영화의 주인공을 선택하여 주변 인물들과 함께 영화의 스토리를 진행시켜 나가며 실질적인 회화학습을 할 수 있는 콘텐츠를 제공한다(S8,S9).

그리고 학습자가 '발음교정 학습실(단어/문장)' 메뉴를 선택하면, 발음교정 부분을 특화시켜 구성한 콘텐츠를 제공하고(S10~S11), '테스트' 메뉴를 선택하면 테스트화면을 제공하여 학습자의 실력을 평가한다(S12,S13).

또한 학습자가 '네트웍 게임 학습실' 메뉴를 선택하면 음성인식기술을 이용한 네트웍 게임을 이용해 사용자의 흥미와 학습효과를 증진시킬 수 있는 콘텐츠를 제공하고(S14,S15), '드라마 게임 학습실' 메뉴를 선택하면 음성인식기술을 이용한 드라마 게임을 이용하여 사용자의 흥미와 학습효과를 증진시킬 수 있는 콘텐츠를 제공한다(S16,S17).

도 6은 도 5에 도시된 회화학습 세부 절차를 도시한 순서도이다.

학습자가 메인화면에서 '회화학습실' 메뉴를 선택하면, 테마선택을 위한 화면이 나오고, 테마를 선택하면 해당 콘텐츠 파일이 다운로딩된 후 도 13에 도시된 바와 같은 회화학습을 위한 기본화면을 표시한다(S101~S103). 도 13에 도시된 바 같이 기본화면에는 내용과 관련된 간단한 이미지(302)와, 내용 소개 텍스트(304)가 표시되고, 해당 테마에 속하는 소테마들과 해당 소테마에 대한 학습레벨(단어/문장/회화)의 선택버튼(306/308/310)이 표시된다. 학습자는 기본화면에서 학습하고자 하는 소테마의 학습레벨(단어/문장/회화) 버튼(306/308/310)을 선택한다(S104).

단어 레벨버튼(310)을 선택하면 해당 소테마의 단어 학습 콘텐츠 파일이 다운로딩된 후 구동되면서 단어 학습창이 표시된다(S110~S112). 단어 학습창에서 단어를 선택한 후 플레이(PLAY) 버튼을 누르면 원어민의 음성과 파형이 창에 표시되고, 원어민의 음성이 끝나면서 학습자가 음성을 입력하도록 타이머 바가 작동되면서 시간경과를 나타낸다(S113~S116).

타이머 바가 작동되는 시간안에 학습자가 자신의 음성을 마이크(미도시)를 통해 입력하면 학습자 음성의 파형이 그래픽으로 표시된다(S117,S118). 이어 학습자의 음성입력 데이터와 통계된 원어민 음성 데이터베이스와 비교 평가하여 점수를 점수란에 표시한다(S119). 계속하여 다른 단어에 대해서 상기 과정을 반복하여 학습할 수 있고, 종료버튼을 누르면 단어 학습창이 닫히고 회화학습 기본화면을 표시한다(S120).

문장 레벨버튼(308)을 선택하면 해당 소테마의 문장 학습 콘텐츠 파일이 다운로딩된 후 구동되면서 도 14에 도시된 바와 같이 문장 학습창이 표시된다 (S130~S132). 도 14를 참조하면, 문장 학습창은 원어민의 음성 파형을 그래픽으로 표시하기 위한 부분(NATIVE WAVE: 402)과 사용자(학습자)의 음성 파형을 그래픽으로 표시하기 위한 부분(USER WAVE: 404), 음성입력시간의 경과를 표시하기 위한 타이머 바(408), 현재 문장 설명란(410), 전체 문장 텍스트 표시란(406), 점수 표시란(412), 동작버튼(414) 등이 있다.

문장 학습창에서 문장을 선택한 후 플레이 버튼(414)을 누르면 원어민의 음성과 파형이 창(402)에 표시되고, 원어민의 음성이 끝나면서 학습자가 음성을 입력하도록 타이머 바(408)가 작동되면서 시간경과를 나타낸다(S133~S136). 타이머 바(408)가 작동되는 시간안에 학습자가 자신의 음성을 마이크를 통해 입력하면 학습자 음성의 파형이 그래픽(404)으로 표시된다(S137,S138). 이어 학습자의 음성 입력파형과 원어민의 음성파형을 비교하여 점수를 점수란(412)에 표시한다(S139). 점수는 막대 바 및 숫자 등으로 표시할 수 있다. 계속하여 다른 문장에 대해서 상기 과정을 반복하여 학습할 수 있고, 종료버튼을 누르면 문장 학습창이 닫히고 회화 학습 기본화면으로 되돌아 간다(S140).

회화 레벨버튼(306)을 선택하면 해당 소테마의 회화 학습 콘텐츠 파일이 다운로딩된 후 구동되면서 도 15에 도시된 바와 같이 화자(등장인물:Character)설정을 위한 창과 회화학습창이 표시된다(S150~S152). 처음에는 화자 설정을 위한 창이 활성화되므로, 이 창에서 화자를 설정한다. 도 15를 참조하면, 화자 설정창에는 "Speak All" 버튼(421)과 "Listen All" 버튼(422), 화자선택란(423)이 있는데, "Speak All"은 학습자가 모두 말하는 것이고, "Listen All"은 전체를 듣기만 하는 것이며, 화자 선택란(423)에서는 대화에 등장하는 인물의 이름을 선택하여 원하는 역할(화자)를 선택한다. 화자설정 후 대화방식 선택창이 나타나는데, 대화방식 선택창에는 도 16에 도시된 바와 같이, "역할선택(Role Playing)"선택란(431), "영어숨김(Hide English)"선택란(432), "한글숨김(Hide Korean)"선택란(433)이 있고, 이어 사운드 설정창이 나타나는데 사운드 설정창에는 도 17에 도시된 바와 같이 스피커 볼륨 조절 바(Speaker Volume Control: 441)와 마이크 볼륨 조절 바(Mic Volume Control: 442)가 있다(S153).

화자/대화방식/사운드 설정이 완료되면, 도 18에 도시된 바와 같은 회화 학습창이 활성화되고, 회화 학습창의 플레이(PLAY) 버튼(516)을 클릭하면 설정된 방식에 따라 회화학습이 진행된다(S154,S155). 도 18을 참조하면, 회화 학습창에는 회화와 관련된 이미지가 표시되는 이미지란(502)과, 타이머 바(504), 현재 문장 표시란(506), 전체 문장 표시란(508), 원어민 음성 파형 출력란(510), 사용자 음성 파형 출력란(512), 점수 표시란(514), 플레이 버튼(516), 옵션버튼(518) 등이 있다. 종료버튼(미도시)을 누르면 회화학습창이 닫히고 화화학습 기본화면으로 되돌아 간다(S156).

본 발명에 따른 회화학습실은 각종 예문을 통해 회화를 연습할 수 있는 학습실로써, 일상적으로 흔히 쓰이는 문장을 중심으로 구성하여 실제생활에서도 쉽게 응용할 수 있도록 한다. 이와 같이 본 발명에서는 일상회화를 배우는 것뿐만 아니라 그 것을 듣고 말하게 함으로써, 실질적으로 쓸 수 있는 살아 있는 영어를 배울 수 있도록 하였고, 또 그 학습결과에 따른 맞춤식 첨삭교육을 통해 취약한 점을 보 완할 수 있도록 하였다. 그리고 음성파형 그래프를 통하여 발음과 억양도 교정할 수 있게 하여, 단지 말을 하는 것 뿐만이 아니라 원어민 수준의 발음까지 도달할 수 있도록 쉽게 인도한다.

도 7은 도 5에 도시된 시네마 학습 세부 절차를 도시한 순서도이다.

학습자가 '시네마 학습실' 메뉴를 선택하면, 영화를 선택하기 위한 타이틀 화면이 나오고, 영화의 타이틀을 선택하면 해당 시네마 콘텐츠 파일이 다운로딩된 후 구동되면서 시네마 학습 기본화면을 표시한다(S201~S203). 기본화면에는 학습리스트가 있어 해당 타이틀안의 다양한 상황에 따른 대화를 선택할 수 있다. 학습리스트에서 상황을 선택한 후, 학습 버튼을 클릭하면 해당 콘텐츠 파일이 다운로딩된 후 구동되면서 앞서 회화 학습 설명에서와 유사하게 화자 설정창과 시네마 학습화면이 표시된다(S204~S207). 화자/대화방식/사운드 설정창은 도 15 내지 도17에 도시된 바와 유사하므로 더 이상의 설명은 생략하기로 한다(S208).

화자/대화방식/사운드 설정이 끝나면 도 19에 도시된 바와 같은 시네마 학습창이 활성화되는데, 시네마 학습창에서 플레이버튼(612)을 클릭하면 동영상부(602)에서 영화화면이 재생되면서 상대방 대화 음성이 그대로 출력된다(S209,S210). 도 19를 참조하면, 시네마 학습창은 실제 영화 동영상이 재생되는 동영상부(602)와, 학습자 음성 입력시간의 경과를 나타내는 타이머 바(604), 현재 문장(지문) 표시란(606), 전체 문장(지문) 표시란(608), 점수 표시란(610), 플레이 버튼(612), 옵션버튼(614) 등이 있다. 이때 전체 지문부(608)를 통해 대화의 영문 지문이 문자로 표시되고, 현재 지문부(606)에는 현재 나오는 지문의 문자와 해석글이 표시된다.

이어 학습자가 설정한 역할의 대화시간이 되면 화면이 일시정지되면서 타이머 바(604)가 작동되어 학습자가 자신의 역할에 맞는 음성을 입력하게 한다(S211~S213). 학습자의 음성이 입력되면 통계된 원어민 음성 데이터베이스와 비교 평가되어 점수로 나타난다(S214). 이와 같이 선택된 상황에 대한 동영상과 함께 실감있게 대화를 할 수 있으며, 자신의 역할을 바꿔가면서 다양한 방식으로 학습할 수 있다. 종료(CLOSE)버튼을 누르면 시네마 학습창 닫히고 시네마 학습 기본화면으로 되돌아 간다(S215).

본 발명에 따른 시네마 학습실은 음성인식기술을 응용한 콘텐츠로써, 자신이 영화의 주인공이 되어 주변인물(컴퓨터)들과 함께 영화의 스토리를 진행시켜나가는 콘텐츠를 제공한다. 즉, 원하는 등장인물을 선택한 후 그 등장인물의 대사를 사용자가 마이크를 통해 직접 발음하고, 원어민 대비 사용자의 발음점수와 파형 형태도 확인하면서 진행한다. 이로 인해 사용자는 자신이 영화의 주인공이 된 듯한 착각과 함께 흥미를 가지고 영어학습에 몰입할 수 있으며, 자연스럽게 영어 대화에 대한 자신감과 실력을 향상시킬 수 있다.

도 8은 도 5에 도시된 발음 다지기(단어) 학습절차를 도시한 순서도이고, 도 9는 도 5에 도시된 발음 다지기(문장) 학습절차를 도시한 순서도이다.

도 8을 참조하면, 학습자가 '발음다지기(단어)' 메뉴를 선택하면, 연습할 발음을 선택하기 위한 발음기호 화면이 나오고 연습할 발음을 선택하면 해당 발음이 포함된 단어들로 된 단어 학습 콘텐츠 파일이 다운로딩된 후 단어 학습화면이 표시된다(S301~S302).

단어학습 화면에서 단어를 선택한 후 플레이 버튼을 클릭하면, 원어민 음성 과 파형, 스펙트럼이 그래픽으로 표시되고, 원어민의 음성출력이 끝나면 학습자가 음성을 입력할 수 있도록 타이머 바가 작동되어 기간경과를 표시한다(S303~S305). 타이머 바가 작동되는 시간안에 학습자가 자신의 음성을 마이크를 통해 입력하면 음성분석결과인 학습자 음성 파형과 스펙트럼이 그래픽으로 표시된다(S306,S307). 이어 학습자의 음성입력 파형과 스펙트럼을 통해 통계된 원어민 음성 데이터베이스와 비교평가하여 그 결과 점수를 점수란에 표시한다(S308). 계속하여 다른 단어에 대해서 상기 과정을 반복하여 학습할 수 있고, 종료버튼을 누르면 발음다지기(단어)학습화면이 닫힌다(S309).

도 9를 참조하면, 학습자가 '발음다지기(문장)' 메뉴를 선택하면, 연습할 상황을 선택하기 위한 문장 카테고리 선택 화면이 나오고, 연습할 상황을 선택하면 해당 상황과 관련된 문장들로 된 문장 학습 콘텐츠 파일이 다운로딩된 후 사운드 설정창과 함께 문장 학습화면이 표시된다. 음량을 설정하면 문장학습 화면이 활성화되고, 문장을 선택한 후 시작버튼을 클릭한다(S401~S405).

시작버튼이 클릭되면 선택된 문장의 원어민 음성이 음성 파형 그래픽과 함께 출력된다(S406). 원어민의 음성출력이 끝나면 학습자가 음성을 입력할 수 있도록 타이머 바가 작동되어 기간경과를 표시한다(S407). 타이머 바가 작동되는 시간안에 학습자가 자신의 음성을 마이크를 통해 입력하면 학습자 음성의 파형이 그래픽으로 표시된다(S408,S409). 이어 학습자의 음성입력 데이터와 통계된 원어민 음성데이터베이스를 비교 평가하여 그 결과 점수를 점수란에 표시한다(S410). 계속하여 다른 문장에 대해서 상기 과정을 반복하여 학습할 수 있고, 종료버튼을 누르면 발음다지기(문장)학습창이 닫힌다(S411).

이와 같이 본 발명에 따른 '발음다지기' 학습실은 발음교정에 대한 부분을 특화시킨 학습실로써, 사용자의 발음을 원어민 수준으로 교정할 수 있도록 한다. 즉, 파형을 통하여 원어민과 자신의 발음을 비교할 수 있도록 하였고, 자신이 취약한 부분의 발음, 단어를 선택하여 반복 연습함으로써 취약한 부분을 집중적으로 보완해 나갈 수 있도록 구성한 것이다.

도 10은 도 5에 도시된 테스트 절차를 도시한 순서도이다.

학습자가 '테스트' 메뉴를 선택하면, 테스트를 위한 기본 화면에 나타나고 기본화면에서 레벨을 선택한다(S501). 레벨을 선택하면 해당 레벨의 테스트 화면이 표시되고 문장을 선택한 후 테스트 방식을 선택한다(S502,S503). 테스트 방식은 듣고 따라하기 방식과 말하기 방식이 있는데, "PLAY" 버튼을 누르면 먼저 원어민 음성이 음성파형과 함께 출력되고 타이머 바가 작동하면서 학습자가 음성을 입력할 수 있게 한다(S504~S507). 학습자의 음성이 입력되면 원어민의 발음과 비교평가되어 결과가 점수로 나타난다(S508).

"GO" 버튼을 누르면, 원어민 음성의 출력이 없이 바로 타이머 바가 작동하면서 학습자가 음성을 입력할 수 있게 한다(S509~S511). 학습자의 음성이 입력되면 원어민의 발음과 비교평가되어 결과가 점수로 나타난다(S512).

평가결과 소정의 기준점수 이상이 되면 다음 레벨로 올라갈 수 있으나 기준점수에 미달하면 현재 레벨을 반복하게 한다(S513~S515). 테스트 화면에서 레벨 표시창은 현재의 레벨을 보여주고, 점수창은 각 문제에 대한 점수를 부여주며 특히 점수 그래프는 각 문제에 대한 점수를 그래프로 보여준다. 이와 같은 방법으로 개인, 각기관이나 학교등에서 회화 및 발음의 정확도를 평가해서 학습자의 실력이나 능력을 사람에 의한 주관적인 평가가아닌 음성인식기술에 의해 객관적인(예컨대, 발음 스코어, 원어민과 음성파형 비교분석, 인토네이션 비교, 유무성음의 비교 등) 평가를 할 수 있어 개개인의 능력 및 어학의 급수를 공정하게 평가하는 평가시스템으로 활용한다.

도 11은 도 5에 도시된 네트웍 게임 학습절차를 도시한 순서도로서, 음성인식을 이용한 어학학습 온라인 멀티 네트웍 MUG 게임의 예이다.

통상, 본 발명의 네트웍 게임은 온라인 네트웍을 통해 여러 사람이 모여 자신의 외국어 실력을 겨루어 볼 수 있는 일종의 머그 게임이라 할 수 있으며, 주어진 회화를 통해 게임을 진행한다. 게임 중에 선택된 배역에 따라 다른 게이머의 음성인식 결과와 목소리, 음성 파형을 참여한 모든 게이머들이 듣고 볼 수 있는 것으로 참여한 게이머의 발음을 가늠하고 경쟁심을 가지며 동시에 참여한 학습자들과 서로의 음성을 들어가며 대화를 진행하여 발음 좋은 학습자를 점수 순으로 결정 하게 된다. 이러한 게임의 특징은 발음이 좋아야 높은 점수를 받을 수 있고 다른 게이머를 이길 수 있기 때문에 발음 연습과 이에 따른 학습 향상 효과가 매우 크다는 점이다.

도 11을 참조하면, '네트웍 게임' 메뉴를 클릭하여 게임을 실행하면 도 20에 도시된 바와 같이 게임방을 선택하기 위한 상황별 테마 목록(대기실)이 나타난다 (S601,S602). 도 20을 참조하면, 대기실의 화면은 상황 목록(702)과 함께 이벤트 공지란(704), 게임관련 정보를 제공하는 가이드란(706), 게임 참여자의 정보를 표시하는 게이머란(708)이 있고, 여러 가지의 상황이 초, 중, 고급별로 정리되어 있어 게이머가 자신의 수준에 맞는 회화를 선택할 수 있다. 이때, 선택 기준은 상황과 등장인물, 난이도 등 제시된 정보를 통해 확인하고 선택한다.

상황 목록에서 원하는 상황을 선택하면, 도 21에 도시된 바와 같이 게임방을 선택하기 위한 화면이 표시된다(S603). 도 21을 참조하면, 게임방 선택화면은 다수의 게임방(710)이 표시되면서 게임방의 현재상태(714)와 게이머들의 해당 게임방내(712)에 아이디가 표시되며, 대기실란(720), 가이드란(730), 게이머란(740)이 있다.

도시된 게임방 화면에서 다른 게이머와 게임을 진행하기 위한 방을 선택한다. 이때 현재 게임에 참여할 수 있는 방을 확인하고, 대기중인 방을 선택하여 게임에 참여한다(S604).

이어 게임 방에 입장하면 도 22에 도시된 바와 같이 네트웍 게임 화면이 나타난다. 네트웍 게임 화면에는 참여한 게이머들은 화면 오른 쪽에 있는 주인공 중, 원하는 주인공을 선택한 후 "Let's go" 버튼을 눌러 게임을 시작한다.

게임은 주어진 회화의 첫 번째 문장이 나타나면 해당 주인공을 선택한 게이머가 문장을 보고 말을 하여 입력된 음성이 다른 게이머에게 들릴 수 있게 하는 것이다. 오른쪽 하단에 보면 점수와 화면 중앙에 음성파형이 다른 학습자에게 전송이 된다. 두 번째 문장이 나타나면 첫 번째 문장과 마찬가지로 선택한 게이머가 음성 을 입력하여 서로 게임을 진행한다. 이러한 게임 진행화면은 표준 콘텐츠 파일 형식으로 제작되어 게임에 참여한 모든 게이머들에게 똑같이 전달되므로 모든 게이머가 똑 같은 화면을 보면서 게임을 진행할 수 있다(S605).

게임이 종료되면 도 23에 도시된 바와 같이 해당 게임방에서 게임에 참여한 게이머의 ID(752)와 점수(754)가 순위별로 표시되어 게임 결과를 모두 확인할 수 있게 한다(S606,S607).

도 12는 도 5에 도시된 드라마 게임 학습절차를 도시한 순서도로서, 음성인식을 이용한 영어 학습 클리어 게임(Clear Game)예이다.

본 발명에서 드라마 게임은 드라마와 같은 이야기를 게이머가 음성인식 영어 학습을 통해 꾸며 나가면서 진행하는 것으로 하나의 학습자 드라마를 완성하는 것이다. 보통 드라마는 정해진 스토리 하에 시청자들이 일방향적인 시청만 가능하지만 본 발명의 드라마 게임은 게이머가 여러 다양한 상황속에서 이야기를 만들어 가는 것이다. 즉, 게임(발음 학습)을 잘 하는 정도에 따라서 드라마 속 상황이 여러 갈래로 나누어져 예측할 수 없는 상황의 종료를 경험할 수 있다.

이러한 드라마 게임은 앞에서 설명한 네트웍 게임과 다르게 네트웍 게임이 아닌 미리 정해진 컴퓨터 속 원어민 음성과 대화를 나누는 방식이다. 본 발명의 실시예에서 게임은 평균 드라마의 진행 단계가 16단계로 구성되어 있어 16단계로 이루어져 드라마가 완성된다. 각 단계별 상황이 5,6개 정도 준비되어 있어 점진적 단계를 성공해 나가는 형식으로 구성되어 있다. 다음은 하나의 예를 들어 설명 하는 것으로, 두 남녀 대학생이 나오며 이들이 데이트를 성공하기까지의 이야기를 주제로 한 데이트 드라마 게임이다. 다음에서 표1과 표2는 드라마에 등장하는 캐릭터에 대한 설명이고, 표3은 드라마의 소개내용이다.

이름: 한 기주(남자) 신장: 183cm 몸무게: 73kg 외모: 핸섬한 외모 -_-; 특징: 근육질의 남자라기 보다는 샤프한 이미지의 25세. 깔끔한 걸 좋아해서, 매일 자취방을 청소하고, 걸레질까지 한다. .... 이상형: 동양적인 여성 좋아하는 것: 뮤지컬 공연 보기, 혈액형: B형 좋아하는 음식: 아직까진 김치찌개, 헤이즐럿 블랙커피 좋아하는 음악: 클래식 좋아하는 스포츠: 농구 존경하는 위인: 모짜르트

이름: 태영(여자) 신장: 168 몸무게: (?) 외모: 말이 필요 없는 순정녀 스타일 특징: 겉으로는 순수한 미소녀 이미지이지만, 상당히 터프하고 모험적인 다혈질 20세아가씨. ...... 이상형: 자신을 이해해 주는 넉넉한 남자. 좋아하는 것: Rock 음악 들으며 Head up 하는 것 혈액형: AB형 좋아하는 음식: 편의점 삼각 김밥 하나면 OK. 좋아하는 스포츠: 싸우는 종류라면 다 좋아함. K1을 가장 즐겨 봄 존경하는 위인: 브루스 리

배경: - 시나리오 1. 주인공 남자 기주의 어학연수 생활을 배경으로 모 대학을 중심으로 한 유학생활 도전과 남녀간의 데이트와 연애 이야기를 배경으로 함. - 시나리오 2. 주인공 여자 y 의 유학생활을 배경으로 펼쳐지는 유학생활 이야기. 전체 스토리 개요 한국 남자 기주는 미국에 어학연수를 오게 된다. 해변에서 만난 Jenny를 짝사랑 하게 되면서 일어나는 일 들이 Main Story 이다. <첫 화면 소개> 켈리포니아의 따뜻한 해변. 그리고 그 해변과 어울려 보이지 않는 한 남자가 보인다. 왠지 긴장되어 보이는 이 남자. 동양계의 20대 중반 정도의 남자인데, 나름대로 스타일은 괜찮은데, 뭐가 긴장된 건지 여하튼 행동이 부자연스러워 보인다. 따가운 햇살 아래 나름대로 썬텐 을 해보려는 듯 자리를 잡고 누웠는데, sun block 도 바르지 않아서 잠시만 있어도 온 몸을 태울 판이다. 그런 상황 속에서 한 금발의 미녀가 다가오는데 <Q.1. 기본 발음을 테스트 한다! 50점을 기준으로 결정> W: Excuse me, 실례합니다. W: Is this space taken? 여기 자리가 있나요? M: No, go ahead. 아뇨. 앉으세요. W: Thank you. 고마워요. M: No sweat. 천만에요. 위의 학습자가 따라한 음성인식 문장의 평균점수 결과에 따라서 2단계의 상황이 선택된다.

도 12를 참조하면, '드라마 게임' 메뉴를 클릭하여 게임을 실행하면 주제를 선택하기 위한 화면이 나타나고, 해당 화면에서 주제를 선택하면 상기 표1 내지 표3에서와 같이 등장인물과 드라마에 대한 소개내용이 표시된다(S701~S703).

이어 드라마에 등장하는 인물중에서 자신이 원하는 역할(배역)을 선택하고, 게임을 실행하면 도 24에 도시된 바와 같이 하위단계에서부터 시작한다(S705). 도 24는 데이트를 주제로 한 드라마 게임의 진행 단계를 도시한 상황 테이블로서 총 16개의 단계로 이루어지고, 하위단계에서의 점수에 따라 상위단계에서의 상황이 정해진다. 이때 점수가 높을 수록 좋은 상황으로 진행되고 점수가 나쁠수록 어려운 상황으로 진행된다. 점수가 미달하면 중간단계에서 탈락될 수도 있다.

게임의 진행방식은 회화학습 화면이나 시네마 학습화면에서와 같이 상황의 진행에 따라 자신이 선택한 배역의 말하기 차례에 자신이 음성을 입력하면 통계된 원어민 음성 데이터베이스와 비교 평가하여 점수가 평가되는 방식이다. 다만 본 발명의 드라마 게임에서는 다음 단계로의 진행에 있어서 다수의 상황중에서 현재 단계의 점수에 따라 다음 단계의 상황이 결정된다는 점에 특징이 있다. 즉, 점수가 좋을 수록 학습자가 선택한 배역이 좋아하는 상황으로 진행되고, 점수가 나쁘면 반대로 싫어하는 상황으로 진행된다(S706~S709).

예컨대, 도 24에서 제1 단계에 두 남녀의 만남(801)이 이루어지고 만남에 따른 대화가 진행되는데, 이때 게이머의 역할에 따른 음성입력의 평가결과를 상/중/하로 구분하여 "상"이면 제2 단계에서는 데이트를 허락하는 상황(802)으로 진행되고 점수가 "하"이면 데이트 신청이 거절당하는 상황(804)으로 진행한다.

제2 단계에서도 동일한 방식으로 대화가 진행되고, 게이머의 음성입력이 점수로 나타나 상/중/하로 구분된 후 점수에 따라 제3 단계의 상황이 정해진다. 이와 같은 단계를 반복하여 마지막 단계에 이르면 결혼하여 드라마가 종료되거나 헤어지는 것으로 드라마가 종료될 수 있다. 이와 같이 본 발명의 드라마 게임에 따르면 상황에 따른 발음점수에 따라 다음 상황이 정해지므로 보다 좋은 발음을 위해 게이머가 어학학습에 노력함으로써 자연스럽게 학습자의 어학 능력을 향상시킬 수 있다.

이상에서 설명한 바와 같이, 본 발명에 따르면 음성인식기술을 이용하여, 기존의 영어학습 사이트에서 구현하기 힘들었던 1:1 스피킹 및 스피킹 훈련과 발음 교정을 가능케 한다. 구체적으로 기존의 영어학습 사이트와는 다르게 음성인식기술을 최대한 활용하여, 각종 예문을 통해 회화를 연습할 수 있는 회화 학습실과, 자신이 직접 영화의 주인공이 되어 1:1 스피킹을 통해 영화를 진행시키는 시네마 학습실 등의 차별화된 콘텐츠를 제공하고, 그와 함께 기존의 영어작문연습, 독해연습, 받아쓰기 등의 퀄리티 높은 콘텐츠를 동시에 제공함으로써, 학습효율을 대폭적으로 향상시킬 수 있다.

또한 네트웍을 통해 동시에 연결된 다수의 학습자들이 게임방식으로 어학학습을 진행하여 경쟁심에 의해 학습동기를 유도함과 아울러 드라마 게임 등 다양한 방식으로 학습동기를 부여하여 자연스럽게 게임 참여자의 어학 능력을 향상시킬 수 있는 효과가 있다.

Claims (6)

1. 다수의 표준 콘텐츠 파일들로 이루어진 게임 데이터 베이스와 게임 소프트웨어를 포함하여 네트웍을 통해 접속한 다수의 게이머들에게 게임을 통한 어학학습을 제공하기 위한 방법에 있어서,

   게임서버에 접속하여 게임 프로그램을 다운로딩받아 실행하는 단계;

   상기 다운로딩받은 게임 프로그램에서 게임의 상황별 테마를 선택하는 단계;

   상기 선택된 상황에 대한 다수의 게임방을 표시하는 단계;

   상기 게임방을 선택하여 입장하는 단계;

   상기 게임방에 입장하면, 게임화면에서 화자를 선택하는 단계;

   게임을 시작하면 해당 상황에 따른 대화가 표시되면서 각 게이머가 선택한 화자의 스피킹 순서에 게이머의 음성을 입력하는 단계;

   상기 게이머의 음성을 입력받아 콘텐츠 고유번호와 보안코드, 음성인식을 위한 소스, 이미지 데이터, 게이머 음성 데이터로 이루어진 표준 콘텐츠 형식으로 제작하여 게임에 참여하는 모든 게이머들에게 전송하고, 통계된 원어민의 음성 데이터베이스와 비교평가하여 파형과 점수를 표시하는 단계; 및

   상기 상황에 따른 대화가 완료되면 게임이 종료됨과 아울러 각 게이머의 아이디와 점수를 순위별로 표시하는 단계를 포함하는 것을 특징으로 하는 게임을 이용한 어학학습방법.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제

Images