KR101822026B1 - 아바타 기반의 언어 학습시스템 - Google Patents
아바타 기반의 언어 학습시스템 Download PDFInfo
- Publication number
- KR101822026B1 KR101822026B1 KR1020160111323A KR20160111323A KR101822026B1 KR 101822026 B1 KR101822026 B1 KR 101822026B1 KR 1020160111323 A KR1020160111323 A KR 1020160111323A KR 20160111323 A KR20160111323 A KR 20160111323A KR 101822026 B1 KR101822026 B1 KR 101822026B1
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- learner
- unit
- frame
- sound
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 41
- 238000012544 monitoring process Methods 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 26
- 230000000052 comparative effect Effects 0.000 claims description 13
- 230000008451 emotion Effects 0.000 claims description 11
- 230000014509 gene expression Effects 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 238000002360 preparation method Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000011093 media selection Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000003058 natural language processing Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 20
- 241000220225 Malus Species 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004958 brain cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000035558 fertility Effects 0.000 description 1
- 230000005923 long-lasting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 238000009736 wetting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/06—Foreign languages
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명에 따른 네트워크망을 통해 소정의 컨텐츠를 제공하는 온라인인터페이스에 접속하여 언어 학습을 할 있도록 한 언어 학습시스템은, 학습자의 일별 학습일정을 설정하는 일정관리인터페이스; 상기 학습자별로 보유한 캐릭터 아바타의 포인트가 저장된 아바타데이터베이스; 특정사물에 해당하는 실물 동영상 또는 애니메이션과 같은 미디어정보와 그에 대응하는 발음소리 및 텍스트로 표기된 표기정보를 포함하는 학습데이터를 저장하는 학습데이터베이스; 상기 학습일정에 해당하는 상기 학습데이터 중 적어도 하나를 상기 학습자가 보유한 학습모듈로 제공하여 상기 학습자가 학습을 실시할 수 있도록 하는 학습인터페이스; 상기 학습일정에 해당하는 상기 학습데이터 중 적어도 하나를 활용한 게임을 상기 학습모듈로 제공하는 퀴즈인터페이스; 상기 학습 또는 상기 게임의 종료 시점에 상기 캐릭터 아바타에 소정의 포인트를 제공하는 포인트제공인터페이스;로 구성되는 것을 특징으로 한다.
Description
본 발명은 아바타 기반의 언어 학습시스템에 관한 것으로서, 보다 상세하게는 학습자에게 아바타를 부여하고, 학습자가 학습 또는 게임을 진행함에 따라 아바타에 포인트를 부여하여 학습에 동기를 부여함과 동시에 아바타를 활용한 튜터링 교육을 진행함으로써 낯을 가리는 학생도 용이하게 학습을 진행할 수 있는 아바타 기반의 언어 학습시스템에 관한 것이다.
현시대에는 출산율이 점차 줄어들면서 많은 수의 자녀를 갖지 않게 되고, 1명 또는 2명의 자녀를 잘 키우기 위해 1세에서 10세에 이르는 어린 나이부터 조기교육을 시켜서 현 사회에 자신의 자녀가 뒤쳐지지 않도록 교육하고 있다.
일반적으로 아기는 모두 천재적인 머리를 타고나며, 아기의 뇌 세포는 태어난 환경에 적응하기 위해 엄청난 능력을 발휘하도록 되어있고, 이러한 능력은 태어난 직후일수록 강하고, 6세 정도가 되면 점차 약화되어 없어지며 그때까지 받아들인 능력으로 고정되는 것으로 학계에 알려지고 있다.
이렇게 환경 적응 능력이 계속 줄어드는 것을 체감법칙이라고 하는데, 이 때문에 6세 이전의 교육이 중요함을 이루 말할 수 없으며, 특히 태어나 3세가 될 때가지 뇌의 성장은 60∼80%까지 완성되므로 이 시기에는 아무리 많은 지식이라도 받아들일 수 있다고 한다.
이에 따라, 근래에 들어서는 영아 혹은 유아를 대상으로 하는 조기교육이 활성화되고 있는 실정이다.
조기교육의 주된 대상은 영아 또는 유아가 사물이나 식물, 동물, 추상 등의 이름을 깨우치고 더 나아가서는 영어와 같은 외국어를 습득할 수 있도록 하는 것이다.
과거에는 영아 또는 유아를 대상으로 하는 조기교육에 특정 대상물의 그림 또는 사진이 학습카드를 활용하였는데, 학습카드에는 그 그림의 이름이 카드의 하측에 한글, 영어, 등의 문자로서 기재되어 있다.
그러나 학습카드를 이용한 종래의 교육방법은 호기심이 많은 유아들이 학습카드를 지속적으로 쳐다보지 않는 경우가 많아서 부모가 그러한 아이들을 학습카드에 집중시키기 위해 카드를 손으로 흔드는 것과 같은 많은 노력을 기울여야하기 때문에 부모가 쉽게 지치게 되는 문제점이 있었고, 학습범위가 학습카드에 기재된 그림이나 낱말에 국한되기 때문에 그 학습범위가 한정되어 영, 유아가 다양한 문자나 기호 및 도형, 그리고 사물의 활동적인 모습등을 받아들이지 못하는 문제점이 발생하고 있었다.
이에 대한 단점을 해결하고자, 한국 공개특허 제 10-2003-0070878호에 “유무선 인터넷을 이용한 유아 언어싸인 교육 및 일반인언어싸인 교육학습 및 오락 컨텐츠 시스템”이 개시되어 있다.
상기 발명은 다수의 사용자들이 유선단말기(5)로서 인터넷을 통해 접속하면 소정의 회원가입과정을 거쳐 로그인하도록 유도하고, 사용자의 연령에 따라 동영상인 언어싸인, 바디싸인, 베이비싸인, 수화를 이용한 한글, 영어 등을 학습할 수 있는 컨텐츠를 제공하되, 그 학습 컨텐츠는 특정사물의 동영상과 함께 그 사물의 이름을 해당 언어싸인으로서 표기함과 동시에 그 언어의 발음이 음성신호로서 반복 출력되도록 구성하여 유아 및 어린이, 청소년, 일반인등의 학습자가 효율적인 학습을 실시할 수 있도록 하는 웹서버(1)와; 특정사물에 해당하는 실물 동영상 또는 캐릭터, 애니메이션, 아바타와 같은 동영상정보와 그에 대응하는 이름의 한글, 영어 등의 언어싸인, 바디싸인, 베이비싸인, 수화와 문자정보를 저장하고, 그 저장된 정보를 웹서버(1)에 제공하는 데이터베이스(2); 로 구성한 것을 특징으로 하는 유무선 인터넷을 이용한 유아, 어린이, 청소년, 일반인 인지학습 및 일반언어에 관한 언어싸인 교육과 오락 컨텐츠 시스템에 관한 것이다.
그러나 상기 발명은 최초 단계에서 멀티미디어를 활용하여 유아에게 관심을 불러일으킬 수는 있지만, 별도의 성취감을 주는 구성의 부재로 인하여 쉽게 질릴 수 있다는 한계점을 극복해내지 못하였다.
다른 기술로서, 한국 등록특허 제 10-0992509호에 “ＩＰＴＶ 시스템에서 학습용/교육용 콘텐츠에 등장하는 캐릭터/아바타를 통한 음성 변조 기반의 실감형 ＩＰＴＶ 서비스 방법 및 장치”가 개시되어 있다.
상기 발명은 사용자의 목소리를 입력받아 주파수를 분석하여 사용자의 언어 발음 습관을 주파수대역 단위로 패턴화하여 패턴화된 목소리를 저장하되, 상기 사용자의 목소리를 음소별 또는 문장별로 패턴화하여 패턴화된 음소나 문장이 해당 주파수대역에 대응되도록 저장하고, 저장된 상기 패턴화된 목소리를 재학습시켜 문구, 억양, 또는 음소(영어 알파벳을 포함함)에 대한 새로운 패턴화된 목소리가 추가되도록 업데이트하고, 단말에서 콘텐츠를 재생하는 동안에, 재생되는 콘텐츠의 캐릭터나 제3의 매개체의 본래 목소리를 상기 패턴화된 목소리로 변조하여 상기 단말로 제공하되, 상기 콘텐츠의 캐릭터나 제3의 매개체 본래의 스탠더드 음원을 상기 주파수대역 단위로 분리하고 상기 패턴화된 목소리의 주파수 분포 대역으로 이동하여, 이동된 본래의 스탠더드 음원의 각 주파수대역 단위 마다 상기 패턴화된 목소리의 해당 주파수대역 단위로 대체하는 방식으로 상기 변조를 수행하며, 카메라를 이용하여 상기 단말 앞에서 상기 콘텐츠를 시청하는 사람에 대한 모니터링 영상을 생성하여 미리 지정된 단말로 전송하고, 상기 미리 지정된 단말을 통하여 입력되는, 상기 콘텐츠를 시청하는 사람에 대한 지시 사항을 상기 콘텐츠 상의 상기 제3의 매개체를 통하여 상기 패턴화된 목소리로 출력하는 것을 특징으로 하는 IPTV 서비스 방법에 관한 것이다.
그러나 상기 발명은 학습자가 발음한 것을 변조하여 다시 보여주는 것으로서 학습자의 흥미유발을 일으키는 데에는 효과적이겠으나, 글자를 아직 제대로 읽지 못하는 학습자에게 적용되기에는 다소 문제가 있다는 한계점을 극복해내지 못하였다.
따라서 상술한 바와 같은 문제점을 해결하기 위해 학습자에게 아바타를 부여하고, 학습자가 학습 또는 게임을 진행함에 따라 아바타에 포인트를 부여하여 학습에 동기를 부여함과 동시에 아바타를 활용한 튜터링 교육을 진행함으로써 낯을 가리는 학생도 용이하게 학습을 진행할 수 있는 아바타 기반의 언어 학습시스템을 개발할 필요성이 대두되는 실정이다.
본 발명은 상기 기술의 문제점을 극복하기 위해 안출된 것으로, 멀티미디어를 반복적으로 표시하고 이를 매칭게임을 통해 학습자가 언어를 학습할 수 있도록 한 학습시스템을 제공하는 것을 주요 목적으로 한다.
본 발명의 다른 목적은, 학습자에게 개별 아바타를 부여하고, 학습 또는 게임의 종료 시 상기 아바타에 포인트를 부여하여 학습자의 흥미를 유발시키는 것이다.
본 발명의 또 다른 목적은, 상기 아바타에 충분한 포인트가 쌓이면 튜터와 아바타를 매개로 마지막 실전 학습을 할 수 있는 시스템을 제공하는 것이다.
상기 목적을 달성하기 위하여, 본 발명에 따른 네트워크망을 통해 소정의 컨텐츠를 제공하는 온라인인터페이스에 접속하여 언어 학습을 할 있도록 한 언어 학습시스템은, 학습자의 일별 학습일정을 설정하는 일정관리인터페이스; 상기 학습자별로 보유한 캐릭터 아바타의 포인트가 저장된 아바타데이터베이스; 특정사물에 해당하는 실물 동영상 또는 애니메이션과 같은 미디어정보와 그에 대응하는 발음소리 및 텍스트로 표기된 표기정보를 포함하는 학습데이터를 저장하는 학습데이터베이스; 상기 학습일정에 해당하는 상기 학습데이터 중 적어도 하나를 상기 학습자가 보유한 학습모듈로 제공하여 상기 학습자가 학습을 실시할 수 있도록 하는 학습인터페이스; 상기 학습일정에 해당하는 상기 학습데이터 중 적어도 하나를 활용한 게임을 상기 학습모듈로 제공하는 퀴즈인터페이스; 상기 학습 또는 상기 게임의 종료 시점에 상기 캐릭터 아바타에 소정의 포인트를 제공하는 포인트제공인터페이스;로 구성되는 것을 특징으로 한다.
다음으로, 상기 퀴즈인터페이스는, 상기 학습일정에 해당하는 상기 발음소리를 메인사운드로 지정하는 메인사운드지정부와, 상기 학습데이터베이스에서 상기 학습자의 학습미션에 해당하지 않는 발음소리를 추출하여 서브사운드로 지정하는 서브사운드추출부와, 상기 학습자가 소지한 학습자단말의 화면을 제1 프레임과 제2 프레임의 독립적인 공간으로 분리하고, 상기 메인사운드 및 상기 서브사운드를 제1,2 프레임에 각각 하나씩 배치하여 순차적으로 출력하는 프레임사운드적용부와, 상기 학습자로부터 상기 제1,2 프레임 중 적어도 하나를 선택받으면 선택된 프레임의 상기 메인사운드의 포함여부를 확인하는 프레임사운드선택부와, 상기 메인사운드가 포함된 프레임이 선택된 경우 상기 학습단말로 정답연출을 표시하고 게임을 완료하는 정답사운드확인부로 구성되는 사운드퀴즈모듈을 더 포함하는 것을 특징으로 한다.
더하여, 상기 사운드퀴즈모듈은, 상기 학습일정에 해당하는 상기 미디어정보를 메인미디어로 지정하는 메인미디어지정부와, 상기 학습데이터베이스에서 상기 서브사운드에 대응하는 미디어정보를 추출하여 서브미디어로 지정하는 서브미디어추출부와, 상기 제1,2 프레임에 배치된 상기 메인사운드 및 상기 서브사운드에 따라 대응되는 상기 메인미디어 및 상기 서브미디어를 각각 배치하는 프레임미디어적용부를 더 포함하는 것을 특징으로 한다.
덧붙여, 상기 학습인터페이스는, 상기 학습일정에 해당하는 상기 미디어정보를 메인미디어로 지정하고 상기 학습모듈로 제공하는 미디어출력부와, 상기 미디어정보의 재생이 종료되면 상기 메인미디어에 대응하는 발음소리를 메인사운드로 지정하고 상기 메인사운드가 출력되도록 상기 학습모듈로 제공하는 사운드출력부와, 상기 메인미디어에 대응되는 상기 표기정보가 포함된 제3 프레임이 표시되도록 상기 학습모듈로 제공하는 카드제공부로 구성되는 카드학습모듈을 더 포함하는 것을 특징으로 한다.
또한, 상기 퀴즈인터페이스는, 상기 메인미디어를 출력하는 게임미디어출력부와, 상기 학습자가 소지한 학습자단말의 화면을 제4프레임과 제5프레임의 독립적인 공간으로 분리하고, 상기 메인미디어 및 상기 메인미디어를 제외한 임의의 미디어정보를 제4,5 프레임에 각각 하나씩 배치하여 표시하는 프레임매칭적용부와, 상기 학습자로부터 상기 제4,5 프레임 중 적어도 하나를 선택받으면 선택된 프레임의 상기 메인미디어 포함여부를 확인하는 프레임미디어선택부와, 상기 메인미디어가 포함된 프레임이 선택된 경우 상기 학습단말로 정답연출을 표시하고 학습을 완료하는 정답미디어확인부로 구성되는 영상퀴즈모듈을 더 포함하는 것을 특징으로 한다.
또한, 상기 학습인터페이스는, 상기 학습모듈의 화면 일 측에 버튼프레임을 형성하는 버튼프레임생성부와, 상기 학습자로부터 상기 버튼프레임이 선택되면 상기 화면에 보조프레임을 생성하고 상기 학습데이터베이스에 저장된 복수의 미디어정보를 축소하여 일렬로 배치한 복수의 이미지버튼을 포함하는 이미지서랍을 상기 보조프레임에 표시하는 보조프레임생성부와, 상기 학습자로부터 상기 이미지버튼 중 적어도 하나가 선택되면 상기 이미지버튼에 해당되는 미디어정보와 상기 미디어정보에 대응하는 발음소리를 상기 학습모듈로 제공하는 선택학습제공부로 구성되는 선택학습모듈을 더 포함하는 것을 특징으로 한다.
또한, 상기 학습인터페이스는, 상기 학습모듈의 화면에서 팝업되는 프레임으로서, 미디어레이아웃과, 상기 미디어레이아웃의 하단부에 위치하는 복수개의 버튼레이아웃을 포함하는 팝업프레임을 생성하는 이야기프레임생성부와, 상기 학습데이터베이스에 저장된 상기 미디어정보 중 복수개를 추출하고, 상기 미디어레이아웃을 복수개의 구역으로 나누어 각 구역마다 추출된 상기 미디어정보를 하나씩 배치하는 미디어배치부와, 상기 버튼레이아웃에 각각 상기 구역을 일대일 매칭시키는 구역매칭부와, 상기 학습자로부터 상기 버튼레이아웃 중 적어도 하나를 선택받으면 선택된 버튼레이아웃과 매칭된 상기 구역으로 배치된 상기 미디어정보와 그에 대응하는 상기 발음소리를 재생하는 미디어재생부로 구성되는 이야기학습모듈을 더 포함하는 것을 특징으로 한다.
또한, 상기 언어 학습시스템은, 상기 캐릭터 아바타가 기 지정된 제한값 이상의 상기 포인트를 보유한 경우 튜터와 상기 학습자의 연결을 수행하는 교육시작모듈과, 상기 학습모듈의 화면에 상기 캐릭터 아바타를 표시하는 캐릭터 아바타표시부와, 상기 튜터가 보유한 튜터단말의 화면에 상기 학습일정에 해당하는 표기정보를 표시하는 표기정보표시부로 구성되는 교육준비모듈과, 상기 튜터가 보유한 조작수단을 통해 상기 캐릭터 아바타의 동작을 제어하는 아바타제어모듈로 구성되는, 아바타교육인터페이스를 더 포함하는 것을 특징으로 한다.
또한, 상기 교육시작모듈은, 상기 캐릭터 아바타가 기 지정된 제한값 이상의 포인트를 보유한 경우 상기 학습모듈의 화면 일 측에 튜터링교육버튼을 표시하는 교육버튼배치부와, 상기 학습자로부터 상기 튜터링교육버튼이 선택된 경우 튜터가 보유한 튜터단말로 상기 학습자와의 연결을 시작하는 학습접속부와, 상기 튜터의 접속여부를 확인하고 상기 학습자와의 연결을 수행하는 튜터접속부로 구성되는 것을 특징으로 한다.
또한, 상기 교육준비모듈은, 상기 학습모듈의 화면에 상기 학습자와 상기 튜터의 연결여부를 안내하는 연결안내부를 더 포함하는 것을 특징으로 한다.
또한, 상기 아바타제어모듈은, 상기 튜터가 보유한 조이스틱 조작수단을 통해 입력된 회전조작신호에 따라 상기 캐릭터 아바타의 기울인 방향을 동일하게 제어하는 아바타기울임제어부와, 상기 조작수단에 포함된 별도의 버튼으로부터 누름조작신호가 추가로 발생한 경우, 상기 캐릭터 아바타의 시선방향, 입모양, 이동방향 등의 세부동작을 동일한 방향으로 제어하는 아바타동작제어부를 더 포함하는 것을 특징으로 한다.
또한, 상기 아바타제어모듈은, 상기 튜터단말의 화면을 모니터링프레임과, 학습자영상프레임의 두 개의 프레임으로 분할하는 튜터화면분할부와, 상기 모니터링프레임을 상부모니터링프레임과 하부모니터링프레임으로 분할하고, 상기 상부모니터링프레임에는 상기 캐릭터 아바타를 표시하며, 상기 하부모니터링프레임에는 상기 캐릭터 아바타의 감정표현을 제어하도록 서로 다른 감정표현 제어명령이 기 지정된 복수개의 감정선택버튼을 표시하는 모니터링프레임구성부와, 상기 학습자영상프레임을 상부학습자영상프레임과 하부학습자영상프레임으로 분할하고, 상기 상부학습자영상프레임에는 상기 학습모듈에 포함된 카메라단자를 통해 촬영된 상기 학습자의 얼굴영상을 표시하며, 상기 하부학습자영상프레임에는, 상기 학습자의 접속상태를 나타내는 상태표시창을 표시하는 학습자영상프레임구성부를 더 포함하는 것을 특징으로 한다.
또한, 상기 아바타교육인터페이스는, 상기 튜터가 보유한 음성입력수단을 통해 입력된 상기 튜터의 음성신호를 음성입력데이터로 저장하는 튜터음성저장모듈과, 상기 튜터가 보유한 촬영수단을 통해 입력된 상기 튜터의 입술모양 촬영영상을 입술데이터로 저장하는 튜터입술저장모듈과, 상기 캐릭터 아바타의 얼굴에 상기 입술데이터를 합성하여 합성아바타를 생성하는 아바타합성모듈과, 상기 합성아바타와 상기 음성입력데이터를 상기 학습모듈로 제공하는 아바타학습모듈을 더 포함하는 것을 특징으로 한다.
또한, 상기 튜터음성저장모듈은, 동일한 표기정보에 대하여 복수의 튜터로 부터 기 생성된 음성입력데이터를 샘플데이터로서 저장한 표준음성데이터베이스와, 상기 튜터로부터 입력된 음성입력데이터와 상기 표준음성데이터베이스에 저장된 샘플데이터를 각각 텍스트로 인식한 음성텍스트를 생성하는 음성인식부와, 상기 음성입력데이터와 복수의 상기 샘플데이터의 음성텍스트를 비교하여 차이가 발생하는 부분을 비교부로 설정하는 음성대조부와, 상기 음성입력데이터의 비교부를 제거하되, 상기 비교부에 복수의 상기 샘플데이터를 합성한 비교합성음성을 생성하는 비교합성부와, 상기 비교합성음성을 상기 음성입력데이터로서 제공하는 합성음성제공부를 더 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 튜터음성저장모듈은, 40dB 내지 120dB의 데시벨 대역 범위 내에서 서로 다른 크기를 갖는 복수의 샘플사운드를 저장한 샘플사운드데이터베이스와, 상기 샘플사운드데이터베이스로부터 상기 샘플사운드가 재생될 수 있도록 상기 학습모듈로 제공하는 샘플사운드출력부와, 상기 학습자로부터 하나 이상의 샘플사운드를 선택받아 맞춤 데시벨 대역을 선정하는 샘플사운드선택부와, 상기 비교합성음성을 상기 맞춤 데시벨 대역으로 변환 및 저장하는 음성크기설정부와, 상기 음성크기설정부에서 저장된 맞춤 데시벨 대역으로 상기 비교합성음성을 제공하는 변환사운드제공부를 추가로 포함하는 것을 특징으로 한다.
또한, 상기 음성대조부는, 상기 음성입력데이터의 음성텍스트에 대한 자연어 처리과정을 통해 발음의 오류구간을 추정하는 오류구간확인파트와, 복수의 상기 샘플데이터의 음성텍스트에서 상기 오류구간의 전후 문맥으로 패턴을 추출하고, 이를 상기 오류구간과 비교하여 차이가 발생하면 상기 오류구간을 상기 비교부로 설정하는 비교부설정파트와, 상기 비교부에 대한 복수의 상기 샘플데이터와 상기 음성입력데이터의 각 음절별 n-gram을 생성하는 샘플데이터분석파트와, 상기 음성입력데이터의 n-gram을 상기 샘플데이터의 n-gram과 비교하여 기 설정된 오차 이상의 차이를 갖는 음절의 n-gram을 삭제하고 상기 샘플데이터의 n-gram으로 교체하는 오류수정파트로 구성되는 것을 특징으로 한다.
또한, 상기 오류수정파트는, 다음의 수학식을 이용하여, 상기 음성입력데이터의 n-gram을 상기 샘플데이터의 n-gram과 비교하는 것을 특징으로 한다.
수학식, 
(여기서, 상기 A는 상기 음성입력데이터이고, 상기 Xn은 상기 음성입력데이터에서 n번째 음절이며, 상기 B는 상기 샘플데이터이며, 상기 k는 상기 샘플데이터의 총 개수를 나타낸다.)
마지막으로, 상기 튜터입술저장모듈은, 발음에 따른 표준 입술모양을 저장한 표준입술데이터베이스와, 상기 비교합성음성을 인식하여 발음정보로 저장하는 합성음성인식부와, 상기 표준입술데이터베이스에서 상기 발음정보에 해당하는 입술모양을 추출하여 비교표준입술데이터로 저장하는 입술모양추출부와, 상기 입술데이터에서 상기 비교부에 해당하는 부분을 제거하되, 상기 비교부에 상기 비교표준입술데이터를 합성한 합성입술데이터를 생성하는 입술합성부와, 상기 합성입술데이터를 상기 입술데이터로서 제공하는 합성입술제공부를 더 포함하여 구성되는 것을 특징으로 한다.
본 발명에 따른 아바타 기반의 언어 학습시스템은,
1) 멀티미디어를 반복적으로 표시하고 이를 매칭게임을 통해 학습자가 언어를 학습할 수 있도록 한 학습시스템을 제공하여 반복학습을 통한 언어교육이 가능하고,
2) 학습자에게 개별 아바타를 부여하고, 학습 또는 게임의 종료 시 상기 아바타에 포인트를 부여하여 학습자의 흥미를 유발함으로써 지속적인 학습유도가 가능하며,
3) 상기 아바타에 충분한 포인트가 쌓이면 튜터와 아바타를 매개로 마지막 실전 학습을 진행토록 함으로써 보다 효과적인 학습을 수행할 수 있는 효과가 있다.
도 1은 본 발명의 시스템에 대한 개략적인 구성을 나타낸 개념도.
도 2는 본 발명의 시스템에 대한 전체 구성도.
도 3은 본 발명의 메인로비화면의 기본구성을 나타낸 개념도.
도 4는 사운드퀴즈를 수행하는 화면구성을 나타낸 개념도.
도 5는 카드학습을 수행하는 화면구성을 나타낸 개념도.
도 6은 영상퀴즈를 수행하는 화면구성을 나타낸 개념도.
도 7은 선택학습을 수행하기 위한 버튼프레임을 형성한 화면구성을 나타낸 개념도.
도 8은 이야기학습을 수행하는 화면구성을 나타낸 개념도.
도 9는 아바타교육인터페이스의 화면구성을 나타낸 개념도.
도 10은 튜터단말의 화면구성을 나타낸 개념도.
도 2는 본 발명의 시스템에 대한 전체 구성도.
도 3은 본 발명의 메인로비화면의 기본구성을 나타낸 개념도.
도 4는 사운드퀴즈를 수행하는 화면구성을 나타낸 개념도.
도 5는 카드학습을 수행하는 화면구성을 나타낸 개념도.
도 6은 영상퀴즈를 수행하는 화면구성을 나타낸 개념도.
도 7은 선택학습을 수행하기 위한 버튼프레임을 형성한 화면구성을 나타낸 개념도.
도 8은 이야기학습을 수행하는 화면구성을 나타낸 개념도.
도 9는 아바타교육인터페이스의 화면구성을 나타낸 개념도.
도 10은 튜터단말의 화면구성을 나타낸 개념도.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 첨부된 도면은 축척에 의하여 도시되지 않았으며, 각 도면의 동일한 참조 번호는 동일한 구성 요소를 지칭한다.
도 1은 본 발명의 시스템에 대한 개략적인 구성을 나타낸 개념도이다.
도 1을 참조하여 설명하면, 본 발명의 언어 학습시스템은, 시스템서버(10)와 학습자(20) 그리고 튜터(30)로 구성된다. 먼저 학습자(20)는 네트워크망을 통해 소정의 컨텐츠를 제공하는 온라인인터페이스에 접속하여 언어교육을 받으려는 대상이며 여기서 온라인인터페이스는 웹사이트나 모바일사이트 등의 플랫폼을 의미하는 것이다. 시스템서버(10)는 기본적으로 학습자(20)에게 학습할 수 있는 학습자(20)료나 게임자료를 전송하는 역할을 수행하며, 또한 학습자(20)가 보유한 아바타의 관리를 수행한다. 이 외에도 특수한 기능으로서 학습자(20)와 튜터(30)를 연동시키는 역할을 수행하기도 한다. 튜터(30)는 학습자(20)가 튜터(30)교습을 요청하는 경우, 학습자(20)를 교육시키는 대상으로서 시스템의 특성 상 튜터(30)는 학습자(20)에게 보여지지 않고 아바타가 튜터(30)를 대신하여 학습자(20)에게 보여진다. 이에 따라 학습자(20)는 매번 다른 튜터(30)를 통해 학습받게 되더라도 하나의 아바타를 통해 익숙하게 언어를 학습할 수 있게 된다는 장점을 갖는다.
이러한 전체 시스템의 흐름은 모두 시스템서버(10)의 중개로서 동작하게 되는 것이며, 튜터단말(31)에는 수업을 진행하기 위한 수업용 툴과 학습자(20)의 로그인정보나 학습자(20)와의 채팅을 진행할 수 있는 메신저 및 튜터단말(31)에 저장된 프로그램들의 버전이나 수업정보, 컨텐츠를 관리하고 수업을 진행하기 위한 음성변조나 화상통화 등을 제어하는 제어툴을 포함하는 튜터용 프로그램이 포함된다. 다음으로 학습모듈(21)에는 시스템으로 로그인을 진행하고 게임 및 학습을 진행하기 위한 화면구성을 포함하는 수업용툴과, 튜터(30)와의 메시지 수신 및 채팅을 수행하는 브로드캐스트 리시버와, 이러한 프로그램의 버전 및 컨텐츠를 관리하고 화상통화를 수행하는 제어서비스툴을 포함한다. 이 외에도 학습모듈(21)에는 이러한학습서비스를 구매하기 위한 수업권을 구매하는 쇼핑몰에 연동될 수 있는 기능을 필수적으로 구비하여야 함은 물론이다. 시스템서버(10)에는 이러한 튜터단말(31)과 학습모듈(21)의 연동을 위한 각종 통신(HTTP통신, TCP/IP통신, FTP통신, RTP통신)을 수행하기 위한 각종 중개서버를 포함하는 것을 특징으로 한다.
도 2는 본 발명의 시스템에 대한 전체 구성도이다. 도 3은 본 발명의 메인로비화면의 기본구성을 나타낸 개념도이다.
언어 학습시스템은 크게 학습자(20)의 일별 학습일정을 설정하는 일정관리인터페이스(100); 상기 학습자(20)별로 보유한 캐릭터 아바타(800)의 포인트(810)가 저장된 아바타데이터베이스(200); 특정사물에 해당하는 실물 동영상 또는 애니메이션과 같은 미디어정보와 그에 대응하는 발음소리 및 텍스트로 표기된 표기정보를 포함하는 학습데이터를 저장하는 학습데이터베이스(300); 상기 학습일정에 해당하는 상기 학습데이터 중 적어도 하나를 상기 학습자(20)가 보유한 학습모듈(21)로 제공하여 상기 학습자(20)가 학습을 실시할 수 있도록 하는 학습인터페이스(400); 상기 학습일정에 해당하는 상기 학습데이터 중 적어도 하나를 활용한 게임을 상기 학습모듈(21)로 제공하는 퀴즈인터페이스(500); 상기 학습 또는 상기 게임의 종료 시점에 상기 캐릭터 아바타(800)에 소정의 포인트(810)를 제공하는 포인트제공인터페이스(900);로 구성된다.
먼저 일정관리인터페이스(100)는, 각 학습자(20)별 교육일정을 설정하는 것이다. 복수의 학습자(20)가 모두 동일한 날짜에 학습을 시작하지 않을뿐더러 학습자(20) 모두 동일한 학습능력을 가지고 있지는 않다. 따라서 각 학습자(20)별 교육시작시점 및 개인의 실력이나 성향에 맞는 교육일정의 설정이 필요하다.
다음으로 아바타데이터베이스(200)는 각 학습자(20)별로 캐릭터 아바타(800)의 포인트(810)가 저장된 데이터베이스이다. 학습자(20)는 각각 적어도 하나의 캐릭터 아바타(800)를 보유한다. 이 캐릭터 아바타(800)는 후술하겠지만 튜터(30)교육에 있어서 중요한 역할을 하게 된다. 이에 대한 상세한 내용설명은 후술하는 내용에서 자세하게 다루도록 하겠다.
학습데이터베이스(300)는 특정사물에 해당하는 실물 동영상 또는 애니메이션과 같은 미디어정보와 그에 대응하는 발음소리 및 텍스트로 표기된 표기정보를 포함하는 학습데이터를 저장한 데이터베이스를 일컫는다. 본 발명의 언어 학습시스템은 학습자(20)가 언어를 쉽게 익힐 수 있도록 단어 또는 문장을 표현하기 위한 실물 동영상 또는 애니메이션, 사진, 그림 등과 같은 미디어정보와, 그에 대응하는 실제 발음소리, 텍스트로 표기된 표기정보를 포함한다. 예를 들어 사과를 학습데이터베이스(300)에 저장하는 경우, 붉은빛이 도는 사과그림이나 녹색빛이 도는 사과그림 및 사과를 캐릭터화 시킨 애니메이션 등이 미디어정보로 포함될 수 있고, 사과를 읽은 발음소리와, ‘사과’의 단어가 표기정보로 저장되는 것이다.
다음으로 학습인터페이스(400)는, 학습일정에 해당하는 학습데이터 중 적어도 하나를 학습자(20)가 보유한 학습모듈(21)로 제공하여 학습자(20)가 학습을 실시할 수 있도록 하는 것이다. 이러한 작업을 위해 학습인터페이스(400)는 바람직하게는 로비화면(700)을 포함할 수 있는데, 이 로비화면(700)은 일종의 포털사이트의 메인화면(700)과 같은 것으로서 언어 학습시스템의 다양한 기능을 하나의 화면(700)에서 수행할 수 있도록 연결해주는 루트맵을 의미하는 것이다. 이러한 루트맵에 의해 학습자(20)는 해당 날짜에 수행해야 할 학습일정을 확인하고 그에 따른 학습이나 게임을 수행할 수 있게 된다.
다음으로 퀴즈인터페이스(500)는, 상기 학습일정에 해당하는 상기 학습데이터 중 적어도 하나를 활용한 게임을 상기 학습모듈(21)로 제공하는 역할을 한다. 이 퀴즈인터페이스(500)는 학습의 수행 이전에 학생에게 흥미를 돋구기 위한 퀴즈를 제공하거나, 학습이 종료된 이후에 학습자(20)가 학습한 내용을 매칭퀴즈나 받아쓰기, OX퀴즈 등의 게임을 통해 다시 한 번 복습하게 할 수 있다. 이러한 퀴즈를 통해 학습자(20)는 오랫동안 기억에 남을 수 있도록 하는 효과와 공부에 흥미를 불러일으키는 효과를 동시에 성취할 수 있다.
마지막으로 포인트제공인터페이스(900)는, 상기 학습 또는 상기 게임의 종료 시점에 상기 캐릭터 아바타(800)에 소정의 포인트(810)를 제공하는 것이다. 캐릭터 아바타(800)는 포인트(810)를 보유할 수 있다. 포인트제공인터페이스(900)는 일반적으로 아바타와 함께 포인트(810) 바를 학습자(20)가 보유한 학습자단말의 화면(700)에 표시하는 것으로 확인할 수 있다. 이 포인트(810)는 후술할 튜터(30)와의 교육을 실행하는 데에 쓰여지는 것이며 포인트(810) 바가 채워지는 경우 튜터(30)와 연결을 수행할 수 있게 된다. 이러한 과정에 대한 상세한 설명은 아바타교육인터페이스(600)에서 하도록 하겠다. 즉, 튜터(30)와의 학습을 위해서는 이 포인트(810) 바를 채워야 하는데, 포인트(810) 바를 채우는 것은 마치 게임에서 게임 캐릭터의 레벨을 증가시키기 위해 경험치를 모으는 것과 비슷한 것이므로 학습자(20)가 지루해하지 않고 계속적으로 성취감을 느끼도록 하여 학습에 몰입하는 것을 돕는 역할을 한다.
도 3을 통해 이러한 포인트(810)를 활용하는 예를 들면, 캐릭터 아바타(800)는 100의 용량을 갖는 포인트(810) 바를 기본적으로 보유하되, 로그인을 통해 20의 로그인 포인트(810)를 자동으로 적립받고, 이후 당일에 지정된 학습일정에 따라 나머지 80의 포인트(810)를 분배한다. 즉, 학습자(20)의 오늘 학습 일정이 3 개의 학습과 1개의 퀴즈로 구성되었다면, 각각의 학습 또는 퀴즈가 종료됨에 따라 80을 4로 나눈 20의 포인트(810)를 수여받게 되는 것이다. 이러한 학습 일정을 화면의 좌측에 나열하여 퀘스트(820)를 확인할 수 있도록 한 것이 특징이다.
도 4는 사운드퀴즈를 수행하는 화면구성을 나타낸 개념도이다.
다음으로, 퀴즈인터페이스(500)는 상기 학습일정에 해당하는 상기 발음소리를 메인사운드로 지정하는 메인사운드지정부(531)와, 상기 학습데이터베이스(300)에서 상기 학습자의 학습미션에 해당하지 않는 발음소리를 추출하여 서브사운드로 지정하는 서브사운드추출부(532)와, 상기 학습자가 소지한 학습자단말의 화면(700)을 제1 프레임(710)과 제2 프레임(711)의 독립적인 공간으로 분리하고, 상기 메인사운드 및 상기 서브사운드를 제1,2 프레임에 각각 하나씩 배치하여 순차적으로 출력하는 프레임사운드적용부와, 상기 학습자(20)로부터 상기 제1,2 프레임 중 적어도 하나를 선택받으면 선택된 프레임의 상기 메인사운드의 포함여부를 확인하는 프레임사운드선택부(533)와, 상기 메인사운드가 포함된 프레임이 선택된 경우 상기 학습단말로 정답연출을 표시하고 게임을 완료하는 정답사운드확인부(534)로 구성되는 사운드퀴즈모듈(530)을 더 포함하여 구성될 수 있다.
사운드퀴즈는 학습을 수행하기 이전에 학습자(20)에게 해당일의 학습에 대한 흥미를 유발시키기 위해 수행하는 퀴즈이다. 먼저 해당일의 학습일정에 포함된 발음소리를 메인사운드로 지정한다. 또한, 메인사운드와 대조적으로 학습미션에 해당하지 않는 미디어정보와 그에 대응하는 발음소리를 추출하여 서브사운드로 지정한다. 다음으로, 학습자단말의 화면(700)을 제1 프레임(710)과 제2 프레임(711)의 독립적인 공간으로 분리하고, 메인사운드 및 서브사운드를 제1,2 프레임(710, 711)에 각각 하나씩 배치하여 순차적으로 출력하도록 하는 것이다.
즉, 학습자(20)의 입장에서 보게 되면 화면(700)이 두 개로 나누어지되, 두 가지의 소리가 순차적으로 재생되는 것을 확인할 수 있다. 이 때, 제1 프레임(710)과 제2 프레임(711)에 배정된 소리를 구분하기 위하여 소리가 재생될 때 해당 소리가 배정된 프레임의 색상이 변화하거나 테두리의 색상이 변화되거나 특별한 표식이나 아이콘이 더 표시되도록 할 수도 있음은 물론이다.
메인사운드와 서브사운드가 모두 재생되면 학습자(20)로부터 제1,2 프레임(710, 711) 중 하나를 선택하도록 화면(700)을 대기시키되 제1,2 프레임(710, 711) 중 하나를 선택받으면 선택된 프레임이 메인사운드를 포함하는지 여부를 확인한다. 이 때 선택된 프레임이 메인사운드를 포함하지 않는다면 오답연출을 표시하고 다시 한번 이 과정을 수행하되, 선택된 프레임이 메인사운드를 포함한다면 정답연출을 표시하고 게임을 완료한다.
다만, 상기 사운드퀴즈모듈(530)에는 상기 학습일정에 해당하는 상기 미디어정보를 메인미디어로 지정하는 메인미디어지정부(535)와, 상기 학습데이터베이스(300)에서 상기 서브사운드에 대응하는 미디어정보를 추출하여 서브미디어로 지정하는 서브미디어추출부(536)와, 상기 제1,2 프레임(710, 711)에 배치된 상기 메인사운드 및 상기 서브사운드에 따라 대응되는 상기 메인미디어 및 상기 서브미디어를 각각 배치하는 프레임미디어적용부(537)를 더 포함할 수도 있다.
즉, 앞선 구성에서는 단순하게 음성만을 출력하여 학습자(20)에게 매칭퀴즈를 제공하였으나, 추가된 구성에서는 제1,2 프레임(710, 711)에 음성과 함께 미디어정보를 더 배치하고 함께 출력시킴으로써 시청각 교육을 동시에 수행할 수 있어 학습 워밍업에 보다 도움이 될 수 있도록 구성한 것이다.
도 5는 카드학습을 수행하는 화면구성을 나타낸 개념도이다.
다른 구성으로서, 학습인터페이스(400)는 상기 학습일정에 해당하는 상기 미디어정보를 메인미디어로 지정하고 상기 학습모듈(21)로 제공하는 미디어출력부(411)와, 상기 미디어정보의 재생이 종료되면 상기 메인미디어에 대응하는 발음소리를 메인사운드로 지정하고 상기 메인사운드가 출력되도록 상기 학습모듈(21)로 제공하는 사운드출력부(412)와, 상기 메인미디어에 대응되는 상기 표기정보가 포함된 제3 프레임(712)이 표시되도록 상기 학습모듈(21)로 제공하는 카드제공부(413)로 구성되는 카드학습모듈(410)을 더 포함하여 구성할 수 있다.
카드학습모듈(410)은 학습자(20)가 보유한 학습자단말에 학습일정에 해당하는 미디어정보와 발음소리, 표기정보를 모두 표시함으로서 학습자(20)가 시청각적으로 언어를 익힐 수 있음과 동시에 표기정보를 표시하여 실제 표기법까지 익힐 수 있도록 한 것이다. 즉, 학습일정에 해당하는 미디어정보와 발음소리를 각각 메인미디어와 메인사운드로 지정하여 학습자단말에 출력하되, 이에 추가적으로 메인미디어에 대응되는 표기정보를 포함하는 제3 프레임(712)이 학습자단말의 화면(700)에 더욱 표시되도록 함으로써 학습자(20)가 실제 형태, 발음 뿐 아니라 단어의 스펠(spell)까지 한 번에 학습할 수 있도록 구성한다.
도 6은 영상퀴즈를 수행하는 화면구성을 나타낸 개념도이다.
이러한 카드학습이 끝난 이후 퀴즈인터페이스(500)는 상기 메인미디어를 출력하는 게임미디어출력부(541)와, 상기 학습자단말의 화면(700)을 제4 프레임(713)과 제5 프레임(714)의 독립적인 공간으로 분리하고, 상기 메인미디어 및 상기 메인미디어를 제외한 임의의 미디어정보를 제4,5 프레임(713, 714)에 각각 하나씩 배치하여 표시하는 프레임매칭적용부(542)와, 상기 학습자(20)로부터 상기 제4,5 프레임(713, 714) 중 적어도 하나를 선택받으면 선택된 프레임의 상기 메인미디어 포함여부를 확인하는 프레임미디어선택부(543)와, 상기 메인미디어가 포함된 프레임이 선택된 경우 상기 학습단말로 정답연출을 표시하고 학습을 완료하는 정답미디어확인부(544)로 구성되는 영상퀴즈모듈(540)을 더 구비하여 영상퀴즈를 수행한다.
영상퀴즈는 앞서 설명한 사운드퀴즈의 업그레이드 버전으로서, 화면(700)을 제4,5 프레임(713, 714)으로 나누되, 각각의 프레임에 메인미디어와 메인미디어를 제외한 임의의 미디어정보를 배치시켜 재생토록 한다. 학습자(20)는 앞서 학습한 메인미디어가 포함된 프레임을 선택하는 것으로 본 게임이 진행되며, 학습자(20)가 프레임을 선택한 경우 해당 프레임에 메인미디어가 포함되어있는지 여부를 확인하여 메인미디어가 포함되면 학습단말에 정답연출을 표시하고 학습을 완료하고, 메인미디어가 포함되지 않으면 다시 게임의 최초단계로 돌아가는 것을 특징으로 한다.
학습자(20)는 이와 같은 학습일정에 따라 학습을 진행할 수도 있겠지만, 이 외에도 다른 학습을 동시에 수행하고자 하는 경우가 발생할 수도 있다. 이러한 학습자(20)를 위해 학습인터페이스(400)에는 다음의 구성이 더 추가될 수 있다.
도 7은 선택학습을 수행하기 위한 버튼프레임을 형성한 화면구성을 나타낸 개념도이다.
학습인터페이스(400)는 도 7의 (a)와 같이 상기 학습모듈(21)의 화면(700) 일 측에 버튼프레임(720)을 형성하는 버튼프레임생성부(421)와, 상기 학습자(20)로부터 상기 버튼프레임(720)이 선택되면 도 7의 (b)와 같이 상기 화면(700)에 보조프레임(721)을 생성하고 상기 학습데이터베이스(300)에 저장된 복수의 미디어정보를 축소하여 일렬로 배치한 복수의 이미지버튼을 포함하는 이미지서랍을 상기 보조프레임(721)에 표시하는 보조프레임생성부(422)와, 상기 학습자(20)로부터 상기 이미지버튼 중 적어도 하나가 선택되면 상기 이미지버튼에 해당되는 미디어정보와 상기 미디어정보에 대응하는 발음소리를 상기 학습모듈(21)로 제공하는 선택학습제공부(423)로 구성되는 선택학습모듈(420)을 더 포함하여 구성될 수 있다.
선택학습모듈(420)은 학습자(20)가 학습할 내용을 직접 선택하여 학습할 수 있도록 한 것으로서, 학습모듈(21)의 화면(700) 일 측에 버튼프레임(720)을 형성하는 것으로 시작된다. 학습자(20)가 이 버튼프레임(720)을 누르게 되면 버튼프레임(720)이 확대되면서 화면(700) 일 측에 보조프레임(721)이 형성된다. 보조프레임(721)에는 학습데이터베이스(300)에 저장된 복수의 미디어정보를 축소하여 일렬로 배치한 복수의 이미지버튼을 포함하는 이미지서랍을 표시한다. 이 때 이미지서랍에 배치된 미디어정보가 선택되는 방법은 랜덤선택부터 시작하여 학습일정에 해당하는 미디어정보만 선택하는 방법, 학습일정에 해당하는 미디어정보에 랜덤 선택된 미디어정보가 추가로 합쳐져 선택되는 방법 등이 활용될 수 있음은 물론이다.
이러한 선택학습의 예를 들면 다음과 같다. 먼저, 다양한 원어민의 발음소리와 원어민의 얼굴을 촬영한 영상을 학습데이터베이스(300)에 수록하고, 이를 축소하여 이미지서랍을 형성한다. 학습자(20)가 이 이미지서랍 중 하나를 선택하게 되면 해당 영상과 발음소리가 출력되게 되며, 학습자(20)는 이를 따라하거나, 영상의 종료 시점에 영상에서 의도한 대화에 호응하는 등의 방식으로 학습을 진행할 수 있다.
즉, 이렇게 배열된 이미지버튼 중 적어도 하나가 선택되면 해당 이미지버튼에 해당하는 미디어정보와 그에 대응하는 발음소리를 학습모듈(21)로 제공하여 새로운 학습을 수행하도록 하는 것이다. 학습자(20)가 지루해 하거나 학습자(20)의 수준에 비해 학습일정에 의해 지정된 수준이 높아 학습자(20)가 학습에 어려움을 겪는 경우 이러한 기능을 통해 학습내용을 변경할 수 있어 학습자(20)로 하여금 보다 효율적인 학습을 수행할 수 있도록 돕는 역할을 한다.
도 8은 이야기학습을 수행하는 화면구성을 나타낸 개념도이다.
다음으로, 학습인터페이스(400)는 상기 학습모듈(21)의 화면(700)에서 팝업되는 프레임으로서, 미디어레이아웃과, 상기 미디어레이아웃의 하단부에 위치하는 복수개의 버튼레이아웃을 포함하는 팝업프레임을 생성하는 이야기프레임생성부(431)와, 상기 학습데이터베이스(300)에 저장된 상기 미디어정보 중 복수개를 추출하고, 상기 미디어레이아웃을 복수개의 구역으로 나누어 각 구역마다 추출된 상기 미디어정보를 하나씩 배치하는 미디어배치부(432)와, 상기 버튼레이아웃에 각각 상기 구역을 일대일 매칭시키는 구역매칭부와, 상기 학습자(20)로부터 상기 버튼레이아웃 중 적어도 하나를 선택받으면 선택된 버튼레이아웃과 매칭된 상기 구역으로 배치된 상기 미디어정보와 그에 대응하는 상기 발음소리를 재생하는 미디어재생부(434)로 구성되는 이야기학습모듈(430)을 더 포함하여 구성될 수 있다.
이야기학습모듈(430)은 복수의 미디어정보를 한 화면(700)에 배치시키고 이 미디어정보 각각이 연동된 버튼을 화면(700)에 표시하되, 학습자(20)가 버튼을 조작하게 되면 해당 버튼과 연동된 미디어정보가 재생되면서 학습할 수 있도록 한 것이다. 기존의 학습방법은 일방적으로 제공되는 미디어정보를 확인하고 학습하는 것이었다면, 이 이야기학습모듈(430)을 통한 학습방법은 보다 유연한 방법으로서 학습자(20)의 선택을 통해 학습순서를 설정할 수 있도록 한다.
다만, 가장 이상적인 배치로서, 미디어레이아웃을 기본으로 하되, 6개의 버튼레이아웃이 미디어레이아웃의 하단부에서 길이방향으로 나열되어있고, 미디어레이아웃은, 6개의 구역으로 나뉘되 각 구역마다 미디어정보를 하나씩 배치한다. 이 때 레이아웃의 6개 구역은 동일한 크기나 사이즈일 필요는 없으며, 각각의 구역의 형태 또한 자유자재로 선택될 수 있다. 앞서 버튼레이아웃도 6개를 형성하였고, 구역도 6개가 형성되었는데, 따라서 하나의 버튼레이아웃마다 하나의 구역을 매칭시킬 수 있다. 따라서, 학습자(20)로부터 6개의 버튼레이아웃 중 하나를 선택받게 되면, 해당 버튼레이아웃과 매칭된 구역에 배치된 미디어정보 및 그와 대응하는 발음소리를 재생하도록 함으로써 학습자(20)가 언어를 학습하는데 더욱 흥미를 느낄 수 있도록 한다.
또, 이 버튼레이아웃의 경우 이미 한번 누른 버튼임을 알릴 수 있도록 학습자(20)가 선택하기 이전의 레이아웃과 선택된 이후의 레이아웃이 변경 가능하다. 더하여 버튼레이아웃을 여러 개 묶어 하나의 그룹으로 설정할 수 있으며, 예를 들어 3개씩 2개의 그룹으로 설정하였다면, 하나의 버튼레이아웃이 선택되었을 경우 해당 버튼레이아웃과 그룹으로 설정된 두 개의 버튼레이아웃이 함께 선택되면서 세 가지의 미디어정보 및 발음소리가 동시에 또는 지정된 순서대로 재생되도록 구성할 수도 있음은 물론이다.
이야기학습의 일 실시예로서, 하나의 화면에 여러 가지 이미지가 표시되도록 한다. 이 때 해당 이미지와 관련된 문제가 함께 화면에 출력되거나, 학습자(20)가 이 이미지 중 적어도 하나를 선택하게 되면, 해당 이미지와 관련된 문제가 출력되도록 하는 방법이 활용될 수도 있다. 이러한 문제의 답을 학습자(20)가 버튼레이아웃을 누르는 것으로 입력받아 학습을 진행하는 것이다.
보다 진보한 실시예로서, 4개의 연속된 이야기 클립을 하나의 이야기로 설정하고, 학습자(20)는 버튼의 조작에 따라 맨 처음으로 지정된 이야기 클립을 재생시키거나 또는 특정 이야기 클립을 먼저 재생하도록 제어할 수도 있다. 이 경우 각각의 이야기 클립이 종료될 때마다 다음 이야기 클립의 재생여부를 묻는 창을 띄우게 되는 것이다. 이 이야기 클립의 종료 시점에 해당 이야기와 대응되는 단어퀴즈나 문장퀴즈를 삽입하여 해당 퀴즈의 답을 맞추는 경우에만 다음 이야기 클립을 진행할 수 있도록 하는 학습방법 또한 적용될 수 있음은 물론이다.
도 9는 아바타교육인터페이스의 화면구성을 나타낸 개념도이다.
다음으로, 앞선 설명에서 언급되었던 튜터(30)학습프로그램을 구성하는 방법을 설명한다. 이를 위해 언어 학습시스템은, 상기 캐릭터 아바타(800)가 기 지정된 제한값 이상의 상기 포인트(810)를 보유한 경우 튜터(30)와 상기 학습자(20)의 연결을 수행하는 교육시작모듈(610)과, 상기 학습모듈(21)의 화면(700)에 상기 캐릭터 아바타(800)를 표시하는 캐릭터 아바타(800)표시부와, 상기 튜터(30)가 보유한 튜터단말(31)의 화면(700)에 상기 학습일정에 해당하는 표기정보를 표시하는 표기정보표시부(622)로 구성되는 교육준비모듈(620)과, 상기 튜터(30)가 보유한 조작수단을 통해 상기 캐릭터 아바타(800)의 동작을 제어하는 아바타제어모듈(630)로 구성되는, 아바타교육인터페이스(600)를 더 포함하여 구성할 수 있다.
앞서 학습자(20)는 캐릭터 아바타(800)를 보유하되, 학습 또는 게임의 종료시점에 소정의 포인트(810)를 지급받아 캐릭터 아바타(800)의 포인트(810)를 채울 수 있다고 하였다. 이 포인트(810)를 기 지정된 제한값 이상으로 보유한 경우 튜터(30)와 학습자(20)의 연결을 수행하는 교육시작모듈(610)이 구동된다. 포인트(810)의 경우 일반적으로 100점을 한계점수로 두고, 앞선 예시에서와 같이 접속 시 기본 20점을 부여하고 학습의 종료나 게임의 종료에 따라 소정의 포인트(810)를 추가하여 100점을 모두 획득할 수 있도록 구성된다. 즉, 제한값을 100으로 둔다면 모든 포인트(810)를 획득하였을 경우에 교육시작모듈(610)이 구동되는 것이다.
이에 따라 학습모듈(21)의 화면(700)에는 캐릭터 아바타(800)가, 튜터(30)가 보유한 튜터단말(31)에는 학습일정에 해당하는 표기정보가 표시된다. 즉, 학습모듈(21)에는 튜터(30)가 직접 표시되지 않고 캐릭터 아바타(800)가 튜터(30)의 모습을 대신하게 되며 튜터단말(31)에는 학습자(20)의 학습일정에 해당하는 표기정보가 표시되어 튜터(30)가 이를 보고 읽을 수 있도록 함으로써 학습을 수행할 준비를 마치게 된다.
여기에 더하여 아바타제어모듈(630)은 튜터(30)가 보유한 조작수단을 통해 조작수단의 입력으로 캐릭터 아바타(800)의 동작을 제어하는 것이다. 이를 통해 튜터(30)의 모습이 보이지 않고 캐릭터 아바타(800)가 대신 표시되더라도 학습자(20)는 마치 살아있는 듯한 캐릭터 아바타(800)의 행동과 입모양을 볼 수 있어 잦은 튜터(30)의 교체로 인한 스트레스를 받지 않으면서도 자연스러운 발음학습이 가능하다는 장점을 갖는다. 조작수단은 조이패드 또는 키보드 등의 방향제어와 클릭제어가 가능한 조작수단이라면 모두 포함 가능하다.
먼저 교육시작모듈(610)을 상세하게 살펴본다면, 상기 교육시작모듈(610)은 상기 캐릭터 아바타(800)가 기 지정된 제한값 이상의 포인트(810)를 보유한 경우 상기 학습모듈(21)의 화면(700) 일 측에 튜터링교육버튼을 표시하는 교육버튼배치부(611)와, 상기 학습자(20)로부터 상기 튜터링교육버튼이 선택된 경우 튜터(30)가 보유한 튜터단말(31)로 상기 학습자(20)와의 연결을 시작하는 학습접속부(612)와, 상기 튜터(30)의 접속여부를 확인하고 상기 학습자(20)와의 연결을 수행하는 튜터접속부(613)로 구성된다.
교육버튼배치부(611)의 경우, 포인트(810)가 제한값 이상으로 모인 경우 바로 아바타교육이 수행되지 않고 학습모듈(21)의 화면(700) 일 측에 튜터링교육버튼을 표시하여 이 버튼이 학습자(20)로부터 선택되었을 경우에만 아바타교육을 수행하도록 한 것이다. 따라서, 학습자(20)가 튜터링교육버튼을 선택한 경우 튜터(30)가 보유한 튜터단말(31)로 학습자(20)와의 연결을 시작하고, 튜터(30)의 접속여부를 확인하여 학습자(20)와의 연결을 수행하도록 한 것이다.
다음으로 교육준비모듈(620)은 상기 학습모듈(21)의 화면(700)에 상기 학습자(20)와 상기 튜터(30)의 연결여부를 안내하는 연결안내부(623)를 더 포함하여 구성된다. 연결안내부(623)의 경우, 학습자(20)와 튜터(30)간의 연결여부를 안내하여 주는 것인데, 학습모듈(21)의 화면(700)과 튜터단말(31)의 화면(700)에 동시에 표시하거나 학습모듈(21)의 화면(700)에 표시하는 것이 일반적이다. 아무래도 튜터(30)가 직접 강의를 진행해야 하므로 튜터(30)가 접속중인 경우라도 학습을 위한 수업준비시간이 어느 정도 필요하기 마련이다. 따라서 튜터(30)의 수업준비시간 및 연결대기시간을 연결안내부(623)를 통해 접속여부로 안내하게 되면 학습자(20)는 튜터(30)의 준비시간을 확인하면서 대기할 수 있다는 장점이 있다.
다음으로 아바타제어모듈(630)은 상기 튜터(30)가 보유한 조이스틱 조작수단을 통해 입력된 회전조작신호에 따라 상기 캐릭터 아바타(800)의 기울인 방향을 동일하게 제어하는 아바타기울임제어부(631)와, 상기 조작수단에 포함된 별도의 버튼으로부터 누름조작신호가 추가로 발생한 경우, 상기 캐릭터 아바타(800)의 시선방향, 입모양, 이동방향 등의 세부동작을 동일한 방향으로 제어하는 아바타동작제어부(632)를 더 포함하여 구성된다.
즉, 튜터(30)가 조이스틱 조작수단을 조작하는 것으로서 입력된 회전조작신호에 의해 캐릭터 아바타(800)의 기울인 방향을 제어할 수 있고, 여기에 추가로 별도의 버튼을 함께 누르는 경우 캐릭터 아바타(800)의 시선방향, 입모양, 이동방향 등의 세부동작을 제어할 수 있는 것이다. 예를 들면, 조이스틱 조작수단을 전후좌우로 움직인다면 캐릭터 아바타(800)가 전후좌우 방향으로 몸을 기울이게 되고, 조이스틱 조작수단에 포함된 별도의 버튼1과 함께 조이스틱 조작수단을 전후좌우로 움직이면 캐릭터 아바타(800)를 전후좌우로 이동시킬 수 있으며, 조이스틱 조작수단에 포함된 별도의 버튼2와 함께 조이스틱 조작수단을 전후좌우로 움직이면 캐릭터의 시선을 전후좌우로 움직일 수 있고, 조이스틱 조작수단에 포함된 별도의 버튼3과 함께 조이스틱 조작수단을 전후좌우로 움직이면 캐릭터 아바타(800)의 입모양을 전후좌우로 움직이도록 할 수 있다. 이 외에도 추가적으로 키보드와 같은 별도의 조작수단을 더 포함 시킬 수도 있으며, 키보드의 각 버튼마다 표정제어, 특별한 행동 등을 수행하도록 제어할 수 있음은 물론이다.
도 10은 튜터단말의 화면구성을 나타낸 개념도이다.
이 때, 아바타제어모듈(630)은 상기 튜터단말(31)의 화면을 모니터링프레임(910)과, 학습자영상프레임(920)의 두 개의 프레임으로 분할하는 튜터화면분할부(633)와, 상기 모니터링프레임(910)을 상부모니터링프레임(911)과 하부모니터링프레임(912)으로 분할하고, 상기 상부모니터링프레임(911)에는 상기 캐릭터 아바타(800)를 표시하며, 상기 하부모니터링프레임(912)에는 상기 캐릭터 아바타(800)의 감정표현을 제어하도록 서로 다른 감정표현 제어명령이 기 지정된 복수개의 감정선택버튼을 표시하는 모니터링프레임구성부(634)와, 상기 학습자영상프레임(920)을 상부학습자영상프레임(921)과 하부학습자영상프레임(922)으로 분할하고, 상기 상부학습자영상프레임(921)에는 상기 학습모듈(21)에 포함된 카메라단자를 통해 촬영된 학습자(20)의 얼굴영상을 표시하며, 상기 하부학습자영상프레임(922)에는, 상기 학습자(20)의 접속상태를 나타내는 상태표시창을 표시하는 학습자영상프레임구성부(635)를 더 포함하여 구성될 수 있다.
이 구성은 튜터(30)가 보유한 튜터단말(31)의 화면을 두 개의 프레임으로 나누고, 각각의 프레임마다 두 가지의 표시를 통해 튜터단말(31)의 화면을 구성하는 것이다. 먼저, 튜터화면분할부(633)는 튜터단말(31)의 화면을 모니터링프레임(910)과 학습자영상프레임(920)의 두 개의 프레임으로 분할하는 것이되, 모니터링프레임(910)은 후술할 모니터링프레임구성부(634)에서, 학습자영상프레임(920)은 후술할 학습자영상프레임구성부(635)에서 각각 제어한다.
모니터링프레임구성부(634)는 튜터(30)가 자신이 제어하는 캐릭터 아바타(800)를 직접 확인하면서 추가 제어를 수행할 수 있도록 하는 모니터링프레임(910)을 제어하는 부분이다. 이 모니터링프레임(910)은 상부모니터링프레임(911)과 하부모니터링프레임(912)으로 나뉠 수 있는데, 둘의 크기는 서로 동일하거나 또는 다르더라도 무관하다. 상부 모니터링프레임(911)에는 캐릭터 아바타(800)가 학습모듈(21)과 동일하게 표시되고, 하부 모니터링프레임(912)에는 캐릭터 아바타(800)의 감정표현을 제어하도록 서로 다른 감정표현 제어명령이 기 지정된 복수개의 감정선택버튼이 표시된다. 이러한 감정선택버튼은 예를 들면 스마일 등의 특수한 캐릭터 아바타의 표정을 제어하는 명령이 지정된 것을 의미한다.
다음으로 학습자영상프레임구성부(635)는 튜터(30)에게 학습자(20)의 학습중인 모습을 표시하는 부분이다. 이 학습자영상프레임(920)도 상부학습자영상프레임(921)과 하부학습자영상프레임(922)으로 나뉘며, 역시 둘의 크기는 서로 동일하거나 또는 다르더라도 무관하다. 상부학습자영상프레임(921)에는 학습모듈(21)에 포함된 카메라단자를 통해 촬영된 학습자(20)의 얼굴영상을 표시하는데, 이를 통해 튜터(30)는 학습자(20)의 감정상태나 수업집중도 등을 판단할 수 있다. 또한 하부학습자영상프레임(922)에는 학습자(20)가 시스템으로의 접속상태를 안내하고, 튜터(30)와의 연결요청여부 및 연결승인을 진행할 수 있는 상태표시창을 표시한다.
튜터(30)는 이렇게 나뉘어진 튜터단말(31)의 화면을 통해 학습자(20)와의 수업 연결을 용이하게 조작할 수 있을 뿐만 아니라, 학습자(20)의 집중상황이나 실시간 현황에 맞추어 캐릭터 아바타(800)를 제어할 수 있어 학습자(20)의 학습 집중도를 높일 수 있게 되는 것이다.
다음으로 아바타교육인터페이스(600)는 상기 튜터(30)가 보유한 음성입력수단을 통해 입력된 상기 튜터(30)의 음성신호를 음성입력데이터로 저장하는 튜터음성저장모듈(640)과, 상기 튜터(30)가 보유한 촬영수단을 통해 입력된 상기 튜터(30)의 입술모양 촬영영상을 입술데이터로 저장하는 튜터입술저장모듈(660)과, 상기 캐릭터 아바타(800)의 얼굴에 상기 입술데이터를 합성하여 합성아바타를 생성하는 아바타합성모듈과, 상기 합성아바타와 상기 음성입력데이터를 상기 학습모듈(21)로 제공하는 아바타학습모듈(21)을 더 포함하여 구성된다.
튜터(30)는 아바타교육을 수행하기 위해 자신의 음성을 저장하여 학습자(20)에게 보낼 수 있도록 음성입력수단을 보유해야 한다. 튜터음성저장모듈(640)에서는 이 음성입력수단을 통해 튜터(30)의 음성신호를 음성입력데이터로 저장하고, 더 나아가 튜터(30)가 보유한 촬영수단을 통해 튜터(30)의 얼굴(바람직하게는 입술모양을 중심으로)을 촬영하여 이를 입술데이터로 저장한다. 이렇게 저장된 입술데이터는 캐릭터 아바타(800)의 얼굴에 합성되어 합성아바타를 생성하게 되고, 이 합성아바타와 음성입력데이터를 학습모듈(21)로 제공함으로써 학습자(20)는 학습모듈(21)을 통해 튜터(30)로부터 언어 학습을 받지만 실제로 학습자(20)에게는 캐릭터 아바타(800)만이 표시되어 이를 보고 학습하게 됨으로서 튜터(30) 입장에서는 항상 고정된 학습자(20)를 가르칠 필요가 없고, 학습자(20) 입장에서도 튜터(30)가 바뀌더라도 동일한 캐릭터 아바타(800)를 통해 표시되기 때문에 부담없이 학습할 수 있다는 장점을 갖는다.
이러한 튜터(30)의 아바타교육 구성을 보다 상세하게 살펴보면 다음과 같다.
튜터음성저장모듈(640)은 동일한 표기정보에 대하여 복수의 튜터(30)로 부터 기 생성된 음성입력데이터를 샘플데이터로서 저장한 표준음성데이터베이스(641)와, 상기 튜터(30)로부터 입력된 음성입력데이터와 상기 표준음성데이터베이스(641)에 저장된 샘플데이터를 각각 텍스트로 인식한 음성텍스트를 생성하는 음성인식부(642)와, 상기 음성입력데이터와 복수의 상기 샘플데이터의 음성텍스트를 비교하여 차이가 발생하는 부분을 비교부로 설정하는 음성대조부(643)와, 상기 음성입력데이터의 비교부를 제거하되, 상기 비교부에 복수의 상기 샘플데이터를 합성한 비교합성음성을 생성하는 비교합성부(648)와, 상기 비교합성음성을 상기 음성입력데이터로서 제공하는 합성음성제공부(649)를 더 포함하여 구성된다.
즉, 복수의 튜터(30)가 과거에 동일한 표기정보에 대하여 수행한 정보를 저장하여 샘플데이터로서 표준음성데이터베이스(641)에 저장한다. 이후 튜터(30)로부터 음성입력데이터가 입력되면 이 음성입력데이터와 샘플데이터를 모두 텍스트로 인식할 수 있도록 음성텍스트를 형성한다. 음성텍스트는 소리를 텍스트화시킨 것으로서, 다양한 음성인식기법에 활용되는 방법이다. 이렇게 텍스트화된 음성텍스트를 비교하고, 차이가 발생하는 부분을 비교부로 설정한다. 이후 음성입력데이터의 비교부를 제거하고 샘플데이터의 동일 부분을 비교부위치에 합성하게 된다. 이러한 과정을 통해 문법의 오류나 문장구조의 오류, 성조나 발음의 오류 등이 자동으로 수정되어 학습자(20)에게 전달되도록 함으로써 정확한 학습을 추구할 수 있게 된다.
또한 튜터(30)의 음성이 학습자(20)가 듣기에 너무 크거나 너무 작아 불편함을 초래할 수도 있다. 이를 해결하기 위한 방법으로서, 튜터음성저장모듈(640)은 40dB 내지 120dB의 데시벨 대역 범위 내에서 서로 다른 크기를 갖는 복수의 샘플사운드를 저장한 샘플사운드데이터베이스(650)와, 상기 샘플사운드데이터베이스(650)로부터 상기 샘플사운드가 재생될 수 있도록 상기 학습모듈(21)로 제공하는 샘플사운드출력부(651)와, 상기 학습자(20)로부터 하나 이상의 샘플사운드를 선택받아 맞춤 데시벨 대역을 선정하는 샘플사운드선택부(652)와, 상기 비교합성음성을 상기 맞춤 데시벨 대역으로 변환 및 저장하는 음성크기설정부(653)와, 상기 음성크기설정부(653)에서 저장된 맞춤 데시벨 대역으로 상기 비교합성음성을 제공하는 변환사운드제공부(654)를 추가로 포함하여 구성될 수 있다.
데시벨(dB)은 소리의 크기를 나타내는 단위인데, 사람은 일반적으로 40dB에서 120dB사이의 가청범위를 갖는 것으로 알려져있다. 이런 가청범위에서도 사람은 각각의 특성에 따라 잘 들리거나 들리지 않는 가청범위가 다르기 마련이다. 따라서, 40dB 내지 120dB의 데시벨 대역 범위 내에서 서로 다른 크기를 갖는 복수의 샘플사운드를 저장해두었다가 학습모듈(21)로 이 샘플사운드를 출력하여 학습자(20)가 최상이라 생각되는 데시벨을 갖는 샘플사운드를 선택하도록 한다. 이 샘플사운드의 데시벨 값을 맞춤 데시벨 영역으로 지정하고, 앞서 생성된 비교합성음성을 맞춤 데시벨 영역의 dB값으로 변환하여 이를 제공함으로써 학습자(20)가 원하는 크기의 소리로 튜터(30)의 음성을 들을 수 있도록 구성한 것이다.
다음으로 다시 음성대조부(643)에는 상기 음성입력데이터의 음성텍스트에 대한 자연어 처리과정을 통해 발음의 오류구간을 추정하는 오류구간확인파트(644)와, 복수의 상기 샘플데이터의 음성텍스트에서 상기 오류구간의 전후 문맥으로 패턴을 추출하고, 이를 상기 오류구간과 비교하여 차이가 발생하면 상기 오류구간을 상기 비교부로 설정하는 비교부설정파트(645)와, 상기 비교부에 대한 복수의 상기 샘플데이터와 상기 음성입력데이터의 각 음절별 n-gram을 생성하는 샘플데이터분석파트(646)와, 상기 음성입력데이터의 n-gram을 상기 샘플데이터의 n-gram과 비교하여 기 설정된 오차 이상의 차이를 갖는 음절의 n-gram을 삭제하고 상기 샘플데이터의 n-gram으로 교체하는 오류수정파트(647)로 구성되는 것을 특징으로 한다.
n-gram은 음성인식 방법 중 하나로서, 음성을 텍스트화하되 이를 다시 음절이나 마디로 나누어 분석하고 이러한 분석을 통해 문장이나 문법의 오류를 수정할 수 있도록 한 것이다. 앞선 구성에서 이미 음성데이터는 텍스트화되어 음성텍스트로 변환되었으므로 이를 그대로 사용한다. 오류구간확인파트(644)에서는 음성입력데이터의 음성텍스트에 대한 자연어 처리과정을 통해 발음의 오류구간을 추정한다. 이 자연어 처리과정은 언어 활용의 빅데이터 분석을 활용하는 것인데, 음성입력데이터를 음성텍스트로 변환시키면서 그 동안 동일하거나 유사한 단어, 문장 등에서 활용된 정보를 바탕으로 기존에 저장된 음성텍스트들과 비교하여 대략적인 오류구간을 추정하는 것을 의미한다.
다음으로 비교부설정파트(645)는 샘플데이터에서 이 오류구간의 전후 문맥의 패턴을 추출하고 음성입력데이터의 오류구간과 비교하여 차이가 발생하는 경우 오류구간을 비교부로 설정토록 한다. 이후 샘플데이터분석파트(646)에서는 더욱 상세한 분석을 위해 샘플데이터의 비교부와 음성입력데이터의 비교부를 각각 음절별 n-gram을 생성하게 된다.
예를 들어, “There are two apples on the desk.”라는 문장을 발음했다고 가정하되 튜터(30)가 음성입력데이터로서 “There are two apps on the desk.”라고 발음하여 입력하였다고 하자. 일단 음성입력데이터가 음성텍스트로서 “데얼 아 투 앱스 온 더 데스크”로 변환된다. 그러나 샘플데이터의 경우 음성텍스트로서 “데얼 아 투 애플스 온 더 데스크”의 값을 갖게 된다. 비교부설정파트(645)에서는 두 문장의 차이인 “앱스”와 “애플스”를 확인하고 이를 오류구간으로 설정한다. 비교부설정파트(645)에서는 샘플데이터의 음성텍스트에서 “투 애플스 온”까지를 비교부로 설정하고, 음성데이터의 음성텍스트에서는 “투 앱스 온”까지를 비교부로 설정한다. 이후 샘플데이터분석파트(646)에서는 음성데이터의 음성텍스트를 “투-”, “-앱”, “앱스”, “스-”, “-온”의 다섯가지 n-gram을 생성하고, 샘플데이터의 음성텍스트에서는 “투-”, “-애”, “애플”, “플스”, “스-”, “-온”의 여섯가지 n-gram을 생성하게 된다.
이러한 n-gram을 비교하게 되면 쉽게 어느 부분에서 오류가 발생하였는지를 확인할 수 있으며, 오류수정파트(647)에서는 기 설정된 오차를 1개 음절이라고 하였을 때, 1음절 이상 차이가 나는 “앱스” 부분을 “애플스”로 교체하도록 하는 것이다.
이 때 오류수정파트(647)에서는 다음의 수학식을 이용하여, 상기 음성입력데이터의 n-gram을 상기 샘플데이터의 n-gram과 비교하는 것으로 오류의 발생을 확인한다.
수학식, 
여기서, 상기 A는 상기 음성입력데이터이고, 상기 Xn은 상기 음성입력데이터에서 n번째 음절이며, 상기 B는 상기 샘플데이터이며, 상기 k는 상기 샘플데이터의 총 개수를 나타낸다. 따라서 오류부분의 n-gram을 샘플데이터의 n-gram의 평균과 비교하게 되며, 이에 따라 n-gram의 오류가 발생한 부분은 샘플데이터의 n-gram 평균과 다른 값을 가질 수 밖에 없다. 그러므로 이러한 수학식의 지속적인 대입을 통해 n-gram의 비교를 수행하고 오류가 발생한 부분을 찾아 자동으로 수정할 수 있게 되는 것이다.
즉, 앞선 n-gram의 비교방식과 수학식을 바탕으로 튜터(30)의 발음 오류를 빠르고 정확하게 교정할 수 있게되어 실시간 튜터링 중 발생할 수 있는 실수를 감소시킬 수 있게 된다.
여기에 더하여, 튜터입술저장모듈(660)은 발음에 따른 표준 입술모양을 저장한 표준입술데이터베이스(661)와, 상기 비교합성음성을 인식하여 발음정보로 저장하는 합성음성인식부(662)와, 상기 표준입술데이터베이스(661)에서 상기 발음정보에 해당하는 입술모양을 추출하여 비교표준입술데이터로 저장하는 입술모양추출부(663)와, 상기 입술데이터에서 상기 비교부에 해당하는 부분을 제거하되, 상기 비교부에 상기 비교표준입술데이터를 합성한 합성입술데이터를 생성하는 입술합성부(664)와, 상기 합성입술데이터를 상기 입술데이터로서 제공하는 합성입술제공부(665)를 더 포함하여 구성될 수 있다.
즉, 앞선 구성에서는 소리의 오류만을 수정하였다면, 이를 더욱 자연스럽게 하기 위해 캐릭터 아바타(800)의 입술모양도 동일하게 변경시키는 것이다. 즉, 발음에 따른 표준 입술모양을 저장한 표준입술데이터베이스(661)와, 비교합성음성을 인식하여 발음정보로 저장하는 합성음성인식부(662)를 통해 음성을 인식하여 입술모양으로 변경할 준비를 마친다.
다음으로 표준입술데이터베이스(661)에서 발음정보에 해당하는 입술모양을 추출하여 비교표준입술데이터로 저장하고, 원래의 입술데이터에서 비교부에 해당하는 부분을 제거하고 비교표준입술데이터를 합성시켜 합성입술데이터를 완성한다. 이렇게 합성된 합성입술데이터가 입술데이터로서 제공되며 따라서 학습자(20)는 캐릭터 아바타(800)를 통해 튜터(30)의 오류가 수정되어 변환된 음성과 입술모양을 보게 되므로 오류가 없는 완벽한 아바타 튜터링 학습이 가능하게 된다.
지금까지 설명한 바와 같이, 본 발명에 따른 아바타 기반의 언어 학습시스템의 구성 및 작용을 상기 설명 및 도면에 표현하였지만 이는 예를 들어 설명한 것에 불과하여 본 발명의 사상이 상기 설명 및 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능함은 물론이다.
10 : 시스템서버 20: 학습자
21: 학습모듈 30: 튜터
31: 튜터단말 100: 일정관리인터페이스
200: 아바타데이터베이스 300: 학습데이터베이스
400: 학습인터페이스 410: 카드학습모듈
411: 미디어출력부 412: 사운드출력부
413: 카드제공부 420: 선택학습모듈
421: 버튼프레임생성부 422: 보조프레임생성부
423: 선택학습제공부 430: 이야기학습모듈
431: 이야기프레임생성부 432: 미디어배치부
434: 미디어재생부 500: 퀴즈인터페이스
530: 사운드퀴즈모듈 531: 메인사운드지정부
532: 서브사운드추출부 533: 프레임사운드선택부
534: 정답사운드확인부 535: 메인미디어지정부
536: 서브미디어추출부 537: 프레임미디어적용부
540: 영상퀴즈모듈 541: 게임미디어출력부
542: 프레임매칭적용부 543: 프레임미디어선택부
544: 정답미디어확인부 600: 아바타교육인터페이스
610: 교육시작모듈 611: 교육버튼배치부
612: 학습접속부 613: 튜터접속부
620: 교육준비모듈 622: 표기정보표시부
623: 연결안내부 630: 아바타제어모듈
631: 아바타기울임제어부 632: 아바타동작제어부
633: 튜터화면분할부 634: 모니터링프레임구성부
635: 학습자영상프레임구성부 640: 튜터음성저장모듈
641: 표준음성데이터베이스 642: 음성인식부
643: 음성대조부 644: 오류구간확인파트
645: 비교부설정파트 646: 샘플데이터분석파트
647: 오류수정파트 648: 비교합성부
649: 합성음성제공부 650: 샘플사운드데이터베이스
651: 샘플사운드출력부 652: 샘플사운드선택부
653: 음성크기설정부 654: 변환사운드제공부
660: 튜터입술저장모듈 661: 표준입술데이터베이스
662: 합성음성인식부 663: 입술모양추출부
664: 입술합성부 665: 합성입술제공부
700: 화면 710: 제1 프레임
711: 제2 프레임 712: 제3 프레임
713: 제4 프레임 714: 제5 프레임
720: 버튼프레임 721: 보조프레임
800: 캐릭터 아바타 810: 포인트
820: 퀘스트 900: 포인트제공인터페이스
910: 모니터링프레임 911: 상부모니터링프레임
912: 하부모니터링프레임 920: 학습자영상프레임
921: 상부학습자영상프레임 922: 하부학습자영상프레임
21: 학습모듈 30: 튜터
31: 튜터단말 100: 일정관리인터페이스
200: 아바타데이터베이스 300: 학습데이터베이스
400: 학습인터페이스 410: 카드학습모듈
411: 미디어출력부 412: 사운드출력부
413: 카드제공부 420: 선택학습모듈
421: 버튼프레임생성부 422: 보조프레임생성부
423: 선택학습제공부 430: 이야기학습모듈
431: 이야기프레임생성부 432: 미디어배치부
434: 미디어재생부 500: 퀴즈인터페이스
530: 사운드퀴즈모듈 531: 메인사운드지정부
532: 서브사운드추출부 533: 프레임사운드선택부
534: 정답사운드확인부 535: 메인미디어지정부
536: 서브미디어추출부 537: 프레임미디어적용부
540: 영상퀴즈모듈 541: 게임미디어출력부
542: 프레임매칭적용부 543: 프레임미디어선택부
544: 정답미디어확인부 600: 아바타교육인터페이스
610: 교육시작모듈 611: 교육버튼배치부
612: 학습접속부 613: 튜터접속부
620: 교육준비모듈 622: 표기정보표시부
623: 연결안내부 630: 아바타제어모듈
631: 아바타기울임제어부 632: 아바타동작제어부
633: 튜터화면분할부 634: 모니터링프레임구성부
635: 학습자영상프레임구성부 640: 튜터음성저장모듈
641: 표준음성데이터베이스 642: 음성인식부
643: 음성대조부 644: 오류구간확인파트
645: 비교부설정파트 646: 샘플데이터분석파트
647: 오류수정파트 648: 비교합성부
649: 합성음성제공부 650: 샘플사운드데이터베이스
651: 샘플사운드출력부 652: 샘플사운드선택부
653: 음성크기설정부 654: 변환사운드제공부
660: 튜터입술저장모듈 661: 표준입술데이터베이스
662: 합성음성인식부 663: 입술모양추출부
664: 입술합성부 665: 합성입술제공부
700: 화면 710: 제1 프레임
711: 제2 프레임 712: 제3 프레임
713: 제4 프레임 714: 제5 프레임
720: 버튼프레임 721: 보조프레임
800: 캐릭터 아바타 810: 포인트
820: 퀘스트 900: 포인트제공인터페이스
910: 모니터링프레임 911: 상부모니터링프레임
912: 하부모니터링프레임 920: 학습자영상프레임
921: 상부학습자영상프레임 922: 하부학습자영상프레임
Claims (18)
- 네트워크망을 통해 소정의 컨텐츠를 제공하는 온라인인터페이스에 접속하여 언어 학습을 할 있도록 한 언어 학습시스템에 있어서,
학습자의 일별 학습일정을 설정하는 일정관리인터페이스;
상기 학습자별로 보유한 캐릭터 아바타의 포인트가 저장된 아바타데이터베이스;
특정사물에 해당하는 실물 동영상 또는 애니메이션과 같은 미디어정보와 그에 대응하는 발음소리 및 텍스트로 표기된 표기정보를 포함하는 학습데이터를 저장하는 학습데이터베이스;
상기 학습일정에 해당하는 상기 학습데이터 중 적어도 하나를 상기 학습자가 보유한 학습모듈로 제공하여 상기 학습자가 학습을 실시할 수 있도록 하는 학습인터페이스;
상기 학습일정에 해당하는 상기 학습데이터 중 적어도 하나를 활용한 게임을 상기 학습모듈로 제공하는 퀴즈인터페이스;
상기 학습 또는 상기 게임의 종료 시점에 상기 캐릭터 아바타에 소정의 포인트를 제공하는 포인트제공인터페이스;
상기 캐릭터 아바타가 기 지정된 제한값 이상의 상기 포인트를 보유한 경우 튜터와 상기 학습자의 연결을 수행하는 교육시작모듈과, 상기 학습모듈의 화면에 상기 캐릭터 아바타를 표시하는 캐릭터 아바타표시부와 상기 튜터가 보유한 튜터단말의 화면에 상기 학습일정에 해당하는 표기정보를 표시하는 표기정보표시부를 구비한 교육준비모듈 및, 상기 튜터가 보유한 조작수단을 통해 상기 캐릭터 아바타의 동작을 제어하는 아바타제어모듈과, 상기 튜터가 보유한 음성입력수단을 통해 입력된 상기 튜터의 음성신호를 음성입력데이터로 저장하는 튜터음성저장모듈 및, 상기 튜터가 보유한 촬영수단을 통해 입력된 상기 튜터의 입술모양 촬영영상을 입술데이터로 저장하는 튜터입술저장모듈과, 상기 캐릭터 아바타의 얼굴에 상기 입술데이터를 합성하여 합성아바타를 생성하는 아바타합성모듈 및, 상기 합성아바타와 상기 음성입력데이터를 상기 학습모듈로 제공하는 아바타학습모듈을 포함하는 아바타교육인터페이스;를 포함하되,
상기 튜터음성저장모듈은,
동일한 표기정보에 대하여 복수의 튜터로부터 기 생성된 음성입력데이터를 샘플데이터로서 저장한 표준음성데이터베이스와, 상기 튜터로부터 입력된 음성입력데이터와 상기 표준음성데이터베이스에 저장된 샘플데이터를 각각 텍스트로 인식한 음성텍스트를 생성하는 음성인식부 및, 상기 음성입력데이터와 복수의 상기 샘플데이터의 음성텍스트를 비교하여 차이가 발생하는 부분을 비교부로 설정하는 음성대조부와, 상기 음성입력데이터의 비교부를 제거하되 상기 비교부에 복수의 상기 샘플데이터를 합성한 비교합성음성을 생성하는 비교합성부 및, 상기 비교합성음성을 상기 음성입력데이터로서 제공하는 합성음성제공부와,
40dB 내지 120dB의 데시벨 대역 범위 내에서 서로 다른 크기를 갖는 복수의 샘플사운드를 저장한 샘플사운드데이터베이스 및, 상기 샘플사운드데이터베이스로부터 상기 샘플사운드가 재생될 수 있도록 상기 학습모듈로 제공하는 샘플사운드출력부와, 상기 학습자로부터 하나 이상의 샘플사운드를 선택받아 맞춤 데시벨 대역을 선정하는 샘플사운드선택부 및, 상기 비교합성음성을 상기 맞춤 데시벨 대역으로 변환 및 저장하는 음성크기설정부와, 상기 음성크기설정부에서 저장된 맞춤 데시벨 대역으로 상기 비교합성음성을 제공하는 변환사운드제공부를 포함하는 것을 특징으로 하는, 아바타 기반의 언어 학습시스템. - 제 1항에 있어서,
상기 퀴즈인터페이스는,
상기 학습일정에 해당하는 상기 발음소리를 메인사운드로 지정하는 메인사운드지정부와,
상기 학습데이터베이스에서 상기 학습자의 학습미션에 해당하지 않는 발음소리를 추출하여 서브사운드로 지정하는 서브사운드추출부와,
상기 학습자가 소지한 학습자단말의 화면을 제1 프레임과 제2 프레임의 독립적인 공간으로 분리하고, 상기 메인사운드 및 상기 서브사운드를 제1,2 프레임에 각각 하나씩 배치하여 순차적으로 출력하는 프레임사운드적용부와,
상기 학습자로부터 상기 제1,2 프레임 중 적어도 하나를 선택받으면 선택된 프레임의 상기 메인사운드의 포함여부를 확인하는 프레임사운드선택부와,
상기 메인사운드가 포함된 프레임이 선택된 경우 상기 학습자단말로 정답연출을 표시하고 게임을 완료하는 정답사운드확인부로 구성되는 사운드퀴즈모듈을 더 포함하는 것을 특징으로 하는, 아바타 기반의 언어 학습시스템. - 제 2항에 있어서,
상기 사운드퀴즈모듈은,
상기 학습일정에 해당하는 상기 미디어정보를 메인미디어로 지정하는 메인미디어지정부와,
상기 학습데이터베이스에서 상기 서브사운드에 대응하는 미디어정보를 추출하여 서브미디어로 지정하는 서브미디어추출부와,
상기 제1,2 프레임에 배치된 상기 메인사운드 및 상기 서브사운드에 따라 대응되는 상기 메인미디어 및 상기 서브미디어를 각각 배치하는 프레임미디어적용부를 더 포함하는 것을 특징으로 하는, 아바타 기반의 언어 학습시스템. - 제 1항에 있어서,
상기 학습인터페이스는,
상기 학습일정에 해당하는 상기 미디어정보를 메인미디어로 지정하고 상기 학습모듈로 제공하는 미디어출력부와,
상기 미디어정보의 재생이 종료되면 상기 메인미디어에 대응하는 발음소리를 메인사운드로 지정하고 상기 메인사운드가 출력되도록 상기 학습모듈로 제공하는 사운드출력부와,
상기 메인미디어에 대응되는 상기 표기정보가 포함된 제3 프레임이 표시되도록 상기 학습모듈로 제공하는 카드제공부로 구성되는 카드학습모듈을 더 포함하는 것을 특징으로 하는, 아바타 기반의 언어 학습시스템. - 제 4항에 있어서,
상기 퀴즈인터페이스는,
상기 메인미디어를 출력하는 게임미디어출력부와,
상기 학습자가 소지한 학습자단말의 화면을 제4프레임과 제5프레임의 독립적인 공간으로 분리하고, 상기 메인미디어 및 상기 메인미디어를 제외한 임의의 미디어정보를 제4,5 프레임에 각각 하나씩 배치하여 표시하는 프레임매칭적용부와,
상기 학습자로부터 상기 제4,5 프레임 중 적어도 하나를 선택받으면 선택된 프레임의 상기 메인미디어 포함여부를 확인하는 프레임미디어선택부와,
상기 메인미디어가 포함된 프레임이 선택된 경우 상기 학습자단말로 정답연출을 표시하고 학습을 완료하는 정답미디어확인부로 구성되는 영상퀴즈모듈을 더 포함하는 것을 특징으로 하는, 아바타 기반의 언어 학습시스템. - 제 1항에 있어서,
상기 학습인터페이스는,
상기 학습모듈의 화면 일 측에 버튼프레임을 형성하는 버튼프레임생성부와,
상기 학습자로부터 상기 버튼프레임이 선택되면 상기 화면에 보조프레임을 생성하고 상기 학습데이터베이스에 저장된 복수의 미디어정보를 축소하여 일렬로 배치한 복수의 이미지버튼을 포함하는 이미지서랍을 상기 보조프레임에 표시하는 보조프레임생성부와,
상기 학습자로부터 상기 이미지버튼 중 적어도 하나가 선택되면 상기 이미지버튼에 해당되는 미디어정보와 상기 미디어정보에 대응하는 발음소리를 상기 학습모듈로 제공하는 선택학습제공부로 구성되는 선택학습모듈을 더 포함하는 것을 특징으로 하는, 아바타 기반의 언어 학습시스템. - 제 1항에 있어서,
상기 학습인터페이스는,
상기 학습모듈의 화면에서 팝업되는 프레임으로서, 미디어레이아웃과, 상기 미디어레이아웃의 하단부에 위치하는 복수개의 버튼레이아웃을 포함하는 팝업프레임을 생성하는 이야기프레임생성부와,
상기 학습데이터베이스에 저장된 상기 미디어정보 중 복수개를 추출하고, 상기 미디어레이아웃을 복수개의 구역으로 나누어 각 구역마다 추출된 상기 미디어정보를 하나씩 배치하는 미디어배치부와,
상기 버튼레이아웃에 각각 상기 구역을 일대일 매칭시키는 구역매칭부와,
상기 학습자로부터 상기 버튼레이아웃 중 적어도 하나를 선택받으면 선택된 버튼레이아웃과 매칭된 상기 구역으로 배치된 상기 미디어정보와 그에 대응하는 상기 발음소리를 재생하는 미디어재생부로 구성되는 이야기학습모듈을 더 포함하는 것을 특징으로 하는, 아바타 기반의 언어 학습시스템. - 삭제
- 제 1항에 있어서,
상기 교육시작모듈은,
상기 캐릭터 아바타가 기 지정된 제한값 이상의 포인트를 보유한 경우 상기 학습모듈의 화면 일 측에 튜터링교육버튼을 표시하는 교육버튼배치부와,
상기 학습자로부터 상기 튜터링교육버튼이 선택된 경우 튜터가 보유한 튜터단말로 상기 학습자와의 연결을 시작하는 학습접속부와,
상기 튜터의 접속여부를 확인하고 상기 학습자와의 연결을 수행하는 튜터접속부로 구성되는 것을 특징으로 하는, 아바타 기반의 언어 학습시스템. - 제 1항에 있어서,
상기 교육준비모듈은,
상기 학습모듈의 화면에 상기 학습자와 상기 튜터의 연결여부를 안내하는 연결안내부를 더 포함하는 것을 특징으로 하는, 아바타 기반의 언어 학습시스템. - 제 1항에 있어서,
상기 아바타제어모듈은,
상기 튜터가 보유한 조이스틱 조작수단을 통해 입력된 회전조작신호에 따라 상기 캐릭터 아바타의 기울인 방향을 동일하게 제어하는 아바타기울임제어부와,
상기 조작수단에 포함된 별도의 버튼으로부터 누름조작신호가 추가로 발생한 경우, 상기 캐릭터 아바타의 시선방향, 입모양, 이동방향 등의 세부동작을 동일한 방향으로 제어하는 아바타동작제어부를 더 포함하는 것을 특징으로 하는, 아바타 기반의 언어 학습시스템. - 제 11항에 있어서,
상기 아바타제어모듈은,
상기 튜터단말의 화면을 모니터링프레임과, 학습자영상프레임의 두 개의 프레임으로 분할하는 튜터화면분할부와,
상기 모니터링프레임을 상부모니터링프레임과 하부모니터링프레임으로 분할하고, 상기 상부모니터링프레임에는 상기 캐릭터 아바타를 표시하며, 상기 하부모니터링프레임에는 상기 캐릭터 아바타의 감정표현을 제어하도록 서로 다른 감정표현 제어명령이 기 지정된 복수개의 감정선택버튼을 표시하는 모니터링프레임구성부와,
상기 학습자영상프레임을 상부학습자영상프레임과 하부학습자영상프레임으로 분할하고, 상기 상부학습자영상프레임에는 상기 학습모듈에 포함된 카메라단자를 통해 촬영된 상기 학습자의 얼굴영상을 표시하며, 상기 하부학습자영상프레임에는, 상기 학습자의 접속상태를 나타내는 상태표시창을 표시하는 학습자영상프레임구성부를 더 포함하는 것을 특징으로 하는, 아바타 기반의 언어 학습 시스템. - 삭제
- 삭제
- 삭제
- 제 1항에 있어서,
상기 음성대조부는,
상기 음성입력데이터의 음성텍스트에 대한 자연어 처리과정을 통해 발음의 오류구간을 추정하는 오류구간확인파트와,
복수의 상기 샘플데이터의 음성텍스트에서 상기 오류구간의 전후 문맥으로 패턴을 추출하고, 이를 상기 오류구간과 비교하여 차이가 발생하면 상기 오류구간을 상기 비교부로 설정하는 비교부설정파트와,
상기 비교부에 대한 복수의 상기 샘플데이터와 상기 음성입력데이터의 각 음절별 n-gram을 생성하는 샘플데이터분석파트와,
상기 음성입력데이터의 n-gram을 상기 샘플데이터의 n-gram과 비교하여 기 설정된 오차 이상의 차이를 갖는 음절의 n-gram을 삭제하고 상기 샘플데이터의 n-gram으로 교체하는 오류수정파트로 구성되는 것을 특징으로 하는, 아바타 기반의 언어 학습시스템. - 제 16항에 있어서,
상기 오류수정파트는,
다음의 수학식을 이용하여, 상기 음성입력데이터의 n-gram을 상기 샘플데이터의 n-gram과 비교하는 것을 특징으로 하는, 아바타 기반의 언어 학습시스템.
수학식,
(여기서, 상기 A는 상기 음성입력데이터이고, 상기 Xn은 상기 음성입력데이터에서 n번째 음절이며, 상기 B는 상기 샘플데이터이며, 상기 k는 상기 샘플데이터의 총 개수를 나타낸다.) - 제 1항에 있어서,
상기 튜터입술저장모듈은,
발음에 따른 표준 입술모양을 저장한 표준입술데이터베이스와,
상기 비교합성음성을 인식하여 발음정보로 저장하는 합성음성인식부와,
상기 표준입술데이터베이스에서 상기 발음정보에 해당하는 입술모양을 추출하여 비교표준입술데이터로 저장하는 입술모양추출부와,
상기 입술데이터에서 상기 비교부에 해당하는 부분을 제거하되, 상기 비교부에 상기 비교표준입술데이터를 합성한 합성입술데이터를 생성하는 입술합성부와,
상기 합성입술데이터를 상기 입술데이터로서 제공하는 합성입술제공부를 더 포함하여 구성되는 것을 특징으로 하는, 아바타 기반의 언어 학습시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160111323A KR101822026B1 (ko) | 2016-08-31 | 2016-08-31 | 아바타 기반의 언어 학습시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160111323A KR101822026B1 (ko) | 2016-08-31 | 2016-08-31 | 아바타 기반의 언어 학습시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101822026B1 true KR101822026B1 (ko) | 2018-01-26 |
Family
ID=61025460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160111323A KR101822026B1 (ko) | 2016-08-31 | 2016-08-31 | 아바타 기반의 언어 학습시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101822026B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639567A (zh) * | 2020-05-19 | 2020-09-08 | 广东小天才科技有限公司 | 一种三维模型的互动显示方法、电子设备及存储介质 |
| CN111639227A (zh) * | 2020-05-26 | 2020-09-08 | 广东小天才科技有限公司 | 一种虚拟角色的口语控制方法、电子设备及存储介质 |
| CN111638781A (zh) * | 2020-05-15 | 2020-09-08 | 广东小天才科技有限公司 | 基于ar的发音引导方法、装置、电子设备及存储介质 |
| KR102338217B1 (ko) * | 2021-05-07 | 2021-12-09 | 한지우 | 언어학습 시스템의 제어 방법 |
| KR20220047734A (ko) | 2020-01-15 | 2022-04-19 | 주식회사 더플랜지 | 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101134455B1 (ko) * | 2009-06-25 | 2012-04-13 | 한국전자통신연구원 | 음성 인식 장치 및 그 방법 |
-
2016
- 2016-08-31 KR KR1020160111323A patent/KR101822026B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101134455B1 (ko) * | 2009-06-25 | 2012-04-13 | 한국전자통신연구원 | 음성 인식 장치 및 그 방법 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220047734A (ko) | 2020-01-15 | 2022-04-19 | 주식회사 더플랜지 | 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법 |
| CN111638781A (zh) * | 2020-05-15 | 2020-09-08 | 广东小天才科技有限公司 | 基于ar的发音引导方法、装置、电子设备及存储介质 |
| CN111638781B (zh) * | 2020-05-15 | 2024-03-19 | 广东小天才科技有限公司 | 基于ar的发音引导方法、装置、电子设备及存储介质 |
| CN111639567A (zh) * | 2020-05-19 | 2020-09-08 | 广东小天才科技有限公司 | 一种三维模型的互动显示方法、电子设备及存储介质 |
| CN111639567B (zh) * | 2020-05-19 | 2024-03-22 | 广东小天才科技有限公司 | 一种三维模型的互动显示方法、电子设备及存储介质 |
| CN111639227A (zh) * | 2020-05-26 | 2020-09-08 | 广东小天才科技有限公司 | 一种虚拟角色的口语控制方法、电子设备及存储介质 |
| CN111639227B (zh) * | 2020-05-26 | 2023-09-22 | 广东小天才科技有限公司 | 一种虚拟角色的口语控制方法、电子设备及存储介质 |
| KR102338217B1 (ko) * | 2021-05-07 | 2021-12-09 | 한지우 | 언어학습 시스템의 제어 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101822026B1 (ko) | 아바타 기반의 언어 학습시스템 | |
| KR101025665B1 (ko) | 음악기반 언어 학습방법과 이를 활용한 학습장치 | |
| US20130143183A1 (en) | Reverse language resonance systems and methods for foreign language acquisition | |
| US20200320898A1 (en) | Systems and Methods for Providing Reading Assistance Using Speech Recognition and Error Tracking Mechanisms | |
| JP2001159865A (ja) | 対話型語学指導のための方法および装置 | |
| Gilliland | Listening logs for extensive listening practice | |
| CN112053595B (zh) | 由计算机实现的训练系统 | |
| JP6656529B2 (ja) | 外国語の会話訓練システム | |
| JP2019061189A (ja) | 教材オーサリングシステム | |
| Dhamarullah | The relationship between movie-watching activity and listening skill | |
| Maiullo | Radio Drama for Speaking Practice. | |
| CN106357715A (zh) | 发音矫正方法、玩具、移动终端和系统 | |
| KR20140087956A (ko) | 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법 | |
| JP2020038371A (ja) | コンピュータプログラム、発音学習支援方法及び発音学習支援装置 | |
| KR20020068835A (ko) | 네트워크를 이용한 외국어 학습 시스템 및 그 방법 | |
| KR20030079497A (ko) | 대화형 언어학습 시스템 및 서비스방법 | |
| KR101681673B1 (ko) | 인터넷 상에서의 소리 기반 영어 훈련 방법 및 시스템 | |
| Ghenaati et al. | The effect of exposure to TV and radio news on the improvement of Iranian EFL learners’ speaking fluency | |
| JP6155102B2 (ja) | 学習支援装置 | |
| Walker et al. | Teaching English Pronunciation for a Global World | |
| Pereira et al. | Innovative Second Language Speaking Practice with Interactive Videos in a Rich Internet Application Environment. | |
| TW201209769A (en) | Method and apparatus for providing language learning | |
| Cárdenas | Authentic Audio Materials Audiobooks and Podcasts in the | |
| JPH1152830A (ja) | ゲームによる語学教習システム | |
| Goloshchuk | Developing learner’s speaking skills in an online classroom |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |