KR102012096B1 - 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템 - Google Patents
음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템Info
- Publication number
- KR102012096B1 KR102012096B1 KR1020170149627A KR20170149627A KR102012096B1 KR 102012096 B1 KR102012096 B1 KR 102012096B1 KR 1020170149627 A KR1020170149627 A KR 1020170149627A KR 20170149627 A KR20170149627 A KR 20170149627A KR 102012096 B1 KR102012096 B1 KR 102012096B1
- Authority
- KR
- South Korea
- Prior art keywords
- text
- unit
- learning
- user
- voice
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000005236 sound signal Effects 0.000 claims description 3
- 238000004148 unit process Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1081—Input via voice recognition
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- Signal Processing (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명은 초등학교 저학년 수준의 사용자가 읽기, 말하기, 듣기와 관련한 언어학습을 수행함에 있어 음성인식기술이 접목된 게임콘텐츠를 통해 학습능률을 향상시킬 수 있는 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템에 관한 것이다.
Description
본 발명은 언어 학습 시스템에 관한 것으로, 자세하게는 초등학교 저학년 수준의 사용자가 읽기, 말하기, 듣기와 관련한 언어학습을 수행함에 있어 음성인식기술이 접목된 게임콘텐츠를 통해 학습능률을 향상시킬 수 있는 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템에 관한 것이다.
일반적인 언어의 학습은 듣기, 이해하기, 말하기와 쓰기 위주의 활동을 통해 이루어지게 된다. 물론 유아기 때는 가족에 의해 같은 언어를 반복적으로 듣고 그림책이나 장남감등을 통하여 자연스럽게 습득되나, 유아기 이후에는 주로 학교에서 학습을 통하여 습득이 이루어진다.
근래에는 오디오, TV, 컴퓨터, 게임기 등과 같은 장치 및 매체를 통해 저연령층을 대상으로 언어 학습이 이루어지고 있으며 반복하여 듣기, 말하기, 영상을 통하여 내용을 이해하기, 받아쓰기 방식 등의 콘텐츠 형태의 다양한 자료가 제공되고 있다.
이러한 예로 마이크와 디스플레이를 포함한 인터페이스를 구비한 컴퓨터 유형의 단말기를 활용한 말하기, 쓰기 학습을 비롯하여 동영상을 보여주거나, 책을 자동으로 읽어 주는 콘텐츠가 존재 한다.
하지만, 종래의 콘텐츠는 대부분 단순 정해진 스크립트를 따라 읽는 수준이고, 음성인식을 통한 말하기 교육도 학습자의 발음 파형을 원어민과 비교하는 발음교정에 그 기능이 집중되었으며 정해진 시나리오와 스크립트에 의해 사용자는 단순 반복하고 따라 읽는 수준으로 학습자가 쉽게 학습에 실증을 느끼게 되어 꾸준한 학습이 이루어지지 못하는 문제점이 있었다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 창출된 것으로, 본 발명의 목적은 초등학교 저학년 수준의 사용자가 언어학습을 수행함에 있어 단순반복적으로 진행되는 언어 습득 방식이 아닌 사용자가 직접 보고 듣고 읽어볼 수 있도록 음성인식기술이 접목된 게임콘텐츠를 통해 학습능률을 향상시킬 수 있는 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템을 제공하는 것이다.
상기와 같은 목적을 위해 본 발명은 언어 학습 시스템에 있어서, 음성분석에 따른 텍스트 데이터가 저장된 데이터베이스; 사용자로부터 동작명령을 입력받고 영상신호 및 음향신호를 출력하는 인터페이스부; 선택된 콘텐츠에 의한 텍스트를 상기 인터페이스부를 통해 제시하는 학습진행부; 상기 인터페이스부를 통해 제시된 텍스트에 대응하는 사용자의 음성을 입력받아 인식하는 음성인식부; 상기 음성인식부에 입력된 음성의 인식오류를 판단하는 제1판단부; 상기 음성인식부에 입력된 음성을 분석하되 상기 데이터베이스에 저장된 텍스트 데이터를 검색하여 유사도를 산출하는 제1비교부; 상기 제1비교부로부터의 설정된 유사도 이상의 텍스트 데이터에 대하여 분석된 음성의 정확도를 산출하는 제2비교부; 상기 제2비교부를 통해 설정된 정확도 이상으로 판정시 이를 정답 처리하고, 설정된 정확도 이하 또는 상기 제1판단부를 통해 인식오류 판단시 오답 처리하여 결과를 상기 인터페이스부를 통해 제공하는 제2판단부; 로 이루어지는 것을 특징으로 한다.
이때 상기 데이터베이스에는 텍스트에 대응하는 이미지정보 및 음성정보가 함께 저장되되, 상기 학습진행부는 인터페이스부를 통해 텍스트 제시와 함께 사용자의 선택에 따라 이미지정보 또는 음성정보를 함께 출력하도록 구성되는 것이 바람직하다.
또한, 상기 학습진행부는 다수의 텍스트를 사용자에게 제공하여 사용자가 선택할 수 있도록 한 후 설정된 시간 내에 텍스트에 대응하는 음성을 입력받을 수 있도록 구성되고, 상기 제2판단부를 통해 정답처리시 점수를 가산하고, 오답처리시 해당 텍스트를 별도로 관리하는 평가부; 를 더 포함하는 것이 바람직하다.
또한, 오답 처리된 텍스트에 대하여 가산치를 부여하여 제시하는 빈도를 조절하는 빈도조절부; 설정된 횟수 이상의 오답 텍스트를 조합한 문장을 생성하여 제공하도록 구성되는 문장생성부; 를 더 포함할 수 있다.
본 발명은 놀이를 통해 사용자가 직접 참여하는 방식으로 언어교육이 이루어질 수 있어 저연령층의 사용자들도 쉽고, 즐겁게 학습이 이루어질 수 있으며, 국어뿐 아니라 영어, 일본어, 중국어 등 다양한 언어 학습 관련 콘텐츠에 활용할 수 있고 음성인식기반으로 진행되는 종류의 학습관련 분야에서 놀이를 통한 교육 프로그램에 확장, 적용할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 구성 및 연결관계를 나타낸 블록도,
도 2는 본 발명의 바람직한 실시예에 따른 학습 콘텐츠 선택화면,
도 3은 본 발명의 바람직한 실시예에 다른 자음 학습화면,
도 4는 본 발명의 바람직한 실시예에 따른 모음 학습화면,
도 5는 본 발명의 바람직한 실시예에 따른 낱말 학습화면,
도 6은 본 발명의 바람직한 실시예에 따른 문장 학습화면,
도 7은 본 발명의 바람직한 실시예에 따른 이야기 학습화면,
도 8은 본 발명의 바람직한 실시예에 따른 게임 콘텐츠 선택화면,
도 9는 본 발명의 바람직한 실시예에 따른 활쏘기 게임화면,
도 10은 본 발명의 바람직한 실시예에 따른 인형 뽑기 게임화면,
도 11은 본 발명의 바람직한 실시예에 따른 보물찾기 게임화면이다.
도 2는 본 발명의 바람직한 실시예에 따른 학습 콘텐츠 선택화면,
도 3은 본 발명의 바람직한 실시예에 다른 자음 학습화면,
도 4는 본 발명의 바람직한 실시예에 따른 모음 학습화면,
도 5는 본 발명의 바람직한 실시예에 따른 낱말 학습화면,
도 6은 본 발명의 바람직한 실시예에 따른 문장 학습화면,
도 7은 본 발명의 바람직한 실시예에 따른 이야기 학습화면,
도 8은 본 발명의 바람직한 실시예에 따른 게임 콘텐츠 선택화면,
도 9는 본 발명의 바람직한 실시예에 따른 활쏘기 게임화면,
도 10은 본 발명의 바람직한 실시예에 따른 인형 뽑기 게임화면,
도 11은 본 발명의 바람직한 실시예에 따른 보물찾기 게임화면이다.
이하, 첨부된 도면을 참조하여 본 발명 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템의 구성을 구체적으로 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 구성 및 연결관계를 나타낸 블록도로서, 본 발명은 기본적으로 컴퓨터 내지는 이와 동등한 기능을 갖는 각종 단말기를 기반으로 동작하며, 특히 취학 전이나 초등학교 저학년의 연령층 또는 이와 같은 수준의 사용자가 효과적으로 언어학습을 할 수 있도록 지원하게 된다.
이를 위해 본 발명은 데이터베이스(101)와, 인터페이스부(102)와, 학습진행부(103)와, 음성인식부(104)와, 제1판단부(105)와, 제1비교부(106)와, 제2비교부(107)와, 제2판단부(108)와, 평가부(109)의 기본구성을 구비하게 된다.
상기 데이터베이스(101)는 음성분석에 따른 텍스트 데이터가 저장되어 구축되는 구성으로, 본 발명을 통해 학습하고자 하는 텍스트에 대응하는 음성분석 데이터가 미리 수집, 작성 및 저장되어 추후 사용자로부터 입력된 음성의 분석데이터를 통해 대응하는 텍스트를 확인하는 용도로 활용하게 된다. 이때 음성분석 데이터는 해당 텍스트에 대응하는 음성의 파형 등을 포함할 수 있으며 본 발명에서 텍스트라 함은 문장, 낱말을 비롯하여 모음, 자음의 요소 등 언어학습에 필요한 문자요소를 통칭한다.
이때 글자에 아직 익숙하지 않은 취학 전이나 초등학교 저학년의 연령층 수준의 사용자가 본 발명을 활용함에 있어 도움을 받을 수 있도록 상기 데이터베이스(101)는 저장된 텍스트 데이터에 대응하는 이미지정보가 함께 저장되며, 듣기 내지는 말하기 학습을 위해 텍스트 데이터에 대응하는 목소리, 즉 음성정보가 함께 저장된다.
이와 더불어 상기 데이터베이스(101)에는 기본적으로 언어학습에 활용될 학습 및 게임콘텐츠가 저장되어 사용자의 필요에 따라 이를 읽어 학습이 진행될 수 있도록 구성되며, 이러한 학습콘텐츠 및 게임콘텐츠에 대하여는 뒷부분에서 자세히 설명한다.
상기 인터페이스부(102)는 본 발명이 구현되는 컴퓨터나 단말기에 구비된 입·출력수단을 통해 구축되는 구성으로, 기본적으로 키보드나 터치스크린 등을 통해 사용자부터 동작명령을 입력받고, 모니터 및 스피커를 통해 영상신호 및 음향신호를 출력하게 된다. 근래 대부분의 휴대용 단말기에 탑재되는 터치스크린과 스피커를 통해 구현될 수 있으며, 학습콘텐츠 또는 게임콘텐츠가 출력되며 사용자가 텍스트 기반의 객체를 선택할 수 있도록 구성된다.
상기 학습진행부(103)는 선택된 콘텐츠에 의한 텍스트를 상기 인터페이스부를 통해 제시하는 구성이다. 앞서 학습콘텐츠와 게임콘텐츠를 언급하였는데 실질적으로 어떤 형태의 콘텐츠라도 본 발명에서는 언어학습이라는 점에서 공통적이며, 사용자가 읽거나 선택할 수 있는 텍스트를 상기 인터페이스부를 통해 제시하여 사용자가 이를 읽거나 선택함으로 학습이 진행될 수 있도록 구성된다.
이때 상기 학습진행부(103)는 사용자의 수준에 맞추어 인터페이스부를 통해 제시되는 텍스트와 함께 사용자의 선택에 따라 이미지정보 또는 음성정보를 함께 출력하여 글자에 익숙치 않은 사용자의 학습진행을 돕도록 구성될 수 있다.
상기 음성인식부(104)는 마이크와 음성인식 알고리즘 기반의 구성으로, 상기 인터페이스부를 통해 제시된 텍스트에 대응하는 사용자의 음성을 입력받아 인식하게 되며, Google speech recognizer API 등 상용의 음성인식 알고리즘을 통해 사용자의 음성을 인식하고 텍스트로 변환할 수 있다.
상기 제1판단부(105)는 상기 음성인식부(104)에 입력된 음성의 인식오류를 판단하기 위한 구성으로, 마이크의 정상작동 여부 및 오류를 판단할 수 있다. 일례로 상기 인터페이스부(102)를 통해 텍스트 제시 후 설정된 시간 상기 음성인식부(104)를 통한 아무런 음향의 인식이 없거나, 잡음의 혼재 내지는 입력되는 소리가 너무 작아 인식이 원활치 못한 상황 또는 마이크가 동작이 되지 않는 상황을 모두 인식오류로 판단하게 된다.
이와 같은 인식오류 상황에서는 상기 제1판단부는 오류 메시지를 상기 인터페이스부(102)를 통해 출력하여 사용자가 다시 음성을 입력할 수 있도록 하며, 3회 연속으로 오류인식시 원활한 학습이 이루어지지 않는 것으로 후술하는 바와 같이 오답 처리할 수 있다.
상기 제1판단부(105)를 통해 오류 없이 음성인식이 될 경우 음성입력 스트링을 통해 파형분석 등의 방법을 적용하여 입력된 음성을 분석하게 되며, 상기 제1비교부(106)는 상기 음성인식부에 입력된 음성을 분석하되 이러한 음성의 특징을 상기 데이터베이스(101)를 통해 검색하며 저장된 음성분석 데이터를 검색하여 유사도를 산출하게 된다.
이때 유사도가 높은 텍스트 데이터가 실제 사용자가 입력한 음성에 대응하는 텍스트로 판단될 수 있으며, 상기 제2비교부(107)는 상기 제1비교부(106)를 통해 산출된 유사도가 설정된 유사도 이상인 경우 이에 대응하는 텍스트로 인식하게 되며, 대응하는 텍스트 데이터에 대하여 데이터베이스(101)와 재차 비교하며 설정된 알고리즘에 따라 분석된 음성의 정확도를 산출하게 된다.
상기 제2판단부(108)는 상기 제2비교부(107)를 통해 설정된 정확도 이상, 바람직하게는 80% 이상 데이터베이스에 저장된 텍스트 데이터와 일치하는 것으로 판정시 이를 정답 처리하고, 설정된 정확도 이하 또는 상기 제1판단부(105)를 통해 인식오류 판단시 오답 처리하게 된다. 즉 상기 학습진행부(103)를 통해 제시된 텍스트에 대하여 사용자가 이를 읽었을 경우 상기 제2판단부(108)를 통해 정확하게 읽었는지를 판단하여 정답 처리하게 되며 인식된 음성의 정확도가 떨어지거나 앞서 언급한 바와 같이 인식 오류일 경우 오답으로 처리 후 이러한 처리결과를 상기 인터페이스부(102)를 통해 제공하여 사용자가 인지할 수 있도록 한다.
이때 게임 콘텐츠에서 상기 학습진행부는 다수의 텍스트를 사용자에게 제공하여 사용자가 선택할 수 있도록 한 후 설정된 시간 내에 텍스트에 대응하는 음성을 입력받을 수 있도록 구성될 수 있으며, 후술되는 바와 같이 다수의 텍스트를 순차적으로 제시하여 활쏘기 등의 게임 방식으로 이를 선택하거나, 다수의 텍스트를 동시에 제시하여 인형 뽑기 내지는 보물 캐기 등의 게임방식으로 이를 선택할 수 있다.
상기 평가부(109)는 상기 제2판단부(108)를 통해 정답처리시 점수를 가산하고, 오답처리시 해당 텍스트를 별도로 관리하여 학습의 평가 내지는 피드백이 이루어지도록 한다. 일례로 게임 콘텐츠에서 정답 처리시 100점의 점수를 가산 및 누적하며 설정된 점수 도달 시 게임이나 학습이 종료되도록 구성할 수 있다.
도 2는 본 발명의 바람직한 실시예에 따른 학습 콘텐츠 선택화면으로서, 본 발명의 바람직한 실시예에서는 자음학습을 위한 자음마을, 모음학습을 위한 모음마을, 낱말학습을 위한 낱말마을, 문장학습을 위한 문장마을을 비롯하여 비교적 긴 문장의 집합으로 이루어져 비교적 높은 수준의 학습을 지원하는 이야기 마을로 구분된 학습 콘텐츠 제공이 이루어지게 된다.
이때 친숙한 형태의 캐릭터를 통해 튜토리얼, 안내 등의 지원이 이루어질 수 있고, 콘텐츠의 선택 및 메뉴로 가기 등 직관적인 인터페이스를 통해 저연령대의 사용자도 어렵지 않게 사용할 수 있도록 한다.
도 3은 본 발명의 바람직한 실시예에 다른 자음 학습화면, 도 4는 본 발명의 바람직한 실시예에 따른 모음 학습화면, 도 5는 본 발명의 바람직한 실시예에 따른 낱말 학습화면, 도 6은 본 발명의 바람직한 실시예에 따른 문장 학습화면으로, 상기 데이터베이스(101)에 저장된 텍스트 데이터는 자음, 모음, 낱말, 문장의 텍스트와 이미지 및 음성 정보를 포함하여 저장하게 되며, 상기 학습진행부(103)를 통해 선택된 콘텐츠에 따른 텍스트 데이터를 이미지 정보와 함께 출력한다. 이때 상기 인터페이스부(102)를 통해서 사용자는 듣기와 말하기 기능을 선택할 수 있으며 듣기 기능 선택시 대응하는 음성 정보가 출력되고, 말하기 기능을 선택시 앞서 언급한 음성인식부(104)의 음성감지로부터 제1판단부(105), 제1비교부(106) 및 제2비교부(107)와, 제2판단부(108)의 기능에 따른 일련의 절차가 진행된다.
도 7은 본 발명의 바람직한 실시예에 따른 이야기 학습화면으로서, 자음, 모음, 낱말 및 문장에 어느 정도 익숙한 사용자가 비교적 길이가 길면서 친숙하고 재미있는 이야기를 통해 학습이 이루어지도록 한다. 마찬가지로 이야기에 대한 텍스트 데이터 및 음성 및 이미지 정보가 데이터베이스(101)에 미리 저장된 상태에서 제공되며 이를 듣거나 녹음할 수 있는 기능이 인터페이스부(102)를 통해 제공된다.
앞서 언급한 바와 같이 본 발명은 게임이라는 콘텐츠를 통해 사용자에게 재미와 함께 도전의욕을 고취시키며 학습이 이루어질 수 있도록 구성된다. 도 8은 본 발명의 바람직한 실시예에 따른 게임 콘텐츠 선택화면으로서, 본 발명의 바람직한 실시예에서는 이러한 게임 콘텐츠로 활쏘기 게임, 인형 뽑기 게임, 보물찾기 게임을 제시한다.
도 9는 본 발명의 바람직한 실시예에 따른 활쏘기 게임화면이다. 이 콘텐츠에서는 상기 인터페이스부(102)를 통해 화면의 중앙 하단에 활과 화살이 배치되며 사용자가 이를 선택시 화살이 발사된다. 이때 콘텐츠에 따른 텍스트가 화면을 가로질러 순차적으로 이동하게 되며 타이밍에 맞게 화살을 발사하며 해당 텍스트를 맞추게 되면 상기 학습진행부는 해당 텍스트를 학습 대상으로 제시한 것으로 처리하여 상기 음성인식부(104)가 활성화하게 되고 앞서 언급한 음성인식부(104)의 음성감지로부터 제1판단부(105), 제1비교부(106) 및 제2비교부(107)와, 제2판단부(108)의 기능에 따른 일련의 절차가 진행된다. 이때 사용자가 제시된 텍스트를 정확하게 말하여 정답으로 인식됨에 따라 해당 텍스트에 대응하는 이미지 또는 음성 정보가 출력되며 정답을 재확인시켜 주게 된다.
도 10은 본 발명의 바람직한 실시예에 따른 인형 뽑기 게임화면으로, 최근 유행중인 인형 뽑기 방식으로 상기 학습진행부(103)는 인터페이스부(102)를 통해 다수의 텍스트를 제공한다. 사용자는 인터페이스부(102)를 조작하여 원하는 단어를 선택하게 되며 크레인이 해당 단어를 집어 올려 뽑으면서 학습대상 텍스트로 제시되어 음성인식부(104)가 활성화된다. 이후 음성인식부(104)의 음성감지로부터 제1판단부(105), 제1비교부(106) 및 제2비교부(107)와, 제2판단부(108)의 기능에 따른 일련의 절차가 진행된다. 이때 사용자가 제시된 텍스트를 정확하게 말하여 정답으로 인식됨에 따라 해당 텍스트에 대응하는 이미지 또는 음성 정보가 출력되며 정답을 재확인시켜 주게 된다.
도 11은 본 발명의 바람직한 실시예에 따른 보물찾기 게임화면으로, 상기 인터페이스부(102)를 통해 땅속에 묻힌 보물상자를 제공하게 된다. 이때 보물상자는 닫혀 있는 상태로 어떤 텍스트가 제시될지 사용자는 알 수 없는 상태로 해당 보물상자를 선택하여 개방하는 순간 임의의 텍스트가 학습대상으로 제시되며 음성인식부(104)가 활성화된다. 이후 음성인식부(104)의 음성감지로부터 제1판단부(105), 제1비교부(106) 및 제2비교부(107)와, 제2판단부(108)의 기능에 따른 일련의 절차가 진행된다. 이때 사용자가 제시된 텍스트를 정확하게 말하여 정답으로 인식됨에 따라 해당 텍스트에 대응하는 이미지 또는 음성 정보가 출력되며 정답을 재확인시켜 주게 된다.
이러한 게임콘텐츠 상에서 상기 평가부는 사용자의 음성이 정답 처리됨에 따라 점수를 가산하고 누적된 점수가 설정된 점수에 다다르면 게임 및 학습을 종료시키게 된다.
또한, 본 발명에서는 사용자의 취약한 부분을 보완하며 학습 효과를 증진시킬 피드백을 위한 구성으로 빈도조절부(110)와 문장생성부(111)의 구성이 부가될 수 있다.
상기 빈도조절부(110)는 상기 제2판단부(108)를 통해 오답 처리된 텍스트에 대하여 가산치를 부여하여 제시하는 빈도를 조절하는 구성으로, 학습 콘텐츠 및 게임 콘텐츠에서 초기 랜덤으로 텍스트를 제시하는 상태에서 정답 및 오답 처리된 텍스트에 대한 정보를 사용자별로 누적 관리하되, 이후 학습 또는 게임 콘텐츠 진행시 이전까지 오답 처리된 텍스트에 대하여 정답 처리된 텍스트에 대해 설정된 비율로 제시하는 빈도를 높일 수 있도록 구성하는 것이다. 이때 오답 처리된 텍스트에 대해 제시 빈도를 과도하게 높일 경우 자칫 흥미의 저하 등을 가져올 수 있으므로 사용자가 인지하지 못하는 수준의 적절한 비율의 빈도를 설정하는 것이 바람직하다.
상기 문장생성부(111)는 설정된 횟수 이상의 오답 텍스트를 조합한 문장을 생성하여 제공하게 된다. 이를 통해 오답 처리된 텍스트를 개별적으로 제시하여 재학습시키는 것과 더불어 사용자가 좋아하는 이야기나 일상의 문장에 해당 텍스트를 끼워 넣는 식으로 자연스러운 학습 및 습득이 이루어지도록 유도할 수 있으며, 텍스트를 품사별로 구분하여 특정 문장의 해당 품사부분을 오답 처리로 제시 빈도가 높은 텍스트로 교체하여 출력하게 된다.
본 발명은 첨부된 도면을 참조하여 바람직한 실시예를 중심으로 기술되었지만 당업자라면 이러한 기재로부터 본 발명의 범주를 벗어남이 없이 다양하게 변형할 수 있다는 것은 명백하다. 따라서 본 발명의 범주는 이러한 많은 변형예들을 포함하도록 기술된 청구범위에 의해서 해석되어야 한다.
101: 데이터베이스 102: 인터페이스부
103: 학습진행부 104: 음성인식부
105: 제1판단부 106: 제1비교부
107: 제2비교부 108: 제2판단부
109: 평가부 110: 빈도조절부
111: 문장생성부
103: 학습진행부 104: 음성인식부
105: 제1판단부 106: 제1비교부
107: 제2비교부 108: 제2판단부
109: 평가부 110: 빈도조절부
111: 문장생성부
Claims (4)
- 언어 학습 시스템에 있어서,
문장과 낱말과 모음 및 자음의 문자요소를 포함하는 텍스트와, 텍스트에 대응하는 음성의 파형을 포함하는 음성분석 데이터 및 음성분석에 따른 텍스트 데이터와, 텍스트에 대응하는 이미지정보 및 음성정보와, 학습콘텐츠 및 게임콘텐츠가 저장된 데이터베이스(101);
사용자로부터 동작명령을 입력받고 영상신호 및 음향신호를 출력하되, 학습콘텐츠 또는 게임콘텐츠가 출력되며 사용자가 텍스트 기반의 객체를 선택할 수 있도록 구성되는 인터페이스부(102);
선택된 콘텐츠에 의한 텍스트를 이미지정보 또는 음성정보를 함께 상기 인터페이스부(102)를 통해 제시하되, 다수의 텍스트를 사용자에게 제공하여 사용자가 선택할 수 있도록 한 후 설정된 시간 내에 텍스트에 대응하는 음성을 입력받을 수 있도록 구성되는 학습진행부(103);
상기 인터페이스부(102)를 통해 제시된 텍스트에 대응하는 사용자의 음성을 입력받아 인식하는 음성인식부(104);
상기 음성인식부(104)에 입력된 음성의 인식오류를 판단하는 제1판단부(105);
상기 음성인식부(104)에 입력된 음성을 음성입력 스트링을 통한 파형분석 방법을 적용하여 분석하되 상기 데이터베이스(101)에 저장된 음성분석 데이터를 검색하여 유사도를 산출하는 제1비교부(106);
상기 제1비교부(106)를 통해 산출된 유사도가 설정된 유사도 이상인 경우 대응하는 텍스트로 인식하며 대응하는 텍스트 데이터에 대하여 데이터베이스(101)와 비교하며 분석된 음성의 정확도를 산출하는 제2비교부(107);
상기 제2비교부(107)를 통해 설정된 정확도 이상으로 판정시 이를 정답 처리하고, 설정된 정확도 이하 또는 상기 제1판단부(105)를 통해 인식오류 판단시 오답 처리하여 결과를 상기 인터페이스부를 통해 제공하는 제2판단부(108);
상기 제2판단부(108)를 통해 정답처리시 점수를 가산하고, 오답처리시 해당 텍스트를 별도로 관리하는 평가부(109);
오답 처리된 텍스트에 대하여 가산치를 부여하여 제시하는 빈도를 조절하는 빈도조절부(110);
설정된 횟수 이상의 오답 텍스트를 조합한 문장을 생성하여 제공하되, 텍스트를 품사별로 구분하여 특정 문장의 해당 품사부분을 오답 처리로 인해 제시 빈도가 높은 텍스트로 교체하여 출력하는 문장생성부(111); 로 이루어지되,
상기 학습콘텐츠는 자음학습을 위한 자음마을과 모음학습을 위한 모음마을과 낱말학습을 위한 낱말마을과 문장학습을 위한 문장마을과 긴 문장의 집합으로 이루어진 이야기 마을로 구분되고, 상기 데이터베이스(101)에 저장된 텍스트 데이터는 자음과 모음과 낱말과 문장의 텍스트와 이미지 및 음성 정보를 포함하여 저장되어 상기 학습진행부(103)를 통해 선택된 콘텐츠에 따른 텍스트 데이터를 이미지 정보와 함께 출력하도록 구성되며,
상기 게임콘텐츠는 활쏘기 게임과 인형 뽑기 게임과 보물찾기 게임으로 구분되되,
상기 활쏘기 게임은 상기 인터페이스부(102)를 통해 화면의 중앙 하단에 활과 화살이 배치되며 사용자가 이를 선택시 화살이 발사되고 콘텐츠에 따른 텍스트가 화면을 가로질러 순차적으로 이동하며 타이밍에 맞게 화살을 발사하며 해당 텍스트를 맞추게 되면 상기 학습진행부는 해당 텍스트를 학습 대상으로 제시한 것으로 처리하여 상기 음성인식부(104)가 활성화되고,
상기 인형 뽑기 게임은 상기 학습진행부(103)가 인터페이스부(102)를 통해 다수의 텍스트를 제공한 후 사용자가 인터페이스부(102)를 조작하여 원하는 단어를 선택하게 되며 크레인이 해당 단어를 집어 올려 뽑으면서 학습대상 텍스트로 제시되어 음성인식부(104)가 활성화되고,
상기 보물찾기 게임은 상기 인터페이스부(102)를 통해 땅속에 묻힌 보물상자를 제공하되 보물상자가 닫혀 있는 상태로 어떤 텍스트가 제시될지 사용자는 알 수 없는 상태에서 사용자가 해당 보물상자를 선택하여 개방하는 순간 임의의 텍스트가 학습대상으로 제시되며 음성인식부(104)가 활성화되는 것을 특징으로 하는 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템. - 삭제
- 삭제
- 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170149627A KR102012096B1 (ko) | 2017-11-10 | 2017-11-10 | 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170149627A KR102012096B1 (ko) | 2017-11-10 | 2017-11-10 | 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190053584A KR20190053584A (ko) | 2019-05-20 |
KR102012096B1 true KR102012096B1 (ko) | 2019-10-14 |
Family
ID=66678763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170149627A KR102012096B1 (ko) | 2017-11-10 | 2017-11-10 | 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102012096B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102584732B1 (ko) | 2022-08-18 | 2023-10-05 | 이승현 | 언어 블록에 기반한 언어 학습 서비스 제공 방법 및 장치 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102175340B1 (ko) * | 2019-07-31 | 2020-11-06 | 안동대학교 산학협력단 | 컴퓨터로 읽을 수 있는 저장 매체에 저장된 유아를 위한 교육용 ar 어플리케이션 및 그 제공방법 |
KR102418569B1 (ko) * | 2020-11-03 | 2022-07-07 | 정수봉 | 문제은행식 게임 서비스 제공 장치 및 방법 |
KR102655361B1 (ko) * | 2021-02-15 | 2024-04-04 | 우석대학교 산학협력단 | 인공지능고도화를 위한 학습데이터 정제방법 및 인공지능을 활용한 사람의 학습방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101004940B1 (ko) * | 2008-03-03 | 2010-12-28 | 이동한 | 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가방법 |
KR101740636B1 (ko) * | 2015-03-05 | 2017-05-26 | 한국전자통신연구원 | 음성 인식 기반 발음 평가 방법 및 장치 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100791024B1 (ko) * | 2004-12-28 | 2008-01-03 | 윤병원 | 음성인식을 이용한 온라인 어학학습방법 및 시스템 |
KR20090063566A (ko) * | 2007-12-14 | 2009-06-18 | 송옥기 | 음성인식 게임장치 |
KR101240532B1 (ko) * | 2011-02-18 | 2013-03-11 | 윤현식 | 단어조합을 이용한 양방향 통역방법 |
KR20120115907A (ko) | 2011-04-11 | 2012-10-19 | 에스케이텔레콤 주식회사 | 어학 컨텐츠 제공 방법, 시스템 및 그의 단말기 |
-
2017
- 2017-11-10 KR KR1020170149627A patent/KR102012096B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101004940B1 (ko) * | 2008-03-03 | 2010-12-28 | 이동한 | 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가방법 |
KR101740636B1 (ko) * | 2015-03-05 | 2017-05-26 | 한국전자통신연구원 | 음성 인식 기반 발음 평가 방법 및 장치 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102584732B1 (ko) | 2022-08-18 | 2023-10-05 | 이승현 | 언어 블록에 기반한 언어 학습 서비스 제공 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
KR20190053584A (ko) | 2019-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102012096B1 (ko) | 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템 | |
KR101025665B1 (ko) | 음악기반 언어 학습방법과 이를 활용한 학습장치 | |
JP2001159865A (ja) | 対話型語学指導のための方法および装置 | |
CN105210147B (zh) | 用于改进至少一个语义单元集合的方法、设备及计算机可读记录介质 | |
KR102043419B1 (ko) | 아동언어학습을 위한 음성인식 기반 학습 시스템 및 학습방법 | |
KR101487005B1 (ko) | 문장입력을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법 | |
KR102498172B1 (ko) | 단말기의 음성인식 기능과 tts 기능을 이용한 상호 음성전달에 의한 대화형 외국어 학습방법 | |
KR20140071070A (ko) | 음소기호를 이용한 외국어 발음 학습방법 및 학습장치 | |
JP7166580B2 (ja) | 言語学習方法 | |
KR20210060040A (ko) | 외국어 말하기 학습 서버 및 방법 | |
US10825357B2 (en) | Systems and methods for variably paced real time translation between the written and spoken forms of a word | |
CN107251137B (zh) | 利用语音改善至少一种语义单元的集合的方法、装置及计算机可读记录介质 | |
US8346561B2 (en) | Voice activatable system for providing the correct spelling of a spoken word | |
CN111695777A (zh) | 教学方法、装置、电子设备以及存储介质 | |
JP2020038371A (ja) | コンピュータプログラム、発音学習支援方法及び発音学習支援装置 | |
WO2007016509A1 (en) | A system of sound representation and pronunciation techniques for english and other european languages | |
Shi et al. | Automatic Assessment and Error Detection of Shadowing Speech: Case of English Spoken by Japanese Learners. | |
KR102216870B1 (ko) | 모국어습득원리를 이용하여 소리와 의미를 익힌 후 글자를 배우는 영어학습 방법 | |
KR20130137367A (ko) | 이미지 기반 도서 관련 서비스 제공 시스템 및 방법 | |
Shivakumar et al. | AI-ENABLED LANGUAGE SPEAKING COACHING FOR DUAL LANGUAGE LEARNERS. | |
KR20140028527A (ko) | 단어의 음절 및 원어민의 발음 데이터를 이용한 단어 학습장치 및 방법 | |
KR101487007B1 (ko) | 사용자의 발음을 분석하여 교정해주는 외국어 학습장치 및 그 학습방법 | |
JP6155102B2 (ja) | 学習支援装置 | |
Shukla | Development of a human-AI teaming based mobile language learning solution for dual language learners in early and special educations | |
US20190189026A1 (en) | Systems and Methods for Automatically Integrating a Machine Learning Component to Improve a Spoken Language Skill of a Speaker |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |