KR20190053584A - 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템 - Google Patents

음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템 Download PDF

Info

Publication number
KR20190053584A
KR20190053584A KR1020170149627A KR20170149627A KR20190053584A KR 20190053584 A KR20190053584 A KR 20190053584A KR 1020170149627 A KR1020170149627 A KR 1020170149627A KR 20170149627 A KR20170149627 A KR 20170149627A KR 20190053584 A KR20190053584 A KR 20190053584A
Authority
KR
South Korea
Prior art keywords
unit
text
voice
user
learning
Prior art date
Application number
KR1020170149627A
Other languages
English (en)
Other versions
KR102012096B1 (ko
Inventor
반재천
김선
김영국
김재식
Original Assignee
충남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충남대학교산학협력단 filed Critical 충남대학교산학협력단
Priority to KR1020170149627A priority Critical patent/KR102012096B1/ko
Publication of KR20190053584A publication Critical patent/KR20190053584A/ko
Application granted granted Critical
Publication of KR102012096B1 publication Critical patent/KR102012096B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081Input via voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 초등학교 저학년 수준의 사용자가 읽기, 말하기, 듣기와 관련한 언어학습을 수행함에 있어 음성인식기술이 접목된 게임콘텐츠를 통해 학습능률을 향상시킬 수 있는 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템에 관한 것이다.

Description

음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템 {Language learning system using speech recognition and game contents}
본 발명은 언어 학습 시스템에 관한 것으로, 자세하게는 초등학교 저학년 수준의 사용자가 읽기, 말하기, 듣기와 관련한 언어학습을 수행함에 있어 음성인식기술이 접목된 게임콘텐츠를 통해 학습능률을 향상시킬 수 있는 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템에 관한 것이다.
일반적인 언어의 학습은 듣기, 이해하기, 말하기와 쓰기 위주의 활동을 통해 이루어지게 된다. 물론 유아기 때는 가족에 의해 같은 언어를 반복적으로 듣고 그림책이나 장남감등을 통하여 자연스럽게 습득되나, 유아기 이후에는 주로 학교에서 학습을 통하여 습득이 이루어진다.
근래에는 오디오, TV, 컴퓨터, 게임기 등과 같은 장치 및 매체를 통해 저연령층을 대상으로 언어 학습이 이루어지고 있으며 반복하여 듣기, 말하기, 영상을 통하여 내용을 이해하기, 받아쓰기 방식 등의 콘텐츠 형태의 다양한 자료가 제공되고 있다.
이러한 예로 마이크와 디스플레이를 포함한 인터페이스를 구비한 컴퓨터 유형의 단말기를 활용한 말하기, 쓰기 학습을 비롯하여 동영상을 보여주거나, 책을 자동으로 읽어 주는 콘텐츠가 존재 한다.
하지만, 종래의 콘텐츠는 대부분 단순 정해진 스크립트를 따라 읽는 수준이고, 음성인식을 통한 말하기 교육도 학습자의 발음 파형을 원어민과 비교하는 발음교정에 그 기능이 집중되었으며 정해진 시나리오와 스크립트에 의해 사용자는 단순 반복하고 따라 읽는 수준으로 학습자가 쉽게 학습에 실증을 느끼게 되어 꾸준한 학습이 이루어지지 못하는 문제점이 있었다.
한국공개특허 제10-2012-0115907호 (2012.10.19)
본 발명은 상기와 같은 문제점을 해결하기 위하여 창출된 것으로, 본 발명의 목적은 초등학교 저학년 수준의 사용자가 언어학습을 수행함에 있어 단순반복적으로 진행되는 언어 습득 방식이 아닌 사용자가 직접 보고 듣고 읽어볼 수 있도록 음성인식기술이 접목된 게임콘텐츠를 통해 학습능률을 향상시킬 수 있는 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템을 제공하는 것이다.
상기와 같은 목적을 위해 본 발명은 언어 학습 시스템에 있어서, 음성분석에 따른 텍스트 데이터가 저장된 데이터베이스; 사용자로부터 동작명령을 입력받고 영상신호 및 음향신호를 출력하는 인터페이스부; 선택된 콘텐츠에 의한 텍스트를 상기 인터페이스부를 통해 제시하는 학습진행부; 상기 인터페이스부를 통해 제시된 텍스트에 대응하는 사용자의 음성을 입력받아 인식하는 음성인식부; 상기 음성인식부에 입력된 음성의 인식오류를 판단하는 제1판단부; 상기 음성인식부에 입력된 음성을 분석하되 상기 데이터베이스에 저장된 텍스트 데이터를 검색하여 유사도를 산출하는 제1비교부; 상기 제1비교부로부터의 설정된 유사도 이상의 텍스트 데이터에 대하여 분석된 음성의 정확도를 산출하는 제2비교부; 상기 제1비교부를 통해 설정된 정확도 이상으로 판정시 이를 정답 처리하고, 설정된 정확도 이하 또는 상기 제1판단부를 통해 인식오류 판단시 오답 처리하여 결과를 상기 인터페이스부를 통해 제공하는 제2판단부; 로 이루어지는 것을 특징으로 한다.
이때 상기 데이터베이스에는 텍스트에 대응하는 이미지정보 및 음성정보가 함께 저장되되, 상기 학습진행부는 인터페이스부를 통해 텍스트 제시와 함께 사용자의 선택에 따라 이미지정보 또는 음성정보를 함께 출력하도록 구성되는 것이 바람직하다.
또한, 상기 학습진행부는 다수의 텍스트를 사용자에게 제공하여 사용자가 선택할 수 있도록 한 후 설정된 시간 내에 텍스트에 대응하는 음성을 입력받을 수 있도록 구성되고, 상기 제2판단부를 통해 정답처리시 점수를 가산하고, 오답처리시 해당 텍스트를 별도로 관리하는 평가부; 를 더 포함하는 것이 바람직하다.
또한, 오답 처리된 텍스트에 대하여 가산치를 부여하여 제시하는 빈도를 조절하는 빈도조절부; 설정된 횟수 이상이 오답 텍스트를 조합한 문장을 생성하여 제공하도록 구성되는 문장생성부; 를 더 포함할 수 있다.
본 발명은 놀이를 통해 사용자가 직접 참여하는 방식으로 언어교육이 이루어질 수 있어 저연령층의 사용자들도 쉽고, 즐겁게 학습이 이루어질 수 있으며, 국어뿐 아니라 영어, 일본어, 중국어 등 다양한 언어 학습 관련 콘텐츠에 활용할 수 있고 음성인식기반으로 진행되는 종류의 학습관련 분야에서 놀이를 통한 교육 프로그램에 확장, 적용할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 구성 및 연결관계를 나타낸 블록도,
도 2는 본 발명의 바람직한 실시예에 따른 학습 콘텐츠 선택화면,
도 3은 본 발명의 바람직한 실시예에 다른 자음 학습화면,
도 4는 본 발명의 바람직한 실시예에 따른 모음 학습화면,
도 5는 본 발명의 바람직한 실시예에 따른 낱말 학습화면,
도 6은 본 발명의 바람직한 실시예에 따른 문장 학습화면,
도 7은 본 발명의 바람직한 실시예에 따른 이야기 학습화면,
도 8은 본 발명의 바람직한 실시예에 따른 게임 콘텐츠 선택화면,
도 9는 본 발명의 바람직한 실시예에 따른 활쏘기 게임화면,
도 10은 본 발명의 바람직한 실시예에 따른 인형 뽑기 게임화면,
도 11은 본 발명의 바람직한 실시예에 따른 보물찾기 게임화면이다.
이하, 첨부된 도면을 참조하여 본 발명 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템의 구성을 구체적으로 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 구성 및 연결관계를 나타낸 블록도로서, 본 발명은 기본적으로 컴퓨터 내지는 이와 동등한 기능을 갖는 각종 단말기를 기반으로 동작하며, 특히 취학 전이나 초등학교 저학년의 연령층 또는 이와 같은 수준의 사용자가 효과적으로 언어학습을 할 수 있도록 지원하게 된다.
이를 위해 본 발명은 데이터베이스(101)와, 인터페이스부(102)와, 학습진행부(103)와, 음성인식부(104)와, 제1판단부(105)와, 제1비교부(106)와, 제2비교부(107)와, 제2판단부(108)와, 평가부(109)의 기본구성을 구비하게 된다.
상기 데이터베이스(101)는 음성분석에 따른 텍스트 데이터가 저장되어 구축되는 구성으로, 본 발명을 통해 학습하고자 하는 텍스트에 대응하는 음성분석 데이터가 미리 수집, 작성 및 저장되어 추후 사용자로부터 입력된 음성의 분석데이터를 통해 대응하는 텍스트를 확인하는 용도로 활용하게 된다. 이때 음성분석 데이터는 해당 텍스트에 대응하는 음성의 파형 등을 포함할 수 있으며 본 발명에서 텍스트라 함은 문장, 낱말을 비롯하여 모음, 자음의 요소 등 언어학습에 필요한 문자요소를 통칭한다.
이때 글자에 아직 익숙하지 않은 취학 전이나 초등학교 저학년의 연령층 수준의 사용자가 본 발명을 활용함에 있어 도움을 받을 수 있도록 상기 데이터베이스(101)는 저장된 텍스트 데이터에 대응하는 이미지정보가 함께 저장되며, 듣기 내지는 말하기 학습을 위해 텍스트 데이터에 대응하는 목소리, 즉 음성정보가 함께 저장된다.
이와 더불어 상기 데이터베이스(101)에는 기본적으로 언어학습에 활용될 학습 및 게임콘텐츠가 저장되어 사용자의 필요에 따라 이를 읽어 학습이 진행될 수 있도록 구성되며, 이러한 학습콘텐츠 및 게임콘텐츠에 대하여는 뒷부분에서 자세히 설명한다.
상기 인터페이스부(102)는 본 발명이 구현되는 컴퓨터나 단말기에 구비된 입·출력수단을 통해 구축되는 구성으로, 기본적으로 키보드나 터치스크린 등을 통해 사용자부터 동작명령을 입력받고, 모니터 및 스피커를 통해 영상신호 및 음향신호를 출력하게 된다. 근래 대부분의 휴대용 단말기에 탑재되는 터치스크린과 스피커를 통해 구현될 수 있으며, 학습콘텐츠 또는 게임콘텐츠가 출력되며 사용자가 텍스트 기반의 객체를 선택할 수 있도록 구성된다.
상기 학습진행부(103)는 선택된 콘텐츠에 의한 텍스트를 상기 인터페이스부를 통해 제시하는 구성이다. 앞서 학습콘텐츠와 게임콘텐츠를 언급하였는데 실질적으로 어떤 형태의 콘텐츠라도 본 발명에서는 언어학습이라는 점에서 공통적이며, 사용자가 읽거나 선택할 수 있는 텍스트를 상기 인터페이스부를 통해 제시하여 사용자가 이를 읽거나 선택함으로 학습이 진행될 수 있도록 구성된다.
이때 상기 학습진행부(103)는 사용자의 수준에 맞추어 인터페이스부를 통해 제시되는 텍스트와 함께 사용자의 선택에 따라 이미지정보 또는 음성정보를 함께 출력하여 글자에 익숙치 않은 사용자의 학습진행을 돕도록 구성될 수 있다.
상기 음성인식부(104)는 마이크와 음성인식 알고리즘 기반의 구성으로, 상기 인터페이스부를 통해 제시된 텍스트에 대응하는 사용자의 음성을 입력받아 인식하게 되며, Google speech recognizer API 등 상용의 음성인식 알고리즘을 통해 사용자의 음성을 인식하고 텍스트로 변환할 수 있다.
상기 제1판단부(105)는 상기 음성인식부(104)에 입력된 음성의 인식오류를 판단하기 위한 구성으로, 마이크의 정상작동 여부 및 오류를 판단할 수 있다. 일례로 상기 인터페이스부(102)를 통해 텍스트 제시 후 설정된 시간 상기 음성인식부(104)를 통한 아무런 음향의 인식이 없거나, 잡음의 혼재 내지는 입력되는 소리가 너무 작아 인식이 원활치 못한 상황 또는 마이크가 동작이 되지 않는 상황을 모두 인식오류로 판단하게 된다.
이와 같은 인식오류 상황에서는 상기 제1판단부는 오류 메시지를 상기 인터페이스부(102)를 통해 출력하여 사용자가 다시 음성을 입력할 수 있도록 하며, 3회 연속으로 오류인식시 원활한 학습이 이루어지지 않는 것으로 후술하는 바와 같이 오답 처리할 수 있다.
상기 제1판단부(105)를 통해 오류 없이 음성인식이 될 경우 음성인력 스트링을 통해 파형분석 등의 방법을 적용하여 입력된 음성을 분석하게 되며, 상기 제1비교부(106)는 상기 음성인식부에 입력된 음성을 분석하되 이러한 음성의 특징을 상기 데이터베이스(101)를 통해 검색하며 저장된 텍스트 데이터를 검색하여 유사도를 산출하게 된다.
이때 유사도가 높은 텍스트 데이터가 실제 사용자가 입력한 음성에 대응하는 텍스트로 판단될 수 있으며, 상기 제2비교부(107)는 상기 제1비교부(106)를 통해 산출된 유사도가 설정된 유사도 이상인 경우 이에 대응하는 텍스트로 인식하게 되며, 대응하는 텍스트 데이터에 대하여 데이터베이스(101)와 재차 비교하며 설정된 알고리즘에 따라 분석된 음성의 정확도를 산출하게 된다.
상기 제2판단부(108)는 상기 제1비교부(106)를 통해 설정된 정확도 이상, 바람직하게는 80% 이상 데이터베이스에 저장된 텍스트 데이터와 일치하는 것으로 판정시 이를 정답 처리하고, 설정된 정확도 이하 또는 상기 제1판단부(105)를 통해 인식오류 판단시 오답 처리하게 된다. 즉 상기 학습진행부(103)를 통해 제시된 텍스트에 대하여 사용자가 이를 읽었을 경우 상기 제2판단부(108)를 통해 정확하게 읽었는지를 판단하여 정답 처리하게 되며 인식된 음성의 정확도가 떨어지거나 앞서 언급한 바와 같이 인식 오류일 경우 오답으로 처리 후 이러한 처리결과를 상기 인터페이스부(102)를 통해 제공하여 사용자가 인지할 수 있도록 한다.
이때 게임 콘텐츠에서 상기 학습진행부는 다수의 텍스트를 사용자에게 제공하여 사용자가 선택할 수 있도록 한 후 설정된 시간 내에 텍스트에 대응하는 음성을 입력받을 수 있도록 구성될 수 있으며, 후술되는 바와 같이 다수의 텍스트를 순차적으로 제시하여 활쏘기 등의 게임 방식으로 이를 선택하거나, 다수의 텍스트를 동시에 제시하여 인형 뽑기 내지는 보물 캐기 등의 게임방식으로 이를 선택할 수 있다.
상기 평가부(109)는 상기 제2판단부(108)를 통해 정답처리시 점수를 가산하고, 오답처리시 해당 텍스트를 별도로 관리하여 학습의 평가 내지는 피드백이 이루어지도록 한다. 일례로 게임 콘텐츠에서 정답 처리시 100점의 점수를 가산 및 누적하며 설정된 점수 도달 시 게임이나 학습이 종료되도록 구성할 수 있다.
도 2는 본 발명의 바람직한 실시예에 따른 학습 콘텐츠 선택화면으로서, 본 발명의 바람직한 실시예에서는 자음학습을 위한 자음마을, 모음학습을 위한 모음마을, 낱말학습을 위한 낱말마을, 문장학습을 위한 문장마을을 비롯하여 비교적 긴 분장의 집합으로 이루어져 비교적 높은 수준의 학습을 지원하는 이야기 마을로 구분된 학습 콘텐츠 제공이 이루어지게 된다.
이때 친숙한 형태의 캐릭터를 통해 튜토리얼, 안내 등의 지원이 이루어질 수 있고, 콘텐츠의 선택 및 메뉴로 가기 등 직관적인 인터페이스를 통해 저연령대의 사용자도 어렵지 않게 사용할 수 있도록 한다.
도 3은 본 발명의 바람직한 실시예에 다른 자음 학습화면, 도 4는 본 발명의 바람직한 실시예에 따른 모음 학습화면, 도 5는 본 발명의 바람직한 실시예에 따른 낱말 학습화면, 도 6은 본 발명의 바람직한 실시예에 따른 문장 학습화면으로, 상기 데이터베이스(101)에 저장된 텍스트 데이터는 자음, 모음, 낱말, 문장의 텍스트와 이미지 및 음성 정보를 포함하여 저장하게 되며, 상기 학습진행부(103)를 통해 선택된 콘텐츠에 따른 텍스트 데이터를 이미지 정보와 함께 출력한다. 이때 상기 인터페이스부(102)를 통해서 사용자는 듣기와 말하기 기능을 선택할 수 있으며 듣기 기능 선택시 대응하는 음성 정보가 출력되고, 말하기 기능을 선택시 앞서 언급한 음성인식부(104)의 음성감지로부터 제1판단부(105), 제1비교부(106) 및 제2비교부(107)와, 제2판단부(108)의 기능에 따른 일련의 절차가 진행된다.
도 7은 본 발명의 바람직한 실시예에 따른 이야기 학습화면으로서, 자음, 모음, 낱말 및 문장에 어느 정도 익숙한 사용자가 비교적 길이가 길면서 친숙하고 재미있는 이야기를 통해 학습이 이루어지도록 한다. 마찬가지로 이야기에 대한 텍스트 데이터 및 음성 및 이미지 정보가 데이터베이스(101)에 미리 저장된 상태에서 제공되며 이를 듣거나 녹음할 수 있는 기능이 인터페이스부(102)를 통해 제공된다.
앞서 언급한 바와 같이 본 발명은 게임이라는 콘텐츠를 통해 사용자에게 재미와 함께 도전의욕을 고취시키며 학습이 이루어질 수 있도록 구성된다. 도 8은 본 발명의 바람직한 실시예에 따른 게임 콘텐츠 선택화면으로서, 본 발명의 바람직한 실시예에서는 이러한 게임 콘텐츠로 활쏘기 게임, 인형 뽑기 게임, 보물찾기 게임을 제시한다.
도 9는 본 발명의 바람직한 실시예에 따른 활쏘기 게임화면이다. 이 콘텐츠에서는 상기 인터페이스부(102)를 통해 화면의 중앙 하단에 활과 화살이 배치되며 사용자가 이를 선택시 화살이 발사된다. 이때 콘텐츠에 따른 텍스트가 화면을 가로질러 순차적으로 이동하게 되며 타이밍에 맞게 화살을 발사하며 해당 텍스트를 맞추게 되면 상기 학습진행부는 해당 텍스트를 학습 대상으로 제시한 것으로 처리하여 상기 음성인식부(104)가 활성화하게 되고 앞서 언급한 음성인식부(104)의 음성감지로부터 제1판단부(105), 제1비교부(106) 및 제2비교부(107)와, 제2판단부(108)의 기능에 따른 일련의 절차가 진행된다. 이때 사용자가 제시된 텍스트를 정확하게 말하여 정답으로 인식됨에 따라 해당 텍스트에 대응하는 이미지 또는 음성 정보가 출력되며 정답을 재확인시켜 주게 된다.
도 10은 본 발명의 바람직한 실시예에 따른 인형 뽑기 게임화면으로, 최근 유행중인 인형 뽑기 방식으로 상기 학습진행부(103)는 인터페이스부(102)를 통해 다수의 텍스트를 제공한다. 사용자는 인터페이스부(102)를 조작하여 원하는 단어를 선택하게 되며 크레인이 해당 단어를 집어 올려 뽑으면서 학습대상 텍스트로 제시되어 음성인식부(104)가 활성화된다. 이후 음성인식부(104)의 음성감지로부터 제1판단부(105), 제1비교부(106) 및 제2비교부(107)와, 제2판단부(108)의 기능에 따른 일련의 절차가 진행된다. 이때 사용자가 제시된 텍스트를 정확하게 말하여 정답으로 인식됨에 따라 해당 텍스트에 대응하는 이미지 또는 음성 정보가 출력되며 정답을 재확인시켜 주게 된다.
도 11은 본 발명의 바람직한 실시예에 따른 보물찾기 게임화면으로, 상기 인터페이스부(102)를 통해 땅속에 묻힌 보물상자를 제공하게 된다. 이때 보물상자는 닫혀 있는 상태로 어떤 텍스트가 제시될지 사용자는 알 수 없는 상태로 해당 보물상자를 선택하여 개방하는 순간 임의의 텍스트가 학습대상으로 제시되며 음성인식부(104)가 활성화된다. 이후 음성인식부(104)의 음성감지로부터 제1판단부(105), 제1비교부(106) 및 제2비교부(107)와, 제2판단부(108)의 기능에 따른 일련의 절차가 진행된다. 이때 사용자가 제시된 텍스트를 정확하게 말하여 정답으로 인식됨에 따라 해당 텍스트에 대응하는 이미지 또는 음성 정보가 출력되며 정답을 재확인시켜 주게 된다.
이러한 게임콘텐츠 상에서 상기 평가부는 사용자의 음성이 정답 처리됨에 따라 점수를 가산하고 누적된 점수가 설정된 점수에 다다르면 게임 및 학습을 종료시키게 된다.
또한, 본 발명에서는 사용자의 취약한 부분을 보완하며 학습 효과를 증진시킬 피드백을 위한 구성으로 빈도조절부(110)와 문장생성부(111)의 구성이 부가될 수 있다.
상기 빈도조절부(110)는 상기 제2판단부(108)를 통해 오답 처리된 텍스트에 대하여 가산치를 부여하여 제시하는 빈도를 조절하는 구성으로, 학습 콘텐츠 및 게임 콘텐츠에서 초기 랜덤으로 텍스트를 제시하는 상태에서 정답 및 오답 처리된 텍스트에 대한 정보를 사용자별로 누적 관리하되, 이후 학습 또는 게임 콘텐츠 진행시 이전까지 오답 처리된 텍스트에 대하여 정답 처리된 텍스트에 대해 설정된 비율로 제시하는 빈도를 높일 수 있도록 구성하는 것이다. 이때 오답 처리된 텍스트에 대해 제시 빈도를 과도하게 높일 경우 자칫 흥미의 저하 등을 가져올 수 있으므로 사용자가 인지하지 못하는 수준의 적절한 비율의 빈도를 설정하는 것이 바람직하다.
상기 문장생성부(111)는 설정된 횟수 이상이 오답 텍스트를 조합한 문장을 생성하여 제공하게 된다. 이를 통해 오답 처리된 텍스트를 개별적으로 제시하여 재학습시키는 것과 더불어 사용자가 좋아하는 이야기나 일상의 문장에 해당 텍스트를 끼워 넣는 식으로 자연스러운 학습 및 습득이 이루어지도록 유도할 수 있으며, 텍스트를 품사별로 구분하여 특정 문장의 해당 품사부분을 오답 처리로 제시 빈도가 높은 텍스트로 교체하여 출력하게 된다.
본 발명은 첨부된 도면을 참조하여 바람직한 실시예를 중심으로 기술되었지만 당업자라면 이러한 기재로부터 본 발명의 범주를 벗어남이 없이 다양하게 변형할 수 있다는 것은 명백하다. 따라서 본 발명의 범주는 이러한 많은 변형예들을 포함하도록 기술된 청구범위에 의해서 해석되어야 한다.
101: 데이터베이스 102: 인터페이스부
103: 학습진행부 104: 음성인식부
105: 제1판단부 106: 제1비교부
107: 제2비교부 108: 제2판단부
109: 평가부 110: 빈도조절부
111: 문장생성부

Claims (4)

  1. 언어 학습 시스템에 있어서,
    음성분석에 따른 텍스트 데이터가 저장된 데이터베이스(101);
    사용자로부터 동작명령을 입력받고 영상신호 및 음향신호를 출력하는 인터페이스부(102);
    선택된 콘텐츠에 의한 텍스트를 상기 인터페이스부(102)를 통해 제시하는 학습진행부(103);
    상기 인터페이스부(102)를 통해 제시된 텍스트에 대응하는 사용자의 음성을 입력받아 인식하는 음성인식부(104);
    상기 음성인식부(104)에 입력된 음성의 인식오류를 판단하는 제1판단부(105);
    상기 음성인식부(104)에 입력된 음성을 분석하되 상기 데이터베이스(101)에 저장된 텍스트 데이터를 검색하여 유사도를 산출하는 제1비교부(106);
    상기 제1비교부(106)로부터의 설정된 유사도 이상의 텍스트 데이터에 대하여 분석된 음성의 정확도를 산출하는 제2비교부(107);
    상기 제1비교부(106)를 통해 설정된 정확도 이상으로 판정시 이를 정답 처리하고, 설정된 정확도 이하 또는 상기 제1판단부(105)를 통해 인식오류 판단시 오답 처리하여 결과를 상기 인터페이스부를 통해 제공하는 제2판단부(108); 로 이루어지는 것을 특징으로 하는 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템.
  2. 제1항에 있어서,
    상기 데이터베이스(101)에는 텍스트에 대응하는 이미지정보 및 음성정보가 함께 저장되되,
    상기 학습진행부(103)는 인터페이스부(102)를 통해 텍스트 제시와 함께 사용자의 선택에 따라 이미지정보 또는 음성정보를 함께 출력하도록 구성되는 것을 특징으로 하는 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템.
  3. 제1항에 있어서,
    상기 학습진행부(103)는 다수의 텍스트를 사용자에게 제공하여 사용자가 선택할 수 있도록 한 후 설정된 시간 내에 텍스트에 대응하는 음성을 입력받을 수 있도록 구성되고,
    상기 제2판단부(108)를 통해 정답처리시 점수를 가산하고, 오답처리시 해당 텍스트를 별도로 관리하는 평가부(109); 를 더 포함하는 것을 특징으로 하는 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템.
  4. 제3항에 있어서,
    오답 처리된 텍스트에 대하여 가산치를 부여하여 제시하는 빈도를 조절하는 빈도조절부(110);
    설정된 횟수 이상이 오답 텍스트를 조합한 문장을 생성하여 제공하도록 구성되는 문장생성부(111); 를 더 포함하는 것을 특징으로 하는 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템.
KR1020170149627A 2017-11-10 2017-11-10 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템 KR102012096B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170149627A KR102012096B1 (ko) 2017-11-10 2017-11-10 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170149627A KR102012096B1 (ko) 2017-11-10 2017-11-10 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템

Publications (2)

Publication Number Publication Date
KR20190053584A true KR20190053584A (ko) 2019-05-20
KR102012096B1 KR102012096B1 (ko) 2019-10-14

Family

ID=66678763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170149627A KR102012096B1 (ko) 2017-11-10 2017-11-10 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템

Country Status (1)

Country Link
KR (1) KR102012096B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102175340B1 (ko) * 2019-07-31 2020-11-06 안동대학교 산학협력단 컴퓨터로 읽을 수 있는 저장 매체에 저장된 유아를 위한 교육용 ar 어플리케이션 및 그 제공방법
KR20220059703A (ko) * 2020-11-03 2022-05-10 정수봉 문제은행식 게임 서비스 제공 장치 및 방법
KR20220116667A (ko) * 2021-02-15 2022-08-23 우석대학교 산학협력단 인공지능고도화를 위한 학습데이터 정제방법 및 인공지능을 활용한 사람의 학습방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102584732B1 (ko) 2022-08-18 2023-10-05 이승현 언어 블록에 기반한 언어 학습 서비스 제공 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060074740A (ko) * 2004-12-28 2006-07-03 윤병원 음성인식을 이용한 온라인 어학학습방법 및 시스템
KR20090063566A (ko) * 2007-12-14 2009-06-18 송옥기 음성인식 게임장치
KR101004940B1 (ko) * 2008-03-03 2010-12-28 이동한 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가방법
KR20120095065A (ko) * 2011-02-18 2012-08-28 (주)글로벌토크 단어조합을 이용한 양방향 통역방법
KR20120115907A (ko) 2011-04-11 2012-10-19 에스케이텔레콤 주식회사 어학 컨텐츠 제공 방법, 시스템 및 그의 단말기
KR101740636B1 (ko) * 2015-03-05 2017-05-26 한국전자통신연구원 음성 인식 기반 발음 평가 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060074740A (ko) * 2004-12-28 2006-07-03 윤병원 음성인식을 이용한 온라인 어학학습방법 및 시스템
KR20090063566A (ko) * 2007-12-14 2009-06-18 송옥기 음성인식 게임장치
KR101004940B1 (ko) * 2008-03-03 2010-12-28 이동한 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가방법
KR20120095065A (ko) * 2011-02-18 2012-08-28 (주)글로벌토크 단어조합을 이용한 양방향 통역방법
KR20120115907A (ko) 2011-04-11 2012-10-19 에스케이텔레콤 주식회사 어학 컨텐츠 제공 방법, 시스템 및 그의 단말기
KR101740636B1 (ko) * 2015-03-05 2017-05-26 한국전자통신연구원 음성 인식 기반 발음 평가 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102175340B1 (ko) * 2019-07-31 2020-11-06 안동대학교 산학협력단 컴퓨터로 읽을 수 있는 저장 매체에 저장된 유아를 위한 교육용 ar 어플리케이션 및 그 제공방법
KR20220059703A (ko) * 2020-11-03 2022-05-10 정수봉 문제은행식 게임 서비스 제공 장치 및 방법
KR20220116667A (ko) * 2021-02-15 2022-08-23 우석대학교 산학협력단 인공지능고도화를 위한 학습데이터 정제방법 및 인공지능을 활용한 사람의 학습방법

Also Published As

Publication number Publication date
KR102012096B1 (ko) 2019-10-14

Similar Documents

Publication Publication Date Title
US9478143B1 (en) Providing assistance to read electronic books
US6963841B2 (en) Speech training method with alternative proper pronunciation database
KR101025665B1 (ko) 음악기반 언어 학습방법과 이를 활용한 학습장치
KR102012096B1 (ko) 음성인식과 게임 콘텐츠를 활용한 언어 학습 시스템
KR20010013236A (ko) 읽기 및 발음 교습기
JP2001159865A (ja) 対話型語学指導のための方法および装置
KR102043419B1 (ko) 아동언어학습을 위한 음성인식 기반 학습 시스템 및 학습방법
KR102225435B1 (ko) Stt 기반 언어구사 학습-훈련 시스템
KR20190041105A (ko) 학습자의 문장입력 및 음성입력을 이용한 학습 시스템 및 그 방법
KR20140071070A (ko) 음소기호를 이용한 외국어 발음 학습방법 및 학습장치
Liao et al. A prototype of an adaptive Chinese pronunciation training system
Pellom Rosetta Stone ReFLEX: toward improving English conversational fluency in Asia
JP2019061189A (ja) 教材オーサリングシステム
US20090291419A1 (en) System of sound representaion and pronunciation techniques for english and other european languages
JP2020038371A (ja) コンピュータプログラム、発音学習支援方法及び発音学習支援装置
Alsunaidi et al. Abjad: Towards interactive learning approach to arabic reading based on speech recognition
KR102651631B1 (ko) 온라인 기반 한국어 능숙도 평가 장치 및 방법
JP6155102B2 (ja) 学習支援装置
US11961413B2 (en) Method, system and non-transitory computer-readable recording medium for supporting listening
Shi et al. Automatic Assessment and Error Detection of Shadowing Speech: Case of English Spoken by Japanese Learners.
KR20140075994A (ko) 의미단위 및 원어민의 발음 데이터를 이용한 언어교육 학습장치 및 방법
KR20140028527A (ko) 단어의 음절 및 원어민의 발음 데이터를 이용한 단어 학습장치 및 방법
Shivakumar et al. AI-ENABLED LANGUAGE SPEAKING COACHING FOR DUAL LANGUAGE LEARNERS.
US20160307453A1 (en) System and method for auditory capacity development for language processing
Jo et al. Effective computer‐assisted pronunciation training based on phone‐sensitive word recommendation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant