KR101142945B1 - 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법 - Google Patents

음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법 Download PDF

Info

Publication number
KR101142945B1
KR101142945B1 KR1020110104439A KR20110104439A KR101142945B1 KR 101142945 B1 KR101142945 B1 KR 101142945B1 KR 1020110104439 A KR1020110104439 A KR 1020110104439A KR 20110104439 A KR20110104439 A KR 20110104439A KR 101142945 B1 KR101142945 B1 KR 101142945B1
Authority
KR
South Korea
Prior art keywords
data
unit
sentence
foreign language
language learning
Prior art date
Application number
KR1020110104439A
Other languages
English (en)
Inventor
정성은
Original Assignee
(주)위버스마인드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)위버스마인드 filed Critical (주)위버스마인드
Application granted granted Critical
Publication of KR101142945B1 publication Critical patent/KR101142945B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 본 발명의 실시예에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법은 하나의 애니메이션데이터, 하나의 문장데이터 및 하나의 음성파형데이터를 포함하는 적어도 하나 이상의 외국어학습데이터를 저장하는 데이터 저장부 및 사용자의 문장학습진도에 따라 출력해야 할 외국어학습데이터를 데이터 저장부로부터 수신하고, 수신된 외국어학습데이터에 포함되어 있는 애니메이션데이터, 문장데이터 및 음성파형데이터를 출력부로 전송해주는 중앙 제어부를 포함하는 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법을 제공할 수 있다.
또한, 본 발명에 따르면 애니메이션 문장학습시스템을 통해 문장생성능력과 이해능력 배양시키기고, 문장의 의미를 직접적으로 표현하는 짧은 애니메이션을 통해 애니메이션간의 비교를 통한 의미의 명확화와 구체화가 가능하며, 해석이 없는 모국어 습득방식의 직관적인 문자의미 파악이 가능한 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법을 제공할 수 있다.
또한, 본 발명에 따르면 음성인식 발화학습 시스템을 통해 발화능력 및 청취능력 배양시키고, 음성인식엔진을 통해 발화능력 평가 및 피드백을 강화하여 취약발음, 취약억양에 대한 집중학습으로 발음교정이 가능한 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법을 제공할 수 있다.

Description

음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법{.}
본 발명은 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법에 관한 것으로, 보다 상세하게는 애니메이션 문장학습시스템을 통해 문장생성능력과 이해능력 배양시키기고, 문장의 의미를 직접적으로 표현하는 짧은 애니메이션을 통해 애니메이션간의 비교를 통한 의미의 명확화와 구체화가 가능하며, 해석이 없는 모국어 습득방식의 직관적인 문자의미 파악이 가능한 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법에 관한 것이다.
또한, 본 발명에 따르면 음성인식 발화학습 시스템을 통해 발화능력 및 청취능력 배양시키고, 음성인식엔진을 통해 발화능력 평가 및 피드백을 강화하여 취약발음, 취약억양에 대한 집중학습으로 발음교정이 가능한 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법에 관한 것이다.
또한, 에빙하우스 이론에 기반하여 진도 및 학습일자에 따른 자동 복습이 가능하며 학습성취도에 따라 강화학습, 단어보충학습, 발음보충학습 등으로 분기하여 개인별 맞춤학습을 지원해주고, 문법트리를 이용하여 문장학습진도에 따라 사용자가 습득한 문법항목의 내역을 확인할 수 있는 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법에 관한 것이다.
본 발명은 음성인식과 영상의 상호작용을 통한 외국어 학습을 위한 장치에 관한 것으로서, 보다 상세하게는 애니메이션 문장학습시스템을 통해 문장생성능력과 이해능력 배양시키고, 문장의 의미를 직접적으로 표현하는 짧은 애니메이션을 통해 애니메이션간의 비교를 통한 의미의 명확화와 구체화가 가능하며, 해석이 없는 모국어 습득방식의 직관적인 문자의미 파악이 가능한 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법에 관한 것이다.
또한, 본 발명의 다른 목적은 음성인식 발화학습 시스템을 통해 발화능력 및 청취능력 배양시키고, 음성인식엔진을 통해 발화능력 평가 및 피드백을 강화하여 취약발음, 취약억양에 대한 집중학습으로 발음교정이 가능한 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법에 관한 것이다.
기존의 영어회화 학습장치는 움직이지 않는 고정된 이미지와 원어 문장을 매칭시켜 원어 문장의 이해가 어렵고, 사용자의 흥미를 이끌어 오지못하며, 음성인식 시스템이 갖춰져 있지 않아 사용자 자신의 외국어 발음을 확인하기 어려운 문제점이 있다.
또한, 기존의 영어회화 학습장치는 사용자의 학습 레벨에 따라 학습을 진행하였기 때문에 사용자 개인의 취약한 문법이나 발음에 대해서 집중교정을 실시하지 못하는 문제점이 있다.
상술한 문제점을 해결하기 위해 안출된 본 발명의 목적은 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법을 제공하기 위한 것이다.
또한 본 발명의 다른 목적은, 애니메이션 문장학습시스템을 통해 문장생성능력과 이해능력 배양시키고, 문장의 의미를 직접적으로 표현하는 짧은 애니메이션을 통해 애니메이션간의 비교를 통한 의미의 명확화와 구체화가 가능하며, 해석이 없는 모국어 습득방식의 직관적인 문자의미 파악이 가능한 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법을 제공하기 위함이다.
또한, 본 발명의 다른 목적은 음성인식 발화학습 시스템을 통해 발화능력 및 청취능력 배양시키고, 음성인식엔진을 통해 발화능력 평가 및 피드백을 강화하여 취약발음, 취약억양에 대한 집중학습으로 발음교정이 가능한 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법을 제공하기 위함이다.
또한, 본 발명의 다른 목적은 에빙하우스 이론에 기반하여 진도 및 학습일자에 따른 자동 복습이 가능하며 학습성취도에 따라 강화학습, 단어보충학습, 발음보충학습 등으로 분기하여 개인별 맞춤학습을 지원해주고, 문법트리를 이용하여 문장학습진도에 따라 사용자가 습득한 문법항목의 내역을 확인할 수 있는 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법을 제공하기 위함이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법은 음성인식과 영상의 상호작용을 통한 외국어 학습장치는 하나의 애니메이션데이터, 하나의 문장데이터 및 하나의 음성파형데이터를 포함하는 적어도 하나 이상의 외국어학습데이터를 저장하는 데이터 저장부 및 사용자의 문장학습진도에 따라 출력해야 할 외국어학습데이터를 데이터 저장부로부터 수신하고, 수신된 외국어학습데이터에 포함되어 있는 애니메이션데이터, 문장데이터 및 음성파형데이터를 출력부로 전송해주는 중앙 제어부를 포함하고, 상기 외국어학습데이터는, 그 문장데이터의 문장에 적용된 문법종류와 1대1 매칭된 문법식별코드를 적어도 하나 이상 포함하며, 상기 문법종류는 적어도 하나 이상인 것을 특징으로 하고, 상기 외국어학습데이터들이 출력부에 출력될 때마다, 출력된 외국어학습데이터에 포함된 각 문법식별코드에 해당하는 문법종류의 노출빈도를 각 1회씩 증가시킨 후, 각 문법종류의 노출빈도를 출력부에 표시하거나, 출력부에 표시된 특정그래프의 해당 문법종류란에 상기 문법종류의 노출빈도에 비례하는 진하기로 색칠하여 표시하는 학습성취도 표시부;를 더 포함한다.
여기서, 상기 애니메이션데이터는 해당 문장데이터의 의미를 나타내는 애니메이션을 포함하되, 다른 문장데이터의 문장과 공통된 의미에 해당하는 애니메이션은 그 다른 문장데이터의 애니메이션과 동일하게 하고, 의미상 차이가 있는 부분의 애니메이션만 다르게 한 것을 특징으로 한다.
그리고, 문장데이터에 적용되어 있는 동사의 시제가 현재진행형인 경우 해당 애니메이션데이터와 대응하여 그 애니메이션의 캐릭터가 동작을 계속 반복하여 현재진행형임을 표시해주고, 동사의 시제가 현재형인 경우 애니메이션의 캐릭터가 동작하는 중간에 멈추는 것을 통해 현재형임을 표시해주며, 동사의 시제가 과거형인 경우 애니메이션의 캐릭터가 동작을 끝낸 후 멈추는 것을 통해 과거형임을 표시해주는 것을 특징으로 한다.
삭제
여기서, 데이터 저장부는 문장단위요소별 표준 발음동영상을 저장하는 것을 특징으로 한다.
본 발명에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습 장치는, 사용자의 문장학습진행시 입력부로부터 사용자음성데이터를 수신하고, 그 사용자음성데이터를 음성인식엔진을 통해 적어도 하나 이상의 문장단위요소별로 나눈 단위음성데이터들을 데이터 저장부에 저장하는 음성인식 처리부를 더 포함한다.
그리고, 중앙 제어부는 출력부로 출력된 외국어학습데이터에 해당하는 음성파형데이터와, 그 외국어학습데이터의 출력에 따라 사용자로부터 입력된 사용자음성데이터를 비교하되, 문장단위요소별로 상기 음성파형데이터와 상기 사용자음성데이터의 단위음성데이터를 비교하여 그 발음일치도를 출력부로 전송하는 것을 특징으로 한다.
본 발명에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습장치는, 발음일치도가 미리 설정된 기준일치도 미만인 단위음성데이터가 속하는 문장단위요소의 표준 발음동영상을 데이터 저장부로부터 수신하여, 출력부로 출력하는 학습성취도 표시부를 더 포함한다.
그리고, 학습성취도 표시부는 적어도 하나 이상의 외국어학습데이터들이 출력부로 출력되고, 이에 대응되는 각각의 사용자 음성이 입력부로부터 입력되고, 이에 따른 문장단위요소별 발음일치도가 각각 생성된 후, 문장단위요소별로 발음일치도의 평균값을 산출하고, 산출된 평균값을 문장단위요소별로 출력부에 출력하는 것을 특징으로 한다.
그리고, 학습성취도 표시부는 상기 평균값에 따라, 개인별 맞춤학습을 진행시키는 것을 특징으로 한다.
또한, 학습성취도 표시부는 상기 평균값이 기준일치도 미만인 문장단위요소들 전부 또는 일부의 문장단위요소별 표준 발음동영상을 출력한 후, 출력된 문장단위요소의 기준일치도를 상향시키는 것을 특징으로 한다.
삭제
그리고, 중앙제어부는 입력부로부터 복습요청신호가 수신되면, 기 출력된 상기 외국어학습데이터를 다시 출력부에 출력하되, 에빙하우스의 망각주기에 해당하는 복습주기에 맞춰 상기 외국어학습데이터를 주기적으로 출력하는 것을 특징으로 한다.
또한, (a) 하나의 애니메이션데이터, 하나의 문장데이터 및 하나의 음성파형데이터를 포함하는 적어도 하나 이상의 외국어학습데이터를 저장하는 단계; (b) 사용자의 문장학습진도에 따라 출력해야 할 외국어학습데이터를 상기 데이터 저장부로부터 수신하고, 수신된 외국어학습데이터에 포함되어 있는 애니메이션데이터, 문장데이터 및 음성파형데이터를 출력부로 전송하는 단계; (c) 음성인식 처리부가 사용자의 문장학습진행시 입력부로부터 사용자음성데이터를 수신하고, 그 사용자음성데이터를 음성인식엔진을 통해 적어도 하나 이상의 문장단위요소별로 나눈 단위음성데이터들을 상기 데이터 저장부에 저장하는 단계; (d) 출력부로 출력된 외국어학습데이터에 해당하는 음성파형데이터와, 그 외국어학습데이터의 출력에 따라 사용자로부터 입력된 사용자음성데이터를 비교하되, 문장단위요소별로 상기 음성파형데이터와 상기 사용자음성데이터의 단위음성데이터를 비교하여 그 발음일치도를 출력부로 전송하는 단계; (e) 학습성취도 표시부가 상기 발음일치도가 미리 설정된 기준일치도 미만인 단위음성데이터가 속하는 문장단위요소의 표준 발음동영상을 데이터 저장부로부터 수신하여, 출력부로 출력하는 단계; (f) 적어도 하나 이상의 외국어학습데이터들이 출력부로 출력되고, 이에 대응되는 각각의 사용자 음성이 입력부로부터 입력되고, 이에 따른 문장단위요소별 발음일치도가 각각 생성된 후, 문장단위요소별로 발음일치도의 평균값을 산출하고, 산출된 평균값을 문장단위요소별로 출력부에 출력하는 단계; (g) 상기 평균값에 따라, 개인별 맞춤학습을 진행시키는 단계; (h) 상기 평균값이 기준일치도 미만인 문장단위요소들 전부 또는 일부의 문장단위요소별 표준 발음동영상을 출력한 후, 출력된 문장단위요소의 기준일치도를 상향시키는 단계; (i) 상기 외국어학습데이터들이 출력부에 출력될 때마다, 출력된 외국어학습데이터에 포함된 각 문법식별코드에 해당하는 문법종류의 노출빈도를 각 1회씩 증가시킨 후, 각 문법종류의 노출빈도를 출력부에 표시하거나, 출력부에 표시된 특정그래프의 해당 문법종류란에 상기 문법종류의 노출빈도에 비례하는 진하기로 색칠하여 표시하는 단계; 및 (j) 입력부로부터 복습요청신호가 수신되면, 기 출력된 상기 외국어학습데이터를 다시 출력부에 출력하되, 에빙하우스의 망각주기에 해당하는 복습주기에 맞춰 상기 외국어학습데이터를 주기적으로 출력하는 단계; 를 포함한다.
이상 살펴본 바와 같은 본 발명의 따르면, 애니메이션 문장학습시스템을 통해 문장생성능력과 이해능력 배양시키기고, 문장의 의미를 직접적으로 표현하는 짧은 애니메이션을 통해 애니메이션간의 비교를 통한 의미의 명확화와 구체화가 가능하며, 해석이 없는 모국어 습득방식의 직관적인 문자의미 파악이 가능한 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법을 제공할 수 있다.
또한, 본 발명에 따르면 음성인식 발화학습 시스템을 통해 발화능력 및 청취능력 배양시키고, 음성인식엔진을 통해 발화능력 평가 및 피드백을 강화하여 취약발음, 취약억양에 대한 집중학습으로 발음교정이 가능한 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법을 제공할 수 있다.
또한, 에빙하우스의 망각주기에 해당하는 복습주기에 맞춰 진도 및 학습일자에 따른 자동 복습이 가능하며 학습성취도에 따라 강화학습, 단어보충학습, 발음보충학습 등으로 분기하여 개인별 맞춤학습을 지원해주고, 문법트리를 이용하여 문장학습진도에 따라 사용자가 습득한 문법항목의 내역을 확인할 수 있는 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법을 제공할 수 있다.
도 1은 본 발명에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습장치의 구성요소를 도시한 블럭 구성도.
도 2는 본 발명에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습장치의 애니메이션에 대하여 설명하기 위한 예시도.
도 3내지 도 5는 본 발명에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습장치의 애니메이션의 시제표현에 대하여 설명하기 위한 예시도.
도 6내지 도 7은 발명에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습장치의 발음동영상의 구성에 대하여 설명하기 위한 예시도.
도 8은 발명에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습장치의 음성인식엔진을 통한 발음일치도를 설명하기 위한 예시도.
도 9내지 도 10은 발명에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습장치의 학습성취도 표시부에 대하여 설명하기 위한 예시도.
도 11은 본 발명의 바람직한 실시예에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습방법의 순서도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습장치의 구성요소를 도시한 블럭 구성도이다.
도 1을 참고하면, 본 발명의 바람직한 실시예에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법은, 데이터 저장부(120), 중앙 제어부(140)를 포함한다.
여기서, 데이터 저장부(120)는 하나의 애니메이션데이터, 하나의 문장데이터 및 하나의 음성파형데이터를 포함하는 적어도 하나 이상의 외국어학습데이터를 저장한다.
여기서, 상기 애니메이션데이터는 해당 문장데이터의 의미를 나타내는 애니메이션을 포함하되, 다른 문장데이터의 문장과 공통된 의미에 해당하는 애니메이션은 그 다른 문장데이터의 애니메이션과 동일하게 하고, 의미상 차이가 있는 부분의 애니메이션만 다르게 한다.
이는 도 2의 예시를 보면 그 뜻이 더욱 명확해질 것이다.
도 2의 예시도는 "I'm writing my name with a pencil"라는 문장데이터에 매칭되는 애니메이션은 남성캐릭터가 손에 펜을 들고 글을 쓰는 액션을 책상을 배경으로 한다.
여기서, 도 2의 예시의 애니메이션의 문장데이터 중 I'm 을 She's로 바꾸게 되면 캐릭터만 남성에서 여성으로 바뀌게 되고 나머지 도구와 배경은 변하지 않게된다.
그리고, 이 문장에서 추가 동작, 추가 물건, 위치의 변환 등 문장의 의미가 확장될 때 애니메이션을 부분적으로 교체하거나 추가하여 설명하게 된다.
도 3내지 도 5는 본 발명에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습장치의 애니메이션의 시제표현에 대하여 설명하기 위한 예시도이다.
문장데이터에 적용되어 있는 동사의 시제가 현재진행형인 경우 해당 애니메이션데이터와 대응하여 그 애니메이션의 캐릭터가 동작을 계속 반복하여 현재진행형임을 표시해주고, 동사의 시제가 현재형인 경우 애니메이션의 캐릭터가 동작하는 중간에 멈추는 것을 통해 현재형임을 표시해주며, 동사의 시제가 과거형인 경우 애니메이션의 캐릭터가 동작을 끝낸 후 멈추는 것을 통해 과거형임을 표시해준다.
예를 들면, 도 3내지 도 5에서 출력된 "i'm going to school"문장은 출력부에서 출력될 때 상기 문장데이터에 해당하는 애니메이션의 반복으로 현재진행형, 현재형, 과거형으로 시제를 표현할 수 있다.
"I'm going to school"의 현재진행형을 표현할 경우 도 3과 도 4를 계속 반복재생하여 현재진행형임을 표시하고,
"I go to school"의 현재형을 표현할 경우 도 3과 도 4를 2회 이상 반복 재생 후 걷는 상태에서 멈추게 하여 현재형임을 표시한다.
그리고, "I went to school"이란 과거형을 표현할 경우 도 3과 도 4를 2회 이상 반복 출력 후 도 5를 출력하여 상기 문장이 과거형임을 표시한다.
이러한 애니메이션간의 비교에 따라 문장의 의미를 더욱 구체화 시킬 수 있다.
그리고, 외국어학습데이터는 그 문장데이터의 문장에 적용된 문법종류와 1대1 매칭된 문법식별코드를 적어도 하나 이상 포함하며, 상기 문법종류는 적어도 하나 이상이다.
하기 표 1은 각각의 문법종류에 문법식별코드가 1대1로 매칭되어 적용된 표를 나타낸다.
문법종류 문법식별코드
현재진행형 #11
현재형 #12
과거형 #13
현재완료형 #14
과거완료형 #15
미래완료형 #16
능동태 #21
수동태 #22
평서문 #31
의문문 #32
부정문 #33
조동사(Will) #41
조동사(Would) #42
조동사(Do) #43
조동사(Shall) #44
조동사(Should) #45
조동사(Can) #46
조동사(be able) #47
조동사(Have)
.
.
.		 #48
.
.
.
도 2의 예시문장인 "I'm writing my name with a pencil"는 현재진행형, 능동태 및 평서문 문장이다. 이에 따라 상기 표1을 참조하면 문법코드는 현재진행형 #11, 능동태 #21, 평서문 #31로 코드화하여 #11#21#31이란 형태의 문법식별코드를 형성하게 되고 이는 외국어학습데이터에 적용된다.
그리고, 상기 데이터 저장부(120)는 문장단위요소별 표준 발음동영상을 저장한다.
도 6내지 도 7의 예시와 같이, 표준 발음 동영상은 정확한 발음법에 대한 발음방법, 발음기호, 발음동영상 등을 말하고, 이를 이용해 음성인식학습을 실시함으로 인해 사용자에게 정확한 발음을 내는 방법을 학습하게 해준다.
중앙 제어부(140)는 사용자의 문장학습진도에 따라 출력해야 할 외국어학습데이터를 데이터 저장부(120)로부터 수신하고, 수신된 외국어학습데이터에 포함되어 있는 애니메이션데이터, 문장데이터 및 음성파형데이터를 출력부(300)로 전송해준다.
본 발명에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습장치는 음성인식과 영상의 상호작용을 통한 외국어 학습장치는, 사용자의 문장학습진행시 입력부로부터 사용자음성데이터를 수신하고, 그 사용자음성데이터를 음성인식엔진을 통해 적어도 하나 이상의 문장단위요소별로 나눈 단위음성데이터들을 데이터 저장부에 저장하는 음성인식 처리부(160)를 더 포함한다.
여기서, 단위음성데이터는 도 2의 예시문장인 "I'm writing my name with a pencil"를 보면 문장을 이루는 문장단위요소인 음절별로 즉 아,이,엠,라,이,팅,마,이.네,임,위,드,어,펜,슬과 같이 사용자의 음성을 나눈 것이다.
그리고, 중앙 제어부(140)는 출력부(300)로 출력된 외국어학습데이터에 해당하는 음성파형데이터와, 그 외국어학습데이터의 출력에 따라 사용자로부터 입력된 사용자음성데이터를 비교하되, 문장단위요소별로 상기 음성파형데이터와 상기 사용자음성데이터의 단위음성데이터를 비교하여 그 발음일치도를 출력부(300)로 전송한다.
도 8의 예시와 같이, 발음일치도는 음성파형데이터와 단위음성데이터의 파형의 모양을 서로 비교하여 그 일치도를 값으로 나타낸 것을 말한다.
여기서, 상기 음성파형데이터는 데이터저장부(120)에 저장되어 있는 각 음절을 뜻하는데, 사용자는 도 2의 예시문장인 "I'm writing my name with a pencil"을 입력하면 문장을 이루는 문장단위요소인 음절별로 즉 아,이,엠,라,이,팅,마,이.네,임,위,드,어,펜,슬과 같이 단위음성데이터별로 저장이 되는데 이를 데이터저장부(120)에 저장되어 있는 각 발음 아,이,엠,라,이,팅,마,이.네,임,위,드,어,펜,슬의 음성파형과 비교하여 각 음절의 음성파형 일치도를 백분율로 기록하게 된다.
즉, 아 80%,이 70%,엠 60%,라 50%,이 60%,팅 80%,마 90%,이 70%,네 75%,임 90%,위 55%,드 77%,어 92%,펜 99%,슬 35% 와 같이 기록된다.
본 발명에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습장치는 발음일치도가 미리 설정된 기준일치도 미만인 단위음성데이터가 속하는 문장단위요소의 표준 발음동영상을 데이터 저장부(120)로부터 수신하여, 출력부(300)로 출력하는 학습성취도 표시부(180)를 더 포함한다.
그리고, 학습성취도 표시부(180)는 적어도 하나 이상의 외국어학습데이터들이 출력부(300)로 출력되고, 이에 대응되는 각각의 사용자 음성이 입력부로부터 입력되고, 이에 따른 문장단위요소별 발음일치도가 각각 생성된 후, 문장단위요소별로 발음일치도의 평균값을 산출하고, 산출된 평균값을 문장단위요소별로 출력부(300)에 출력한다.
예를 들면, "알(R)" 음절에 대한 발음일치도 값이 세번의 테스트에 따라 80, 60, 40의 값이 나왔다면 여기서 산출되는 그 발음에 대한 발음일치도의 평균값은 60이다.
이렇게, 산출되는 발음일치도의 평균값에 따라, 개인별 맞춤학습을 진행시킨다.
여기서, 평균값이 100~80이면 강화학습, 도전모드를 이용할 수 있고, 평균값이 79~60이면 전체복습, 오답복습을 이용할 수 있으며, 평균값이 59 그 이하이면 전체복습과 단어/발음학습을 실시할 수 있다.
여기서, 강화학습은 원어민음성을 고속으로 재생하여 사용자의 말하기 수준을 높여주고, 도전모드는 자신이 달성한 평균값을 지속적으로 갱신하여 자신의 학습수준을 높일 수 있으며, 전체복습은 말 그대로 이미 학습한 내용 전체를 다시 학습하는 것이고, 오답복습은 사용자가 틀린 답에 대하여 다시 학습을 할 수 있게 해주며, 단어/발음학습은 문장단위요소들 전부 또는 일부의 문장단위요소별 표준 발음동영상을 출력한 후 사용자의 취약발음에 대하여 집중적으로 학습하는 것을 말한다.
또한, 학습성취도 표시부(180)는 상기 평균값이 기준일치도 미만인 문장단위요소들 전부 또는 일부의 문장단위요소별 표준 발음동영상을 출력한 후, 출력된 문장단위요소의 기준일치도를 상향시킨다.
이에 따라, 사용자는 기준일치도 미만의 발음인 경우, 단어/발음학습을 실시하여 사용자의 취약발음에 대하여 집중적으로 정확한 발음법에 대해 음성인식 학습을 실시한다.
여기서, 음성인식 학습은 단계별로 기준일치도를 상향시키고 그 발음에 해당하는 다수의 문장 및 단어를 연습하게 해주어 사용자 발음의 정확도를 향상시켜준다.
예를 들면, 알(R)음절의 경우 이 음절이 포함된 perpect, door, river 등등의 단어들과 "the door is opened", "He is going to han-gang river" 등과 같은 문장을 연습하게 된다.
이때 사용자의 입력한 알(R)음절들은 그 평균값을 계산하여 기준일치도와 비교하고, 기준일치도에 만족하게 되면 그 기준일치도의 기준을 상향시켜 사용자가 취약한 알(R)음절에 대해 더 많은 학습을 하게 해준다.
본 발명에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습장치는 외국어학습데이터들이 출력부(300)에 출력될 때마다, 출력된 외국어학습데이터에 포함된 각 문법식별코드에 해당하는 문법종류의 노출빈도를 각 1회씩 증가시킨 후, 각 문법종류의 노출빈도를 출력부(300)에 표시하거나, 출력부(300)에 표시된 특정그래프의 해당 문법종류란에 상기 문법종류의 노출빈도에 비례하는 진하기로 색칠하여 표시하는 학습성취도 표시부를 더 포함한다.
도 9과 도 10의 예시는 문법종류의 노출빈도를 문법트리를 이용해 나타낸 것이다. 이와 같이 학습성취도 표시부는 학습해야 할 문법종류는 테두리를 점선으로 표시하여주고, 새로 학습한 문법종류는 테두리를 선으로 표시해주며, 각 문법종류의 문장학습진도가 진행됨에 따라 테두리 안의 바탕을 진하게 표시해준다.
이 예시는 하기 표 2는 문장데이터에 적용된 문법식별코드를 보면 더욱 자세하게 알 수 있다.
문장데이터 문법식별코드
1. You can play the piano #12#21#31#46
2. Isn’t the baby sleeping? #11#21#32
3. I don't have a brother #12#21#33
4. I will do my best #16#21#31
5. She shall be saved #16#22#31#44
6. Can you speak French? #12#21#32#46
7. I have just finished my breakfast #14#21#31#48
8. How much is this jean? #12#21#32
9. Have you ever read ‘Gone with the Wind’? #14#21$32$48
10 Korean is spoken in Korea #12#22#31
상기 표2와 같이 하나의 문장은 다수개의 문법식별코드를 포함하고 있다.
상기 표2의 1번 문장데이터는 현재형 #12, 능동태 #21, 평서문 #31, 조사(Can) #46을 포함하고 있으며, 상기 1번 문장데이터가 출력부에 한번 노출이 되면 현재형 1회, 능동태 1회, 평서문 1회, 조동사(Can) 1회로 각 문법종류에 따라 노출횟수가 카운팅되며 각 문법종류에 해당하는 그래프의 테두리는 점선에서 선으로 바뀌어 표시된다.
여기에 1번 문장데이터 노출 후 2번 문장데이터가 노출이 되면 현재진행형 1회, 현재형 1회, 능동태 2회, 평서문 1회, 의문문 1회, 조동사(Can) 1회로 1번 문장데이터의 노출횟수에 2번 문장데이터의 노출횟수를 합산하고 2회 이상 노출된 문법종류의 그래프는 카운팅횟수에 해당하는 진하기로 그래프의 테두리 안의 바탕을 표시한다.
따라서, 1번 문장데이터에서 10번 문장데이터까지 각 문장이 한번씩 출력부에 노출이 되면, 아래 표 3과 같이 현재진행형 1회, 현재형 4회, 현재완료형 2회, 미래형 2회, 능동태 8회, 수동태 2회, 평서문 5회, 의문문 4회, 부정문 1회, 조동사(Shall) 1회, 조동사(can) 2회, 조동사(Have) 2회로 각 문장데이터들이 포함하고 있던 문법식별코드들의 노출횟수를 합산하게 된다.
문법종류 문법식별코드 노출횟수
현재진행형 #11 1회
현재형 #12 4회
과거형 #13 0
현재완료형 #14 2회
과거완료형 #15 0
미래완료형 #16 2회
능동태 #21 8회
수동태 #22 2회
평서문 #31 5회
의문문 #32 4회
부정문 #33 1회
조동사(Will) #41 0
조동사(Would) #42 0
조동사(Do) #43 0
조동사(Shall) #44 1회
조동사(Should) #45 0
조동사(Can) #46 1회
조동사(be able) #47 0
조동사(Have)
.
.
.		 #48
.
.
.		 2회
.
.
.
여기에 따라 각 문법종류에 해당하는 그래프들은 각 노출횟수에 해당하는 진하기로 그래프 안의 바탕을 표시하게 되고, 1회 노출된 문법종류는 그래프의 점선 테두리를 선으로, 아직 출력부로 노출되지 않은 과거형, 과거완료형, 조동사(be able) 등의 그래프들은 테두리를 점선으로 표시하여 앞으로 사용자가 학습해야할 문법종류를 표시하여 준다.
그리고, 중앙제어부(140)는 입력부(200)로부터 복습요청신호가 수신되면, 기 출력된 상기 외국어학습데이터를 다시 출력부(300)에 출력하되, 에빙하우스의 망각주기에 해당하는 복습주기에 맞춰 상기 외국어학습데이터를 주기적으로 출력한다.
여기서, 에빙하우스 이론이란 인간의 기억은 시간의 흐름에 제곱에 반비례하는 것에 입각하여, 감소하는 기억을 장기기억으로 영구히 보존하기 위해 망각곡선의 주기에 따라서 적절한 시점에 적절한 반복이 중요하다는 이론을 말하고 그 복습주기인 10분 후, 1일 후, 1주일 후, 1달 후에 맞춰 복습요청신호를 송출한다.
도 11은 본 발명의 바람직한 실시예에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습방법의 순서도이다.
도 11을 참조하여 본 발명의 바람직한 실시예에 따른 음성인식과 영상의 상호작용을 통한 외국어 학습방법은 먼저, 데이터 저장부(120)가, 하나의 애니메이션데이터, 하나의 문장데이터 및 하나의 음성파형데이터를 포함하는 적어도 하나 이상의 외국어학습데이터를 저장한다(단계 S110).
그 다음, 중앙 제어부(140)가, 사용자의 문장학습진도에 따라 출력해야 할 외국어학습데이터를 데이터 저장부(120)로부터 수신하고, 수신된 외국어학습데이터에 포함되어 있는 애니메이션데이터, 문장데이터 및 음성파형데이터를 출력부(300)로 전송한다(단계 S120).
그 다음, 음성인식 처리부(160)가, 사용자의 문장학습진행시 입력부(200)로부터 사용자음성데이터를 수신하고, 그 사용자음성데이터를 음성인식엔진을 통해 적어도 하나 이상의 문장단위요소별로 나눈 단위음성데이터들을 데이터 저장부(120)에 저장한다(단계 S130).
그 다음, 중앙 제어부(140)가, 출력부(300)로 출력된 외국어학습데이터에 해당하는 음성파형데이터와, 그 외국어학습데이터의 출력에 따라 사용자로부터 입력된 사용자음성데이터를 비교하되, 문장단위요소별로 상기 음성파형데이터와 상기 사용자음성데이터의 단위음성데이터를 비교하여 그 발음일치도를 출력부(300)로 전송한다(단계 S140).
그 다음, 학습성취도 표시부(180)가, 상기 발음일치도가 미리 설정된 기준일치도 미만인 단위음성데이터가 속하는 문장단위요소의 표준 발음동영상을 데이터 저장부(120)로부터 수신하여, 출력부(300)로 출력한다(단계 S150).
그 다음, 학습성취도 표시부(180)가, 적어도 하나 이상의 외국어학습데이터들이 출력부(300)로 출력되고, 이에 대응되는 각각의 사용자 음성이 입력부(200)로부터 입력되고, 이에 따른 문장단위요소별 발음일치도가 각각 생성된 후, 문장단위요소별로 발음일치도의 평균값을 산출하고, 산출된 평균값을 문장단위요소별로 출력부(300)에 출력한다(단계 S160).
그 다음, 학습성취도 표시부(180)가, 상기 평균값에 따라, 개인별 맞춤학습을 진행시킨다(단계 S170).
그 다음, 학습성취도 표시부(180)가, 평균값이 기준일치도 미만인 문장단위요소들 전부 또는 일부의 문장단위요소별 표준 발음동영상을 출력한 후, 출력된 문장단위요소의 기준일치도를 상향시킨다(단계 S180).
그 다음, 외국어학습데이터들이 출력부(300)에 출력될 때마다, 출력된 외국어학습데이터에 포함된 각 문법식별코드에 해당하는 문법종류의 노출빈도를 각 1회씩 증가시킨 후, 각 문법종류의 노출빈도를 출력부(300)에 표시하거나, 출력부(300)에 표시된 특정그래프의 해당 문법종류란에 상기 문법종류의 노출빈도에 비례하는 진하기로 색칠하여 표시한다(단계 S190).
마지막으로, 중앙 제어부(140)가, 입력부(200)로부터 복습요청신호가 수신되면, 기 출력된 외국어학습데이터를 다시 출력부(300)에 출력하되, 에빙하우스의 망각주기에 해당하는 복습주기에 맞춰 상기 외국어학습데이터를 주기적으로 출력한다(단계 S200).
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 학습장치 120 : 데이터 저장부
140 : 중앙 제어부 160 : 음성인식 처리부
180 : 학습성취도 표시부 200 : 입력부
300 ; 출력부

Claims (13)

  1. 하나의 애니메이션데이터, 하나의 문장데이터 및 하나의 음성파형데이터를 포함하는 적어도 하나 이상의 외국어학습데이터를 저장하는 데이터 저장부; 및
    사용자의 문장학습진도에 따라 출력해야 할 외국어학습데이터를 데이터 저장부로부터 수신하고, 수신된 외국어학습데이터에 포함되어 있는 애니메이션데이터, 문장데이터 및 음성파형데이터를 출력부로 전송해주는 중앙 제어부;를 포함하고
    상기 외국어학습데이터는,
    그 문장데이터의 문장에 적용된 문법종류와 1대1 매칭된 문법식별코드를 적어도 하나 이상 포함하며, 상기 문법종류는 적어도 하나 이상인 것을 특징으로 하고,
    상기 외국어학습데이터들이 출력부에 출력될 때마다, 출력된 외국어학습데이터에 포함된 각 문법식별코드에 해당하는 문법종류의 노출빈도를 각 1회씩 증가시킨 후, 각 문법종류의 노출빈도를 출력부에 표시하거나, 출력부에 표시된 특정그래프의 해당 문법종류란에 상기 문법종류의 노출빈도에 비례하는 진하기로 색칠하여 표시하는 학습성취도 표시부;를 더 포함하는 음성인식과 영상의 상호작용을 통한 외국어 학습장치.
  2. 제 1항에 있어서, 상기 데이터 저장부는,
    상기 애니메이션데이터는 해당 문장데이터의 의미를 나타내는 애니메이션을 포함하되, 다른 문장데이터의 문장과 공통된 의미에 해당하는 애니메이션은 그 다른 문장데이터의 애니메이션과 동일하게 하고, 의미상 차이가 있는 부분의 애니메이션만 다르게 한 것을 특징으로 하는 음성인식과 영상의 상호작용을 통한 외국어 학습장치.
  3. 제 1항에 있어서, 상기 데이터 저장부는,
    문장데이터에 적용되어 있는 동사의 시제가 현재진행형인 경우 해당 애니메이션데이터와 대응하여 그 애니메이션의 캐릭터가 동작을 계속 반복하여 현재진행형임을 표시해주고, 동사의 시제가 현재형인 경우 애니메이션의 캐릭터가 동작하는 중간에 멈추는 것을 통해 현재형임을 표시해주며, 동사의 시제가 과거형인 경우 애니메이션의 캐릭터가 동작을 끝낸 후 멈추는 것을 통해 과거형임을 표시해주는 것을 특징으로 하는 음성인식과 영상의 상호작용을 통한 외국어 학습장치.
  4. 삭제
  5. 제 1항에 있어서,
    상기 데이터 저장부는,
    문장단위요소별 표준 발음동영상을 저장하는 것을 특징으로 하고,
    상기 음성인식과 영상의 상호작용을 통한 외국어 학습 장치는,
    사용자의 문장학습진행시 입력부로부터 사용자음성데이터를 수신하고, 그 사용자음성데이터를 음성인식엔진을 통해 적어도 하나 이상의 문장단위요소별로 나눈 단위음성데이터들을 데이터 저장부에 저장하는 음성인식 처리부;를 더 포함하는 음성인식과 영상의 상호작용을 통한 외국어 학습장치.
  6. 제 5항에 있어서, 상기 중앙 제어부는,
    출력부로 출력된 외국어학습데이터에 해당하는 음성파형데이터와, 그 외국어학습데이터의 출력에 따라 사용자로부터 입력된 사용자음성데이터를 비교하되, 문장단위요소별로 상기 음성파형데이터와 상기 사용자음성데이터의 단위음성데이터를 비교하여 그 발음일치도를 출력부로 전송하는 것을 특징으로 하는 음성인식과 영상의 상호작용을 통한 외국어 학습장치.
  7. 제 6항에 있어서,
    상기 발음일치도가 미리 설정된 기준일치도 미만인 단위음성데이터가 속하는 문장단위요소의 표준 발음동영상을 데이터 저장부로부터 수신하여, 출력부로 출력하는 학습성취도 표시부; 를 더 포함하는 음성인식과 영상의 상호작용을 통한 외국어 학습장치.
  8. 제 7항에 있어서, 상기 학습성취도 표시부는,
    적어도 하나 이상의 외국어학습데이터들이 출력부로 출력되고, 이에 대응되는 각각의 사용자 음성이 입력부로부터 입력되고, 이에 따른 문장단위요소별 발음일치도가 각각 생성된 후, 문장단위요소별로 발음일치도의 평균값을 산출하고, 산출된 평균값을 문장단위요소별로 출력부에 출력하는 것을 특징으로 하는 음성인식과 영상의 상호작용을 통한 외국어 학습장치.
  9. 제 8항에 있어서, 상기 학습성취도 표시부는,
    상기 평균값에 따라, 개인별 맞춤학습을 진행시키는 것을 특징으로 하는 음성인식과 영상의 상호작용을 통한 외국어 학습장치.
  10. 제 8항에 있어서, 상기 학습성취도 표시부는,
    상기 평균값이 기준일치도 미만인 문장단위요소들 전부 또는 일부의 문장단위요소별 표준 발음동영상을 출력한 후, 출력된 문장단위요소의 기준일치도를 상향시키는 것을 특징으로 하는 음성인식과 영상의 상호작용을 통한 외국어 학습장치.
  11. 삭제
  12. 제 1항에 있어서, 상기 중앙제어부는,
    입력부로부터 복습요청신호가 수신되면, 기 출력된 상기 외국어학습데이터를 다시 출력부에 출력하되, 에빙하우스의 망각주기에 해당하는 복습주기에 맞춰 상기 외국어학습데이터를 주기적으로 출력하는 것을 특징으로 하는 음성인식과 영상의 상호작용을 통한 외국어 학습장치.
  13. (a) 하나의 애니메이션데이터, 하나의 문장데이터 및 하나의 음성파형데이터를 포함하는 적어도 하나 이상의 외국어학습데이터를 저장하는 단계;
    (b) 사용자의 문장학습진도에 따라 출력해야 할 외국어학습데이터를 상기 데이터 저장부로부터 수신하고, 수신된 외국어학습데이터에 포함되어 있는 애니메이션데이터, 문장데이터 및 음성파형데이터를 출력부로 전송하는 단계;
    (c) 음성인식 처리부가 사용자의 문장학습진행시 입력부로부터 사용자음성데이터를 수신하고, 그 사용자음성데이터를 음성인식엔진을 통해 적어도 하나 이상의 문장단위요소별로 나눈 단위음성데이터들을 상기 데이터 저장부에 저장하는 단계;
    (d) 출력부로 출력된 외국어학습데이터에 해당하는 음성파형데이터와, 그 외국어학습데이터의 출력에 따라 사용자로부터 입력된 사용자음성데이터를 비교하되, 문장단위요소별로 상기 음성파형데이터와 상기 사용자음성데이터의 단위음성데이터를 비교하여 그 발음일치도를 출력부로 전송하는 단계;
    (e) 학습성취도 표시부가 상기 발음일치도가 미리 설정된 기준일치도 미만인 단위음성데이터가 속하는 문장단위요소의 표준 발음동영상을 데이터 저장부로부터 수신하여, 출력부로 출력하는 단계;
    (f) 적어도 하나 이상의 외국어학습데이터들이 출력부로 출력되고, 이에 대응되는 각각의 사용자 음성이 입력부로부터 입력되고, 이에 따른 문장단위요소별 발음일치도가 각각 생성된 후, 문장단위요소별로 발음일치도의 평균값을 산출하고, 산출된 평균값을 문장단위요소별로 출력부에 출력하는 단계;
    (g) 상기 평균값에 따라, 개인별 맞춤학습을 진행시키는 단계;
    (h) 상기 평균값이 기준일치도 미만인 문장단위요소들 전부 또는 일부의 문장단위요소별 표준 발음동영상을 출력한 후, 출력된 문장단위요소의 기준일치도를 상향시키는 단계;
    (i) 상기 외국어학습데이터들이 출력부에 출력될 때마다, 출력된 외국어학습데이터에 포함된 각 문법식별코드에 해당하는 문법종류의 노출빈도를 각 1회씩 증가시킨 후, 각 문법종류의 노출빈도를 출력부에 표시하거나, 출력부에 표시된 특정그래프의 해당 문법종류란에 상기 문법종류의 노출빈도에 비례하는 진하기로 색칠하여 표시하는 단계; 및
    (j) 입력부로부터 복습요청신호가 수신되면, 기 출력된 상기 외국어학습데이터를 다시 출력부에 출력하되, 에빙하우스의 망각주기에 해당하는 복습주기에 맞춰 상기 외국어학습데이터를 주기적으로 출력하는 단계;
    를 포함하는 음성인식과 영상의 상호작용을 통한 외국어 학습방법.

KR1020110104439A 2011-09-28 2011-10-13 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법 KR101142945B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110098081 2011-09-28
KR20110098081 2011-09-28

Publications (1)

Publication Number Publication Date
KR101142945B1 true KR101142945B1 (ko) 2012-05-10

Family

ID=46271604

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110104439A KR101142945B1 (ko) 2011-09-28 2011-10-13 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법

Country Status (1)

Country Link
KR (1) KR101142945B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180129166A (ko) * 2017-05-25 2018-12-05 주식회사 스터디맥스 학습자의 음성입력을 이용한 학습 시스템 및 그 방법
KR20190061191A (ko) * 2017-11-27 2019-06-05 송현종 아동언어학습을 위한 음성인식 기반 학습 시스템 및 학습방법
KR20190071302A (ko) 2017-12-14 2019-06-24 주식회사 엘지유플러스 온라인 학습 진행을 위한 장치 및 제어방법
KR102410644B1 (ko) 2022-02-16 2022-06-22 주식회사 알투스 인공지능을 활용한 음성인식 기반 외국어 교육 콘텐츠 서비스 제공 방법, 장치 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100458952B1 (ko) * 2001-11-28 2004-12-03 인벤텍 코오포레이션 멀티미디어-지원 동사 시제 교습 시스템 및 방법
KR100756671B1 (ko) * 2007-02-05 2007-09-07 최창국 학습자 인증카드에 따라 제공되는 미션수행 영상을 이용한영어학습 시스템
KR100914502B1 (ko) * 2002-04-15 2009-09-30 윤춘호 네트웍 기반 대화형 멀티미디어 학습 시스템 및 방법
JP2011128365A (ja) * 2009-12-17 2011-06-30 Cocone Corp 言語学習装置及び言語学習方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100458952B1 (ko) * 2001-11-28 2004-12-03 인벤텍 코오포레이션 멀티미디어-지원 동사 시제 교습 시스템 및 방법
KR100914502B1 (ko) * 2002-04-15 2009-09-30 윤춘호 네트웍 기반 대화형 멀티미디어 학습 시스템 및 방법
KR100756671B1 (ko) * 2007-02-05 2007-09-07 최창국 학습자 인증카드에 따라 제공되는 미션수행 영상을 이용한영어학습 시스템
JP2011128365A (ja) * 2009-12-17 2011-06-30 Cocone Corp 言語学習装置及び言語学習方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180129166A (ko) * 2017-05-25 2018-12-05 주식회사 스터디맥스 학습자의 음성입력을 이용한 학습 시스템 및 그 방법
KR101992371B1 (ko) * 2017-05-25 2019-06-24 주식회사 스터디맥스 학습자의 음성입력을 이용한 학습 시스템 및 그 방법
KR20190061191A (ko) * 2017-11-27 2019-06-05 송현종 아동언어학습을 위한 음성인식 기반 학습 시스템 및 학습방법
KR102043419B1 (ko) * 2017-11-27 2019-11-12 송현종 아동언어학습을 위한 음성인식 기반 학습 시스템 및 학습방법
KR20190071302A (ko) 2017-12-14 2019-06-24 주식회사 엘지유플러스 온라인 학습 진행을 위한 장치 및 제어방법
KR102410644B1 (ko) 2022-02-16 2022-06-22 주식회사 알투스 인공지능을 활용한 음성인식 기반 외국어 교육 콘텐츠 서비스 제공 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
KR102043419B1 (ko) 아동언어학습을 위한 음성인식 기반 학습 시스템 및 학습방법
KR101487005B1 (ko) 문장입력을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법
KR101142945B1 (ko) 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법
Patten et al. Effect of training Japanese L1 speakers in the production of American English/r/using spectrographic visual feedback
CN109473007B (zh) 一种音素结合声旁的英语自然拼读教学方法及系统
KR20160001332A (ko) 영어 연음 학습 시스템 및 그의 방법
Yusuf English pronunciation based on the phonetic transcription application (Study of ToPhonetics. App)
KR20140107067A (ko) 이미지 데이터와 원어민 발음 데이터를 이용한 단어 학습장치 및 방법
TWI727395B (zh) 語言發音學習系統及方法
Senior et al. Liu vs. Liu vs. Luke? Name influence on voice recall
KR20120078453A (ko) 직독직해를 위한 영어교육 방법과 시스템
Younus Speech intelligibility: a study of Iraqi EFL learners’ accented English
Berninger et al. Learning to Spell Words With the Pattern Analyzer, Oracle, Cross-Code Talker, Cross-Code Scribe, and Silent Orthographer
Shivakumar et al. AI-ENABLED LANGUAGE SPEAKING COACHING FOR DUAL LANGUAGE LEARNERS.
Shukla Development of a Human-AI Teaming Based Mobile Language Learning Solution for Dual Language Learners in Early and Special Educations
US20130149680A1 (en) Methods and systems for teaching a non-native language
Mangersnes Spoken word production in Norwegian-English bilinguals Investigating effects of bilingual profile and articulatory divergence
KR102337644B1 (ko) 어휘 확장을 이용한 외국어 학습 장치
Spring The Effect of Instruction in the Core Meaning of Loanwords on Japanese Learners’ Acquisition of English Vocabulary
Zhou et al. Testing the Obligatory Contour Principle and Tonal Markedness Scale Effects in L2 Tonal Acquisition
Islam Major phonemic problems of Bangladeshi learners of English: Reasons behind and solutions
Muxiddinova TRANSLATION CONCEPTS IN THE CONTEXT OF MODERN LINGUISTIC RESEARCH
Thompson Peer Reviewed Article Phonetics and Perception: The Deep Case for Phonetics Training
Joyner Cherokee Language Lessons
KR20140087957A (ko) 문장 데이터를 이용한 언어 패턴 교육 학습장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160308

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170221

Year of fee payment: 6