KR20150014236A - 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법 - Google Patents

인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법 Download PDF

Info

Publication number
KR20150014236A
KR20150014236A KR1020130089650A KR20130089650A KR20150014236A KR 20150014236 A KR20150014236 A KR 20150014236A KR 1020130089650 A KR1020130089650 A KR 1020130089650A KR 20130089650 A KR20130089650 A KR 20130089650A KR 20150014236 A KR20150014236 A KR 20150014236A
Authority
KR
South Korea
Prior art keywords
language
speech recognition
text
recognition result
error
Prior art date
Application number
KR1020130089650A
Other languages
English (en)
Other versions
KR102191425B1 (ko
Inventor
정의석
이윤근
전형배
오유리
이윤경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130089650A priority Critical patent/KR102191425B1/ko
Priority to JP2014064369A priority patent/JP2015026057A/ja
Publication of KR20150014236A publication Critical patent/KR20150014236A/ko
Application granted granted Critical
Publication of KR102191425B1 publication Critical patent/KR102191425B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Abstract

인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법을 공개한다. 본 발명은 학습자가 평상시에 사용하는 언어로 기설정된 생활 언어 및 학습 대상 언어 중 하나로 학습자가 발화하는 음성 입력을 수신하고, 합성음 및 학습 평가 결과 중 적어도 하나를 출력하는 입출력부, 음성 입력을 인가받아 음성 인식을 수행하여 음성 인식 결과 텍스트를 출력하는 음성 인식부, 음성 인식 결과 텍스트를 수신하여 음성 인식 결과 텍스트의 오류를 교정하고 유사 문장을 생성하는 문장 분석 및 교정부, 문장 분석 및 교정부에서 오류가 교정된 음성 인식 결과 텍스트의 언어와 출력 언어가 서로 상이한 경우, 음성 인식 결과 텍스트를 출력 언어에 대응하여 자동 번역하여 자동 번역 텍스트를 생성하는 다국어 자동 번역 모듈, 오류 교정된 음성 인식 결과 텍스트 및 자동 번역 텍스트 중 적어도 하나를 수신하고, 수신된 텍스트에 대응하는 음성을 기설정된 인터랙티브 캐릭터의 특성에 따라 합성하여 합성음을 입출력부로 출력하는 다국어 음성 합성 모듈 및 학습자의 언어 사용 능력을 평가하고, 평가 결과를 입출력부로 출력하는 학습 평가부를 포함한다.

Description

인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법{APPARATUS AND METHOD FOR LEARNING FOREIGN LANGUAGE BASED ON INTERACTIVE CHARACTER}
본 발명은 외국어 학습 장치 및 방법에 관한 것으로, 특히 인터랙티브 캐릭터를 통해 사용자의 모국어 발화를 음성 인식하여 번역하여 외국어 발성음을 출력할 뿐만 아니라, 사용자의 외국어 발화를 음성 인식하여 오류 교정 및 발음/언어 평가를 사용자에게 피드백할 수 있는 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법에 관한 것이다.
현대 사회에서 외국어 활용 능력은 매우 중요하다. 기존의 외국어 학습은 주로 읽기, 쓰기에 치중되었으나, 현재는 듣기 및 말하기가 외국어 학습에서 큰 비중을 차지하고 있다.
특히 말하기는 일반적으로 학습자가 외국어를 학습할 때, 가장 어려워하는 부분으로, 대부분의 학습자들은 외국어 말하기 학습 초반에 발화를 주저하는 단계인 무성 기간(silent period)과 학습언어의 규칙을 습득해 가면서 외국어 발화를 수행하는 실험적 생성 기간(production period)을 갖는다. 외국어 말하기 학습에서 무성 기간과 실험적 생성 기간은 학습자들이 가장 힘들어하는 기간으로 이 기간에 말하기 학습을 원활하게 수행할 수 있다면, 학습자의 외국어 말하기 능력은 단기간에 크게 성장할 수 있게 된다.
이에 학습자가 거부감 없이 쉽고 익숙한 방식으로 무성 기간과 실험적 생성 기간에 외국어 학습을 수행할 수 있는 외국어 학습 장치 및 외국어 학습 방법이 요구되고 있다.
본 발명의 목적은 사용자의 모국어 및 외국어 발화를 음성인식하여 번역된 음성을 출력하거나, 오류나 발음을 교정하여 학습자에게 피드백할 수 있는 인터랙티브 캐릭터 기반 외국어 학습 장치를 제공하는데 있다.
본 발명의 다른 방법은 인터랙티브 캐릭터 기반 외국어 학습 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 외국어 학습 장치는 학습자가 평상시에 사용하는 언어로 기설정된 생활 언어 및 학습 대상 언어 중 하나로 상기 학습자가 발화하는 음성 입력을 수신하고, 합성음 및 학습 평가 결과 중 적어도 하나를 출력하는 입출력부; 상기 음성 입력을 인가받아 음성 인식을 수행하여 음성 인식 결과 텍스트를 출력하는 음성 인식부; 상기 음성 인식 결과 텍스트를 수신하여 상기 음성 인식 결과 텍스트의 오류를 교정하고 유사 문장을 생성하는 문장 분석 및 교정부; 문장 분석 및 교정부에서 오류가 교정된 상기 음성 인식 결과 텍스트의 언어와 출력 언어가 서로 상이한 경우, 상기 음성 인식 결과 텍스트를 상기 출력 언어에 대응하여 자동 번역하여 자동 번역 텍스트를 생성하는 다국어 자동 번역 모듈; 오류 교정된 상기 음성 인식 결과 텍스트 및 상기 자동 번역 텍스트 중 적어도 하나를 수신하고, 수신된 상기 텍스트에 대응하는 음성을 기설정된 인터랙티브 캐릭터의 특성에 따라 합성하여 합성음을 상기 입출력부로 출력하는 다국어 음성 합성 모듈; 및 상기 학습자의 언어 사용 능력을 평가하고, 평가 결과를 상기 입출력부로 출력하는 학습 평가부; 를 포함한다.
상기 음성 인식부는 상기 학습자가 평상시에 사용하는 생활 언어를 사용하는 사람들의 L3 음향 모델과 상기 학습자와 동일 생활 언어를 사용 사람들의 동일한 상기 학습 대상 언어에 대한 L2 음향 모델 및 상기 학습 대상 언어가 생활 언어인 사람들의 L1 음향 모델을 포함하는 L123 사용자 음향 모델을 저장하는 L123 사용자 음향 모델 데이터베이스; 상기 학습자와 동일한 생활 언어를 사용하는 사람들의 L3 언어 모델과 상기 학습자와 동일 생활 언어를 사용 사람들의 동일한 상기 학습 대상 언어에 대한 L2 음향 모델 및 상기 학습 대상 언어가 생활 언어인 사람들의 L1 음향 모델을 포함하는 L123 사용자 음향 모델을 저장하는 L123 사용자 언어 모델 데이터베이스; 및 상기 음성 입력을 L123 사용자 음향 모델 및 L123 사용자 언어 모델을 이용하여 상기 음성 인식 결과 텍스트로 변환하는 다국어 음성 인식 모듈; 을 포함하는 것을 특징으로 한다.
상기 L123 사용자 음향 모델 데이터베이스는 상기 L1 음향 모델과 L2 음향 모델이 결합된 형태인 L1 + L2 음향 모델을 저장하고, 상기 L123 사용자 언어 모델 데이터베이스는 상기 L1 언어 모델과 L2 언어 모델이 결합된 형태인 L1 + L2 언어 모델을 저장하는 것을 특징으로 한다.
상기 다국어 음성 인식 모듈은 상기 음성 입력이 상기 학습자의 생활 언어인 경우에는 상기 L3 음향 모델 및 상기 L3 언어 모델을 이용하여 음성 인식을 수행하고, 상기 음성 입력이 상기 학습 대상 언어인 경우에는 상기 L1 + L2 음향 모델과 상기 L1 + L2 언어 모델을 이용하여 음성 인식을 수행하는 것을 특징으로 한다.
상기 문장 분석 및 교정부는 상기 생활 언어 및 상기 학습 대상 언어에 대해 기존의 음성 인식 결과 텍스트에서 발생하는 오류들과 이에 대한 교정 정보들을 누적한 오류 패턴을 저장하는 오류 교정 데이터베이스; 상기 음성 인식 결과 텍스트의 오류를 상기 오류 패턴에서 검색하여 오류를 교정하는 문장 오류 교정 모듈; 상기 생활 언어 및 상기 학습 대상 언어에서 의미적으로 유사한 다수의 유사 문장을 포함하는 유사 문장 패턴을 저장하는 유사 문장 데이터베이스; 및 상기 음성 인식 결과 텍스트와 의미적으로 유사한 문장을 상기 유사 문장 패턴을 검색하여 획득하는 유사 문장 생성 모듈; 을 포함하는 것을 특징으로 한다.
상기 문장 오류 교정 모듈은 상기 음성 인식 결과 텍스트를 n-gram 의 형태로 변환하고, 변환된 상기n-gram을 키워드로 하여 상기 오류 교정 데이터베이스의 상기 오류 패턴을 검색하고, 검색된 상기 오류 패턴으로부터 오류에 대한 교정 정보를 획득하고, 획득된 교정 정보를 검색 키워드의 상기 n-gram으로 대체함으로써 오류를 교정하는 것을 특징으로 한다.
상기 문장 오류 교정 모듈은 상기 음성 인식 결과 텍스트에서 기설정된 방식으로 중요 어휘를 추출하고, 상기 중요 어휘를 키워드로 하여 상기 유사 문장 데이터베이스의 유사 문장 패턴을 검색하며, 상기 유사 문장 패턴에서 검색된 유사 문장 후보들 중 상기 음성 인식 결과 텍스트와 문자열 구성이 가장 유사한 기설정된 개수의 상기 유사 문장 후보를 상기 유사 문장으로 선택하는 것을 특징으로 한다.
상기 학습 평가부는 상기 L1 음향 모델을 저장하는 L1 사용자 음향 모델 데이터베이스; 상기 L1 언어 모델을 저장하는 L1 사용자 언어 모델 데이터베이스; 및 상기 음성 입력과 상기 L1 음향 모델과 비교하여 음향 유사도를 계산하고, 상기 음성 인식 결과 텍스트와 상기 L1 언어 모델과 비교하여 언어 유사도를 계산하며, 상기 음성 인식 결과 텍스트와 상기 문장 분석 및 교정부에서 오류 교정된 상기 음성 인식 결과 텍스트를 비교하여 오류 유사도를 계산하고, 상기 음향 유사도와 상기 언어 유사도 및 상기 오류 유사도를 통합하여 기설정된 방식으로 수치화하여 상기 평가 결과를 생성하는 학습자 평가 모듈; 을 포함하는 것을 특징으로 한다.
상기 외국어 학습 장치는 오류 교정된 상기 음성 인식 결과 텍스트 또는 자동 번역 텍스트 중 적어도 하나를 수신하고, 기설정된 상기 인터랙티브 캐릭터의 특성 및 기저장된 상기 학습자의 음성 인식 결과 텍스트들을 이용하여, 음성 인식 결과 텍스트 또는 자동 번역 텍스트를 확장하여 확장 문장을 생성하는 패러프레이징 처리 모듈; 을 더 포함하는 것을 특징으로 한다.
상기 패러프레이징 처리 모듈은 오류 교정된 상기 음성 인식 결과 텍스트 및 상기 자동 번역 텍스트 중 적어도 하나를 수신하고, 수신된 상기 텍스트를 확장하기 위해 상기 텍스트의 구문 및 의미를 분석하여 특성 키워드를 추출하는 텍스트 분석 모듈; 상기 외국어 학습 장치에서 제공하는 상기 인터랙티브 캐릭터들의 특성 정보를 저장하는 캐릭터 특성 데이터베이스; 상기 텍스트 분석 모듈에서 분석된 상기 음성 인식 결과 텍스트의 키워드를 상기 캐릭터 특성 데이터베이스의 키워드 값들과 매칭하여, 상기 음성 인식 결과 텍스트의 문장을 확장하는 캐릭터 특성 관리 모듈; 상기 학습자가 이전에 발화하여 상기 음성 입력으로 입력하고, 음성 인식된 음성 인식 결과 텍스트들을 저장하는 세션 히스토리 데이터베이스; 및 상기 세션 히스토리 데이터베이스에 저장된 상기 음성 인식 결과 텍스트를 현재 학습자가 발성하여 음성 인식된 상기 음성 인식 결과 텍스트와 결합하여 문장을 확장하는 세션 히스토리 관리 모듈; 을 포함하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명의 일 예에 따른 외국어 학습 방법은 입출력부, 음성 인식부, 문장 분석 및 교정부, 학습 평가부, 다국어 자동 번역 모듈, 패러프레이징 처리 모듈 및 다국어 음성 합성 모듈을 포함하는 외국어 학습 장치의 외국어 학습 방법에 있어서, 상기 입출력부가 설정 명령을 수신하여 음성 입력 언어 및 출력 언어에 대한 언어 설정과 캐릭터 설정 등을 포함하는 학습 설정을 수행하는 단계; 상기 음성 인식부가 학습자가 평상시에 사용하는 언어로 기설정된 생활 언어 및 학습 대상 언어 중 하나로 상기 학습자가 발화하는 음성 입력이 수신되는지 판별하는 단계; 상기 음성 입력이 수신되면, 상기 음성 인식부가 음성 인식을 수행하여 음성 인식 결과 텍스트를 생성하는 단계; 상기 문장 분석 및 교정부가 상기 음성 인식 결과 텍스트의 오류를 교정하는 단계; 상기 다국어 자동 번역 모듈이 상기 오류가 교정된 음성 인식 결과 텍스트가 상기 학습 설정에서 설정된 상기 출력 언어와 동일한지 판별하는 단계; 상기 오류가 교정된 음성 인식 결과 텍스트와 상기 출력 언어가 동일하지 않으면, 상기 오류가 교정된 음성 인식 결과 텍스트를 상기 출력 언어에 따라 자동 번역하여 자동 번역 텍스트를 생성하는 단계; 상기 패러프레이징 처리 모듈이 상기 오류가 교정된 음성 인식 결과 텍스트 또는 상기 자동 번역 텍스트 중 적어도 하나를 수신하고, 오류 교정된 상기 음성 인식 결과 텍스트 및 상기 자동 번역 텍스트 중 적어도 하나를 수신하고, 수신된 상기 텍스트를 기설정된 상기 인터랙티브 캐릭터의 특성 및 기저장된 상기 학습자의 음성 인식 결과 텍스트들을 이용하여, 확장하여 확장 문장을 생성하는 단계; 상기 다국어 음성 합성 모듈이 오류 교정된 상기 음성 인식 결과 텍스트, 상기 자동 번역 텍스트 및 상기 확장 텍스트 중 적어도 하나를 수신하고, 수신된 상기 텍스트에 대응하는 음성을 기설정된 인터랙티브 캐릭터의 특성에 따라 합성하여 합성음을 생성하는 단계; 상기 학습 평가부가 상기 학습자의 언어 사용 능력을 평가하여, 평가 결과를 생성하는 단계; 및 상기 입출력부가 상기 합성음과 상기 평가 결과를 출력하는 단계; 를 포함한다.
따라서, 본 발명의 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법은 학습자가 인터랙티브 캐릭터를 이용한 인터페이스를 통해 게임처럼 쉽고 익숙한 접근 방법으로 경직된 외국어 학습 과정을 쉽고 흥미롭게 수행할 수 있다. 더불어 학습자의 모국어 발화에 대한 번역된 외국어의 발성음을 합성하여 출력하여 학습자가 외국어 발성음을 따라 할 수 있도록 할 수 있다. 뿐만 아니라, 무성 기간과 실험적 생성 기간의 숙달되지 않은 학습자의 외국어 발화의 오류, 발음 교정 및 언어 평가를 학습자에게 친숙한 캐릭터가 피드백함으로써 학습자의 언어 학습의 스트레스를 감소시킬 수 있다. 그리고 유사 문장을 확장하여 제공함으로써 학습자가 다양한 표현의 외국어를 학습할 수 있도록 한다.
도1 은 본 발명의 일 실시예에 따른 인터랙티브 캐릭터 기반 외국어 학습 장치의 구성을 나타낸다.
도2 는 본 발명의 일 실시예에 따른 인터랙티브 캐릭터 기반 외국어 학습 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도1 은 본 발명의 일 실시예에 따른 인터랙티브 캐릭터 기반 외국어 학습 장치의 구성을 나타낸다.
도1 을 참조하면, 본 발명의 인터랙티브 캐릭터 기반 외국어 학습 장치(10)는 크게 입출력부(100), 음성 인식부(200), 문장 분석 및 교정부(300), 학습 평가부(400), 다국어 자동 번역 모듈(500), 패러프레이징 처리 모듈(600), 문장 응용부(700) 및 다국어 음성 합성 모듈(800)을 포함한다.
먼저 입출력부(100)는 학습자의 음성을 감지하여 생성되는 음성 입력을 음성 인식부(200)으로 전송하고, 다국어 음성 합성 모듈(800)로부터 합성음을 수신하여 출력하거나, 학습 평가부(400)로부터 학습자의 학습 평가 결과를 수신하여 학습자에게 표시한다.
음성 인식부(200)는 입출력부(100)를 통해 음성 입력을 수신하고, 수신된 음성 입력을 음성 인식하여, 음성 인식 결과 텍스트로 변환한다. 여기서 음성 인식부(200)는 학습자가 일상에서 사용하는 생활 언어를 음성 인식 할 수 있을 뿐만 아니라 학습자가 발화한 학습 대상 언어 또한 음성 인식 할 수 있다. 음성 인식부(200)는 L123 사용자 음향 모델 데이터베이스(210), L123 사용자 언어 모델 데이터베이스(220) 및 다국어 음성 인식 모듈(230)을 포함한다.
L123 사용자 음향 모델 데이터베이스(210)는 학습자가 평상시에 사용하는 생활 언어(일반적으로는 모국어)를 사용하는 사람들의 음향 모델(여기서는 L3 음향 모델이라 함)과 학습자와 동일 생활 언어를 사용 사람들의 동일한 학습 대상 언어에 대한 음향 모델(여기서는 L2 음향 모델이라 함) 및 학습 대상 언어가 생활 언어인 사람들의 음향 모델(여기서는 L1 음향 모델이라 함)을 포함하는 L123 사용자 음향 모델을 저장한다. 여기서 L123 사용자 음향 모델 데이터베이스(210)는 L1 음향 모델과 L2 음향 모델이 결합된 형태인 L1 + L2 음향 모델을 저장할 수 있다.
유사하게 L123 사용자 언어 모델 데이터베이스(220)는 학습자와 동일한 생활 언어를 사용하는 사람들의 언어 모델(여기서는 L3 언어 모델이라 함)과 학습자와 동일한 생활 언어를 사용하는 사람들의 동일한 학습 대상 언어에 대한 언어 모델(여기서는 L2 언어 모델이라 함) 및 학습 대상 언어가 생활 언어인 사람들의 언어 모델(여기서는 L1 언어 모델이라 함)을 포함하는 L123 사용자 언어 모델을 저장한다. 여기서 L123 사용자 언어 모델 데이터베이스(220)는 L1 언어 모델과 L2 언어 모델은 결합된 형태인 L1 + L2 언어 모델로 저장할 수 있다.
상기한 바와 같이 본 발명에서는 설명의 편의를 위하여 학습자가 학습하고자 하는 대상이 되는 언어를 L1 언어라 하고, 학습자가 일상에서 사용하는 생활 언어를 L3 언어라 한다. L2 언어는 L3 언어의 사용자들이 L1 언어를 사용하는 경우를 의미한다.
다국어 음성 인식 모듈(230)은 입출력부(100)를 통해 인가되는 학습자의 음성 입력을 수신하고, 수신된 학습자의 음성 입력을 L123 사용자 음향 모델 데이터베이스(210)에 저장된 L123 사용자 음향 모델 및 L123 사용자 언어 모델 데이터베이스(220)에 저장된 L123 사용자 언어 모델을 이용하여 음성 인식을 수행하고, 음성 인식된 음성 입력을 음성 인식 결과 텍스트로 변환하여 문장 분석 및 교정부(300)로 출력한다. 다국어 음성 인식 모듈(230)은 음성 입력이 학습자의 생활 언어이거나 학습 대상 언어거나 무관하게 음성 인식을 수행할 수 있다. 즉 음성 입력이 학습자의 생활 언어인 경우에는 L3 음향 모델 및 L3 언어 모델을 이용하여 음성 인식을 수행한다. 그리고 음성 입력이 학습 대상 언어인 경우에는 L1 및 L2 음향 모델과 L1 및 L2 언어 모델을 이용하여 음성 인식을 수행하거나, L1 + L2 음향 모델과 L1 + L2 언어 모델을 이용하여 음성 인식을 수행한다. 이때 다국어 음성 인식 모듈(230)은 음성 입력을 L3 음향 모델과 비교하여 학습자가 발화한 음성 입력이 생활 언어인지 학습 대상 언어인지 판별하여 음성인식을 수행할 수 있다. 그러나 학습자가 발화할 언어 및 학습 대상 언어를 미리 설정하여 음성 입력할 수도 있다. 즉 다국어 음성 인식 모듈(230)은 입출력부(100)를 통해 언어 설정 정보를 미리 수신하여 설정하는 것이 정확한 음성 인식을 위해 바람직하다.
학습 대상 언어에 대해 숙달되지 않은 학습자의 학습 대상 언어에 대한 발화는 오류를 포함하고 있을 가능성이 매우 크다. 이에 기존의 음성 인식 기술을 적용하는 경우에, 음성 인식을 정상적으로 수행하지 못하는 경우가 빈번하게 발생하게 된다. 이는 외국어 학습 장치가 학습 언어에 숙달되지 않은 학습자에게 발화 시 어떠한 오류가 발생하였는지를 알려주지 않은 채 반복적으로 음성을 입력할 것을 요구하게 되어 학습자의 스트레스를 유발한다. 그리고 이러한 학습자의 스트레스는 외국어 학습을 기피하게 하는 현상을 낳는 문제를 야기한다. 특히 학습 대상 언어가 생활 언어인 사람들과 외국어인 학습 대상 언어를 학습하고자 하는 사람들 사이에는 발화하는 음성에 차이가 있더라도 학습자가 이를 인지하지 못하는 경우가 많으므로, 외국어 학습 장치의 음성 인식은 음성 입력에 오류가 포함되어 있더라도 정확하게 음성을 인식할 수 있는 기술이 요구된다.
이에 본 발명의 음성 인식부(200)는 학습 대상 언어가 생활 언어인 사람들에 대한 음향 모델 및 언어 모델뿐만 아니라 학습자와 동일 생활 언어를 가진 사람들의 동일한 학습 대상 언어에 대한 음향 모델 및 언어 모델이 결합된 L1 + L2 사용자 음향 모델 및 L1 + L2 사용자 언어 모델을 이용하여 학습 대상 언어에 대한 음성 인식을 수행하므로 음성 입력을 음성 인식하여 학습언어 텍스트 생성 시에 오류에 강인한 음성인식 기능을 제공할 수 있다.
문장 분석 및 교정부(300)는 음성 인식부(200)에서 음성 인식 결과 텍스트를 수신하고, 음성 인식 결과 텍스트의 오류를 교정하고 유사 문장을 생성한다. 문장 분석 및 교정부(300)는 오류 교정 데이터베이스(310), 문장 오류 교정 모듈(320), 유사 문장 데이터베이스(330) 및 유사 문장 생성 모듈(340)을 포함한다.
오류 교정 데이터베이스(310)는 생활 언어 및 학습 대상 언어에 대한 오류 패턴을 저장한다. 오류 패턴은 기존 음성 인식 결과 텍스트에서 발생하는 오류들과 이에 대한 교정 정보들을 누적한 정보이다.
문장 오류 교정 모듈(320)은 수신된 음성 인식 결과 텍스트의 오류 패턴을 오류 교정 데이터베이스(310)에서 검색하여 수정하여 오류를 교정한다. 본 발명에서 문장 오류 교정 모듈(320)은 문장 오류를 교정하기 위해 먼저 음성 인식 결과 텍스트를 n-gram 의 형태로 변환한다. n-gram은 대표적인 확률적 언어 모델의 하나로서, 단어열을 확률적으로 취급하는 언어 모델이다. n-gram은 확률적 언어 모델의 대표적인 것으로서, n개 단어의 연쇄를 확률적으로 표현해 두면 실제로 발성된 문장의 기록을 계산하는 기술이다.
문장 오류 교정 모듈(320)은 음성 인식 결과 텍스트가 n-gram 형태로 변환되면, 변환된 n-gram을 키워드로 하여 오류 교정 데이터베이스(310)의 오류 패턴을 검색한다. 검색된 오류 패턴으로부터 오류에 대한 교정 정보를 획득하고, 획득된 교정 정보를 검색 키워드의 n-gram으로 대체함으로써 오류를 교정한다.
한편 유사 문장 데이터베이스(330)는 생활 언어 및 학습 대상 언어에서 의미적으로 유사한 다수의 유사 문장을 포함하는 유사 문장 패턴을 저장한다. 일반적으로 사용되는 언어에서 유사 문장의 개수는 입력 가능한 대상 문장이 한정되지 않으므로 무한하다고 할 수 있으나, 외국어 학습은 대부분 한정된 문장을 활용하여 수행되므로, 유사 문장 데이터베이스(330)는 외국어 학습에 사용되는 문장으로 입력 대상 문장을 한정함으로써 대응하는 유사 문장을 저장할 수 있다.
유사 문장 생성 모듈(340)은 음성 인식 결과 텍스트를 수신되면, 음성 인식 결과 텍스트와 의미적으로 유사한 문장을 유사 문장 데이터베이스(330)의 유사 문장 패턴을 검색하여 유사 문장을 획득한다. 유사 문장 생성 모듈(340)는 유사 문장을 획득하기 위해 우선 음성 인식 결과 텍스트에서 기설정된 방식으로 중요 어휘를 추출한다. 그리고 추출된 중요 어휘를 키워드로 하여 유사 문장 데이터베이스(330)의 유사 문장 패턴을 검색한다. 다수의 유사 문장 후보들이 검색되면, 검색된 유사 문장 후보들 중 음성 인식 결과 텍스트와 문자열 구성이 가장 유사한 기설정된 개수의 유사 문장 후보를 유사 문장으로 결정한다.
학습 평가부(400)는 L1 사용자 음향 모델 데이터베이스(410), L1 사용자 언어 모델 데이터베이스(420) 및 학습자 평가 모듈(430)을 포함하여, 학습자의 언어 사용 능력을 평가하고, 평가 결과를 입출력부(100)로 전송한다.
L1 사용자 음향 모델 데이터베이스(410)는 학습 대상 언어가 생활 언어인 사람들에 대한 L1 음향 모델을 저장하고, L1 사용자 언어 모델 데이터베이스(420)는 L1 언어 모델을 저장한다.
학습자 평가 모듈(430)은 음성 인식부(200)의 다국어 음성 인식 모듈(230)로부터 음성 입력을 수신하여 L1 사용자 음향 모델 데이터베이스(410)의 L1 음향 모델과 비교하여 음향 유사도를 계산하고, 음성 인식 결과 텍스트를 L1 사용자 음향 모델 데이터베이스(420)의 L1 언어 모델과 비교하여 언어 유사도를 계산한다. 그리고 음성 인식 결과 텍스트와 문장 분석 및 교정부(300)의 문장 오류 교정 모듈(320)에서 오류 교정된 음성 인식 결과 텍스트를 수신하고 비교하여 오류 유사도를 계산한다. 마지막으로 음향 유사도와 언어 유사도 및 오류 유사도를 통합하여 기설정된 방식으로 수치화하여 평가 결과를 생성한다.
상기에서는 학습 평가부(400)가 L1 사용자 음향 모델 데이터베이스(410) 및 L1 사용자 언어 모델 데이터베이스(420)를 구비하는 것으로 설명하였으나, L1 사용자 음향 모델 데이터베이스(410)와 L1 사용자 언어 모델 데이터베이스(420)는 각각 L123 사용자 음향 모델(210) 및 L123 사용자 언어 모델에 포함되어 구현될 수 있다. 또한 상기에서는 학습자 평가 모듈(430)이 음향 유사도, 언어 유사도 및 오류 유사도를 직접 계산하는 것으로 설명하였으나, 음향 유사도, 언어 유사도는 음성 인식부(200)의 다국어 음성 인식 모듈(230)이 계산하여 학습 평가부(400)로 전송할 수 있으며, 오류 유사도는 문장 오류 교정 모듈(320)이 계산하여 학습 평가부(400)로 전송할 수 있다. 이 경우, 학습 평가부는 단순히 음향 유사도와 언어 유사도 및 오류 유사도를 통합하여 기설정된 방식으로 수치화하여 평가 결과만을 생성하여 출력할 수 있다. 또한 학습자 평가 모듈(430)은 음향 유사도와 언어 유사도 및 오류 유사도 각각을 시각적 또는 청각적 방식으로 출력하여 학습자의 학습 대상 언어에 대한 발화의 어떠한 부분에서 오류가 있는지를 직관적으로 인지할 수 있도록 한다. 예를 들면, 오류가 기설정된 수준보다 큰 어휘들만을 별도로 표시하거나 발성음을 별도로 다시 들려줄 수 있다. 이때, 학습 평가부(400)는 단순히 평가 결과와 오류 부분을 지적하는 방식으로 학습자에게 표시하는 것이 아니라 인터랙티브 캐릭터를 이용하여 표시함으로써 학습자에게 친숙한 방식으로 오류를 교정 할 수 있도록 한다.
다국어 자동 번역 모듈(500)은 문장 분석 및 교정부(300)에서 오류가 교정된 음성 인식 결과 텍스트를 수신하고, 음성 인식 결과 텍스트의 언어와 출력할 음성합성 언어가 서로 상이한 경우에 오류가 교정된 음성 인식 결과 텍스트를 학습 대상 언어로 자동으로 번역하여 자동 번역 텍스트를 출력한다. 즉 음성 인식 결과 텍스트가 학습자의 생활 언어이고, 출력해야 할 합성음이 학습 대상 언어인 경우에, 생활 언어인 음성 인식 결과 텍스트를 학습 대상 언어로 번역한다. 자동 번역 수행 여부는 음성 인식부(200)에서 입력 음성이 생활 언어인지 학습 대상 언어인지를 미리 판별하였으므로, 이를 이용하여 자동 번역 수행 여부를 결정할 수 있다. 예를 들면, 음성 인식부의 다국어 음성 인식 모듈(230)가 다국어 자동 번역 모듈(500)로 언어 설정 정보에 따른 번역 신호를 전송함으로써 자동 번역을 수행할 수 있다.
패러프레이징(Paraphrasing) 처리 모듈(600)은 오류 교정된 음성 인식 결과 텍스트 또는 자동 번역 텍스트를 수신하고, 음성 인식 결과 텍스트 또는 자동 번역 텍스트를 문장 응용부(700)를 통해 확장한다. 즉 인터랙티브 캐릭터가 발화하는 문장의 수를 확장한다.
문장 응용부(700)는 텍스트 분석 모듈(710), 캐릭터 특성 데이터베이스(720), 캐릭터 특성 관리 모듈(730), 세션 히스토리 데이터베이스(740) 및 세션 히스토리 관리 모듈(750)을 포함하여 패러프레이징 처리 모듈(600)에서 확장 요청되는 텍스트를 확장한다.
텍스트 분석 모듈(710)은 패러프레이징 처리 모듈(600)에서 확장 요청하여 전송되는 텍스트의 구문 및 의미를 분석하여 특성 키워드를 추출한다.
캐릭터 특성 데이터베이스(720)는 외국어 학습 장치에서 제공하는 인터랙티브 캐릭터들의 특성 정보를 저장한다. 여기서 저장되는 캐릭터들의 특성 정보에는 캐릭터 이름, 형상, 종류 및 캐릭터에 대응하는 음성 데이터 등이 포함될 수 있다.
캐릭터 특성 관리 모듈(730)은 텍스트 분석 모듈(720)에서 분석된 텍스트의 키워드를 캐릭터 특성 데이터베이스(720)의 키워드 값들과 매칭하여 해당 값을 적용한 문장을 생성한다. 예를 들면 인터렉티브 캐릭터가 고양이 캐릭터이고, 확장 요청되는 문장이 "나는 홍길동이다"인 경우에, 캐릭터 특성 관리 모듈(730)은 "나는 고양이이다"라고 확장 문장을 생성하여 패러프레이징 처리 모듈(600)로 전송한다.
세션 히스토리 데이터베이스(740)는 학습자가 이전에 발화하여 음성 입력으로 입력하고 음성 인식된 음성 인식 결과 텍스트들을 저장한다.
세션 히스토리 관리 모듈(750)은 이전에 학습자가 발성하여 음성 인식된 음성 인식 결과 텍스트를 현재 학습자가 발성하여 음성 인식된 음성 인식 결과 텍스트와 결합하여 문장을 확장한다. 예를 들면 학습자가 "나는 사람이다", "나는 배고프다"를 한 세션에서 발화하여 음성 인식 된 경우, 세션 히스토리 고나리 모듈(750)은 "나는 사람이어서 배고프다", "나는 사람이니까 배고프다" 등으로 문장을 결합하여 확장 문장을 생성한다.
문장 응용부(700)에서 확장되어 생성되는 문장들은 인터랙티브 캐릭터와 함께 학습자에게 출력될 문장으로, 문장 응용부(700)는 곧 인터렉티브 캐릭터 관리부로 볼 수 있다. 또한 상기에서는 문장 응용부(700)를 별도로 도시하였으나, 문장 응용부(700)은 패러프레이징 처리 모듈(600)에 포함되어 구성될 수 있다.
다국어 음성 합성 모듈(800)은 패러프레이징 처리 모듈(600)로부터 오류 교정된 음성 인식 결과 텍스트, 자동 번역 텍스트 및 확장 텍스트 중 적어도 하나를 수신하고, 수신된 텍스트에 대응하는 음성을 합성하여 합성음을 입출력부(100)로 출력한다.
그러므로 외국어 학습 장치(10)는 학습자의 생활 언어 발화를 음성 입력으로 수신하여, 번역하여 학습 대상 언어의 합성음을 인터랙티브 캐릭터와 함께 출력할 수 있을 뿐만 아니라, 인터랙티브 캐릭터의 특성이나 학습자의 이전 음성 입력을 바탕으로 학습 대상 언어를 확장하여 출력할 수 있다. 뿐만 아니라, 학습자의 학습 대상 언어 발화를 음성 입력으로 수신하여, 학습자의 학습 대상 언어 발화의 오류를 분석 및 교정하고, 인터랙티브 캐릭터를 통해 오류가 발생한 부분을 학습자가 인식할 수 있도록 함으로서, 학습자가 잦은 오류에도 스트레스를 받지 않고 오류를 수정할 수 있도록 한다.
도1 의 외국어 학습 장치(10)는 스마트 폰이나 스마트 패드와 같은 스마트 기기를 포함하는 모바일 기기 및 PC와 같은 정보 처리 기기의 형태로 구현될 수 있다. 이 경우 입출력부(100)는 정보 처리 기기의 사용자 인터페이스로 구현될 수도 있다.
또한 외국어 학습 장치(10)의 구성 요소들은 어플리케이션 소프트웨어 모듈의 형태로 구현될 수 있다. 외국어 학습 장치(10)의 구성 요소들이 어플리케이션 소프트웨어 모듈의 형태로 구현되는 경우에, 입출력부(100)는 정보 처리 기기의 운영체제(Operation System)와 같은 어플리케이션과 입출력 관련 통신을 수행하는 통신 모듈로 구현될 수 있다.
또한 상기에서는 입출력부(100)를 통해 인가되는 입력 음성의 언어나 출력될 합성음의 언어에 대한 설정을 개별 구성이 직접 수신하여 처리하는 것으로 설명하였으나, 별도의 학습 설정부(미도시)를 추가로 구비하여 학습 설정을 저장할 수도 있다. 학습 설정에는 입력 음성의 언어나 출력될 합성음의 언어에 대한 설정 뿐만 아니라 사용자 정보나 캐릭터 설정 등이 포함될 수 있다.
도2 는 본 발명의 일 실시예에 따른 인터랙티브 캐릭터 기반 외국어 학습 방법을 나타낸다.
도1 을 참조하여, 도2 의 인터랙티브 캐릭터 기반 외국어 학습 방법을 설명하면, 우선 외국어 학습 장치(10)는 입출력부(100)를 통해 설정 명령을 수신하여 학습 설정을 수행한다(S10). 학습 설정은 음성 입력 언어 및 출력 언어에 대한 언어 설정과 캐릭터 설정 등이 포함된다. 음성 입력 언어는 학습자의 생활 언어 및 학습 대상 언어가 모두 포함되어 설정될 있으며, 출력 언어는 학습 대상 언어가 설정될 수 있다. 경우에 따라서는 출력 언어가 학습 대상 언어뿐만 아니라 생활 언어가 포함될 수도 있다. 이는 인터랙티브 캐릭터가 학습자의 생활 언어로 학습자와 대화하는 것처럼 학습자에게 느끼게끔 하여 학습자의 외국어 학습에 스트레스를 줄여주기 위함이다.
학습 설정이 수행되면 음성 인식부(200)는 입출력부(100)를 통해 음성 입력이 수신되는지 판별한다(S20). 만일 음성 입력이 수신되면, 음성 인식을 수행하여 음성 인식 결과 텍스트를 생성한다(S30). 이때 입력되는 음성은 학습자의 생활 언어로 입력될 수도 있으며, 학습 대상 언어로 입력 될 수 있다. 음성 인식부(200)는 음성 입력이 학습자의 생활 언어이든 학습 대상 언어이든 무관하게 음성인식을 수행한다. 여기서 음성 인식부(200)는 음성 입력이 학습자의 생활 언어이면, L3 사용자 음향 모델 및 L3 사용자 언어 모델을 이용하여 음성인식을 수행한다. 그러나 음성 입력이 학습 대상 언어이면, L1 및 L2 사용자 음향 모델과 L1 및 L2 사용자 언어 모델을 이용하여 음성 인식을 수행한다. 본 발명의 음성 인식부(200)는 학습 대상 언어에 대한 음성 입력을 학습 대상 언어가 생활 언어인 사용자들의 L1 사용자 음향 모델과 L1 사용자 언어 모델만을 이용하여 음성 인식을 수행하는 것이 아니라, 학습자와 동일한 생활 언어를 사용하는 사람들의 학습 대상 언어에 대한 L2 음향 모델 및 L2 언어 모델을 함께 사용함으로써, 음성 인식률을 크게 높일 수 있다. 또한 음성 입력이 학습 대상 언어인 경우에, L1 및 L2 사용자 음향 모델을 결합한 L1 + L2 사용자 음향 모델과 L1 및 L2 사용자 언어 모델을 결합한 L1 + L2 사용자 언어 모델을 이용하여 음성 인식을 수행할 수도 있다.
음성 입력에 대한 음성 인식이 수행되어 음성 인식 결과 텍스트가 생성되면, 문장 분석 및 교정부(300)에서 음성 인식 결과 텍스트의 오류를 교정하여 정문으로 변환한다(S40). 이때 문장 분석 및 교정부(300)는 오류를 교정하기 위해 음성 인식 결과 텍스트를 n-gram 의 형태로 변환하고, 변환된 n-gram을 키워드로 하여 오류 교정 데이터베이스(310)의 오류 패턴을 검색함으로써, 오류를 교정한다.
오류가 교정된 음성 인식 결과 텍스트가 학습 설정에서 출력되어야 하는 언어와 동일한지 판별한다(S50). 즉 음성 입력 언어와 출력 언어가 동일한지 판별한다. 만일 음성 입력 언어와 출력 언어가 동일하지 않다면, 다국어 자동 번역 모듈(500)이 음성 인식 결과 텍스트를 출력 언어에 따라 자동 번역을 수행한다(S60). 만일 음성 입력 언어와 출력 언어가 동일하다면, 자동 번역을 수행하지 않는다.
그리고 음성 인식 결과 텍스트가 자동 번역되거나, 또는 번역되지 않은 학습 대상 언어 텍스트를 패러프레이징 처리 모듈(600)에서 확장한다. 패러프레이징 처리 모듈(600)은 우선 학습 대상 언어 텍스트를 분석하여 학습 설정에 의해 설정된 캐릭터의 특성에 따라 출력할 문장 후보를 추출하여 출력 문장을 확장한다(S70). 캐릭터 특성에 따라 출력 문장을 확장하고 나면, 학습자가 이전에 학습자가 이전에 발화하여 음성 입력으로 입력하고 음성 인식된 음성 인식 결과 텍스트를 결합하여 출력할 문장 후보를 생성하여 출력 문장을 확장한다(S80). 출력 문장이 확장되면, 확장된 출력 문장 중에서 합성음으로 출력할 문장을 선택하고, 선택된 출력 문장을 음성 합성한다(S90).
한편 학습자 평가부(400)는 음성 입력을 L1 음향 모델과 비교하여 음향 유사도를 계산하고, 음성 인식 결과 텍스트를 L1 언어 모델과 비교하여 언어 유사도를 계산하며, 음성 인식 결과 텍스트와 문장 분석 및 교정부(300)에서 오류 교정된 음성 인식 결과 텍스트를 비교하여 오류 유사도를 계산하여 학습자의 학습 성취도를 평가한다(S100).
그리고 음성 합성된 합성음과 학습 평가 결과를 인터랙티브 캐릭터의 애니메이션과 음성의 형태로 출력하여, 학습자에게 피드백한다(S110). 여기서 캐릭터 애니메이션은 음성 인식 평가 결과, 문장 의미 평가 결과 등으로 세부적으로 표시할 수 있으며, 학습자의 발화에서 오류가 발생한 부분을 지적하고 올바른 발음을 함께 출력할 수 도 있다.
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (20)

  1. 학습자가 평상시에 사용하는 언어로 기설정된 생활 언어 및 학습 대상 언어 중 하나로 상기 학습자가 발화하는 음성 입력을 수신하고, 합성음 및 학습 평가 결과 중 적어도 하나를 출력하는 입출력부;
    상기 음성 입력을 인가받아 음성 인식을 수행하여 음성 인식 결과 텍스트를 출력하는 음성 인식부;
    상기 음성 인식 결과 텍스트를 수신하여 상기 음성 인식 결과 텍스트의 오류를 교정하고 유사 문장을 생성하는 문장 분석 및 교정부;
    문장 분석 및 교정부에서 오류가 교정된 상기 음성 인식 결과 텍스트의 언어와 출력 언어가 서로 상이한 경우, 상기 음성 인식 결과 텍스트를 상기 출력 언어에 대응하여 자동 번역하여 자동 번역 텍스트를 생성하는 다국어 자동 번역 모듈;
    오류 교정된 상기 음성 인식 결과 텍스트 및 상기 자동 번역 텍스트 중 적어도 하나를 수신하고, 수신된 상기 텍스트에 대응하는 음성을 기설정된 인터랙티브 캐릭터의 특성에 따라 합성하여 합성음을 상기 입출력부로 출력하는 다국어 음성 합성 모듈; 및
    상기 학습자의 언어 사용 능력을 평가하고, 평가 결과를 상기 입출력부로 출력하는 학습 평가부; 를 포함하는 외국어 학습 장치.
  2. 제1 항에 있어서, 상기 음성 인식부는
    상기 학습자가 평상시에 사용하는 생활 언어를 사용하는 사람들의 L3 음향 모델과 상기 학습자와 동일 생활 언어를 사용 사람들의 동일한 상기 학습 대상 언어에 대한 L2 음향 모델 및 상기 학습 대상 언어가 생활 언어인 사람들의 L1 음향 모델을 포함하는 L123 사용자 음향 모델을 저장하는 L123 사용자 음향 모델 데이터베이스;
    상기 학습자와 동일한 생활 언어를 사용하는 사람들의 L3 언어 모델과 상기 학습자와 동일 생활 언어를 사용 사람들의 동일한 상기 학습 대상 언어에 대한 L2 음향 모델 및 상기 학습 대상 언어가 생활 언어인 사람들의 L1 음향 모델을 포함하는 L123 사용자 음향 모델을 저장하는 L123 사용자 언어 모델 데이터베이스; 및
    상기 음성 입력을 L123 사용자 음향 모델 및 L123 사용자 언어 모델을 이용하여 상기 음성 인식 결과 텍스트로 변환하는 다국어 음성 인식 모듈; 을 포함하는 것을 특징으로 하는 외국어 학습 장치.
  3. 제2 항에 있어서, 상기 L123 사용자 음향 모델 데이터베이스는
    상기 L1 음향 모델과 L2 음향 모델이 결합된 형태인 L1 + L2 음향 모델을 저장하고,
    상기 L123 사용자 언어 모델 데이터베이스는
    상기 L1 언어 모델과 L2 언어 모델이 결합된 형태인 L1 + L2 언어 모델을 저장하는 것을 특징으로 하는 외국어 학습 장치.
  4. 제3 항에 있어서, 상기 다국어 음성 인식 모듈은
    상기 음성 입력이 상기 학습자의 생활 언어인 경우에는 상기 L3 음향 모델 및 상기 L3 언어 모델을 이용하여 음성 인식을 수행하고,
    상기 음성 입력이 상기 학습 대상 언어인 경우에는 상기 L1 + L2 음향 모델과 상기 L1 + L2 언어 모델을 이용하여 음성 인식을 수행하는 것을 특징으로 하는 외국어 학습 장치.
  5. 제2 항에 있어서, 상기 문장 분석 및 교정부는
    상기 생활 언어 및 상기 학습 대상 언어에 대해 기존의 음성 인식 결과 텍스트에서 발생하는 오류들과 이에 대한 교정 정보들을 누적한 오류 패턴을 저장하는 오류 교정 데이터베이스;
    상기 음성 인식 결과 텍스트의 오류를 상기 오류 패턴에서 검색하여 오류를 교정하는 문장 오류 교정 모듈;
    상기 생활 언어 및 상기 학습 대상 언어에서 의미적으로 유사한 다수의 유사 문장을 포함하는 유사 문장 패턴을 저장하는 유사 문장 데이터베이스; 및
    상기 음성 인식 결과 텍스트와 의미적으로 유사한 문장을 상기 유사 문장 패턴을 검색하여 획득하는 유사 문장 생성 모듈; 을 포함하는 것을 특징으로 하는 외국어 학습 장치.
  6. 제5 항에 있어서, 상기 문장 오류 교정 모듈은
    상기 음성 인식 결과 텍스트를 n-gram 의 형태로 변환하고, 변환된 상기n-gram을 키워드로 하여 상기 오류 교정 데이터베이스의 상기 오류 패턴을 검색하고, 검색된 상기 오류 패턴으로부터 오류에 대한 교정 정보를 획득하고, 획득된 교정 정보를 검색 키워드의 상기 n-gram으로 대체함으로써 오류를 교정하는 것을 특징으로 하는 외국어 학습 장치.
  7. 제5 항에 있어서, 상기 문장 오류 교정 모듈은
    상기 음성 인식 결과 텍스트에서 기설정된 방식으로 중요 어휘를 추출하고, 상기 중요 어휘를 키워드로 하여 상기 유사 문장 데이터베이스의 유사 문장 패턴을 검색하며, 상기 유사 문장 패턴에서 검색된 유사 문장 후보들 중 상기 음성 인식 결과 텍스트와 문자열 구성이 가장 유사한 기설정된 개수의 상기 유사 문장 후보를 상기 유사 문장으로 선택하는 것을 특징으로 하는 외국어 학습 장치.
  8. 제5 항에 있어서, 상기 학습 평가부는
    상기 L1 음향 모델을 저장하는 L1 사용자 음향 모델 데이터베이스;
    상기 L1 언어 모델을 저장하는 L1 사용자 언어 모델 데이터베이스; 및
    상기 음성 입력과 상기 L1 음향 모델과 비교하여 음향 유사도를 계산하고, 상기 음성 인식 결과 텍스트와 상기 L1 언어 모델과 비교하여 언어 유사도를 계산하며, 상기 음성 인식 결과 텍스트와 상기 문장 분석 및 교정부에서 오류 교정된 상기 음성 인식 결과 텍스트를 비교하여 오류 유사도를 계산하고, 상기 음향 유사도와 상기 언어 유사도 및 상기 오류 유사도를 통합하여 기설정된 방식으로 수치화하여 상기 평가 결과를 생성하는 학습자 평가 모듈; 을 포함하는 것을 특징으로 하는 외국어 학습 장치.
  9. 제8 항에 있어서, 상기 L1 사용자 음향 모델 데이터베이스 및 상기 L1 사용자 언어 모델 데이터베이스 각각은
    상기 L123 사용자 음향 모델 데이터베이스 및 상기 L123 사용자 언어 모델 데이터베이스에 포함되어 구현되는 것을 특징으로 하는 외국어 학습 장치.
  10. 제1 항에 있어서, 상기 외국어 학습 장치는
    오류 교정된 상기 음성 인식 결과 텍스트 또는 자동 번역 텍스트 중 적어도 하나를 수신하고, 기설정된 상기 인터랙티브 캐릭터의 특성 및 기저장된 상기 학습자의 음성 인식 결과 텍스트들을 이용하여, 음성 인식 결과 텍스트 또는 자동 번역 텍스트를 확장하여 확장 문장을 생성하는 패러프레이징 처리 모듈; 을 더 포함하는 것을 특징으로 하는 외국어 학습 장치.
  11. 제10 항에 있어서, 상기 패러프레이징 처리 모듈은
    오류 교정된 상기 음성 인식 결과 텍스트 및 상기 자동 번역 텍스트 중 적어도 하나를 수신하고, 수신된 상기 텍스트를 확장하기 위해 상기 텍스트의 구문 및 의미를 분석하여 특성 키워드를 추출하는 텍스트 분석 모듈;
    상기 외국어 학습 장치에서 제공하는 상기 인터랙티브 캐릭터들의 특성 정보를 저장하는 캐릭터 특성 데이터베이스;
    상기 텍스트 분석 모듈에서 분석된 상기 음성 인식 결과 텍스트의 키워드를 상기 캐릭터 특성 데이터베이스의 키워드 값들과 매칭하여, 상기 음성 인식 결과 텍스트의 문장을 확장하는 캐릭터 특성 관리 모듈;
    상기 학습자가 이전에 발화하여 상기 음성 입력으로 입력하고, 음성 인식된 음성 인식 결과 텍스트들을 저장하는 세션 히스토리 데이터베이스; 및
    상기 세션 히스토리 데이터베이스에 저장된 상기 음성 인식 결과 텍스트를 현재 학습자가 발성하여 음성 인식된 상기 음성 인식 결과 텍스트와 결합하여 문장을 확장하는 세션 히스토리 관리 모듈; 을 포함하는 것을 특징으로 하는 외국어 학습 장치.
  12. 제11 항에 있어서, 상기 다국어 음성 합성 모듈은
    오류 교정된 상기 음성 인식 결과 텍스트, 상기 자동 번역 텍스트 및 상기 확장 텍스트 중 적어도 하나를 수신하여 상기 합성음을 생성하는 것을 특징으로 하는 외국어 학습 장치.
  13. 제1 항에 있어서, 상기 입출력부는
    정보 처리 기기와 입출력 관련 통신을 수행하는 통신 모듈로 구현되는 것을 특징으로 하는 외국어 학습 장치.
  14. 입출력부, 음성 인식부, 문장 분석 및 교정부, 학습 평가부, 다국어 자동 번역 모듈, 패러프레이징 처리 모듈 및 다국어 음성 합성 모듈을 포함하는 외국어 학습 장치의 외국어 학습 방법에 있어서,
    상기 입출력부가 설정 명령을 수신하여 음성 입력 언어 및 출력 언어에 대한 언어 설정과 캐릭터 설정 등을 포함하는 학습 설정을 수행하는 단계;
    상기 음성 인식부가 학습자가 평상시에 사용하는 언어로 기설정된 생활 언어 및 학습 대상 언어 중 하나로 상기 학습자가 발화하는 음성 입력이 수신되는지 판별하는 단계;
    상기 음성 입력이 수신되면, 상기 음성 인식부가 음성 인식을 수행하여 음성 인식 결과 텍스트를 생성하는 단계;
    상기 문장 분석 및 교정부가 상기 음성 인식 결과 텍스트의 오류를 교정하는 단계;
    상기 다국어 자동 번역 모듈이 상기 오류가 교정된 음성 인식 결과 텍스트가 상기 학습 설정에서 설정된 상기 출력 언어와 동일한지 판별하는 단계;
    상기 오류가 교정된 음성 인식 결과 텍스트와 상기 출력 언어가 동일하지 않으면, 상기 오류가 교정된 음성 인식 결과 텍스트를 상기 출력 언어에 따라 자동 번역하여 자동 번역 텍스트를 생성하는 단계;
    상기 패러프레이징 처리 모듈이 상기 오류가 교정된 음성 인식 결과 텍스트 또는 상기 자동 번역 텍스트 중 적어도 하나를 수신하고, 오류 교정된 상기 음성 인식 결과 텍스트 및 상기 자동 번역 텍스트 중 적어도 하나를 수신하고, 수신된 상기 텍스트를 기설정된 상기 인터랙티브 캐릭터의 특성 및 기저장된 상기 학습자의 음성 인식 결과 텍스트들을 이용하여, 확장하여 확장 문장을 생성하는 단계;
    상기 다국어 음성 합성 모듈이 오류 교정된 상기 음성 인식 결과 텍스트, 상기 자동 번역 텍스트 및 상기 확장 텍스트 중 적어도 하나를 수신하고, 수신된 상기 텍스트에 대응하는 음성을 기설정된 인터랙티브 캐릭터의 특성에 따라 합성하여 합성음을 생성하는 단계;
    상기 학습 평가부가 상기 학습자의 언어 사용 능력을 평가하여, 평가 결과를 생성하는 단계; 및
    상기 입출력부가 상기 합성음과 상기 평가 결과를 출력하는 단계; 를 포함하는 외국어 학습 방법.
  15. 제14 항에 있어서, 상기 음성 인식 결과 텍스트를 생성하는 단계는
    상기 음성 입력이 상기 학습자의 생활 언어인 경우에는 상기 학습자가 평상시에 사용하는 생활 언어를 사용하는 사람들의 L3 음향 모델과 L3 언어 모델을 이용하여 상기 음성 입력을 상기 음성 인식 결과 텍스트로 변환하는 단계; 및
    상기 음성 입력이 상기 학습 대상 언어인 경우에는 상기 학습자와 동일 생활 언어를 사용 사람들의 동일한 상기 학습 대상 언어에 대한 L2 음향 모델 및 상기 학습 대상 언어가 생활 언어인 사람들의 L1 음향 모델이 결합된 L1 + L2 음향 모델과 상기 학습자와 동일 생활 언어를 사용 사람들의 동일한 상기 학습 대상 언어에 대한 L2 언어 모델 및 상기 학습 대상 언어가 생활 언어인 사람들의 L1 언어 모델이 결합된 L1 + L2 언어 모델을 이용하여 상기 음성 인식 결과 텍스트로 변환하는 것을 특징으로 하는 외국어 학습 방법.
  16. 제15 항에 있어서, 상기 오류를 교정하는 단계는
    상기 음성 인식 결과 텍스트의 오류를 상기 생활 언어 및 상기 학습 대상 언어에 대해 기존의 음성 인식 결과 텍스트에서 발생하는 오류들과 이에 대한 교정 정보들이 누적되어 저장된 오류 패턴에서 검색하여 상기 오류를 교정하는 것을 특징으로 하는 외국어 학습 방법.
  17. 제16 항에 있어서, 상기 오류를 교정하는 단계는
    상기 음성 인식 결과 텍스트를 n-gram 의 형태로 변환하는 단계;
    변환된 상기 n-gram을 키워드로 하여 상기 오류 패턴을 검색하는 단계; 및
    상기 오류 패턴에 설정된 교정 정보를 획득하여 오류를 교정하는 단계; 를 포함하는 것을 특징으로 하는 외국어 학습 방법.
  18. 제15 항에 있어서, 상기 확장 문장을 생성하는 단계는
    오류 교정된 상기 음성 인식 결과 텍스트 및 상기 자동 번역 텍스트 중 적어도 하나의 구문 및 의미를 분석하여 특성 키워드를 추출하는 단계;
    분석된 상기 음성 인식 결과 텍스트의 키워드를 기저장된 상기 인터랙티브 캐릭터들의 특성 정보와 매칭하여 문장을 확장하는 단계; 및
    분석된 상기 음성 인식 결과 텍스트를 상기 학습자가 이전에 발화하여 기저장된 상기 음성 인식 결과 텍스트와 결합하여 문장을 확장하는 단계; 를 포함하는 것을 특징으로 하는 외국어 학습 방법.
  19. 제15 항에 있어서, 상기 평가 결과를 생성하는 단계는
    상기 음성 입력과 상기 L1 음향 모델과 비교하여 음향 유사도를 계산하는 단계;
    상기 음성 인식 결과 텍스트와 상기 L1 언어 모델과 비교하여 언어 유사도를 계산하는 단계;
    상기 음성 인식 결과 텍스트와 오류 교정된 상기 음성 인식 결과 텍스트를 비교하여 오류 유사도를 계산하는 단계; 및
    상기 음향 유사도와 상기 언어 유사도 및 상기 오류 유사도를 통합하여 기설정된 방식으로 수치화하여 상기 평가 결과를 생성하는 단계; 를 포함하는 것을 특징으로 하는 외국어 학습 방법.
  20. 제14 항 내지 제19 항 중 어느 한 항에 따른 외국어 학습 방법을 수행하기 위한 컴퓨터로 판독 가능한 프로그램을 기록한 기록 매체.
KR1020130089650A 2013-07-29 2013-07-29 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법 KR102191425B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130089650A KR102191425B1 (ko) 2013-07-29 2013-07-29 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법
JP2014064369A JP2015026057A (ja) 2013-07-29 2014-03-26 インタラクティブキャラクター基盤の外国語学習装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130089650A KR102191425B1 (ko) 2013-07-29 2013-07-29 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150014236A true KR20150014236A (ko) 2015-02-06
KR102191425B1 KR102191425B1 (ko) 2020-12-15

Family

ID=52490726

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130089650A KR102191425B1 (ko) 2013-07-29 2013-07-29 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법

Country Status (2)

Country Link
JP (1) JP2015026057A (ko)
KR (1) KR102191425B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101635144B1 (ko) * 2015-10-05 2016-06-30 주식회사 이르테크 텍스트 시각화와 학습자 말뭉치를 이용한 언어학습 시스템
KR20160107000A (ko) * 2015-03-03 2016-09-13 헬로챗 주식회사 다국어 학습 서비스 제공 방법
KR20170108618A (ko) * 2016-03-18 2017-09-27 한국전자통신연구원 대화식 오류 교정 피드백을 이용한 언어 학습 장치 및 그 방법
US10198435B2 (en) 2015-11-17 2019-02-05 Samsung Electronics Co., Ltd. Apparatus and method for generating translation model, apparatus and method for automatic translation
KR20200036086A (ko) * 2018-09-19 2020-04-07 주식회사 포티투마루 인공 지능 질의 응답 시스템, 방법 및 컴퓨터 프로그램
KR20200080914A (ko) * 2018-12-27 2020-07-07 한국전자통신연구원 언어학습을 위한 양국어 자유 대화 시스템 및 방법
KR20200083404A (ko) * 2018-09-19 2020-07-08 주식회사 포티투마루 인공 지능 질의 응답 시스템, 방법 및 컴퓨터 프로그램
US10713439B2 (en) 2016-10-31 2020-07-14 Samsung Electronics Co., Ltd. Apparatus and method for generating sentence
KR102267276B1 (ko) * 2020-03-06 2021-06-21 주식회사 예스피치 학습데이터 확장 및 후처리 정제 기능을 가지는 음성 텍스트 변환 시스템 및 방법
KR20220047734A (ko) * 2020-01-15 2022-04-19 주식회사 더플랜지 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101740636B1 (ko) * 2015-03-05 2017-05-26 한국전자통신연구원 음성 인식 기반 발음 평가 방법 및 장치
JP2018031828A (ja) * 2016-08-23 2018-03-01 Kddi株式会社 学習者の口述音声から自動的に採点するプログラム、装置及び方法
KR102509821B1 (ko) * 2017-09-18 2023-03-14 삼성전자주식회사 Oos 문장을 생성하는 방법 및 이를 수행하는 장치
CN107657842A (zh) * 2017-11-02 2018-02-02 北京中智高新技术研究院 一种人工智能普通话练习设备、方法以及应用
CN110164445B (zh) * 2018-02-13 2023-06-16 阿里巴巴集团控股有限公司 语音识别方法、装置、设备及计算机存储介质
CN111198936B (zh) * 2018-11-20 2023-09-15 北京嘀嘀无限科技发展有限公司 一种语音搜索方法、装置、电子设备及存储介质
CN110032740A (zh) * 2019-04-20 2019-07-19 卢劲松 定制个性语义学习应用方法
CN111681659A (zh) * 2020-06-08 2020-09-18 北京高因科技有限公司 一种应用于便携式设备的自动语音识别系统及其工作方法
CN112818706B (zh) * 2021-01-19 2024-02-27 传神语联网网络科技股份有限公司 基于逆向结果稳定性的语音翻译实时争端记录系统与方法
CN112818707B (zh) * 2021-01-19 2024-02-27 传神语联网网络科技股份有限公司 基于逆向文本共识的多翻引擎协作语音翻译系统与方法
CN112466279B (zh) * 2021-02-02 2021-05-18 深圳市阿卡索资讯股份有限公司 一种英语口语发音自动纠正方法和装置
WO2022203123A1 (ko) * 2021-03-26 2022-09-29 주식회사 트랜스버스 캐릭터를 활용한 인공지능 자연어 처리 기반의 화상교육 콘텐츠 제공 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351305A (ja) * 2001-05-23 2002-12-06 Apollo Seiko Ltd 語学研修用ロボット
JP5020593B2 (ja) * 2006-10-16 2012-09-05 株式会社日立ソリューションズ 外国語学習通信システム
JP2013512461A (ja) * 2009-12-16 2013-04-11 浦項工科大學校 産學協力團 外国語学習装置及び対話システム
KR20130068598A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 외국어 학습자의 발음 평가 장치 및 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5025759B2 (ja) * 1997-11-17 2012-09-12 ニュアンス コミュニケーションズ，インコーポレイテッド 発音矯正装置、発音矯正方法および記録媒体
JP2001014314A (ja) * 1999-06-28 2001-01-19 Sony Corp 同時翻訳システム
US7149690B2 (en) * 1999-09-09 2006-12-12 Lucent Technologies Inc. Method and apparatus for interactive language instruction
JP2001325202A (ja) * 2000-05-12 2001-11-22 Sega Corp 仮想空間の会話方法及びそのシステム
JP3903841B2 (ja) * 2002-05-14 2007-04-11 日本電気株式会社 自動通訳装置及び自動通訳用プログラム
JP2004347906A (ja) * 2003-05-23 2004-12-09 Matsushita Electric Ind Co Ltd 教育システムおよび音声入出力装置
JP2005031150A (ja) * 2003-07-07 2005-02-03 Canon Inc 音声処理装置および方法
JP4791984B2 (ja) * 2007-02-27 2011-10-12 株式会社東芝 入力された音声を処理する装置、方法およびプログラム
JP4852448B2 (ja) * 2007-02-28 2012-01-11 日本放送協会 誤り傾向学習音声認識装置及びコンピュータプログラム
JP2008243080A (ja) * 2007-03-28 2008-10-09 Toshiba Corp 音声を翻訳する装置、方法およびプログラム
KR100919225B1 (ko) * 2007-09-19 2009-09-28 한국전자통신연구원 음성 대화 시스템에 있어서 다단계 검증을 이용한 대화오류 후처리 장치 및 방법
JP5336805B2 (ja) * 2008-09-26 2013-11-06 株式会社東芝 音声翻訳装置、方法、およびプログラム
JP4977116B2 (ja) * 2008-12-03 2012-07-18 株式会社東芝 音声認識装置、方法、およびプログラム
JP2010230948A (ja) * 2009-03-27 2010-10-14 Hitachi East Japan Solutions Ltd コンテンツ配信システムおよびテキスト表示方法
JP5222264B2 (ja) * 2009-10-05 2013-06-26 株式会社エヌ・ティ・ティ・ドコモ 情報処理装置、情報処理方法および情報処理システム
KR20120048140A (ko) * 2010-11-05 2012-05-15 한국전자통신연구원 자동 번역 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351305A (ja) * 2001-05-23 2002-12-06 Apollo Seiko Ltd 語学研修用ロボット
JP5020593B2 (ja) * 2006-10-16 2012-09-05 株式会社日立ソリューションズ 外国語学習通信システム
JP2013512461A (ja) * 2009-12-16 2013-04-11 浦項工科大學校 産學協力團 外国語学習装置及び対話システム
KR20130068598A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 외국어 학습자의 발음 평가 장치 및 방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160107000A (ko) * 2015-03-03 2016-09-13 헬로챗 주식회사 다국어 학습 서비스 제공 방법
WO2017061753A1 (ko) * 2015-10-05 2017-04-13 주식회사 이르테크 텍스트 시각화와 학습자 말뭉치를 이용한 언어학습 시스템
KR101635144B1 (ko) * 2015-10-05 2016-06-30 주식회사 이르테크 텍스트 시각화와 학습자 말뭉치를 이용한 언어학습 시스템
US10198435B2 (en) 2015-11-17 2019-02-05 Samsung Electronics Co., Ltd. Apparatus and method for generating translation model, apparatus and method for automatic translation
KR20170108618A (ko) * 2016-03-18 2017-09-27 한국전자통신연구원 대화식 오류 교정 피드백을 이용한 언어 학습 장치 및 그 방법
US10713439B2 (en) 2016-10-31 2020-07-14 Samsung Electronics Co., Ltd. Apparatus and method for generating sentence
US10832004B2 (en) 2018-09-19 2020-11-10 42 Maru Inc. Method, system, and computer program for artificial intelligence answer
KR20200083404A (ko) * 2018-09-19 2020-07-08 주식회사 포티투마루 인공 지능 질의 응답 시스템, 방법 및 컴퓨터 프로그램
KR20200036086A (ko) * 2018-09-19 2020-04-07 주식회사 포티투마루 인공 지능 질의 응답 시스템, 방법 및 컴퓨터 프로그램
US11373047B2 (en) 2018-09-19 2022-06-28 42 Maru Inc. Method, system, and computer program for artificial intelligence answer
US11822890B2 (en) 2018-09-19 2023-11-21 42 Maru Inc. Method, system, and computer program for artificial intelligence answer
KR20200080914A (ko) * 2018-12-27 2020-07-07 한국전자통신연구원 언어학습을 위한 양국어 자유 대화 시스템 및 방법
KR20220047734A (ko) * 2020-01-15 2022-04-19 주식회사 더플랜지 언어 학습 콘텐츠의 캐릭터를 교육하기 위한 사용자 인터페이스 제공 장치 및 방법
KR102267276B1 (ko) * 2020-03-06 2021-06-21 주식회사 예스피치 학습데이터 확장 및 후처리 정제 기능을 가지는 음성 텍스트 변환 시스템 및 방법

Also Published As

Publication number Publication date
JP2015026057A (ja) 2015-02-05
KR102191425B1 (ko) 2020-12-15

Similar Documents

Publication Publication Date Title
KR102191425B1 (ko) 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법
US11404043B2 (en) Systems and methods for providing non-lexical cues in synthesized speech
US6910012B2 (en) Method and system for speech recognition using phonetically similar word alternatives
KR100998566B1 (ko) 음성인식을 이용한 언어 번역 방법 및 장치
JP2017058673A (ja) 対話処理装置及び方法と知能型対話処理システム
US7996209B2 (en) Method and system of generating and detecting confusing phones of pronunciation
KR101590724B1 (ko) 음성 인식 오류 수정 방법 및 이를 수행하는 장치
US20110238407A1 (en) Systems and methods for speech-to-speech translation
EP1089193A2 (en) Translating apparatus and method, and recording medium used therewith
KR20170034227A (ko) 음성 인식 장치 및 방법과, 음성 인식을 위한 변환 파라미터 학습 장치 및 방법
US20090138266A1 (en) Apparatus, method, and computer program product for recognizing speech
US11093110B1 (en) Messaging feedback mechanism
JP2012063536A (ja) 端末装置、音声認識方法および音声認識プログラム
CN110782880B (zh) 一种韵律生成模型的训练方法及装置
US20180130465A1 (en) Apparatus and method for correcting pronunciation by contextual recognition
Seljan et al. Combined automatic speech recognition and machine translation in business correspondence domain for english-croatian
JP2008243080A (ja) 音声を翻訳する装置、方法およびプログラム
JP2013109061A (ja) 音声データ検索システムおよびそのためのプログラム
KR20180033875A (ko) 음성 신호를 번역하는 방법 및 그에 따른 전자 디바이스
JP5160594B2 (ja) 音声認識装置および音声認識方法
CN115116428B (zh) 韵律边界标注方法、装置、设备、介质及程序产品
KR20150014235A (ko) 자동 통역 장치 및 방법
CN110895938B (zh) 语音校正系统及语音校正方法
Dodiya et al. Speech Recognition System for Medical Domain
KR101983031B1 (ko) 언어 교육 방법 및 언어 교육 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant