KR101211796B1 - 외국어 학습 장치 및 그 제공 방법 - Google Patents

외국어 학습 장치 및 그 제공 방법 Download PDF

Info

Publication number
KR101211796B1
KR101211796B1 KR1020090125469A KR20090125469A KR101211796B1 KR 101211796 B1 KR101211796 B1 KR 101211796B1 KR 1020090125469 A KR1020090125469 A KR 1020090125469A KR 20090125469 A KR20090125469 A KR 20090125469A KR 101211796 B1 KR101211796 B1 KR 101211796B1
Authority
KR
South Korea
Prior art keywords
speech
user
intent
expression
based model
Prior art date
Application number
KR1020090125469A
Other languages
English (en)
Other versions
KR20110068490A (ko
Inventor
이성진
이청재
이근배
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020090125469A priority Critical patent/KR101211796B1/ko
Priority to US13/515,811 priority patent/US9767710B2/en
Priority to CN201080056885.7A priority patent/CN102667889B/zh
Priority to EP10837768.0A priority patent/EP2515286A4/en
Priority to PCT/KR2010/007073 priority patent/WO2011074771A2/ko
Priority to JP2012541000A priority patent/JP5405672B2/ja
Publication of KR20110068490A publication Critical patent/KR20110068490A/ko
Application granted granted Critical
Publication of KR101211796B1 publication Critical patent/KR101211796B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/04—Speaking

Abstract

본 발명은 외국어 학습 장치 및 그 제공 방법에 관한 것으로서, 이 장치는, 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 음성 인식기, 사용자의 수준 정보 및 대화 문맥 정보를 이용하여 발화 텍스트에 대한 사용자 발화 의도를 추출하는 발화 의도 인식기, 그리고 사용자 발화 의도 및 사용자의 발화 상황에 따라 서로 다른 표현을 추출하는 피드백 처리기를 포함한다. 본 발명에 의하면, 학습자 수준이 낮더라도 학습자의 발화 의도를 파악할 수 있고, 학습자에게 다양한 상황에 따른 맞춤식 표현을 제공할 수 있다.
외국어, 학습, 발화 의도, 추천 표현, 대체 표현, 올바른 표현

Description

외국어 학습 장치 및 그 제공 방법{APPARATUS FOR FOREIGN LANGUAGE LEARNING AND METHOD FOR PROVIDING FOREIGN LANGUAGE LEARNING SERVICE}
본 발명은 외국어 학습 장치 및 그 제공 방법에 관한 것이다.
일반적으로 외국어 회화 교육의 가장 효과적인 방법은 원어민 교사와 학생이 일대일로 자연스러운 대화를 나누는 것이다. 그러나 이러한 방법은 비용이 많이 들기 때문에 실제로 많은 학생들이 혜택을 받기 어렵다.
이에 따라, 최근 들어 원어민 교사를 대신할 수 있는 인공 지능 자연어 처리 기술을 이용한 음성 기반 자연어 대화 장치에 대한 연구가 활발하게 이루어지고 있다. 그러나 기존 음성 인식기들이 대부분 모국어 화자를 대상으로 개발된 것이어서, 외국어 학습자인 비 모국어 화자의 음성 인식에 사용되면 매우 낮은 인식 성능이 나타난다.
이러한 음성 인식의 기술적 제약으로 인해 학습자의 자유로운 발화 입력이 사실상 불가능하므로, 현재까지 대부분의 외국어 학습을 위한 대화 시스템은 시나리오 기반의 제한된 형태로 활용되는 것이 일반적이다. 그러나 실제 외국어 습득 이론에 따르면 학습자들은 자신의 발화에 대한 상대의 반응을 통해 자신이 가지고 있는 외국어 지식을 테스트하고 배우는 것으로 알려져 있다. 따라서 대부분의 외국어 학습을 위해서 시나리오 형태로 항상 동일한 응답을 하는 기존의 대화 시스템은 학습 효과가 미미하다.
본 발명이 해결하고자 하는 과제는 학습자의 외국어 수준이 낮더라도 학습자의 발화 의도를 파악하여 발화 의도에 부합하는 응답을 학습자에게 제공할 수 있으며, 다양한 상황에 따른 맞춤식 표현을 학습자에게 제공할 수 있는 외국어 학습 장치 및 그 서비스 제공 방법을 제공하는 것이다.
이러한 기술적 과제를 해결하기 위한 본 발명의 한 태양에 따른 외국어 학습 장치는, 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 음성 인식기, 상기 사용자의 수준 정보 및 대화 문맥 정보를 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 발화 의도 인식기, 그리고 상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 서로 다른 표현을 추출하는 피드백 처리기를 포함한다.
상기 발화 의도 인식기는 상기 사용자의 수준별로 개별적으로 생성된 복수의 발화 기반 모델과 대화 문맥을 고려하여 생성된 대화 문맥 기반 모델을 이용하여 상기 사용자 발화 의도를 추출할 수 있다.
상기 발화 의도 인식기는 상기 사용자의 수준 정보에 따른 발화 기반 모델을 선택하고 상기 선택된 발화 기반 모델을 이용하여 상기 발화 텍스트에 대한 발화 의도를 추정하고, 상기 대화 문맥 기반 모델을 이용하여 상기 대화 문맥 정보를 바탕으로 하는 발화 의도를 추정할 수 있다.
상기 발화 의도 인식기는 상기 발화 기반 모델에 따른 발화 의도와 상기 대화 문맥 기반 모델에 따른 발화 의도를 통계적으로 합성하여 상기 사용자 발화 의도를 추출할 수 있다.
상기 사용자 발화 의도 및 상기 대화 문맥 정보에 따라 상기 발화 텍스트에 대한 응답을 생성하는 대화 관리 모듈을 더 포함할 수 있다.
상기 피드백 처리기는 미리 정해진 시간 내에 상기 사용자의 발화가 입력되지 않거나 상기 사용자로부터 도움 요청이 있으면 데이터베이스로부터 추천 표현을 추출하여 상기 사용자에게 제공할 수 있다.
상기 피드백 처리기는 상기 사용자의 발화가 올바르지 않으면 데이터베이스로부터 올바른 표현을 추출하여 상기 사용자에게 제공할 수 있다.
상기 피드백 처리기는 상기 사용자의 발화가 올바르면 상기 사용자 발화와 동일 또는 유사한 의미를 가지는 대체 표현을 데이터베이스로부터 추출하여 상기 사용자에게 제공할 수 있다.
상기 피드백 처리기로부터 추출된 표현을 자연어 발화로 변환하는 자연어 발화 생성기, 그리고 상기 자연어 발화 생성기에서 변환된 자연어 발화를 음성으로 합성하는 음성 합성기를 더 포함할 수 있다.
본 발명의 다른 태양에 따른 외국어 학습 장치는, 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 음성 인식기, 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 발화 의도 인식기, 그리고 상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 추천 표현, 올바른 표현 및 대체 표현을 추출하여 상기 사용자에게 제공하는 피드백 처리기를 포함한다.
상기 피드백 처리기는 미리 정해진 시간 내에 상기 사용자의 발화가 입력되지 않거나 상기 사용자로부터 도움 요청이 있으면 상기 추천 표현을 추출하고, 상기 사용자의 발화가 올바르지 않으면 상기 올바른 표현을 추출하며, 상기 사용자의 발화가 올바르면 상기 대체 표현을 데이터베이스로부터 추출할 수 있다.
본 발명의 다른 태양에 따른 대화 시스템은, 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 음성 인식기, 그리고 상기 사용자의 수준별로 개별적으로 생성된 복수의 발화 기반 모델과 대화 문맥을 고려하여 생성된 대화 문맥 기반 모델을 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 발화 의도 인식기를 포함한다.
상기 발화 의도 인식기는 상기 사용자의 수준 정보에 따른 발화 기반 모델을 선택하고 상기 선택된 발화 기반 모델을 이용하여 상기 발화 텍스트에 대한 발화 의도를 추정하고, 상기 대화 문맥 기반 모델을 이용하여 상기 대화 문맥 정보를 바탕으로 하는 발화 의도를 추정할 수 있다.
상기 발화 의도 인식기는 상기 발화 기반 모델에 따른 발화 의도와 상기 대화 문맥 기반 모델에 따른 발화 의도를 통계적으로 합성하여 상기 사용자 발화 의도를 추출할 수 있다.
본 발명의 다른 태양에 따른 외국어 학습 제공 방법은, 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 단계, 상기 사용자의 수준 정보 및 대화 문맥 정보를 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 단계, 그리고 상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 서로 다른 표현을 추출하는 단계를 포함한다.
본 발명의 다른 태양에 따른 외국어 학습 제공 방법은, 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 단계, 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 단계, 그리고 상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 추천 표현, 올바른 표현 및 대체 표현을 추출하여 상기 사용자에게 제공하는 단계를 포함한다.
본 발명의 다른 태양에 따른 대화 제공 방법은, 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 단계, 그리고 상기 사용자의 수준별로 개별적으로 생성된 복수의 발화 기반 모델과 대화 문맥을 고려하여 생성된 대화 문맥 기반 모델을 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 단계를 포함한다.
이와 같이 본 발명에 의하면, 학습자의 수준별 언어 특성과 대화 문맥에 따라 학습자의 발화 의도를 파악함으로써, 학습자의 수준이 낮더라도 정확하게 학습자의 발화 의도를 파악할 수 있고, 따라서 발화 의도에 부합되는 응답을 학습자에게 제공할 수 있다. 뿐만 아니라, 학습자에게 다양한 상황에 따른 맞춤식 표현을 제공함으로써 학습자가 받는 스트레스를 최소화하면서 자연스럽게 학습을 진행할 수 있다. 이와 같이 학습자는 정확하고 다양한 피드백을 받고 올바른 표현을 제공받아 반복 연습을 할 수 있으므로 저렴한 비용으로 외국어 학습을 할 수 있다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
먼저 도 1 및 도 2를 참고하여 본 발명의 실시예에 따른 외국어 학습 장치에 대하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 외국어 학습 장치의 블록도이고, 도 2는 도 1의 발화 의도 인식기에서 발화 기반 모델과 대화 문맥 기반 모델을 이용하여 발화 의도를 추출하는 것을 도시한 개념도이다.
도 1에 도시한 것처럼, 본 발명의 실시예에 따른 외국어 학습 장치(100)는 음성 인식기(10), 발화 의도 인식기(20), 피드백 처리기(30), 대화 관리 모듈(40), 음성 합성기(50), 자연어 발화 생성기(60), 회원 데이터베이스(65), 발화 데이터베이스(70), 문맥 데이터베이스(80), 그리고 표현 데이터베이스(90)를 포함한다.
음성 인식기(10)는 마이크를 통해 입력된 학습자의 음성을 인식하며 인식된 음성을 발화 텍스트로 변환하고, 변환된 발화 텍스트를 발화 의도 인식기(20)로 전달한다. 앞으로 설명의 편의를 위하여 학습자는 예를 들면 한국어를 모국어로 하는 사용자이고, 음성 인식기(10)는 한국어 이외의 언어, 예를 들면 영어를 기반으로 하는 음성 인식기라고 가정한다. 따라서 학습자는 영어를 구사하여 외국어 학습 장치(100)와 대화를 하며 학습을 진행하는 것으로 한다. 물론 한국어나 영어는 예일뿐이고 이들 이외의 다른 언어, 중국어, 일어, 독어 등인 경우도 동일하게 적 용될 수 있다.
발화 의도 인식기(20)는 음성 인식기(10)로부터 전달된 발화 텍스트를 이용하여 학습자의 발화 의도를 파악한다. 이때, 발화 의도 인식기(20)는 발화 데이터베이스(70)와 문맥 데이터베이스(80)에 저장되어 있는 정보를 기초로 각각 생성된 발화 기반 모델과 대화 문맥 기반 모델을 이용하여 학습자의 발화 의도를 추출한다.
도 2에 도시한 것처럼, 발화 데이터베이스(70)에는 제1 내지 제n 레벨의 발화 데이터가 저장되어 있다. 제1 내지 제n 레벨의 발화 데이터는 학습자의 발화에 담긴 단어, 형태소, 구문 정보 등과 같은 발화 데이터를 학습자의 수준에 따라 제1 내지 제n 레벨로 분류하여 동일한 레벨에 해당하는 발화 데이터끼리 모아둔 것이다.
문맥 데이터베이스(80)에는 해당 학습자에 대한 이전 발화들에 대한 정보, 학습자와 외국어 학습 장치(100) 간에 주고받은 대화 목록, 외국어 학습 장치(100)로부터 제공받은 추천 표현, 대체 표현, 올바른 표현 등 학습자의 학습 내용에 대한 문맥 정보 등이 저장되어 있다.
대화의 선천적 특성상 학습자의 수준에 따라 오류나 단어 사용 등의 차이가 발생하므로 발화 기반 모델은 학습자 수준별로 즉, 제1 내지 제n 레벨 발화 기반 모델로 개별적으로 모델링 된다. 각 레벨의 발화 기반 모델은 발화 데이터베이스(70)의 제1 내지 제n 레벨의 발화 데이터에 따른 언어학적 정보를 기초로 하여 각각 구축된다. 그러나 대화 문맥의 흐름은 거의 변화가 없으므로 문맥 기반 모델 은 하나의 모델로 생성되며, 문맥 데이터베이스(80)의 각종 정보를 기초로 하여 구축된다.
사후 확률을 출력하는 발화 기반 모델과 대화 기반 모델을 만들기 위해서 다양한 통계 및 규칙 모델들을 적용할 수 있다. 예를 들면, 발화 기반 모델은 발화를 구성하는 단어의 n-gram 정보를 자질로 이용하여 최대 엔트로피(Maximum-entropy) 분류기, 지지 벡터 기계(Support vector machine) 분류기와 같은 여러 종류의 분류기를 통해 만들 수 있다. 또한, 대화 문맥 기반 모델은 이전 차례의 시스템 발화 의도, 이전 차례의 사용자 발화 의도, 현재 차례의 시스템 발화 의도, 현재 차례까지 사용자가 알려준 정보 등을 자질로 이용하여 최대 엔트로피(Maximum-entropy) 분류기, 지지 벡터 기계(Support vector machine) 분류기와 같은 여러 종류의 분류기를 통해 만들 수 있다.
회원 데이터베이스(65)에는 학습자의 신상 정보, 아이디, 패스워드, 학습자 수준과 함께 학습자가 학습한 내용에 대한 정보가 저장되어 있다. 학습자 수준은 발화 의도 인식기(20)에서 학습자의 발화 의도를 인식하기 위해 어느 발화 기반 모델을 적용할지 선택하는 기준이 된다. 즉, 회원 데이터베이스(65)에 현재 학습자의 학습자 수준이 제3 레벨이라고 저장되어 있으면, 발화 의도 인식기(20)는 제3 레벨의 발화 기반 모델을 이용하여 발화 의도를 추정한다.
발화 의도 인식기(20)는 미리 입력된 학습자 수준에 따른 발화 기반 모델을 선택하고 해당 레벨의 발화 기반 모델을 이용하여 음성 인식기(10)로부터의 발화 텍스트에 대한 발화 의도와 신뢰도를 추정한다. 이와 동시에, 발화 의도 인식기(20)는 대화 문맥 기반 모델을 이용하여 대화 문맥 정보를 바탕으로 하는 발화 의도와 신뢰도를 추정한다. 대화 문맥 정보는 학습자와 외국어 학습 장치(100) 사이에서 주고받은 대화 정보로서 대화 시작부터 현재 차례까지 진행되어온 대화 정보 또는 그 일부의 대화 정보를 의미한다.
발화 의도 인식기(20)는 발화 기반 모델에 기초한 발화 의도 및 신뢰도와 대화 문맥 기반 모델에 기초한 발화 의도 및 신뢰도를 통계적으로 합성하여 가장 높은 확률을 가지는 것을 최종적인 학습자 발화 의도로 추출한다.
이때, 발화 의도 인식기(20)는 발화 기반 모델에 기초한 발화 의도 및 신뢰도와 대화 문맥 기반 모델에 기초한 발화 의도 및 신뢰도를 결합하기 위하여 상호 정보 척도(mutual information measure) 등 모델 결합을 위해 통상적으로 사용되는 다양한 통계적 방법론을 사용할 수 있다.
이와 같이 학습자 수준별 특성과 대화 문맥 정보를 함께 고려함으로써 오류가 포함되거나 미숙한 학습자 발화 음성에도 불구하고 최대한 정확한 학습자 발화 의도를 예측할 수 있다.
삭제
삭제
대화 관리 모듈(40)은 1) 발화 의도 인식기(20)로부터의 학습자 발화 의도와 발화 텍스트에 기초하여 학습자의 발화가 올바른지 여부, 2) 미리 설정된 시간 내에 학습자로부터의 발화가 입력되었는지 여부, 3) 학습자가 명시적으로 도움을 요청하였는지 여부를 판단한다.
1) 대화 관리 모듈(40)은 학습자의 발화가 올바르다고 판단하면 학습자 발화 의도와 현재 대화 문맥을 고려하여 학습자의 발화 텍스트에 대한 적절한 응답을 생성하고 생성된 응답을 자연어 발화 생성기(60)로 전달한다. 예를 들어, 학습자가 "What kind of music do you listen to?"라고 올바르게 발화한 경우, 대화 관리 모듈(40)은 "I usually listen to country music."과 같은 응답을 생성할 수 있다.
2) 대화 관리 모듈(40)은 미리 설정된 시간 내에 학습자의 발화 입력이 없으면 피드백 처리기(30)로 학습자의 발화 텍스트와 발화 의도를 전달한다.
3) 대화 관리 모듈(40)은 학습자가 학습 화면에 표시된 "Help me" 버튼을 누르거나, 직접 "Help me", "I don't know", "I don't know what to say" 등을 발화하면 피드백 처리기(30)로 피드백을 요청한다.
피드백 처리기(30)는 미리 설정된 조건에 부합되면 학습자에게 다양한 표현을 피드백 한다. 즉, 피드백 처리기(30)는 i) 미리 정해진 시간 내에 학습자의 발화 입력이 없는 경우 또는 학습자에 의해 명시적으로 도움이 요청된 경우, ii) 학습자의 발화가 올바르지 않다고 판단된 경우, iii) 학습자의 발화가 올바르지만 유사 표현의 학습이 필요한 경우 각각 추천 표현, 올바른 표현, 대체 표현을 제공한다.
한편 표현 데이터베이스(90)는 발화 의도별로 또는 대화 문맥에 따른 주제 또는 테마별로 추천 표현, 올바른 표현, 대체 표현 등을 저장하고 있으며, 피드백 처리기(30)로부터의 요청에 따라 해당 표현을 제공한다.
i) 응답 시간 초과 또는 명시적 도움의 요청 시
학습자가 대화 도중 어떤 말을 해야 할지 전혀 알 수 없어 대화 문장을 이어갈 수 없는 경우, 학습자는 일정 시간 이상 발화를 하지 못할 수 있다. 이 경우, 대화 관리 모듈(40)에서 응답 시간이 경과하였음을 피드백 처리기(30)로 알리고, 학습자와의 대화 내용을 피드백 처리기(30)로 전달한다. 그러면, 피드백 처리기(30)에서는 현재 대화 문맥 정보를 고려하여 학습자의 대화 문맥에 따라 주제 또 는 테마를 선택하고 마지막 대화 문장에 이어서 대화를 이어갈 수 있는 문장을 추천 표현으로 표현 데이터베이스(90)에서 추출한다.
ii) 학습자의 발화가 올바르지 않은 경우
학습자의 발화가 올바르지 않다고 판단된 경우 피드백 처리기(30)는 대화 문맥을 고려하여 표현 데이터베이스(90)로부터 학습자의 발화 의도에 가장 부합되는 문장을 선택하여 올바른 표현으로 추출한다.
iii) 학습자의 발화가 올바른 경우
학습자의 발화가 올바르다고 판단된 경우 피드백 처리기(30)는 표현 데이터베이스(90)로부터 학습자의 발화와 동일 또는 유사한 내용의 다른 표현을 선택하여 대체 표현으로 추출한다.
자연어 발화 생성기(60)는 대화 관리 모듈(40)이나 피드백 처리기(30)에서 생성된 개념적 응답을 자연어 발화로 변환한다. 별도로 도시하지 않았지만 자연어 발화 생성기(60)는 자연어 발화를 텍스트 형태로 표시 화면에 출력할 수도 있다.
음성 합성기(50)는 자연어 발화 생성기(60)에서 생성된 자연어 발화에 기초하여 원어민에 의한 발음으로 이루어진 음성을 합성하고, 합성된 음성을 스피커, 헤드폰 또는 이어폰 등의 장치를 통해 출력한다.
이와 같이 본 발명의 실시예에 따른 외국어 학습 장치(100)에 의하면 학습자 수준별로 발화 기반 모델을 구축하여 두고 대화 문맥 기반 모델과 함께 학습자 발화 의도를 추출해 냄으로써 오류가 포함되어 있거나 미숙한 학습자 발화에도 학습자 발화 의도를 강건하게 추출해 낼 수 있다. 또한 학습자에게 다양한 상황에 적 합한 피드백을 제공함으로써 학습자가 스스로 자신의 오류를 파악하고 비슷한 표현을 익히면서 대화를 진행해 나갈 수 있다.
본 발명의 실시예에 따른 외국어 학습 장치(100)는 독립적인 서버 형태로 구현될 수 있고, 학습자는 컴퓨터, 개인 휴대 정보 단말기(PDA), 유선 또는 무선 전화 등의 사용자 단말기를 이용하여 외국어 학습 장치(100)와 대화를 할 수 있으며 이 경우 사용자 단말기와 외국어 학습 장치(100)는 유무선 통신망을 통하여 연결된다. 이와 달리 외국어 학습 장치(100)는 독립적인 하나의 장치로 구현될 수도 있으며, 이 경우 학습자가 외국어 학습 장치(100)를 휴대하여 사용하거나 외국어 학습 장치(100)와 대면하여 사용할 수 있다.
또한 외국어 학습 장치(100) 전체로서뿐만 아니라 그 기능의 일부가, 사용자 단말기 또는 지능형 로봇 등에 구현될 수도 있으며, 단순히 외국어를 학습하기 위한 장치로서뿐만 아니라 예를 들면 쇼핑, 비즈니스 등과 같이 다양한 컨텐츠와 결합하여 사용될 수도 있고, 사용자에게 특정 서비스를 제공하기 위하여 사용자와 대화를 할 수 있는 대화 시스템 또는 자연어 처리 인공지능 에이전트에 적용될 수도 있다.
회원 데이터베이스(65), 발화 데이터베이스(70), 문맥 데이터베이스(80) 및 표현 데이터베이스(90)는 하나의 데이터베이스로 구현될 수도 있다. 또한 지금까지 외국어 학습 장치(100)가 회원 데이터베이스(65), 발화 데이터베이스(70) 및 문맥 데이터베이스(80)를 포함하는 것으로 설명하였으나, 이들이 반드시 외국어 학습 장치(100)에 포함될 필요는 없으며 이들 중 적어도 하나는 외국어 학습 장치(100) 와 별도로 외부에 구현될 수도 있으며 생략될 수도 있다.
그러면 본 발명의 실시예에 따른 외국어 학습 제공 방법에 대하여 도 3 및 도 4를 참고하여 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 외국어 학습 제공 방법에 따라 발화 의도를 추출하는 과정을 도시한 흐름도이고, 도 4는 본 발명의 실시예에 따른 외국어 학습 제공 방법에 따라 학습자에게 응답하는 과정을 도시한 흐름도이다.
먼저 도 3에 도시한 것처럼 학습자로부터의 발화가 입력되면(S300), 음성 인식기(10)는 학습자의 음성을 인식하고 인식된 음성을 발화 텍스트로 변환하여 발화 의도 인식기(20)로 전달한다(S310). 발화 의도 인식기(20)는 대화 문맥 기반 모델을 이용하여 대화 문맥 정보를 바탕으로 한 발화 의도와 신뢰도를 추정한다(S325). 이와 동시에, 발화 의도 인식기(20)는 제1 내지 제n 레벨의 발화 기반 모델 중 학습자 수준에 따른 발화 기반 모델을 선택하고 해당 레벨의 발화 기반 모델을 이용하여 학습자의 발화 텍스트에 기초한 발화 의도와 신뢰도를 추정한다(S320). 그런 후 발화 의도 인식기(20)는 발화 기반 모델에 따른 발화 의도 및 신뢰도와 대화 문맥 기반 모델에 따른 발화 의도 및 신뢰도를 합성하여 최종 학습자의 발화 의도를 추출한다(S330). 발화 의도 인식기(20)는 추출된 학습자 발화 의도를 대화 관리 모듈(40)로 전달한다(S340).
도 4에 도시한 것처럼, 대화 관리 모듈(40)은 학습자로부터 미리 정해진 시간 내에 발화가 입력되는지를 판단한다(S400). 미리 정해진 시간 내에 발화가 입력되면(S400-Y), 입력된 발화가 명시적 도움을 요청하는 발화인지 판단한다(S410). 단계(S410)는 학습자의 발화와 무관하게 학습자의 도움 요청 버튼 등의 입력에 의하여 판단할 수도 있다.
대화 관리 모듈(40)은 입력된 발화가 명시적 도움을 요청하는 발화가 아니라고 판단하면(S410-N) 학습자의 발화가 올바른 발화인지 판단하고(S420), 판단 결과 올바른 발화라고 판단하면(S420-Y) 발화 의도 인식기(20)로부터의 학습자 발화 의도와 대화 문맥을 고려하여 학습자 발화에 대한 적절한 응답을 생성하며(S430), 올바른 발화가 아니라고 판단하면(S420-N) 제어권을 피드백 처리기(30)로 넘기고 피드백 처리기(30)는 학습자 발화 의도와 대화 문맥을 고려하여 표현 데이터베이스(90)로부터 올바른 표현을 추출한다(S460).
미리 정해진 시간 내에 발화가 입력되지 않거나(S400-N), 입력된 발화가 명시적 도움을 요청하는 발화이면(S410-Y) 대화 관리 모듈(40)은 피드백 처리기(30)로 제어권을 넘기고 피드백 처리기(30)는 대화 문맥 정보에 기초하여 표현 데이터베이스(90)로부터 추천 표현을 추출한다(S450).
한편 피드백 처리기(30)는 학습자의 발화가 올바른 경우(S420-Y) 학습자의 발화와 동일 또는 유사한 의미의 대체 표현을 표현 데이터베이스(90)로부터 추출한다(S440).
자연어 발화 생성기(60)는 대화 관리 모듈(40) 및 피드백 처리기(30)에서 생성된 응답을 자연어 발화로 변환한다(S450). 그런 후 음성 합성기(50)는 변환된 자연어 발화에 기초하여 원어민 발음에 의한 음성으로 합성한다(S460).
외국어 학습 장치(100)는 합성된 음성을 스피커 등을 통하여 출력하고, 또한 필요에 따라 음성 출력과 별도로 자연어 발화를 텍스트 형태로 표시 화면에 출력할 수 있다.
학습자는 대화 문장을 이어갈 수 없는 경우나 명시적으로 도움을 요청한 경우에 외국어 학습 장치(100)로부터 추천 표현을 제공받음으로써 계속하여 대화를 진행해 나갈 수 있으며, 올바르지 않은 발화를 한 경우에 올바른 표현을 제공받음으로써 오류를 수정할 수 있으며 자신이 부족한 부분을 대화를 통하여 자연스럽게 알 수 있으므로 스트레스를 덜 받고 외국어 학습을 할 수 있다. 또한 학습자는 올바른 발화를 한 경우라도 같은 의미의 다른 표현을 제공받음으로써 외국어의 표현 범위를 넓힐 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
도 1은 본 발명의 실시예에 따른 외국어 학습 장치의 블록도이다.
도 2는 도 1의 발화 의도 인식기에서 발화 기반 모델과 대화 문맥 기반 모델을 이용하여 발화 의도를 추출하는 것을 도시한 개념도이다.
도 3은 본 발명의 실시예에 따른 외국어 학습 제공 방법에 따라 발화 의도를 추출하는 과정을 도시한 흐름도이다.
도 4는 본 발명의 실시예에 따른 외국어 학습 제공 방법에 따라 학습자에게 응답하는 과정을 도시한 흐름도이다.
<도면의 주요 부분에 대한 도면 부호의 설명>
10: 음성 인식기, 20: 발화 의도 인식기,
30: 피드백 처리기, 40: 대화 관리 모듈,
50: 음성 합성기, 60: 자연어 발화 생성기,
65: 회원 데이터베이스, 70: 발화 데이터베이스,
80: 문맥 데이터베이스, 90: 표현 데이터베이스

Claims (28)

  1. 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 음성 인식기,
    상기 사용자의 수준 정보 및 대화 문맥 정보를 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 발화 의도 인식기, 그리고
    상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 서로 다른 표현을 추출하는 피드백 처리기
    를 포함하는 외국어 학습 장치.
  2. 제1항에서,
    상기 발화 의도 인식기는 상기 사용자의 수준별로 개별적으로 생성된 복수의 발화 기반 모델과 대화 문맥을 고려하여 생성된 대화 문맥 기반 모델을 이용하여 상기 사용자 발화 의도를 추출하는 외국어 학습 장치.
  3. 제2항에서,
    상기 발화 의도 인식기는 상기 사용자의 수준 정보에 따른 발화 기반 모델을 선택하고 상기 선택된 발화 기반 모델을 이용하여 상기 발화 텍스트에 대한 발화 의도 및 신뢰도를 추정하고, 상기 대화 문맥 기반 모델을 이용하여 상기 대화 문맥 정보를 바탕으로 하는 발화 의도 및 신뢰도를 추정하는 외국어 학습 장치.
  4. 제3항에서,
    상기 발화 의도 인식기는 상기 발화 기반 모델에 따른 발화 의도 및 신뢰도와 상기 대화 문맥 기반 모델에 따른 발화 의도 및 신뢰도를 통계적으로 합성하여 상기 사용자 발화 의도를 추출하는 외국어 학습 장치.
  5. 제1항에서,
    상기 사용자 발화 의도 및 상기 대화 문맥 정보에 따라 상기 발화 텍스트에 대한 응답을 생성하는 대화 관리 모듈을 더 포함하는 외국어 학습 장치.
  6. 제1항에서,
    상기 피드백 처리기는 미리 정해진 시간 내에 상기 사용자의 발화가 입력되지 않거나 상기 사용자로부터 도움 요청이 있으면 데이터베이스로부터 추천 표현을 추출하여 상기 사용자에게 제공하는 외국어 학습 장치.
  7. 제1항에서,
    상기 피드백 처리기는 상기 사용자의 발화가 올바르지 않으면 데이터베이스로부터 올바른 표현을 추출하여 상기 사용자에게 제공하는 외국어 학습 장치.
  8. 제1항에서,
    상기 피드백 처리기는 상기 사용자의 발화가 올바르면 상기 사용자 발화와 동일 또는 유사한 의미를 가지는 대체 표현을 데이터베이스로부터 추출하여 상기 사용자에게 제공하는 외국어 학습 장치.
  9. 제1항에서,
    상기 피드백 처리기로부터 추출된 표현을 자연어 발화로 변환하는 자연어 발화 생성기, 그리고
    상기 자연어 발화 생성기에서 변환된 자연어 발화를 음성으로 합성하는 음성 합성기
    를 더 포함하는 외국어 학습 장치.
  10. 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 음성 인식기,
    상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 발화 의도 인식기, 그리고
    상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 추천 표현, 올바른 표현 및 대체 표현을 추출하여 상기 사용자에게 제공하는 피드백 처리기
    를 포함하는 외국어 학습 장치.
  11. 제10항에서,
    상기 피드백 처리기는 미리 정해진 시간 내에 상기 사용자의 발화가 입력되지 않거나 상기 사용자로부터 도움 요청이 있으면 상기 추천 표현을 추출하고, 상 기 사용자의 발화가 올바르지 않으면 상기 올바른 표현을 추출하며, 상기 사용자의 발화가 올바르면 상기 대체 표현을 데이터베이스로부터 추출하는 외국어 학습 장치.
  12. 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 음성 인식기, 그리고
    상기 사용자의 수준별로 개별적으로 생성된 복수의 발화 기반 모델과 대화 문맥을 고려하여 생성된 대화 문맥 기반 모델을 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 발화 의도 인식기
    를 포함하는 대화 시스템.
  13. 제12항에서,
    상기 발화 의도 인식기는 상기 사용자의 수준 정보에 따른 발화 기반 모델을 선택하고 상기 선택된 발화 기반 모델을 이용하여 상기 발화 텍스트에 대한 발화 의도 및 신뢰도를 추정하고, 상기 대화 문맥 기반 모델을 이용하여 상기 대화 문맥 정보를 바탕으로 하는 발화 의도 및 신뢰도를 추정하는 대화 시스템.
  14. 제13항에서,
    상기 발화 의도 인식기는 상기 발화 기반 모델에 따른 발화 의도 및 신뢰도와 상기 대화 문맥 기반 모델에 따른 발화 의도 및 신뢰도를 통계적으로 합성하여 상기 사용자 발화 의도를 추출하는 대화 시스템.
  15. 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 단계,
    상기 사용자의 수준 정보 및 대화 문맥 정보를 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 단계, 그리고
    상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 서로 다른 표현을 추출하는 단계
    를 포함하는 외국어 학습 제공 방법.
  16. 제15항에서,
    상기 발화 의도 추출 단계는 상기 사용자의 수준별로 개별적으로 생성된 복수의 발화 기반 모델과 대화 문맥을 고려하여 생성된 대화 문맥 기반 모델을 이용하여 상기 사용자 발화 의도를 추출하는 단계를 포함하는 외국어 학습 제공 방법.
  17. 제16항에서,
    상기 발화 의도 추출 단계는 상기 사용자의 수준 정보에 따른 발화 기반 모델을 선택하고 상기 선택된 발화 기반 모델을 이용하여 상기 발화 텍스트에 대한 발화 의도 및 신뢰도를 추정하고, 상기 대화 문맥 기반 모델을 이용하여 상기 대화 문맥 정보를 바탕으로 하는 발화 의도 및 신뢰도를 추정하는 단계를 포함하는 외국어 학습 제공 방법.
  18. 제17항에서,
    상기 발화 의도 추출 단계는 상기 발화 기반 모델에 따른 발화 의도 및 신뢰도와 상기 대화 문맥 기반 모델에 따른 발화 의도 및 신뢰도를 통계적으로 합성하여 상기 사용자 발화 의도를 추출하는 단계를 포함하는 외국어 학습 제공 방법.
  19. 제15항에서,
    상기 사용자 발화 의도 및 상기 대화 문맥 정보에 따라 상기 발화 텍스트에 대한 응답을 생성하는 단계를 더 포함하는 외국어 학습 제공 방법.
  20. 제15항에서,
    상기 표현 추출 단계는 미리 정해진 시간 내에 상기 사용자의 발화가 입력되지 않거나 상기 사용자로부터 도움 요청이 있으면 데이터베이스로부터 추천 표현을 추출하여 상기 사용자에게 제공하는 단계를 포함하는 외국어 학습 제공 방법.
  21. 제15항에서,
    상기 표현 추출 단계는 상기 사용자의 발화가 올바르지 않으면 데이터베이스로부터 올바른 표현을 추출하여 상기 사용자에게 제공하는 단계를 포함하는 외국어 학습 제공 방법.
  22. 제15항에서,
    상기 표현 추출 단계는 상기 사용자의 발화가 올바르면 상기 사용자 발화와 동일 또는 유사한 의미를 가지는 대체 표현을 데이터베이스로부터 추출하여 상기 사용자에게 제공하는 단계를 포함하는 외국어 학습 제공 방법.
  23. 제15항에서,
    상기 추출된 표현을 자연어 발화로 변환하는 단계, 그리고
    상기 변환된 자연어 발화를 음성으로 합성하는 단계
    를 더 포함하는 외국어 학습 제공 방법.
  24. 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 단계,
    상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 단계, 그리고
    상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 추천 표현, 올바른 표현 및 대체 표현을 추출하여 상기 사용자에게 제공하는 단계
    를 포함하는 외국어 학습 제공 방법.
  25. 제24항에서,
    상기 제공 단계는 미리 정해진 시간 내에 상기 사용자의 발화가 입력되지 않거나 상기 사용자로부터 도움 요청이 있으면 상기 추천 표현을 추출하고, 상기 사용자의 발화가 올바르지 않으면 상기 올바른 표현을 추출하며, 상기 사용자의 발화가 올바르면 상기 대체 표현을 데이터베이스로부터 추출하는 단계를 포함하는 외국 어 학습 제공 방법.
  26. 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 단계, 그리고
    상기 사용자의 수준별로 개별적으로 생성된 복수의 발화 기반 모델과 대화 문맥을 고려하여 생성된 대화 문맥 기반 모델을 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 단계
    를 포함하는 대화 제공 방법.
  27. 제26항에서,
    상기 발화 의도 추출 단계는 상기 사용자의 수준 정보에 따른 발화 기반 모델을 선택하고 상기 선택된 발화 기반 모델을 이용하여 상기 발화 텍스트에 대한 발화 의도 및 신뢰도를 추정하고, 상기 대화 문맥 기반 모델을 이용하여 상기 대화 문맥 정보를 바탕으로 하는 발화 의도 및 신뢰도를 추정하는 단계를 포함하는 대화 제공 방법.
  28. 제27항에서,
    상기 발화 의도 추출 단계는 상기 발화 기반 모델에 따른 발화 의도 및 신뢰도와 상기 대화 문맥 기반 모델에 따른 발화 의도 및 신뢰도를 통계적으로 합성하여 상기 사용자 발화 의도를 추출하는 단계를 포함하는 대화 제공 방법.
KR1020090125469A 2009-12-16 2009-12-16 외국어 학습 장치 및 그 제공 방법 KR101211796B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020090125469A KR101211796B1 (ko) 2009-12-16 2009-12-16 외국어 학습 장치 및 그 제공 방법
US13/515,811 US9767710B2 (en) 2009-12-16 2010-10-15 Apparatus and system for speech intent recognition
CN201080056885.7A CN102667889B (zh) 2009-12-16 2010-10-15 用于外语学习的设备和方法
EP10837768.0A EP2515286A4 (en) 2009-12-16 2010-10-15 DEVICE AND METHOD FOR STUDYING FOREIGN LANGUAGES
PCT/KR2010/007073 WO2011074771A2 (ko) 2009-12-16 2010-10-15 외국어 학습 장치 및 그 제공 방법.
JP2012541000A JP5405672B2 (ja) 2009-12-16 2010-10-15 外国語学習装置及び対話システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090125469A KR101211796B1 (ko) 2009-12-16 2009-12-16 외국어 학습 장치 및 그 제공 방법

Publications (2)

Publication Number Publication Date
KR20110068490A KR20110068490A (ko) 2011-06-22
KR101211796B1 true KR101211796B1 (ko) 2012-12-13

Family

ID=44167797

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090125469A KR101211796B1 (ko) 2009-12-16 2009-12-16 외국어 학습 장치 및 그 제공 방법

Country Status (6)

Country Link
US (1) US9767710B2 (ko)
EP (1) EP2515286A4 (ko)
JP (1) JP5405672B2 (ko)
KR (1) KR101211796B1 (ko)
CN (1) CN102667889B (ko)
WO (1) WO2011074771A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019172485A1 (ko) * 2018-03-05 2019-09-12 주식회사 뤼이드 Ai 튜터를 이용한 학습 컨텐츠 제공 방법 및 장치
KR101994780B1 (ko) * 2018-10-08 2019-09-30 넷마블 주식회사 게임을 위한 단축키 등록 및 실행 방법 및 장치

Families Citing this family (209)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9652999B2 (en) * 2010-04-29 2017-05-16 Educational Testing Service Computer-implemented systems and methods for estimating word accuracy for automatic speech recognition
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR20130128716A (ko) * 2012-05-17 2013-11-27 포항공과대학교 산학협력단 어학 학습 시스템 및 학습 방법
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN103179481A (zh) * 2013-01-12 2013-06-26 德州学院 可提高英语听力的耳机
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
WO2014123380A1 (ko) * 2013-02-11 2014-08-14 Lee Doohan 인덱스 코드 인식 멀티미디어 학습장치
US10629186B1 (en) * 2013-03-11 2020-04-21 Amazon Technologies, Inc. Domain and intent name feature identification and processing
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
CN105190607B (zh) * 2013-03-15 2018-11-30 苹果公司 通过智能数字助理的用户培训
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
EP3008641A1 (en) 2013-06-09 2016-04-20 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
KR102191425B1 (ko) * 2013-07-29 2020-12-15 한국전자통신연구원 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법
KR101609422B1 (ko) 2013-09-13 2016-04-20 포항공과대학교 산학협력단 사용자 발화의도 추출 방법 및 사용자 발화의도 추출 방법을 수행하는 장치
JP2015060056A (ja) * 2013-09-18 2015-03-30 株式会社ナガセ 教育装置並びに教育装置用ｉｃ及び媒体
CN104598443B (zh) * 2013-10-31 2018-05-18 腾讯科技（深圳）有限公司 语言服务提供方法、装置及系统
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
KR20150091777A (ko) * 2014-02-04 2015-08-12 한국전자통신연구원 토론식 학습 시스템 및 방법
US9613638B2 (en) * 2014-02-28 2017-04-04 Educational Testing Service Computer-implemented systems and methods for determining an intelligibility score for speech
US10726831B2 (en) * 2014-05-20 2020-07-28 Amazon Technologies, Inc. Context interpretation in natural language processing using previous dialog acts
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
CN106471570B (zh) 2014-05-30 2019-10-01 苹果公司 多命令单一话语输入方法
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
KR101521281B1 (ko) * 2014-10-20 2015-05-19 포항공과대학교 산학협력단 어학 학습 시스템 및 학습 방법
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
JP6746886B2 (ja) * 2015-09-10 2020-08-26 カシオ計算機株式会社 学習支援装置及びその学習支援装置用のプログラム
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
CN105489077A (zh) * 2016-01-25 2016-04-13 宿州学院 一种远程教学系统
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
KR102542662B1 (ko) * 2016-04-25 2023-06-12 이준상 외국어 대화 시스템
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
JP6752457B2 (ja) * 2016-06-02 2020-09-09 株式会社マーズスピリット 機械学習システム、装置及び情報処理方法
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
JP6633250B2 (ja) * 2017-06-15 2020-01-22 株式会社Ｃａｉメディア 対話ロボットおよび対話システム、並びに対話プログラム
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
CN109545011A (zh) * 2017-09-21 2019-03-29 骅钜数位科技有限公司 具发音辨识的交互式语文学习系统
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
KR101983031B1 (ko) * 2017-11-09 2019-05-29 주식회사 클라우봇 언어 교육 방법 및 언어 교육 시스템
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
CN110136719B (zh) * 2018-02-02 2022-01-28 上海流利说信息技术有限公司 一种实现智能语音对话的方法、装置及系统
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
CN109118860A (zh) * 2018-09-19 2019-01-01 江苏金惠甫山软件科技有限公司 基于人工智能的英语培训系统及方法
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
CN111046149A (zh) * 2018-10-12 2020-04-21 中国移动通信有限公司研究院 内容推荐方法及装置、电子设备及存储介质
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
CN109448729A (zh) * 2018-11-08 2019-03-08 广东小天才科技有限公司 一种信息存储方法、信息存储装置及终端设备
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN111596833A (zh) * 2019-02-21 2020-08-28 北京京东尚科信息技术有限公司 一种技能话术缠绕处理方法和装置
CN109871128B (zh) * 2019-03-13 2022-07-01 广东小天才科技有限公司 一种题型识别方法及装置
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
KR102302137B1 (ko) * 2019-10-31 2021-09-15 주식회사 엘지씨엔에스 외국어 학습장치 및 이를 이용하는 외국어 학습서비스 제공방법
WO2021100918A1 (ko) * 2019-11-21 2021-05-27 엘지전자 주식회사 지능형 대화 서비스 제공 방법 및 지능형 대화 시스템
KR102396833B1 (ko) * 2019-12-31 2022-05-13 (주)헤이스타즈 음성 분석을 통한 한국어 발음 학습 방법 및 시스템
CN111259125B (zh) * 2020-01-14 2023-08-29 百度在线网络技术（北京）有限公司 语音播报的方法和装置、智能音箱、电子设备、存储介质
JP7039637B2 (ja) * 2020-02-21 2022-03-22 ジョイズ株式会社 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム
CN112307162A (zh) 2020-02-26 2021-02-02 北京字节跳动网络技术有限公司 用于信息交互的方法和装置
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
KR20220021221A (ko) * 2020-08-13 2022-02-22 (주)인포마크 Ai 음성 인식 학습기를 이용한 외국어 학습 시스템 및 방법
KR20220032973A (ko) * 2020-09-08 2022-03-15 한국전자통신연구원 외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 장치 및 방법
KR102339794B1 (ko) * 2020-12-04 2021-12-16 주식회사 애자일소다 질의 응답 서비스 장치 및 방법
KR102581364B1 (ko) * 2021-02-09 2023-09-20 최송이 대화형 인공지능 기술을 이용하여 정적없이 외국어 대화를 할 수 있도록 도와주는 에듀테크 시스템
CN112560512B (zh) * 2021-02-24 2021-08-06 南京酷朗电子有限公司 用于外语学习的智能语音分析和辅助交流方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2600081B2 (ja) * 1988-11-25 1997-04-16 工業技術院長 自然言語対話装置
JPH06348753A (ja) * 1993-06-10 1994-12-22 Oki Electric Ind Co Ltd 自然言語文処理用データの作成支援システム
JPH07239694A (ja) 1994-03-02 1995-09-12 Oki Electric Ind Co Ltd 音声対話装置
US5493608A (en) * 1994-03-17 1996-02-20 Alpha Logic, Incorporated Caller adaptive voice response system
JPH10326074A (ja) * 1997-05-23 1998-12-08 Oki Hokuriku Syst Kaihatsu:Kk 語学訓練装置の制御方法
US6405170B1 (en) * 1998-09-22 2002-06-11 Speechworks International, Inc. Method and system of reviewing the behavior of an interactive speech recognition application
US6199067B1 (en) * 1999-01-20 2001-03-06 Mightiest Logicon Unisearch, Inc. System and method for generating personalized user profiles and for utilizing the generated user profiles to perform adaptive internet searches
US20020087315A1 (en) * 2000-12-29 2002-07-04 Lee Victor Wai Leung Computer-implemented multi-scanning language method and system
US6704707B2 (en) * 2001-03-14 2004-03-09 Intel Corporation Method for automatically and dynamically switching between speech technologies
KR20010067934A (ko) * 2001-04-09 2001-07-13 신광섭 언어 학습 시스템
US7013275B2 (en) * 2001-12-28 2006-03-14 Sri International Method and apparatus for providing a dynamic speech-driven control and remote service access system
US6999931B2 (en) * 2002-02-01 2006-02-14 Intel Corporation Spoken dialog system using a best-fit language model and best-fit grammar
US7016849B2 (en) * 2002-03-25 2006-03-21 Sri International Method and apparatus for providing speech-driven routing between spoken language applications
KR20050021143A (ko) 2003-08-26 2005-03-07 박동훈 음성 인식을 이용한 외국어 학습수준 평가 방법, 이를이용한 전자적인 외국어 학습 교재 제공 방법 및 그 시스템
US7315811B2 (en) * 2003-12-31 2008-01-01 Dictaphone Corporation System and method for accented modification of a language model
US7415465B2 (en) * 2004-01-08 2008-08-19 International Business Machines Corporation Method for representing an interest priority of an object to a user based on personal histories or social context
KR20060070605A (ko) * 2004-12-21 2006-06-26 한국전자통신연구원 영역별 언어모델과 대화모델을 이용한 지능형 로봇 음성인식 서비스 장치 및 방법
US20060149544A1 (en) * 2005-01-05 2006-07-06 At&T Corp. Error prediction in spoken dialog systems
KR100679043B1 (ko) * 2005-02-15 2007-02-05 삼성전자주식회사 음성 대화 인터페이스 장치 및 방법
US7613664B2 (en) * 2005-03-31 2009-11-03 Palo Alto Research Center Incorporated Systems and methods for determining user interests
US7835911B2 (en) * 2005-12-30 2010-11-16 Nuance Communications, Inc. Method and system for automatically building natural language understanding models
KR100764174B1 (ko) * 2006-03-03 2007-10-08 삼성전자주식회사 음성 대화 서비스 장치 및 방법
KR100792325B1 (ko) 2006-05-29 2008-01-07 주식회사 케이티 대화형 다국어 학습을 위한 대화 예제 데이터베이스 구축방법 및 그를 이용한 대화형 다국어 학습 서비스 시스템 및그 방법
US20080010069A1 (en) * 2006-07-10 2008-01-10 Microsoft Corporation Authoring and running speech related applications
US7890326B2 (en) * 2006-10-13 2011-02-15 Google Inc. Business listing search
US9405830B2 (en) * 2007-02-28 2016-08-02 Aol Inc. Personalization techniques using image clouds
US8909528B2 (en) * 2007-05-09 2014-12-09 Nuance Communications, Inc. Method and system for prompt construction for selection from a list of acoustically confusable items in spoken dialog systems
CN101178705A (zh) * 2007-12-13 2008-05-14 中国电信股份有限公司 一种自然语言理解方法和人机交互智能系统
US20090228439A1 (en) * 2008-03-07 2009-09-10 Microsoft Corporation Intent-aware search
JP4547721B2 (ja) * 2008-05-21 2010-09-22 株式会社デンソー 自動車用情報提供システム
US7865592B2 (en) * 2008-06-26 2011-01-04 International Business Machines Corporation Using semantic networks to develop a social network
US8965765B2 (en) * 2008-09-19 2015-02-24 Microsoft Corporation Structured models of repetition for speech recognition
US9195739B2 (en) * 2009-02-20 2015-11-24 Microsoft Technology Licensing, Llc Identifying a discussion topic based on user interest information
US8458168B2 (en) * 2009-03-27 2013-06-04 Microsoft Corporation Anticipating interests of an online user
US20110078160A1 (en) * 2009-09-25 2011-03-31 International Business Machines Corporation Recommending one or more concepts related to a current analytic activity of a user
US8983840B2 (en) * 2012-06-19 2015-03-17 International Business Machines Corporation Intent discovery in audio or text-based conversation
US8600746B1 (en) * 2012-09-10 2013-12-03 Google Inc. Speech recognition parameter adjustment

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019172485A1 (ko) * 2018-03-05 2019-09-12 주식회사 뤼이드 Ai 튜터를 이용한 학습 컨텐츠 제공 방법 및 장치
KR20190105252A (ko) * 2018-03-05 2019-09-17 (주)뤼이드 Ai 튜터를 이용한 학습 컨텐츠 제공 방법 및 장치
KR102084556B1 (ko) * 2018-03-05 2020-04-23 (주)뤼이드 Ai 튜터를 이용한 학습 컨텐츠 제공 방법 및 장치
KR101994780B1 (ko) * 2018-10-08 2019-09-30 넷마블 주식회사 게임을 위한 단축키 등록 및 실행 방법 및 장치

Also Published As

Publication number Publication date
KR20110068490A (ko) 2011-06-22
WO2011074771A2 (ko) 2011-06-23
US9767710B2 (en) 2017-09-19
CN102667889B (zh) 2014-10-22
EP2515286A2 (en) 2012-10-24
EP2515286A4 (en) 2014-12-24
CN102667889A (zh) 2012-09-12
JP2013512461A (ja) 2013-04-11
US20120290300A1 (en) 2012-11-15
JP5405672B2 (ja) 2014-02-05
WO2011074771A3 (ko) 2011-08-25

Similar Documents

Publication Publication Date Title
KR101211796B1 (ko) 외국어 학습 장치 및 그 제공 방법
US11393476B2 (en) Automatically determining language for speech recognition of spoken utterance received via an automated assistant interface
KR102100389B1 (ko) 개인화된 엔티티 발음 학습
KR102191425B1 (ko) 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법
US11797772B2 (en) Word lattice augmentation for automatic speech recognition
US8024179B2 (en) System and method for improving interaction with a user through a dynamically alterable spoken dialog system
US20210366462A1 (en) Emotion classification information-based text-to-speech (tts) method and apparatus
JP2017058673A (ja) 対話処理装置及び方法と知能型対話処理システム
JP2018081298A (ja) 自然語処理方法及び装置と自然語処理モデルを学習する方法及び装置
JP2017058674A (ja) 音声認識のための装置及び方法、変換パラメータ学習のための装置及び方法、コンピュータプログラム並びに電子機器
US20060161434A1 (en) Automatic improvement of spoken language
US11093110B1 (en) Messaging feedback mechanism
JPWO2007108500A1 (ja) 音声認識システム、音声認識方法および音声認識用プログラム
JP2011504624A (ja) 自動同時通訳システム
JP6625772B2 (ja) 検索方法及びそれを用いた電子機器
KR20200080914A (ko) 언어학습을 위한 양국어 자유 대화 시스템 및 방법
JPH10504404A (ja) 音声認識のための方法および装置
KR20210036169A (ko) 대화 시스템, 대화 처리 방법, 번역 장치 및 번역 방법
US11615787B2 (en) Dialogue system and method of controlling the same
WO2020110744A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2003162524A (ja) 言語処理装置
KR102358087B1 (ko) 발달 장애인 음성 인식 점수 산출 장치 및 그 방법
JP2016151718A (ja) 簡易通訳装置
Steger Talking With Siri: Analyzing and Detecting Error Patterns in Speech Recognition Technology
KR20210032200A (ko) 다중 언어 대화 서비스 제공 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151012

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180316

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 7