KR101037247B1 - 외국어 회화 연습 방법 및 장치와 이것의 빠른 개발과 검증을 돕는 학습자 시뮬레이션 방법과 장치 - Google Patents

Abstract

본 발명은 인공지능 자연어 처리 기술을 이용한 외국어 회화 연습 방법 및 장치와 이것의 빠른 개발과 검증을 돕는 학습자 시뮬레이션 방법과 장치에 관한 것이다. 본 발명은 PC, PDA, 휴대폰, 인공지능 에이전트 등 모든 컴퓨팅 장치에 탑재하여 외국어 회화 학습에 활용될 수 있다. 본 발명은 외국어 학습자의 자연어 음성입력을 받아서 발화 내용과 오류를 파악하고 오류에 적절한 교정 피드백을 제공하는 동시에 상황에 맞는 원어민식 표현 응답을 생성한다. 생성된 응답은 자연어 음성합성을 이용하여 원어민 수준의 음성으로 학습자에게 전달된다. 본 발명은 다양한 학습자의 다양한 어학수준을 고려하고 대화 문맥을 고려하여 오류를 포함한 학습자의 발화에서도 발화의도를 추출할 수 있고 이 발화 의도를 바탕으로 교정 피드백을 가능하게 하는 다양한 대화 현상을 모델링하는 대화 기술을 사용하여 자연스러운 회화 교육 대화를 제공할 수 있다. 그리고 상기의 기술을 개발하고 검증할 때 다양한 수준의 실제 학습자들을 동원하는 것은 많은 비용과 시간을 요구하는 작업이므로 기술 개발 시간과 비용을 최소화시키기 위해 실제 학습자의 대화 방법, 오류, 수준별 특성 등을 시뮬레이션할 수 있는 기술이 필요하다. 본 발명을 통해 외국어 학습자에게 원어민 교사처럼 외국어로 회화 상대를 하면서 필요한 부분을 교육할 수 있는 지능적인 자연어 처리 외국어 회화 학습 장치를 구현할 수 있다.

외국어, 회화, 연습, 학습자, 시뮬레이션

Description

외국어 회화 연습 방법 및 장치와 이것의 빠른 개발과 검증을 돕는 학습자 시뮬레이션 방법과 장치{Foreign language conversation training method and apparatus and trainee simulation method and apparatus for qucikly developing and verifying the same}

본 발명은 인공지능 자연어 처리 기술을 이용한 외국어 회화 연습 방법 및 장치와 이것의 빠른 개발과 검증을 돕는 학습자 시뮬레이션 방법과 장치에 관한 것으로, 보다 상세하게는 외국어 학습자와 자연어로 대화하면서 수준에 맞는 교육 피드백을 제공하는 외국어 회화 학습을 위한 자연어 처리 인공지능 에이전트 및 이것의 빠른 개발과 검증을 지원하는 외국어 학습자 시뮬레이션 방법과 장치에 관한 것이다.

기존의 외국어 교육은 대부분 문법 및 독해 위주의 교육에 초점 맞추어져 있기 때문에 수많은 시간과 노력을 외국어 교육에 투자함에도 불구하고 국제화 시대에 가장 필요한 능력인 외국어 의사소통 능력은 향상 되지 않는 문제점이 있었다.

이런 문제로 인해 대학 뿐만 아니라 기업까지도 기존의 문법, 독해 테스트와 별개로 외국어 말하기 테스트를 시행하여 실제로 외국어 의사소통 능력을 확인하는 추세이다.

외국어 교육 분야의 연구 결과로부터 외국어 의사소통 능력은 실제 대화 훈련을 통해서만 가장 효과적으로 향상된다고 알려져 있다. 최근 들어 실제 외국어 대화 훈련을 제공하기 위해 많은 어학원과 전화 외국어 학습 서비스에서 원어민과의 회화 클래스를 제공한다. 그러나 원어민 교육에는 몇 가지 문제점이 따른다.

첫째, 원어민 교사는 시간, 공간적으로 제한적으로만 이용 가능하다. 따라서 아무 때나 학습자가 원하는 시간에 원어민 교사와 회화 연습을 할 수 없고 원어민 교사의 사정에 따라서만 교육이 가능하다. 반면, 회화 교육용 인공지능 에이전트는 언제라도 이용가능하다는 장점이 있다.

둘째, 항상 원어민 교사의 수는 학생 수보다 작기 때문에 한명의 원어민 교사가 여러 명의 학습자를 지도하는 것이 일반적이다. 따라서 학습자 개인은 일부분의 관심만 받게 되어 교육 효율성이 떨어진다. 반면, 인공지능 에이전트는 수요만큼 제조가 가능하기 때문에 일대일 교육을 실현할 수 있다.

셋째, 원어민교사는 일반적으로 비용이 매우 비싸기 때문에 많은 학습자에게 교육의 기회를 제공하기 어렵다. 그러나 인공지능 에이전트는 싼 비용으로 대량 공급이 가능하여 소외된 학습자들에게도 기회를 제공할 수 있다.

넷째, 학습자는 일반적으로 교사나 다른 학생들 앞에서 말하는 것을 부끄러워하므로 원어민 교사가 있다 하더라도 실제 대화를 하지 못해서 교육 효과가 없을 수도 있다. 그러나 다른 사람이 없는 환경에서 인공지능 에이전트와의 대화는 이런 감정적 어려움을 겪지 않도록 도와준다.

다섯째, 원어민 교사들은 전문성에 있어서 개인별로 많은 차이가 있어서 교사의 역량에 따라 학습자의 성취도가 크게 틀려질 수 있으며 교사들의 컨디션에 따라 교육의 질이 달라질 수 있다. 이에 반면, 회화 교육 전용 인공지능 에이전트는 알려진 최고의 교수법을 일괄적으로 제공할 수 있고 언제나 동일한 교육의 질을 제공할 수 있는 장점이 있다.

그러나 기존의 일반적인 음성 대화 시스템을 이용하는 방법은 많은 제약이 따른다. 외국어 학습자들은 원어민 화자들과 달리 발화에 많은 문법 에러를 포함하고 있으며 발음 또한 크게 틀리기 때문에 기존의 음성 대화 시스템이 잘 동작하지 않는다. 그리고 외국어 학습자들이 발음, 문법, 표현에서 잘못을 할 경우 교육 시스템에서 적절한 피드백을 제공하여야만 올바른 외국어 구사 능력을 획득할 수 있다. 따라서 외국어 교육을 위한 음성 대화 시스템은 단지 외국어 기반의 대화 시스템이 아니라 외국어 교육 이론에 기반하여 학습자의 불완전한 발음, 문법, 표현까지 이해하고 교육할 수 있는 첨단의 지능이 필요한 기술이다.

따라서 제 2 언어 습득 이론, 학습자를 위한 외국어 음성 인식기 특성화, 문장의 문법 분석 및 표현 적합성 분석, 그리고 피드백을 포함한 교육 기능 포함의 유연한 대화 모델링과 같은 다양한 기술의 융합이 필요한 발명이다.

본 발명의 인공지능 에이전트는 비 모국어 화자의 음성 특성을 고려한 음향 모델과 학습자 발화의 오류를 고려한 언어 모델을 이용하여 음성인식률을 최대한 높여야 하며, 학생들의 발화의 문법 오류와 음성인식 오류가 있더라도 학생들 수준과 상황 정보를 추가 고려하는 오류에 강한 통계적 모델로 발화 의도를 추정하여 대화가 정상 진행 되도록 해야한다.

본 발명의 인공지능 에이전트는 학생의 발화에 오류가 있더라도 그 의도에 적합한 올바른 발화를 다양한 방식으로 피드백하여 교육을 할 수 있어야 한다. 학생은 제공받은 피드백을 통해 자신의 오류를 스스로 깨닫고 수정하여 발화할 수 있다.

본 발명의 인공지능 에이전트는 학생들이 말문이 막혔을 경우에도 상황에 맞는 발화를 피드백하여 대화를 계속 유지하도록 유도하도록 한다.

그리고 상기의 기술을 개발하고 검증할 때 다양한 수준의 실제 학습자들을 동원하는 것은 많은 비용과 시간을 요구하는 작업이므로 기술 개발 시간과 비용을 최소화시키기 위해 실제 학습자를 시뮬레이션할 수 있는 기술이 필요하다.

학습자 시뮬레이터는 학습자 다음 발화 내용을 대화 규칙 및 대화 말뭉치로부터 얻은 통계 모델을 함께 사용하여 예측하고, 예측된 학습자 발화 내용을 자연어로 생성하는 단계를 거치고, 생성된 자연어에 학생 수준과 모국어 타입에 따른 오류를 유형별 빈도별로 생성하고, 최종적으로 생성된 학습자의 오류 포함 자연어 를 음성인식했을 때 발생할 수 있는 음성인식 오류를 발생시켜 최종 학습자 발화 시뮬레이션을 수행하게 한다.

본 발명은 상기 기술적 과제를 달성하기 위하여, 외국어 회화 교육을 위한 자연어 처리 인공지능 에이전트로서 외국어 회화 연습 장치에 있어서,

비 모국어 화자 즉, 학습자(미도시)가 마이크(10)를 통해 입력하는 음성을 인식하는 비모국어화자 음성인식기(110);

외국어 학습자 시뮬레이터(200)의 문법오류 생성부(230)로부터의 문법오류 생성결과를 받아서 음성인식 오류를 시뮬레이션하는 음성인식 오류 시뮬레이터(120);

상기 비모국어화자 음성인식기(110)와 상기 음성인식 오류 시뮬레이터(120)로부터의 신호를 수신하여 발화 의도를 인식하는 발화의도 인식기(130);

상기 발화의도 인식기(130)로부터의 결과를 받아서, 주어진 도메인(예를 들어, 인사, 감정 표현하기, 음식 주문하기 등)의 내용에 맞추어 학습자의 발화 입력에 적절한 응답을 하여 회화 연습을 진행할 수 있게 하며 학습자의 발화에 오류가 있는 경우에는 오류에 대한 피드백을 대화나 다른 출력형식으로 제공하여 학습자 발화를 고치도록 교육하는 대화관리자(140);

상기 대화관리자(140)의 제어하에 자연어 발화를 생성하는 자연어 발화 생성부(150); 및

상기 자연어 발화 생성부(150)의 생성된 자연어 발화에 의거 원어민 음성합 성을 수행하는 원어민 음성합성기(160)를 포함하는 외국어 회화 연습 장치를 제공한다.

바람직하기로는, 상기 음성인식기는 학습자의 불완전한 음성 입력으로 정확도 높은 인식 결과를 얻기 위해 학습자 음성 데이터로부터 음향 모델과 발음 모델을 특성화하는 것을 특징으로 한다.

바람직하기로는, 상기 음성인식기는 학습자의 발화 오류로 인한 음성인식 오류를 줄이기 위해 학습자 발화 데이터로부터 언어 모델을 특성화 한다.

바람직하기로는, 상기 음성인식기는 대화 관리자나 도메인 지식데이터베이스로부터 상황 지식을 받아 음성 인식기의 상위 N개 결과 중 최적의 결과를 다시 선택하는 것을 특징으로 한다.

바람직하기로는, 상기 발화 의도 인식기는 오류가 포함된 학습자 발화 음성 인식 결과를 받아서 정확한 발화 의도를 예측하기 위해 학습자 수준별 특성과 대화 문맥 정보 함께 고려하는 것을 특징으로 한다.

바람직하기로는, 상기 발화 의도 인식기는 학습자 수준별 발화기반 모델과 대화 문맥 기반 모델을 분리하여 모델을 구축하고 특정한 수준의 발화 의도 인식기를 만들기 위해 그 수준의 발화 기반 모델과 공용의 대화 문맥 기반 모델을 조합하는 것을 특징으로 한다.

바람직하기로는, 상기 대화 관리자는 학습자가 대화하고자 하는 토픽에 대해서 자연어 대화를 제공하면서 동시에 발화 오류에 대한 교육 피드백을 제공하는 것을 특징으로 한다.

바람직하기로는, 상기 대화 관리자는 학습자 수준과 학습자 자연어 발화의 오류 종류와 빈도를 분석하고, 이 정보와 정확하게 사용한 구문의 종류와 빈도를 고려하여 학습자의 수준을 예측하는 오류 분석기를 더 포함하는 것을 특징으로 한다.

본 발명의 다른 기술적 과제를 달성하기 위하여, 외국어 학습자 시뮬레이션 장치에 있어서,

인공지능 에이전트(100)의 원어민 음성합성기(160)로부터 원어민 음성 합성 결과를 받아서 발화 내용을 생성하는 발화 내용 생성부(210);

상기 발화 내용 생성부(210)로부터 생성된 발화 내용에 의거 자연어 발화를 생성하는 자연어 발화 생성부(220); 및

상기 자연어 발화 생성부(220)로부터 생성된 자연어 발화의 문법 오류를 생성하는 문법 오류 생성부(230)를 포함하는 외국어 학습자 시뮬레이션 장치를 제공한다.

바람직하기로는, 상기 발화 내용 생성부(210)는 학습자 발화 내용 흐름을 학습자 대화 데이터로부터 통계모델을 추출하고 대화 규칙을 함께 적용하는 것을 특징으로 한다.

바람직하기로는, 상기 문법 오류 생성부(230)는 학습자 문법 오류를 학습자 오류 데이터로부터 통계모델을 추출하고 오류 규칙을 함께 적용하는 것을 특징으로 한다.

바람직하기로는, 학습자 음성 인식 오류를 학습자 음성인식 데이터로부터 통 계모델을 추출하고 음성학적 발음 변이 규칙을 함께 적용하는 음성인식 오류 생성부를 더 포함하는 것을 특징으로 한다.

본 발명의 다른 기술적 과제를 달성하기 위하여, 외국어 회화 교육을 위한 자연어 처리 인공지능 에이전트로서 외국어 회화 연습 방법에 있어서,

비 모국어 화자 즉, 학습자(미도시)가 마이크를 통해 입력하는 음성을 인식하는 비모국어화자 음성인식 단계;

외국어 학습자 시뮬레이터의 문법오류 생성부로부터의 문법오류 생성결과를 받아서 음성인식 오류를 시뮬레이션하는 음성인식 오류 시뮬레이터 단계;

상기 비모국어화자 음성인식 단계와 상기 음성인식 오류 시뮬레이터 단계로부터의 신호를 수신하여 발화 의도를 인식하는 발화의도 인식 단계;

상기 발화의도 인식 단계로부터의 결과를 받아서, 주어진 도메인(예를 들어, 인사, 감정 표현하기, 음식 주문하기 등)의 내용에 맞추어 학습자의 발화 입력에 적절한 응답을 하여 회화 연습을 진행할 수 있게 하며 학습자의 발화에 오류가 있는 경우에는 오류에 대한 피드백을 대화나 다른 출력형식으로 제공하여 학습자 발화를 고치도록 교육하는 대화관리자 단계;

상기 대화관리자 단계의 제어하에 자연어 발화를 생성하는 자연어 발화 생성단계; 및

상기 자연어 발화 생성 단계의 생성된 자연어 발화에 의거 원어민 음성합성을 수행하는 원어민 음성합성 단계를 포함하는 외국어 회화 연습 방법을 제공한다.

본 발명의 다른 기술적 과제를 달성하기 위하여, 외국어 학습자 시뮬레이션 방법에 있어서,

인공지능 에이전트의 원어민 음성합성기로부터 원어민 음성 합성 결과를 받아서 발화 내용을 생성하는 발화 내용 생성 단계;

상기 발화 내용 생성 단계로부터 생성된 발화 내용에 의거 자연어 발화를 생성하는 자연어 발화 생성 단계; 및

상기 자연어 발화 생성 단계로부터 생성된 자연어 발화의 문법 오류를 생성하는 문법 오류 생성 단계를 포함하는 외국어 학습자 시뮬레이션 방법을 제공한다.

바람직하기로는, 학습자 음성 인식 오류를 학습자 음성인식 데이터로부터 통계모델을 추출하고 음성학적 발음 변이 규칙을 함께 적용하는 음성인식 오류 생성 단계를 더 포함하는 것을 특징으로 한다.

상기한 바와 같이, 본 발명에 의한 외국어 회화 교육용 자연어 처리 인공지능 에이전트는 언제라도 이용가능한 일대일 회화 교육을 저렴한 비용으로 실현할 수 있고 흥미를 유발시키는 다양한 컨텐츠를 쉽게 시스템적으로 제공하면서 다른 사람의 시선으로 인한 감정적 어려움을 겪지 않고 학습하도록 도와준다. 그리고 알려진 최고의 교수법을 일괄적으로 제공할 수 있고 언제나 동일한 교육의 질을 제공할 수 있는 장점이 있다. 따라서 원어민 회화 교육의 단점을 극복하면서도 보다 나은 외국어 회화 교육 성과를 나타낼 수 있다.

본 발명은 지능형 로봇, 개인용 컴퓨터 및 모바일 단말기 등 다양한 컴퓨팅 장치에 적용할 수 있어서 관련된 장치 산업에도 긍정적인 영향을 기대할 수 있다.

도 1은 발명에 따른 외국어 회화 교육을 위한 자연어 처리 인공지능 에이전트와 학습자 시뮬레이터의 전반적인 구조를 도시한 블록도이다.

도 1은 발명에 따른 외국어 회화 교육을 위한 자연어 처리 인공지능 에이전트(100)는 비 모국어 화자 즉, 학습자(미도시)가 마이크(10)를 통해 입력하는 음성을 인식하는 비모국어화자 음성인식기(110), 외국어 학습자 시뮬레이터(200)의 문법오류 생성부(230)로부터의 문법오류 생성결과를 받아서 음성인식 오류를 시뮬레이션하는 음성인식 오류 시뮬레이터(120), 상기 비모국어화자 음성인식기(110)와 상기 음성인식 오류 시뮬레이터(120)로부터의 신호를 수신하여 발화 의도를 인식하는 발화의도 인식기(130), 상기 발화의도 인식기(130)로부터의 결과를 받아서, 주어진 도메인(예를 들어, 인사, 감정 표현하기, 음식 주문하기 등)의 내용에 맞추어 학습자의 발화 입력에 적절한 응답을 하여 회화 연습을 진행할 수 있게 하며 학습자의 발화에 오류가 있는 경우에는 오류에 대한 피드백을 대화나 다른 출력형식으로 제공하여 학습자 발화를 고치도록 교육하는 대화관리자(140), 상기 대화관리자(140)의 제어하에 자연어 발화를 생성하는 자연어 발화 생성부(150), 및 상기 자연어 발화 생성부(150)의 생성된 자연어 발화에 의거 원어민 음성합성을 수행하는 원어민 음성합성기(160)를 포함하여 구성된다. 상기 원어민 음성합성기(160)는 원어민 음성 합성 결과를 외국어 학습자 시뮬레이터(200)의 발화내용 생성부(210)에 출력하고, 스피커, 헤드폰, 또는 이어폰(20)을 통해 외국어 학습자(미도시)가 원어민 음성 합성 결과를 들을 수 있도록 한다.

한편, 도 1에 도시한 외국어 학습자 시뮬레이터(200)는 상기 인공지능 에이전트(100)의 상기 원어민 음성합성기(160)로부터 원어민 음성 합성 결과를 받아서 발화 내용을 생성하는 발화 내용 생성부(210), 상기 발화 내용 생성부(210)로부터 생성된 발화 내용에 의거 자연어 발화를 생성하는 자연어 발화 생성부(220), 및 상기 자연어 발화 생성부(220)로부터 생성된 자연어 발화의 문법 오류를 생성하는 문법 오류 생성부(230)를 포함하여 구성된다.

도 1의 음성인식기(110)는 비 모국어 화자 즉, 학습자를 대상으로 특성화되어 일반 원어민 대상 음성인식기보다 인식률을 높인 음성인식기이다.

도 2는 도 1의 비 모국어 화자 음성인식기(110)의 특성화를 위한 방법을 구체적으로 도시한 블록도이다. 비 모국어 화자 음성인식기(110)는 비 모국어 화자의 음성(101)의 특성을 추출하는 특성추출부(111), 상기 특성추출부(111)에서 추출된 특성에 의거 전체모델부(1119)의 모델을 검색하여 출력하는 검색부(112), 상기 검색부(112)의 검색결과에 의거 상황기반을 선택하여 자연어 발화를 수행하는 상황기반선택부(113)를 포함한다.

도 2에서, 특성화된 음향 모델 및 발음 모델을 구축하기 위해서 비모국어 화자의 외국어 발화 음성 데이터를 이용한다. 이 데이터의 규모가 작을 경우에는 원어민 화자의 음성 데이터에 비모국어화자의 음성 데이터를 통계적인 방법으로 결합한다. 음향모델은 학습자 음성 데이터베이스(1110)와 원어민 음성 데이터베이스(1113)를 이용하여 음향모델부(1116)에서 구하고, 발음모델은 학습자 텍스트 데이터베이스(1112)와 원어민 텍스트 데이터베이스(1115)를 이용하여 발음모델 부(1117)에서 구한다. 그리고 비모국어 화자의 오류를 고려한 언어모델을 만들기 위해서 원어민 대상의 음성인식기 언어모델에 통계적 기법 또는 규칙 기반의 기법을 이용한 비모국어 화자 데이터 결합을 수행한다. 여기서, 언어모델은 학습자 텍스트 데이터베이스(1112)와 원어민 텍스트 데이터베이스(1115)를 이용하여 언어모델부(1118)에서 구한다. 그리고 도 2에는 도시되지 않았지만, 상황기반선택부(113)는 도 1의 대화 관리자(140)로부터 대화 문맥 정보와 대화 상황에 대한 일반적 지식을 전달 받아 여러 개의 음성인식 결과 중 가장 가능성이 높은 결과를 선택하여 자연어 발화를 출력한다.

도 1의 발화 의도 인식기(130)는 학습자 발화의 문법 오류와 음성인식 오류가 있더라도 학생들 수준과 상황 정보를 발화 정보와 더불어 고려하여 인식률을 높히는 통계적 모델을 채용한다.

도 3은 도 1의 학습자 발화 의도 인식기(130)를 보다 구체적으로 도시한 블록도이다. 상기 모델은 크게 두 가지 하위 모델로 나누어지는데, 발화에 담긴 단어, 형태소, 구문 정보 등과 같은 레벨 1 내지 레벨 N의 발화 데이터(131)에 따른 언어학적 정보를 기초로 하는 발화기반 모델(133)과, 대화관리자(140)로부터의 이전 발화 의도들, 지금까지 주고 받은 정보 목록 및 상태와 같은 대화 문맥 정보를 기반으로 하는 대화문맥기반 모델(135)로 나뉜다. 대화의 선천적 특징상 학습자 수준에 따라 오류나 단어 사용등의 차이로 인한 발화 정보는 달라지나 대화 문맥의 흐름은 거의 변화가 없는 것을 기초로 하여 발화 모델은 학습자 수준별로 따로 모델링하고 대화문맥기반 모델(135)은 한 모델을 공유하도록 한다. 따라서 발화기반 모델(133)은 학습자 자연어 발화를 받아서 각각 다른 수준의 학습자 발화 데이터(131)로부터 모델을 구축한다. 다양한 학습자 수준에 맞는 최적의 발화 인식기 모델(136)은 그 수준에 해당하는 발화기반 모델(133)과 대화문맥기반 모델(135)의 결합으로 만들어내어, 학습자 발화 의도를 출력한다.

도 1의 대화 관리자(140)는 주어진 도메인(예를 들어, 인사, 감정 표현하기, 음식 주문하기 등)의 내용에 맞추어 학습자의 발화 입력에 적절한 응답을 하여 회화 연습을 진행할 수 있게 하며 학습자의 발화에 오류가 있는 경우에는 오류에 대한 피드백을 대화나 다른 출력형식으로 제공하여 학습자 발화를 고치도록 교육한다.

도 4는 도 1의 대화 관리자(140)를 보다 구체적으로 도시한 블록도이다. 상기 모델은 도 3의 학습자 발화 의도 인식기(130)로 부터 얻은 발화 의도를 담화 분석기(143)에서 현재 담화 상황과 함께 고려하여 다음 응답 내용을 생성한다. 이때 학습자 발화 의도가 새로운 토픽에 관한 것이면 토픽 선택기(142)를 통해 새로운 토픽에 대한 대화 계획을 가져오고 담화 분석기(143)는 새로운 토픽의 계획에 따라 대화를 진행하게 된다. 이 토픽에 대한 내용이 완료가 되면 이전에 진행하던 토픽으로 돌아가서 대화를 진행하던지 새로운 토픽을 선정하여 대화를 시작하던지 선택하게 된다. 대화 계획은 대화 말뭉치로 부터 대화 흐름을 확률적으로 모델링한 것과 규칙을 이용한 모델링 모두 사용 가능하다. 만약 학습자 발화에 오류가 있다면 오류 분석기(141)에서 오류가 발생한 부분, 오류 타입을 분석하고 각 오류 타입별로 어떤 피드백을 제공하는 것이 좋은지 결정하여 이 정보들을 담화 분석기(143)에 제공한다. 피드백의 종류에는 학습자의 오류를 지적하면서 정답을 알려주는 방식과, 지적하지 않고 올바르게 고쳐진 문장을 알려주는 방식, 학습자가 오류를 고치도록 오류 부분에 대해 의문을 제기하는 방식, 발화 내용 중 올바른 부분을 얘기한 뒤 틀린 부분에 학습자가 채워 넣도록 하는 방식, 언어적 지식을 함께 제공하면서 학습자가 틀린 부분을 고치도록 하는 방식 등이 있다. 또한 오류 분석기(141)는 발생한 오류 타입과 빈도 및 정확한 표현의 타입과 빈도를 이용하여 학습자의 수준을 추정하여 제공한다. 담화 분석기(143)는 피드백을 제공해야할 경우 학습자에게 피드백을 주고 받는 하위 대화를 수행하고 본 대화를 계속 수행하는 동작을 한다. 토픽 선택기(142)에서 선택된 자기소개, 감정표현, 음식점 등과 같은 토픽은 도메인지식 데이터베이스(145)에 저장된다.

도 1의 자연어 발화 생성부(150)는 대화 관리자(140)에서 출력하는 발화 내용을 바탕으로 자연어 문장을 생성하는 역할을 하며 이렇게 생성된 자연어는 원어민 음성 합성기(160)를 통해 음성 발화로 학습자에게 전달된다. 학습자는 인공지능 에이전트(100)의 발화를 듣고 대화를 진행한다.

도 1의 외국어 학습자 시뮬레이터(200)는 실제 학습자를 대신하여 인공지능 에이전트(100)와 대화를 하는 시스템으로 학습자의 대화 흐름, 문법 오류, 음성 인식 오류를 시뮬레이션하여 인공지능 자연어 처리 기술을 이용한 외국어 회화 교육 방법을 개발하고 검증하는 역할을 한다.

도 5는 도 1의 학습자 시뮬레이터(200)를 도시한 블록도이다. 학습자 시뮬레이터(200)는 발화내용생성부(210)에서 인공지능 에이전트(100)의 자연어 발화 또는 발화 의도를 받아서 학습자 대화 데이터베이스(205)에 의거 실제 학습자의 응답 발화 내용을 모방하여 생성한다. 이것을 위한 모델은 실제 학습자의 대화 데이터를 바탕으로 확률 모델 또는 규칙 기반 계획 모델의 조합으로 만든다. 이렇게 만들어진 응답 발화 내용을 자연어발화생성부(220)에서 학습자 대화 데이터베이스(205)에 의거 자연어로 생성한 뒤 문법오류생성부(230)에서 학습자 오류 데이터베이스(225)에 의거 학습자들의 발화 오류 특징을 닮은 오류들을 발화 내에 생성한다. 이때 오류 생성 모델은 실제 학습자들의 발화 오류 데이터로 부터 확률 모델 및 규칙 모델의 조합으로 만든다. 그리고 음성인식 오류 생성부(240)에서 학습자 음성 인식 데이터베이스(235)에 의거 마지막으로 오류를 포함한 학습자 자연어 발화를 인공지능 에이전트(100)가 음성 인식하였을 때 발생하는 음성인식 오류까지 생성할 수 있다. 음성인식 오류 생성 모델은 실제 학습자의 발화를 음성인식 하였을 때 흔히 나타나는 발음 변이 현상과 언어학적으로 모국어와의 차이점으로 인해 가능한 발음 변이 현상을 고려한 모델로 구성한다.

상술한 바와 같이, 본 발명은 외국어 학습자와 자연어로 대화하면서 수준에 맞는 교육 피드백을 제공하는 외국어 회화 학습을 위한 자연어 처리 인공지능 에이전트 및 이것의 개발과 검증을 지원하는 외국어 학습자 시뮬레이터를 제공한다.

또한, 본 발명은 학습자의 불완전한 음성 입력으로 정확도 높은 인식 결과를 얻기 위해 학습자 음성 데이터로부터 음향 모델과 발음 모델을 특성화하는 인식기를 제공한다.

또한, 본 발명은 학습자의 발화 오류로 인한 음성인식 오류를 줄이기 위해 학습자 발화 데이터로부터 언어 모델을 특성화 하는 인식기를 제공한다.

또한, 본 발명은 대화 관리자나 도메인 지식데이터베이스로부터 상황 지식을 받아 음성 인식기의 상위 N개 결과 중 최적의 결과를 다시 선택하는 기법을 제공한다.

또한, 본 발명은 오류가 포함된 학습자 발화 음성 인식 결과를 받아서 정확한 발화 의도를 예측하기 위해 학습자 수준별 특성과 대화 문맥 정보 함께 고려하는 발화 의도 인식기를 제공한다.

또한, 본 발명은 학습자 수준별 발화기반 모델과 대화 문맥 기반 모델을 분리하여 모델을 구축하고 특정한 수준의 발화 의도 인식기를 만들기 위해 그 수준의 발화 기반 모델과 공용의 대화 문맥 기반 모델을 조합하는 발화 의도 인식기를 제공한다.

또한, 본 발명은 학습자가 대화하고자 하는 토픽에 대해서 자연어 대화를 제공하면서 동시에 발화 오류에 대한 교육 피드백을 제공하는 대화 관리자를 제공한다.

또한, 본 발명은 학습자 수준과 학습자 자연어 발화의 오류 종류와 빈도를 분석하고, 이 정보와 정확하게 사용한 구문의 종류와 빈도를 고려하여 학습자의 수준을 예측하는 오류 분석기를 제공한다.

또한, 본 발명은 실제 학습자의 발화 내용 생성 시뮬레이션, 문법 오류 시뮬레이션, 음성 인식 오류 시뮬레이션 중 일부나 전체를 포함하는 학습자 시뮬레이터를 제공한다.

또한, 본 발명은 학습자 발화 내용 흐름을 학습자 대화 데이터로부터 통계모델을 추출하고 대화 규칙을 함께 적용하는 발화 내용 생성 시뮬레이션 기법을 제공한다.

또한, 본 발명은 학습자 문법 오류를 학습자 오류 데이터로부터 통계모델을 추출하고 오류 규칙을 함께 적용하는 문법 오류 생성 시뮬레이션 기법을 제공한다.

또한, 본 발명은 학습자 음성 인식 오류를 학습자 음성인식 데이터로부터 통계모델을 추출하고 음성학적 발음 변이 규칙을 함께 적용하는 음성인식 오류 생성 시뮬레이션 기법을 제공한다.

도 1은 발명에 따른 외국어 회화 교육을 위한 자연어 처리 인공지능 에이전트와 학습자 시뮬레이터의 전반적인 구조를 도시한 블록도이다.

도 2는 도 1의 비 모국어 화자 음성인식기의 특성화를 위한 방법을 도시한 블록도이다.

도 3은 도 1의 학습자 발화 의도 인식기를 도시한 블록도이다.

도 4는 도 1의 대화 관리자를 도시한 블록도이다.

도 5는 도 1의 학습자 시뮬레이터를 도시한 블록도이다.

Claims (15)

1. 외국어 회화 교육을 위한 자연어 처리 인공지능 에이전트로서 외국어 회화 연습 장치에 있어서,

   비 모국어 화자 즉, 학습자(미도시)가 마이크(10)를 통해 입력하는 음성을 인식하는 비모국어화자 음성인식기(110);

   외국어 학습자 시뮬레이터(200)의 문법오류 생성부(230)로부터의 문법오류 생성결과를 받아서 음성인식 오류를 시뮬레이션하는 음성인식 오류 시뮬레이터(120);

   상기 비모국어화자 음성인식기(110)와 상기 음성인식 오류 시뮬레이터(120)로부터의 신호를 수신하여 발화 의도를 인식하는 발화의도 인식기(130);

   상기 발화의도 인식기(130)로부터의 결과를 받아서, 주어진 도메인(예를 들어, 인사, 감정 표현하기, 음식 주문하기 등)의 내용에 맞추어 학습자의 발화 입력에 적절한 응답을 하여 회화 연습을 진행할 수 있게 하며 학습자의 발화에 오류가 있는 경우에는 오류에 대한 피드백을 대화나 다른 출력형식으로 제공하여 학습자 발화를 고치도록 교육하는 대화관리자(140);

   상기 대화관리자(140)의 제어하에 자연어 발화를 생성하는 자연어 발화 생성부(150); 및

   상기 자연어 발화 생성부(150)의 생성된 자연어 발화에 의거 원어민 음성합성을 수행하는 원어민 음성합성기(160)를 포함하는 외국어 회화 연습 장치.
2. 제1항에 있어서, 상기 음성인식기는 학습자의 불완전한 음성 입력으로 정확도 높은 인식 결과를 얻기 위해 학습자 음성 데이터로부터 음향 모델과 발음 모델을 특성화하는 것을 특징으로 하는 외국어 회화 연습 장치.
3. 제1항에 있어서, 상기 음성인식기는 학습자의 발화 오류로 인한 음성인식 오류를 줄이기 위해 학습자 발화 데이터로부터 언어 모델을 특성화 하는 외국어 회화 연습 장치.
4. 제1항에 있어서, 상기 음성인식기는 대화 관리자나 도메인 지식데이터베이스로부터 상황 지식을 받아 음성 인식기의 상위 N개 결과 중 최적의 결과를 다시 선택하는 것을 특징으로 하는 외국어 회화 연습 장치.
5. 제1항에 있어서, 상기 발화 의도 인식기는 오류가 포함된 학습자 발화 음성 인식 결과를 받아서 정확한 발화 의도를 예측하기 위해 학습자 수준별 특성과 대화 문맥 정보 함께 고려하는 것을 특징으로 하는 외국어 회화 연습 장치.
6. 제5항에 있어서, 상기 발화 의도 인식기는 학습자 수준별 발화기반 모델과 대화 문맥 기반 모델을 분리하여 모델을 구축하고 특정한 수준의 발화 의도 인식기를 만들기 위해 그 수준의 발화 기반 모델과 공용의 대화 문맥 기반 모델을 조합하 는 것을 특징으로 하는 외국어 회화 연습 장치.
7. 제1항에 있어서, 상기 대화 관리자는 학습자가 대화하고자 하는 토픽에 대해서 자연어 대화를 제공하면서 동시에 발화 오류에 대한 교육 피드백을 제공하는 것을 특징으로 하는 외국어 회화 연습 장치.
8. 제7항에 있어서, 상기 대화 관리자는 학습자 수준과 학습자 자연어 발화의 오류 종류와 빈도를 분석하고, 이 정보와 정확하게 사용한 구문의 종류와 빈도를 고려하여 학습자의 수준을 예측하는 오류 분석기를 더 포함하는 것을 특징으로 하는 외국어 회화 연습 장치.
9. 외국어 학습자 시뮬레이션 장치에 있어서,

   인공지능 에이전트(100)의 원어민 음성합성기(160)로부터 원어민 음성 합성 결과를 받아서 발화 내용을 생성하는 발화 내용 생성부(210);

   상기 발화 내용 생성부(210)로부터 생성된 발화 내용에 의거 자연어 발화를 생성하는 자연어 발화 생성부(220); 및

   상기 자연어 발화 생성부(220)로부터 생성된 자연어 발화의 문법 오류를 생성하는 문법 오류 생성부(230)를 포함하는 외국어 학습자 시뮬레이션 장치.
10. 제9항에 있어서, 상기 발화 내용 생성부(210)는 학습자 발화 내용 흐름을 학 습자 대화 데이터로부터 통계모델을 추출하고 대화 규칙을 함께 적용하는 것을 특징으로 하는 외국어 학습자 시뮬레이션 장치.
11. 제9항에 있어서, 상기 문법 오류 생성부(230)는 학습자 문법 오류를 학습자 오류 데이터로부터 통계모델을 추출하고 오류 규칙을 함께 적용하는 것을 특징으로 하는 외국어 학습자 시뮬레이션 장치.
12. 제9항에 있어서, 학습자 음성 인식 오류를 학습자 음성인식 데이터로부터 통계모델을 추출하고 음성학적 발음 변이 규칙을 함께 적용하는 음성인식 오류 생성부를 더 포함하는 것을 특징으로 하는 외국어 학습자 시뮬레이션 장치.
13. 외국어 회화 교육을 위한 자연어 처리 인공지능 에이전트로서 외국어 회화 연습 방법에 있어서,

    비 모국어 화자 즉, 학습자(미도시)가 마이크를 통해 입력하는 음성을 인식하는 비모국어화자 음성인식 단계;

    외국어 학습자 시뮬레이터의 문법오류 생성부로부터의 문법오류 생성결과를 받아서 음성인식 오류를 시뮬레이션하는 음성인식 오류 시뮬레이터 단계;

    상기 비모국어화자 음성인식 단계와 상기 음성인식 오류 시뮬레이터 단계로부터의 신호를 수신하여 발화 의도를 인식하는 발화의도 인식 단계;

    상기 발화의도 인식 단계로부터의 결과를 받아서, 주어진 도메인(예를 들어, 인사, 감정 표현하기, 음식 주문하기 등)의 내용에 맞추어 학습자의 발화 입력에 적절한 응답을 하여 회화 연습을 진행할 수 있게 하며 학습자의 발화에 오류가 있는 경우에는 오류에 대한 피드백을 대화나 다른 출력형식으로 제공하여 학습자 발화를 고치도록 교육하는 대화관리자 단계;

    상기 대화관리자 단계의 제어하에 자연어 발화를 생성하는 자연어 발화 생성단계; 및

    상기 자연어 발화 생성 단계의 생성된 자연어 발화에 의거 원어민 음성합성을 수행하는 원어민 음성합성 단계를 포함하는 외국어 회화 연습 방법.
14. 외국어 학습자 시뮬레이션 방법에 있어서,

    인공지능 에이전트의 원어민 음성합성기로부터 원어민 음성 합성 결과를 받아서 발화 내용을 생성하는 발화 내용 생성 단계;

    상기 발화 내용 생성 단계로부터 생성된 발화 내용에 의거 자연어 발화를 생성하는 자연어 발화 생성 단계; 및

    상기 자연어 발화 생성 단계로부터 생성된 자연어 발화의 문법 오류를 생성하는 문법 오류 생성 단계를 포함하는 외국어 학습자 시뮬레이션 방법.
15. 제14항에 있어서, 학습자 음성 인식 오류를 학습자 음성인식 데이터로부터 통계모델을 추출하고 음성학적 발음 변이 규칙을 함께 적용하는 음성인식 오류 생성 단계를 더 포함하는 것을 특징으로 하는 외국어 학습자 시뮬레이션 방법.

Images