KR20160008949A - 음성 대화 기반의 외국어 학습 방법 및 이를 위한 장치 - Google Patents

Abstract

음성 대화 기반의 외국어 학습 방법 및 이를 위한 장치가 개시된다. 본 발명에 따른 음성 대화 기반의 외국어 학습 장치는 학습자가 발화한 문장을 인식하여 텍스트로 변환하는 음성인식부와; 텍스트로 변환된 발화 문장에 대한 발화의도를 추정하고, 상기 발화 문장을 구성하는 각 어휘에 대한 언어학적 구조분석을 수행하는 언어분석 및 이해부와; 및 추정된 발화의도에 기초하여 상기 발화 문장에 대한 응답을 생성하고, 언어학적 구조분석 결과에 기초하여 상기 발화 문장에 포함되어 있는 오류를 인식하고, 상기 오류에 대한 교정 피드백을 제공하는 대화처리부를 포함한다.

Description

음성 대화 기반의 외국어 학습 방법 및 이를 위한 장치{APPARATUS AND METHOD FOR FOREIGN LANGUAGE LEARNING BASED ON SPOKEN DIALOGUE}

본 발명은 음성 대화 기반의 외국어 학습 방법 및 이를 위한 장치에 관한 것으로서, 보다 상세하게는 학습자와 학습 장치 간의 대화중에 학습자가 생성할 수 있는 다양한 오류들에 대한 올바른 정답 피드백을 제공해 주는 음성 대화 기반의 외국어 학습 방법 및 이를 위한 장치에 관한 것이다.

컴퓨터 기술의 발달과 함께, 컴퓨터를 외국어 학습에 도입하고자 하는 시도는 오래 전부터 있었다. 최근에는 컴퓨터를 활용하여 외국어 학습을 수행하는 다양한 방식들이 개발되고 있으며, 실제로 상용화된 제품들도 쉽게 찾아볼 수 있다. 하지만 다음과 같은 문제점들은 기존 제품의 상용화를 막는 장애 요인이었다.

첫째, 종래의 외국어 학습 장치들이 갖는 가장 큰 문제점은 대부분의 학습 방식이 이미 정해진 상황(static situation) 하에서 이미 정해진 대화에 대한 단순 반복이라는 것이다. 단순 반복은 학습 과정에서 흥미를 유발시키지 못하므로 중도에 쉽게 포기하도록 만든다. 이러한 이유로 인해, 종래의 외국어 학습 장치를 활용하는 학습자는 학습 과정에 있어서 능동적인 역할을 하지 못했다. 즉, 학습자는 이미 정해진 상황 하에서, 틀에 짜여진 상황에만 국한된 외국어 회화 기술을 습득해 왔다.

둘째, 종래의 외국어 학습 장치는 이미 정해진 상황 및 문장을 제외하고는 학습자의 오류를 인식하고 이를 교정하여 피드백 해주는 장치를 가지고 있지 않았다. 이런 이유로, 학습자는 학습 단계에서 올바른 표현을 일방적이고, 수동적으로 습득하는 데에만 치중할 뿐 이를 쉽게 활용해 볼 수 없는 문제점도 가지고 있다. 종래의 외국어 학습 장치들이 갖는 이러한 문제점들은 종래의 장치들이 음성 처리(speech processing), 언어처리(language processing), 대화처리(dialogue processing) 및 자동 오류 인식 및 교정 기술(grammar error detection and correction) 등의 기술을 포함하고 있지 않았기 때문이다.

본 발명이 해결하고자 하는 기술적 과제는, 학습자 주도의 대화 상황을 설정하고, 음성 발화를 통한 학습 및 학습 장치와 대화를 통한 학습을 유도하고, 발화의 오류를 인식 및 교정하고, 학습 내용을 평가할 수 있는 음성 대화 기반의 외국어 학습 방법 및 이를 위한 장치를 제공하는 것을 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명은 음성 대화 기반의 외국어 학습 장치 및 그 학습방식과 서비스에 관한 것이다.

본 발명의 외국어 학습 장치에서는 학습 장치와 학습자 간의 음성 대화가 가능하다는 것을 특징으로 한다. 즉, 설정된 특정 상황 하에서 학습자는 학습 장치와 자유롭게 대화를 수행할 수 있으며, 학습 장치는 학습자의 발화 내용에 대해 적절하게 학습 장치 응답을 생성한다. 또한 본 발명의 학습 장치는 학습자와 학습 장치 간의 대화 중에 학습자가 생성할 수 있는 다양한 오류들, 예를 들어, 학습자의 발음 오류, 문맥에 부적합한 학습자 발화 오류, 학습자 발화에 포함될 수 있는 문법적 오류 등을 자동으로 탐지하고, 이에 대한 올바른 정답 피드백을 제공해 주는 것을 특징으로 한다.

이러한 특징으로 인해, 본 발명의 학습 장치를 활용하는 학습자는 기존의 외국어 학습교실 환경에서 필요로 했던 원어민 교사나 외국어 구사 가능한 교사를 필요치 않는다. 또한 본 발명의 학습 장치가 적용하고 있는 대화처리 기술은 종래의 컴퓨터 기반의 외국어 학습 장치에서 문제가 되었던 '동일 문장의 단순 반복 학습으로 인한 싫증'을 해소하고, 보다 적극적이고 흥미로운 외국어 학습을 가능하게 한다.

기술적인 면에 있어서, 본 발명에서 제안하는 외국어 학습 장치는 음성인식과 대화처리 및 사용자 오류 인식 및 오류 교정 기능을 포함하고 있는 것을 특징으로 한다. 학습자는 인터넷 등의 네트워크 환경을 통해 학습 장치에 접속함으로써 외국어 학습 서비스를 제공받을 수 있다.

다음은 본 발명의 외국어 학습 장치가 갖는 특성을 요약한다.

1. 학습자 주도의 대화 상황 설정: 학습자는 전체적인 틀만 정해진 시나리오 상에서 자신에게 필요한 대화의 인스턴스를 직접 선택하여 시나리오의 틀을 채워 나갈 수 있다. 즉, 학습 대화의 시나리오가 '음식'에 대한 것이라면, 학습자는 그 인스턴스로서 '한국음식', '일본음식', '중국음식' 등과 해당 음식의 요리와 관련된 정보들을 자신의 필요성에 맞게 선택함으로써 학습자 자신에게 필요하고, 효율적인 대화 상황을 만들 수 있다.

2. 음성 발화를 통한 학습: 학습자는 키보드 기반의 방식이 아닌 음성 발화 기반의 외국어 학습이 가능하다. 음성 발화를 통한 학습은 학습자로 하여금 실생활에서의 외국어 구사를 보다 자연스럽게 하는데 큰 도움이 된다.

3. 학습 장치와의 대화를 통한 학습: 학습자는 가상의 대화상대와 대화를 통해 학습과정에서 배운 내용을 직접 구사할 수 있다. 특히, 대화를 통한 학습의 경우, 학습 효과를 극대화하기 위해서는 단순 반복이 아니라 상황에 따라, 학습자의 발화에 따라 적절한 학습 장치의 대응이 필요하다. 본 발명의 경우, 이러한 기능을 수행하는 대화처리 모듈을 포함하고 있기 때문에 동적인 대화 전개가 가능하다는 점에서 종래의 학습 장치가 갖는 "단순 지루함"의 문제를 해결하고 있다.

4. 오류 인식 및 교정: 외국어 학습 장치는 학습자와의 대화 상황에서 학습자가 외국어 문장을 구사하는데 있어서 나타날 수 있는 발음 오류, 문맥에 적합하지 않은 발화 생성 오류, 문법적인 오류, 올바르지 못한 표현 등의 다양한 오류를 인식하고 교정하여 관련된 피드백을 제공한다.

5. 학습 평가: 사용자가 설정하여 주어진 대화 상황에 대한 학습이 종료되면 학습 장치는 학습자의 수행한 대화 및 오류교정 로그 등을 분석하여 어휘/표현/문법/문맥 등의 다차원적인 외국어 구사에 대한 평가 분석 결과를 제시한다.

본 발명의 외국어 학습 장치는 음성처리 기술, 언어처리 기술, 대화처리 기술을 포함하고 있는 것을 특징으로 한다. 이러한 기술은 종래의 외국어 학습 장치가 가지고 있는 다음과 같은 문제들을 효과적으로 해결할 수 있다.

종래의 외국어 학습 장치는 동일한 내용의 반복 학습으로 인해 학습 흥미를 잃게 만든다. 본 발명의 외국어 학습 장치는 학습 시나리오를 학습자가 자신의 요구에 맞게 구성할 수 있어서 외국어 학습 흥미를 지속시키는데 효과적이다.

종래의 외국어 학습 장치는 학습한 내용을 실제로 구사할 수 있는 환경을 제공하지 않는다. 본 발명의 외국어 학습 장치는 대화처리 기술을 포함하고 있기 때문에 가상의 대화 상대와 함께 학습한 표현을 실제로 구사해 볼 수 있다.

종래의 외국어 학습 장치는 학습자에게 학습 내용을 일방적으로 제공만 하는 문제를 가지고 있다. 본 발명의 외국어 학습 장치는 가상의 대화 상대와 외국어 회화를 수행하면서 학습자가 발생시킨 문법적/의미적/표현의 오류를 자동으로 검출하여 교정 내용을 학습자에게 피드백 정보를 제공함으로써 학습자의 외국어 학습 능력 향상에 효과적이다.

종래의 외국어 학습 장치에 있어서 학습자 수준의 평가는 보편적으로 제시되지 않았지만, 본 발명의 외국어 학습 장치는 학습자와 학습 장치 간의 대화 내용을 분석하여 담화 능력, 과제 수행 능력, 정확성, 유창성 등의 측면에서 평가 결과를 제시해 줄 수 있다. 학습자는 이러한 평가 결과를 바탕으로 하여 단계적 반복 학습을 통해 자신의 외국어 구사 능력을 효과적으로 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 외국어 학습 장치에 대한 블록도이다.
도 2는 본 발명의 실시예에 따라 학습자가 발화한 문장에 대한 발음 평가 결과의 일 예를 도시한 도면이다.
도 3은 본 발명의 실시예에 따라 학습자가 발화한 문장에 대한 처리 결과의 일 예를 도시한 도면이다.
도 4는 본 발명의 실시예에 따라 문법 오류 검출 및 교정 피드백을 제공하기 위한 문법 오류 교정부의 구성을 도시한 도면이다.
도 5는 본 발명의 실시예에 따라 문법 평가부가 학습자에게 제공하는 외국어 학습 평가 결과의 예를 도시한 도면이다.
도 6은 학습자의 학습 초기 화면 중에서 특정 시나리오 도메인을 선택한 후의 첫 화면으로서, 해당 시나리오 레슨에서 학습할 대화 표현의 key expression에 해당하는 내용을 학습하는 화면을 도시한 도면이다.
도 7은 학습자가 해당 레슨에서 학습하게 될 학습 내용을 심화 학습하는 화면을 도시한 도면이다.
도 8은 학습자가 자신의 요구사항에 맞도록 또한 자신의 원하는 학습 상황을 구성하기 위해 학습 시나리오를 구성하는 단계의 화면을 도시한 도면이다.
도 9는 상기의 학습 시나리오 구성 단계가 끝난 후, 학습자가 예문을 보면서 직접 연습 발화하는 단계를 도시한 도면이다.
도 10은 학습자가 상기에 기술한 단계들을 거치면서 특정 시나리오에 대한 학습이 종료된 후, 최종적으로 가상의 상대(학습 시스템)과 음성으로 대화를 진행하며 학습한 내용을 실제로 사용해보는 단계를 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 외국어 학습 장치에 대한 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 외국어 학습 장치(102)는 소프트웨어 형태로 전용의 서버에 설치될 수 있으며, 다수의 학습자들(101)은 인터넷을 통해 상기 서버에 접속하여 학습 서비스를 제공받을 수 있다.

학습 과정에서 학습자들은 학습 장치(102)와의 대화를 수행하는데, 상기 학습 장치(102)는 음성인식부(103), 언어분석 및 이해부(107) 및 대화처리부(108)를 포함하며, 상기 음성인식부(103)와 협업하여 학습자가 발화한 각 문장에 대한 음성인식을 수행하는 발음 오류 교정부(104), 발음 평가부(105), 발음 오류 교정 지식 DB(106)를 더 포함할 수 있다.

또한, 본 발명의 실시예에 따른 학습 장치(102)는 상기 대화처리부(108)와 협업하여 학습 장치와 학습자 간에 수행된 대화 내용을 분석하고 오류 피드백 등을 제공하는 대화 지식 DB(109), 내용 적합도 판단부(110), 문법오류 교정부(111), 문법 평가부(112), 피드백 생성부(113) 및 문법 오류 교정 지식 DB(114)를 더 포함할 수도 있다.

도 1에서 발음 오류 교정 지식 DB(106), 대화 지식 DB(109), 문법 오류 교정 지식 DB(114)는 음성인식부(103) 등과 하나의 서버에 구축되어 있는 것으로 도시되어 있지만, 별개의 서버에 구축될 수 있음은 물론이다. 이 경우 상기 학습 장치(102)와 별도로 구축된 DB 서버는 네트워크로 연결되어 데이터를 공유할 수 있다.

한편, 학습자가 발화한 각 문장은 음성인식부(103)를 통해서 인식되며, 외국어 텍스트로 변환된다. 음성인식부(103)와 상호작용을 하는 발음 오류 교정부(104)와 발음 평가부(105)에서는 발음 오류 교정 지식 DB(106)를 사용하여 학습자가 발화한 문장을 구성하는 각 어휘의 발음에 대한 평가를 수행하며 그에 대한 피드백을 제공한다.

언어분석 및 이해부(107)는 음성인식부(103)에 의해 인식된 학습자의 외국어 발화 문장에 대한 언어적 분석 및 이해를 수행하여, 학습자의 발화 문장에 대한 의도와 문장을 구성하는 각 어휘에 대한 품사 태깅 및 구조적 분석을 수행한다. 언어분석 및 이해부(107)의 처리 결과는 대화처리부(108)의 입력으로 사용된다.

대화처리부(108)는 대화 지식 DB(109)를 사용하여 현재의 문맥에서 학습자의 발화 문장에 대한 대응으로서 학습 장치가 응답해야 할 문장을 결정하고 생성한다.

또한 대화처리부(108)는 내용 적합도 판단부(110), 문법 오류 교정부(111), 문법 평가부(112) 및 피드백 생성부(113)와 상호 작용을 하며, 학습자 발화문장의 다양한 오류들을 인식하고 이러한 오류들에 대한 교정을 수행하며, 이에 대한 피드백을 학습자에게 제공한다. 이들 주요 오류 인식 및 오류 교정을 담당하는 4개 모듈을 보다 자세히 설명하면 다음과 같다.

내용 적합도 판단부(110)는 학습 장치의 발화 내용에 대해서 학습자가 문맥에 맞는 응답을 하고 있는지 여부를 판단하여 그 결과를 피드백한다.

문법 오류 교정부(111)는 학습자의 발화 문장에 포함될 수도 있는 문법적(언어학적 측면에서의) 오류를 인식하고 교정 정보를 생성한다.

문법 평가부(112)는 학습 장치와 학습자 간에 수행된 대화 내용을 분석하여 학습자의 외국어 학습 수준을 평가한다.

피드백 생성부(113)는 학습자에게 학습자의 오류에 대한 교정 정보를 제공한다.

문법 오류 교정 지식 DB(114)는 문법 오류 교정부 및 문법 평가부 등에서 활용하여 다양한 오류 인식 및 교정 지식을 포함한다.

다시 도 1로 돌아가 본 발명에 따른 외국어 학습 장치(102)의 각 구성에 대해 구체적으로 설명한다.

상기 음성인식부(103)는 외국어 학습 장치와 대화를 수행하기 위해 마이크 등의 입력 장치를 이용하여 학습자가 발화한 문장을 인식한다. 도 2의 음성인식 수행 버튼(201)을 눌러 학습자가 발화할 경우, 발화된 문장은 음성인식부(103)에 의해 문장으로 인식되어 텍스트로 변환되며, 음성인식 결과는 언어분석 및 이해부(107)의 입력으로 사용된다.

본 발명의 외국어 학습 장치에서 구동되는 음성인식부(103)는 종래의 보편적인 음성인식부와는 다른 특성을 지닌다. 외국어 학습 장치에서 구동되는 음성인식부(103)는 오류를 포함하는 발화 문장을 입력으로 받는다. 이러한 이유 때문에 종래의 언어 모델을 사용해서는, 오류를 오류로 인식하는데 문제가 있다.

예를 들어, 종래의 보편적인 음성인식기의 경우, 올바른 문장들로만 구성된 언어 모델 때문에 "There is many books"(오류어휘: 'is')라는 발화 문장에 대해서 "There are many books" 라는 올바른 문장으로 인식할 확률이 높다.

따라서, 본 발명의 실시예에 따른 음성인식부(103)가 사용하는 언어 모델은 오류 없는 문장과 오류를 포함하고 있는 문장들로 구성된 언어 모델을 사용하여 구축되어야 한다. 또한, 이에 대한 가중치도 조절되어야 한다.

상기 발음 오류 교정부(104)와 발음 평가부(105)는 학습자가 발화한 문장의 음성 시그널을 분석하여 발음 오류를 검출하고 이에 대한 올바른 피드백을 제공한다. 이를 위해 발음 오류 교정부(104)와 발음 평가부(105)는 발음 오류 교정 지식 DB(106)를 주요 지식으로 사용한다.

도 2는 학습자가 발화한 문장에 대한 발음 평가 결과를 보여준다. 구체적으로, 도 2는 학습자 발화 문장과, 이에 대응하는 정답 문장과의 비교 결과를 억양(INTONATION) 및 강세(STRESS) 디스플레이 화면(202)을 통해 파형으로 보여준다. 두 개의 파형이 일치할수록 학습자의 발음 능력은 뛰어난 것이다. 또한 발음 평가부(105)는 발음 평가 디스플레이 화면(203)을 통해 학습 장치가 평가한 학습자의 발음 숙련도를 숫자로 표시해 보여준다.

상기 언어분석 및 이해부(107)는 음성인식부(103)에 의해 텍스트로 변환된 사용자 발화 문장을 입력으로 받는다. 언어분석 및 이해부(107)는 입력된 문장에 대해 형태소 분석 및 태깅을 수행하여 각 어휘의 원형 및 품사를 추정한다.

또한 상기 언어분석 및 이해부(107)는 언어이해 과정을 통해서 학습자의 발화 의도를 분석하여 파악한다. 학습자의 발화의도 추정은 발화의도가 부착된 대량의 코퍼스를 활용하여 기계학습에 의한 방법으로 수행된다. 따라서 발화 의도를 올바로 추정하기 위해서는 발화의도 추정을 위한 자질을 어떻게 구성하는 것이 중요하다. 언어분석 및 이해부(107)에서 파악된 학습자의 문장 발화 의도는 이후의 대화처리부(108)에서 현재의 문맥에서 학습 장치가 생성해야 할 문장을 구성하는데 중요한 지식으로 사용된다.

상기 대화처리부(108)는 크게 두 가지 역할을 수행한다. 첫째는 학습자의 발화 문장을 분석 및 이해한 후, 현 문맥 또는 현 상황에 맞는 학습 장치의 응답을 생성하여 학습자에게 제시한다. 또한 학습자가 설정한 시나리오를 분석하여 시나리오에서 벗어나는 학습자 발화에 대처해서 학습자가 올바른 대화 흐름을 유지할 수 있도록 한다.

둘째는 도 1에 도시된 내용 적합도 판단부(110), 문법 오류 교정부(111), 문법 평가부(112) 및 피드백 생성부(113)와의 협업을 통해 학습자 발화 문장 속에 포함될 수도 있는 다양한 오류를 인식하고 이를 교정하여 학습에 도움이 되는 피드백을 학습자에게 제공하고, 이에 대한 재발화를 요구한다.

도 3을 예로 들어 설명하면 다음과 같다. 도 3에서, 문장(301)은 학습 장치가 학습자에게 질문을 하는 문장이다. 이에 대해 학습자는 문장(302)와 같이 응답을 하였다. 본 발명의 외국어 학습 장치는 학습자가 발화한 2개의 문장을 음성 인식하여 "I like Korean food very much. I prefers Korean food than Chinese food"이라는 텍스트로 변환한다.

이후, 문법 오류 교정부(111)는 학습자가 발화한 문장에서 주어-동사 일치(agreement) 오류 및 전치사 오류를 검출하고 문장(304)와 같이 오류 정정을 위한 피드백을 제공한다. 즉, 해당 문장에서 'prefers'는 'prefer'로 수정되어야 하고, 'than'은 'to'로 수정되어야 한다는 피드백을 제공한다.

또한 문법 오류 교정부(111)은 문법 오류 교정 지식 DB(114)를 문법 오류 인식 및 교정을 위한 주요 지식으로 사용한다. 본 발명에서 오류 교정 지식으로는 문법 오류가 자동 생성되고, 이에 대한 오류 정보가 부착된 코퍼스를 기계학습하여 인식 및 교정 모델로 사용하며, 또한 정확성 향상 및 상용화 가능성을 높이기 위해 N-gram 데이터 및 오류메모리를 추가적으로 사용한다.

상기 내용 적합도 판단부(110)는 학습 장치가 생성한 문장에 대한 학습자 응답 문장의 적합도를 판단한다. 내용 적합도 판단부(110)는 언어분석 및 이해부(107)에서 수행한 학습자 발화 문장 분석 결과 및 대화처리부(108)에서 예상하고 있는 학습자 발화 의도와 실제로 입력된 학습자 발화 문장의 발화 의도 등과의 비교 작업을 수행한다.

예를 들어, 학습 장치가 학습자에게 "What is your favorite season?" 이라고 질문을 했다면, 학습자는 학습 장치의 질문에 대응하는 문맥에 적합한 답변을 제시하여야 한다. 보다 구체적으로 언급하면, 위의 예문에 대한 응답으로서 '계절'에 대한 답변이 나와야 내용 적합도 판단부를 'Pass'할 수 있다. 이것이 가능하기 위해서는 앞에서 언급한 바와 같이, 언어분석 및 이해부에서 제공하는 문장 분석 결과 및 대화처리부에서 제공하는 대화 히스토리 등의 기능을 활용해야 한다.

상기 문법 오류 교정부(111)는 학습자가 발화한 문장에 포함된 문법 오류를 검출하고 이 대한 교정 정보를 피드백하는 기능을 제공한다. 아래의 표는 본 발명에서 검출 대상으로 하고 있는 문법 오류의 예를 나타내며, 아래의 표에서 나타난 오류는 설명을 위한 예일 뿐, 추가적인 오류의 정의가 가능하다.

오류 어휘 품사	명사
	동사
	전치사
	형용사
	상기 품사 이외에 기타 품사로의 확장 가능
오류 범주	생략 오류: 있어야 할 특정 어휘가 생략되어 있는 경우
	교체 오류: 특정 오류 어휘가 올바른 어휘로 교체되어야 하는 경우
	삽입 오류: 해당 문맥에서 불필요한 어휘가 삽입되어 있는 경우
기타	일치 오류 (주어/동사 일치 오류, 관사/명사 일치 오류 등) ->언어에 따라 확장될 수 있음
	철자 오류
	어휘의 활용 형태가 잘못된 경우 (예를 들어, 영어의 경우 동사 활용 등 ...)

상용화 목적을 위해서 문법 오류의 검출 및 교정 성능을 최대화하기 위해서는 다양한 방법론이 사용되어야 한다. 이를 위해 본 발명에서는 오류메모리, n-gram 및 기계학습 기반의 각 방법론의 결과에 대해서 각 방법론의 성능 등을 고려하여 문법 오류 검출 및 교정 피드백을 제공한다.

도 4를 참조하여 상기 문법 오류 교정부(111)가 문법 오류 검출 및 교정 피드백을 제공하는 과정을 구체적으로 설명한다. 사용자 발화 문장(401)은 상기 문법 오류 교정부(111)를 구성하는 오류 메모리 기반 문법오류 검출/교정부(402), N-gram 기반 문법오류 검출/교정부(403) 및 기계학습 기반 문법오류 검출/교정부(404)에 동일하게 입력으로 들어간다.

이들 각각의 문법오류 검출/교정부들(402,403,404)은 자신의 방법론에 기반하여 문법 오류를 검출하고 교정 정보를 제시한다. 이들 각 문법오류 검출/교정부(402,403,404)의 오류 검출/교정 결과는 문법 오류 검출/교정 결정부(405)의 입력이 되며, 문법 오류 검출/교정 결정부(405)에서는 각 문법오류 검출/교정부(402,403,404)의 성능 등에 따라서 또한 오류의 타입에 따라서 우선 순위를 두거나 보팅(voting)에 기반하여 최종 문법 오류와 교정 피드백을 결정하게 된다.

오류 메모리 기반 문법오류 검출/교정부(402)의 오류메모리는 기계번역에서 번역메모리(Translation memory)와 유사하다. 즉, 오류메모리는 특정 조건이 기술되어서 해당 조건 하에서 특정 언어 현상에 있어서 오류가 있다는 것과 해당 오류에 대한 교정 정보를 제공한다. 오류메모리는 기술된 언어적 조건이 만족될 경우, 무조건 적용되기 때문에 정확한 오류메모리만 구축되어야 하는 것이 중요하다.

N-gram 기반 문법오류 검출/교정부(403)는 대규모의 코퍼스를 기반으로 하여 추출 및 구축된 n-gram 스코어를 오류 검출의 클루(clue)로 사용한다. 즉, 특정 오류 문맥에서 계산된 n-gram 스코어가 특정 한계치(threshold)보다 떨어지게 되면 해당 문맥에서 오류를 의심하게 된다.

기계학습 기반 문법오류 검출/교정부(404)는 문법 오류가 표기된 대규모 코퍼스 또는 문법 오류가 자동으로 생성하여 문법 오류를 표기한 대규모 코퍼스를 기반으로 문법 오류 타입에 따른 자질(feature)을 정의하고, 이를 기반으로 학습된 오류 검출 및 교정 모델에 기반하여 문법 오류를 검출하고 교정한다.

상기 문법 오류 교정 지식 DB(114)는 상기의 문법 오류 검출 및 교정 방법론들이 사용하는 다양한 형태의 오류 검출 및 교정 지식들을 포함한다.

상기 문법 평가부(112)는 학습자에게 주어진 대화 미션이 종료된 후, 학습자와 학습 장치 간에 이루어진 대화 및 학습자의 발화 문장에서 검출된 내용 적합도, 문법 오류 등을 분석하여 학습자의 외국어 구사 능력에 대한 평가를 진단한다. 이 결과는 텍스트 및 그래프 등을 이용하여 학습자에게 피드백되며, 그 예는 도 5에 도시된 바와 같다.

도 5는 상기 문법 평가부(112)가 학습자에게 제공하는 외국어 학습 평가 결과의 예를 보여준다.

상기 문법 평가부(112)는 학습자의 외국어 능력을 과제수행능력, 담화능력, 유창성, 정확성 측면에서 다양하게 평가한다. 또한 학습자의 발화 문장 가운데 오류를 포함하고 있는 문장을 다시 제시해 주고, 학습자가 어떤 부분에서 오류를 일으켰는지 피드백 정보를 제공한다. 이를 이용하여 학습자는 자신의 외국어 구사 능력에 대한 객관적인 평가를 얻게 되고, 자신이 취약한 부분을 알 수 있게 된다.

상기 문법 평가부(112)는 내용 적합도 판단부(110), 문법 오류 교정부(111)에서 제공하는 피드백 정보를 사용하며, 또한 단어별 학습 레벨(level) 정보가 부착된 유사 단어 DB 등을 활용하여 학습자에게 양질의 학습 평가 결과를 제시해 준다.

상기 피드백 생성부(113)는 학습자의 발화 문장에 대해서 내용 적합도 판단부(110) 및 문법 오류 교정부(111)로부터 오류 검출 및 교정 결과를 받아서 학습자에게 튜터(tutor)로서 도움이 되는 문장을 구성하여 생성하는 역할을 담당한다. 도 3에서 GenieTutor(303)이 발화한 문장(304)는 상기의 오류 교정 피드백이 생성되어 화면을 통해 학습자에게 제시되는 예를 나타낸다. 이러한 오류 교정 피드백은 화면을 통해 디스플레이될 수도 있고, 음성 합성을 통해서도 학습자에게 제시될 수 있다.

본 발명의 실시예에 따른 외국어 학습장치가 제공하는 컴퓨터 지원 기반의 효율적인 학습 서비스는 다음과 같이 정리된다.

외국어 학습 서비스 측면에서 학습자는 아래와 같은 5단계로 구성된 학습 과정으로 구성된 외국어 학습 서비스를 제공받을 수 있다.

1. Key expression [도 6]: 현재의 레슨(lesson)에서 학습자가 배워야 할 핵심 표현을 나타낸다. 학습 장치는 특정 상황에서 사용되는 주요 표현 어휘/구문 등에 대한 요약 정보를 학습자에게 제공한다.

2. Lecture [도 7]: 특정 상황에서 사용되는 주요 표현에 대한 심화 학습 과정을 학습자에게 제공한다.

3. Try [도 8]: 자유대화(free dialogue)의 수행을 위해 특정 상황을 학습자의 필요성에 맞게 직접 구성하고, 설정이 완료된 시나리오를 전체적으로 리뷰하는 과정을 포함한다.

4. Practice [도 9]: 학습자가 설정한 시나리오에 나오는 외국어 문장을 들으면서 익힐 수 있고, 문장의 발음을 실제로 따라하며, 올바른 발음과 학습자의 발음을 비교 분석 및 교정하는 과정을 포함한다.

5. Free dialog [도 10]: 학습자가 설정한 시나리오 하에서, 가상의 대화 상대와 대화를 하는 과정을 의미한다. 이 과정에서 학습 장치는 학습자가 발화한 문장의 오류 교정에 대한 피드백을 제공하며, 학습자는 이를 반영하여 재발화함으로써 자신의 오류를 수정해 나갈 수 있다.

6. Evaluation [도 5]: free dialog를 통한 대화가 종료되면, 학습 장치는 학습자의 대화 내용을 분석하여 다양한 언어적 측면에서 평가 결과를 제시해 준다. 학습자는 이를 사용하여 자신의 외국어 실력을 점진적으로 향상시킬 수 있다.

학습자는 Key Expression 단계부터 시작하여 한 단계씩 나아가며 해당 레슨에서 배울 내용에 대한 학습을 진행하고, 최종적으로 Free Dialogue 단계에서 가상의 대화상대와 대화를 수행하며 앞 단계에서 학습한 외국어 구사 능력을 직접 테스트해보는 과정을 진행할 수 있다.

이하에서는 전술한 구성을 갖는 본 발명의 실시예에 따른 외국어 학습 장치가 제공하는 학습 서비스 제공 방법 및 관련 사용자 인터페이스(UI)에 관해 도 6 내지 도 10을 참조하여 설명한다.

도 6은 학습자의 학습 초기 화면 중에서 특정 시나리오 도메인을 선택한 후의 첫 화면으로 해당 시나리오 레슨에서 학습할 대화 표현의 key expression에 해당하는 내용을 학습하는 화면이다. 이후 학습자는 key expression, lecture, try, practice, free dialog 등의 단계를 거치면서 학습자 자신에게 맞는 시나리오를 구성하며, 해당 시나리오에 적합한 표현 등을 학습해보고 연습하여 최종적으로 free dialog 단계에서는 실제로 학습 장치와 대화하며 학습한 내용을 직접 구사해 보는 기회를 갖는다.

도 7은 학습자가 해당 레슨에서 학습하게 될 학습 내용을 심화 학습하는 화면을 나타낸다. 이 단계에서는 녹음되거나 녹화된 음성 및 비디오를 통하여 학습하게 될 외국어 표현 등에 대해서 보다 심도있는 학습 내용을 청취하게 된다. 또한 이 단계에서는 특정 어휘의 사용법과 문법적 특성 등을 교육 서비스로 제공받는다.

도 8은 학습자가 자신의 요구사항에 맞도록 또한 자신의 원하는 학습 상황을 구성하기 위해 학습 시나리오를 구성하는 단계의 화면을 나타낸다. 예를 들어, 음식에 관한 대화 표현 등을 학습하고자 할 때, 학습자는 자신이 원하는 음식 및 내용으로 해당 시나리오를 구성하고, 구성이 완료된 학습 시나리오를 시뮬레이션할 수 있다.

도 9는 상기의 학습 시나리오 구성 단계가 끝난 후, 학습자가 예문을 보면서 직접 연습 발화하는 단계이며, 이 단계에서 학습자는 발음 클리닉에 대한 정보를 제공받을 수 있다. 이 단계에서는 예문의 반복 학습을 통해서 충분히 대화 표현을 익히게 된다. 이 과정이 끝나면 학습자는 free dialog 단계로 넘어간다.

도 10은 학습자가 상기에 기술한 단계들을 거치면서 특정 시나리오에 대한 학습이 종료된 후, 최종적으로 가상의 상대(학습 시스템)과 음성으로 대화를 진행하며 학습한 내용을 실제로 사용해보는 단계를 나타낸다. 이 단계에서 학습자는 외국어 문장을 발화하게 되고, 만약 학습자 발화 문장에 오류가 있다면 학습 장치는 이를 인식하여 오류 교정을 위한 피드백을 학습자에게 제공한다.

마지막으로 도 5는 일련의 학습 과정이 끝난 후, 학습자에게 제공되는 외국어 향상을 위한 자동평가 피드백 정보를 나타낸다. 학습자는 이 단계에서 자신의 발화 문장에 포함된 문법적 오류, 대화 미션을 수행해 나가는데 있어서의 능력, 담화 능력, 정확성, 유창성 등에 대한 포괄적인 학습 피드백을 제공받는다. 학습자는 이러한 학습 피드백을 사용하여 자신의 외국어 실력을 보다 효율적으로 개선시킬 수 있다.

한편, 본 발명의 실시예에 따른 음성 대화 기반의 외국어 학습 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 도 11에는 컴퓨터 시스템의 간단한 실시예가 도시된다. 도시된 바와 같이, 컴퓨터 시스템은 적어도 하나 이상의 프로세서(121)와, 메모리(123)와, 사용자 입력 장치(126)와, 데이터 통신 버스(122)와, 사용자 출력 장치(127)와, 저장소(128) 등을 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스(122)를 통해 데이터 통신을 한다.

또한, 컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스(129)를 더 포함할 수 있다. 상기 프로세서(121)는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리(123) 및/또는 저장소(128)에 저장된 명령어를 처리하는 반도체 장치일 수 있다.

상기 메모리(123) 및 상기 저장소(128)는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리(123)는 ROM(124) 및 RAM(125)을 포함할 수 있다.

따라서, 본 발명의 실시예에 따른 음성 대화 기반의 외국어 학습 방법은 컴퓨터 시스템에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 음성 대화 기반의 외국어 학습 방법이 컴퓨터 시스템에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 학습 방법을 수행할 수 있다.

다른 한편으로, 상술한 본 발명의 실시예에 따른 음성 대화 기반의 외국어 학습 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

101: 외국어 학습자
102: 외국어 학습 장치(서버)
103: 음성인식부
104: 발음 오류 교정부
105: 발음 평가부
106: 발음 오류 교정 지식 DB
107: 언어분석 및 이해부
108: 대화처리부
109: 대화지식DB
110: 내용 적합도 판단부
111: 문법 오류 교정부
112: 문법 평가부
113: 피드백 생성부
114: 문법 오류 교정 지식 DB

Claims (1)

1. 학습자가 발화한 문장을 인식하여 텍스트로 변환하는 음성인식부와;
   텍스트로 변환된 발화 문장에 대한 발화의도를 추정하고, 상기 발화 문장을 구성하는 각 어휘에 대한 언어학적 구조분석을 수행하는 언어분석 및 이해부와; 및
   추정된 발화의도에 기초하여 상기 발화 문장에 대한 응답을 생성하고, 언어학적 구조분석 결과에 기초하여 상기 발화 문장에 포함되어 있는 오류를 인식하고, 상기 오류에 대한 교정 피드백을 제공하는 대화처리부
   를 포함하는 음성 대화 기반의 외국어 학습 장치.

Images