KR20220032973A - 외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 장치 및 방법 - Google Patents

Abstract

외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법 이 제공된다. 상기 방법은 외국어 학습자로부터 발생되는 적어도 하나의 외국어 문장을 입력받는 단계; 상기 외국어 문장을 복수의 평가 항목 중 제1 평가 항목에 상응하는 제1 평가 모델에 입력하여 제1 평가 결과값을 산출하는 단계; 상기 산출된 제1 평가 결과값을 소정의 결과값과 비교하는 단계; 및 상기 비교 결과 상기 제1 평가 결과값이 소정의 결과값 미만인 경우 상기 제1 평가 항목에 상응하는 교육 정보를 상기 외국어 학습자에게 제공하는 단계를 포함한다.

Description

외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING FOREIGN LANGUAGE LEARNING USING SENTENCE EVLAUATION}

본 발명은 외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 장치 및 방법에 관한 것이다.

외국어를 학습하는 학습자(이하, 외국어 학습자)는 실제 상황에서 외국어를 직접 활용하여 소통이 되는지 아닌지를 통해 외국어를 체득할 때 보다 빨리 외국어를 습득할 수 있다. 이러한 이유로, 최근 외국어 학습자가 실제 상황처럼 외국어 문장을 생성(발화 또는 작문)하도록 하는 다양한 외국어 교육 소프트웨어가 출시되고 있다.

하지만 이 경우에도 외국어 학습자에 의한 외국어 문장이 언어적으로 문법에 맞는지, 내용은 잘 전달하고 있는지, 실제 사용되고 있는 표현인지를 평가하는 것은 불가능하다. 이러한 평가와 평가에 따른 교정 정보는 담당 외국어 교사만이 할 수 있었다.

외국어 교육 소프트웨어에서 1개의 정답 문장만이 존재하는 따라 읽기, 학습 문장 패턴 쓰기 등의 경우, 외국어 학습자의 발화, 작문에 대한 평가는 쉽게 이루어질 수 있다. 하지만 임의의 상황에서 외국어를 작문 또는 발화하는 경우를 대상으로 평가하는 것은 그 정답이 매우 다양하기 때문에 어려움이 있다.

또한, 모든 다양한 정답 문장들을 수집하는 것은 매우 어려워서 불가능에 가깝고, 모든 정답 문장들을 수집한다 하여도 그 정답 문장들과의 단순한 문자적 비교를 통하여 외국어 학습자의 외국어 문장을 평가하는 것은 실제 외국어 교사들에 의한 평가와는 그 결과가 같지 않다는 문제가 있다.

본 발명의 실시예는 외국어 학습자가 발화 또는 작성한 외국어 문장을 대상으로, 외국어 교사들의 언어적 지식으로 학습된 평가 모델을 통해 내용 전달성, 문법 정확성 및 표현 유창성을 평가하고, 평가 결과에 따른 교육 정보를 외국어 학습자에게 제공할 수 있는 외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 장치 및 방법을 제공한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법은 외국어 학습자로부터 발생되는 적어도 하나의 외국어 문장을 입력받는 단계; 상기 외국어 문장을 복수의 평가 항목 중 제1 평가 항목에 상응하는 제1 평가 모델에 입력하여 제1 평가 결과값을 산출하는 단계; 상기 산출된 제1 평가 결과값을 소정의 결과값과 비교하는 단계; 및 상기 비교 결과 상기 제1 평가 결과값이 소정의 결과값 미만인 경우 상기 제1 평가 항목에 상응하는 교육 정보를 상기 외국어 학습자에게 제공하는 단계를 포함한다. 이때, 상기 복수의 평가 항목에 상응하는 평가 모델은 상기 복수의 평가 항목 각각에 대하여 미리 준비된 학습 데이터를 기반으로 학습되고, 상기 미리 준비된 학습 데이터는, 상기 외국어 학습자로부터 이전 발생된 복수의 외국어 문장 및 상기 이전 발생된 복수의 외국어 문장의 외국어 교사에 의한 제1 평가 결과값을 포함하여 구성된다.

또한, 본 발명의 제2 측면에 따른 외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 장치는 외국어 학습자로부터 발생되는 적어도 하나의 외국어 문장을 입력받는 통신모듈, 상기 외국어 문장을 평가한 결과에 기초하여 상기 외국어 학습자에게 교육 정보를 제공하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 외국어 문장을 복수의 평가 항목에 각각 상응하는 평가 모델에 입력하여 평가 결과값을 산출하고, 상기 산출된 각 평가 결과값을 소정의 결과값과 비교한 결과, 상기 소정의 결과값 미만인 평가 결과값에 상응하는 평가 항목에 대한 교육 정보를 상기 외국어 학습자에게 제공하며, 상기 복수의 평가 항목에 상응하는 평가 모델은 상기 복수의 평가 항목 각각에 대하여 미리 준비된 학습 데이터를 기반으로 학습되고, 상기 미리 준비된 학습 데이터는, 상기 외국어 학습자로부터 이전 발생된 복수의 외국어 문장 및 상기 이전 발생된 복수의 외국어 문장의 외국어 교사에 의한 평가 결과값을 포함하여 구성된다.

또한, 본 발명의 제3 측면에 따른 외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 장치는 외국어 학습자로부터 발생되는 적어도 하나의 외국어 문장을 입력받는 통신모듈, 상기 외국어 문장을 대상으로 내용 전달성, 문법 정확성 및 표현 유창성의 평가 항목을 평가하며, 각 평가 항목에 상응하는 교육 정보를 상기 외국어 학습자에게 제공하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 외국어 문장을 내용 전달성, 문법 정확성 및 표현 유창성의 평가 항목에 상응하는 평가 모델에 순차적으로 입력하여 평가 결과값을 산출하며, 상기 산출된 각 평가 결과값을 소정의 결과값과 비교한 결과, 상기 소정의 결과값 미만인 평가 결과값에 상응하는 평가 항목에 대한 교육 정보를 상기 외국어 학습자에게 제공하고, 상기 복수의 평가 항목에 상응하는 평가 모델은 상기 복수의 평가 항목 각각에 대하여 미리 준비된 학습 데이터를 기반으로 학습되고, 상기 미리 준비된 학습 데이터는, 상기 외국어 학습자로부터 이전 발생된 복수의 외국어 문장 및 상기 이전 발생된 복수의 외국어 문장의 외국어 교사에 의한 평가 결과값을 포함하여 구성된다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

상기와 같은 본 발명에 따르면, 외국어 학습자가 작문 또는 발화한 문장을 내용적, 문법적, 표현적으로 평가하고, 평가 결과를 기반으로 외국어 학습자에게 가장 적합한 외국어 교육 정보를 제공하여, 외국어 학습자가 작성한 문장에 대하여 틀린 부분과 수정할 부분을 이해 및 학습하는 효과가 있다.

또한, 외국어 학습자가 특정 상황에서 대화를 진행할 경우에 각 대화 문맥 상황에서 발화한 문장에 대해서, 내용 전달성, 문법 정확성, 표현 유창성을 판단하고 그 결과를 대화가 종료된 상황이나 대화 진행 중에 외국어 학습자에게 제공함으로써, 외국어 학습자가 발화한 문장이 외국어로 적합한지 피드백을 받을 수 있어 더욱 정확한 외국어 표현 습득이 가능하다는 장점이 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 외국어 교육 제공 방법을 설명하기 위한 도면이다.
도 2는 복수의 평가 항목을 평가하는 일 예를 도시한 도면이다.
도 3은 제1 평가 모델을 설명하기 위한 도면이다.
도 4는 제2 평가 모델을 설명하기 위한 도면이다.
도 5는 제3 평가 모델을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 외국어 교육 장치를 설명하기 위한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하 도 1 내지 도 5를 참조하여, 본 발명의 일 실시예에 따른 외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법(이하, 외국어 교육 제공 방법)을 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 외국어 교육 제공 방법을 설명하기 위한 도면이다. 도 2는 복수의 평가 항목을 평가하는 일 예를 도시한 도면이다.

한편, 도 1에 도시된 단계들은 외국어 교육 제공 장치(100)에 의해 운영되는 서버(이하, 서버)에 의해 수행되는 것으로 이해될 수 있지만, 이에 제한되는 것은 아니다.

또한, 본 발명의 설명에서는 단순히 외국어 학습자, 외국어 교사로 표현하였으나, 이들은 스마트폰, 태블릿, PDA, 랩톱, 데스크톱, 서버 등과 같은 컴퓨터 장치 또는 전기 통신 장치를 통해 서버와 데이터를 송수신할 수 있다.

본 발명의 일 실시예에 따른 외국어 교육 제공 방법은 외국어 학습자로부터 입력되는 외국어 문장으로부터 내용 전달성, 문법 정확성, 표현 유창성을 평가하고, 그 평가 결과에 기초하여 각 평가 항목에 상응하는 교육 정보를 제공한다.

이때, 내용 전달성은 외국어 학습자가 작성 또는 발화한 문장이 전달할 내용을 충분히 포함하고 있는지 여부를 평가하는 것이다. 그리고 이에 상응하는 교육 정보는 외국어 학습자가 작성 또는 발화한 문장이 전달할 내용을 불충분하게 포함하고 있는 것으로 평가된 경우, 이와 관련된 내용 정보를 외국어 학습자에게 제공하는 것이다.

또한, 문법 정확성은 외국어 학습자가 작성 또는 발화한 문장이 문법적으로 정확한지 여부를 평가하는 것이다. 그리고 이에 상응하는 교육 정보는 외국어 학습자가 작성 또는 발화한 문장에 문법적 오류가 있는 경우, 이를 수정할 수 있는 내용 정보를 외국어 학습자에게 제공하는 것이다.

마지막으로, 표현 유창성은 외국어 학습자가 작성 또는 발화한 문장이 외국어를 사용하는 언어권에서 널리 사용하는 표현인지 여부를 평가하는 것이다. 그리고 이에 상응하는 교육 정보는 외국어 학습자가 작성 또는 발화한 문장이 유창하지 않은 것으로 판단될 시, 외국어 학습자에게 동일 의미의 유창한 표현과 관련된 내용 정보를 외국어 학습자에게 제공하는 것이다.

이와 같은 내용 전달성, 문법 정확성, 표현 유창성의 평가는 각각 개별적으로 수행될 수도 있으며, 도 2에 도시된 바와 같이 순차적으로 평가가 이루어질 수도 있다. 즉, 본 발명의 일 실시예에서 도 2와 같이 외국어 학습자에게 내용 전달성, 문법 정확성 및 표현 유창성에 대한 평가 및 교육 정보를 단계적으로 제공함으로써, 외국어 학습자가 복합적인 교육 정보를 일괄적으로 제공받는 것이 아닌, 작성한 외국어 문장의 구체적인 수준에 따라 적합한 교육 정보를 제공받을 수 있다.

일 실시예로 도 2를 참조하면, 먼저 서버는 외국어 학습자의 외국어 문장을 입력받으면(S200) 입력된 외국어 문장에 대한 내용 전달성을 평가하여, 적합한 경우 문법 정확성을 평가하고 부적합한 경우에는 외국어 학습자에게 표현할 내용에 관련된 교육 정보를 제공한다(S210).

그 다음, 서버는 외국어 학습자의 외국어 문장에 대하여 문법 정확성을 평가하여, 적합한 경우 표현 유창성을 평가하고 부적합한 경우 외국어 학습자에게 틀린 문법에 대한 인식 또는 이를 수정할 내용을 제시하는 교육 정보를 제공한다(S220).

그 다음, 서버는 외국어 학습자의 외국어 문장에 대하여 표현 유창성을 평가하여 적합한 경우 외국어 학습자 모든 평가 항목에 따라 적합하게 외국어 문장을 작성 또는 발화하고 있는 것으로 그 평가 결과를 제공하며, 부적합한 경우 외국어 학습자에게 보다 유창한 표현이 가능한 교육 정보를 제공한다(S230).

구체적으로 도 1을 참조하면, 서버는 외국어 학습자로부터 발생되는 적어도 하나의 외국어 문장을 입력받는다(S100).

본 발명의 일 실시예에서 외국어는 영어 등 특정한 언어로 한정되는 것이 아니라, 일본어, 중국어, 불어, 독어, 한국어 등 모든 언어가 그 대상이될 수 있다. 또한, 본 발명의 일 실시예는 한국어를 배제하는 것이 아닌바 외국인을 대상으로 할 경우에는 한국어도 외국어로 적용될 수 있음은 물론이다.

참고로, 본 발명에서는 외국어를 학습하고 있는 사람을 외국어 학습자라 표현하며, 이와 구분되도록 외국어를 전공하여 외국어 학습자를 교육할 수 있는 능력을 가진 외국어 전문가를 외국어 교사로 표현하도록 한다. 여기에서 외국어 교사는 라이센스나 소정의 이력을 만족하는 경우 이에 해당할 수 있다.

다음으로, 서버는 외국어 문장을 복수의 평가 항목 중 제1 평가 항목에 상응하는 제1 평가 모델(M1)에 입력하여 평가 결과값을 산출한다(S113). 이 과정에서는 미리 학습된 제1 평가 모델(M1)에 기초하여 외국어 학습자의 외국어 문장에 대한 내용 전달성이 적합한지를 평가한다.

이를 위해, 서버는 미리 준비된 학습 데이터에 기초하여 제1 평가 모델(M1)에 대한 학습을 수행할 수 있다(S111).

여기에서, 미리 준비된 학습 데이터는 내용 전달성 평가 학습 데이터일 수 있다. 내용 전달성 평가 학습 데이터는 다양한 실력과 경험을 가진 외국어 학습자들이 기 설정된 상황 조건에 정의된 내용 및 상황에 대하여 모국어로 인식하고 이를 기반으로 하여 발생된 외국어 문장들을 대상으로, 외국어 교사들이 외국어 문장의 내용이 잘 전달되었는지 여부를 평가하고 이를 점수화한 데이터이다.

이에 따라, 내용 전달성 평가 학습 데이터는 복수의 외국어 학습자들에 의해 기 설정된 상황 조건에 따라 발생된 외국어 문장, 외국어 문장에 상응하는 정답 문장, 그리고 정답 문장을 기반으로 복수의 외국어 교사에 의해 평가된 평균 제1 평가 결과값을 포함하여 구성된다.

예를 들어, 일반적으로 평가를 위한 외국어 교사는 3인 이상으로 설정됨이 바람직하며, 평가 점수는 0~4점으로 설정될 수 있다. 평가 기준은 교육 대상이나 방법론에 따라 달라질 수 있지만, 전달하고자 하는 내용이 완벽히 전달되면 4점을 제1 평가 결과값으로 부여하고, 전혀 전달되지 않을 경우 0점을 제1 평가 결과값으로 부여한다.

이때, 외국어 교사들에 의한 평균 제1 평가 결과값은 제1 평가 모델(M1)이 회귀 모델(regression model)이면 0~1 사이의 값으로 변환되고, 분류 모델(classification model)이면 평균 점수와 가장 가까운 0과 4 사이의 점수로 결정될 수 있다.

서버는 내용 전달성 평가 학습 데이터를 기반으로 외국어 교사들이 외국어 문장들을 내용 전달성 관점에서 실제 평가한 것과 유사하도록 제1 평가 모델(M1)을 생성한다. 일 예로, 서버는 학습에서 요구되는 미리 설정된 신뢰도만큼 상기 외국어 교사들에 의한 평가 결과와 유사해지도록 제1 평가 모델(M1)을 학습할 수 있다.

도 3은 제1 평가 모델(M1)을 설명하기 위한 도면이다.

일 실시예로, 서버는 소정의 기간 동안 수집된 대용량 언어 말뭉치를 기반으로 미리 학습된 신경망 기반의 제1 평가 모델(M1)에 대하여, 상기 미리 준비된 데이터 중 외국어 문장과 정답 문장을 입력 데이터로 설정하고, 평균 제1 평가 결과값을 출력 데이터로 설정하여 제1 평가 모델(M1)을 학습할 수 있다.

여기에서 제1 평가 모델(M1)은 최근의 대용량 언어 말뭉치를 이용하여 사전 학습(pre-training)된 BERT와 같은 신경망 기반 언어모델일 수 있다.

서버는 내용 전달성 평가 학습 데이터에서의 외국어 학습자의 외국어 문장, 정답 문장을 제1 평가 모델(M1)의 입력으로 설정하고, 그 결과가 외국어 교사에 의한 평균 제1 평가 결과값으로 판정될 수 있도록 미세 조정(fine-tuning) 학습을 하여 제1 평가 모델(M1)을 구축할 수 있다.

이와 같이 제1 평가 모델(M1)의 구축이 완료되면, 서버는 기 설정된 상황 조건에 상응하는 외국어 학습자에 의해 입력된 외국어 문장 및 정답 문장을 제1 평가 모델(M1)에 입력한다. 그리고 서버는 제1 평가 모델(M1)에 기초하여 외국어 문장에 대한 정답 문장 대비 내용 전달성을 평가한 제1 평가 결과값을 산출한다.

일 실시예로, 서버는 분류 모델을 이용할 경우 외국어 학습자에 의해 입력된 외국어 문장의 내용 전달성을 0~4점 중 하나로 분류하고, 회귀 모델을 이용할 경우 0~1 사이의 평가 결과값으로 출력할 수 있다. 이때, 분류 모델에서는 4점에 가까울수록, 그리고 회귀 모델에서는 1에 가까울수록 외국어 학습자에 의해 발생된 외국어 문장의 내용 전달성이 우수함을 의미한다.

다시 도 1을 참조하면, 서버는 산출된 제1 평가 결과값을 소정의 결과값과 비교하고(S115), 비교 결과 제1 평가 결과값이 소정의 결과값 미만인 경우 제1 평가 항목에 상응하는 교육 정보를 외국어 학습자에게 제공한다(S117).

일 예로, 서버는 상기 분류 모델에 의한 제1 평가 결과값이 3점 미만일 경우, 또는 회귀 모델에 의한 제1 평가 결과값이 0.7 미만일 경우 부적합한 것으로 판단하여 교육 정보를 외국어 학습자에게 제공할 수 있다.

일 실시예로, 서버는 내용 전달성과 관련한 교육 정보로 제1 평가 결과값을 소정의 점수(예를 들어, 100점)로 변환하여 제공하거나 부적합 정도를 소정의 등급으로 변환하여 외국어 학습자에게 제공할 수 있다. 또한, 서버는 정답 문장을 그대로 제공하거나, 정답 문장 중 외국어 학습자에 의해 입력된 외국어 문장에 포함되지 않은 키워드를 추출하여 교육 정보로 제공할 수 있다.

이때, 키워드는 전체 키워드 중에서 소정의 조건에 따라 추출된 중요 키워드일 수 있으며, 중요 키워드는 전술한 신뢰도에 기초하여 추출될 수 있다.

이와 같은 내용 전달성과 관련한 교육 정보를 제공받은 외국어 학습자는 자신이 발화 또는 작문한 외국어 문장에서 어떠한 내용을 잘못 또는 누락하여 내용 전달성이 부족한지를 확인할 수 있다.

한편, 서버는 산출된 제1 평가 결과값을 소정의 결과값과 비교하고, 비교 결과 제1 평가 결과값이 소정의 결과값 이상인 경우, 제1 평가 항목에 후속되는 제2 평가 항목에 상응하는 제2 평가 모델(M2)에 외국어 문장을 입력하여 제2 평가 결과값을 산출할 수 있다(S123). 이 과정에서는 서버는 미리 학습된 제2 평가 모델(M2)에 기초하여 외국어 학습자의 외국어 문장에 대한 문법 적합성을 평가한다.

서버는, 미리 준비된 학습 데이터에 기초하여 제2 평가 모델(M2)에 대한 학습을 수행할 수 있다(S121).

이때, 미리 준비된 학습 데이터는 문법 정확성 평가 학습 데이터일 수 있다. 문법 정확성 평가 학습 데이터는 다양한 실력과 경험을 가진 외국어 학습자들에 의한 외국어 문장들을 대상으로, 외국어 교사들이 문법적인 관점에 대해서만 그 정확성 여부를 평가하고 이를 점수화한 데이터이다.

이에 따른, 문법 정확성 평가 학습 데이터는 복수의 외국어 학습자에 의해 발생된 외국어 문장과, 외국어 교사에 의하여 외국어 문장에 대한 문법적 정확성이 수치화되어 평가된 평균 제2 평가 결과값을 포함하여 구성된다.

일반적으로 평가를 위한 외국어 교사는 3인 이상으로 설정됨이 바람직하며, 평가 점수는 0~4점으로 설정될 수 있다. 평가 기준은 교육 대상이나 방법론에 따라 달라질 수 있지만, 문법 정확성이 완벽하면 4점을 제2 평가 결과값으로 부여하고, 문법 정확성이 가장 낮을 경우 0점을 제2 평가 결과값으로 부여한다.

이때, 외국어 교사들에 의한 평균 제2 평가 결과값은 제2 평가 모델(M2)이 회귀 모델(regression model)이면 0~1 사이의 값으로 변환되고, 분류 모델(classification model)이면 평균 점수와 가장 가까운 0과 4 사이의 점수로 결정될 수 있다.

서버는 문법 정확성 평가 학습 데이터를 기반으로 외국어 교사들이 외국어 학습자에 의한 외국어 문장들을 문법적으로 실제 평가한 것과 유사하도록 제2 평가 모델(M2)을 생성한다. 일 예로, 서버는 학습에서 요구되는 미리 설정된 신뢰도만큼 상기 외국어 교사들에 의한 평가 결과와 유사해지도록 제2 평가 모델(M2)을 학습할 수 있다. 이때, 미리 설정된 신뢰도는 예를 들어 외국어 교사들에 의하여 실제 평가된 문법 정확성의 세부 평가 항목 대상과 일치하는 비율에 따라 결정되거나, 외국어 교사들에 의한 동일 외국어 문장을 대상으로 문법 정확성을 평가한 결과값에 대한 소정의 오차 비율에 따라 결정될 수 있다.

도 4는 제2 평가 모델(M2)을 설명하기 위한 도면이다.

일 실시예로, 서버는 소정의 기간 동안 수집된 대용량 언어 말뭉치를 기반으로 미리 학습된 신경망 기반의 제2 평가 모델(M2)에 대하여, 상기 문법 정확성 평가 학습 데이터 중 외국어 문장을 입력 데이터로 설정하고, 평균 제2 평가 결과값을 출력 데이터로 설정하여 제2 평가 모델(M2)을 학습할 수 있다.

여기에서 제2 평가 모델(M2)은 제1 평가 모델(M1)과 마찬가지로 최근의 대용량 언어 말뭉치를 이용하여 사전 학습(pre-training)된 BERT와 같은 신경망 기반 언어모델일 수 있다.

서버는 문법 정확성 평가 학습 데이터에서의 외국어 학습자의 외국어 문장을 제2 평가 모델(M2)의 입력으로 설정하고, 그 결과가 외국어 교사에 의한 평균 제2 평가 결과값으로 판정될 수 있도록 미세 조정(fine-tuning) 학습을 하여 제2 평가 모델(M2)을 구축할 수 있다.

이와 같이 제2 평가 모델(M2)의 구축이 완료되면, 서버는 외국어 학습자에 의해 입력된 외국어 문장을 제2 평가 모델(M2)에 입력한다. 그리고 서버는 제2 평가 모델(M2)에 기초하여 외국어 문장에 대한 문법 정확성을 평가한 제2 평가 결과값을 산출한다.

일 실시예로, 서버는 분류 모델을 이용할 경우 외국어 학습자에 의해 입력된 외국어 문장의 문법 정확성을 0~4점 중 하나로 분류하고, 회귀 모델을 이용할 경우 0~1 사이의 평가 결과값으로 출력할 수 있다. 이때, 분류 모델에서는 4점에 가까울수록, 그리고 회귀 모델에서는 1에 가까울수록 외국어 학습자에 의해 발생된 외국어 문장의 문법 정확성이 우수함을 의미한다.

다시 도 1을 참조하면, 서버는 산출된 제2 평가 결과값을 소정의 결과값과 비교하고(S125), 비교 결과 제2 평가 결과값이 소정의 결과값 미만인 경우 제2 평가 항목에 상응하는 교육 정보를 외국어 학습자에게 제공한다(S127).

일 예로, 서버는 상기 분류 모델에 의한 제2 평가 결과값이 3점 미만일 경우, 또는 회귀 모델에 의한 제2 평가 결과값이 0.7 미만일 경우 문법 정확성이 부적합한 것으로 판단하여 문법 정확성에 상응하는 교육 정보를 외국어 학습자에게 제공할 수 있다.

일 실시예로, 서버는 문법 정확성과 관련한 교육 정보로 제2 평가 결과값을 소정의 점수(예를 들어, 100점)로 변환하여 제공하거나 부적합 정도를 소정의 등급으로 변환하여 제공하거나 이를 그림 표현으로 외국어 학습자에게 제공할 수 있다.

또한, 서버는 타 외국어 학습자에 의해 입력되어 정답으로 평가되거나, 미리 준비된 정답 문장 중 가장 유사한 것으로 판단된 정답 문장을 상기 외국어 학습자에게 교육 정보로 제공할 수 있다. 이때, 가장 유사한 정답 문장인지 여부는 전술한 신뢰도를 결정하는 기준에 따라 결정될 수 있다. 예를 들어, 외국어 교사들에 의하여 실제 평가된 문법 정확성의 세부 평가 항목 대상과 일치하는 비율에 따라 결정되거나, 동일 외국어 문장을 대상으로 문법 정확성을 평가한 결과값의 오차 비율에 따라 결정될 수 있다.

또한, 서버는 외국어 학습자에 의해 입력된 외국어 문장의 특정 n-gram 중 기 설정된 확률값 이하의 n-gram을 추출하여 교육 정보로 제공할 수도 있다. 일 예로, 서버는 외국어 학습자에 의해 입력된 외국어 문장의 특정 n-gram 중 제1 내지 제3 평가 모델(M3)을 포함하는 학습 외국어 언어모델에서 나타날 확률이 낮은 n-gram을 추출하여 교육 정보로 제공할 수 있다.

이와 같은 문법 정확성과 관련한 교육 정보를 제공받은 외국어 학습자는 자신이 발화 또는 작문한 외국어 문장에서 발생된 문법적 오류 및 수정 사항을 확인할 수 있다.

다시 도 1을 참조하면, 서버는 산출된 제2 평가 결과값을 소정의 결과값과 비교하고, 비교 결과 제2 평가 결과값이 소정의 결과값 이상인 경우, 제2 평가 항목에 후속되는 제3 평가 항목에 상응하는 제3 평가 모델(M3)에 외국어 문장을 입력하여 제3 평가 결과값을 산출할 수 있다(S133). 이 과정에서는 미리 학습된 제3 평가 모델(M3)에 기초하여 외국어 학습자의 외국어 문장에 대한 표현 유창성을 평가한다.

서버는, 미리 준비된 학습 데이터에 기초하여 제3 평가 모델(M3)에 대한 학습을 수행할 수 있다(S131).

이때, 미리 준비된 학습 데이터는 표현 유창성 평가 학습 데이터일 수 있다. 표현 유창성 평가 학습 데이터는 다양한 실력과 경험을 가진 외국어 학습자들에 의한 외국어 문장들을 대상으로, 외국어 교사들이 언어 유창성 관점에 대해서만 유창한지 여부를 평가하고 이를 점수화한 데이터이다.

이에 따른, 표현 유창성 평가 학습 데이터는 복수의 외국어 학습자에 의해 발생된 외국어 문장과, 외국어 교사에 의하여 외국어 문장에 대한 표현 유창성이 수치화되어 평가된 평균 제3 평가 결과값을 포함하여 구성된다.

일반적으로 평가를 위한 외국어 교사는 3인 이상으로 설정됨이 바람직하며, 평가 점수는 0~4점으로 설정될 수 있다. 평가 기준은 교육 대상이나 방법론에 따라 달라질 수 있지만, 표현 유창성이 완벽하면 4점을 제3 평가 결과값으로 부여하고, 표현 유창성이 가장 낮을 경우 0점을 제3 평가 결과값으로 부여한다.

이때, 외국어 교사들에 의한 평균 제3 평가 결과값은 제3 평가 모델(M3)이 회귀 모델(regression model)이면 0~1 사이의 값으로 변환되고, 분류 모델(classification model)이면 평균 점수와 가장 가까운 0과 4 사이의 점수로 결정될 수 있다.

서버는 표현 유창성 평가 학습 데이터를 기반으로 외국어 교사들이 외국어 학습자에 의한 외국어 문장들을 유창성 관점에서 실제 평가한 것과 유사하도록 제3 평가 모델(M3)을 생성한다. 일 예로, 서버는 학습에서 요구되는 미리 설정된 신뢰도만큼 상기 외국어 교사들에 의한 평가 결과와 유사해지도록 제3 평가 모델(M3)을 학습할 수 있다. 이때, 미리 설정된 신뢰도는 예를 들어 외국어 교사들에 의하여 실제 평가된 표현 유창성의 세부 평가 항목 대상과 일치하는 비율에 따라 결정되거나, 외국어 교사들에 의하여 동일 외국어 문장을 대상으로 표현 유창성을 평가한 결과값의 오차 비율에 따라 결정될 수 있다.

도 5는 제3 평가 모델(M3)을 설명하기 위한 도면이다.

일 실시예로, 서버는 소정의 기간 동안 수집된 대용량 언어 말뭉치를 기반으로 미리 학습된 신경망 기반의 제3 평가 모델(M3)에 대하여, 상기 표현 유창성 평가 학습 데이터 중 외국어 문장을 입력 데이터로 설정하고, 평균 제3 평가 결과값을 출력 데이터로 설정하여 제3 평가 모델(M3)을 학습할 수 있다.

여기에서 제3 평가 모델(M3)은 제1 평가 모델(M1)과 마찬가지로 최근의 대용량 언어 말뭉치를 이용하여 사전 학습(pre-training)된 BERT와 같은 신경망 기반 언어모델일 수 있다.

서버는 표현 유창성 평가 학습 데이터에서의 외국어 학습자의 외국어 문장을 제3 평가 모델(M3)의 입력으로 설정하고, 그 결과가 외국어 교사에 의한 평균 제3 평가 결과값으로 판정될 수 있도록 미세 조정(fine-tuning) 학습을 하여 제3 평가 모델(M3)을 구축할 수 있다.

이와 같이 제3 평가 모델(M3)의 구축이 완료되면, 서버는 외국어 학습자에 의해 입력된 외국어 문장을 제3 평가 모델(M3)에 입력한다. 그리고 서버는 제3 평가 모델(M3)에 기초하여 외국어 문장에 대한 표현 유창성을 평가한 제3 평가 결과값을 산출한다.

일 실시예로, 서버는 분류 모델을 이용할 경우 외국어 학습자에 의해 입력된 외국어 문장의 표현 유창성을 0~4점 중 하나로 분류하고, 회귀 모델을 이용할 경우 0~1 사이의 평가 결과값으로 출력할 수 있다. 이때, 분류 모델에서는 4점에 가까울수록, 그리고 회귀 모델에서는 1에 가까울수록 외국어 학습자에 의해 발생된 외국어 문장의 표현 유창성이 우수함을 의미한다.

다시 도 1을 참조하면, 서버는 산출된 제3 평가 결과값을 소정의 결과값과 비교하고(S135), 비교 결과 제3 평가 결과값이 소정의 결과값 미만인 경우 제3 평가 항목에 상응하는 교육 정보를 외국어 학습자에게 제공한다(S137).

일 예로, 서버는 상기 분류 모델에 의한 제3 평가 결과값이 3점 미만일 경우, 또는 회귀 모델에 의한 제3 평가 결과값이 0.7 미만일 경우 표현 유창성이 부적합한 것으로 판단하여 표현 유창성에 상응하는 교육 정보를 외국어 학습자에게 제공할 수 있다.

일 실시예로, 서버는 표현 유창성과 관련한 교육 정보로 제3 평가 결과값을 소정의 점수(예를 들어, 100점)로 변환하여 제공하거나 유창성 정도를 소정의 등급으로 변환하여 제공하거나 이를 그림 표현으로 외국어 학습자에게 제공할 수 있다.

또한, 서버는 타 외국어 학습자에 의해 입력되어 정답으로 평가되거나, 미리 준비된 정답 문장에 기반하여 조합된 정답 문장을 생성하여 상기 외국어 학습자에게 교육 정보로 제공할 수 있다. 이때, 서버는 외국어 교사들에 의하여 실제 평가된 표현 유창성의 세부 평가 항목 대상과 일치하는 비율에 따라 가장 유사한 정답 문장을 추출하여 제공할 수 있다.

또 다른 예로, 서버는 복수의 정답 문장 중에서 학습 외국어 언어모델에서 나타날 확률이 가장 높은 n-gram을 조합한 정답 문장을 새롭게 생성하여 교육 정보로 제공할 수 있다.

이와 같은 표현 유창성과 관련한 교육 정보를 제공받은 외국어 학습자는 자신이 발화 또는 작문한 외국어 문장에서 발생된 유창성이 미비한 부분을 확인할 수 있다.

한편, 상술한 설명에서, 단계 S100 내지 단계 S230 은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 5에 기술된 내용은 도 6의 외국어 교육 제공 장치(100)에도 적용된다.

이하에서는 본 발명의 일 실시예에 따른 외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 장치(100, 이하 외국어 교육 제공 장치라 한다)에 대하여 설명하도록 한다.

도 6은 본 발명의 일 실시예에 따른 외국어 교육 장치(100)를 설명하기 위한 도면이다.

도 6을 참조하면, 외국어 교육 장치(100)는 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.

통신모듈(110)은 외국어 학습자로부터 발생되는 적어도 하나의 외국어 문장을 입력받으며, 외국어 문장에 대한 평가 결과 및 교육 정보를 외국어 학습자에게 제공한다.

메모리(120)에는 외국어 문장을 평가한 결과에 기초하여 상기 외국어 학습자에게 교육 정보를 제공하기 위한 프로그램이 저장되며, 프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다.

프로세서(130)는 외국어 문장을 복수의 평가 항목에 각각 상응하는 평가 모델에 입력하여 평가 결과값을 산출하고, 산출된 각 평가 결과값을 소정의 결과값과 비교한 결과, 소정의 결과값 미만인 평가 결과값에 상응하는 평가 항목에 대한 교육 정보를 상기 외국어 학습자에게 제공한다.

다른 실시예로, 프로세서(130)는 외국어 문장을 내용 전달성, 문법 정확성 및 표현 유창성의 평가 항목에 상응하는 평가 모델에 순차적으로 입력하여 평가 결과값을 산출하며, 산출된 각 평가 결과값을 소정의 결과값과 비교한 결과, 소정의 결과값 미만인 평가 결과값에 상응하는 평가 항목에 대한 교육 정보를 상기 외국어 학습자에게 제공한다.

이상에서 전술한 본 발명의 일 실시예에 따른 외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100: 외국어 교육 제공 장치
110: 통신모듈
120: 메모리
130: 프로세서

Claims (20)

1. 컴퓨터에 의해 수행되는 방법에 있어서,
   외국어 학습자로부터 발생되는 적어도 하나의 외국어 문장을 입력받는 단계;
   상기 외국어 문장을 복수의 평가 항목 중 제1 평가 항목에 상응하는 제1 평가 모델에 입력하여 제1 평가 결과값을 산출하는 단계;
   상기 산출된 제1 평가 결과값을 소정의 결과값과 비교하는 단계; 및
   상기 비교 결과 상기 제1 평가 결과값이 소정의 결과값 미만인 경우 상기 제1 평가 항목에 상응하는 교육 정보를 상기 외국어 학습자에게 제공하는 단계를 포함하되,
   상기 복수의 평가 항목에 상응하는 평가 모델은 상기 복수의 평가 항목 각각에 대하여 미리 준비된 학습 데이터를 기반으로 학습되고,
   상기 미리 준비된 학습 데이터는, 상기 외국어 학습자로부터 이전 발생된 복수의 외국어 문장 및 상기 이전 발생된 복수의 외국어 문장의 외국어 교사에 의한 제1 평가 결과값을 포함하여 구성되는 것인,
   외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
   
2. 제1항에 있어서,
   상기 외국어 문장을 복수의 평가 항목 중 제1 평가 항목에 상응하는 제1 평가 모델에 입력하여 제1 평가 결과값을 산출하는 단계는,
   기 설정된 상황 조건에 상응하는 상기 외국어 학습자에 의해 입력된 외국어 문장 및 정답 문장을 상기 제1 평가 모델에 입력하는 단계; 및
   상기 제1 평가 모델에 기초하여 상기 외국어 문장에 대한 상기 정답 문장 대비 내용 전달성을 평가한 제1 평가 결과값을 산출하는 단계를 포함하는,
   외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
   
3. 제2항에 있어서,
   상기 미리 준비된 학습 데이터에 기초하여 상기 제1 평가 모델을 학습하는 단계를 더 포함하고,
   상기 미리 준비된 학습 데이터는 내용 전달성 평가 학습 데이터이되, 상기 내용 전달성 평가 학습 데이터는 복수의 기 설정된 상황 조건에 정의된 내용 및 상황에 대하여 복수의 상기 외국어 학습자가 모국어로 인식하고 이를 기반으로 하여 발생된 외국어 문장, 상기 외국어 문장에 상응하는 정답 문장 및 상기 정답 문장을 기반으로 복수의 상기 외국어 교사에 의해 평가된 평균 제1 평가 결과값을 포함하는,
   외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
   
4. 제3항에 있어서,
   상기 미리 준비된 학습 데이터에 기초하여 상기 제1 평가 모델을 학습하는 단계는,
   소정의 기간 동안 수집된 대용량 언어 말뭉치를 기반으로 미리 학습된 신경망 기반의 제1 평가 모델에 대하여 상기 외국어 문장과 정답 문장을 입력 데이터로 설정하고, 상기 평균 제1 평가 결과값을 출력 데이터로 설정하여 상기 학습을 수행하는 것인,
   외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
   
5. 제2항에 있어서,
   상기 제1 평가 항목에 상응하는 교육 정보를 상기 외국어 학습자에게 제공하는 단계는,
   상기 내용 전달성을 평가한 제1 평가 결과값이 소정의 결과값 미만인 경우 상기 제1 평가 결과값, 상기 정답 문장 및 상기 정답 문장 중 상기 외국어 학습자에 의해 입력된 외국어 문장에 포함되지 않은 키워드를 추출하여 상기 교육 정보로 제공하는 것인,
   외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
   
6. 제1항에 있어서,
   상기 비교 결과 상기 제1 평가 결과값이 소정의 결과값 이상인 경우 상기 제1 평가 항목에 후속되는 제2 평가 항목에 상응하는 제2 평가 모델에 상기 외국어 문장을 입력하여 제2 평가 결과값을 산출하는 단계;
   상기 산출된 제2 평가 결과값을 소정의 결과값과 비교하는 단계; 및
   상기 비교 결과 상기 제2 평가 결과값이 소정의 결과값 미만인 경우 상기 제2 평가 항목에 상응하는 교육 정보를 상기 외국어 학습자에게 제공하는 단계를 더 포함하는,
   외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
   
7. 제6항에 있어서,
   상기 제2 평가 모델에 상기 외국어 문장을 입력하여 상기 제2 평가 결과값을 산출하는 단계는,
   상기 외국어 학습자에 의해 입력된 외국어 문장을 상기 제2 평가 모델에 입력하는 단계; 및
   상기 제2 평가 모델에 기초하여 상기 외국어 문장에 대한 문법 정확성을 평가한 제2 평가 결과값을 산출하는 단계를 포함하는,
   외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
   
8. 제7항에 있어서,
   상기 미리 준비된 학습 데이터에 기초하여 상기 제2 평가 모델을 학습하는 단계를 더 포함하고,
   상기 미리 준비된 학습 데이터는 문법 정확성 평가 학습 데이터이되, 상기 문법 정확성 평가 학습 데이터는 복수의 상기 외국어 학습자에 의해 발생된 외국어 문장 및 상기 외국어 교사에 의하여 상기 외국어 문장에 대한 문법적 정확성이 수치화되어 평가된 평균 제2 평가 결과값을 포함하는,
   외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
   
9. 제8항에 있어서,
   상기 미리 준비된 학습 데이터에 기초하여 상기 제1 평가 모델을 학습하는 단계는,
   소정의 기간 동안 수집된 대용량 언어 말뭉치를 기반으로 미리 학습된 신경망 기반의 제2 평가 모델에 대하여 상기 외국어 문장을 입력 데이터로 설정하고, 상기 평균 제2 평가 결과값을 출력 데이터로 설정하여 상기 학습을 수행하는 것인,
   외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
   
10. 제7항에 있어서,
    상기 제2 평가 항목에 상응하는 교육 정보를 상기 외국어 학습자에게 제공하는 단계는,
    상기 문법 정확성을 평가한 제2 평가 결과값이 소정의 결과값 미만인 경우 상기 제2 평가 결과값과, 타 외국어 학습자에 의해 입력되어 정답으로 평가되거나 미리 준비된 정답 문장 중 가장 유사한 것으로 판단된 정답 문장을 상기 교육 정보로 제공하는 것인,
    외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
    
11. 제7항에 있어서,
    상기 제2 평가 항목에 상응하는 교육 정보를 상기 외국어 학습자에게 제공하는 단계는,
    상기 문법 정확성을 평가한 제2 평가 결과값이 소정의 결과값 미만인 경우 상기 제2 평가 결과값과, 상기 입력된 외국어 문장의 특정 n-gram 중 기 설정된 확률값 이하의 n-gram을 추출하여 상기 교육 정보로 제공하는 것인,
    외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
    
12. 제6항에 있어서,
    상기 비교 결과 상기 제2 평가 결과값이 소정의 결과값 이상인 경우 상기 제2 평가 항목에 후속되는 제3 평가 항목에 상응하는 제3 평가 모델에 상기 외국어 문장을 입력하여 제3 평가 결과값을 산출하는 단계;
    상기 산출된 제3 평가 결과값을 소정의 결과값과 비교하는 단계; 및
    상기 비교 결과 상기 제3 평가 결과값이 소정의 결과값 미만인 경우 상기 제3 평가 항목에 상응하는 교육 정보를 상기 외국어 학습자에게 제공하는 단계를 더 포함하는,
    외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
    
13. 제12항에 있어서,
    상기 제3 평가 모델에 상기 외국어 문장을 입력하여 상기 제3 평가 결과값을 산출하는 단계는,
    상기 외국어 학습자에 의해 입력된 외국어 문장을 상기 제3 평가 모델에 입력하는 단계; 및
    상기 제3 평가 모델에 기초하여 상기 외국어 문장에 대한 상기 표현 유창성을 평가한 제3 평가 결과값을 산출하는 단계를 포함하는,
    외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
    
14. 제13항에 있어서,
    상기 미리 준비된 학습 데이터에 기초하여 상기 제3 평가 모델을 학습하는 단계를 더 포함하고,
    상기 미리 준비된 학습 데이터는 표현 유창성 평가 학습 데이터이되, 상기 표현 유창성 평가 학습 데이터는 복수의 외국어 학습자에에 의해 발생된 외국어 문장 및 상기 외국어 교사에 의하여 상기 외국어 문장에 대한 표현 유창성이 수치화되어 평가된 평균 제3 평가 결과값을 포함하는,
    외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
    
15. 제14항에 있어서,
    상기 미리 준비된 학습 데이터에 기초하여 상기 제3 평가 모델을 학습하는 단계는,
    소정의 기간 동안 수집된 대용량 언어 말뭉치를 기반으로 미리 학습된 신경망 기반의 제3 평가 모델에 대하여 상기 외국어 문장을 입력 데이터로 설정하고, 상기 평균 제3 평가 결과값을 출력 데이터로 설정하여 상기 학습을 수행하는 것인,
    외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
    
16. 제13항에 있어서,
    상기 제3 평가 항목에 상응하는 교육 정보를 상기 외국어 학습자에게 제공하는 단계는,
    상기 표현 유창성을 평가한 제3 평가 결과값이 소정의 결과값 미만인 경우 상기 제3 평가 결과값과, 타 외국어 학습자에 의해 입력되어 정답으로 평가되거나 미리 준비된 적어도 하나의 정답 문장 또는 상기 정답 문장에 포함된 특정 n-gram의 확률값에 기반하여 조합된 정답 문장을 생성하여 상기 교육 정보로 제공하는 것인,
    외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 방법.
    
17. 외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 장치에 있어서,
    외국어 학습자로부터 발생되는 적어도 하나의 외국어 문장을 입력받는 통신모듈,
    상기 외국어 문장을 평가한 결과에 기초하여 상기 외국어 학습자에게 교육 정보를 제공하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 외국어 문장을 복수의 평가 항목에 각각 상응하는 평가 모델에 입력하여 평가 결과값을 산출하고, 상기 산출된 각 평가 결과값을 소정의 결과값과 비교한 결과, 상기 소정의 결과값 미만인 평가 결과값에 상응하는 평가 항목에 대한 교육 정보를 상기 외국어 학습자에게 제공하며,
    상기 복수의 평가 항목에 상응하는 평가 모델은 상기 복수의 평가 항목 각각에 대하여 미리 준비된 학습 데이터를 기반으로 학습되고,
    상기 미리 준비된 학습 데이터는, 상기 외국어 학습자로부터 이전 발생된 복수의 외국어 문장 및 상기 이전 발생된 복수의 외국어 문장의 외국어 교사에 의한 평가 결과값을 포함하여 구성되는 것인,
    외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 장치.
    
18. 외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 장치에 있어서,
    외국어 학습자로부터 발생되는 적어도 하나의 외국어 문장을 입력받는 통신모듈,
    상기 외국어 문장을 대상으로 내용 전달성, 문법 정확성 및 표현 유창성의 평가 항목을 평가하며, 각 평가 항목에 상응하는 교육 정보를 상기 외국어 학습자에게 제공하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 외국어 문장을 내용 전달성, 문법 정확성 및 표현 유창성의 평가 항목에 상응하는 평가 모델에 순차적으로 입력하여 평가 결과값을 산출하며, 상기 산출된 각 평가 결과값을 소정의 결과값과 비교한 결과, 상기 소정의 결과값 미만인 평가 결과값에 상응하는 평가 항목에 대한 교육 정보를 상기 외국어 학습자에게 제공하고,
    상기 복수의 평가 항목에 상응하는 평가 모델은 상기 복수의 평가 항목 각각에 대하여 미리 준비된 학습 데이터를 기반으로 학습되고,
    상기 미리 준비된 학습 데이터는, 상기 외국어 학습자로부터 이전 발생된 복수의 외국어 문장 및 상기 이전 발생된 복수의 외국어 문장의 외국어 교사에 의한 평가 결과값을 포함하여 구성되는 것인,
    외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 장치.
    
19. 제18항에 있어서,
    상기 프로세서는 상기 산출된 각 평가 결과값을 소정의 결과값과 비교한 결과, 상기 평가 결과값이 소정의 결과값이 이상인 경우 상기 외국어 문장을 다음 평가 항목에 상응하는 평가 모델로 입력시키는 것인,
    외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 장치.
    
20. 제18항에 있어서,
    상기 프로세서는 상기 평가 결과값이 소정의 결과값 미만인 경우, 상기 평가 결과값과 정답 문장, 그리고 상기 정답 문장으로부터 추출된 키워드, n-gram 정보 및 이를 조합하여 생성한 정답 문장 중 적어도 하나를 상기 교육 정보로 제공하는 것인,
    외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 장치.

Images