KR101616909B1

KR101616909B1 - 자동 채점 장치 및 방법

Info

Publication number: KR101616909B1
Application number: KR1020120122380A
Authority: KR
Inventors: 윤종철; 윤경아
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2012-10-31
Filing date: 2012-10-31
Publication date: 2016-04-29
Also published as: CN104364815A; US20150093737A1; WO2014069741A1; KR20140055442A

Abstract

본 발명은 자동 채점 장치 및 방법에 관한 것으로서, 언어교육학적 특성, 평가영역 특성, 시험관의 답안 평가 특성에 기반한 평가영역 간의 상관관계 모델을 생성함으로써, 시험관의 암묵적 판단 기준을 보다 현실적으로 모델링할 수 있으며, 기 생성된 평가영역 별 채점 모델을 적용하여, 채점 대상 데이터에 대하여 하나 이상의 평가영역 별로 자동 채점을 수행하고, 상기 평가영역별 상관 모델을 이용하여, 상기 하나 이상의 평가 영역별 자동 채점 점수를 튜닝함으로써 보다 신뢰성 있는 자동 채점 결과를 얻을 수 있도록 하는 것이다.

Description

자동 채점 장치 및 방법{AUTOMATIC SCORING APPARATUS AND METHOD}

본 발명은 자동 채점 서비스에 관한 것으로서, 특히 평가영역 간의 상관 관계를 고려하여 채점 대상 데이터를 자동 채점하는 자동 채점 장치 및 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

통신 기술이 발전함에 따라 최근에는 통신 기술을 이용하여 어학 시험 및 간단한 레벨 테스트 등을 응시할 수 있게 되었으며, 이를 위해 시험을 제공하는 서버 장치에서는 시험에 대한 채점을 하여 채점 결과를 제공하고 있다. 기존에는 이러한 시험에 대한 답을 채점하기 위해 사람이 직접 채점하여 채점 데이터를 서버 장치에 입력하는 등의 방식을 적용하여 채점 결과를 제공하였다.

그러나 이러한 채점 방식은 채점을 위해 많은 인력이 필요하고, 채점 결과를 확인하는 데 상당한 시간이 소요되므로 빠른 서비스를 제공하기 어렵다.

이를 개선하기 위해, 최근에는 사람이 직접 채점하지 않고, 기계 학습을 통해 자동으로 채점하는 자동 채점 시스템이 개발되고 있는데, 이러한 종래의 자동 채점 시스템은 기존 다수의 답안에 대한 시험관의 주관적 채점 데이터를 수집하고, 각 답안에서 기계 학습으로 평가 가능한 항목(평가자질)들을 분석하고, 분석 결과와 시험관의 주관적 채점 결과를 기계 학습을 통해 평가 가능한 항목들을 기준으로 채점 모델을 생성하며, 이러하게 생성된 채점 모델을 통해 답안의 유사도를 분석하여 자동 채점을 수행한다.

그러나 언어교육학적 특성에 따라 채점영역이 완벽하게 상호 배타적(Mutually Exclusive)이지 않으며, 시험관의 평가영역 별 채점이 상호 영향을 주는 특성을 가지고 있는데, 종래의 자동 채점 시스템은 상기 특성을 반영하고 있지 않으므로 자동 채점을 통한 시험관의 채점 결과와 정확도가 떨어지는 문제점이 있다.

한국공개특허 제10-2009-0001485호, 2009년 01월 09일 (명칭: 주관식 문항 자동 채점을 통한 자가학습방법)

본 발명은 종래의 불편함을 해소하기 위하여 제안된 것으로서, 평가영역 간 상관관계를 고려하여 채점 대상 데이터를 자동 채점하기 위한 자동 채점 장치 및 방법을 제공하고자 한다.

또한, 본 발명은 종래의 불편함을 해소하기 위하여 제안된 것으로서, 언어교육학적 특성, 평가영역 특성, 시험관의 답안 평가 특성 등을 반영하여 평가영역 간 상관관계 모델을 생성하고, 생성된 상관관계 모델을 적용하여 평가영역 별 채점 모델에서의 오차를 보상할 수 있는 자동 채점 장치 및 방법을 제공하고자 한다.

상기 과제를 해결하기 위한 수단으로서, 기 생성된 평가영역 별 채점 모델을 적용하여 채점 대상 데이터에 대하여 상기 평가영역 별로 자동 채점을 수행하는 자동 채점부; 상기 자동 채점부로부터 출력된 상기 채점 대상 데이터에 대한 평가영역 별 자동 채점 점수를 평가영역 간의 상관관계 모델에 따라서 튜닝하여 최종 자동 채점 점수를 산출하는 점수 튜닝부를 포함하는 것을 특징으로 하는 자동 채점 장치를 제공한다.

상기 자동 채점 장치는, 하나 이상의 답안에 대하여 상기 하나 이상의 평가영역들을 평가한 기 채점 데이터 및 상기 하나 이상의 답안으로부터 추출된 하나 이상의 평가자질을 이용한 기계 학습을 통해 상기 평가영역 별 채점 모델을 생성하는 채점 모델 생성 부와, 상기 기 채점 데이터를 기반으로 상기 하나 이상의 평가영역 간에 각 점수가 발생할 확률을 정의한 상기 평가영역 간의 상관관계 모델을 생성하는 상관관계 모델 생성부 중에서 하나를 더 포함할 수 있다.

상기 자동 채점 장치에 있어서, 상기 점수 튜닝부는 상기 평가영역 별 자동 채점 점수를 비교하여, 평가영역 간 채점 상관관계의 이격도가 미리 설정된 범위보다 큰 점수를 갖는 이상 평가영역을 선별하고, 상기 이상 평가영역의 자동 채점 점수를 상기 평가영역 간 상관관계 모델을 이용하여 튜닝하는 것을 특징으로 하며, 특히, 상기 상관관계 모델을 이용하여 상기 이상 평가영역을 제외한 나머지 평가영역의 자동 채점 점수를 기준으로, 상기 선별된 이상 평가영역의 점수 별 발생 확률을 산출하고, 상기 이상 평가영역의 자동 채점 점수를 가장 높은 확률을 갖는 점수로 변경할 수 있다.

더하여, 본 발명의 일 실시 예에 따르면, 상술한 과제를 해결하기 위한 다른 수단으로서, 기 생성된 평가영역 별 채점 모델을 적용하여, 채점 대상 데이터에 대하여 하나 이상의 평가영역 별로 자동 채점을 수행하는 단계; 및 평가영역별 상관 모델을 이용하여, 상기 하나 이상의 평가 영역별 자동 채점 점수를 튜닝하는 단계를 포함하는 것을 특징으로 하는 자동 채점 방법을 제공한다.

본 발명의 일 실시 예에 따른 자동 채점 방법에 있어서, 상기 튜닝하는 단계는, 평가영역 간 자동 채점 점수를 비교하여, 이격도가 기 설정된 범위보다 큰 점수를 갖는 이상 평가영역을 선별하는 단계; 상기 이상 평가영역을 제외한 나머지 평가영역의 자동 채점 점수를 기준으로 상기 선별된 이상 평가영역의 점수 별 발생 확률을 산출하는 단계; 및 가장 높은 확률을 갖는 점수로 상기 이상 평가영역의 자동 채점 점수를 변경하는 단계를 포함할 수 있다.

더하여, 본 발명의 일 실시 예에 따른 자동 채점 방법은, 상기 자동 채점을 수행하기 전에, 하나 이상의 답안에 대하여 상기 하나 이상의 평가영역들을 평가한 기 채점 데이터 및 상기 하나 이상의 답안으로부터 추출된 하나 이상의 평가자질을 이용한 기계 학습을 통해 상기 평가영역 별 채점 모델을 생성하는 단계와, 상기 기 채점 데이터를 기반으로 상기 하나 이상의 평가영역 간에 각 점수가 발생할 확률을 정의한 평가영역 간 상관 관계 모델을 생성하는 단계 중 하나를 더 포함할 수 있다.

더하여, 본 발명은 상술한 자동 채점 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체를 제공한다.

본 발명은 말하기, 듣기, 쓰기 등을 포함하는 하나 이상의 언어 영역에 대한 자동 평가에 관한 것으로서, 특히, 시험자가 작성한 답안에 대하여, 하나 이상의 평가영역을 평가하는데 있어서, 언어교육학적 특성, 평가영역 특성, 시험관의 답안 평가 특성 등을 반영하여 평가영역 간 상관관계 모델을 생성함으로써, 평가영역에 대한 암묵적 판단 기준을 보다 현실적으로 모델링 할 수 있는 효과가 있다.

아울러, 본 발명은 또한 생성된 평가영역 간의 상관관계 모델을 적용하여 평가영역 간에 나타날 수 있는 상관 관계를 적용하고, 평가영역 별 채점 모델을 통해 자동 채점을 수행하는데 있어서의 시험관의 답안 평가 특성과 오차를 최소화하고 평가 결과에 대한 신뢰성을 높일 수 있는 효과가 있다.

도 1은 본 발명의 실시 예에 따른 자동 채점 장치를 도시한 도면이다.
도 2는 본 발명의 실시 예에 따라 평가영역 간 상관관계 모델을 적용하여 자동 채점을 수행하기 위한 방법을 도시한 도면이다.
도 3은 본 발명에 따른 자동 채점 장치를 적용한 자동 평가 서비스 시스템의 구성을 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 자동 채점 방법을 적용한 단말 장치를 도시한 도면이다.
도 5a 내지 도 5c는 본 발명의 실시 예에 따른 평가영역 간 상관관계 모델을 설명하기 위한 평가영역 간 상관관계 테이블이다.
도 6 내지 도 8은 본 발명의 실시 예에 따라 평가영역 간 상관관계 모델을 적용한 자동 채점 과정의 일 예를 나타낸 도면이다.

이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이하의 설명에 있어서, "평가 영역"은 특정 평가 시험과 관련하여 시험관간의 채점을 정형화하기 위하여 설정된 채점 기준으로서, 채점 영역 및 그 채점 영역의 평가 내용으로 정의될 수 있다. 예를 들어, 외국어에 대한 말하기 평가의 경우, 평가영역은 유창성, 언어사용, 구성력, 발음으로 이루어진 채점 영역을 포함할 수 있으며, 여기서, 유창성은 발화속도의 적절성, 머뭇거림이 없이 자연스런 발화 유지 정도를 평가하는 요소이며, 언어사용은 표현의 정확성 및 어휘 사용의 적절성을 평가하는 요소이며, 구성력은 발화의 논리적 연결성 및 발화 내용의 일관성/응집성을 평가하는 요소이며, 발음의 발음의 명확성, 이해 가능 정도를 평가하는 요소이다. 본 발명에서는 이러한 기 설정된 하나 이상의 평가영역에 대한 자동 채점을 구현하고자 한다.

우선, 본 발명의 실시 예에 따른 자동 채점 장치 및 방법에 대해 첨부된 도면을 참조하여 구체적으로 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 자동 채점을 수행하기 위한 자동 채점 장치의 구성을 도시한 도면이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 자동 채점 장치(100)는 본 발명에 따라서 특정 문제에 대하여 피 평가자가 작성한 답안을 기 설정된 하나 이상의 평가영역을 기준으로 자동 채점하기 위한 장치이다. 특히 본 발명에 의한 자동 채점 장치(100)는, 하나 이상의 평가영역 별 채점 모델을 이용하여, 채점 대상 데이터에 대하여 하나 이상의 평가영역 별 점수를 자동으로 산출한다. 이어서 자동 채점 장치(100)는 기 생성된 평가영역 간 상관관계 모델을 이용하여 평가영역 별 채점 모델로 채점한 각 평가영역의 자동 채점 점수를 비교하여 기 설정된 범위를 벗어나는 점수를 갖는 이상(異常) 평가영역의 자동 채점 점수를 튜닝한다.

이를 위하여, 자동 채점 장치(100)는 하나 이상의 답안에 대하여 기준이 되는 채점 데이터, 예를 들어, 시험관에 의해 직접 채점된 하나 이상의 평가영역에 대한 채점 데이터를 수집하고, 또한, 상기 하나 이상의 답안으로부터 하나 이상의 평가자질을 추출할 수 있다. 그리고, 상기 자동 채점 장치(100)는 각 답안 별 평가자질과 기 채점 데이터를 이용한 기계 학습을 통해 평가영역 별 채점 모델을 생성할 수 있다.

자동 채점 장치(100)는 상기 생성된 평가영역 별 채점 모델을 통해 신규로 입력되는 채점 대상 데이터에 대한 평가영역 별 점수를 자동으로 채점할 수 있다.

아울러, 자동 채점 장치(100)는 상기 채점 데이터를 이용하여 평가영역 간 상관관계 모델을 미리 생성할 수 있다.

이와 같은, 자동 채점 장치(100)는 채점 모델 생성부(110), 상관관계 모델 생성부(120), 자동 채점부(130) 및 점수 튜닝부(140)를 포함하여 구성될 수 있다.

채점 모델 생성부(110)는 시험관에 의하여 기 채점된 하나 이상의 답안에 대한 평가영역 별 채점 데이터와, 상기 기 채점된 하나 이상의 답안으로부터 하나 이상의 평가자질을 이용한 기계학습을 통해 평가영역 별 채점 모델을 생성한다.

구체적으로, 채점 모델 생성부(110)는 하나 이상의 답안으로부터 추출된 평가자질 즉, 자동으로 평가 가능한 항목들(예를 들어, 단어 수, 형용사 수, 문법 오류, 철자 오류, 시제 부합 여부, 모범 답안과의 유사도 등)을 입력 받는다. 그리고, 상기 평가 자질과 상기 하나 이상의 답안에 대한 시험관의 평가영역 별 채점 데이터를 기계 학습시켜서, 평가 자질과 평가영역 별 채점 점수와의 관계를 정의하는 평가영역별 채점 모델을 생성할 수 있다. 즉, 시험관의 주관적인 평가 기준을 하나 이상의 자동 평가 가능한 평가 자질을 기준으로 모델화하는 것이다.

상관관계 모델 생성부(120)는 언어교육학적 특성, 평가영역 특성, 시험관의 답안 평가 특성 등을 반영하여 시험관이 채점하는 채점 데이터에서 평가영역 간 상관관계를 모델화하기 위한 것이다. 이를 위하여, 상관관계 모델 생성부(120)는 상기 평가영역 별 채점 모델을 생성하는데 이용된 상기 하나 이상의 기 채점 데이터를 이용하여 평가영역 간의 상관관계를 분석하고, 상관관계 모델을 생성한다.

예를 들어, 상관관계 모델 생성부(120)는 첨부된 도 5a 내지 도 5c에 도시된 바와 같이, 평가영역 간 채점의 상호 영향을 주는 특성을, 평가영역 간의 점수대별 발생 확률 테이블로 정의할 수 있다. 본 실시 예에서는, 제1 내지 제4 의 평가영역이 설정되어 있으며, 각 평가영역 별로 0 내지 5 범위의 점수를 채점한다고 할 때, 제4 평가영역(Rubric #4)을 기준으로 다른 평가영역(Rubric #1, #2, #3)과의 점수 상관관계를 분석하여 예시한다. 구체적으로, 도 5a는 제1 평가영역(Rubric #1)과 제4 평가영역(Rubric #4) 간의 상관관계를 각 점수대별 발생확률로서 나타낸 것이고, 도 5b는 제2 평가영역(Rubric #2)과 제4 평가영역(Rubric #4) 간의 상관관계를 각 점수대별 발생확률로서 나타내며, 도 5c는 제3 평가영역(Rubric #3)과 제4 평가영역(Rubric #4) 간의 상관관계를 나타낸다.

이러한 상관관계 모델을 이용하여, 평가영역 간 점수 발생 확률을 확인할 수 있다. 예를 들어, 도 5c를 참조하면, 제3 평가영역(Rubric #3)이 3점일 때, 제4 평가영역(Rubric #4)이 0점일 확률은 0%이고, 1점일 확률은 0.2%이고, 2점일 확률은 5.6%, 3점일 확률은 16.4%이고, 4점일 확률은 0.4%이며, 5점인 확률은 0%이다. 따라서, 제3 평가영역(Rubric #3)이 3점일 경우, 제4 평가영역(Rubric #4)의 점수는 3점이나 2점일 가능성이 매우 높다. 또한, 제4 평가영역(Rubric #4)이 3점일 때 제3 평가영역(Rubric #3)이 0점 또는 1점일 확률은 0%이고, 2점일 확률은 2.8%이고, 3점일 확률은 16.4%, 4점일 확률은 6.6%이고, 5점일 확률은 0.6%임을 알 수 있다. 이러한 평가영역 간 상관관계 모델을 통해 제3 평가영역(Rubric #3)에서 높은 점수를 받은 답안은 제4 평가영역(Rubric #4)에서도 높은 점수를 받을 확률이 높으며, 제3 평가영역에서 낮은 점수를 받은 답안은 제4 평가영역에서도 낮은 점수를 받을 확률이 높음을 알 수 있다. 이는 특정 답안에 대한 하나 이상의 평가영역들이 서로 독립적이지 않으면서 언어교육학적으로 연결되기 때문이다.

자동 채점부(130)는 피 평가자로부터 채점할 시험 답안인 신규 채점 대상 데이터를 입력받아, 채점 모델 생성부(110)에서 생성된 평가영역 별 채점 모델을 이용하여 채점 대상 데이터에 대하여 하나 이상의 평가영역 별 점수를 자동으로 산출한다.

이어서, 점수 튜닝부(140)는 자동 채점부(130)에서 출력되는 채점 대상 데이터에 대한 평가 영역별 자동 채점 점수를 상관관계 모델 생성부(120)에서 생성된 평가영역 간 상관관계 모델을 통해 튜닝한다. 구체적으로, 점수 튜닝부(140)는 평가영역별 자동 채점 점수를 비교하여, 상관관계 이격도가 기 설정된 범위보다 큰 점수를 갖는 이상 평가영역을 선별하고, 상기 선별된 이상 평가영역과 나머지 평가영역 간의 상관관계 모델에 근거하여 상기 이상 평가영역의 자동 채점 점수를 조정할 수 있다.

그러면, 이와 같이 구성된 자동 채점 장치에서 구현되는 본 발명의 실시 예에 따른 자동 채점 방법을 도 2를 참조하여 구체적으로 설명하기로 한다.

도 2는 본 발명의 실시 예에 따라 자동 평가 서비스 시스템에서 평가영역 간 상관관계 모델을 적용하여 자동 채점을 수행하기 위한 방법을 도시한 도면이다.

도 2를 참조하면, 본 발명의 실시 예에 다른 자동 채점 장치(100)는 1101단계에서 시험관들에 의하여 기 채점된 하나 이상의 채점 데이터를 수집한다. 하나 이상의 채점 데이터는, 하나 이상의 답안을 한 명 이상의 시험관이 각각 하나 이상의 평가영역에 대한 채점한 점수에 대한 정보를 포함한다.

이후, 자동 채점 장치(100)는 1102단계에서 수집한 하나 이상의 채점 데이터를 기반으로 기계 학습을 통해 평가영역 별 채점 모델을 생성한다. 더 구체적으로, 자동 채점 장치(100)는 평가영역 별 기 채점 데이터에 대응하는 답안으로부터 자동으로 평가 가능한 평가자질들(예들 들어, 단어 수, 형용사 수, 문법 오류, 철자 오류, 시제 부합 여부, 모범 답안과의 유사도 등)을 분석한다. 그리고, 분석된 평가자질들과 상기 하나 이상의 채점 데이터를, 평가영역 별로 각각 기계 학습시켜서 평가 가능한 평가자질들에 근거하여 각 평가영역 별로 점수를 산출하는 평가영역 별 채점 모델을 생성한다.

또한, 자동 채점 장치(100)는 1103단계에서 수집된 평가영역 별 채점 데이터를 기반으로 평가영역 간 상관관계 모델을 첨부된 도 5a 내지 도 5c와 같이, 생성한다. 평가영역 간 상관관계 모델은 두 평가영역 간의 상관관계를 구조화하여 나타낸 것으로서, 예를 들어, 4개의 평가영역이 존재할 경우, 6개의 상관관계 모델이 생성될 수 있다. 여기서, 상기 평가영역간 상관관계 모델은, 상기 두 평가영역 간의 점수 별 발생 확률을 정의하는 형태로 구현될 수 있다.

이후, 자동 채점 장치(100)는 1104단계에서 시험에 응시한 피 평가자가 특정 문제에 대하여 작성한 채점 대상 데이터를 신규로 입력 받는다.

신규 채점 대상 데이터가 입력되면, 자동 채점 장치(100)는 1105단계에서 평가영역 별로 생성된 채점 모델을 적용하여 상기 채점 대상 데이터에 대하여 하나 이상의 평가영역 별로 자동 채점 점수를 산출한다. 구체적으로 설명하면, 상기 신규 채점 대상 데이터로부터, 하나 이상의 평가자질을 추출하고, 추출된 평가자질을 상기 평가영역별 채점 모델에 입력하여, 평가영역별 자동 채점 점수를 산출한다.

이렇게 산출된 평가영역 별 자동 채점 점수는 평가영역 간의 상관 관계가 반영되어 있지 않기 때문에, 오류를 포함할 수 있다. 이를 위하여, 본 발명은 이하에서 설명하는 상관관계 모델을 이용하여 상기 자동 채점 결과를 튜닝하는 과정을 더 수행한다.

구체적으로, 자동 채점 장치(100)는 1106단계에서 자동 채점을 통해 산출된 각 평가영역 별 자동 채점 점수를 비교하여, 상관관계 이격도가 기 설정된 범위를 벗어나는 점수를 갖는 이상 평가영역을 선별한다. 여기서, 상관관계 이격도는, 두 평가영역의 점수 차이 혹은 두 평가영역의 자동 채점 점수가 동시에 발생할 확률로서 정의될 수 있다.

도 6은 본 발명에 따른 자동 채점 방법을 설명하기 위한 예시로서, 수험번호는 각 피 평가자를 식별하는 정보로서, 피 평가자별 답안에 대한 시험관의 주관적인 채점 결과는 왼쪽에 나타내고, 동일 답안에 대하여 평가영역 별 채점 모델을 이용한 산출한 자동 채점 점수를 오른쪽에 나타낸다. 여기서, 채점은 4개의 평가영역(Rubric #1 내지 #4)에 대하여 이루어진다.

예를 들어, 도 6에 도시된 수험번호 "20121102"의 피 평가자에 대한 답안을 평가영역 별 채점 모델을 이용하여 자동 채점한 결과, 제1 평가영역(Rubric #1)의 점수는 4점, 제2 평가영역(Rubric #2)의 점수는 3점, 제3 평가영역(Rubric #3)의 점수는 3점, 제4 평가영역(Rubric #4)의 점수는 0점이 산출되었다. 이 경우, 1106 단계에 따라서 상관관계 이격도가 기 설정된 범위를 벗어난 이상 평가영역을 선별하면, 자동 채점 결과의 제4 평가영역(Rubric #4)의 점수가 0점으로 다른 평가영역들의 점수와의 차이가 크므로, 상기 제4 평가영역(Rubric #4)을 이상 평가영역으로 선별할 수 있다. 여기서, 이상 평가영역의 선별은 각 평가영역 별로 나머지 평가영역의 자동 채점 점수의 평균값과 자신의 자동 채점 점수의 차이를 기준으로 이루어질 수 있다. 즉, 각 평가영역의 점수가 나머지 평가영역의 자동 채점 점수의 평균값과 기 설정된 기준값 이상으로 차이가 나는 평가영역을 이상 평가영역으로 선별한다. 이때, 이상 평가영역의 선별 기준

는 임의로 결정할 수 있다.

이후, 1107단계에서 자동 채점 장치(100)는 평가영역 간 상관관계 모델을 적용하여 선별된 이상 평가영역의 자동 채점 점를 튜닝한다. 구체적으로, 자동 채점 장치(100)는 상기 선별된 이상 평가영역의 자동 채점 점수 및 나머지 평가영역들의 자동 채점 점수를 확인하고, 상관관계 모델을 통해서 나머지 평가영역들의 자동 채점 점수를 기준으로 이상 평가영역의 점수별(예를 들어, 0 내지 5 점) 발생 확률을 산출한다. 이후, 자동 채점 장치(100)는 상기 선별된 이상 평가영역의 점수 별로 나머지 평가영역들의 자동 채점 점수가 발생한 확률들의 합을 구하고, 상기 확률의 총합이 가장 높은 점수를 추출한다. 그리고 자동 채점 장치(100)는 가장 높은 확률을 갖는 점수로 상기 선별된 이상 평가영역의 자동 채점 점수를 변경함으로써, 점수 튜닝을 수행할 수 있다.

도 6에 도시된 예시를 참조하면, 수험번호 "20121102"의 피 평가자의 자동 채점 결과로부터, 제4 평가영역이 이상 평가영역으로 선별되었으며, 이때 나머지 제1, 2, 3 평가영역들의 자동 채점 점수는 각각 4점, 3점, 3점이었다. 이 경우, 자동 채점 장치(100)는 도 7에 도시된 바와 같이, 제1 평가영역이 4점일 때, 제4 평가영역의 점수대별(0 내지 5 점)의 발생 확률, 제2 평가영역이 3점일 때 제4 평가영역 점수대별(0 내지 5 점)의 발생 확률, 제3 평가영역이 3점일 때 제4 평가영역의 점수대별(0 내지 5 점)의 발생 확률을 확인한다. 이어서, 제4 평가영역의 점수대별로 나머지 제1, 2, 3 평가영역의 자동 채점 점수가 발생한 확률들의 합을 구하여, 그 합이 최대가 되는 제4 평가영역의 점수를 검출한다. 도 7의 예시를 참조하면, 제1~제3 평가영역(Rubric #1~#3)의 자동 채점 점수가 각각 4,3,3일때, 제4 평가영역(Rubric #4)의 점수 중 3점이 발생할 확률이 40%로 가장 높게 나타남을 알 수 있다.

따라서, 본 발명에 따른 자동 채점 장치(100)는, 도 8에 도시된 바와 같이, 이상 평가영역으로 선별된 제4 평가영역의 자동 점수를, 0에서 3으로 변경한다.

이에 따르면, 자동 채점 장치(100)에서 최종적인 자동 채점 결과는, 도 8에 도시된 바와 같이, 시험관에 의해 채점한 결과와 유사하게 조정됨을 알 수 있다.

이후, 1108단계에서 자동 채점 장치(100)는 점수 튜닝을 통해 최종 자동 채점 결과 데이터를 산출하고, 산출된 최종 자동 채점 결과 데이터에 대한 최종 자동 채점 결과 정보를 피 평가자에게 제공할 수 있다.

이러한 본 발명에 따른 자동 평가 장치 및 방법은, 네트워크를 기반으로 한 자동 평가 서비스 시스템에 적용될 수 있다.

도 3은 본 발명의 실시 예에 따른 자동 평가 장치가 적용된 자동 평가 서비스 시스템의 구성을 도시한 도면이다.

도 3을 참조하면, 자동 평가 서비스 시스템은 통신망(10)을 통해 연결되는 다수의 단말 장치(20) 및 자동 채점 장치(100_1)를 포함하는 평가 서비스 서버(30)로 구성할 수 있다.

다수의 단말 장치(20)는 사용자의 키 조작에 따라 통신망(10)을 경유하여 각종 데이터를 송수신할 수 있는 단말기를 말하는 것이며, 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant), 스마트 TV 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다. 또한, 단말 장치(20)는 통신망(10)을 이용하여 음성 또는 데이터 통신을 수행하는 단말기이며, 통신망(10)을 경유하여 평가 서비스 서버(30)와 통신하기 위한 브라우저, 프로그램 및 프로토콜을 저장하는 메모리, 각종 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하고 있는 단말기를 의미한다. 즉, 단말 장치(20)는 평가 서비스 서버(30)와 서버-클라이언트 통신이 가능하다면 그 어떠한 단말기도 가능하며, 노트북 컴퓨터, 이동통신 단말기, PDA 등의 통신 컴퓨팅 장치를 모두 포함하는 넓은 개념이다. 한편, 단말 장치(20)는 터치 스크린을 구비한 형태로 제작되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.

특히, 본 발명의 실시 예에 따른 다수의 단말 장치(20)는 자동 채점 서비스를 제공받기 위한 단말을 의미하며, 피 평가자의 단말 장치 또는 시험관의 단말 장치일 수 있다. 이러한 다수의 단말 장치(20)는 통신망(10)을 통해 평가 서비스 서버(100)와 연동하며, 피 평가자로부터 시험 답안을 입력 받아 평가 서비스 서버(30)로 전송하고, 평가 서비스 서버(30)로부터 상기 시험 답안에 대한 자동 평가 결과를 전송받을 수 있다. 특히, 평가 서비스 서버(30)로부터 평가영역 별 상관관계 모델을 적용하여 자동 채점된 채점 결과 데이터를 제공받아 사용자에게 안내할 수 있다.

평가 서비스 서버(30)는 단말 장치(20)로부터 전송된 답안에 대한 자동 평가를 수행하여 그 평가 결과를 제공하는 서버 장치로서, 본 발명에 따른 상관관계 모델을 적용한 자동 채점 장치(100_1)를 포함할 수 있다.

자동 채점 장치(100_1)는 통신망(10)을 통해 다수의 단말 장치(20)와 연동하여 자동 채점 서비스를 제공할 수 있다. 이러한 자동 채점 장치(100_1)는 시험관으로부터 평가영역 별 채점 데이터를 수집하여 각각 데이터베이스에 평가영역 별로 미리 설정하여 저장할 수 있다. 이때, 평가영역 별 채점 데이터 및 평가 데이터는 시험관으로부터 직접 입력 받거나, 통신망(10)을 통해서 전송 받을 수 있다.

또한, 자동 채점 장치(100_1)는 수집한 평가영역 별 채점 데이터 및 평가자질을 이용한 기계 학습을 통해 평가영역 별 채점 모델을 생성하고, 아울러 상기 평가영역의 채점 결과를 비교하여 언어교육학적 특성, 평가영역 특성, 시험관의 답안 평가 특성 등을 반영하여 평가영역 간 상관관계 모델을 생성할 수 있다. 아울러 자동 채점 장치(100_1)는 단말 장치(20)로부터 신규 채점 대상 데이터를 수신되면, 상기 신규 채점 대상 데이터로부터 평가 자질을 추출하고, 추출한 평가 자질을 상기 생성된 평가영역별 채점 모델에 입력하여, 상기 신규 채점 대상 데이터에 대한 평가영역별 자동 채점 점수를 산출한다. 이어서, 상기 자동 채점 장치(100_1)은, 상기 생성한 평가영역 간 상관관계 모델을 적용하여, 상관관계의 이격도가 기 설정 기준값보다 큰 점수를 갖는 이상 평가영역을 선별하고, 상기 이상 평가영역을 제외한 나머지 평가영역의 자동 채점 점수를 기준으로 상기 이상 평가영역의 점수별 발생 확률을 상기 상관관계 모델을 이용하여 산출하고, 상기 확률을 비교하여 가장 높은 확률을 갖는 점수를 선별된 이상 평가영역의 자동 채점 점수로 변경한다. 자동 채점 장치(100_1)는 이렇게 산출된 최종 자동 채점 점수를 해당 단말 장치(20)로 제공할 수 있다. 이러한 자동 채점 장치(100_1)의 구체적인 구성은 도 1 및 도 2를 참조하여 설명한 바 있으므로, 그 중복 설명은 생략하기로 한다.

또한, 본 발명에 따른 자동 채점 방법은, 단말 장치에 탑재되는 프로그램 형태로 구현되어 이용될 수 있다.

도 4는 본 발명의 실시 예에 따른 자동 평가 방법에 따른 프로그램을 구비한 단말 장치를 도시한 도면이다.

도 4를 참조하면, 단말 장치(40)는 제어부(210), 통신부(220), 입력부(230), 저장부(240) 및 출력부(250)를 포함하여 구성될 수 있다. 이러한 단말 장치(40)는, 본 발명에 따른 자동 채점 프로그램(100_2)를 설치하고 실행하여, 본 발명에 따른 자동 채점 방법을 수행할 수 있는 사용자 정보 처리 장치로서, 프로그램 설치 및 실행이 가능한 단말이라면 어떠한 것이라도 가능하다. 예를 들어, 단말 장치(40), 태블릿 PC(Tablet PC), 랩톱(Laptop) 컴퓨터, 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant), 스마트 TV 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다.

제어부(210)는 단말 장치(40)의 전반적인 동작 및 자동 채점 서비스 실행에 관련된 동작을 제어한다. 특히, 제어부(210)는 입력부(230)로부터 사용자의 시험 응시 요청 신호를 입력 받으면, 입력된 시험 응시 요청 정보에 따라 시험 응시를 위한 어플리케이션을 실행하고, 시험 문제 등을 출력부(250)의 화면에 표시하도록 제어한다. 이에 따라 제어부(210)는 시험 문제의 답에 대한 정보 즉, 채점 대상 데이터를 입력부(230)를 통해 입력 받아 처리하고, 처리된 채점 대상 데이터를 저장부(140)를 저장한다. 그리고, 자동 채점 프로그램(100_2)를 실행하여, 신규 데이터를 자동 채점하도록 제어한다. 또한, 제어부(310)는 최종 자동 채점 결과 정보를 출력부(250)의 화면을 통해 사용자에게 안내하도록 제어한다.

통신부(220)는 통신망을 통해 데이터를 송수신하기 위한 것으로서 이러한 통신부(220)는 유선 방식 및 무선 방식뿐만 아니라 다양한 통신 방식을 통해서 데이터를 송수신할 수 있다. 더하여, 통신부(220)는 하나 이상의 통신 방식을 사용하여 데이터를 송수신할 수 있으며, 이를 위하여 통신부(220)는 각각 서로 다른 통신 방식에 따라서 데이터를 송수신하는 복수의 통신 모듈을 포함할 수 있다.

입력부(230)는 사용자의 조작에 따라서 사용자의 요청이나 정보에 해당하는 사용자 입력 신호를 발생할 수 있으며, 현재 상용화되어 있거나 향후 상용화가 가능한 다양한 입력 수단으로 구현될 수 있으며, 예를 들면, 키보드, 마우스, 조이스틱, 터치 스크린, 터치 패드 등과 같은 일반적인 입력 장치뿐만 아니라, 사용자의 모션을 감지하여 특정 입력 신호를 발생하는 제스처 입력 수단을 포함할 수 있다. 입력부(230)는 사용자로부터 입력된 정보를 제어부(210)로 전달할 수 있다. 즉, 입력부(230)는 피 평가자로부터 시험 문제에 대한 답안, 즉, 신규 채점 대상 데이터를 입력받을 수 있다.

저장부(240)는 단말 장치(40)의 동작에 필요한 정보들을 저장하며, 특히, 자동 채점 서비스에 관련된 정보들을 저장할 수 있다. 특히, 본 발명에 따른 자동 채점 방법을 수행하도록 프로그램된 자동 채점 프로그램(100_2)를 저장할 수 있다. 이러한 저장부(240)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media) 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리를 포함한다.

출력부(250)는 단말 장치(40)의 동작 결과나 상태를 사용자가 인식할 수 있도록 제공하는 수단으로서, 예를 들면, 화면을 통해 시각적으로 출력하는 표시부나, 가청음을 출력하는 스피커 등을 포함할 수 있다. 특히, 단말 장치(40)에서 구동되는 자동 채점 서비스에 관련된 화면을 표시할 수 있으며, 사용자의 요청에 따라 자동 채점 서비스 실행을 위한 화면을 표시할 수 있다. 또한, 출력부(250)는 피 평가자로부터 입력된 시험 문제에 대한 답안, 즉, 채점 대상 데이터를 표시하거나, 상기 채점 대상 데이터에 대한 자동 채점 점수를 화면에 표시할 수 있다.

즉, 단말 장치(40)는 자동 채점 프로그램(100_2)를 실행하여, 입력부(230)를 통해 입력된 사용자의 답안, 즉, 채점 대상 데이터에 대하여 평가영역 별 채점 모델을 이용하여, 평가영역 별 자동 채점 점수를 산출하고, 이어서, 평가영역 간의 상관 관계 모델을 이용하여 상관관계 이격도가 기 설정된 범위를 벗어나는 점수를 갖는 이상 평가영역을 추출하고, 나머지 평가영역의 자동 채점 점수를 기준으로 상기 이상 평가영역의 점수별 발생 확률을 산출하여, 확률이 가장 높은 점수로 상기 이상 평가영역의 자동 채점 점수를 변경한다. 그리고, 단말 장치(40)는 상술한 바에 의하여 최종적으로 산출된 자동 채점 결과를 사용자에게 제공할 수 있다.

여기서, 자동 채점 프로그램(100_2)에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

본 발명은 자동 채점 장치 및 방법에 관한 것으로서, 채점 평가 데이터를 하나 이상의 평가영역별로 채점하는데 있어서, 언어교육학적 특성, 평가영역 특성, 시험관의 답안 평가 특성 등을 반영하여 평가영역 간의 상관관계 모델을 생성함으로써, 시험관이 주관적으로 적용하는 암묵적 판단 기준을 보다 현실적으로 모델링 할 수 있는 효과가 있다.

또한, 본 발명은 생성된 평가영역 간의 상관관계 모델을 적용하여 평가영역 간의 상관관계 이격도가 기 설정된 범위를 벗어나는 이상 평가영역을 선별하여, 나머지 평가영역의 자동 채점 점수를 기준으로 가장 발생할 확률이 높은 점수로 튜닝함으로써, 시험관의 주관적인 채점 데이터와 보다 유사하게 채점이 가능하므로 자동 평가 성능을 높일 수 있는 효과가 있다.

이와 같은 본 발명은 자동 채점 서비스에 적용되어, 평가영역 간의 채점 상관관계를 고려하여 시험과 답안과 보다 유사하게 자동 채점을 수행할 수 있는 효과를 발생하는 유용한 발명으로, 이를 통해 서비스 산업의 발전에 이바지할 수 있다.

10: 통신망 20, 40: 단말 장치
30: 평가 서비스 서버 100, 100_1: 자동 채점 장치
110: 채점 모델 생성부 120: 상관관계 모델 생성부
130: 자동 채점부 140: 점수 튜닝부
100_2: 자동 채점 프로그램

Claims

기 생성된 평가영역 별 채점 모델을 적용하여 채점 대상 데이터에 대하여 상기 평가영역 별로 자동 채점을 수행하는 자동 채점부;
상기 자동 채점부로부터 출력된 상기 채점 대상 데이터에 대한 평가영역 별 자동 채점 점수를 비교하여, 점수 차가 미리 설정된 범위보다 큰 이상 평가영역을 선별하고, 상기 이상 평가영역의 자동 채점 점수를 평가영역 간 상관관계 모델을 이용하여 튜닝하여 최종 자동 채점 점수를 산출하는 점수 튜닝부;
를 포함하는 것을 특징으로 하는 자동 채점 장치.
제1항에 있어서,
하나 이상의 답안에 대하여 상기 하나 이상의 평가영역들을 평가한 기 채점 데이터 및 상기 하나 이상의 답안으로부터 추출된 하나 이상의 평가자질을 이용한 기계 학습을 통해 상기 평가영역 별 채점 모델을 생성하는 채점 모델 생성 부;
를 더 포함하는 것을 특징으로 하는 자동 채점 장치.
제2항에 있어서,
상기 기 채점 데이터를 기반으로 상기 하나 이상의 평가영역 간에 각 점수가 발생할 확률을 정의한 상기 평가영역 간 상관관계 모델을 생성하는 상관관계 모델 생성부;
를 더 포함하는 것을 특징으로 하는 자동 채점 장치.
삭제
제1항에 있어서, 상기 점수 튜닝부는,
상기 상관관계 모델을 이용하여 상기 이상 평가영역을 제외한 나머지 평가영역의 자동 채점 점수를 기준으로, 상기 선별된 이상 평가영역의 점수 별 발생 확률을 산출하고,
상기 이상 평가영역의 자동 채점 점수를 가장 높은 확률을 갖는 점수로 변경하는 것을 특징으로 하는 자동 채점 장치.
자동 채점 장치가, 기 생성된 평가영역 별 채점 모델을 적용하여, 채점 대상 데이터에 대하여 하나 이상의 평가영역 별로 자동 채점을 수행하는 단계; 및
상기 자동 채점 장치가, 상기 평가영역 별 자동 채점 점수를 비교하여, 점수 차가 미리 설정된 범위보다 큰 이상 평가영역을 선별하는 단계; 및
상기 자동 채점 장치가, 상기 이상 평가영역의 자동 채점 점수를 평가영역 간 상관관계 모델을 이용하여 튜닝하는 단계;
를 포함하는 것을 특징으로 하는 자동 채점 방법.
제6항에 있어서, 상기 튜닝하는 단계는
상기 이상 평가영역을 제외한 나머지 평가영역의 자동 채점 점수를 기준으로 상기 선별된 이상 평가영역의 점수 별 발생 확률을 산출하는 단계;
가장 높은 확률을 갖는 점수로 상기 이상 평가영역의 자동 채점 점수를 변경하는 단계를 포함하는 것을 특징으로 하는 자동 채점 방법.
제6항에 있어서,
상기 자동 채점 장치가, 상기 자동 채점을 수행하기 전에, 하나 이상의 답안에 대하여 상기 하나 이상의 평가영역들을 평가한 기 채점 데이터 및 상기 하나 이상의 답안으로부터 추출된 하나 이상의 평가자질을 이용한 기계 학습을 통해 상기 평가영역 별 채점 모델을 생성하는 단계;
를 더 포함하는 것을 특징으로 하는 자동 채점 방법.
제8항에 있어서,
상기 자동 채점 장치가, 상기 기 채점 데이터를 기반으로 상기 하나 이상의 평가영역 간에 각 점수가 발생할 확률을 정의한 평가영역 간 상관 관계 모델을 생성하는 단계를 더 포함하는 것을 특징으로 하는 자동 채점 방법.
제6항 내지 제9항 중 어느 한 항에 기재된 자동 채점 방법을 실행시키기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.