KR20090001485A - 주관식 문항 자동 채점을 통한 자가학습 방법 - Google Patents

Abstract

이 발명에 따른 주관식 문항 자동 채점을 통한 자가학습 시스템은, 시스템 제공자가 제공하는 온라인 학습 시스템을 통해 학습자가 특정 교과 내용(이하 '대상학습'이라 함)에 대해 시스템이 제공하는 대상학습의 교과내용에 따라 스스로 학습을 하는 자가학습 시스템으로서,

(i) 시스템 제공자가 객관식 및/또는 주관식 대상학습 평가 문항, 모범답안 및 유도답항을 미리 준비하여 시스템의 서버 모듈에 저장하는 단계;

(ii) 학습자가 시스템이 제공하는 대상학습의 교과내용에 따라 학습하는 단계;

(iii) 학습을 마친 학습자가 온라인 평가를 원하는 경우 화면상에서 해당 버튼을 누르면 시스템이 제공하는 대상학습 평가 문항을 통해 온라인으로 문제를 풀고 시스템의 요구에 따라 답안을 작성하여 시스템으로 전송하는 온라인 평가 단계;

(iv) 위 대상학습 평가 문항이 서술형 및/또는 논술형 문항인 경우 위 온라인 평가가 끝나면 학습자는 시스템에 유도채점을 의뢰할지 여부를 결정하는 단계;

(v) 만약 위 결정단계에서 학습자가 유도채점을 의뢰하기로 결정하면 시스템은 유도답항을 제시하고 자가채점을 수행하여 학습자의 학습능력을 평가하는 단계;

(vi) 만약 위 결정단계에서 평가 문항이 객관식 문항이거나 학습자가 유도채점을 하지 않기로 결정하면 시스템은 자동채점을 수행하는 단계;

(vii) 위 자동채점의 수행이 완료되거나 위 유도답항 제시에 의한 평가가 완 료된 경우 해당 채점결과를 서버 모듈에 등록하는 단계;

(viii) 위 등록된 채점결과에 의해 시스템이 결손학습 내역을 추출하여 학습 결손내용을 분석하는 단계;

(ix) 위 결손내용 분석 결과에 따라 시스템이 보충학습의 시행 여부를 결정하는 단계; 및

(x) 위 결정결과 보충학습을 하지 않기로 한 경우 학습을 종료하고 그렇지 않은 경우 피드백 학습을 위해 보충학습을 수행하고 난 뒤 학습의 처음 단계(i)로 되돌아가는 단계를 구비하여 이루어진다.

이 발명의 실시에 의해 온라인 피드백 학습 및 맞춤식 학습이 가능하고, 온라인 상에서 학습자의 결손학습 유무를 선다형, 진위형, 단답형, 완성형, 서술형 및/또는 논술형 문항에 대해서도 자동채점이 가능하다. 그리고 주관식 문제에 대해 실시간 자동 채점이 가능하므로 학습자의 자가학습 욕구를 충족시켜줄 수 있으며, 결손학습을 위해 보충학습 과정이 제공되므로 부족한 부분을 보충하게 된다.

자가학습, 결손학습, 온라인학습, 주관식문제, 서술형 문제, 논술형 문제, 사용빈도 추정치, 보충학습, 자동채점.

Description

주관식 문항 자동 채점을 통한 자가학습 시스템{A self-study system through automatic marking of answers to subjective questions}

도 1은 종래기술에 따른 자가학습 시스템의 처리 흐름도.

도 2는 이 발명에 따른 주관식 문항 자동 채점을 통한 자가학습 시스템의 바람직한 일 실시예의 처리 흐름도.

이 분야의 종래기술로는 출원인에 의해 한국특허청에 2004년 11월 9일자로 등록된 특허 제 10-0457735호 "학습과정을 통한 개인 맞춤교재 제작 방법"이 있다.

1. 발명이 속하는 기술분야

이 발명은 온라인 학습 시스템에 관한 것이다. 특히 이 발명은 온라인 상에 서 자동으로 서술형 및/또는 논술형 같은 주관식 문제를 채점할 수 있는 학습 시스템의 제공기술에 대한 것이다.

2. 종래기술

최근 온라인 및 오프라인 교육에서 피드백 학습 또는 맞춤 학습이 일반화되고 있다. 이는 학습자의 현재 학습상황을 파악하여 결손 부분을 보완하는 클리닉 위주로 행해지고 있다. 그러나 온라인에서는 학습자의 학습상황을 검사하는 방법이 컴퓨터가 채점할 수 있는 형태로 개발되어 왔다.

현재 컴퓨터가 학습자의 결손학습 유무를 검사할 수 있는 문항 유형은 선다형, 진위형, 단답형 정도이다. 그러나 학습 현장의 요구는 서술형 및/또는 논술형 문항을 통한 검사 및 평가의 비중이 점차 확대되고 있다. 이에 온라인 교육에서도 주관식 문항(서술형 및/또는 논술형)을 통한 검사 및 평가 요구가 점차 확대되고 있다.

하지만, 이러한 종래의 온라인 학습 시스템들은 몇 가지 문제점들을 안고 있었다. 이러한 현행 문제점들을 분석해 보면 다음과 같다.

첫째, 현재 교육에서 필요한 문항 유형, 자동채점 유무 및 현재 서비스되고 있는 시스템 형태에 대해 살펴보면, 표 1에서 확인되듯이 현 온라인 교육에서 사용되는 문항 유형은 크게 객관식과 주관식으로 나누어지고, 객관식은 다시 진위형과 선다형으로, 주관식은 단답형, 완성형, 서술형 및/또는 논술형으로 나누어진다. 이때 자동채점은 객관식 유형과 주관식 유형의 단답형과 완성형에서는 가능하나 주관 식 서술형 및/또는 논술형에서는 불가능하다. 그리고 사용빈도를 추정값을 통해 살펴보면 자동채점이 60 ~ 70%이고, 수동채점이 30 ~ 40%이다. 종래 기술에서는 자동채점이 가능한 유형의 문제에 대해서는 자동 채점하여 즉시 결손 학습과 관련된 부분을 분석하여 각종 동영상 등 부가 자료를 추천하여 주고 있다.

둘째, 관련업무의 흐름도를 살펴보면 도 1과 같다. 학습과정은, 처음에 대상학습 평가 문항을 선제하고(① 단계), 이후 온라인 평가를 한다. 온라인 평가가 끝나면 자동처리가 가능한지 여부를 판별한다. 자동처리가 가능하면 자동채점을 하고, 그렇지 않으면 수동채점을 한다. 이때엔 교사의 판단이 개입된다. 이로 인해 종래 기술에서는 실시간 처리가 되지 않는다는 문제점이 있었다. 수동채점 또는 자동채점 이후 채점 결과를 등록하고, 다시 학습 결손을 분석한다. 학습 결손 분석 다음엔 보충학습을 할 것인지 여부를 판별한다. 판별결과 보충학습이 필요하면 보충학습을 한 뒤 처음의 대상학습 평가 문항 선제 단계로 되돌아 가고, 그렇지 않으면 학습을 종료한다.

이처럼 종래에는 교사 등 학습 도우미가 개입되어야 하고 컴퓨터로만 학습이 이루어지지 않아서 저가의 비용으로 학습 성취 결과를 높일 수 있는 서비스가 불가능하였다. 그리고 종래에는 ①항목 업무에서 자동 채점할 수 있는 유형의 문항만 선제 되어야 하였다.

현재 교육과정에서 자동채점으로 처리하지 못하는 문항 유형인 서술형 및/또는 논술형에 대한 중요도가 점차 높아지고 있으며, 이런 유형의 문항을 통한 자가학습 욕구 또한 증대되고 있지만 종래 자동 채점되는 문항은 현재 일선 학교에서 사용 중인 문항 중 60~70%의 유형만 처리하고 나머지는 처리하지 못하고 있는 실정이다.

이 발명은 위에 기술한 종래 기술이 갖고 있는 문제점들을 해결하기 위해 창안된 학습 시스템을 제공하는 것을 목적으로 한다.

이 발명의 다른 목적과 장점은 하기된 발명의 상세한 설명을 읽고 첨부된 도면을 참조하면 보다 명백해질 것이다.

< 발명의 구성 >

이 발명에 따른 주관식 문항 자동 채점을 통한 자가학습 시스템은, 시스템 제공자가 제공하는 온라인 학습 시스템을 통해 학습자가 특정 교과 내용(이하 '대상학습'이라 함)에 대해 시스템이 제공하는 대상학습의 교과내용에 따라 스스로 학습을 하는 자가학습 시스템으로서,

(i) 시스템 제공자가 객관식 및/또는 주관식 대상학습 평가 문항, 모범답안 및 유도답항을 미리 준비하여 시스템의 서버 모듈에 저장하는 단계;

(ii) 학습자가 시스템이 제공하는 대상학습의 교과내용에 따라 학습하는 단계;

(iii) 학습을 마친 학습자가 온라인 평가를 원하는 경우 화면상에서 해당 버튼을 누르면 시스템이 제공하는 대상학습 평가 문항을 통해 온라인으로 문제를 풀고 시스템의 요구에 따라 답안을 작성하여 시스템으로 전송하는 온라인 평가 단계;

(iv) 위 대상학습 평가 문항이 서술형 및/또는 논술형 문항인 경우 위 온라인 평가가 끝나면 학습자는 시스템에 유도채점을 의뢰할지 여부를 결정하는 단계;

(v) 만약 위 결정단계에서 학습자가 유도채점을 의뢰하기로 결정하면 시스템은 유도답항을 제시하고 자가채점을 수행하여 학습자의 학습능력을 평가하는 단계;

(vi) 만약 위 결정단계에서 평가 문항이 객관식 문항이거나 학습자가 유도채점을 하지 않기로 결정하면 시스템은 자동채점을 수행하는 단계;

(vii) 위 자동채점의 수행이 완료되거나 위 유도답항 제시에 의한 평가가 완료된 경우 해당 채점결과를 서버 모듈에 등록하는 단계;

(viii) 위 등록된 채점결과에 의해 시스템이 결손학습 내역을 추출하여 학습 결손내용을 분석하는 단계;

(ix) 위 결손내용 분석 결과에 따라 시스템이 보충학습의 시행 여부를 결정하는 단계; 및

(x) 위 결정결과 보충학습을 하지 않기로 한 경우 학습을 종료하고 그렇지 않은 경우 피드백 학습을 위해 보충학습을 수행하고 난 뒤 학습의 처음 단계(i)로 되돌아가는 단계를 구비하여 이루어진다.

이 발명에 있어서, 위 단계(vi)는,

(vi-1) 학습자가 서술형 및/또는 논술형을 포함한 주관식 문항에 대해 자동채점을 의뢰할 것인지 여부를 결정하는 단계; 및

(vi-2) 만약 학습자가 자동채점을 의뢰하지 않기로 결정하면 시스템은 수동채점을 수행하는 단계를 포함하는 것이 바람직하다.

이 발명에 있어서, 서술형 및/또는 논술형 문항의 출제시에 유도채점의 필요성 여부를 설정하는 것이 바람직하다.

이 발명에 있어서, 위 단계(v)에서 학습자가 시험을 치르고 나서 다시 한번 유도 답항을 선택하도록 하는 것이 바람직하다.

이 발명의 시스템에서 사용할 유도답항이 포함된 주관식 문항 생성 방법은,

(a) 서술형 및/또는 논술형 문항을 만들 때 기존 생성 항목을 추가함으로써 유도 답항이라는 학습자 채점 항목을 통상적인 선다형 답항 생성방법과 동일한 방법으로 만드는 단계; 및

(b) 위 유도답항에 항목의 내용 및 항목별 정답 유사도를 입력하는 단계를 포함하여 이루어지고,

위 유도답항에 항목의 내용을 입력하는 단계는,

(b-1) 선다형 문항의 답항과 유사하게 입력하는 단계;

(b-2) 학습자가 정답으로 생각할 수 있는 경우를 기술하는 단계; 및

(b-3) 모범 답항으로 짐작할 수 있는 문구를 가능한한 배제하는 단계를 구비하여 이루어지고,

위 항목별 정답 유사도를 입력하는 단계는,

(b-4) 백분율로 나타내는 단계; 및

(b-5) 시험지 작성시 부여되는 배점에 곱하여 해당 문항의 점수로 처리하는 단계를 구비하여 이루어지는 것이 바람직하다.

이 발명의 시스템에서 사용할 유도답항이 포함되지 않은 주관식 문항 생성 방법은,

(c) 기존에 개발된 서술형 및/또는 논술형 문항이나 또는 신규 작성하더라도 유도답항을 작성하지 않았을 경우는 소프트웨어적으로 프로그램에서 특정비율의 정답 유사도를 자동 발생하도록 하여 유도답항으로 사용하는 단계; 및

(d) 위 단계에서 유도답항으로 사용하는 경우 시스템은 유도답항이 발생하는 경우의 수를 환경적으로 설정하여 사용하는 단계를 포함하여 이루어지며,

이때 위 단계(d)의 수행시 항목의 구분은 정답과 일치도의 구분을 정·오만 으로 구분하거나 또는 정답 이외에 일치도를 여러 단계로 나누어서 구분하는 것이 바람직하다.

이 발명에 있어서, 위 유도답항의 작성시 유도답항의 내용을 학습자가 답항 으로 작성할 가능성이 있는 여러 경우를 유추하여 작성하되, 그 내용을 통해 학습자가 정답을 어느 정도 아는지 짐작할 수 있도록 작성하는 것이 바람직하다.

이 발명에 있어서, 유도답항이 별도로 존재하는 경우의 유도답항에 의한 자가채점시 학습자에게 문제, 학습자의 답안 및 유도답항은 보여주지만 모범답안은 보여주지 않는 것이 바람직하다.

이 발명에 있어서, 유도답항이 별도로 존재하지 않고 시스템이 필요에 따라 자동적으로 발생시키는 경우의 유도답항에 의한 자가채점시 학습자에게 문제, 학습자의 답안, 모범답안 및 유도답항을 같이 보여주고, 학습자는 모범답안과 자신이 답한 내용을 비교하여 유도답항의 내용 가운데 하나를 선택하는 것이 바람직하다.

이 발명에 있어서, 기존문항과 신규문항을 유도답항의 유무에 따른 유형으로 구분하여 처리하는 것이 특징인, 주관식 문항 자동 채점을 통한 자가학습 시스템.

이하 이 발명의 구성 및 동작 원리에 대해 첨부 도면을 참조하여 자세히 설명하면 아래와 같다. 도 2는 이 발명의 구성과 동작 원리를 보여주는 흐름도이다.

이 발명의 학습 과정은, 첫째 대상학습 평가 문항을 선제한다(①). 문항 선제가 끝나면 이후 온라인 평가가 이루어진다.

온라인 평가가 이루어지고 나서 유도채점을 할 것인지 여부를 판별한다(②). 판별 결과 유도채점을 하지 않기로 결정하였으면 다시 자동채점을 할 것인지 여부를 판별한다(④). 이 단계에서 자동채점을 할 것으로 판단되면 바로 자동 채점을 한 뒤 채점 결과를 등록한다.

위의 판별(②) 단계에서 유도채점을 할 것으로 결정한 경우엔 유도답항을 제시하고 자가채점을 수행한다(③). 평가(③)가 끝나면 채점 결과를 등록한다.

위의 판별(④) 단계에서 자동채점을 하지 않을 것으로 결정한 경우엔 수동 채점을 수행(⑤)한 뒤 채점 결과를 등록한다.

채점 결과가 등록되고 나면 학습 결손을 분석해서(⑥) 보충학습을 할 것인지 여부를 판별한다. 만약 보충학습이 불필요하다고 판단되면 학습을 종료하고, 필요하다고 판단되면 보충학습을 한 뒤 위 단계(①)로 되돌아 간다.

이 특허에서는 종래와 달리 모든 문항을 대상으로 즉시 채점 처리하여 학습자에게 피드백 학습이 가능하게 구성하였다. 그리고 기존 시스템에서 자동 처리 불가능했던 서술형 및/또는 논술형에 관한 채점을 학습자의 판단을 일부 유도하여 채점하고 그 결과를 컴퓨터 서버 모듈에 등록하여 결손 학습내역을 추출하여 피드백 학습이 가능하게 한 점도 이 발명의 특징이다.

이 발명의 좀 더 구체적인 학습 방법은 다음과 같다.

첫째, 단계 ①에서 서술형 및/또는 논술형 문항 출제 후 유도채점 필요 여부를 세팅한다.

둘째, 단계 ②에서 서술형 및/또는 논술형 문항이 존재하면 유도답항 제시 모듈을 호출하도록 한다.

셋째, 단계 ③에서 유도 채점이 필요한 경우 학습자가 시험을 치고 나서 다시 한 번 유도 답항을 선택하게 한다.

넷째, 단계 ④에서 유도 답항이 필요 없는 문항은 자동 채점한다.

다섯째, 서술형 및/또는 논술형 문항이 있어도 단계 ①에서 학습자가 채점하는 것으로 하지 않고, 교사가 채점하는 것으로 할 경우는 단계 ⑤ 수동 채점 기능을 통해 채점한다(스스로 학습하는 경우 외, 교사가 학습자 평가를 하고자 할 경우).

여섯째, 단계 ⑥ 채점 결과를 분석하여 학습자의 보충 유무를 판단한다.

이제 단계 ①에서 문항을 생성하는 방법에 대해 설명한다. 문항을 생성하는 방법은 유도답항이 포함된 경우와 그렇지 않은 경우의 두 가지로 나뉜다.

첫째, 유도답항이 포함된 신규 문항 생성 방법.

(가) 서술형 및/또는 논술형 문항을 만들 때 기존 생성 항목의 추가로써 유도 답항이라는 학습자 채점 항목을 선다형 답항 생성방법과 동일한 방법으로 만든다.

(나) 이 때 유도 답항은 2가지 항목을 입력해야 한다.

㉠ 항목의 내용 입력

- 선다형 문항의 답항과 유사하게 입력

- 학습자가 정답으로 생각할 수 있는 경우를 기술

- 모범 답항으로 짐작할 수 있는 문구를 가능하면 삼가야 함

㉡ 항목별 정답 유사도 입력

- 백분율로 나타냄

- 시험지 작성시 부여되는 배점에 곱하여 해당 문항의 점수로 처리

둘째, 유도답항이 없는 기존 형태의 서술형 및/또는 논술형 문항 생성 방법.

(가) 기존에 개발된 서술형 및/또는 논술형 문항이나 또는 신규 작성하더라도 유도답항을 작성하지 않았을 경우는 소프트웨어적으로 프로그램에서 특정비율의 정답 유사도를 자동 발생하도록 하여 유도답항으로 사용한다.

(나) 이때 프로그램은 유도답항 발생 경우 수를 환경적으로 설정하에 사용한다. 항목의 설정 예는 표 2와 같다.

이제 위에 기술한 방법에 따라 실제로 문항을 작성하여 보기로 한다. 표 3은 이 발명에 따라 유도답항의 내용을 학습자가 답항으로 작성할 가능성이 있는 여러 경우를 유추하여 작성하되, 그 내용을 통해 학습자가 정답을 어느 정도 아는지 짐작할 수 있도록 작성한 문항예를 보여준다. 이 예에서는, 문항을 예시하고, 이를 처리하는 과정 그리고 유도답항을 평가하는 화면으로 이루어진다.

문항예시단계에서는 먼저 문제를 제시하고, 모범답안을 마련한다. 그리고 유도답항을 다수개 준비한다. 이때 유도답항으로 정답의 적합도가 100%인 내용으로 구성된 항을 마련한다. 이 항은 채점을 위한 유사도가 100%이다. 그리고 다른 유도답항으로 정답의 적합도가 70%인 내용으로 구성된 항도 마련한다. 이 항은 채점을 위한 유사도가 70%이다. 같은 식으로 채점을 위한 유사도가 50%인 유도답항도 마련하고, 내용을 이해하지 못하고 작성한 경우 즉 채점을 위한 유사도가 0%인 유도답항도 마련한다.

처리과정은 문제풀이 ⇒ 제출 ⇒ 유도답항 평가 ⇒ 채점결과 등록의 순서로 이루어지도록 한다.

그리고 유도답항의 평가화면은 문제를 풀 때의 화면과 제출 후의 화면으로 구분된다. 문제를 풀 때의 화면은 문제를 제시하고, 이에 대해 학습자가 자신의 답안을 기술할 수 있는 공간을 제공한다.

이에 비해 제출후 화면은 문제를 제시하고, 학습자답안 기재 공간을 제공하는 것은 같으나, 이 외에 다수개의 유도답항을 제시한다. 이때 특징은 학습자의 답안은 보여주지만 모범답안은 보여주지 않는다는 점이다. 그리고 이 단계에서는 학습자는 답을 수정할 수 없다.

표 4는 유도답항이 없이 모범답안만 존재하는 문항을 작성하는 예를 보여준다. 이 예에서는 모범답안의 내용과 학습자가 작성한 답안의 내용을 학습자 스스로 비교하여 정답 유사도의 자가 채점을 통하여 데이터베이스에 등록하도록 하는 것이 특징이다. 즉 표 3의 예와 다른 점은 문항예시 단계에서 유도답항이 제공되지 않는 점이다. 처리 단계에서는 제출과정 다음에 시스템 자동 유도답항 발생과정이 추가된다는 것이 차이점이다. 그리고 유도답항 평가화면에서는 문제풀이시는 표 3의 예와 같고, 제출후 화면구성에서는 문제와 학습자답안 사이에 모범답안이 마련되어 제공된다는 점이다. 유도답항도 표 3과는 다소 다르다. 즉 이 경우엔 유도답항으로 내용이 100% 일치하는 것, 내용이 50% 이상 일치하는 것, 내용이 10 ~ 50% 일치하는 것 및 전혀 일치하지 않는 것이 제공된다.

아울러 제출후 화면에서 학습자는 유도답항을 선택하는 일 외에 학습자답안을 고치는 등의 일은 할 수 없다.

이 발명에서 기타 고려해야할 사항으로는 기존 문항과 신규문항의 처리 문제 및 유도 답항이 있는 경우의 학습자의 차이에 대한 문제점이 있다. 즉 이 발명에서는 유도답항의 유무에 따라 기존문항과 신규문항을 유형으로 구분하여 처리하여야 한다. 그리고 유도답항이 존재하는 경우에는 학습자의 유도답항에 의한 자가채점시 모범답안은 제시되지 않는다. 하지만 유도답항이 존재하지 않고 시스템이 자동적으로 유도문항을 발생시키는 경우가 있다. 이 경우엔 유도답항에 의한 자가채점시 모법답안, 학습자답안, 유도답항이 모두 보여지고, 학습자는 모범답안과 자신이 답한 내용을 비교하여 유도답항의 내용 중 1개를 선택한다.

이처럼 이 발명은 다양하게 변형될 수 있고 여러 가지 형태를 취할 수 있으며 상기 발명의 상세한 설명에서는 그에 따른 특별한 실시예에 대해서만 기술하였다. 하지만 이 발명은 상기 발명의 상세한 설명에서 언급된 특별한 형태로 한정되는 것이 아닌 것으로 이해되어야 하며, 오히려 첨부된 청구범위에 의해 정의되는 이 발명의 정신과 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.

이 발명의 실시에 의해 기대되는 효과는 다음과 같다:

첫째, 온라인 피드백 학습 및 맞춤식 학습이 가능하다.

둘째, 온라인 상에서 학습자의 결손학습 유무를 선다형, 진위형, 단답형, 완성형, 서술형 및/또는 논술형 문항에 대해서도 자동채점이 가능하다.

셋째, 주관식 문제에 대해 실시간 자동 채점이 가능하므로 학습자의 자가학습 욕구를 충족시켜줄 수 있다.

넷째, 결손학습을 위해 보충학습 과정이 제공된다.

Claims (10)

1. 시스템 제공자가 제공하는 온라인 학습 시스템을 통해 학습자가 특정 교과 내용(이하 '대상학습'이라 함)에 대해 시스템이 제공하는 대상학습의 교과내용에 따라 스스로 학습을 하는 자가학습 시스템에 있어서,

   (i) 시스템 제공자가 객관식 및/또는 주관식 대상학습 평가 문항, 모범답안 및 유도답항을 미리 준비하여 시스템의 서버 모듈에 저장하는 단계;

   (ii) 학습자가 시스템이 제공하는 대상학습의 교과내용에 따라 학습하는 단계;

   (iii) 학습을 마친 학습자가 온라인 평가를 원하는 경우 화면상에서 해당 버튼을 누르면 시스템이 제공하는 대상학습 평가 문항을 통해 온라인으로 문제를 풀고 시스템의 요구에 따라 답안을 작성하여 시스템으로 전송하는 온라인 평가 단계;

   (iv) 위 대상학습 평가 문항이 서술형 및/또는 논술형 문항인 경우 위 온라인 평가가 끝나면 학습자는 시스템에 유도채점을 의뢰할지 여부를 결정하는 단계;

   (v) 만약 위 결정단계에서 학습자가 유도채점을 의뢰하기로 결정하면 시스템은 유도답항을 제시하고 자가채점을 수행하여 학습자의 학습능력을 평가하는 단계;

   (vi) 만약 위 결정단계에서 평가 문항이 객관식 문항이거나 학습자가 유도채점을 하지 않기로 결정하면 시스템은 자동채점을 수행하는 단계;

   (vii) 위 자동채점의 수행이 완료되거나 위 유도답항 제시에 의한 평가가 완료된 경우 해당 채점결과를 서버 모듈에 등록하는 단계;

   (viii) 위 등록된 채점결과에 의해 시스템이 결손학습 내역을 추출하여 학습 결손내용을 분석하는 단계;

   (ix) 위 결손내용 분석 결과에 따라 시스템이 보충학습의 시행 여부를 결정하는 단계; 및

   (x) 위 결정결과 보충학습을 하지 않기로 한 경우 학습을 종료하고 그렇지 않은 경우 피드백 학습을 위해 보충학습을 수행하고 난 뒤 학습의 처음 단계(i)로 되돌아가는 단계를 구비하여 이루어지는, 주관식 문항 자동 채점을 통한 자가학습 시스템.
2. 제 1 항에 있어서, 위 단계(vi)는,

   (vi-1) 학습자가 서술형 및/또는 논술형을 포함한 주관식 문항에 대해 자동채점을 의뢰할 것인지 여부를 결정하는 단계; 및

   (vi-2) 만약 학습자가 자동채점을 의뢰하지 않기로 결정하면 시스템은 수동채점을 수행하는 단계를 포함하는, 주관식 문항 자동 채점을 통한 자가학습 시스템.
3. 제 1 항에 있어서, 위 단계(i)에서 서술형 및/또는 논술형 문항의 출제시에 유도채점의 필요성 여부를 설정하는 것이 특징인, 주관식 문항 자동 채점을 통한 자가학습 시스템.
4. 제 1 항에 있어서, 위 단계(v)에서 학습자가 시험을 치르고 나서 다시 한번 유도 답항을 선택하도록 하는 것이 특징인, 주관식 문항 자동 채점을 통한 자가학습 시스템.
5. 제 1 항에 있어서, 이 시스템에서 사용할 유도답항이 포함된 주관식 문항 생성 방법은,

   (a) 서술형 및/또는 논술형 문항을 만들 때 기존 생성 항목을 추가함으로써 유도 답항이라는 학습자 채점 항목을 통상적인 선다형 답항 생성방법과 동일한 방법으로 만드는 단계; 및

   (b) 위 유도답항에 항목의 내용 및 항목별 정답 유사도를 입력하는 단계를 포함하여 이루어지고,

   위 유도답항에 항목의 내용을 입력하는 단계는,

   (b-1) 선다형 문항의 답항과 유사하게 입력하는 단계;

   (b-2) 학습자가 정답으로 생각할 수 있는 경우를 기술하는 단계; 및

   (b-3) 모범 답항으로 짐작할 수 있는 문구를 가능한한 배제하는 단계를 구비하여 이루어지고,

   위 항목별 정답 유사도를 입력하는 단계는,

   (b-4) 백분율로 나타내는 단계; 및

   (b-5) 시험지 작성시 부여되는 배점에 곱하여 해당 문항의 점수로 처리하는 단계를 구비하여 이루어지는 것이 특징인, 주관식 문항 자동 채점을 통한 자가학습 시스템.
6. 제 1 항에 있어서, 이 시스템에서 사용할 유도답항이 포함되지 않은 주관식 문항 생성 방법은,

   (c) 기존에 개발된 서술형 및/또는 논술형 문항이나 또는 신규 작성하더라도 유도답항을 작성하지 않았을 경우는 소프트웨어적으로 프로그램에서 특정비율의 정답 유사도를 자동 발생하도록 하여 유도답항으로 사용하는 단계; 및

   (d) 위 단계에서 유도답항으로 사용하는 경우 시스템은 유도답항이 발생하는 경우의 수를 환경적으로 설정하여 사용하는 단계를 포함하여 이루어지며,

   이때 위 단계(d)의 수행시 항목의 구분은 정답과 일치도의 구분을 정·오만 으로 구분하거나 또는 정답 이외에 일치도를 여러 단계로 나누어서 구분하는 것이 특징인, 주관식 문항 자동 채점을 통한 자가학습 시스템.
7. 제 1 항에 있어서, 위 유도답항의 작성시 유도답항의 내용을 학습자가 답항으로 작성할 가능성이 있는 여러 경우를 유추하여 작성하되, 그 내용을 통해 학습자가 정답을 어느 정도 아는지 짐작할 수 있도록 작성하는 것이 특징인, 주관식 문항 자동 채점을 통한 자가학습 시스템.
8. 제 1 항에 있어서, 유도답항이 별도로 존재하는 경우의 유도답항에 의한 자가채점시 학습자에게 문제, 학습자의 답안 및 유도답항은 보여주지만 모범답안은 보여주지 않는 것이 특징인, 주관식 문항 자동 채점을 통한 자가학습 시스템.
9. 제 1 항에 있어서, 유도답항이 별도로 존재하지 않고 시스템이 필요에 따라 자동적으로 발생시키는 경우의 유도답항에 의한 자가채점시 학습자에게 문제, 학습자의 답안, 모범답안 및 유도답항을 같이 보여주고, 학습자는 모범답안과 자신이 답한 내용을 비교하여 유도답항의 내용 가운데 하나를 선택하는 것이 특징인, 주관식 문항 자동 채점을 통한 자가학습 시스템.
10. 제 1 항에 있어서, 기존문항과 신규문항을 유도답항의 유무에 따른 유형으로 구분하여 처리하는 것이 특징인, 주관식 문항 자동 채점을 통한 자가학습 시스템.

Images