KR101023540B1 - 가변되는 메타정보를 활용한 시험결과 분석평가방법 - Google Patents

가변되는 메타정보를 활용한 시험결과 분석평가방법 Download PDF

Info

Publication number
KR101023540B1
KR101023540B1 KR1020100058352A KR20100058352A KR101023540B1 KR 101023540 B1 KR101023540 B1 KR 101023540B1 KR 1020100058352 A KR1020100058352 A KR 1020100058352A KR 20100058352 A KR20100058352 A KR 20100058352A KR 101023540 B1 KR101023540 B1 KR 101023540B1
Authority
KR
South Korea
Prior art keywords
information
test
answer
learner
question
Prior art date
Application number
KR1020100058352A
Other languages
English (en)
Inventor
안남재
Original Assignee
(주)오투라인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)오투라인 filed Critical (주)오투라인
Priority to KR1020100058352A priority Critical patent/KR101023540B1/ko
Application granted granted Critical
Publication of KR101023540B1 publication Critical patent/KR101023540B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로서, 더욱 상세하게는, 시험문제의 속성 또는 시험문제에 답변하는 학습자의 속성 중 하나 이상을 내포하는 메타정보를 시험문제에 설정하고; 다수의 시험문제를 추출하여 하나 이상의 학습자에 제공하여 시험결과에 대한 정보를 수집하고; 학습자가 다수의 시험문제에 답변한 답변정보와 메타정보의 매칭 여부로 학습자의 시험결과를 분석하고; 학습자의 시험결과를 분석한 분석정보를 메타정보에 반영하여 메타정보를 수정하는; 가변되는 메타정보를 활용한 시험결과 분석평가방법을 제공하는 것을 목적으로 한다.
상기와 같은 본 발명에 따르면, 학습자(피험자)의 학습능력을 객관적으로 정확하게 평가할 수 있어 맞춤교육이 이루어질 수 있고, 특히 학습자 중심의 맞춤 교육이 가능한 장점이 있다. 또한, 학습자가 자신의 능력 정도를 정확하게 파악할 수 있어 능력에 맞는 학습 또는 진로를 선택할 수 있게 도움을 주는 효과가 있다.

Description

가변되는 메타정보를 활용한 시험결과 분석평가방법{Method for evaluating the analysis of test result using variable metadata}
본 발명은 학습자(피험자)들을 합리적으로 측정, 평가, 진단하여 학습자별로 최적의 시험결과 분석 및 평가 정보를 제공하는 가변되는 메타정보를 활용한 시험결과 분석평가방법에 관한 것이다.
일반적으로, 시험의 종류는 문제 및 문제별로 여러 선택지(보기)를 제시하고 해당 문제의 답을 여러 선택지에서 선택하도록 하는 선다형 객관식, 문제를 제시하고 해당 문제의 간단한 답을 쓰도록 하는 단답형 주관식, 및 제시된 문제를 보고 자신의 의견 등을 장문의 글로 쓰도록 하는 논술형 주관식으로 구분할 수 있다.
논술형 주관식은 시험 응시자의 특성과 지식의 정도를 정확히 파악할 수 있는 장점이 있지만, 채점자가 시험 응시자의 답안을 읽고 이해하는 데에 많은 시간이 소요되며 채점하는 과정에서 채점자의 주관적인 견해에 의해 동일한 답안에서 점수가 다르게 나오는 문제점이 발생한다.
단답형 주관식은 논술형 주관식과는 달리 채점자의 주관에 의한 영향이 비교적 적게 나타나며, 시험 응시자가 정확한 답을 알아야 문제의 답을 쓸 수 있어 답을 모르는 상태에서 운으로 정답을 맞추는 경우가 거의 없다. 하지만, 문제 하나하나를 파악하여 정확히 답을 기재하였는지를 채점자가 직접 파악하여야 하므로 채점시간이 많이 소요된다.
그리고 선다형 객관식은 상기의 논술형 주관식과 단답형 주관식과는 달리 문제를 파악하고 문제와 같이 제시된 번호가 붙어 있는 여러 선택지(보기)들 중에서 하나의 선택지를 선택하도록 하는 것으로서, 시험 응시자가 해당 문제의 답이라고 여기는 선택지에 해당하는 번호를 OMR 카드 등에 기록하면 그 기록된 결과를 컴퓨터를 이용하여 파악하고 채점을 할 수 있어 채점하는 과정이 매우 짧게 걸려 시험 응시 직후 응시자가 시험 점수를 알 수 있다.
현재, 이러한 여러 종류의 시험 방식 중에서 많은 사람이 동시에 시험에 응시할 수 있고 채점이 편리하다는 이유 등으로 인해 주로 선다형 객관식이 많이 채택되고 있다. 하지만, 선다형 객관식의 경우 일괄적인 정답 또는 오답 처리로 학습자의 잠재적 능력을 적절히 평가할 수 없는 문제가 있다.
또한, 시험문제가 학습자들에게 노출되는 빈도가 높은 수록 정답을 맞출 확률이 높아져 미리 설정되어 있는 난이도의 신뢰성이 문제될 수도 있다.
본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로서, 더욱 상세하게는, 시험문제의 속성 또는 시험문제에 답변하는 학습자의 속성 중 하나 이상을 내포하는 메타정보를 시험문제에 설정하고; 다수의 시험문제를 추출하여 하나 이상의 학습자에 제공하여 시험결과에 대한 정보를 수집하고; 학습자가 다수의 시험문제에 답변한 답변정보와 메타정보의 매칭 여부로 학습자의 시험결과를 분석하고; 학습자의 시험결과를 분석한 분석정보를 메타정보에 반영하여 메타정보를 수정하는; 가변되는 메타정보를 활용한 시험결과 분석평가방법을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 가변되는 메타정보를 활용한 시험결과 분석평가방법은, 상기 평가서버(10)가 입력되는 시험문제의 속성 또는 시험문제에 답변하는 학습자의 속성 중 하나 이상을 내포하는 메타정보(I1)를 시험문제(P1)에 설정하면서 문제 데이터베이스(4)에 저장하는 메타정보 설정단계(S3); 상기 사용자 단말기(2)의 요청에 의해, 상기 평가서버(10)가 상기 문제 데이터베이스(4)에서 다수의 시험문제(P1)를 추출하여 하나 이상의 사용자 단말기(2)에 제공하여 시험결과에 대한 정보를 수집하는 학습자 시험단계(S4); 상기 평가서버(10)가 상기 사용자 단말기(2)로부터 학습자가 상기 다수의 시험문제(P1)에 답변한 답변정보(T1)를 인가받아, 상기 답변정보(T1) 및 상기 메타정보(I1)의 매칭 여부로 학습자의 시험결과를 분석하는 시험결과 분석단계(S5); 및 상기 평가서버(10)는 학습자의 시험결과를 분석한 분석정보(I2)를 상기 메타정보(I1)에 반영하여 상기 메타정보(I1)를 수정하는 메타정보 검토단계(S6);를 포함하는 것을 특징으로 한다.
이 경우, 상기 메타정보(I1)는, 상기 시험문제의 객관식 발문에 종속되는 보기에 설정되는 정답 또는 오답에 대한 시험문제의 속성을 내포하거나, 상기 시험문제의 주관식 발문의 정답에 대한 시험문제의 속성을 내포하는 답안정보(I1-1); 상기 시험문제의 정답률 또는 오답률의 범위인 난이도에 대한 시험문제의 속성을 내포하는 난이도정보(I1-2); 시험문제에 답변하는 학습자가 속한 성적그룹의 상기 시험문제에 대한 정답률 또는 오답률의 범위에 대한 학습자의 속성을 내포하는 학습자 집단정보(I1-3); 또는 시험문제에 답변하는 학습자가 속한 학습지역의 상기 시험문제에 대한 정답률 또는 오답률의 범위에 대한 학습자의 속성을 내포하는 학습자 지역정보(I1-4); 중 하나 이상으로 형성되는 것을 특징으로 한다.
본 발명의 제1실시예에 따른 상기 시험결과 분석단계(S5)는, 상기 시험문제에 대한 다수의 학습자의 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률이 상기 난이도정보(I1-2)의 정답률 또는 오답률 범위에 매칭되는지 분석하는 것을 특징으로 한다.
본 발명의 제2실시예에 따른 상기 시험결과 분석단계(S5)는, 상기 시험문제에 대한 다수의 학습자의 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률이 상기 학습자 집단정보(I1-3)의 정답률 또는 오답률 범위에 매칭되는지 분석하는 것을 특징으로 한다.
본 발명의 제3실시예에 따른 상기 시험결과 분석단계(S5)는, 상기 시험문제에 대한 다수의 학습자의 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률이 상기 학습자 지역정보(I1-4)의 정답률 또는 오답률 범위에 매칭되는지 분석하는 것을 특징으로 한다.
본 발명의 상기 메타정보 검토단계(S6)는, 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률이 상기 메타정보(I1)의 정답률 또는 오답률 범위에 매칭되지 않으면, 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률로 상기 시험문제(P1)에 설정된 메타정보(I1)를 수정하는 것을 특징으로 한다.
나아가, 상기 메타정보(I1)는, 상기 시험문제의 주관식 발문의 정답으로 설정되는 발문정답, 발문오답, 또는 발문유사정답에 대한 속성을 내포하는 문제의 속성인 상기 답안정보(I1-1)를 포함하고; 다수의 시험문제 대한 학습자의 상기 답변정보(T1)가, 상기 답안정보(I1-1)에 매칭 패턴으로 상기 학습자의 시험결과를 평가하는 평가단계(S7)를 더 포함하는 것을; 특징으로 한다.
또한, 본 발명에 따른 상기 메타정보(I1)는, 상기 시험문제의 발문 보기에 설정되는 정답보기, 오답보기, 또는 정답유사보기에 대한 속성을 내포하는 문제의 속성인 답안정보(I1-1)를 포함하고; 다수의 시험문제 대한 학습자의 상기 답변정보(T1)가, 상기 답안정보(I1-1)에 매칭 패턴으로 상기 학습자의 시험결과를 평가하는 평가단계(S7)를 더 포함하는 것을; 특징으로 한다.
상기 평가단계(S7)는, 상기 학습자의 과목별 성적 분석, 과목별 학습자 집단별 성적 분석, 유형별 성적 분석, 또는 행동영역별 성적 분석 중 하나 이상을 포함하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 학습자(피험자)의 학습능력을 객관적으로 정확하게 평가할 수 있어 맞춤교육이 이루어질 수 있고, 특히 학습자 중심의 맞춤 교육이 가능한 장점이 있다. 또한, 학습자가 자신의 능력 정도를 정확하게 파악할 수 있어 능력에 맞는 학습 또는 진로를 선택할 수 있게 도움을 주는 효과가 있다.
도 1은 본 발명의 가변되는 메타정보를 활용한 시험결과 분석평가방법을 위한 시스템 구성도이다.
도 2는 본 발명의 가변되는 메타정보를 활용한 시험결과 분석평가방법의 절차 흐름도이다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하면 다음과 같다.
도 1은 본 발명의 가변되는 메타정보를 활용한 시험결과 분석평가방법을 위한 시스템 구성도이고, 도 2는 본 발명의 가변되는 메타정보를 활용한 시험결과 분석평가방법의 절차 흐름도이다.
도 1 및 도 2를 참조하여 이하 설명한다.
본 발명은, 시험문제에 대한 정보를 저장하는 문제 데이터베이스(4)를 구비하고, 학원, 교사, 또는 학습자의 사용자 단말기(2)와 통신하는 평가서버(10)에서 실행되는 메타정보를 활용한 시험결과 분석평가방법으로서, 상기 평가서버(10)가 입력되는 시험문제의 속성 또는 시험문제에 답변하는 학습자의 속성 중 하나 이상을 내포하는 메타정보(I1)를 시험문제(P1)에 설정하면서 문제 데이터베이스(4)에 저장하는 메타정보 설정단계(S3); 상기 사용자 단말기(2)의 요청에 의해, 상기 평가서버(10)가 상기 문제 데이터베이스(4)에서 다수의 시험문제(P1)를 추출하여 하나 이상의 사용자 단말기(2)에 제공하여 시험결과에 대한 정보를 수집하는 학습자 시험단계(S4); 상기 평가서버(10)가 상기 사용자 단말기(2)로부터 학습자가 상기 다수의 시험문제(P1)에 답변한 답변정보(T1)를 인가받아, 상기 답변정보(T1) 및 상기 메타정보(I1)의 매칭 여부로 학습자의 시험결과를 분석하는 시험결과 분석단계(S5); 및 상기 평가서버(10)는 학습자의 시험결과를 분석한 분석정보(I2)를 상기 메타정보(I1)에 반영하여 상기 메타정보(I1)를 수정하는 메타정보 검토단계(S6);를 포함하는 것을 특징으로 한다.
본 발명은 가변되는 메타정보를 활용한 시험결과 분석평가방법을 위해, 본 발명은 평가서버(10)로 구동되는 웹사이트에 회원으로 가입된 교사 또는 학원의 사용자 단말기(2)를 통해 시험문제를 입력받아, 문제 데이터베이스(4)에 저장하면서 시험문제를 수집하는 시험문제 수집단계(S1)를 포함할 수 있다.
시험문제의 수집, 분류 및 시험문제에 메타정보의 설정은 평가서버(10)에 구비되는 시험문제 관리모듈(12)이 담당할 수 있다.
이때, 시험문제 수집단계(S1)는 시험문제 관리모듈(12)에 구비되는 시험문제 수집부(14)를 통해 수행될 수 있다.
문제 데이터베이스(4)는 평가서버(10) 내에 구축될 수 있다. 또는 데이터 처리의 과부하를 방지하기 위해 평가서버(10)와 별도로 동원되어 데이터 처리 속도를 향상할 수도 있다.
시험문제 관리모듈(12)에 구비되는 시험문제 분류부(16)는 수집된 시험문제를 과목별 기준, 학습자 집단별 기준, 유형별 기준, 행동영역별 기준 또는 문제별 기준 중 어느 하나 이상의 기준으로 분류하면서 시험문제 분류단계(S2)를 수행할 수 있다.
상기 과목별 기준, 학습자 집단별 기준, 유형별 기준, 행동영역별 기준 또는 문제별 기준은 후술하는 학습자의 시험결과의 평가에 다양한 분석자료로 활용될 수 있다.
시험문제 분류부(16)는 수학과목, 영어과목, 국어과목 등의 과목별 기준에 따라 수집된 시험문제를 분류할 수 있다.
또한, 시험문제 분류부(16)는 상위그룹, 중간그룹, 및 하위그룹 등의 학습자 집단별 기준으로 수집된 시험문제를 분류할 수 있다.
또한, 시험문제 분류부(16)는 수학과목으로 수집된 시험문제를 후술하는 [표 3]에 나타난 "유리수와 소수" 및 "유리수와 순환소수" 등의 유형별 기준으로 분류할 수 있다.
또한, 시험문제 분류부(16)는 수학과목으로 수집된 시험문제를 [표 1]에 나타난 "계산력", "이해력", "추론력" 및 "문제해결력" 등의 행동영역별 기준으로 분류할 수 있다.
난이도
(정답률)		 A (-20%) B(-40%) C(-60%) D(-80%) E(80% 이상) 계
기준 문제1 기준 문제2 기준 문제3 기준 문제4 기준 문제5 문제 배점
계산력
이해력
추론력
문제해결력
총계
또한, 시험문제 분류부(16)는 [표 1]에 국한되지 않고, [표 2]에 나타난 바와 같이 국어과목, 영어과목, 과학과목, 사회과목에 대해서도 행동영역별 기준으로 수집된 시험문제를 분류할 수 있다.
코드 과목명 코드 행동영역
1 국어 11 어휘어법능력
12 사실적 사고능력
13 추론적 사고능력
14 비판적 사고능력
15 창의적 사고능력
3 영어 11 어휘능력
12 문법능력
13 독해능력
14
15
2 수학 11 계산력
12 이해력
13 추론능력
14 문제해결능력
15
16
5 과학 11 지식이해
12 지식적용능력
13 탐구 설계능력
14 결과분석능력
15
16
4 사회 11 지식이해능력
12 문제해결능력
13 의사소통능력
14
상기 평가서버(10)에 구비되는 메타정보 설정부(18)는 입력되는 시험문제의 속성 또는 입력되는 시험문제에 답변하는 학습자의 속성 중 하나 이상을 내포하는 메타정보(I1)를 시험문제(P1)에 설정하고 문제 데이터베이스(4)에 저장하면서 메타정보 설정단계(S3)를 수행할 수 있다.
상기 메타정보 설정부(18)를 통해 시험문제 설정되는 메타정보는 시험문제 수집부(14)에 입력되는 시험문제에 종속되고, 문제의 답안정보(I1-1), 난이도정보(I1-2), 학습자 집단정보(I1-3) 또는 학습자 지역정보(I1-4) 중 하나 이상을 포함할 수 있다.
교사 또는 학원의 사용자 단말기(2)로부터 입력되는 메타정보는 인터넷 등의 네트워크를 통해 시험문제 수집부(14)에 전달되고, 메타정보 설정부(18)는 시험문제 수집부(14)로부터 메타정보를 인가받아 시험문제의 고유 정보로 설정한다.
본 발명의 상기 메타정보(I1)는, 상기 시험문제의 객관식 발문에 종속되는 보기에 설정되는 정답 또는 오답에 대한 시험문제의 속성을 내포하거나, 상기 시험문제의 주관식 발문의 정답에 대한 시험문제의 속성을 내포하는 답안정보(I1-1); 상기 시험문제의 정답률 또는 오답률의 범위인 난이도에 대한 시험문제의 속성을 내포하는 난이도정보(I1-2); 시험문제에 답변하는 학습자가 속한 성적그룹의 상기 시험문제에 대한 정답률 또는 오답률의 범위에 대한 학습자의 속성을 내포하는 학습자 집단정보(I1-3); 또는 시험문제에 답변하는 학습자가 속한 학습지역의 상기 시험문제에 대한 정답률 또는 오답률의 범위에 대한 학습자의 속성을 내포하는 학습자 지역정보(I1-4); 중 하나 이상으로 형성되는 것을 특징으로 한다.
답안정보(I1-1)는 상기 시험문제의 발문에 종속되는 보기에 설정되는 정답 또는 오답에 대한 시험문제의 속성을 내포한다.
이를 위해 답안정보(I1-1)는 객관식 시험문제의 발문, 객관식 시험문제의 보기, 보기에 설정되는 정답 또는 오답에 관한 정보를 포함할 수 있다.
후술하는 바와 같이 답안정보(I1-1)는, 시험문제의 정답에 대한 정답보기 정보, 시험문제의 오답에 대한 오답보기 정보, 및 오답보기 정보 중 정답에 유사한 오답에 대한 정답유사보기 정보로 형성될 수 있다.
또한, 답안정보(I1-1)는 주관식 시험문제의 발문, 주관식 시험문제의 정답으로 설정되는 발문정답, 발문오답, 또는 발문유사정답에 대한 속성을 내포하는 문제의 속성인 상기 답안정보(I1-1)를 포함할 수 있다.
정답유사보기 정보 및 발문유사정답에 대한 정보를 통해 후술할 평가단계(S7)에서 시험문제를 푼 학습자의 능력 향상가능성을 평가할 수 있다.
난이도정보(I1-2)는 상기 시험문제의 정답률 또는 오답률의 범위인 난이도에 대한 시험문제의 속성을 내포할 수 있다.
예를 들어 [표 1]에서와 같이 수학과목의 각 문제당 정답률이 난이도정보(I1-2)로 설정될 수 있다. 즉, 정답률의 범위가 [표 1]에서와 같이 20% 미만(난이도 A), 20% 이상 40% 미만(난이도 B), 40% 이상 60% 미만(난이도 C), 60% 이상 80% 미만(난이도 D), 및 80% 이상(난이도 E)으로 구분될 수 있다. 하지만, 정답률의 범위가 [표 1]에 예시된 바에 국한되지 않고 다양한 범위로 설정될 수 있음은 당연하다.
학습자 집단정보(I1-3)는 시험문제에 답변하는 학습자가 속한 성적그룹의 상기 시험문제에 대한 정답률 또는 오답률의 범위에 대한 학습자의 속성을 내포할 수 있다.
예를 들어, 학습자의 성적으로 분류되는 집단인 상위그룹, 중간그룹 및 하위그룹에 관한 정보가 학습자 집단정보(I1-3)에 형성될 수 있다. [표 1]에 나타난 정답률은 중간그룹의 정답률로 활용할 수 있다. 하지만, 이에 국한하지 않고 다양한 학습자 집단정보(I1-3)가 설정될 수 있음은 당연하다.
학습자 지역정보(I1-4)는 시험문제에 답변하는 학습자가 속한 학습지역의 상기 시험문제에 대한 정답률 또는 오답률의 범위에 대한 학습자의 속성을 내포할 수 있다.
예를 들어 [표 1]에서와 같이 수학과목의 각 문제당 정답률이 수도권에 해당하는 학습지역의 속성을 내포하는 학습자 지역정보(I1-4)로 설정될 수 있다.
상기 평가서버(10)에 구비되는 문제지 제공모듈(20)은 사용자 단말기(2)의 요청에 의해, 상기 문제 데이터베이스(4)에서 다수의 상기 시험문제(P1)를 추출하여 하나 이상의 학습자 단말기(2a)에 제공하여 시험결과에 대한 정보를 수집하면서 학습자 시험단계(S4)를 수행할 수 있다.
이를 위한, 학습자 시험단계(S4)는, 상기 문제 데이터베이스(4)로부터 시험문제의 주관식 발문, 또는 객관식 발문 및 보기를 추출하여 평가를 위한 문제지를 생성하는 문제지 생성단계(S41); 생성된 문제지를 교사, 학원 등의 평가자 또는 학습자의 사용자 단말기(2)로 전송하는 문제지 전송단계(S42); 상기 생성된 문제지에 대한 복수의 학습자의 시험 결과를 상기 사용자 단말기(2)로부터 수신하는 시험결과 수신단계(S43); 및 학습자별 시험결과를 학습자의 신상정보가 저장되어 있는 회원 데이터베이스(6)에 저장하는 시험결과 저장단계(S44);를 포함할 수 있다.
문제지 제공모듈(20)에 구비되는 문제지 생성부(22)는 상기 문제 데이터베이스(4)로부터 시험문제의 주관식 발문, 또는 객관식 발문 및 보기를 추출하여 평가를 위한 문제지를 생성하면서 문제지 생성단계(S41)를 수행하는데, 이 과정에서 시험문제에 대한 해당속성을 포함하는 메타정보도 동시에 추출되는 것이 바람직하다.
나아가 문제지 생성부(22)는 다수의 학습자가 동시에 시험을 치를 경우에 다수의 학습자에게 제공되는 문제는 상호 동일한 번호순으로 제시되지만, 각 학습자의 문제에 종속된 보기 배열이 뒤섞이게 할 수도 있다.
또한, 문제지 생성부(22)는 문제의 보기 배열의 뒤섞음에서 나아가 문제의 순서 및 각 문제의 보기배열을 함께 뒤섞을 수도 있다.
문제지 제공모듈(20)에 구비되는 문제지 전송부(24)는 생성된 문제지를 상기 평가자 단말기(2b) 또는 학습자 단말기(2a)로 전송하면서 문제지 전송단계(S42)를 수행한다.
평가자 또는 학습자의 사용자 단말기(2)로 전송된 문제지는 사용자 단말기(2)에 구현가능한 통상의 디스플레이 수단으로 평가자 또는 사용자가 확인하면서 시험을 치를 수 있다.
문제지 제공모듈(20)에 구비되는 시험결과 수신부(26)는 사용자 단말기(2)로부터 문제에 대한 답변정보(T1)를 포함하는 시험결과에 대한 정보를 수신하면서 시험결과 수신단계(S43)를 수행할 수 있다.
시험결과 수신부(26)가 수신할 수 있는 답변정보(T1)에는 과목코드, 과목코드의 문제지 ID, 문제지 ID에 소속된 시험 응시자수별 문제지 번호 등이 포함될 수 있다.
상기 평가서버(10)에 구비되는 시험성적 분석모듈(30)이 상기 사용자 단말기(2)로부터 학습자가 다수의 상기 시험문제(P1)에 답변한 답변정보(T1)를 인가받아, 상기 답변정보(T1) 및 상기 메타정보(I1)의 매칭 여부로 학습자의 시험결과를 분석하면서 시험결과 분석단계(S5)를 수행할 수 있다.
이하, 본 발명에 따른 가변되는 메타정보를 활용한 시험결과 분석평가방법에 따른 시험결과 분석단계의 제1실시예를 설명한다.
상기 시험결과 분석단계(S5)의 제1실시예는, 상기 시험문제에 대한 다수의 학습자의 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률이 상기 난이도정보(I1-2)의 정답률 또는 오답률 범위에 매칭되는지 분석하는 것을 특징으로 한다.
이를 위해 먼저 시험성적 분석모듈(30)에 구비되는 데이터 독출부(32)는 문제 데이터베이스(4)에서 문제지에 포함된 시험문제에 해당하는 답안정보(I1-1)를 독출한다.
다음, 시험성적 분석모듈(30)에 구비되는 채점부(34)는 상기 사용자 단말기(2)에서 전달받은 답변정보(T1)를 시험문제의 정답과 비교하여 채점한다.
채점부(34)는 독출된 답안정보(I1-1)와 수신된 답변정보(T1)와 일치 여부를 통해 각각의 시험문제를 채점하게 된다.
다음, 시험성적 분석모듈(30)에 구비되는 데이터 분석부(36)는 다수의 학습자의 답변정보(T1)를 통해 집계되는 정답률 또는 오답률의 범위가 난이도정보(I1-2)에 매칭되는지 분석하게 된다.
예를 들어, 다수의 학습자에 의해 수학과목에 대한 시험이 치러졌고, [표 1]에 나타난 바와 같은 5개 문제에 대한 답변정보(T1)가 시험결과 수신부(26)에서 수신되는 경우를 들어 설명한다.
"문제 2"의 정답률 범위에 대한 답안정보(I1-1)는 20% 이상 40% 미만으로 설정되어 있고, 다수의 학습자의 "문제 2"에 대한 답변정보(T1) 중 정답률이 20% 이상 40% 미만에 포함되면 다수의 학습자의 답변정보가 "문제 2"의 난이도정보(I1-2)에 일치되는 매칭패턴으로 분석될 수 있다.
만약, 다수의 학습자의 "문제 2"에 대한 답변정보(T1) 중 정답률이 40% 이상 또는 20% 미만으로 데이터 분석부(36)를 통해 분석되는 경우, 다수의 학습자의 답변정보가 "문제 2"의 난이도정보(I1-2)에 일치되지 않는 매칭패턴으로 분석될 수 있다.
상기 시험성적 분석모듈(30)에 구비되는 메타정보 수정부(38)는 학습자의 시험성적을 분석한 분석정보(I2)를 상기 메타정보(I1)에 반영하여 상기 메타정보(I1)를 수정하면서 메타정보 검토단계(S6)를 수행한다.
즉, 메타정보 수정부(38)는 데이터 분석부(36)로부터 학습자의 시험성적을 분석한 분석정보(I2)를 인가받아, 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률이 상기 난이도정보(I1-2)의 정답률 또는 오답률 범위에 매칭되지 않으면, 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률로 상기 시험문제(P1)에 설정된 난이도정보(I1-2)를 수정하면서 메타정보 검토단계(S6)를 수행하게 된다.
이를 통해, 평가서버(10)는 시험문제의 답변정보(T1)를 통해 시험문제의 난이도를 수정 또는 재조정할 수 있다.
이하, 본 발명에 따른 가변되는 메타정보를 활용한 시험결과 분석평가방법에 따른 시험결과 분석단계의 제2실시예를 설명한다.
상기 시험결과 분석단계(S5)의 제2실시예는, 상기 시험문제에 대한 다수의 학습자의 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률이 상기 학습자 집단정보(I1-3)의 정답률 또는 오답률 범위에 매칭되는지 분석하는 것을 특징으로 한다.
이 경우, 데이터 독출부(32)는 문제 데이터베이스(4)에서 문제지에 포함된 시험문제에 해당하는 답안정보(I1-1) 및 학습자 집단정보(I1-3)를 독출한다.
다음, 채점부(34)는 상기 사용자 단말기(2)에서 전달받은 답변정보(T1)를 시험문제의 정답과 비교하여 채점한다. 채점부(34)는 독출된 답안정보(I1-1)와 수신된 답변정보(T1)와 일치 여부를 통해 각각의 시험문제를 채점하게 된다.
다음, 데이터 분석부(36)는 다수의 학습자의 답변정보(T1)를 통해 집계되는 정답률 또는 오답률의 범위가 학습자 집단정보(I1-3)에 매칭되는지 분석하게 된다.
상술한 바와 같이 학습자 집단정보(I1-3)는 학습자의 성적으로 분류되는 상위그룹, 중간그룹 및 하위그룹에 관한 집단의 속성을 내포하는 정보이다.
예를 들어, 다수의 학습자에 의해 수학과목에 대한 시험이 치러졌고, [표 1]에 나타난 바와 같은 5개 문제에 대한 답변정보(T1)가 시험결과 수신부(26)에서 수신되는 경우를 들어 설명한다.
[표 1]에 나타난 5개 문제에 설정된 정답률이 중간그룹에 관한 정보로 설정되는 것으로 설정될 수 있다.
"문제 2"의 정답률 범위에 대한 답안정보(I1-1)는 20% 이상 40% 미만으로 설정되어 있고, 중간그룹에 해당하는 다수의 학습자의 "문제 2"에 대한 답변정보(T1) 중 정답률이 20% 이상 40% 미만에 포함되면 중간그룹에 해당하는 다수의 학습자의 답변정보가 "문제 2"의 학습자 집단정보(I1-3)에 일치되는 매칭패턴으로 분석될 수 있다.
만약, 중간그룹에 해당하는 다수의 학습자의 "문제 2"에 대한 답변정보(T1) 중 정답률이 40% 이상 또는 20% 미만으로 데이터 분석부(36)를 통해 분석되는 경우, 다수의 학습자의 답변정보가 "문제 2"의 학습자 집단정보(I1-3)에 일치되지 않는 매칭패턴으로 분석될 수 있다.
메타정보 수정부(38)는 데이터 분석부(36)로부터 학습자의 시험성적을 분석한 분석정보(I2)를 인가받아, 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률이 상기 학습자 집단정보(I1-3)의 정답률 또는 오답률 범위에 매칭되지 않으면, 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률로 상기 시험문제(P1)에 설정된 학습자 집단정보(I1-3)를 수정하면서 메타정보 검토단계(S6)를 수행하게 된다.
이를 통해, 평가서버(10)는 시험문제의 답변정보(T1)를 통해 시험문제의 학습자 집단정보를 수정 또는 재조정할 수 있다.
이하, 본 발명에 따른 가변되는 메타정보를 활용한 시험결과 분석평가방법에 따른 시험결과 분석단계의 제3실시예를 설명한다.
상기 시험결과 분석단계(S5)의 제3실시예는, 상기 시험문제에 대한 다수의 학습자의 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률이 상기 학습자 지역정보(I1-4)의 정답률 또는 오답률 범위에 매칭되는지 분석하는 것을 특징으로 한다.
이 경우, 데이터 독출부(32)는 문제 데이터베이스(4)에서 문제지에 포함된 시험문제에 해당하는 답안정보(I1-1) 및 학습자 지역정보(I1-4)를 독출한다.
다음, 채점부(34)는 상기 사용자 단말기(2)에서 전달받은 답변정보(T1)를 시험문제의 정답과 비교하여 채점한다. 채점부(34)는 독출된 답안정보(I1-1)와 수신된 답변정보(T1)와 일치 여부를 통해 각각의 시험문제를 채점하게 된다.
다음, 데이터 분석부(36)는 다수의 학습자의 답변정보(T1)를 통해 집계되는 정답률 또는 오답률의 범위가 학습자 지역정보(I1-4)에 매칭되는지 분석하게 된다.
예를 들어, 다수의 학습자에 의해 수학과목에 대한 시험이 치러졌고, [표 1]에 나타난 바와 같은 5개 문제에 대한 답변정보(T1)가 시험결과 수신부(26)에서 수신되는 경우를 들어 설명한다.
[표 1]에 나타난 5개 문제에 설정된 정답률이 수도권에 해당하는 학습지역의 속성에 관한 정보로 설정되는 것으로 설정될 수 있다.
"문제 2"의 정답률 범위에 대한 답안정보(I1-1)는 20% 이상 40% 미만으로 설정되어 있고, 수도권에 해당하는 다수의 학습자의 "문제 2"에 대한 답변정보(T1) 중 정답률이 20% 이상 40% 미만에 포함되면 중간그룹에 해당하는 다수의 학습자의 답변정보가 "문제 2"의 학습자 지역정보(I1-4)에 일치되는 매칭패턴으로 분석될 수 있다.
만약, 중간그룹에 해당하는 다수의 학습자의 "문제 2"에 대한 답변정보(T1) 중 정답률이 40% 이상 또는 20% 미만으로 데이터 분석부(36)를 통해 분석되는 경우, 다수의 학습자의 답변정보가 "문제 2"의 학습자 지역정보(I1-4)에 일치되지 않는 매칭패턴으로 분석될 수 있다.
메타정보 수정부(38)는 데이터 분석부(36)로부터 학습자의 시험성적을 분석한 분석정보(I2)를 인가받아, 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률이 상기 학습자 지역정보(I1-4)의 정답률 또는 오답률 범위에 매칭되지 않으면, 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률로 상기 시험문제(P1)에 설정된 학습자 지역정보(I1-4)를 수정하면서 메타정보 검토단계(S6)를 수행하게 된다.
이를 통해, 평가서버(10)는 시험문제의 답변정보(T1)를 통해 시험문제의 학습자 지역정보를 수정 또는 재조정할 수 있다.
본 발명의 상기 메타정보(I1)는, 상기 시험문제의 객관식 발문에 종속되는 보기에 설정되는 정답 또는 오답에 대한 시험문제의 속성을 내포하거나, 상기 시험문제의 주관식 발문의 정답에 대한 시험문제의 속성을 내포하는 답안정보(I1-1)를 포함한다.
나아가 본 발명은 다수의 시험문제 대한 학습자의 상기 답변정보(T1)가, 상기 답안정보(I1-1)에 매칭 패턴으로 상기 학습자의 시험결과를 평가하는 평가단계(S7)를 더 포함하는 것을; 특징으로 한다.
즉, 답안정보(I1-1)는, 상기 시험문제의 주관식 발문의 정답으로 설정되는 발문정답, 발문오답, 또는 발문유사정답에 대한 속성을 내포하는 문제의 속성인 정보로 형성될 수 있다.
또한, 답안정보(I1-1)는, 시험문제의 정답에 대한 정답보기 정보, 시험문제의 오답에 대한 오답보기 정보, 및 오답보기 정보 중 정답에 유사한 오답에 대한 정답유사보기 정보로 형성될 수 있다.
발문유사정답은 주관식 발문의 발문정답에 유사한 정도를 소정의 근접도로 설정한 것으로, 학습자의 주관식 시험문제에 대한 답변정보가 발문정답에 접근하는 정도를 수치화한 정보가 될 수 있다.
또한, 정답유사보기 정보는 오답보기 중 정답에 유사한 정도를 소정의 근접도로 설정한 것으로, 학습자가 시험문제의 정답을 고를 때 경합하는 정도를 수치화한 정보가 될 수 있다.
예를 들어, 다수의 학습자에 의해 수학과목에 대한 시험이 치러졌고, [표 1]에 나타난 바와 같은 5개 문제에 대한 답변정보(T1)가 시험결과 수신부(26)에서 수신되는 경우를 들어 설명한다.
"문제 2"에는 ①번에서 ⑤번의 보기가 포함되어 있고, 정답이 ④번 보기에 배정되어 있고, ①번 보기, ②번 보기, ③번 보기 및 ⑤번 보기가 "문제 2"의 오답으로 배정될 수 있다.
이 경우, 메타정보 설정부(18)는 ①번 보기에 ④번 보기와 경합하는 정도를 20% 이상 ~ 40% 미만으로, ②번 보기에 ④번 보기와 경합하는 정도를 0% 이상 20% 미만으로, ③번 보기에 ④번 보기와 경합하는 정도를 40% 이상 60% 미만으로, ⑤번 보기에 ④번 보기와 경합하는 정도를 60% 이상 80% 미만으로 근접도에 대해 수치화하여 설정될 수 있다.
설정하지는 않았지만 [표 1]에 나타난 나머지 문제의 오답보기에 대해서도 상술한 바와 동일 또는 유사한 방식으로 정답에 유사한 정도를 소정의 근접도로 설정될 수 있음은 당연하다.
따라서, 갑(甲) 학습자가 [표 1]에 나타난 5개 문제에 대한 답변정보가 전부 오답인 경우 일반적인 평가에서는 갑(甲) 학습자의 시험성적은 0점으로 처리되지만, 본 발명에 따른 평가단계(S7)를 거치면 다른 시험결과로 평가할 수 있다.
이를 위해 먼저, 학습자 평가모듈(40)에 구비되는 매칭패턴 분석부(42)가 채점부(34)로부터 [표 1]에 나타난 5개 문제에 대한 답변정보를 인가받는다.
예를 들어, 갑(甲) 학습자는 5개 문제 중 3개 문제는 정답과 근접도가 40% 이상 60% 미만인 오답보기에 대한 답변정보(T1)를 형성하였고, 나머지 2개 문제에 대해서는 근접도가 60% 이상 80% 미만인 오답보기에 대한 답변정보(T1)를 형성할 수 있다.
이 경우, 매칭패턴 분석부(42)는 갑(甲) 학습자의 답변정보(T1)와 상기 답안정보(I1-1)의 매칭 패턴으로 [표 1]에 나타난 5개 문제에 대한 시험결과를 0점이 아닌 정답에 근접할 수 있었던 능력에 대한 %값으로 분석, 평가할 수 있다.
나아가 상기 평가단계(S7)는, 상기 학습자의 과목별 성적 분석, 과목별 학습자 집단별 성적 분석, 유형별 성적 분석, 또는 행동영역별 성적 분석 중 하나 이상을 포함하는 것을 특징으로 한다.
매칭패턴 분석부(42)는 상기 학습자의 과목별 성적 분석, 과목별 학습자 집단별 성적 분석, 유형별 성적 분석, 또는 행동영역별 성적 분석 중 하나 이상을 수행할 수 있다.
예를 들어, 매칭패턴 분석부(42)는 [표 3]에 나타난 바와 같이, 학습자의 과목별 성적 분석, 유형별 성적 분석, 및 행동영역별 성적 분석을 할 수 있다.
과목 학년 평가
구분		 평가명 문제코드 출제자
수학 진단
평가		 출제범위
문제
번호
대단원
중단원		 평가
학습
유형		 행동
영역		 배점 정답 예상
정답률		 예상
난이도		 출제의도 오답일 때 학습해결방법
1 유리수 유리수
와소수		 수와
연산		 계산력 3 1 15% A
2 유리수 유리수와
순환소수		 수와
연산		 이해력 2 2 35% B 문제의 본질을 사실적관계의 논리를 측정하는 문제 약 60%의 문제해결능력을 보유
3 유리수 유리수와
순환소수		 수와
연산		 추론 4 3 50% C
4 문제
해결력		 2 1 75% D
5 90% E
총점
상술한 예와 같이, 갑(甲) 학습자는 [표 1]에 나타난 5개 문제 중 3개 문제는 정답과 근접도가 40% 이상 60% 미만인 오답보기에 대한 답변정보(T1)를 형성하였고, 나머지 2개 문제에 대해서는 근접도가 60% 이상 80% 미만인 오답보기에 대한 답변정보(T1)를 형성한 경우에 대해서 설명한다.
학습자 평가모듈(40)에 구비되는 학습자 평가부(44)가 매칭패턴 분석부(42)로부터 분석에 대한 정보를 인가받아 [표 3]의 "오답일 때 학습해결방법"에 나타난 "약 60%의 문제해결 능력을 보유"와 같이 "문제 2"에 대한 갑(甲) 학습자를 평가할 수 있다.
이를 통해, 본 발명은 상술한 바와 같이 갑(甲) 학습자가 5개의 문제를 다 틀렸지만 갑(甲) 학습자를 0점이 아닌 정답에 근접할 수 있었던 능력을 약 60%로 평가할 수 있는 장점을 가질 수 있다.
나아가 학습자 평가부(44)도 매칭패턴 분석부(42)와 마찬가지로 학습자의 과목별 성적 평가, 과목별 학습자 집단별 성적 평가, 유형별 성적 평가, 또는 행동영역별 성적 평가 중 하나 이상을 수행하여 학습자에게 제공할 수 있다.
본 발명은 이상에서 살펴본 바와 같이 바람직한 실시예를 들어 설명하였으나, 상기한 실시예에 한정되지 아니하며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 당해 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 첨부된 특허청구범위의 균등범위 내에서 다양한 수정 및 변형가능함은 물론이다.
10: 평가서버 12: 시험문제 관리모듈
20: 문제지 제공모듈 30: 시험성적 분석모듈
40: 학습자 평가모듈

Claims (9)

  1. 시험문제에 대한 정보를 저장하는 문제 데이터베이스(4)를 구비하고, 학원, 교사, 또는 학습자의 사용자 단말기(2)와 통신하는 평가서버(10)에서 실행되는 메타정보를 활용한 시험결과 분석평가방법으로서,
    상기 평가서버(10)가 입력되는 시험문제의 속성 또는 시험문제에 답변하는 학습자의 속성 중 하나 이상을 내포하는 메타정보(I1)를 시험문제(P1)에 설정하면서 문제 데이터베이스(4)에 저장하는 메타정보 설정단계(S3);
    상기 사용자 단말기(2)의 요청에 의해, 상기 평가서버(10)가 상기 문제 데이터베이스(4)에서 다수의 시험문제(P1)를 추출하여 하나 이상의 사용자 단말기(2)에 제공하여 시험결과에 대한 정보를 수집하는 학습자 시험단계(S4);
    상기 평가서버(10)가 상기 사용자 단말기(2)로부터 학습자가 상기 다수의 시험문제(P1)에 답변한 답변정보(T1)를 통해 추출되는 정답률 또는 오답률이 난이도정보(I1-2), 학습자 집단정보(I1-3) 또는 학습자 지역정보(I1-4) 중 어느 하나 이상의 정답률 또는 오답률 범위에 매칭되는지 분석하는 시험결과 분석단계(S5);
    상기 평가서버(10)는 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률이 상기 메타정보(I1)의 정답률 또는 오답률 범위에 매칭되지 않으면, 상기 답변정보(T1)를 통해 추출되는 정답률 또는 오답률로 상기 시험문제(P1)에 설정된 상기 메타정보(I1)를 수정하는 메타정보 검토단계(S6); 및
    다수의 시험문제 대한 학습자의 상기 답변정보(T1)가, 상기 메타정보에 포함되는 답안정보(I1-1)에 대한 객관식 발문에 종속되는 보기의 개수로 연산되는 퍼센트(%) 값으로 수치화되는 근접도를 통한 매칭 패턴으로, 상기 학습자의 시험결과를 상기 학습자의 과목별 성적 분석, 과목별 학습자 집단별 성적 분석, 유형별 성적 분석, 또는 행동영역별 성적 분석 중 하나 이상으로 평가하는 평가단계(S7)를 포함하고,

    상기 메타정보(I1)는,
    상기 시험문제의 객관식 발문에 종속되는 보기에 설정되는 정답 또는 오답에 대한 시험문제의 속성을 내포하는 상기 답안정보(I1-1);
    상기 시험문제의 정답률 또는 오답률의 범위인 난이도에 대한 시험문제의 속성을 내포하는 상기 난이도정보(I1-2);
    시험문제에 답변하는 학습자가 속한 성적그룹의 상기 시험문제에 대한 정답률 또는 오답률의 범위에 대한 학습자의 속성을 내포하는 상기 학습자 집단정보(I1-3); 또는
    시험문제에 답변하는 학습자가 속한 학습지역의 상기 시험문제에 대한 정답률 또는 오답률의 범위에 대한 학습자의 속성을 내포하는 상기 학습자 지역정보(I1-4); 중 하나 이상으로 형성되고,

    상기 답안정보(I1-1)는,
    상기 시험문제의 객관식 발문의 보기에 설정되는 정답보기, 오답보기, 또는 상기 정답보기에 유사한 정도가 소정의 상기 근접도로 수치화하여 설정되는 정답유사보기에 대한 속성을 내포하는 것을; 특징으로 하는 가변되는 메타정보를 활용한 시험결과 분석평가방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
KR1020100058352A 2010-06-21 2010-06-21 가변되는 메타정보를 활용한 시험결과 분석평가방법 KR101023540B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100058352A KR101023540B1 (ko) 2010-06-21 2010-06-21 가변되는 메타정보를 활용한 시험결과 분석평가방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100058352A KR101023540B1 (ko) 2010-06-21 2010-06-21 가변되는 메타정보를 활용한 시험결과 분석평가방법

Publications (1)

Publication Number Publication Date
KR101023540B1 true KR101023540B1 (ko) 2011-03-21

Family

ID=43939184

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100058352A KR101023540B1 (ko) 2010-06-21 2010-06-21 가변되는 메타정보를 활용한 시험결과 분석평가방법

Country Status (1)

Country Link
KR (1) KR101023540B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130059258A (ko) * 2011-11-28 2013-06-05 주식회사 클라세스튜디오 학습자 테스트 결과에 기초하여 문제군 및 학습지를 생성하는 방법, 시스템, 서버 및 컴퓨터 판독 가능한 기록 매체
KR20150071852A (ko) * 2013-12-19 2015-06-29 (주) 로임시스템 뇌파인식형 학습 문제 제공시스템
KR20160081683A (ko) * 2014-12-31 2016-07-08 주식회사 테라클 학습 컨텐츠 제공 시스템
WO2016186230A1 (ko) * 2015-05-21 2016-11-24 안명훈 자기 완성형 학습을 위한 개인 맞춤형 스마트 교육 방법
KR20170031110A (ko) * 2017-02-24 2017-03-20 비트루브 주식회사 학습자의 학습 상태를 분석하고 그에 대한 보완 문제를 선정하는 방법 및 시스템
KR101816665B1 (ko) 2016-02-25 2018-01-09 (주)뤼이드 객관식 문항 학습 데이터를 분석하는 방법
KR20200011155A (ko) * 2018-07-24 2020-02-03 주식회사 아이포트폴리오 유사 답안 제공 시스템 및 이의 운용 방법
CN111160606A (zh) * 2019-11-27 2020-05-15 科大讯飞股份有限公司 试题难度预测方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060007608A (ko) * 2004-07-20 2006-01-26 조동기 학습 평가 클리닉 서비스 방법 및 그 시스템
KR100924995B1 (ko) * 2007-12-21 2009-11-04 동국대학교 산학협력단 난이도별 문항을 제공하는 학습 시스템에서 문항 난이도갱신 방법 및 실시간 난이도 갱신 기능을 갖는 난이도별문항 제공 학습시스템
KR100953166B1 (ko) * 2009-09-18 2010-04-20 최태호 시험기반의 전자학습 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060007608A (ko) * 2004-07-20 2006-01-26 조동기 학습 평가 클리닉 서비스 방법 및 그 시스템
KR100924995B1 (ko) * 2007-12-21 2009-11-04 동국대학교 산학협력단 난이도별 문항을 제공하는 학습 시스템에서 문항 난이도갱신 방법 및 실시간 난이도 갱신 기능을 갖는 난이도별문항 제공 학습시스템
KR100953166B1 (ko) * 2009-09-18 2010-04-20 최태호 시험기반의 전자학습 방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101586715B1 (ko) * 2011-11-28 2016-02-18 주식회사 클라세스튜디오 학습자 테스트 결과에 기초하여 문제군 및 학습지를 생성하는 방법, 시스템, 서버 및 컴퓨터 판독 가능한 기록 매체
KR20130059258A (ko) * 2011-11-28 2013-06-05 주식회사 클라세스튜디오 학습자 테스트 결과에 기초하여 문제군 및 학습지를 생성하는 방법, 시스템, 서버 및 컴퓨터 판독 가능한 기록 매체
KR20150071852A (ko) * 2013-12-19 2015-06-29 (주) 로임시스템 뇌파인식형 학습 문제 제공시스템
KR101587462B1 (ko) * 2013-12-19 2016-01-21 (주) 로임시스템 뇌파인식형 학습 문제 제공시스템
KR20160081683A (ko) * 2014-12-31 2016-07-08 주식회사 테라클 학습 컨텐츠 제공 시스템
KR101720270B1 (ko) 2014-12-31 2017-04-10 주식회사 테라클 학습 컨텐츠 제공 시스템
WO2016186230A1 (ko) * 2015-05-21 2016-11-24 안명훈 자기 완성형 학습을 위한 개인 맞춤형 스마트 교육 방법
KR101816665B1 (ko) 2016-02-25 2018-01-09 (주)뤼이드 객관식 문항 학습 데이터를 분석하는 방법
KR20170031110A (ko) * 2017-02-24 2017-03-20 비트루브 주식회사 학습자의 학습 상태를 분석하고 그에 대한 보완 문제를 선정하는 방법 및 시스템
KR102179957B1 (ko) * 2017-02-24 2020-11-17 비트루브 주식회사 학습자의 학습 상태를 분석하고 그에 대한 보완 문제를 선정하는 방법 및 시스템
KR20200011155A (ko) * 2018-07-24 2020-02-03 주식회사 아이포트폴리오 유사 답안 제공 시스템 및 이의 운용 방법
KR102098282B1 (ko) * 2018-07-24 2020-04-13 주식회사 아이포트폴리오 유사 답안 제공 시스템 및 이의 운용 방법
CN111160606A (zh) * 2019-11-27 2020-05-15 科大讯飞股份有限公司 试题难度预测方法及相关装置
CN111160606B (zh) * 2019-11-27 2024-04-12 科大讯飞股份有限公司 试题难度预测方法及相关装置

Similar Documents

Publication Publication Date Title
KR101023540B1 (ko) 가변되는 메타정보를 활용한 시험결과 분석평가방법
Sun et al. Teachers’ grading practices: Meaning and values assigned
Drake et al. Engineering ethical curricula: Assessment and comparison of two approaches
Spooren On the credibility of the judge: A cross-classified multilevel analysis on students’ evaluation of teaching
Ellis Perceived teacher confirmation. The development and validation of an instrument and two studies of the relationship to cognitive and affective learning
Pedder et al. ‘Schools and Continuing Professional Development in England–State of the Nation’research study: policy context, aims and design
Mortimore Alternative Models for Analysing an Representing Countries' Performance in PISA
語言訓練測驗中心 LTTC-GEPT
Stevenson et al. Examining potential bias in screening measures for middle school students by special education and low socioeconomic status subgroups
Hardegree Standards-based assessment and high stakes testing: Accuracy of standards-based grading
Oliveri et al. Uncovering substantive patterns in student responses in international large-scale assessments—Comparing a latent class to a manifest DIF approach
Mahoney Linguistic influences on differential item functioning for second language learners on the National Assessment of Educational Progress
JPWO2003049063A1 (ja) 試験結果分析装置、方法およびプログラム
Hsieh A preliminary study of multiple college admission criteria in Taiwan: The relationship among motivation, standardized tests, high school achievements, and college success
Suto et al. A quantitative analysis of cognitive strategy usage in the marking of two GCSE examinations
McClintock Erasure analyses: Reducing the number of false positives
Topping Implementation fidelity and attainment in computerized practice of mathematics
Wilde Definitions for the No Child Left Behind Act of 2001: Scientifically-Based Research.
McAllister et al. The writing apprehension of African American men in college: Recommendations for the professoriate
Nong FACE VALIDITY OF THE INSTITUTIONAL ENGLISH BASED ON THE COMMON EUROPEAN FRAME OF REFERENCE AT A PUBLIC UNIVERSITY IN VIETNAM
KR100328776B1 (ko) 통신망을 이용한 학습시스템 및 그 방법
Kun Does the repetitive use of the same test in consecutive examination sessions facilitate cheating?
CN111915227B (zh) 一种教学评价数据分析方法
OBIEBI-UYOYOU Assessment of differential item functioning in mathematics multiple choice test questions in senior secondary school certificate examination in Delta Central Senatorial District
Lauritzen How K-12 Educators Perceive Advocacy for the Education Profession in the United States: A Systematic Scoping Review.

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150303

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160311

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170313

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180312

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200122

Year of fee payment: 10