KR20150135584A - 난이도별 문항을 제공하는 학습 시스템에서 학습자의 표준 평균 정답률과 표준 평균 풀이시간을 이용하여 난이도 갱신기능을 갖는 난이도별 문항 제공 학습시스템 - Google Patents

난이도별 문항을 제공하는 학습 시스템에서 학습자의 표준 평균 정답률과 표준 평균 풀이시간을 이용하여 난이도 갱신기능을 갖는 난이도별 문항 제공 학습시스템 Download PDF

Info

Publication number
KR20150135584A
KR20150135584A KR1020140061482A KR20140061482A KR20150135584A KR 20150135584 A KR20150135584 A KR 20150135584A KR 1020140061482 A KR1020140061482 A KR 1020140061482A KR 20140061482 A KR20140061482 A KR 20140061482A KR 20150135584 A KR20150135584 A KR 20150135584A
Authority
KR
South Korea
Prior art keywords
difficulty
learner
question
average
standard
Prior art date
Application number
KR1020140061482A
Other languages
English (en)
Inventor
이원영
Original Assignee
이원영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이원영 filed Critical 이원영
Priority to KR1020140061482A priority Critical patent/KR20150135584A/ko
Publication of KR20150135584A publication Critical patent/KR20150135584A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 난이도별 문항을 제공하는 학습 시스템에서 학습자의 표준 평균 정답률과 표준 평균 풀이시간을 이용하여 난이도 갱신 기능을 갖는 난이도별 문항 제공 학습시스템에 관한 것이다. 본 발명은, 출제용 문항에 대해 출제자에 의해 제공되는 출제자 난이도와 해당 문제에 대한 기응답자 개개인의 누적 정답률과 풀이시간의 평균과 표준편차를 해당 문제의 정답여부과 문제풀이 소요시간에 대해 기응답자별로 개별처리하여 해당 문제에 대한 기응답자들의 표준 평균 정답률과 표준 평균 소요시간을 산출, 종합하여 해당 문제의 난이도 갱신 기능을 갖는 난이도별 문항 제공 학습시스템을 제공한다.

Description

난이도별 문항을 제공하는 학습 시스템에서 학습자의 표준 평균 정답률과 표준 평균 풀이시간을 이용하여 난이도 갱신기능을 갖는 난이도별 문항 제공 학습시스템 {A Difficulty Level Based Question Posing Study System Which Self-renews The Difficulty Level of Questions Based on Standard Average Hit Rate and Standard Average Solving Time of Students}
본 발명은 이러닝(E-Learning)에 관한 것으로서, 보다 상세하게는 출제용 문항에 대해 출제자에 의해 제공되는 출제자 난이도와 누적되는 학습자들에 의해 제공되는 정답률과 문제풀이 소요시간 등의 통계 자료를 특정 가중치에 따라 혼합 적용하여 출제용 문항의 문항 난이도를 실시간 혹은 정기적, 비정기적으로 산출 및 갱신할 수 있는 난이도별 문항을 제공하는 학습 시스템에서, 학습자 개개인의 평소 정답률과 문제풀이 소요시간의 특성을 반영하여 해당 문항의 난이도의 정확성을 높이기 위해, 학습자 개개인의 해당 문제가 속한 유형에 대한 평균 정답률과 평균 소요시간을 고려하여 해당 문항에 대한 학습자 개개인의 표준 정답률과 표준 소요시간을 산출하고, 상기 표준 정답률과 상기 표준 소요시간을 해당 문제를 푼 학습자 전체에 대하여 누적시켜 해당 문항에 대한 평균 표준 정답률과 평균 표준 소요시간을 산출해 해당 문항의 출제자 난이도와 결부시켜 연산함으로써 실시간 혹은 정기적, 비정기적으로 개별 문항의 난이도 갱신 기능을 갖는 난이도별 문항 제공 학습시스템에 관한 것이다.
최근 인터넷과 컴퓨터 및 스마트폰 등 휴대용 인터넷 기기의 발달로 인해 이러닝(E-learning) 이 더욱 활성화되고 있다. 이러닝은 크게 단방향 통신에 주안점을 두는 인터넷 동영상 강의 방식과 양방향 통신에 주안점을 두는 온라인 문제풀이 방식으로 나눌 수 있다. 이 중 후자에 속하는 온라인 문제풀이 방식의 효율을 극대화하기 위해서는 학습자의 수준에 걸맞는 난이도의 문제를 제공하는 것이 필요한데, 다양한 수준의 학습자들에게 적절한 난이도의 문항을 제공하기 위해서는 난이도 구분을 세분화하는 한 편, 출제자가 생각하는 출제자 난이도와 실제 학습자들이 풀어본 결과에 따른 통계적 난이도를 조화시켜 더욱 현실에 적합한 난이도를 산출할 필요가 있다.
종래 기술에 의하면, 임의의 문항의 난이도는 해당 문항에 대한 학습자들의 평균 정답률을 단일 근거로 하거나 혹은 평균 정답률과 평균 문제풀이 소요시간만을 근거로 하기 때문에 문제를 푼 학습자들의 개별특성을 반영하지 못하는 문제점이 있다.
즉 실력이 우수한 학습자 그룹의 데이터와 실력이 저조한 학습자 그룹의 데이터는 동일하게 취급하면 해당 문항 난이도의 신뢰성이 저하되는 것이다.
또한 종래 기술에 의하면, 상기의 문제점을 극복하고자 학습자의 개별특성을 반영하기 위하여 학습자의 학년이나 학습자의 해당 과목의 성적을 입력하게 하는 방식을 취하기도 하는데, 학습자의 학년이나 해당 과목의 성적이 그 과목에 속한 다양한 문제 유형에 대한 개별 이해도를 균일하게 반영하지 못하고, 또한 같은 수준의 학습자라 해도 성향에 따라 문제를 푸는 속도에 차이가 있을 수 있으므로 해당 문항의 난이도에 대한 신뢰성을 제고하는데 한계를 가지는 문제점이 있다.
예를 들어 같은 문항에 대해서 해당 과목의 수준은 서로 비슷하지만 해당 문항이 속한 유형에 대한 이해 수준이 특별히 높거나 평균 문제풀이 시간이 짧은 학습자들이 남긴 기록과, 해당 문항이 속한 유형에 대한 이해 수준이 특별히 낮거나 평균 문제풀이 시간이 긴 학습자들이 남긴 기록을 아무런 구별 없이 동일하게 처리하게 되면 해당 문제의 난이도를 산출하는 데 있어 왜곡이 발생하여 문항의 난이도에 대한 신뢰성이 담보되지 못하는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하고 최근의 추세와 요청에 따라 제안된 것으로서, 임의의 문항의 난이도를 산출하기 위해 출제자가 부여한 출제자 난이도와 해당 문항을 풀어본 학습자들의 정답률과 소요시간 데이터를 종합하는 방법에 있어서 각 학습자의 해당 문항에 대한 정답여부와 문제풀이 소요시간을 상기 학습자의 해당 문항이 속해 있는 유형에 대한 평균 정답률과 평균 소요시간과 대비시켜 표준 정답률과 표준 소요시간을 산출하고, 이것을 해당 문제를 풀어본 모든 학습자에 대하여 누적시켜 평균 표준 정답률과 평균 표준 소요시간을 산출한 뒤,
상기 평균 표준 정답률의 역수와 평균 표준 소요시간에 각각 제1 가중치, 제2 가중치를 곱한 뒤 더해서 통계 난이도를 산출하고, 상기 통계 난이도에 제3 가중치를 곱하고 상기 출제자 난이도에 제4 가중치를 곱한 뒤 더해서 종합 난이도를 산출함으로써 해당 문항의 종합 난이도를 실시간, 혹은 정기적, 비정기적인 방식으로 갱신하여 각 문항의 난이도의 신뢰성을 높이는데 그 목적이 있다.
상기의 목적을 달성하기 위한 본 발명의 일 양상으로서, 본 발명에 따른 난이도별 문항을 제공하는 학습시스템에서 개별 문항의 난이도 갱신 방법은, 2개 이상의 문제를 서로 다른 학습수준과 문제풀이 속도를 가지고 있는 2명 이상의 학습자에게 출제하는 문항출제 시스템에서, 1명 이상의 학습자에게 기출제된 문항의 난이도를 산출하고 갱신하는 방법에 있어서, (a) 2개 이상의 문제에 대해 2개 이상의 난이도와 2개 이상의 유형을 임의 부여하는 단계; (b) 1명 이상의 학습자가 1개 이상의 문제를 푼 사건에 대해 개인별 개문제별 정답여부와 개인별 개문제별 풀이소요시간을 기록하는 단계; (c) 상기의 기록에 근거하여 임의의 난이도 및 유형을 갖는 문제에 대한 각 학습자의 개인별 평균 정답률과 평균 소요시간을 산출 및 기록하는 단계; (d) 임의의 문제에 대하여 해당 문제를 푼 학습자그룹을 선정하는 단계; (e) 상기 학습자그룹의 임의의 한 학습자가 해당 문제를 푼 개인 기록에서 정답여부와 문제풀이 소요시간에 대해 기존의 해당문제와 유사한 유형 및 난이도의 문제에 대한 해당 학습자의 평균 정답률과 평균 소요시간을 대비하여 개인별 표준 정답률과 표준 소요시간을 산출하는 단계; (f) 상기의 개인별 표준 정답률과 표준 소요시간을 구하는 방식을 상기 학습자그룹의 일부 또는 전체에 대해 수행하여 평균 표준 정답률과 평균 표준 소요시간을 산출하는 단계; 및 (g) 상기의 해당 문제에 대한 평균 표준 정답률의 역수와 평균 표준 소요시간에 각각 제1 가중치와 제2가중치를 곱하여 더한 값에 (a) 단계에서 출제자가 임의 부여했던 난이도에 제3 가중치를 곱하여 더한 값을 산출하여 해당 문제의 난이도로 갱신하는 단계를 포함하고, 상기 (a) 단계 내지 상기 (g) 단계는, 임의의 학습자가 임의의 문제를 풀 때마다, 혹은 정기적, 비정기적으로 반복 수행되고, 상기 출제자 난이도는, 난이도가 가장 낮은 0부터 난이도가 가장 높은 N까지의 정수로 이루어지는 문항 난이도 범위에 포함되고, 상기 각 문항별 제1 가중치와 제2 가중치의 합은 항상 1이며, 제3 가중치와 제 4 가중치의 합은 항상 1인 것을 특징으로 하여 이루어진다.
상기 (e) 단계에서 산출되는 상기 출제용 문항의 개인별 표준 정답률
Figure pat00001
(q는 해당 문제, i는 해당 문제를 푼 적이 있는 각 학습자을 나타냄)는, 해당 문제 q 를 맞출 경우
Figure pat00002
, 맞추지 못할 경우
Figure pat00003
이라 하고 해당 문제와 유사한 유형에 대한 해당 학습자의 평균 정답률을
Figure pat00004
라고 할 때,
Figure pat00005
에 의해 산출되는 것을 특징으로 할 수 있다.
상기 (e) 단계에서 산출되는 상기 출제용 문항의 개인별 표준 소요시간
Figure pat00006
(q는 해당 문제, i는 해당 문제를 푼 적이 있는 각 학습자을 나타냄)는, 해당 문제를 푸는데 소요된 시간을
Figure pat00007
라 하고 해당 문제와 유사한 유형에 대한 해당 학습자의 평균 소요시간을
Figure pat00008
, 전체의 평균 소요시간을
Figure pat00009
라고 할 때,
Figure pat00010
에 의해 산출되는 것을 특징으로 할 수 있다.
상기 (f) 단계에서 산출되는 상기 출제용 문항의 평균 표준 정답률
Figure pat00011
(q는 해당 문제를 나타냄)는, 해당 문제를 푼 학습자의 수를 N 이라 하고 학습자 개개인의 표준 정답률을
Figure pat00012
라 할 때,
Figure pat00013
에 의해 산출되는 것을 특징으로 할 수 있다.
상기 (f) 단계에서 산출되는 상기 출제용 문항의 평균 표준 소요시간
Figure pat00014
(q는 해당 문제를 나타냄)는, 해당 문제를 푼 학습자의 수를 N 이라 하고 학습자 개개인의 표준 소요시간을
Figure pat00015
라 할 때,
Figure pat00016
에 의해 산출되는 것을 특징으로 할 수 있다.
상기의 목적을 달성하기 위한 본 발명의 다른 양상으로서, 본 발명에 따른 각 문항의 종합 난이도를 출제자의 난이도와 학습자들의 평균 표준 정답률 및 평균 표준 소요시간을 바탕으로 실시간, 혹은 정기적, 비정기적인 방식으로 갱신하는 기능을 갖는 난이도별 문항 제공 학습시스템은, 유형과 출제자 난이도가 대응되어 있는 문항을 복수 개 저장하는 문제은행 데이터베이스와 복수의 학습자를 개별 아이디로 구분하는 학습자 데이터베이스와, 상기 각 문항의 상기 각 학습자별 정답 여부와 문제풀이 소요시간을 기록하는 로그 데이터를 저장하는 통계 데이터베이스부; 각각 상기 학습자에 속하는 클라이언트 단말들의 문항 제출 요청에 따라 상기 문제은행 데이터베이스에 저장되어 있는 상기 복수의 문항들 중에서 출제용 문항을 선정하는 문항 제출부; 상기 출제용 문항을 상기 학습자의 클라이언트 단말들에게 인터넷을 통해 전송하는 송신부; 상기 복수의 클라이언트 단말들로부터 상기 인터넷을 통해 상기 출제용 문항에 대한 응답들을 수신하는 수신부; 상기 통계 데이터베이스를 참조하여 상기 클라이언트 단말들 각각의 상기 수신된 응답들을 분석하여, 상기 출제용 문항이 속한 유형에 대한 상기 각 학습자의 문제 유형별 표준 정답률과 표준 소요시간을 갱신하고, 상기 각 문제마다, 상기 갱신된 각 학습자의 문제 유형별 표준 정답률과 문제 유형별 표준 소요시간에 근거하여 상기 출제용 문항에 대한 학습자 전체의 평균 표준 정답률과 평균 표준 소요시간을 산출하는 통계 데이터 가공부; 상기 평균 표준 정답률의 역수와 평균 표준 소요시간에 각각 제1 가중치, 제2 가중치를 곱한 뒤 더해서 통계 난이도를 산출하는 통계 난이도 산출부; 상기 통계 난이도에 제3 가중치를 곱하고 상기 출제자 난이도에 제4 가중치를 곱한 뒤 더해서 종합 난이도를 산출하는 종합 난이도 산출부; 및 상기 문항 중 문제 등록 이후 최초로 출제되는 문항이 존재하는 경우, 상기 출제자 난이도를 상기 출제용 문항의 문항 난이도로 설정하는 난이도 설정부를 포함하고, 상기 출제자 난이도는, 난이도가 가장 낮은 0부터 난이도가 가장 높은 N까지의 정수로 이루어지는 문항 난이도 범위에 포함되고, 상기 각 문항별 제1 가중치와 제2 가중치의 합은 항상 1이며, 제3 가중치와 제 4 가중치의 합은 항상 1인 것을 특징으로 하여 이루어진다.
본 발명에 따른 난이도별 문항을 제공하는 학습 시스템에서 출제용 문항에 대해 출제자에 의해 제공되는 출제자 난이도와 누적되는 학습자들에 의해 제공되는 정답률과 문제풀이 소요시간 등의 통계 자료를 특정 가중치에 따라 혼합 적용하여 출제용 문항의 문항 난이도를 실시간 혹은 정기적, 비정기적으로 산출 및 갱신할 수 있는 난이도별 문항을 제공하는 학습 시스템에 의하면 다음과 같은 효과가 있다.
첫째, 본 발명에 의하면, 네트워크로 연결된 학습자에게 난이도별 문항을 제공하는 학습 시스템에서, 출제용 문항에 대해 출제자에 의해 제공되는 출제자 난이도와 누적되는 학습자들에 의해 제공되는 정답률과 문제풀이 소요시간 등의 통계 자료를 특정 가중치에 따라 혼합 적용하여 출제용 문항의 문항 난이도를 실시간 혹은 정기적, 비정기적으로 산출 및 갱신할 수 있는 효과가 있다.
둘째, 본 발명에 의하면, 출제자가 제한 조건 하에서 임의로 제1 가중치, 제2 가중치, 제3 가중치 및 제 4 가중치의 상대적 비중을 결정할 수 있으므로, 해당 문항을 푼 학습자의 수가 적거나 해당 문항이 속한 유형에 대해 학습자가 푼 문제 수가 적어 학습자의 문제 풀이 기록이 통계자료로서 이용 가치가 낮을 때에는 제4 가중치를 상대적으로 높여 출제자 난이도를 보다 충실히 반영함으로써 문항 난이도의 심한 왜곡을 방지하고, 해당 문항을 푼 학습자의 수가 충분히 많고 해당 문항이 속한 유형에 대해 학습자가 푼 문제 수가 충분히 많아 학습자의 문제 풀이 기록이 통계자료로서 이용 가치가 높을 때에는 제3 가중치를 상대적으로 높여 학습자의 평균 표준 정답률과 평균 표준 풀이시간을 보다 충실히 반영함으로써 실제적 문항 난이도의 신뢰도를 담보할 수 있는 효과가 있다.
셋째, 본 발명에 의하면, 해당 과목에 대한 실력, 즉 학습 수준이 서로 다른 학습자들이 해당 문항을 푼 경우에 상기 학습자들의 기존 문제풀이 기록을 활용하여 상기 학습자들의 개별적 학습 수준 차이를 해당 문항 풀이 기록에 반영할 수 있으므로, 학습자들의 개별 학습 수준 편차가 해당 문항의 산출된 난이도를 왜곡시키는 것을 방지할 수 있는 효과가 있다.
넷째, 본 발명에 의하면, 해당 과목에 대한 전반적인 학습수준은 같을찌라도 해당 문제가 속한 특정한 유형에 대한 학습수준이 서로 다른 학습자들이 해당 문항을 푼 경우에 상기 학습자들의 상기 유형에 대한 기존 문제풀이 기록을 활용하여 상기 학습자들의 상기 유형에 대한 개별적 학습 수준 차이를 해당 문항 풀이 기록에 반영할 수 있으므로, 학습자들의 특정 유형에 대한 개별 학습 수준 편차가 해당 문항의 산출된 난이도를 왜곡시키는 것을 방지할 수 있는 효과가 있다.
다섯째, 본 발명에 의하면, 해당 과목에 대한 전반적인 학습수준이 같고 해당 문제가 속한 특정한 유형에 대한 학습수준도 같으나 성향상 평균 문제풀이 소요시간이 다른 학습자들이 해당 문항을 푼 경우에 상기 학습자들의 기존 문제풀이 기록을 활용하여 상기 학습자들의 개별적 평균 문제풀이 소요시간 차이를 해당 문항 풀이 기록에 반영할 수 있으므로, 학습자들의 개별 문제풀이 속도 편차가 해당 문항의 산출된 난이도를 왜곡시키는 것을 방지할 수 있는 효과가 있다.
상기 응답 분석부(10)는 학습자의 정답 유무를 판별한다. 구분은 정답/오답으로 한다. 상기 통계 DB(20)는 학습자의 문제풀이 기록을 저장한다. 학습자의 문제풀이 기록으로 저장해야 하는 것은 학습자 아이디, 문항 아이디, 문항의 정답, 학습자가 제출한 답, 학습자의 문제풀이 소요시간이다. 상기 학습자 DB(70)는 학습자의 아이디와 학습자에게 속한 단말기의 아이디, 학습자의 문항 유형별 수준을 저장한다. 상기 문제은행 DB(60)는 문항의 아이디와 문항의 내용, 문항의 정답, 문항의 유형, 출제자 난이도, 통계 난이도, 종합 난이도를 저장한다. 상기 통계 데이터 가공부(30)는 상기 통계 DB(20)를 가공하여 지표를 산출하는데, 산출하는 지표는 해당 문항이 속한 문제유형에 대한 각 학습자의 평균 정답률 및 평균 소요시간, 그리고 평균 정답률 및 평균 소요시간을 바탕으로 한 각 학습자의 해당 문항이 속한 유형에 대한 표준 정답률 및 표준 소요시간, 그리고 해당 문항을 푼 모든 학습자에 대한 평균 표준 정답률 및 평균 표준 소요시간이다. 이 중 상기 학습자의 해당 문항이 속한 유형에 대한 표준 정답률 및 표준 소요시간은 상기 학습자의 해당 문항이 속한 유형에 대한 레벨로 산출되어 학습자 DB에 갱신된다. 상기 통계 난이도 산출부(40)는 상기 통계 데이터 가공부(30) 에서 산출한 해당 문항에 대한 모든 학습자의 평균 표준 정답률 및 평균 표준 소요시간을 종합하여 통계 난이도를 산출한다. 상기 종합 난이도 산출부(50)는 상기 통계 난이도 산출부(40)에서 산출한 해당 문항의 통계 난이도와 상기 문제은행 DB(60)에 저장되어 있는 문항의 출제자 난이도를 종합하여 해당 문항의 종합 난이도를 산출 및 갱신한다. 산출 및 갱신된 해당 문항의 통계 난이도 및 종합 난이도는 상기 문제은행 DB(60) 에 갱신 저장된다. 상기 문항 제출부(80)는 학습자의 문항 유형별 수준에 맞는 난이도를 가진 문항을 상기 문제은행 DB(60)에 요청하고, 이를 받아 출제한다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
상기 응답 분석부(10)는 학습자의 정답 유무를 판별한다. 구분은 정답/오답으로 한다. 상기 통계 DB(20)는 학습자의 문제풀이 기록을 저장한다. 학습자의 문제풀이 기록으로 저장해야 하는 것은 학습자 아이디, 문항 아이디, 문항의 정답, 학습자가 제출한 답, 학습자의 문제풀이 소요시간이다. 상기 학습자 DB(70)는 학습자의 아이디와 학습자에게 속한 단말기의 아이디, 학습자의 문항 유형별 수준을 저장한다. 상기 문제은행 DB(60)는 문항의 아이디와 문항의 내용, 문항의 정답, 문항의 유형, 출제자 난이도, 통계 난이도, 종합 난이도를 저장한다. 상기 통계 데이터 가공부(30)는 상기 통계 DB(20)를 가공하여 지표를 산출하는데, 산출하는 지표는 해당 문항이 속한 문제유형에 대한 각 학습자의 평균 정답률 및 평균 소요시간, 그리고 평균 정답률 및 평균 소요시간을 바탕으로 한 각 학습자의 해당 문항이 속한 유형에 대한 표준 정답률 및 표준 소요시간, 그리고 해당 문항을 푼 모든 학습자에 대한 평균 표준 정답률 및 평균 표준 소요시간이다. 이 중 상기 학습자의 해당 문항이 속한 유형에 대한 표준 정답률 및 표준 소요시간은 상기 학습자의 해당 문항이 속한 유형에 대한 레벨로 산출되어 학습자 DB에 갱신된다. 상기 통계 난이도 산출부(40)는 상기 통계 데이터 가공부(30) 에서 산출한 해당 문항에 대한 모든 학습자의 평균 표준 정답률 및 평균 표준 소요시간을 종합하여 통계 난이도를 산출한다. 상기 종합 난이도 산출부(50)는 상기 통계 난이도 산출부(40)에서 산출한 해당 문항의 통계 난이도와 상기 문제은행 DB(60)에 저장되어 있는 문항의 출제자 난이도를 종합하여 해당 문항의 종합 난이도를 산출 및 갱신한다. 산출 및 갱신된 해당 문항의 통계 난이도 및 종합 난이도는 상기 문제은행 DB(60) 에 갱신 저장된다. 상기 문항 제출부(80)는 학습자의 문항 유형별 수준에 맞는 난이도를 가진 문항을 상기 문제은행 DB(60)에 요청하고, 이를 받아 출제한다.
상기 통계 데이터 가공부(30)에서 처리되는 일을 구체적으로 설명하면 다음과 같다.
임의의 학습자를 i 라 하고, 임의의 학습자 i 를 포함한 1명 이상의 학습자들에게 제출된 임의의 문항을 q라 하자. 상기 학습자 i가 상기 문항 q를 맞출 경우
Figure pat00017
, 맞추지 못할 경우
Figure pat00018
이라 한다. 상기 학습자 i 가 상기 문항 q와 유사한 문제유형에 대한 평균 정답률을
Figure pat00019
라고 할 때, 상기 학습자 i의 상기 문항 q에 대한 표준 정답률
Figure pat00020
로 구한다.
또한 상기 학습자 i가 상기 문항 q를 푸는데 소요된 시간을
Figure pat00021
라 하고 상기 문항 q와 유사한 문제유형에 대한 상기 학습자 i의 평균 소요시간을
Figure pat00022
, 상기 문제유형에 대한 학습자 전체의 문제풀이 평균 소요시간을
Figure pat00023
라고 할 때, 상기 학습자 i의 표준 소요시간
Figure pat00024
로 구한다.
또한 상기 문항 q를 기 풀이한 학습자 전체에 대한 상기 문항 q의 평균 표준 정답률
Figure pat00025
는, 상기 학습자 전체의 수를 N 이라 하고 학습자 i의 표준 정답률을
Figure pat00026
라 할 때,
Figure pat00027
로 구한다.
또한 상기 문항 q를 기 풀이한 학습자 전체에 대한 상기 문항 q의 평균 표준 소요시간
Figure pat00028
는 상기 학습자 전체의 수를 N 이라 하고 학습자 i의 표준 소요시간을
Figure pat00029
라 할 때,
Figure pat00030
로 구한다.
상기 통계 난이도 산출부(40)에서 처리되는 일을 구체적으로 설명하면 다음과 같다.
상기 문항 q의 통계 난이도
Figure pat00031
를 상기 표준 정답률
Figure pat00032
와 상기 표준 소요시간
Figure pat00033
를 사용하여 구하는데,
Figure pat00034
로 구한다.
상기 종합 난이도 산출부(50)에서 처리되는 일을 구체적으로 설명하면 다음과 같다.
상기 문항 q의 종합 난이도
Figure pat00035
를 상기 통계 난이도
Figure pat00036
와 상기 출제자 난이도
Figure pat00037
를 사용하여 구하는데,
Figure pat00038
로 구한다.
이상에서는 본 발명의 바람직한 수행 환경 및 시스템의 구조에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 수행 환경 및 시스템의 구조에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 번형실시가 가능한 것은 물론이고, 이러한 변형실사들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.

Claims (7)

  1. 2개 이상의 문제를 서로 다른 학습수준과 문제풀이 속도를 가지고 있는 2명 이상의 학습자에게 출제하는 문항출제 시스템에서, 1명 이상의 학습자에게 기출제된 문항의 난이도를 산출하고 갱신하는 방법에 있어서,
    (a) 2개 이상의 문제에 대해 2개 이상의 난이도와 2개 이상의 유형을 임의 부여하는 단계;
    (b) 1명 이상의 학습자가 1개 이상의 문제를 푼 사건에 대해 개인별 개문제별 정답여부와 개인별 개문제별 풀이소요시간을 기록하는 단계;
    (c) 상기의 기록에 근거하여 임의의 난이도 및 유형을 갖는 문제에 대한 각 학습자의 개인별 평균 정답률과 평균 소요시간을 산출 및 기록하는 단계;
    (d) 상기 학습자가 해당 문제를 푼 개인 기록에서 정답여부와 문제풀이 소요시간에 대해 기존의 해당문제와 유사한 유형 및 난이도의 문제에 대한 해당 학습자의 평균 정답률과 평균 소요시간을 대비하여 개인별 표준 정답률과 표준 소요시간을 산출하는 단계;
    (e) 상기의 개인별 표준 정답률과 표준 소요시간을 구하는 방식을 상기 학습자그룹의 일부 또는 전체에 대해 수행하여 평균 표준 정답률과 평균 표준 소요시간을 산출하는 단계; 및
    (f) 상기의 해당 문제에 대한 평균 표준 정답률의 역수와 평균 표준 소요시간에 각각 제1 가중치와 제2가중치를 곱하여 더한 값에 다시 제3 가중치를 곱하고 (a) 단계에서 출제자가 임의 부여했던 난이도에 제4 가중치를 곱하여 더한 값을 산출하여 해당 문제의 난이도로 갱신하는 단계를 포함하고,
    상기 (a) 단계 내지 상기 (f) 단계는, 임의의 학습자가 임의의 문제를 풀 때마다, 혹은 정기적, 비정기적으로 반복 수행되고,

    상기 출제자 난이도는, 난이도가 가장 낮은 0부터 난이도가 가장 높은 N까지의 정수로 이루어지는 문항 난이도 범위에 포함되고,
    상기 각 문항별 제1 가중치와 제2 가중치의 합은 항상 1이며, 제3 가중치와 제 4 가중치의 합은 항상 1인 것을 특징으로 하는 난이도별 문항을 제공하는 학습 시스템에서 문항 난이도 갱신 방법
  2. 제 1항에 있어서, 상기 (e) 단계에서 산출되는 상기 출제용 문항의 개인별 표준 정답률
    Figure pat00039
    (q는 해당 문제, i는 해당 문제를 푼 적이 있는 각 학습자를 나타냄)는,
    해당 문제 q 를 맞출 경우
    Figure pat00040
    , 맞추지 못할 경우
    Figure pat00041
    이라 하고 해당 문제와 유사한 유형에 대한 해당 학습자의 평균 정답률을
    Figure pat00042
    라고 할 때,
    Figure pat00043
    에 의해 산출되는 것을 특징으로 하는 난이도별 문항을 제공하는 학습 시스템에서 개별 문항에 대한 난이도 갱신 방법
  3. 제 1항에 있어서, 상기 (e) 단계에서 산출되는 상기 출제용 문항의 개인별 표준 소요시간
    Figure pat00044
    (q는 해당 문제, i는 해당 문제를 푼 적이 있는 각 학습자를 나타냄)는,
    해당 문제를 푸는데 소요된 시간을
    Figure pat00045
    라 하고 해당 문제와 유사한 유형에 대한 해당 학습자의 평균 소요시간을
    Figure pat00046
    , 전체의 평균 소요시간을
    Figure pat00047
    라고 할 때,
    Figure pat00048
    에 의해 산출되는 것을 특징으로 하는 난이도별 문항을 제공하는 학습 시스템에서 개별 문항에 대한 난이도 갱신 방법
  4. 제 1항에 있어서, 상기 (f) 단계에서 산출되는 상기 출제용 문항의 평균 표준 정답률
    Figure pat00049
    (q는 해당 문제를 나타냄)는,
    해당 문제를 푼 학습자의 수를 N 이라 하고 학습자 개개인의 표준 정답률을
    Figure pat00050
    라 할 때,
    Figure pat00051
    에 의해 산출되는 것을 특징으로 하는 난이도별 문항을 제공하는 학습 시스템에서 개별 문항에 대한 난이도 갱신 방법
  5. 제 1항에 있어서, 상기 (f) 단계에서 산출되는 상기 출제용 문항의 평균 표준 소요시간
    Figure pat00052
    (q는 해당 문제를 나타냄)는,
    해당 문제를 푼 학습자의 수를 N 이라 하고 학습자 개개인의 표준 소요시간을
    Figure pat00053
    라 할 때,
    Figure pat00054
    에 의해 산출되는 것을 특징으로 하는 난이도별 문항을 제공하는 학습 시스템에서 개별 문항에 대한 난이도 갱신 방법
  6. 제 1 항 내지 제 5 항의 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  7. 유형과 출제자 난이도가 대응되어 있는 문항을 복수 개 저장하는 문제은행 데이터베이스와 복수의 학습자를 개별 아이디로 구분하는 학습자 데이터베이스와, 상기 각 문항의 상기 각 학습자별 정답 여부와 문제풀이 소요시간을 기록하는 로그 데이터를 저장하는 통계 데이터베이스부;
    각각 상기 학습자에 속하는 클라이언트 단말들의 문항 제출 요청에 따라 상기 문제은행 데이터베이스에 저장되어 있는 상기 복수의 문항들 중에서 출제용 문항을 선정하는 문항 제출부;
    상기 출제용 문항을 상기 학습자의 클라이언트 단말들에게 인터넷을 통해 전송하는 송신부;
    상기 복수의 클라이언트 단말들로부터 상기 인터넷을 통해 상기 출제용 문항에 대한 응답들을 수신하는 수신부;
    상기 학습자 데이터베이스를 참조하여 상기 클라이언트 단말들 각각의 상기 수신된 응답들을 분석하여, 상기 출제용 문항이 속한 유형에 대한 상기 각 학습자의 문제 유형별 표준 정답률과 표준 소요시간을 갱신하고, 상기 갱신된 각 학습자의 문제 유형별 표준 정답률과 문제 유형별 표준 소요시간에 근거하여 상기 출제용 문항의 평균 표준 정답률과 평균 표준 소요시간을 산출하는 통계 데이터 가공부;
    상기 평균 표준 정답률의 역수와 평균 표준 소요시간에 각각 제1 가중치, 제2 가중치를 곱한 뒤 더해서 통계 난이도를 산출하는 통계 난이도 산출부;
    상기 통계 난이도에 제3 가중치를 곱하고 상기 출제자 난이도에 제4 가중치를 곱한 뒤 더해서 종합 난이도를 산출하는 종합 난이도 산출부; 및
    상기 문항 중 문제 등록 이후 최초로 출제되는 문항이 존재하는 경우, 상기 출제자 난이도를 상기 출제용 문항의 종합 난이도로 설정하는 난이도 설정부를 포함하고,
    상기 출제자 난이도는, 난이도가 가장 낮은 0부터 난이도가 가장 높은 N까지의 정수로 이루어지는 문항 난이도 범위에 포함되고,
    상기 각 문항별 제1 가중치와 제2 가중치의 합은 항상 1이며, 제3 가중치와 제 4 가중치의 합은 항상 1인 것을 특징으로 하는 실시간 혹은 정기적, 비정기적 문항별 난이도 갱신 기능을 갖는 난이도별 문항 제공 학습시스템.
KR1020140061482A 2014-05-22 2014-05-22 난이도별 문항을 제공하는 학습 시스템에서 학습자의 표준 평균 정답률과 표준 평균 풀이시간을 이용하여 난이도 갱신기능을 갖는 난이도별 문항 제공 학습시스템 KR20150135584A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140061482A KR20150135584A (ko) 2014-05-22 2014-05-22 난이도별 문항을 제공하는 학습 시스템에서 학습자의 표준 평균 정답률과 표준 평균 풀이시간을 이용하여 난이도 갱신기능을 갖는 난이도별 문항 제공 학습시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140061482A KR20150135584A (ko) 2014-05-22 2014-05-22 난이도별 문항을 제공하는 학습 시스템에서 학습자의 표준 평균 정답률과 표준 평균 풀이시간을 이용하여 난이도 갱신기능을 갖는 난이도별 문항 제공 학습시스템

Publications (1)

Publication Number Publication Date
KR20150135584A true KR20150135584A (ko) 2015-12-03

Family

ID=54871897

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140061482A KR20150135584A (ko) 2014-05-22 2014-05-22 난이도별 문항을 제공하는 학습 시스템에서 학습자의 표준 평균 정답률과 표준 평균 풀이시간을 이용하여 난이도 갱신기능을 갖는 난이도별 문항 제공 학습시스템

Country Status (1)

Country Link
KR (1) KR20150135584A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200012431A (ko) * 2018-07-27 2020-02-05 (주)웅진씽크빅 빅데이터를 이용한 학습 문항 분석 정보 제공방법
KR20200091537A (ko) * 2019-01-22 2020-07-31 (주)캠버스 난이도 기반 온라인 모의시험 제공 시스템
KR20200098830A (ko) * 2019-02-13 2020-08-21 주식회사 메디오피아테크 문제 난이도 조정 방법 및 문제 난이도 조정 서버
CN112035605A (zh) * 2020-08-04 2020-12-04 广州视源电子科技股份有限公司 题目推荐方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200012431A (ko) * 2018-07-27 2020-02-05 (주)웅진씽크빅 빅데이터를 이용한 학습 문항 분석 정보 제공방법
KR20200091537A (ko) * 2019-01-22 2020-07-31 (주)캠버스 난이도 기반 온라인 모의시험 제공 시스템
KR20200098830A (ko) * 2019-02-13 2020-08-21 주식회사 메디오피아테크 문제 난이도 조정 방법 및 문제 난이도 조정 서버
CN112035605A (zh) * 2020-08-04 2020-12-04 广州视源电子科技股份有限公司 题目推荐方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Bullock et al. In pursuit of honors: A multi-institutional study of students’ perceptions of clerkship evaluation and grading
Kawa et al. The social network of US academic anthropology and its inequalities
Ballou et al. Using student test scores to measure teacher performance: Some problems in the design and implementation of evaluation systems
Avery et al. Electronic course evaluations: does an online delivery system influence student evaluations?
Takeda et al. The effects of gender on group work process and achievement: an analysis through self‐and peer‐assessment
Afzalur Rahim et al. A model of emotional intelligence and conflict management strategies: A study in seven countries
Telese Middle school mathematics teachers’ professional development and student achievement
Polidano et al. Making it real: The benefits of workplace learning in upper-secondary vocational education and training courses
KR102146111B1 (ko) 빅데이터를 이용한 학습 문항 분석 정보 제공방법
US20150044654A1 (en) Crowd-Sourced Assessment of Technical Skill (C-SATS™/CSATS™)
US20170365023A1 (en) Computer-implemented methods, systems, and computer-readable media for identifying opportunities and/or complimentary personal traits based on identified personal traits
KR20150135584A (ko) 난이도별 문항을 제공하는 학습 시스템에서 학습자의 표준 평균 정답률과 표준 평균 풀이시간을 이용하여 난이도 갱신기능을 갖는 난이도별 문항 제공 학습시스템
US20110269110A1 (en) Computer-Implemented Systems and Methods for Distributing Constructed Responses to Scorers
KR102146112B1 (ko) 빅데이터를 이용한 학습 문항 분석 정보 제공방법
US20150056578A1 (en) Methods and systems for gamified productivity enhancing systems
Teranishi et al. The Asian American and Pacific Islander data disaggregation movement: The convergence of community activism and policy reform
US20140032277A1 (en) Methods, systems and computer-readable media for computing performance indicator of a resource
KR20190125056A (ko) 학습자의 체감난이도 분석 정보 제공방법
US20160232800A1 (en) Integrated social classroom and performance scoring
Bettinger et al. Remote but influential: Peer effects and reflection in online higher education classrooms
Bagis et al. Analysis of the Influence of Education Levels, Transformational Leadership, and Self-Efficacy on the Performance of Village Government Apparatus in Purwojati District, Banyumas Regency
Schulwitz et al. Evaluating citizen science outreach: A case-study with The Peregrine Fund’s American Kestrel Partnership
McQuillan et al. LGBTQ+-Inclusive Professional Development in Elementary Schools: Does It Matter to Schoolwide Discipline?
Carstens et al. The effects of voluntary versus called-on participation on response rate in class discussion and performance on course exams.
CN112862642A (zh) 一种高校教育质量测评的方法、设备及介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application