KR20150014333A - 채점 관리 서버 및 그 운용방법 - Google Patents

채점 관리 서버 및 그 운용방법 Download PDF

Info

Publication number
KR20150014333A
KR20150014333A KR1020130089886A KR20130089886A KR20150014333A KR 20150014333 A KR20150014333 A KR 20150014333A KR 1020130089886 A KR1020130089886 A KR 1020130089886A KR 20130089886 A KR20130089886 A KR 20130089886A KR 20150014333 A KR20150014333 A KR 20150014333A
Authority
KR
South Korea
Prior art keywords
scoring
answer
score
information
committee
Prior art date
Application number
KR1020130089886A
Other languages
English (en)
Inventor
박도영
이용상
구슬기
임황규
Original Assignee
한국교육과정평가원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국교육과정평가원 filed Critical 한국교육과정평가원
Priority to KR1020130089886A priority Critical patent/KR20150014333A/ko
Publication of KR20150014333A publication Critical patent/KR20150014333A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 답안의 1 문항에 대해 복수 채점하고 정해진 규칙에 따라 재 채점할 답안의 문항을 자동으로 산출하도록 한 채점 관리 서버 및 그 운용방법에 관한 것으로, 채점 위원 선택부가 채점 위원의 채점 신뢰도를 기준으로 답안 문항 별 채점 위원들을 선택하여 답안 문항 별 답안 정보를 전송하며; 답안 채점 정보 관리부가 답안 채점 정보들을 수신받아 답안 문항 별로 채점 위원들에 대한 정보와 함께 저장하며; 점수차 계산부가 답안 문항 별로 저장된 답안 채점 정보들을 판독하여 채점 점수들을 확인하고, 확인된 채점 점수들의 차이 값을 계산하며; 재 답안 산출부가 점수차 계산부에서 계산된 채점 점수 차이 값을 전달받아 재 채점 규칙에 따라 재 채점 답안 문항을 산출하는 것을 특징으로 한다.

Description

채점 관리 서버 및 그 운용방법{SCORING MANAGEMENT SERVER AND OPERATING METHOD THEREOF}
본 발명은 채점 관리 서버 및 그 운용방법에 관한 것으로, 보다 상세하게는 채점 위원에 의해 답안의 일차 채점이 종료된 후에 재 채점할 답안을 자동으로 산출하도록 한 채점 관리 서버 및 그 운용방법에 관한 것이다.
학교, 학원, 자격 시험 기관 등과 같은 단체에서 시험을 보고자 할 경우에, 일반적으로 출제자가 문제를 출제하여 이를 종이(즉, 시험지)로 인쇄한 후, 정해진 시험 날짜에 정해진 장소에서 수험생에게 배포하게 된다.
수험생은 배포된 시험지를 통해 시험을 보고 답안을 종이 답안지에 작성하여 제출하며, 이에 따라 출제자는 종이 답안지에 작성된 답안을 수작업을 통해 채점을 수행하고 그 결과를 수험생에게 알려주게 된다.
이와 같은 시험 방법은 종이 시험지 및 종이 답안지를 이용하므로, 문제 출제부터 결과 통보까지 하나의 시험을 완료하기 위해서, 많은 수작업 과정을 거쳐야 하는 불편함과 인적 자원의 낭비도 심하고 종이 시험지 및 종이 답안지의 사용으로 경제적인 측면에서도 낭비 요소가 많으며, 또한 수작업에 의한 채점이므로 채점 시간이 많이 걸리고 수작업에 의한 채점으로 채점 결과의 신뢰성도 저하시킨다.
한국공개특허 제10-2002-0011295호 (2002.02.08 공개)는 학교나 학원 등 단체에서 온라인을 이용하여 자신의 학생을 대상으로 시험을 볼 때에 출제자가 직접 문제를 출제하고 온라인상에서 수험생이 시험을 본 후 답안을 제출하면, 자동 채점 시스템을 이용하여 채점을 하고 그 결과를 온라인상에서 수험생에게 알려주도록 한 인터넷상에서 맞춤 시험 방법에 관하여 개시되어 있다. 개시된 기술에 따르면, 문제 출제자는 인터넷상(맞춤 시험 사이트)에서 문제를 출제하고, 수험생은 온라인상에서 시험을 보며 그 결과를 획득하는 방법에 있어서, 상기 출제자는, 맞춤 시험 사이트에 접속한 후 맞춤 시험 등록 절차를 통해 등록을 하고, ID 및 비밀번호를 부여받은 후 이를 입력하고 문제 출제를 위해서 로그 인하는 단계와; 상기 로그 인 상태에서 과목을 선택하고, 시험 대상인 신규 자격증 등록을 하고, 신규 과목을 추가 또는 삭제하는 단계와; 상기 과목 등록 후 시험 일정에 대한 안내 항목을 등록하는 단계와; 상기 안내 항목 등록 후 출제 자문 위원을 등록하는 단계와; 상기 출제 자문 위원 등록 후 시험 문제를 출제 및 등록하는 단계를 수행하여 문제를 출제하고, 상기 수험생은, 상기 맞춤 시험 사이트 접속 후 시험 항목을 선택하고 회원 가입으로 가입하는 단계와; 상기 회원 가입 후 시험 과목을 선택하고 온라인상에서 시험을 본 후 답안을 제출하는 단계와; 상기 답안 제출 후 맞춤 시험 사이트 서버로부터 전송되는 채점 결과를 수신 및 확인하는 단계로 온라인상에서 시험을 보는 것을 특징으로 함으로써, 문제 출제자는 온라인상에서 원하는 형태로 문제를 출제할 수 있는 이점이 있으며, 수험생 역시 온라인상에서 시험을 용이하게 볼 수 있고, 답안 제출 후 신속히 자신의 시험 결과를 알 수 있다.
한국공개특허 제10-2001-0044657호 (2001.06.05 공개)는 말하기 능력 평가 시스템에 관하여 개시되어 있는데, 평가 서버가 네트워크를 통해 답안 일괄 채점 방식의 말하기 능력 평가를 제공하는 방법에 있어서, 평가 위원으로부터 문제 별 답안 목록 요청을 수신하는 단계; 상기 평가 위원에 상응하는 적어도 하나의 답안 목록을 추출하는 단계-여기서, 상기 답안 목록은 적어도 하나의 수험생 답안 파일을 포함함-; 및 상기 평가 위원에게 상기 추출된 답안 목록을 전송하는 단계를 포함하되, 상기 답안 파일은 상기 평가 위원에게 수신되어 동영상 및 음성 중 적어도 하나의 형태로 재생되어 상기 평가 위원에 의하여 평가되는 것을 특징으로 한다. 이러한 개시된 기술에 의하면, 수험생이 응답한 동영상, 음성 형태의 답안 파일이 평가 서버로 전송되어 저장된 후, 평가 위원이 하나의 문제에 대한 복수의 답변들을 일괄 채점할 수 있으며, 채점하는 데에 소요되는 시간과 비용, 노동을 줄일 수 있으며, 인터뷰 형식이 아니라 화상 입력 수단과 음성 입력 수단을 구비한 수험생 장치를 통해 답안 파일이 생성되어 답안 파일을 채점할 수 있으며, 또한 시간, 장소의 제약 없이 네트워크를 통해 수험생을 확인하고 테스트를 한 후 저장된 답안을 일괄 채점할 수 있다.
상술한 바와 같은 종래의 시험 방식은, 주로 출제자가 시험을 출제하고 답안 채점도 함께 하는데, 객관식 시험의 경우에는 큰 문제가 없지만, 출제자의 일인 주관 및 일괄적인 한 번의 처리에 의해 답안을 채점하게 되므로, 주관식(쓰기) 또는 말하기 시험의 경우에는 답안 채점이 객관적인지 못하고 답안 채점의 오류가 발생할 수 있어 채점에 대한 공정성 및 신뢰도를 확보하기 어려운 문제점이 있다.
한국공개특허 제10-2002-0011295호 한국공개특허 제10-2001-0044657호
본 발명의 일 실시 예는 답안의 1 문항에 대해 복수 채점하고 정해진 규칙에 따라 재 채점할 답안의 문항을 자동으로 산출하도록 한 채점 관리 서버 및 그 운용방법을 제공하고자 한다.
실시 예들 중에서, 채점 관리 서버는, 채점 위원의 채점 신뢰도를 기준으로 답안 문항 별 채점 위원들을 선택하여 답안 문항 별 답안 정보를 전송하는 채점 위원 선택부; 답안 채점 정보들을 수신받아 답안 문항 별로 채점 위원들에 대한 정보와 함께 저장하는 답안 채점 정보 관리부; 답안 문항 별로 저장된 답안 채점 정보들을 판독하여 채점 점수들을 확인하고, 확인된 채점 점수들의 차이 값을 계산하는 점수차 계산부; 및 상기 점수차 계산부에서 계산된 채점 점수 차이 값을 전달받아 재 채점 규칙에 따라 재 채점 답안 문항을 산출하는 재 답안 산출부를 포함한다.
일 실시 예에서, 상기 채점 관리 서버는, 상기 답안 항목 별 답안 정보를 수험생 별로 채점 영역 정보와 함께 저장하며, 상기 답안 채점 정보 관리부에서 수신받은 답안 채점 정보들을 답안 문항 별로 채점 위원들에 대한 정보와 함께 저장하며, 답안을 재 채점해야 하는 재 채점 규칙을 설정해 저장하는 데이터베이스부를 더 포함할 수 있다.
일 실시 예에서, 상기 채점 위원 선택부는, 상기 데이터베이스부로부터 답안 정보를 판독하여 답안 문항 별로 이에 대응하는 2 인의 채점 위원들을 선택하며, 선택된 2 인의 채점 위원들에 대한 답안 항목 별 답안 정보를 선택된 2 인의 채점 위원들에 대응하는 채점 위원용 단말기들로 전송할 수 있다.
일 실시 예에서, 상기 답안 채점 정보 관리부는, 상기 채점 위원용 단말기들로부터 답안 문항 별로 2 개의 답안 채점 정보들을 수신받고, 수신받은 2 개의 답안 채점 정보들을 답안 문항 별로 2 인의 채점 위원들에 대한 정보와 함께 상기 데이터베이스부에 저장할 수 있다.
일 실시 예에서, 상기 점수차 계산부는, 답안 문항 별로 저장된 2 개의 답안 채점 정보들을 상기 데이터베이스부로부터 판독하고, 2 개의 답안 채점 정보들 중에서 2 개의 채점 점수들을 확인하고, 2 개의 채점 점수들의 차이 값을 계산하고, 채점 점수 차이 값을 상기 재 답안 산출부로 전달할 수 있다.
일 실시 예에서, 상기 재 답안 산출부는, 상기 데이터베이스부로부터 만점 점수에 대응하는 기준 점수차 정보를 판독하고, 상기 점수차 계산부에서 계산된 채점 점수 차이 값이 기준 점수차 이상인지 확인하고, 상기 점수차 계산부에서 판독한 답안 채점 정보들에 대응하는 답안 문항을 재 채점 답안 문항으로 분류할 수 있다.
일 실시 예에서, 상기 채점 위원 선택부는, 상기 데이터베이스부로부터 답안 정보를 판독하여 답안 문항 별로 이에 대응하는 1 인의 채점 위원을 선택하며, 1 인의 채점 위원에 대한 답안 항목 별 답안 정보를 기 설정된 시간 간격으로 2 번 1 인의 채점 위원에 대응하는 채점 위원용 단말기로 전송할 수 있다.
일 실시 예에서, 상기 답안 채점 정보 관리부는, 상기 채점 위원용 단말기로부터 답안 문항 별로 기 설정된 시간 간격으로 2 개의 답안 채점 정보들을 수신받고, 수신받은 2 개의 답안 채점 정보들을 답안 문항 별로 1 인의 채점 위원에 대한 정보와 함께 상기 데이터베이스부에 저장할 수 있다.
일 실시 예에서, 상기 채점 위원 선택부는, 상기 데이터베이스부로부터 답안 정보를 판독하여 답안 문항 별로 이에 대응하는 3 인 이상의 채점 위원들을 선택하며, 3 인 이상의 채점 위원들에 대한 답안 항목 별 답안 정보를 3 인 이상의 채점 위원에 대응하는 채점 위원용 단말기들로 전송할 수 있다.
일 실시 예에서, 상기 답안 채점 정보 관리부는, 상기 채점 위원용 단말기들로부터 답안 문항 별로 3 개 이상의 답안 채점 정보들을 수신받고, 수신받은 3 개 이상의 답안 채점 정보들을 답안 문항 별로 3 인 이상의 채점 위원들에 대한 정보와 함께 상기 데이터베이스부에 저장할 수 있다.
일 실시 예에서, 상기 점수차 계산부는, 답안 문항 별로 저장된 3 개 이상의 답안 채점 정보들을 상기 데이터베이스부로부터 판독하고, 3 개 이상의 답안 채점 정보들 중에서 3 개 이상의 채점 점수들을 확인하고, 3 개 이상의 채점 점수들 간의 차이 값들을 계산하고, 채점 점수 차이 값들 및 채점 점수 차이 값 계산 회수를 상기 재 답안 산출부로 전달할 수 있다.
일 실시 예에서, 상기 재 답안 산출부는, 상기 데이터베이스부로부터 만점 점수에 대응하는 만점 점수에 대응하는 기준 점수차 정보 및 채점 점수 차이 값 계산 회수에 대응하는 기준 개수 정보를 판독하고, 기준 점수차 이상인 값을 가지는 채점 점수 차이 값들을 확인하여 확인된 채점 점수 차이 값들을 카운팅하고, 해당 카운팅된 개수가 기준 개수 정보 이상인지 확인하고, 상기 점수차 계산부에서 판독한 답안 채점 정보들에 대응하는 답안 문항을 재 채점 답안 문항으로 분류할 수 있다.
실시 예들 중에서, 채점 관리 서버의 운용방법은, 채점 위원의 채점 신뢰도를 기준으로 답안 문항 별 채점 위원들을 선택하여 선택된 채점 위원들에 대응하는 채점 위원용 단말기들로 답안 문항 별 답안 정보를 전송하는 단계; 상기 채점 위원용 단말기들로부터 답안 채점 정보들을 수신받아 답안 문항 별로 채점 위원들에 대한 정보와 함께 데이터베이스부에 저장하는 단계; 및 상기 데이터베이스부에 설정된 재 채점 규칙과 저장된 답안 채점 정보들을 판독하여 재 채점 규칙에 따라 재 채점 답안 문항을 산출하는 단계를 포함한다.
일 실시 예에서, 상기 재 채점 답안 문항을 산출하는 단계는, 상기 데이터베이스부에 답안 문항 별로 저장된 답안 채점 정보들을 판독하여 채점 점수들을 확인하고, 확인된 채점 점수들의 차이 값을 계산하는 단계; 및 상기 데이터베이스부에 설정된 재 채점 규칙을 판독하여 상기 채점 점수 차이 값을 재 채점 규칙과 비교하여 재 채점 답안 문항을 산출하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 재 채점 답안 문항을 산출하는 단계는, 상기 데이터베이스부에 답안 문항 별로 저장된 2 개의 답안 채점 정보들을 판독하는 단계; 상기 2 개의 답안 채점 정보들로부터 2 개의 채점 점수들을 확인하는 단계; 상기 2 개의 채점 점수들의 차이 값을 계산하는 단계; 상기 데이터베이스부에 설정된 만점 점수에 대응하는 기준 점수차 정보를 판독하는 단계; 상기 계산된 채점 점수 차이 값이 상기 판독된 기준 점수차 이상인지를 비교하는 단계; 및 상기 계산된 채점 점수 차이 값이 상기 판독된 기준 점수차 이상인 경우에, 상기 2 개의 답안 채점 정보들에 대응하는 답안 문항을 재 채점 답안 문항으로 분류하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 채점 관리 서버 및 그 운용방법은, 답안의 1 문항에 대해 복수 채점하고 정해진 규칙에 따라 재 채점할 답안의 문항을 자동으로 산출하도록 함으로써, 답안 채점을 보다 객관적으로 수행할 수 있도록 함과 동시에 답안 채점의 오류 발생을 방지하여 채점에 대한 공정성 및 신뢰도를 확보할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 채점 관리 서버를 설명하는 도면이다.
도 2는 도 1에 있는 채점 관리 서버를 포함한 채점 관리 시스템을 설명하는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 채점 관리 서버의 운용방법을 설명하는 순서도이다.
도 4는 도 3에 있는 재 채점 답안 문항 산출 단계를 설명하는 순서도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시 예에 따른 채점 관리 서버를 설명하는 도면이다.
도 1을 참조하면, 채점 관리 서버(100)는, 채점 위원 선택부(110), 데이터베이스부(120), 답안 채점 정보 관리부(130), 점수차 계산부(140), 재 답안 산출부(150)를 포함한다.
채점 위원 선택부(110)는, 교육 관리 시스템의 채점 위원 재 인증을 통해 산출된 채점 위원의 채점 신뢰도를 기준으로 통과된 채점 위원에 대한 정보를 수신받고, 채점 관리자용 단말기에서 선정한 받는다. 또한, 채점 위원 선택부(110)는, 답안의 1 문항에 대해 각각 복수 채점할 수 있도록 하기 위해서, 수신받은 채점 위원 정보의 채점 신뢰도를 기준으로 선정된 채점 위원 배정 방식에 따라 답안 문항 별 채점 위원들을 선택하고, 해당 선택채점 위원 배정 방식에 대한 정보를 수신 된 채점 위원들에 대한 채점 영역 및 채점 답안을 자동 배정하며, 해당 배정된 채점 영역 및 답안에 대한 정보(답안 항목 별 답안 정보)를 해당 선택된 채점 위원들에 각각 대응하는 채점 위원용 단말기들로 전송한다.
일 실시 예에서, 채점 위원 선택부(110)는, 시험 시행 종료 후에 수험생이 작성한 답안에 대한 정보를 시험 시행 시스템의 답안 데이터베이스로부터 이관받아 채점 영역에 대한 정보를 확인하고, 해당 확인된 채점 영역 정보 및 해당 이관받은 답안 정보를 수험생 별로 데이터베이스부(120)에 저장할 수 있다.
일 실시 예에서, 채점 위원 선택부(110)는, 데이터베이스부(120)로부터 답안 정보를 판독하여 해당 판독된 답안 정보 중 답안 문항 별로 각각 이에 대응하는 2 인의 채점 위원들을 선택하며, 해당 선택된 2 인의 채점 위원들에 대한 채점 영역 및 답안을 자동 배정하며, 해당 배정된 채점 영역 및 답안에 대한 정보(답안 항목 별 답안 정보)를 해당 선택된 2 인의 채점 위원들에 각각 대응하는 채점 위원용 단말기들로 전송할 수 있다.
일 실시 예에서, 채점 위원 선택부(110)는, 답안 문항 별로 각각 이에 대응하는 1 인의 채점 위원을 선택하고, 1 문항 당 2 번 또는 그 이상 복수 채점하도록 하기 위해서, 해당 배정된 채점 영역 및 답안에 대한 정보(답안 항목 별 답안 정보)를 기 설정된 시간 간격으로 2 번 또는 그 이상 복수 번 해당 선택된 1 인의 채점 위원에 대응하는 채점 위원용 단말기로 전송할 수도 있다.
일 실시 예에서, 채점 위원 선택부(110)는, 답안 문항 별로 각각 이에 대응하는 3 인 이상의 채점 위원들을 선택하고, 1 문항 당 3 인 이상의 채점 위원들에 의해 복수 채점하도록 하기 위해서, 해당 배정된 채점 영역 및 답안에 대한 정보(답안 항목 별 답안 정보)를 해당 선택된 3 인 이상의 채점 위원들에 각각 대응하는 채점 위원용 단말기들로 전송할 수도 있다.
일 실시 예에서, 채점 위원 선택부(110)는, 재 답안 산출부(150)로부터 산출된 재 채점 답안 문항을 전달받고, 최초 선택된 채점 위원들을 제외한 채점 위원들 중에서 채점 신뢰도를 기준으로 재 채점 답안 문항에 대한 새로운 채점 위원을 자동 재 배정하며, 해당 재 채점 답안 문항에 대한 정보를 해당 재 배정된 새로운 채점 위원에 대응하는 채점 위원용 단말기로 전송할 수도 있다.
데이터베이스부(120)는, 채점 위원 선택부(110)로부터 전달되는 답안에 대한 정보(답안 항목 별 답안 정보)를 수험생 별로 채점 영역에 대한 정보와 함께 저장하며, 답안 채점 정보 관리부(130)로부터 전달되는 답안 채점 정보들을 답안 문항 별로 2 인의 채점 위원들에 대한 정보와 함께 저장하며, 답안을 재 채점해야 하는 재 채점 규칙(즉, 만점 점수 별로 재 채점해야 할 점수차에 대한 기준 점수차 정보, 채점 점수 차이 값 계산 회수 별로 재 채점해야 할 점수차가 발생한 개수에 대한 기준 개수 정보 등)을 미리 설정해 저장한다.
일 실시 예에서, 데이터베이스부(120)는, 답안 채점 정보 관리부(130)로부터 기 설정된 시간 간격으로 전달되는 2 개 또는 그 이상의 답안 채점 정보들을 답안 문항 별로 1 인의 채점 위원에 대한 정보와 함께 저장하거나, 채점 관리 서버(100)로부터 전달되는 답안 채점 정보들을 답안 문항 별로 3 인 이상의 채점 위원들에 대한 정보와 함께 저장할 수도 있다.
답안 채점 정보 관리부(130)는, 채점 위원용 단말기들로부터 답안 문항 별로 2 개의 답안 채점 정보들(채점 점수에 대한 정보들을 포함함)을 수신받고, 해당 수신받은 2 개의 답안 채점 정보들을 답안 문항 별로 2 인의 채점 위원들에 대한 정보와 함께 데이터베이스부(120)에 저장한다.
일 실시 예에서, 답안 채점 정보 관리부(130)는, 하나의 채점 위원용 단말기로부터 답안 문항 별로 기 설정된 시간 간격으로 2 개 또는 그 이상의 답안 채점 정보들을 수신받아, 답안 문항 별로 1 인의 채점 위원에 대한 정보와 함께 데이터베이스부(120)에 저장하거나, 3 개 이상의 채점 위원용 단말기로부터 답안 문항 별로 3 개 이상의 답안 채점 정보들을 수신받아 답안 문항 별로 3 인 이상의 채점 위원들에 대한 정보와 함께 데이터베이스부(120)에 저장할 수도 있다.
점수차 계산부(140)는, 데이터베이스부(120)에 답안 문항 별로 저장되어 있는 답안 채점 정보들을 판독하고, 해당 답안 문항 별로 판독한 2 개의 답안 채점 정보들 중에서 2 개의 채점 점수들을 확인하고, 해당 확인된 2 개의 채점 점수들의 차이 값을 계산하고, 해당 계산된 채점 점수 차이 값을 재 답안 산출부(150)로 전달한다.
일 실시 예에서, 점수차 계산부(140)는, 데이터베이스부(120)에 답안 문항 별로 저장되어 있는 3 개 이상의 답안 채점 정보들을 판독하고, 해당 답안 문항 별로 판독한 3 개 이상의 답안 채점 정보들 중에서 3 개 이상의 채점 점수들을 확인하고, 해당 확인된 3 개 이상의 채점 점수들 간의 차이 값들을 계산하고, 해당 계산된 채점 점수 차이 값들 및 채점 점수 차이 값 계산 회수를 재 답안 산출부(150)로 전달할 수도 있다.
재 답안 산출부(150)는, 점수차 계산부(140)로부터 계산된 채점 점수 차이 값을 전달받아 해당 전달받은 채점 점수 차이 값과 미리 설정해 둔 재 채점 규칙(즉, 만점 점수 별로 재 채점해야 할 점수차에 대한 기준 점수차 정보, 채점 점수 차이 값 계산 회수 별로 재 채점해야 할 점수차가 발생한 개수에 대한 기준 개수 정보 등)를 비교하여 재 채점할 답안의 문항을 자동으로 산출한다.
일 실시 예에서, 재 답안 산출부(150)는, 데이터베이스부(120)로부터 재 채점 규칙 중에서 만점 점수에 대응하는 기준 점수차 정보를 판독하고, 해당 판독된 기준 점수차 정보와 점수차 계산부(140)에서 계산된 채점 점수 차이 값을 비교하고, 점수차 계산부(140)에서 계산된 채점 점수 차이 값이 해당 판독된 기준 점수차 정보 이상인 경우에, 점수차 계산부(140)에서 판독한 답안 채점 정보들에 대응하는 답안 문항을 재 채점 답안 문항으로 분류할 수 있다.
일 실시 예에서, 재 답안 산출부(150)는, 데이터베이스부(120)로부터 재 채점 규칙 중에서 만점 점수에 대응하는 기준 점수차 정보 및 채점 점수 차이 값 계산 회수에 대응하는 기준 개수 정보를 판독하고, 해당 판독된 기준 점수차 정보와 점수차 계산부(140)에서 계산된 채점 점수 차이 값들을 비교하고, 해당 판독된 기준 점수차 정보 이상인 값을 가지는 채점 점수 차이 값들을 확인한 후에, 해당 확인된 채점 점수 차이 값들을 카운팅하고, 해당 카운팅된 개수와 해당 판독된 채점 점수 차이 값 계산 회수에 대응하는 기준 개수 정보를 비교하며, 해당 카운팅된 개수가 해당 판독된 기준 개수 정보 이상인 경우에, 점수차 계산부(140)에서 판독한 답안 채점 정보들에 대응하는 답안 문항을 재 채점 답안 문항으로 분류할 수도 있다.
상술한 바와 같은 구성을 가진 채점 관리 서버(100)는, 재 답안 산출부(150)에 의해서 답안의 1 문항에 대해 복수 채점하고 정해진 규칙에 따라 재 채점할 답안의 문항을 자동으로 산출함으로써, 답안 채점을 보다 객관적으로 수행할 수 있도록 함과 동시에 답안 채점의 오류 발생을 방지하여 채점에 대한 공정성 및 신뢰도를 확보할 수 있다.
도 2는 도 1에 있는 채점 관리 서버를 포함한 채점 관리 시스템을 설명하는 도면이다.
도 2를 참조하면, 채점 관리 시스템은 채점 관리 서버(100), 다수 개의 수험생용 단말기(200-1 ~ 200-N), 채점 관리자용 단말기(300), 다수 개의 채점 위원용 단말기(400-1 ~ 400-M), 네트워크(500)를 포함한다.
채점 관리 서버(100)는, 시험 시행 종료 후에 수험생이 작성한 채점 답안에 대한 정보를 시험 시행 시스템의 답안 데이터베이스로부터 이관받아, 채점 영역에 대한 정보를 확인하고 확인된 채점 영역 정보와 함께 답안 정보를 수험생 별로 저장하며, 채점 관리자용 단말기(300)로부터 채점 위원 배정 방식에 대한 정보를 수신받아 채점 위원 배정 방식을 선정하며, 채점 위원의 채점 신뢰도를 기준으로 통과된 채점 위원에 대한 정보를 수신받으며, 해당 수신받은 채점 위원 정보의 채점 신뢰도를 기준으로 해당 선정한 채점 위원 배정 방식에 따라 채점 위원에 대한 채점 영역 및 채점 답안을 자동 배정하며, 해당 배정된 채점 영역 및 채점 답안 정보를 채점 위원용 단말기(400-1 ~ 400-M)로 전송한다. 이때, 채점 관리 서버(100)는 채점 위원에 의해 답안의 일차 채점이 종료된 후에 재 채점할 답안을 자동으로 산출하는데, 즉 답안 데이터베이스로부터 이관받은 답안의 1 문항에 대해 복수 채점할 수 있도록 하기 위해서, 산출된 채점 신뢰도를 기준으로 답안의 1 문항에 대해 각각 2 인의 채점 위원들을 선택하며, 해당 선택된 2 인의 채점 위원들에 대한 채점 영역 및 답안을 자동 배정하며, 해당 배정된 채점 영역 및 답안에 대한 정보(답안 항목 별 답안 정보)를 해당 선택된 2 인의 채점 위원들에 각각 대응하는 채점 위원용 단말기들(400-1 ~ 400-M)로 전송한 후에, 각 채점 위원용 단말기(400-1 ~ 400-M)로부터 답안 채점 정보들(채점 점수에 대한 정보들을 포함함)을 수신받아 답안 문항 별로 2 인의 채점 위원들에 대한 정보와 함께 데이터베이스부(120)에 저장하였다가, 해당 답안 채점 정보들을 판독하여 미리 설정해 둔 재 채점 규칙에 따라 재 채점할 답안의 문항을 자동으로 산출한다.
일 실시 예에서, 교육 관리 시스템은 인력풀 시스템의 인력풀 데이터베이스에 등록된 채점 위원들에 대해서 직전 채점, 재 인증, 신규 연수의 신뢰도를 바탕으로 말하기 영역 및 쓰기 영역으로 분류하여 재 인증을 수행하며, 또한 채점 답안에 대한 기준 점수를 미리 설정해 두고, 채점 답안에 대한 채점 위원의 채점 점수와 기준 점수 간의 상관 계수로 채점 신뢰도를 산출하며, 해당 산출된 채점 신뢰도를 기준으로 통과된 채점 위원에 대한 정보를 채점 관리 서버(100)로 전송할 수 있다.
일 실시 예에서, 채점 관리 서버(100)는, 답안의 1 문항 각각에 대해 1 인의 채점 위원을 선택하여 해당 선택된 1 인의 채점 위원에 의해 두 번 또는 그 이상 복수 채점하도록 하거나, 또는 3 인 이상의 채점 위원들을 선택하여 해당 선택된 3 인 이상의 채점 위원들에 의해 채점하도록 한 후에, 재 채점할 답안의 문항을 자동으로 산출할 수도 있다. 즉, 채점 관리 서버(100)는, 답안 문항 별 1 인의 채점 위원을 선택한 경우에 해당 선택된 1 인의 채점 위원에 대응하는 채점 위원용 단말기(400-1 ~ 400-M)로부터 기 설정된 시간 간격으로 두 개 또는 그 이상의 답안 채점 정보들을 수신받아 답안 문항 별로 1 인의 채점 위원에 대한 정보와 함께 데이터베이스부(120)에 저장하거나, 답안 문항 별 3 인 이상의 채점 위원들을 선택한 경우에 해당 선택된 3 인 이상의 채점 위원들에 각각 대응하는 채점 위원용 단말기들(400-1 ~ 400-M)로부터 답안 채점 정보들을 수신받아 답안 문항 별로 3 인 이상의 채점 위원들에 대한 정보와 함께 데이터베이스부(120)에 저장한 다음에, 해당 답안 채점 정보들을 판독하여 미리 설정해 둔 재 채점 규칙에 따라 재 채점할 답안의 문항을 자동으로 산출할 수도 있다.
일 실시 예에서, 채점 관리 서버(100)는, 재 채점할 답안의 문항에 대한 개수(즉, 재 채점 답안 문항 수)를 자동으로 산출할 수도 있으며, 또한 각 채점 위원용 단말기(400-1 ~ 400-M)로부터 수신되는 답안 채점 정보들을 채점 영역 별로도 데이터베이스부(120)에 저장하였다가, 해당 답안 채점 정보들(채점 영역 별 채점 결과에 대한 정보들을 포함함)을 판독하여 미리 설정해 둔 재 채점 규칙에 따라 재 채점할 답안의 문항으로 자동 분류할 수도 있다.
일 실시 예에서, 채점 관리 서버(100)는, 채점 위원이 이전에 수험생의 답안을 채점한 결과에 대해서 답안을 올바르게 채점하였는지를 확인한 후에, 전체 채점 건수 중에서 얼마만큼 올바르게 채점하였는지의 비율을 퍼센트로 계산함으로써, 채점 위원 별로 채점의 정확도를 구하여 저장할 수 있으며, 또한 채점 위원이 이전에 수험생의 답안을 채점함에 있어서 이전에 등록해 둔 채점 일정을 지켰는지를 확인한 후에, 전체 채점 일정 중에서 얼마만큼 채점 일정을 지켰는지의 비율을 퍼센트로 계산함으로써, 채점 위원 별로 채점 일정의 수행도를 구하여 저장할 수도 있다.
일 실시 예에서, 채점 관리 서버(100)는, 채점 위원이 이전에 수험생의 답안을 채점한 결과에 대해서 답안을 말하기 영역 및 쓰기 영역 별로 올바르게 채점하였는지를 확인한 후에, 말하기 영역 및 쓰기 영역의 전체 채점 건수 중에서 얼마만큼 올바르게 채점하였는지의 비율을 각각 퍼센트로 계산함으로써, 말하기 영역 및 쓰기 영역 별로 채점의 정확도를 구하여 저장할 수 있으며, 또한 채점 위원이 이전에 수험생의 답안을 채점함에 있어서 이전에 등록해 둔 채점 일정을 말하기 영역 및 쓰기 영역 별로 지켰는지를 확인한 후에, 말하기 영역 및 쓰기 영역의 전체 채점 일정 중에서 얼마만큼 채점 일정을 지켰는지의 비율을 각각 퍼센트로 계산함으로써, 말하기 영역 및 쓰기 영역 별로 채점 일정의 수행도를 구하여 저장할 수도 있다.
수험생용 단말기(200-1 ~ 200-N)는, PC, 노트북 등과 같은 통신 가능 단말기로서, 수험생이 작성한 채점 답안을 제출하기 위한 클릭을 수행하는 경우에, 해당 채점 답안 제출 클릭을 확인하여 채점 답안에 대한 정보를 시험 시행 시스템의 답안 데이터베이스로 전송한다.
채점 관리자용 단말기(300)는, PC, 노트북 등과 같은 통신 가능 단말기로서, 채점 관리자가 다수 개의 채점 위원 배정 방식들 중에서 하나를 선택하게 되는 경우에, 해당 선택된 채점 위원 배정 방식 정보를 확인하여 해당 확인된 채점 위원 배정 방식 정보를 채점 관리 서버(100)로 전송한다.
일 실시 예에서, 채점 위원 배정 방식으로는, 영역 별 고 신뢰도를 이용한 채점 위원 배정 방식, 소정 크기 이상의 고 신뢰도를 이용한 채점 위원 배정 방식, 배정 룰을 이용한 채점 위원 배정 방식이 있다. 영역 별 고 신뢰도를 이용한 채점 위원 배정 방식은, 채점 위원 참여 희망자들 중에서 직전 채점 신뢰도를 기준으로 말하기 영역 신뢰도 및 쓰기 영역 신뢰도 중 높은 영역으로 채점 위원을 재 인증하여 배정할 수 있다. 소정 크기 이상의 고 신뢰도를 이용한 채점 위원 배정 방식은, 채점 위원 참여 희망자들 중에서 재 인증 획득 신뢰도가 소정의 크기(예를 들어, 0.7) 이상인 채점 위원들 중 높은 신뢰도 순으로 채점 위원을 배정할 수 있다. 배정 룰을 이용한 채점 위원 배정 방식은, 수험생?문항 교차 배정 룰, 문항 교차 배정 룰, 및 수험생 교차 배정 룰 중에서 한 가지를 선택하는 경우에, 해당 선택된 배정 룰에 맞게 자동으로 채점 위원에게 답안(또는, 채점 영역)을 배정할 수 있다.
채점 위원용 단말기(400-1 ~ 400-M)는, PC, 노트북 등과 같은 통신 가능 단말기로서, 채점 관리 서버(100)로부터 전송되는 채점 영역 및 채점 답안 정보를 수신받아 채점 위원이 자신에게 배정된 채점 영역에 해당하는 채점 답안을 채점하도록 디스플레이하며, 채점 위원에 의한 답안 채점에 대한 정보를 채점 관리 서버(100)로 전송한다.
네트워크(500)는, 유무선 네트워크로서, 유선 통신망, 무선 통신망 또는 무선 인터넷 망을 통해 다수 개의 수험생용 단말기(200-1 ~ 200-N), 채점 관리자용 단말기(300), 및 다수 개의 채점 위원용 단말기(400-1 ~ 400-M)와 채점 관리 서버(100) 간의 데이터를 송수신한다.
도 3은 본 발명의 일 실시 예에 따른 채점 관리 서버의 운용방법을 설명하는 순서도이다.
도 3을 참조하면, 채점 관리 서버(100) 내의 채점 위원 선택부(110)는 교육 관리 시스템의 채점 위원 재 인증을 통해 산출된 채점 위원의 채점 신뢰도를 기준으로 통과된 채점 위원에 대한 정보를 수신받고, 해당 수신받은 채점 위원 정보의 채점 신뢰도를 기준으로 답안의 1 문항에 대해 각각 복수 채점할 수 있도록 답안 문항 별 채점 위원들을 선택한 다음에(S301), 해당 선택된 채점 위원들에 각각 대응하는 채점 위원용 단말기들(400-1 ~ 400-M)로 답안 문항 별 답안 정보를 전송하도록 한다(S302).
일 실시 예에서, 답안의 1 문항에 대해 각각 2 인의 채점 위원들을 선택한 경우에, 채점 위원 선택부(110)는 데이터베이스부(120)로부터 답안 정보를 판독하여 해당 판독된 답안 정보 중 답안 문항 별로 각각 이에 대응하는 2 인의 채점 위원들을 선택하며, 해당 선택된 2 인의 채점 위원들에 대한 채점 영역 및 답안을 자동 배정하며, 해당 배정된 채점 영역 및 답안에 대한 정보(답안 항목 별 답안 정보)를 해당 선택된 2 인의 채점 위원들에 각각 대응하는 채점 위원용 단말기들(400-1 ~ 400-M)로 전송할 수 있다.
채점 위원용 단말기(400-1 ~ 400-M) 각각은, 채점 관리 서버(100)로부터 전송되는 배정된 채점 영역 및 답안에 대한 정보(답안 항목 별 답안 정보)를 수신받아 채점 위원이 자신에게 배정된 채점 영역에 해당하는 답안을 채점하도록 디스플레이하며, 이에 채점 위원이 디스플레이된 답안에 대해 채점을 수행하면, 채점 위원에 의해 채점된 답안 채점 정보(채점 점수에 대한 정보를 포함함)을 재 답안 산출 서버(100)로 전송한다.
채점 관리 서버(100) 내의 답안 채점 정보 관리부(130)는, 채점 위원용 단말기들(400-1 ~ 400-M)로부터 답안 채점 정보들(채점 점수에 대한 정보들을 포함함)을 수신받고(S303), 해당 수신받은 답안 채점 정보들을 답안 문항 별로 채점 위원들에 대한 정보와 함께 데이터베이스부(120)에 저장한다(S304).
채점 관리 서버(100)는 데이터베이스부(120)에 미리 설정해 둔 재 채점 규칙을 판독하고(S305), 상술한 단계 S304에서 저장해 둔 답안 채점 정보들을 판독하여 재 채점 규칙에 따라 재 채점할 답안의 문항을 자동으로 산출한다(S306).
일 실시 예에서, 채점 관리 서버(100)는 답안의 1 문항 각각에 대해 1 인의 채점 위원을 선택하여 해당 선택된 1 인의 채점 위원에 의해 두 번 또는 그 이상 복수 채점하도록 하거나, 또는 3 인 이상의 채점 위원들을 선택하여 해당 선택된 3 인 이상의 채점 위원들에 의해 채점하도록 할 수 있다. 이때, 답안 문항 별 1 인의 채점 위원을 선택한 경우에, 채점 관리 서버(100)는 해당 선택된 1 인의 채점 위원에 대응하는 채점 위원용 단말기(400-1 ~ 400-M)로부터 기 설정된 시간 간격으로 두 개 또는 그 이상의 답안 채점 정보들을 수신받아 답안 문항 별로 1 인의 채점 위원에 대한 정보와 함께 데이터베이스부(120)에 저장하였다가, 해당 답안 채점 정보들을 판독하여 미리 설정해 둔 재 채점 규칙에 따라 재 채점할 답안의 문항을 자동으로 산출할 수 있다. 또한, 답안 문항 별 3 인 이상의 채점 위원들을 선택한 경우에, 채점 관리 서버(100)는 해당 선택된 3 인 이상의 채점 위원들에 각각 대응하는 채점 위원용 단말기들(400-1 ~ 400-M)로부터 답안 채점 정보들을 수신받아 답안 문항 별로 3 인 이상의 채점 위원들에 대한 정보와 함께 데이터베이스부(120)에 저장하였다가, 해당 답안 채점 정보들을 판독하여 미리 설정해 둔 재 채점 규칙에 따라 재 채점할 답안의 문항을 자동으로 산출할 수 있다.
도 4는 도 3에 있는 재 채점 답안 문항 산출 단계를 설명하는 순서도이다.
도 4를 참조하면, 채점 관리 서버(100) 내의 점수차 계산부(140)는 답안 문항 별 2 인의 채점 위원들을 선택한 경우에, 답안 문항 별로 저장되어 있는 2 개의 답안 채점 정보들을 데이터베이스부(120)로부터 판독하고(S401), 해당 답안 문항 별로 판독한 2 개의 답안 채점 정보들 중에서 2 개의 채점 점수들을 확인한 다음에(S402), 해당 확인된 2 개의 채점 점수들의 차이 값을 계산하고(S403), 해당 계산된 채점 점수 차이 값을 채점 관리 서버(100) 내의 재 답안 산출부(150)로 전달한다.
일 실시 예에서, 점수차 계산부(140)는, 답안 문항 별로 저장되어 있는 3 개 이상의 답안 채점 정보들을 데이터베이스부(120)로부터 판독하고, 해당 답안 문항 별로 판독한 3 개 이상의 답안 채점 정보들 중에서 3 개 이상의 채점 점수들을 확인한 다음에, 해당 확인된 3 개 이상의 채점 점수들 간의 차이 값들을 계산하고, 해당 계산된 채점 점수 차이 값들 및 채점 점수 차이 값 계산 회수를 재 답안 산출부(150)로 전달할 수도 있다.
재 답안 산출부(150)는, 데이터베이스부(120)로부터 재 채점 규칙 중에서 만점 점수에 대응하는 기준 점수차 정보를 판독한 후에(S404), 점수차 계산부(430)에서 계산된 채점 점수 차이 값이 해당 판독된 기준 점수차 이상인지를 비교한다(S405).
재 답안 산출부(150)는, 점수차 계산부(140)에서 계산된 채점 점수 차이 값이 해당 판독된 기준 점수차 정보 이상인 경우에, 점수차 계산부(140)에서 판독한 답안 채점 정보들에 대응하는 답안 문항을 재 채점 답안 문항으로 분류한다(S406).
예를 들어, 5점이 만점인 채점 영역의 답안 문항에 대해서 점수차 계산부(140)에서 계산된 채점 점수 차이 값이 3점 이상인 경우에 재 채점 답안 문항으로 분류할 수 있으며, 다르게는 3점이 만점인 채점 영역의 답안 문항에 대해서 점수차 계산부(140)에서 계산된 채점 점수 차이 값이 2점 이상인 경우에 재 채점 답안 문항으로 분류할 수 있다.
일 실시 예에서, 재 답안 산출부(150)는, 데이터베이스부(120)로부터 재 채점 규칙 중에서 만점 점수에 대응하는 기준 점수차 정보 및 채점 점수 차이 값 계산 회수에 대응하는 기준 개수 정보를 판독한 후에, 해당 판독된 기준 점수차 정보와 점수차 계산부(140)에서 계산된 채점 점수 차이 값들을 비교할 수 있다. 이때, 재 답안 산출부(150)는, 판독된 기준 점수차 정보 이상인 값을 가지는 채점 점수 차이 값들을 확인한 후에, 해당 확인된 채점 점수 차이 값들을 카운팅하고, 해당 카운팅된 개수가 해당 판독된 채점 점수 차이 값 계산 회수에 대응하는 기준 개수 이상인지를 비교할 수 있다. 만약에, 해당 카운팅된 개수가 해당 판독된 기준 개수 정보 이상인 경우에, 재 답안 산출부(150)는, 점수차 계산부(140)에서 판독한 답안 채점 정보들에 대응하는 답안 문항을 재 채점 답안 문항으로 분류할 수도 있다.
예를 들어, 5점이 만점인 채점 영역의 답안 문항에 대해서 점수차 계산부(140)에서 계산된 채점 점수 차이 값들이 3점, 2점, 1점이고, 이 중에서 2점 이상인 채점 점수 차이 값들이 2 개 이상인 경우에 재 채점 답안 문항으로 분류하도록 할 수 있으며, 다르게는 3점이 만점인 채점 영역의 답안 문항에 대해서 점수차 계산부(140)에서 계산된 채점 점수 차이 값이 2점, 1점, 1점이고, 이 중에서 2점 이상인 채점 점수 차이 값들이 1 개 이상인 경우에 재 채점 답안 문항으로 분류할 수 있다.
상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 채점 관리 서버
110: 채점 위원 선택부
120: 데이터베이스부
130: 답안 채점 정보 관리부
140: 점수차 계산부
150: 재 답안 산출부
200-1 ~ 200-N: 수험생용 단말기
300: 채점 관리자용 단말기
400-1 ~ 400-M: 채점 위원용 단말기
500: 네트워크

Claims (15)

  1. 채점 위원의 채점 신뢰도를 기준으로 답안 문항 별 채점 위원들을 선택하여 답안 문항 별 답안 정보를 전송하는 채점 위원 선택부;
    답안 채점 정보들을 수신받아 답안 문항 별로 채점 위원들에 대한 정보와 함께 저장하는 답안 채점 정보 관리부;
    답안 문항 별로 저장된 답안 채점 정보들을 판독하여 채점 점수들을 확인하고, 확인된 채점 점수들의 차이 값을 계산하는 점수차 계산부; 및
    상기 점수차 계산부에서 계산된 채점 점수 차이 값을 전달받아 재 채점 규칙에 따라 재 채점 답안 문항을 산출하는 재 답안 산출부를 포함하는 채점 관리 서버.
  2. 제1항에 있어서,
    상기 답안 항목 별 답안 정보를 수험생 별로 채점 영역 정보와 함께 저장하며, 상기 답안 채점 정보 관리부에서 수신받은 답안 채점 정보들을 답안 문항 별로 채점 위원들에 대한 정보와 함께 저장하며, 답안을 재 채점해야 하는 재 채점 규칙을 설정해 저장하는 데이터베이스부를 더 포함하는 것을 특징으로 하는 채점 관리 서버.
  3. 제2항에 있어서, 상기 채점 위원 선택부는,
    상기 데이터베이스부로부터 답안 정보를 판독하여 답안 문항 별로 이에 대응하는 2 인의 채점 위원들을 선택하며, 선택된 2 인의 채점 위원들에 대한 답안 항목 별 답안 정보를 선택된 2 인의 채점 위원들에 대응하는 채점 위원용 단말기들로 전송하는 것을 특징으로 하는 채점 관리 서버.
  4. 제3항에 있어서, 상기 답안 채점 정보 관리부는,
    상기 채점 위원용 단말기들로부터 답안 문항 별로 2 개의 답안 채점 정보들을 수신받고, 수신받은 2 개의 답안 채점 정보들을 답안 문항 별로 2 인의 채점 위원들에 대한 정보와 함께 상기 데이터베이스부에 저장하는 것을 특징으로 하는 채점 관리 서버.
  5. 제4항에 있어서, 상기 점수차 계산부는,
    답안 문항 별로 저장된 2 개의 답안 채점 정보들을 상기 데이터베이스부로부터 판독하고, 2 개의 답안 채점 정보들 중에서 2 개의 채점 점수들을 확인하고, 2 개의 채점 점수들의 차이 값을 계산하고, 채점 점수 차이 값을 상기 재 답안 산출부로 전달하는 것을 특징으로 하는 채점 관리 서버.
  6. 제5항에 있어서, 상기 재 답안 산출부는,
    상기 데이터베이스부로부터 만점 점수에 대응하는 기준 점수차 정보를 판독하고, 상기 점수차 계산부에서 계산된 채점 점수 차이 값이 기준 점수차 이상인지 확인하고, 상기 점수차 계산부에서 판독한 답안 채점 정보들에 대응하는 답안 문항을 재 채점 답안 문항으로 분류하는 것을 특징으로 하는 채점 관리 서버.
  7. 제2항에 있어서, 상기 채점 위원 선택부는,
    상기 데이터베이스부로부터 답안 정보를 판독하여 답안 문항 별로 이에 대응하는 1 인의 채점 위원을 선택하며, 1 인의 채점 위원에 대한 답안 항목 별 답안 정보를 기 설정된 시간 간격으로 2 번 1 인의 채점 위원에 대응하는 채점 위원용 단말기로 전송하는 것을 특징으로 하는 채점 관리 서버.
  8. 제7항에 있어서, 상기 답안 채점 정보 관리부는,
    상기 채점 위원용 단말기로부터 답안 문항 별로 기 설정된 시간 간격으로 2 개의 답안 채점 정보들을 수신받고, 수신받은 2 개의 답안 채점 정보들을 답안 문항 별로 1 인의 채점 위원에 대한 정보와 함께 상기 데이터베이스부에 저장하는 것을 특징으로 하는 채점 관리 서버.
  9. 제2항에 있어서, 상기 채점 위원 선택부는,
    상기 데이터베이스부로부터 답안 정보를 판독하여 답안 문항 별로 이에 대응하는 3 인 이상의 채점 위원들을 선택하며, 3 인 이상의 채점 위원들에 대한 답안 항목 별 답안 정보를 3 인 이상의 채점 위원에 대응하는 채점 위원용 단말기들로 전송하는 것을 특징으로 하는 채점 관리 서버.
  10. 제9항에 있어서, 상기 답안 채점 정보 관리부는,
    상기 채점 위원용 단말기들로부터 답안 문항 별로 3 개 이상의 답안 채점 정보들을 수신받고, 수신받은 3 개 이상의 답안 채점 정보들을 답안 문항 별로 3 인 이상의 채점 위원들에 대한 정보와 함께 상기 데이터베이스부에 저장하는 것을 특징으로 하는 채점 관리 서버.
  11. 제10항에 있어서, 상기 점수차 계산부는,
    답안 문항 별로 저장된 3 개 이상의 답안 채점 정보들을 상기 데이터베이스부로부터 판독하고, 3 개 이상의 답안 채점 정보들 중에서 3 개 이상의 채점 점수들을 확인하고, 3 개 이상의 채점 점수들 간의 차이 값들을 계산하고, 채점 점수 차이 값들 및 채점 점수 차이 값 계산 회수를 상기 재 답안 산출부로 전달하는 것을 특징으로 하는 채점 관리 서버.
  12. 제11항에 있어서, 상기 재 답안 산출부는,
    상기 데이터베이스부로부터 만점 점수에 대응하는 만점 점수에 대응하는 기준 점수차 정보 및 채점 점수 차이 값 계산 회수에 대응하는 기준 개수 정보를 판독하고, 기준 점수차 이상인 값을 가지는 채점 점수 차이 값들을 확인하여 확인된 채점 점수 차이 값들을 카운팅하고, 해당 카운팅된 개수가 기준 개수 정보 이상인지 확인하고, 상기 점수차 계산부에서 판독한 답안 채점 정보들에 대응하는 답안 문항을 재 채점 답안 문항으로 분류하는 것을 특징으로 하는 채점 관리 서버.
  13. 채점 위원의 채점 신뢰도를 기준으로 답안 문항 별 채점 위원들을 선택하여 선택된 채점 위원들에 대응하는 채점 위원용 단말기들로 답안 문항 별 답안 정보를 전송하는 단계;
    상기 채점 위원용 단말기들로부터 답안 채점 정보들을 수신받아 답안 문항 별로 채점 위원들에 대한 정보와 함께 데이터베이스부에 저장하는 단계; 및
    상기 데이터베이스부에 설정된 재 채점 규칙과 저장된 답안 채점 정보들을 판독하여 재 채점 규칙에 따라 재 채점 답안 문항을 산출하는 단계를 포함하는 채점 관리 서버의 운용방법.
  14. 제13항에 있어서, 상기 재 채점 답안 문항을 산출하는 단계는,
    상기 데이터베이스부에 답안 문항 별로 저장된 답안 채점 정보들을 판독하여 채점 점수들을 확인하고, 확인된 채점 점수들의 차이 값을 계산하는 단계; 및
    상기 데이터베이스부에 설정된 재 채점 규칙을 판독하여 상기 채점 점수 차이 값을 재 채점 규칙과 비교하여 재 채점 답안 문항을 산출하는 단계를 포함하는 것을 특징으로 하는 채점 관리 서버의 운용방법.
  15. 제13항에 있어서, 상기 재 채점 답안 문항을 산출하는 단계는,
    상기 데이터베이스부에 답안 문항 별로 저장된 2 개의 답안 채점 정보들을 판독하는 단계;
    상기 2 개의 답안 채점 정보들로부터 2 개의 채점 점수들을 확인하는 단계;
    상기 2 개의 채점 점수들의 차이 값을 계산하는 단계;
    상기 데이터베이스부에 설정된 만점 점수에 대응하는 기준 점수차 정보를 판독하는 단계;
    상기 계산된 채점 점수 차이 값이 상기 판독된 기준 점수차 이상인지를 비교하는 단계; 및
    상기 계산된 채점 점수 차이 값이 상기 판독된 기준 점수차 이상인 경우에, 상기 2 개의 답안 채점 정보들에 대응하는 답안 문항을 재 채점 답안 문항으로 분류하는 단계를 포함하는 것을 특징으로 하는 채점 관리 서버의 운용방법.
KR1020130089886A 2013-07-29 2013-07-29 채점 관리 서버 및 그 운용방법 KR20150014333A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130089886A KR20150014333A (ko) 2013-07-29 2013-07-29 채점 관리 서버 및 그 운용방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130089886A KR20150014333A (ko) 2013-07-29 2013-07-29 채점 관리 서버 및 그 운용방법

Publications (1)

Publication Number Publication Date
KR20150014333A true KR20150014333A (ko) 2015-02-06

Family

ID=52571217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130089886A KR20150014333A (ko) 2013-07-29 2013-07-29 채점 관리 서버 및 그 운용방법

Country Status (1)

Country Link
KR (1) KR20150014333A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686020A (zh) * 2020-12-29 2021-04-20 科大讯飞股份有限公司 作文评分方法、装置、电子设备及存储介质
CN114333461A (zh) * 2020-09-30 2022-04-12 董黎明 主观题自动评分方法及系统
KR102604756B1 (ko) * 2023-07-31 2023-11-24 ㈜엠엔씨에이프로 논술채점 관리 서비스를 제공하는 서버, 시스템, 방법및 프로그램

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333461A (zh) * 2020-09-30 2022-04-12 董黎明 主观题自动评分方法及系统
CN114333461B (zh) * 2020-09-30 2024-03-12 董黎明 主观题自动评分方法及系统
CN112686020A (zh) * 2020-12-29 2021-04-20 科大讯飞股份有限公司 作文评分方法、装置、电子设备及存储介质
CN112686020B (zh) * 2020-12-29 2024-06-04 科大讯飞股份有限公司 作文评分方法、装置、电子设备及存储介质
KR102604756B1 (ko) * 2023-07-31 2023-11-24 ㈜엠엔씨에이프로 논술채점 관리 서비스를 제공하는 서버, 시스템, 방법및 프로그램

Similar Documents

Publication Publication Date Title
Harris et al. Discerning quality: using the multiple mini‐interview in student selection for the Australian National University Medical School
EP1299820A4 (en) COMPUTER SYSTEM FOR THE MANAGEMENT OF HUMAN RESOURCES
AU2001268318A2 (en) Computer-implemented system for human resources management
Martinez-Prather et al. The impact of training on discipline outcomes in school-based policing
Simpson et al. Using electronic voting systems in lectures
Daub et al. Adopting a conceptual validity framework for testing in speech-language pathology
US20150339937A1 (en) Methods and systems for testing with test booklets and electronic devices
KR20150014333A (ko) 채점 관리 서버 및 그 운용방법
KR102370384B1 (ko) 데이터 가공을 통한 비대면 면접 방법
Lingard et al. Situated learning: How interactions with supervisors shape construction apprentices’ safety learning and practice
Beasley et al. School counselors and principals serving as co-conspirators for antiracist program evaluation
KR101672144B1 (ko) 개인 맞춤형 학습 및 분석 서비스 제공 방법
Poppen et al. Transition Self-Assessment Tool: The development and field testing of a statewide assessment of Pre-Employment Transition Services
KR20200042656A (ko) 단계별 강사평가에 의한 강사추천 시스템
KR20160020813A (ko) 시험 서비스 제공 시스템, 서버 및 방법
KR20150014332A (ko) 채점 관리 서버 및 그 운용방법
KR20150015558A (ko) 채점 관리 서버 및 그 운용방법
Morris The technology acceptance model and the communications interoperability problem: A correlational study
Lawrence Exploring high school teachers' perceptions of facilitating conditions prior to the implementation of a 1: 1 learning environment
KR20190045774A (ko) 거리감지센서를 활용한 공부태도 데이터를 취합하여 문자 메시지를 통해 통계 데이터를 제공하는 방법
KR101428670B1 (ko) 평가 모듈을 이용한 온라인 평가 서비스 제공 방법
KR20190045767A (ko) 거리감지센서를 활용한 책상 착석, 이탈 정보 수집 방법
KATSUNO How do teacher evaluation practices affect school leadership in Japan?
KR101746350B1 (ko) 이동단말기를 이용한 스터디 그룹 제공방법
KR101746349B1 (ko) 이동단말기를 이용한 스터디 그룹 제공방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application