KR20020023519A - 웹 자격증 시험에서 문제 은행식 평가 및 동일 난이도유지를 위한 모듈 장치 및 그 방법 - Google Patents

Abstract

웹 자격증 시험에서 문제 은행식 평가 및 동일 난이도 유지를 위한 모듈 장치 및 그 방법에 관한 것으로, 그 목적은 인터넷상에서 온라인 수험 신청과 모든 수험자가 서로 다른 문제지로 시험을 볼 수 있게 하면서 동일한 난이도를 유지할 수 있게 하고, 수험의 횟수가 증가함에 따라 누적된 평가 결과에 따라 난이도가 재조정되는 문제 은행식 평가 시스템과 관리자에게 편리한 수험자 관리, 합격자 관리를 할 수 있는 시스템을 제공하는데 있다.

본 발명장치의 구성은 인터넷상의 웹을 이용한 자격증 시험을, 문제 은행식 평가 및 동일 난이도 유지를 이루면서 평가하도록 한 장치를 구성함에 있어서,

인터넷을 통해 연결되는 서버(111)와 클라이언트(121)로 나뉘어져 있으며, 상기 서버는 다시 사이버 평가 DB시스템(131)과, 시험을 총괄하고 관리를 하는 시험 평가 관리 서비스 시스템(151)과, 회원 DB(112)와, 평가문제 DB 입력모듈(141)로 나뉘어 구성되고,

상기 시험 평가 관리 서비스 시스템(151)은

(A)수험자의 개인 신상정보를 가지고 있는 회원 데이터베이스, 수험 신청을 한 회원의 정보와 수험 결과를 저장할 수 있는 등록자 데이터베이스, 자격 고사 종류별 과목별로 문제 등급이 지정되어 있는 문제 은행 데이터베이스, 등록 및 취소, 본 서버로 접근할 수 있는 인터페이스를 제공하는 등록 및 인터페이스 모듈로 이루어진 사용자 모듈(161)과;

문제를 난이도별로 요청한 개수만큼 문제은행 데이터베이스에서 추출할 수 있는 문제 추출 모듈(171-1)과;

이를 수험자의 사용성을 감안하여 제시하는 문제제시 모듈(171-2)과;

시험이 시작해서 종료할 때까지 수험 시간을 관리하고 입력된 답을 보관하는 시험 관리 모듈(171-3)로 구성된 시험에이전트(171)와;

(B)입력한 답과 데이터 베이스에 저장되어 있는 문제별 정답을 비교하여 채점을 하고 가점 데이터가 있는가 확인하여 가중치를 계산하여 합불을 판정하는 평가 에이전트(191)와;

수험자의 시험 결과를 기초로 문항별 정답율을 계산하여 새로운 난이도 값으로 변경시키는 난이도 조정 에이전트(192)와;

그리고 수험 신청자 명단, 합격자 명단 등 각종 통계 및 보고서를 출력할 수 있는 보고서 모듈(120)로 구성된다.

Description

웹 자격증 시험에서 문제 은행식 평가 및 동일 난이도 유지를 위한 모듈 장치 및 그 방법{Testing and evaluation program of the problem bank type and keeping same testing difficulty to examinee in spite of different test problem for the internet}

본 발명은 인터넷상의 웹을 이용한 문제 은행식 시험 시스템에서 다수의 수험자에게 서로 다른 문제를 제시하면서도 문제의 난이도를 동일하게 하여, 수험자가 자격 시험을 치를 수 있도록 하고, 그 결과를 실시간으로 제공하여 공정한 수험 관리가 되는 시스템 및 그 방법에 관한 것이다.

종래에는 다수의 수험자에게 서로 다른 문제를 제시하면서도 문제의 난이도를 동일하게 하여, 수험자가 자격 시험을 치를 수 있도록 하고, 그 결과를 실시간으로 제공하는 서비스가 존재하지 않아 객관적이고, 공정한 시험관리 및 평가가 어려웠다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 인터넷상에서 온라인 수험 신청과 모든 수험자가 서로 다른 문제지로 시험을 볼 수 있게 하면서 동일한 난이도를 유지할 수 있게 하고, 수험의 횟수가 증가함에 따라 누적된 평가 결과에따라 난이도가 재조정되는 문제 은행식 평가 시스템과 관리자에게 편리한 수험자 관리, 합격자 관리를 할 수 있는 시스템을 제공하는데 있다.

도 1 은 본 발명의 실시에 따른 데이터베이스와 수험 실시 및 평가 서비스 시스템(이하 "문제은행식 자격증 수험 시스템")의 시스템도,

도 2 는 본 발명의 본 발명의 실시 예에 따른 문제은행식 자격증 수험시스템의 수험 신청, 등록 취소 그리고 등록자 정보 변경을 위한 흐름도,

도 3 은 본 발명의 기존회원의 응시 등록 및 응시 취소 양식도,

도 4 는 문제은행식 자격증 수험 시스템의 회원이 자신의 사용자 번호 혹은 비밀번호를 잃어 버렸을 때 확인하는 과정의 제시 내용과 처리 순서도,

도 5 는 본 발명의 동일 난이도 문제 제시를 위한 문제 등록 양식 화면도,

도 6 은 문제 등록(입력)을 위한 흐름도 이며 데이터베이스에 문제의 난이도에 따른 분류 저장을 위한 흐름도,

도 7 은 문제를 제시하기 위해서 데이터 베이스에서 문제 추출을 하여 시험을 치르고 채점을 하는 흐름도,

도 8 은 수험을 치를 때 수험생(클라이언트)에게 제시하는 수험 양식 화면도,

도 9 는 자격 시험 합불 판정을 위한 흐름도,

도 10 은 문제은행식 자격증 수험 시스템의 시험 신청 등록자 관리를 위한 관리자 서비스 메뉴도,

도 11 은 관리자가 합격자 확인을 위한 채점과 합격사정 그리고 분류를 위한 서비스 요청 흐름도,

도 12 는 관리자가 서비스 요청을 하기 위해 자신의 관리자 번호와 비밀 번호를 입력하고 서비스를 받기 위한 선택사항 확인을 위한 화면도,

도 13 은 초기 입력한 난이도와는 달리 문제가 선택된 횟수에 따라 정답율을 계산하여 난이도를 새로 조정하는 흐름도이다.

<도면의 주요부분에 대한 부호의 설명>

(111) : 서버 (112) : 회원 DB

(120) : 보고서 모듈 (121) : 클라이언트

(131) : 사이버 평가 DB 시스템 (151) : 시험 평가 관리 서비스 시스템

(161) : 사용자 모듈 (171) : 시험에이전트

(171-1) : 문제 추출 모듈 (171-2) : 문제 제시 모듈

(171-3) : 시험관리 모듈 (181) : 가점 데이터

(191-1) : 입력데이터 가중치 계산 (191-2) : 실시간 채점모듈

(191-3) : 합불 판정 모듈

상기한 바와 같은 목적을 달성하고 종래의 결점을 제거하기 위한 과제를 수행하기 위하여 본 발명에서는 클라이언트를 통하여 시험을 온라인 등록 및 취소를 하고, 다수의 수험자에게 서로 다른 문제를 제시하면서도 동일한 난이도를 유지할 수 있는 문제 은행식 자격 고사 검정 장치 및 그 방법으로 구성된다.

좀더 구체적으로 설명하면, 본 발명의 실시간 문제 은행식 수험 시스템의 장치는 인터넷을 통해 연결되는 서버(111)와 클라이언트(121)로 나뉘어져 있으며, 상기 서버는 다시 사이버 평가 DB시스템(131)과, 시험을 총괄하고 관리를 하는 시험 평가 관리 서비스 시스템(151)과, 회원 DB(112)와, 평가문제 DB 입력모듈(141)로 나뉘어 구성되고,

상기 시험 평가 관리 서비스 시스템(151)은

(A)수험자의 개인 신상정보를 가지고 있는 회원 데이터베이스, 수험 신청을 한 회원의 정보와 수험 결과를 저장할 수 있는 등록자 데이터베이스, 자격 고사 종류별 과목별로 문제 등급이 지정되어 있는 문제 은행 데이터베이스, 등록 및 취소, 본 서버로 접근할 수 있는 인터페이스를 제공하는 등록 및 인터페이스 모듈로 이루어진 사용자 모듈(161)과;

문제를 난이도별로 요청한 개수만큼 문제은행 데이터베이스에서 추출할 수 있는 문제 추출 모듈(171-1)과;

이를 수험자의 사용성을 감안하여 제시하는 문제제시 모듈(171-2)과;

시험이 시작해서 종료할 때까지 수험 시간을 관리하고 입력된 답을 보관하는 시험 관리 모듈(171-3)로 구성된 시험에이전트(171)와;

(B)입력한 답과 데이터 베이스에 저장되어 있는 문제별 정답을 비교하여 채점을 하고 가점 데이터가 있는가 확인하여 가중치를 계산하여 합불을 판정하는 평가 에이전트(191)와;

수험자의 시험 결과를 기초로 문항별 정답율을 계산하여 새로운 난이도 값으로 변경시키는 난이도 조정 에이전트(192)와;

그리고 수험 신청자 명단, 합격자 명단 등 각종 통계 및 보고서를 출력할 수 있는 보고서 모듈(120)로 구성되어 있다.

상기와 같은 시스템을 사용하는 본 발명의 단계별 처리방법은 다음과 같다.

사용자의 접속에 의해 본인을 확인하는 단계, 본 시스템에 접속한 수험자에 따라 문제를 준비하고 제시하는 단계, 사용자 시스템의 시간과 본 시스템의 논리적 시간을 동기화 하는 단계, 시험 종료 혹은 제출에 따라 수험자가 입력한 답을 수신하여 저장하는 단계, 실시간 채점 및 합불 사정하는 단계를 포함하여, 일괄 처리 방식의 난이도 조정 및 전체 수험자 통합 관리하는 단계로 이어 진다.

상기 단계를 보다 자세히 설명하면 다음과 같다.

클라이언트(121)가 서버(111)에 접속하는 단계와;

접속 요구에 따라 시험 평가 관리 서비스 시스템(151) 내에 있는 사용자 모듈(161)의 인터페이스 모듈에 의해 온라인 평가 시스템이 시작하는 단계와;

수험자가 기존회원일 경우에는 개인 이력을 입력하지 않으며, 이 경우 회원 DB(112)로부터 신상 자료를 가져오는 단계와;

수험 참가는 클라이언트에서 접속 요청에 의해서 시험에이전트(171)가 동작하는 단계와;

시험 에이전트의 문제 추출 모듈(171-1)은 사이버 평가 DB 시스템(131)에서 클라이언트가 선택한 자격증 종류에 따라 사이버 평가 DB시스템(131) 내의 문제 DB에서 난이도 별로 문제를 추출하는 단계와;

모든 수험자의 문제를 서로 다르게 하고, 난이도는 자동으로 분류되어 모든 접속 수험자가 같은 난이도의 시험을 보게 하는 단계와;

추출된 문제는 문제 제시 모듈(171-2)을 통해서 순서적으로 클라이언트 시스템에 한 문제씩 전달하는 단계와;

시험관리 모듈(171-3)은 시험을 시작하면 시험 시간을 관리하며, 종료시간 전 제출과, 시험시간 종료 후 강제 제출을 하는 단계와;

시험 결과는 등록자 성적 DB에 기록되어 사정 자료로 사용되는 단계와;

최종 합격 사정은 입력된 답안지를 문제별로 주어진 가중치를 곱하여 문항별 점수를 더하고 모든 문항을 합산하여 입력데이터가중치(191-1)를 계산하는 단계와;

이 결과는 수험자가 수험시간 종료 후 바로 자신의 점수를 실시간 채점(191-2) 모듈을 통해서 채점 결과를 확인하는 단계와;

합불 판정은 수험 결과를 채점한 것과 가점 데이터(181)를 합산하여 판정하하는 단계와;

합불 판정 모듈(191-3)은 선택과목이 있을 경우 과목별 난이도의 편차를 조정하여 점수를 같은 난이도로 조정하는 단계와;

수험 후에는 정오답 누계를 가지고 난이도를 재조정하여 객관적인 난이도를 계속해서 유지하는 단계와;

합불 판정 후 결과는 보고서 모듈(120)을 이용하여 출력하는 단계로 구성된다.

상기 평가 시스템이 시작하는 단계에서는 반듯이 수험 등록(161)을 신청해야만 하며, 수험 신청자만이 예정된 수험을 치를 수 있다.

상기 난이도 별로 문제를 추출하는 단계에서 문제의 난이도는 상·중·하로 구분되어 평가 DB 입력모듈(141)로부터 입력되어 있다.

이하 본 발명의 실시예인 구성과 그 작용을 첨부도면에 연계시켜 동일 난이도 유지를 하는 문제 은행식 실시간 수험 및 관리 시스템과 그 방법에 관하여 설명한다.

도 1은 본 발명의 대표도로서 문제 은행식 수험 시스템의 전체 구성도 이다.

본 발명의 실시간 문제 은행식 수험 시스템은 서버(111)와 클라이언트(121)로 나뉘어져 있으며, 상기 서버는 다시 사이버 평가 DB(Database) 시스템(131)과 시험을 총괄하고 관리를 하는 시스템(151)으로 나눌 수 있다.

상기 사이버 평가 DB 시스템(131)은 수험을 위한 등록자의 이력을 보관 유지를 위한 테이블이 있다.

등록자는 수험을 클라이언트(121) 시스템 사용자가 등록 모듈(161)에 접속하여 입력하는 등록 신청 양식에 따라(도3) 입력한 정보들을 보관한다.

수험자가 기존회원일 경우에는 개인 이력을 입력하지 않으며, 이 경우 회원 DB(112)로부터 신상 자료를 가져온다.

문제 은행의 문제들은 평가 DB 입력 모듈(141)에서 입력이 된다.

이 문제들은 문제 은행들에 보관된다. 이 문제은행 들은 여러 종류의 자격 시험에 대한 문제들이 각각 난이도(상, 중 하)로 구분되어 저장하고 있고, 여러 번의 시험을 치른 후에는 관리자의 요청에 따라 난이도는 가중치 조절 모듈에 의하여 재조정(191-4)이 된다.

클라이언트(121)의 시험 요청은 시험 에이전트(171)가 응답한다.

클라이언트의 요청을 받은 시험에이전트(171)는 입력된 클라이언트 사용자 번호에 따라 등록자 DB의(171) 응시 분야를 읽어 문제 추출 모듈(171-1)은 원하는 수험자가 응시하려는 자격증 종류에 따라 문제은행 DB에서 관리자가 이미 지정한 난이도 정도 혹은 시스템에 지정된 난이도에 문제를 추출하여 문제지를 생성한다.

추출되어 생성된 문제지는 문제 제시 모듈(171-2)을 통해 수험자에게 제시된다.

추출된 문제의 정답은 별도로 등록자 DB의 개인 레코드에 보관하여 후에 채점 데이터로 활용한다.

이어서 시험관리 모듈은 답안지를 준비하고 시험 시간을 관리하며, 시험 시간 중에 입력하는 답안을 입력받아 보관하며, 사용자가 제출 할 경우(제출 버튼 누름)와 시험시간 종료를 감시하여 시간이 종료하면 강제 제출토록 한다.

입력한 답안지는 등록자 DB에 저장하여 채점을 준비한다.

시험을 종료한 후에는 클라이언트 사용자(수험자)는 언제든지 채점을 요청할 수 있으며, 요청즉시 평가 에이전트(191)의 실시간 채점 모듈(191-2)은 문제의 점수 비중(문제별로 점수를 별도로 할 수 있다)에 따라 채점한다.

최종 합격 사정은 합불 판정 모듈(191-3)에서 실시하며 합불 사정 요청이 있을 경우 먼저 평가 에이전트는 수험 결과 데이터와 가점데이터(181)를 회원 데이터베이스에서 읽어 입력 데이터의 가중치를 계산하고(191-1) 합불 판정 모듈이 관리자가 입력해둔 합격 점수에 따라 합불 판정을 한다.

보고서 모듈(120)은 관리자 모듈로서 수험자 등록 신청 상황, 수험 결과 등을 요청에 맞게 요청한 정열 키(key)에 따라 분류하여 제시(도11)한다.

이상에서 설명한 바와 같이 본 발명의 특징은 데이터 베이스의 테이블을 분할하여 필요한 요청에 따라 적은 량의 데이터를 메모리에 적재함으로서 응답 속도를 빨리하여 수천 명이 동시 접속하여도 응답 속도를 빠르게 할 수 있다.

도 2는 본 발명의 실시 예에 따른 문제 은행식 자격증 수험 시스템의 시험 신청등록, 등록 취소, 비밀번호 변경 혹은 신상 자료 변경을 위한 흐름도 이다.

클라이언트에서 화면 내의 네 가지 선택사항 중 하나를 요청(201)한다.

첫 번째로 시험신청(202)일 경우에 서버는 시험 등록양식(231)을 데이터 베이스에서 읽어와 클라이언트로 송신(232) 한다. 이 양식은 도 3과 같으며 양식을 수신한 클라이언트는 등록자 정보를 입력하여 서버에 송신(200)한다. 서버는 클라이언트에서 받은 신상자료를 회원 데이터베이스에서 읽어와 본인이 확인되면 인증(233)을 하여 등록완료 메시지를 클라이언트에 전송(234)하고 종료한다.

상기 인증(233)과정에서 회원 데이터 베이스에 등록되어 있지 않은 사람은 추가의 회원 자료를 요청하여 입력을 받고, 등록자 DB에 추가한다.

도2는 기존회원이 등록 요청하는 신규회원 등록과 추가자료 요청은 흐름도로서 제외되어 있다.

둘째로 신상자료 변경 요청(205)은 본인을 확인(사용자 번호, 비밀번호, 주민등록 번호)하고(235) 서버는 변경 양식을 클라이언트에게 송신(236)한다. 클라이언트는 변경자료를 입력하여(206) 서버에게 송신하고(207) 종료한다. 상기 변경자료를 수신한 서버는(237) 회원 데이터베이스의 개인정보를 변경 저장하고 종료한다.

셋째 비밀번호 변경을 원하거나 비밀번호를 분실하여 확인을 요청할 경우의 흐름도 이며, 클라이언트의 변경/분실 요청(206)이 있으면 본인 확인 절차를 거쳐(239, 209, 240) 새 비밀 번호를 클라이언트에 송신(241)하고 종료한다. 클라이언트는 새 비밀 번호를 수신확인(210)하고 종료한다.

마지막으로 등록 취소의 고정은 클라이언트가 등록 취소를 요청하면, 인증 과정을 거쳐(213,212, 214) 등록을 취소하거나(215) 본인 확인이 안될 경우 취소 거부(216)를 하고 종료한다.

도 3은 도2의 자격 시험 요청(단계 202)에 의해 서버에서 전송하는 양식으로서 기존 회원의 자격 시험 등록 혹은 취소를 위한 양식이다.

상기 양식의 내용은 사용자 번호(261), 비밀번호(262), 응시 분야(자격 시험이 여러 종류가 있을 경우 선택, 263), 주민등록 번호(264), 전화번호, 주소이고 이들 중 모든 부분이 회원 이력사항과 동일 해야한다. 만약 회원 DB의 내용과 다른 것이 있을 경우에는 등록 혹은 취소를 할 수 없다. 질의하는 모든 항목이 일치 할 경우 입력완료(268)가 가능하며, 만약 입력항복 중 틀린 것이 있으면 틀린 부분의 재 입력을 요청한다.

도 4는 도2의 단계 208에 의해 서버에서 요청하는 인증을 위한 데이터 입력 요청 양식이다.

비밀 번호 변경, 사용자 번호 혹은 비밀 번호를 잊어버렸을 경우 본인임을 확인하여 알려 준다. 이를 위하여 양식을 발부(270)하여 안내 메시지를 출력(271,272)하고 이름(273)과 주민등록 번호가 정확히 맞으면(276) 사용자 번호와 비밀 번호를 알려(277)준다.

만약 이름과 주민등록 번호가 다를 경우 재 입력을 위해 양식(270)을 다시 보낸다.

도 5는 도 1의 단계(141)를 위한 문제 등록을 위한 입력 양식으로서 수험 과목명(281)을 선택하고, 문제유형이 단답형 주관식인지 선다형 객관식인지 구별하고(282), 주관식일 경우 주관식 정답 필드(293)에 답을 입력(293)한다,

만약 객관식일 경우 시험지의 답안에 체크하듯이 객관식 정답 입력 필드(285)에 올바른 답을 선택한다.

그리고 본 발명의 특징인 난이도를 입력하여 수험자가 서로 다른 문제를 수령하더라도 동일한 난이도를 유지 할 수 있게 하는 난이도 필드(284)의 3단계(상, 중, 하)(290)중 하나를 선택한다.

배점 필드(286)는 문제항목별 점수를 입력하는 필드로서 문항별로 서로 다른 점수를 배정할 수 있다. 이 문제의 난이도와 별도로 문제의 가중치를 조정할 수 있으며, 문제의 난이도와 연계시킬 수도 있고, 모든 문제를 동일한 배점으로 조정하는 등 점수 배정의 유연성을 줄 수 있다.

문제지는 문제 파일명(288)을 수작업으로 입력(294)혹은 찾기 메뉴(295)에서선택할 수도 있다.

본 발명은 문제 은행식 수험 시스템이기 때문에 문제 항복별로 그 문제에 대한 모든 정보를 입력해야한다. 데이터 베이스에 저장단위는 10문제 하나의 상향(295,upload) 명령으로 데이터 베이스에 저장시킬 수 있으며, 10개가 안되어도 상향 명령은 입력 필드에 체크된 데이터만 데이터 베이스에 저장한다.

도 6은 문제지를 문제 데이터베이스에 등록하는 과정에 대한 흐름도 이다.

문제 입력을 위한 시험 관리자는 시험 업로드 모듈을 실행시키고 문제 입력 양식을 요청한다(301). 양식을 요청 받은 평가 서버는 사용자가 관리자인가 확인을 위한 질의를 클라이언트 사용자에게 전송하여(311) 클라이언트 사용자인 관리자는 자신의 아이디와 비밀 번호를 입력하고 평가 서버에게 송신한다(302).

클라이언트에서 보내온 사용자 번호와 비밀 번호를 가지고 데이터 베이스에 있는 내용과 비교하여 올바른 사용자 일 경우에는 문제 등록을 위한 양식을 클라이언트에게 송신(312)하고, 올바른 사용자가 아닐 경우에는 오류 메시지를 출력(316)하고 서비스를 종료한다.

문제 등록 양식(도5)을 수신(303)한 클라이언트 사용자는 도5와 같은 문제 입력 양식을 가지고 과목명, 문제 유형, 난이도, 객관식 정답, 배점, 주관식 정답, 문제 파일명을 입력하여 평가 서버에게 데이터베이스에 등록을 요청(305)한다.

전송 받은 문제지는 평가 서버에서 입력데이터의 오류를 확인(313)하여 오류가 없으면 과목을 분류(322,324,326)하고, 난이도를 분류(323,325,327)하여 데이터베이스에 저장한다.

저장이 완료한 평가 서버는 등록완료 메시지를 클라이언트에게 송신(315)하고 종료한다. 클라이언트는 등록완료 메시지를 수신(306)하면 종료한다.

도 7은 수험 등록자가 시험을 요청하여 시험 문제를 수신하고, 시험을 치른후 채점결과 까지의 과정을 나타낸 흐름도 이다.

먼저 시험 등록을 한 사용자가 시험을 요청하면(331), 서버는 현 사용자를 위한 시험 문제를 문제은행 데이터 베이스에서 과목별(342)로 문제의 난이도 조정에 따라 난수를 발생하여 데이터 베이스에서(361) 문제를 추출(343,346,347) 한다.

추출이 선정된 문제는 선정과 동시에 선정 횟수를 증가 시켜(343,346,347의 Ref_C=Ref_C + 1) 향후 난이도 재조정(도13)을 위한 데이터로 활용한다.

이렇게 추출된 문제지는 병합하여(348) 하나의 문제지를 만든 후 정답 화일을 개인별로 만들어 채점을 위해 등록자 데이터 베이스에 저장해 둔다(349, 362).

이제 평가 서버의 문제지 준비가 끝난 것이므로 문제지를 클라이언트에게 전송한다.

문제를 수신한 클라이언트는(332) 문제지 양식에 따라(도8) 시험(333)을 치룬다.

시험문제는 선다형 객관식 문제와 단답형 주관식 문제를 병행할 수 있으면 시험이 개시된 후에는 타이머(334)가 동작하여 남은 시간을 알려 주고(335) 시간이 종료되면 현재까지 작성한 답안지를 강제 제출(337)을 하게된다. 시간이 종료되기전에 제출을 원할 경우 제출 버튼을 누르면(336, 도9의 381) 답안지가 평가 서버에 송신된다.

답안지를 수신한 평가 서버는 답안지를 등록자 데이터 베이스(362)에 저장(363)한다. 계속해서 클라이언트 사용자가 채점을 요청하면 입력된 답안 파일과, 정답 화일에서 문항 별로(355, 356,357,358) 비교하여 문제의 정오를 판정(355)하고 문항별 가중치에 따라 100점 만점으로 채점을 한다.

정오 판정 시 정답일 경우에는 그 문항의 문제 파일 테이블의 정답 필드에 정답의 개수 항목의 카운터를 증가 시켜(정답 수 = 정답수 +1) 향 후 난이도 조정(도 13) 데이터로 활용한다.

채점의 결과는 등록자 데이터 베이스에 저장(359)하고 요청한 클라이언트에게 알린(360) 후 종료한다.

도 8은 시험 문제지 양식으로서 도7의 331에 이한 요청의 결과로 받은 문제지(도 7의 332)이다.

문제지는 등록자 데이터베이스에서 개인 정보를 읽어 수험을 치르는 자격증의 종류(371), 수험자 성명(372), 사용자 번호(373)를 자동적으로 표시하여 본인을 확인 할 수 있게 한다.

그리고 문제 데이터 베이스의 과목 레코드에 설정되어 있는 수험 시간에 따라 타이머가 설정되고 자동 감소된다(379).

377은 시험지 메인 화면이고, 380은 답안지이다. 문제는 소리와 동영상(378)을 포함시킬 수 있다.

도 9는 수험자가 시험을 치른 후 자신의 검정 결과(합불)를 요청하는 것으로서, 도 7의 채점과 다른 점은 가점 데이터가 있을 경우(즉, 사내 검정 시험일 경우 인사 고과, 다른 자격증, 군 가산 점수, 교육 점수) 이를 합불 사정에 포함시킬 수 있다.

수험자 개인이 온라인 시험을 요청(391)했을 경우 평가 서버는 요청을 수신(394)하고, 해당 요청자의 시험 결과를 등록자 데이터 베이스에서 읽기를 시도한다.

데이터 베이스에 결과를 채점을 해 두지 안았으면 답안지에 따라 채점을 한다(354-359).

채점 과정은 도7의 354에서 359까지의 과정과 동일하다.

이미 채점을 했을 경우(도 7에서) 다시 채점을 하지 않고 도7의 채점 결과를 가지고 진행한다.

채점이 완료되거나 기 채점이되어 있으면 가점 데이터(396)를 인사 데이터베이스에서 읽어(397), 가점 데이터가 있으면 각각의 가중치에 따라 배점을 하고(398) 백분위 점수로 환산을 한 다음에 인사 데이터 베이스(412)에 저장한다.

백분위 점수로 환산된 점수에 따라(397) 합격(400)과 불합격(401)을 통보하고 종료한다. 클라이언트는 결과를 수신(392)하고 종료한다.

도 10은 수험 관리자가 수험 신청자 관리를 위한 서비스 흐름도 이다.

클라이언트 사용자(수험 관리자)는 클라이언트 프로그램을 실행하여 평가 서버에게 요청을 하면 평가 서버는 요청을 수신하여(441), 등록자 데이터 베이스에서(451) 응시자 목록 읽어 클라이언트에게 보낸다(442).

응시자 목록을 수신한 클라이언트 사용자는 목록을 원하는 형식(성명순, 부서별, 자격종별)으로 정열을 평가 서버에게 요청(421)하면 평가 서버는 정열을 실행(443)하여 결과를 클라이언트에게 전달(4)한다.

도 11은 도 10과 같이 수험 관리자를 위한 서비스 흐름도 이다.

클라이언트 사용자(수험 관리자)의 합격자 목록을 요청(481)한다.

평가서버는 합격자 명단 요청을 수신(491)하면 먼저 합격 판정을 위하여 등록자중 채점이 안된 사람을 채점하고 가점 데이터등 각 개인에 따라 합불 사정(2줄 짜리 상자는 도7과 동일)을 하고 합격자만(494)의 명단을 작성한다.

합불 사정은 모든 수험자를 처리해야(496) 하며, 모든 수험자의 합격자 명단에 따라 합격자를 선정(497) 했으면, 그 결과를 클라이언트 사용자에게 전달한다.

합격자 목록을 수신한 클라이언트 사용자는 합격자 목록을 가지고, 보기 편하도록 보고서 형식을 정할 수 있다(도 12의 472에서 475까지).

도 12는 도 11의 응시자 목록 요청과 도 11의 합불 사정을 요청하고 그 결과를 수신하는 클라이언트 측의 양식이다.

먼저 클라이언트 사용자는 관리자 번호(463), 비밀 번호(464)를 바르게 입력하면, 응시자 목록(464) 혹은 수험 결과(465) 중 하나를 사용할 수 있게된다.

클라이언트 사용자가 응시자 목록을 요청하면 471과 같은 신청자의 요약된 정보를 보이고 연속해서 정열(성명순, 부서별, 신청한 자격증별)을 요청할 경우 즉시 결과를 471의 표에 보인다.

클라이언트 사용자가 수험 결과 산출을 요청하면 476의 표에 시험을 본 사람들의 명단이 출력되고, 출력된 데이터를 가지고 성명순, 부서별, 자격증별 혹은 점수별(472에서 473까지)로 정열을 하여 보일 수 있다.

합불사정(478)은 합격자만 476의 표에 보이는 것으로서 역시 정열(472에서 473까지)을 하여 볼 수 있다.

도 13은 실시간으로 진행되는 것은 아니고, 도 5에서 입력한 난이도 데이터를 재조정 할 필요가 있을 때 수험 관리자에 의해 실행된다.

도 5의 결과로 입력된 난이도는 시간이 변화나 학생의 수준 향상이 되어도 난이도가 고정되는 문제점을 가지고 있다.

이 문제점을 해소하기 위하여 본 발명에서는 수험 횟수가 누적됨에 따라 학생의 수준 변화 혹은 문제의 난이도 조정할 수 있게 하여 문제의 객관성을 유지토록 설계하였다. 즉, 실제 시험을 본 결과를 가지고 난이도를 재 설정 할 수 있도록 한 것이다. 그 방법은 누적된 시험 결과를 문제항별로 문제지에 채택된 횟수와 수험자가 정답을 맞춘 횟수를 누적 시켜 맞은 비율을 산출하여 맞은 비율에 따라 난이도를 상, 중, 하로 수정한다.

먼저 클라이언트 사용자가 난이도 조정 모듈(501)을 실행시키면 평가 서버는 난이도 조정을 실행한다.

요청할 때 클라이언트 사용자는 난이도를 조정할 과목을 입력하거나 전과목 조정을 선택할 수 있으며, 동시에 난이도 조정 상수를 입력하면 그 상수에 따라 난이도가 재조정된다.

난이도 조정상수를 입력하지 않으면 난이도 구분은 맞춘 비율이 67 %이상이면 난이도 "하"로, 34% 이상이면 난이도"중"으로 0에서 33% 까지는 난이도 "상"으로 자동 분류된다.

난이도 조정 요청을 받은 서버는 요청한 과목(503,514)의 문제 데이터를 반 복해서(504,513) 문제은행 데이터베이스에서 읽어 사용된 횟수(문제로 제시되었던 참조 횟수)가 10회 이하이면 난이도 조정을 하지 않고, 다음 문제(505)를 읽는다.

참조횟수(506, #_of_Ref_C)가 10 이상이면 새로운 난이도 값을 계산(506)하여 현재의 난이도(508, D)와 비교하여 입력된(혹은 기본 값)에 의하여 난이도의 새 값으로 변환하여(509,510) 문제 은행 데이터베이스에 저장한다.

모든 요청한 과목 및 문제 각각에 대하여 흐름도와 같이 난이도를 조정하였으면 평가 서버는 정상완료 메시지를 클라이언트에게 전송(514)하고 종료한다.

클라이언트는 완료 메시지를 수신(502) 후 종료한다.

상기와 같은 본 발명의 작업 순서를 살펴보면 다음과 같다.

서버(111)는 클라이언트(121)의 요구에 의해 접속된다.

접속 요구에 따라 시험 평가 관리 서비스 시스템(151) 내에 있는 사용자 모듈(161)의 인터페이스 모듈에 의해 온라인 평가 시스템은 시작된다.

반듯이 수험 등록(161)을 신청해야만 하며, 수험 신청자만이 예정된 수험을 치를 수 있다.

수험자가 기존회원일 경우에는 개인 이력을 입력하지 않으며, 이 경우 회원 DB(112)로부터 신상 자료를 가져온다.

수험 참가는 클라이언트에서 접속 요청에 의해서 시험에이전트(171)가 동작한다.

시험 에이전트의 문제 추출 모듈(171-1)은 사이버 평가 DB 시스템(131)에서 클라이언트가 선택한 자격증 종류에 따라 사이버 평가 DB시스템(131) 내의 문제 DB에서 난이도 별로 문제를 추출한다.

문제의 난이도는 상·중·하로 구분되어 평가 DB 입력모듈(141)로부터 입력되어 있다.

모든 수험자의 문제는 서로 다르며 난이도는 자동으로 분류되어 모든 접속 수험자가 같은 난이도의 시험을 보게 한다.

추출된 문제는 문제 제시 모듈(171-2)을 통해서 순서적으로 클라이언트 시스템에 한 문제씩 전달한다.

시험관리 모듈(171-3)은 시험을 시작하면 시험 시간을 관리하며, 종료시간 전 제출과, 시험시간 종료 후 강제 제출을 한다.

시험 결과는 등록자 성적 DB에 기록되어 사정 자료로 사용된다.

최종 합격 사정은 입력된 답안지를 문제별로 주어진 가중치를 곱하여 문항별 점수를 더하고 모든 문항을 합산하여 점수(191-1)를 계산한다.

이 결과는 수험자가 수험시간 종료 후 바로 자신의 점수를 실시간 채점(191-2) 모듈을 통해서 채점 결과를 알 수 있다.

합불 판정은 수험 결과를 채점한 것과 가점 데이터(181)를 합산하여 판정한다.

합불 판정 모듈(191-3)은 선택과목이 있을 경우 과목별 난이도의 편차를 조정하여 점수를 같은 난이도로 조정한다.

수험 후에는 정오답 누계를 가지고 난이도를 재조정(도13)하여 객관적인 난이도를 계속해서 유지할 수 있게 한다.

합불 판정 후 결과는 보고서 모듈(120)을 이용하여 출력할 수 있다.

본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

이상과 같이 본 발명은 인터넷상에서 문제 은행식 시험을 실시간으로 자격증 취득을 위한 시험을 치르는데 있어 모든 수험자에게 서로 다른 시험지를 제시하면서도 동일한 난이도의 시험을 볼 수 있게 하고, 시험 결과를 토대로 추가의 가점 데이터를 고려하여 합불 사정을 할 수 있게 하여 국가 고시는 물론, 기업 내 자격 시험에도 활용할 수 있도록 한 장점이 있다.

Claims (9)

1. 인터넷상의 웹을 이용한 자격증 시험을, 문제 은행식 평가 및 동일 난이도 유지를 이루면서 평가하도록 한 장치를 구성함에 있어서,

   인터넷을 통해 연결되는 서버(111)와 클라이언트(121)로 나뉘어져 있으며, 상기 서버는 다시 사이버 평가 DB시스템(131)과, 시험을 총괄하고 관리를 하는 시험 평가 관리 서비스 시스템(151)과, 회원 DB(112)와, 평가문제 DB 입력모듈(141)로 나뉘어 구성되고,

   상기 시험 평가 관리 서비스 시스템(151)은

   (A)수험자의 개인 신상정보를 가지고 있는 회원 데이터베이스, 수험 신청을 한 회원의 정보와 수험 결과를 저장할 수 있는 등록자 데이터베이스, 자격 고사 종류별 과목별로 문제 등급이 지정되어 있는 문제 은행 데이터베이스, 등록 및 취소, 본 서버로 접근할 수 있는 인터페이스를 제공하는 등록 및 인터페이스 모듈로 이루어진 사용자 모듈(161)과;

   문제를 난이도별로 요청한 개수만큼 문제은행 데이터베이스에서 추출할 수 있는 문제 추출 모듈(171-1)과;

   이를 수험자의 사용성을 감안하여 제시하는 문제제시 모듈(171-2)과;

   시험이 시작해서 종료할 때까지 수험 시간을 관리하고 입력된 답을 보관하는 시험 관리 모듈(171-3)로 구성된 시험에이전트(171)와;

   (B)입력한 답과 데이터 베이스에 저장되어 있는 문제별 정답을 비교하여 채점을 하고 가점 데이터가 있는가 확인하여 가중치를 계산하여 합불을 판정하는 평가 에이전트(191)와;

   수험자의 시험 결과를 기초로 문항별 정답율을 계산하여 새로운 난이도 값으로 변경시키는 난이도 조정 에이전트(192)와;

   그리고 수험 신청자 명단, 합격자 명단 등 각종 통계 및 보고서를 출력할 수 있는 보고서 모듈(120)로 구성된 것을 특징으로 하는 웹 자격증 시험에서 문제 은행식 평가 및 동일 난이도 유지를 위한 모듈 장치.
2. 인터넷상의 웹을 이용한 자격증 시험을 보는 방법에 있어서, 문제 은행식 평가 및 동일 난이도 유지를 이루면서 평가하도록,

   클라이언트(121)가 서버(111)에 접속하는 단계와;

   접속 요구에 따라 시험 평가 관리 서비스 시스템(151) 내에 있는 사용자 모듈(161)의 인터페이스 모듈에 의해 온라인 평가 시스템이 시작하는 단계와;

   수험자가 기존회원일 경우에는 개인 이력을 입력하지 않으며, 이 경우 회원 DB(112)로부터 신상 자료를 가져오는 단계와;

   수험 참가는 클라이언트에서 접속 요청에 의해서 시험에이전트(171)가 동작하는 단계와;

   시험 에이전트의 문제 추출 모듈(171-1)은 사이버 평가 DB 시스템(131)에서클라이언트가 선택한 자격증 종류에 따라 사이버 평가 DB시스템(131) 내의 문제 DB에서 난이도 별로 문제를 추출하는 단계와;

   모든 수험자의 문제를 서로 다르게 하고, 난이도는 자동으로 분류되어 모든 접속 수험자가 같은 난이도의 시험을 보게 하는 단계와;

   추출된 문제는 문제 제시 모듈(171-2)을 통해서 순서적으로 클라이언트 시스템에 한 문제씩 전달하는 단계와;

   시험관리 모듈(171-3)은 시험을 시작하면 시험 시간을 관리하며, 종료시간 전 제출과, 시험시간 종료 후 강제 제출을 하는 단계와;

   시험 결과는 등록자 성적 DB에 기록되어 사정 자료로 사용되는 단계와;

   최종 합격 사정은 입력된 답안지를 문제별로 주어진 가중치를 곱하여 문항별 점수를 더하고 모든 문항을 합산하여 점수를 계산하는 입력데이타가중치계산(191-1)단계와;

   이 결과는 수험자가 수험시간 종료 후 바로 자신의 점수를 실시간 채점모듈(191-2)을 통해서 채점 결과를 확인하는 단계와;

   합불 판정은 수험 결과를 채점한 것과 가점 데이터(181)를 합산하여 판정하하는 단계와;

   합불 판정 모듈(191-3)은 선택과목이 있을 경우 과목별 난이도의 편차를 조정하여 점수를 같은 난이도로 조정하는 단계와;

   수험 후에는 정오답 누계를 가지고 난이도를 재조정하여 객관적인 난이도를 계속해서 유지하는 단계와;

   합불 판정 후 결과는 보고서 모듈(120)을 이용하여 출력하는 단계를 거쳐 실시간으로 자격시험을 치르는 것을 특징으로 하는 웹 자격증 시험에서 문제 은행식 평가 및 동일 난이도 유지방법.
3. 제 2항에 있어서,

   상기 평가 시스템이 시작하는 단계에서는 반듯이 수험 등록(161)을 신청해야만 하며, 수험 신청자만이 예정된 수험을 치를 수 있도록 한 것을 특징으로 하는 특징으로 하는 웹 자격증 시험에서 문제 은행식 평가 및 동일 난이도 유지방법.
4. 제 2항에 있어서,

   상기 난이도 별로 문제를 추출하는 단계에서 문제의 난이도는 상·중·하로 구분되어 평가 DB 입력모듈(141)로부터 입력되는 것을 특징으로 하는 웹 자격증 시험에서 문제 은행식 평가 및 동일 난이도 유지방법.
5. 제 2항에 있어서,

   상기 회원 DB(112)로부터 신상 자료를 가져오는 단계는 문제 은행식 자격증 수험 시스템의 시험 신청등록, 등록 취소, 비밀번호 변경 혹은 신상 자료 변경을위한 단계를 포함하는데, 이 단계는 클라이언트에서 화면 내의 네 가지 선택사항 중 하나를 요청(201)하는 4개의 단계로 이루어지는데,

   첫 번째 단계는 시험신청(202)일 경우에 서버는 시험 등록양식(231)을 데이터 베이스에서 읽어와 클라이언트로 송신(232) 하는 단계와, 양식을 수신한 클라이언트는 등록자 정보를 입력하여 서버에 송신(200)하는 단계와, 서버는 클라이언트에서 받은 신상자료를 회원 데이터베이스에서 읽어와 본인이 확인되면 인증(233)을 하여 등록완료 메시지를 클라이언트에 전송(234)하고 종료하는 단계와, 상기 인증(233)과정에서 회원 데이터 베이스에 등록되어 있지 않은 사람은 추가의 회원 자료를 요청하여 입력을 받고, 등록자 DB에 추가하는 단계로 이루어지고,

   둘째 단계는 신상자료 변경 요청(205)은 본인을 확인(사용자 번호, 비밀번호, 주민등록 번호)하고(235) 서버는 변경 양식을 클라이언트에게 송신(236)하는 단계와, 클라이언트는 변경자료를 입력하여(206) 서버에게 송신하고(207) 종료하는 단계와, 상기 변경자료를 수신한 서버는(237) 회원 데이터베이스의 개인정보를 변경 저장하고 종료하는 단계로 이루어지고,

   셋째 단계는 클라이언트의 변경/분실 요청(206)이 있으면 본인 확인 절차를 거쳐(239, 209, 240) 새 비밀 번호를 클라이언트에 송신(241)하고 종료하는 단계와, 클라이언트는 새 비밀 번호를 수신확인(210)하고 종료하는 단계로 이루어지고,

   넷째 단계는 등록 취소의 고정은 클라이언트가 등록 취소를 요청하면, 인증 과정을 거쳐(213,212, 214) 등록을 취소하거나(215) 본인 확인이 안될 경우 취소 거부(216)를 하고 종료하는 단계로 이루어지는 것을 특징으로 하는 웹 자격증 시험에서 문제 은행식 평가 및 동일 난이도 유지방법.
6. 제 2항에 있어서,

   수험 참가는 클라이언트에서 접속 요청에 의해서 시험에이전트(171)가 동작하는 단계와; 시험 에이전트의 문제 추출 모듈(171-1)은 사이버 평가 DB 시스템(131)에서 클라이언트가 선택한 자격증 종류에 따라 사이버 평가 DB시스템(131) 내의 문제 DB에서 난이도 별로 문제를 추출하는 단계는 문제지를 문제 데이터베이스에 등록하는 단계를 포함하는데, 그 단계는;

   문제 입력을 위한 시험 관리자는 시험 업로드 모듈을 실행시키고 문제 입력 양식을 요청(301)하는 단계와;

   양식을 요청 받은 평가 서버는 사용자가 관리자인가 확인을 위한 질의를 클라이언트 사용자에게 전송하여(311) 클라이언트 사용자인 관리자는 자신의 아이디와 비밀 번호를 입력하고 평가 서버에게 송신(302)하는 단계와;

   클라이언트에서 보내온 사용자 번호와 비밀 번호를 가지고 데이터 베이스에 있는 내용과 비교하여 올바른 사용자 일 경우에는 문제 등록을 위한 양식을 클라이언트에게 송신(312)하고, 올바른 사용자가 아닐 경우에는 오류 메시지를 출력(316)하고 서비스를 종료하는 단계와;

   문제 등록 양식을 수신(303)한 클라이언트 사용자는 규정된 문제 입력 양식을 가지고 과목명, 문제 유형, 난이도, 객관식 정답, 배점, 주관식 정답, 문제 파일명을 입력하여 평가 서버에게 데이터베이스에 등록을 요청(305)하는 단계와;

   전송 받은 문제지는 평가 서버에서 입력데이터의 오류를 확인(313)하여 오류가 없으면 과목을 분류(322,324,326)하고, 난이도를 분류(323,325,327)하여 데이터베이스에 저장하는 단계와;

   저장이 완료한 평가 서버는 등록완료 메시지를 클라이언트에게 송신(315)하고 종료하고, 클라이언트는 등록완료 메시지를 수신(306)하면 종료하는 단계로 이루어지는 것을 특징으로 하는 웹 자격증 시험에서 문제 은행식 평가 및 동일 난이도 유지방법.
7. 제 2항에 있어서,

   수험 등록자가 시험을 요청하여 시험 문제를 수신하고, 시험을 치른 후 채점결과 까지는 단계는,

   먼저 시험 등록을 한 사용자가 시험을 요청하면(331), 서버는 현 사용자를 위한 시험 문제를 문제은행 데이터 베이스에서 과목별(342)로 문제의 난이도 조정에 따라 난수를 발생하여 데이터 베이스에서(361) 문제를 추출(343,346,347) 하는 단계와;

   추출이 선정된 문제는 선정과 동시에 선정 횟수를 증가 시켜(343,346,347의 Ref_C=Ref_C + 1) 향후 난이도 재조정을 위한 데이터로 활용하는 단계와;

   이렇게 추출된 문제지는 병합하여(348) 하나의 문제지를 만든 후 정답 화일을 개인별로 만들어 채점을 위해 등록자 데이터 베이스에 저장(349, 362)하는 단계와;.

   평가 서버의 문제지 준비가 끝난 후 문제지를 클라이언트에게 전송하는 단계와;

   문제를 수신한 클라이언트는(332) 문제지 양식에 따라(도8) 시험(333)을 치르는 단계와;

   시험문제는 선다형 객관식 문제와 단답형 주관식 문제를 병행할 수 있으면 시험이 개시된 후에는 타이머(334)가 동작하여 남은 시간을 알려 주고(335) 시간이 종료되면 현재까지 작성한 답안지를 강제 제출(337)하는 단계와;

   시간이 종료되기 전에 제출을 원할 경우 제출 버튼을 누르면(336) 답안지가 평가 서버에 송신되는 단계와;

   답안지를 수신한 평가 서버는 답안지를 등록자 데이터 베이스(362)에 저장(363)하는 단계와;

   계속해서 클라이언트 사용자가 채점을 요청하면 입력된 답안 파일과, 정답 파일에서 문항 별로(355, 356,357,358) 비교하여 문제의 정오를 판정(355)하고 문항별 가중치에 따라 100점 만점으로 채점을 하는 단계와;

   정오 판정 시 정답일 경우에는 그 문항의 문제 파일 테이블의 정답 필드에 정답의 개수 항목의 카운터를 증가 시켜(정답 수 = 정답수 +1) 향 후 난이도 조정 데이터로 활용하는 단계와;

   채점의 결과는 등록자 데이터 베이스에 저장(359)하고 요청한 클라이언트에게 알린(360) 후 종료하는 단계로 이루어진 것을 특징으로 하는 웹 자격증 시험에서 문제 은행식 평가 및 동일 난이도 유지방법.
8. 제 2항 및 제 7항의 어느 한 항에 있어서,

   수험자가 시험을 치른 후 자신의 검정 결과(합불)를 요청하는 단계에서 가점 데이터가 있을 경우(즉, 사내 검정 시험일 경우 인사 고과, 다른 자격증, 군 가산 점수, 교육 점수) 이를 합불 사정에 포함시키는 단계를 가지는데, 그 단계는,

   수험자 개인이 온라인 시험을 요청(391)했을 경우 평가 서버는 요청을 수신(394)하고, 해당 요청자의 시험 결과를 등록자 데이터 베이스에서 읽기를 시도하는 단계와;

   데이터 베이스에 결과를 채점을 해 두지 안았으면 답안지에 따라 채점(354-359)을 하는 단계와;

   이미 채점을 했을 경우 다시 채점을 하지 않고 그 채점 결과를 가지고 진행하는 단계와;

   채점이 완료되거나 기 채점이 되어 있으면 가점 데이터(396)를 인사 데이터베이스에서 읽어(397), 가점 데이터가 있으면 각각의 가중치에 따라 배점을 하고(398) 백분위 점수로 환산을 한 다음에 인사 데이터 베이스(412)에 저장하는 단계와;

   백분위 점수로 환산된 점수에 따라(397) 합격(400)과 불합격(401)을 통보하고 종료하고, 클라이언트는 결과를 수신(392)하고 종료하는 단계로 이루어진 것을 특징으로 하는 웹 자격증 시험에서 문제 은행식 평가 및 동일 난이도 유지방법.
9. 제 2항,4항 및 7항의 어느 한 항에 있어서,

   난이도를 조정하는 단계는, 수험 횟수가 누적됨에 따라 학생의 수준 변화 혹은 문제의 난이도 조정할 수 있도록 누적된 시험 결과를 문제항 별로 문제지에 채택된 횟수와 수험자가 정답을 맞춘 횟수를 누적 시켜 맞은 비율을 산출하여 맞은 비율에 따라 난이도를 상, 중, 하로 수정하는 단계를 가지는데, 그 단계는,

   먼저 클라이언트 사용자가 난이도 조정 모듈(501)을 실행시키면 평가 서버는 난이도 조정을 실행하는 단계와;

   요청할 때 클라이언트 사용자는 난이도를 조정할 과목을 입력하거나 전과목 조정을 선택할 수 있으며, 동시에 난이도 조정 상수를 입력하면 그 상수에 따라 난이도가 재조정되는 단계와;

   난이도 조정상수를 입력하지 않으면 난이도 구분은 맞춘 비율이 67 %이상이면 난이도 "하"로, 34% 이상이면 난이도"중"으로 0에서 33% 까지는 난이도 "상"으로 자동 분류되는 단계와;

   난이도 조정 요청을 받은 서버는 요청한 과목(503,514)의 문제 데이터를 반 복해서(504,513) 문제은행 데이터베이스에서 읽어 사용된 횟수(문제로 제시되었던 참조 횟수)가 10회 이하이면 난이도 조정을 하지 않고, 다음 문제(505)를 읽는 단계와;

   참조횟수(506, #_of_Ref_C)가 10 이상이면 새로운 난이도 값을 계산(506)하여 현재의 난이도(508, D)와 비교하여 입력된(혹은 기본 값)에 의하여 난이도의 새 값으로 변환하여(509,510) 문제 은행 데이터베이스에 저장하는 단계와;

   모든 요청한 과목 및 문제 각각에 대하여 난이도를 조정하였으면 평가 서버는 정상완료 메시지를 클라이언트에게 전송(514)하고 종료하고, 클라이언트는 완료 메시지를 수신(502) 후 종료하는 단계로 이루어지는 것을 특징으로 하는 웹 자격증 시험에서 문제 은행식 평가 및 동일 난이도 유지방법.