KR101832791B1 - 전산 채점 신뢰성 확보와 공정성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 및 그 방법 - Google Patents
전산 채점 신뢰성 확보와 공정성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR101832791B1 KR101832791B1 KR1020170021387A KR20170021387A KR101832791B1 KR 101832791 B1 KR101832791 B1 KR 101832791B1 KR 1020170021387 A KR1020170021387 A KR 1020170021387A KR 20170021387 A KR20170021387 A KR 20170021387A KR 101832791 B1 KR101832791 B1 KR 101832791B1
- Authority
- KR
- South Korea
- Prior art keywords
- scoring
- image
- information
- answer sheet
- answer
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000001965 increasing effect Effects 0.000 title description 4
- 238000009826 distribution Methods 0.000 claims abstract description 30
- 238000012795 verification Methods 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 238000007726 management method Methods 0.000 claims description 91
- 230000008569 process Effects 0.000 claims description 18
- 238000007639 printing Methods 0.000 claims description 13
- 238000012790 confirmation Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 9
- 238000003702 image correction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000013524 data verification Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 claims 1
- 238000012937 correction Methods 0.000 abstract description 7
- 238000013077 scoring method Methods 0.000 abstract description 5
- 238000007796 conventional method Methods 0.000 abstract description 2
- 238000003672 processing method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 25
- 238000012360 testing method Methods 0.000 description 15
- 238000011156 evaluation Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000015271 coagulation Effects 0.000 description 5
- 238000005345 coagulation Methods 0.000 description 5
- 238000009833 condensation Methods 0.000 description 4
- 230000005494 condensation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001915 proofreading effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
- G06K19/06028—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명은 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 및 그 방법에 관한 것이다. 본 발명에 따르면, 논술과 같은 서답형 시험의 답안지 채점을 위해 이미지를 기반으로 한 전산 채점 시스템을 구축함에 있어 종래의 지필 답안지 채점에서 발생하는 여러 가지 문제점을 해결할 수 있는 효과를 제공한다. 또한, 효율적인 채점을 수행할 수 있어 시간과 비용의 절감 효과는 물론이고, 이미지를 기반으로 한 채점의 특성상 가장 중요한 요소인 정확한 답안지 이미지 생성과 채점 데이터 처리 방법을 통해 데이터의 신뢰성을 확보할 수 있는 효과를 제공한다. 이뿐만 아니라, 구조적이고 최적화된 채점설정 및 분배방식, 그리고 채점 결과의 실시간 현황과 자동분석을 통해 채점의 품질을 관리함으로써 기존 수기 채점에서는 제한적일 수밖에 없었던 객관적이고 공정한 채점 결과를 도출할 수 있는 효과를 갖는다.
Description
본 발명은 전산 채점 신뢰성 확보와 공정성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 및 그 방법에 관한 것으로, 보다 구체적으로는, 스캐너를 이용하여 답안지를 이미지 파일로 변환하고, 답안지에 기재된 수험생 정보를 추출하여 생성된 답안지 이미지와 수험자 데이터를 이용한 전산 채점을 진행함으로써 기존 수기 채점 대비 채점 과정의 효율성을 높일 뿐 아니라, 전산화 과정에서 생성되는 답안지 이미지 및 수험자 데이터의 다각적 검증을 통해 채점 데이터의 신뢰성을 확보하고, 시스템을 통한 채점자 구성과 채점 데이터 분석 및 활용을 통해 채점의 객관성과 공정성을 향상시키기 위한 이미지 기반 하이브리드 전산 채점 시스템 및 그 방법에 관한 것이다.
IT 기술이 발전함에 따라 교육과 관련된 다양한 업무에 전산화가 이루어지고 있다. 학사나 행정과 관련된 업무뿐만 아니라 강의 등에도 전산 시스템이 활용되고 있으며 시험 및 평가의 영역으로까지 확대되고 있다. 그에 따라 국내 평가 기관이나 교육 기관에서도 다양한 평가 업무에 대해 전산 시스템을 도입하려는 움직임이 늘어나고 있는 추세다.
최근에는 인터넷의 발달로 인해 사이버 대학과 같이 온라인 환경을 이용한 시험 및 평가 방식도 많이 사용되고 있지만, 아직도 많은 평가에서 수험자가 직접 수기로 작성하는 지필 답안지가 사용되고 있다.
지필 시험의 경우 출제 방식에 따라 크게 객관식과 주관식으로 나눌 수 있다. 이미 객관식 시험 답안지의 경우 OMR 기술을 이용한 자동 채점 방식을 사용하고 있는 경우가 많다. 객관식과 달리 주관식은 자동으로 채점하기 어려우므로 채점자가 직접 채점해야 하는 특성이 있다. 특히 대학 입시에서 많이 사용하는 논술형 시험 답안지의 경우 비교적 시험 규모가 크고, 논술에 특화된 답안지의 특성상 채점 과정에 시간과 비용이 많이 발생한다. 이러한 문제를 해결하기 위해 논술형 답안지 채점을 전산화하기 위한 기술이 요구되고 있다.
논술형 답안지를 전산 시스템을 통해 채점하기 위해서는 답안지를 디지털 파일로 전환하는 기술이 필요하며, 전환된 이미지 파일은 원본 답안지와 완전히 동일한 효력을 가지므로 정확한 데이터 생성과 유지 및 보안이 그 무엇보다 중요하다.
또한 논술 평가는 답안의 특성상 채점의 객관성과 공정성을 확보하는 것이 매우 중요하다. 실제로 동일한 답안에 대해 채점자에 따라 채점 결과가 다른 경우가 많다. 이는 정확한 답을 요구하는 것이 목적이 아닌 논술의 특성상 당연한 현상이다. 이렇듯 객관성이 저하될 수 있는 논술 평가의 문제점을 보완하기 위해 동일한 답안을 2명 이상의 채점자가 채점하여 주관적 채점에 따른 평가 오차를 최소화하는 방식을 기본적으로 사용하고 있다. 하지만 이 방식도 채점 규모에 따라 2인 1조인 채점조가 여러 조로 늘어날 경우 각 조별 답안 분배 방식에 따라 각 조별 답안의 채점 결과는 그 객관성이 확보될 것이라고 단정할 수 없다. 이러한 문제를 해결하기 위한 여러 가지 방안이 있을 수 있지만 이는 수기로 채점을 하는 채점환경에서는 적용하기 어렵거나, 적용하더라도 소요되는 시간과 비용대비 효율적이지 못 할 수 있다.
본 발명은 상기의 문제점을 해결하기 위한 것으로, 이미지를 기반으로 한 전산 채점 시스템을 통해 기존 수기 채점 대비 효율적인 채점을 운영할 수 있도록 하고, 답안지 이미지 파일과 수험자 데이터가 정확하게 매칭, 유지될 수 있도록 다각적인 검증 방식을 통해 데이터의 신뢰성을 확보하며, 최적화된 채점 분배 방식과 데이터 분석 기법을 활용하여 채점의 객관성과 공정성을 향상시킬 수 있는 이미지 기반 하이브리드 전산 채점 시스템 및 그 방법을 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시 예에 따른 전산 채점 신뢰성 확보와 공정성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템은, 관리서버(200); 수험표에 인쇄된 수험번호 바코드를 모바일 장비에 장착된 카메라를 이용하여 인식하여, 수험자 정보를 확인하고, 확인된 수험자의 응결시 정보를 생성하며, 생성된 응결시 정보를 실시간으로 이미지 파일서버(500)로 전송하는 모바일용 어플리케이션(이하. '수험자 출결 확인앱')을 포함하는 출결 확인 수단을 구비하는 모바일 장비; 답안지를 스캔하여 이미지를 생성하고 스캔된 답안지 이미지를 생성하기 위한 장치를 구비하는 스캔수단(110)과, 인식처리 과정을 통해서 스캔수단(110)에 의해 스캔된 답안지 이미지를 인식하여 답안지의 수험자 정보를 자동으로 추출하며, 이미지에서 정확한 수험자 정보를 추출하기 있도록 하기 위해 이미지 보정 기능을 수행하는 이미지 처리수단을 포함하는 인식수단(120)과, 정보검증과정으로 인식수단(120)에 의한 인식처리 과정에서 생성된 답안지 이미지의 수험자 정보를 수험자 기초정보와 비교하여 유효성을 검사하고 일치하지 않는 정보가 있을 경우 답안지의 수험자 정보를 교정하는 교정수단(130)과, 인식과 교정을 통해 생성된 수험자 정보를, 수험자 기초정보와 응결시정보 생성수단을 통해 생성된 응결시 정보를 이용하여 답안지 이미지와의 일치 여부를 비교검증하고 채점대상 정보를 생성하여 관리서버(200)로 전송하는 검수수단(140)을 구비하는 스캔판독부(100); 및 검수수단(140)은, 데이터 검증이 완료된 채점대상 답안지 이미지에서 지정된 해시함수를 사용하여, 채점 시 채점자단말기(400)에 표시되는 채점 답안지 이미지의 원본 진위 여부를 검사하기 위해 사용하는 해시값을 추출하여 답안지 파일의 관리번호와 매핑하여 관리서버(200)에 저장하며, 관리서버(400)에 구비된 원본대조수단(280)은, 관리서버(200)에 등록된 채점 답안지 이미지에 대해 추출된 해시값을 채점자단말기(400)에서 채점시 목록에서 선택된 채점대상 답안에 해당하는 채점대상 답안지 이미지가 화면에 표시될 때 지정된 해시함수에 의해 추출된 해시값과 비교하는데 사용하며, 비교 결과 일치하는 경우, 정상적으로 채점자 화면에 이미지가 디스플레이되어 채점을 진행할 수 있도록 하고, 반대로 해시값이 불일치하는 경우에는 채점 진행 불가 정보를 채점화면에 표시하며, 관리자단말기(300), 채점자단말기(400)로도 채점 진행 불가 정보를 전송하여, 답안지 이미지가 원본이 아닐 가능성을 통지하는 것을 특징으로 한다.
이때, 원본대조수단(280)은, 스캔판독부(100)에서 생성한 채점대상 이미지 파일에서 생성되어 저장된 해시값과 현재 채점대상 이미지 파일로부터 추출한 해시값을 비교한 결과 두 해시값이 동일하다면, 원본 답안지가 스캔판독부(100)를 통해 최종적으로 채점대상 답안지 이미지로 생성된 이후 어떠한 변경도 없는 원본으로 간주하며, 두 해시값이 불일치한다면 해당 채점대상 답안지가 생성된 이후 어떠한 과정을 통해 변경된 가능성이 있으므로, 채점 진행을 중단해야 하며 관리자단말기(300)에 대한 요청을 통해 해당 답안지를 재검증하도록 하는 해시정보 검증수단(282); 을 포함하는 것을 특징으로 한다.
또한, 해시(Hash) 값 추출에 사용되는 해시 함수는, MD5 또는 SHA-1, SHA-2(SHA-224, SHA-256, SHA-384, SHA-512), SHA-3에서 하나를 사용하는 것을 특징으로 한다.
또한, 원본대조수단(280)은, 채점대상 이미지 파일에 관리 번호를 인쇄하여 관리 번호가 인쇄된 채점대상 이미지 파일이 채점자단말기(400)로 제공될 수 있도록 하며, 채점대상 이미지 파일에 대응하는 관리 번호 목록을 채점자단말기(400)로 제공하여, 채점자가 채점대상 이미지 파일에 인쇄된 관리 번호와 채점 목록의 관리 번호가 동일한지를 비교하여, 채점대상 이미지 파일이 원본인지를 확인하는 관리번호 인쇄수단(283); 을 더 포함하는 것을 특징으로 한다,
또한, 관리번호 인쇄수단(283)은, 백그라운드인 채점대상 이미지 파일에 투명 레이어를 생성하며, 생성한 투명 레이어 상에 관리 번호 텍스트를 인쇄하는 것을 특징으로 한다.
또한, 관리 번호 인쇄는 채점대상이 되는 모든 채점대상 이미지 파일에 대해 이루어지며, 관리 번호는 채점 화면에서 보이는 문항 영역의 크기를 고려하여 채점 문항 디스플레이 영역 이미지 내에서 보일 수 있도록 인쇄되는 것을 특징으로 한다.
또한, 채점자단말기(400)는, 채점대상 이미지 파일에 대해 채점을 하는 경우, 채점대상 이미지 파일 상에 인쇄된 관리 번호와, 채점 목록에 표시되는 현재 답안지 관리 번호를 서로 비교하여 일치 여부를 확인가능하도록 출력하는 것을 특징으로 한다.
또한, 관리서버(200)는, 기설정되어 있는 채점 조당 채점자 수 기준에 따라 전체 채점자를 그룹으로 분류하며, 전체 채점대상 답안 정보를 각 그룹에 속한 채점자에게 균등하게 일괄 분배하여, 채점파일 제공수단(260)이 분배 결과에 따라 채점대상 파일을 제공할 수 있도록 하는 답안지 분배수단(250); 을 더 포함하는 것을 특징으로 한다.
또한, 답안지 분배수단(250)은, 교차 분배 방식에 있어서, 각 채점조의 채점자간 채점 결과 편차를 정량화해서, 위험군 채점자를 선별하고, 위험군 채점자들로 구성된 채점조가 있다면, 그 조에 배정된 답안지들은 바로 재채점하도록 채점자단말기(400)로 전송하는 것을 특징으로 한다.
또한, 채점자단말기(400)는, 채점을 위한 채점대상 답안 정보 및 채점대상 답안 이미지 파일을 관리서버(200)로 요청하며, 요청에 따라 호출된 채점대상 답안 이미지는, 채점자단말기(400)의 채점정보 출력수단(410)에 의해 답안지 전체 영역 중 채점대상 문항의 답안 영역만 x,y 좌표를 지정하여 지정된 영역만 디스플레이하는 좌표방식을 사용하는 것을 특징으로 한다.
또한, 모바일 장비를 이용한 출결 확인 수단은, 수험표 바코드를 이용한 자동 인식뿐만 아니라 수험자가 수험표를 지참하지 않은 경우를 대비하여 수험자 출결 확인앱을 통해 수험자를 직접 검색하여 출결정보를 확인할 수 있도록 수험자 목록 및 검색 기능을 제공하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 및 그 방법은, 논술과 같은 서답형 시험의 답안지 채점을 위해 이미지를 기반으로 한 전산 채점 시스템을 구축함에 있어 종래의 지필 답안지 채점에서 발생하는 여러 가지 문제점을 해결할 수 있는 효과를 제공한다.
또한, 본 발명의 다른 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 및 그 방법은, 효율적인 채점을 수행할 수 있어 시간과 비용의 절감 효과는 물론이고, 이미지를 기반으로 한 채점의 특성상 가장 중요한 요소인 정확한 답안지 이미지 생성과 채점 데이터 처리 방법을 통해 데이터의 신뢰성을 확보할 수 있는 효과를 제공한다.
이뿐만 아니라, 본 발명의 다른 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 및 그 방법은, 구조적이고 최적화된 채점설정 및 분배방식, 그리고 채점 결과의 실시간 현황과 자동분석을 통해 채점의 품질을 관리함으로써 기존 수기 채점에서는 제한적일 수밖에 없었던 객관적이고 공정한 채점 결과를 도출할 수 있는 효과를 갖는다.
도 1은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템의 구성을 나타내는 블록도이다.
도 2a 및 도 2b는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 답안지에 관한 도면이다.
도 3은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 출석점검표 양식에 관한 도면이다.
도 4는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 모바일 장비를 사용한 출결 확인에 관한 도면이다.
도 5a는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 스캔을 통해 답안지 및 출석점검표 스캔 이미지 파일을 생성하는 과정에 관한 도면이며, 도 5b는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 스캔 파일 이미지 보정에 관한 도면이다.
도 6은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 채점대상 파일 제공 화면을 나타내는 도면이다.
도 7a 및 도 7b은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 채점자용 채점 결과 화면에 관한 도면이다.
도 8은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 중 채점자단말기(400)로 제공되는 채점대상 문항의 답안 영역의 좌표 분할 추출 방식을 설명하기 위한 도면이다.
도 9a 내지 도 9d는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 관리자용 채점 결과 화면에 관한 도면이다.
도 10a 내지 도 10c는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 시스템 관리 화면에 관한 도면이다.
도 11은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 해시값 추출 개념을 설명하기 위한 도면이다.
도 12는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 해시값 추출과 저장을 설명하기 위한 도면이다.
도 13은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 해시값 비교에 의해 답안지가 변조된 것으로 판단된 경우 채점자단말기에 표시하는 화면의 도면이다.
도 14는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 답안지 스캔 파일에 대한 관리 번호 인쇄 개념을 설명하기 위한 도면이다.
도 15는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 답안지 스캔 파일 중 관리 번호가 인쇄되는 영역을 설명하기 위한 도면이다.
도 16은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 답안지 스캔 파일에 인쇄된 관리 번호와 채점 목록에 표시된 관리 번호를 채점자단말기에서 동시에 확인할 수 있음을 설명하기 위한 도면이다.
도 17은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 채점 조 구성과 답안지 분배 방식을 설명하기 위한 도면이다.
도 18은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 방법을 나타내는 흐름도이다.
도 2a 및 도 2b는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 답안지에 관한 도면이다.
도 3은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 출석점검표 양식에 관한 도면이다.
도 4는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 모바일 장비를 사용한 출결 확인에 관한 도면이다.
도 5a는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 스캔을 통해 답안지 및 출석점검표 스캔 이미지 파일을 생성하는 과정에 관한 도면이며, 도 5b는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 스캔 파일 이미지 보정에 관한 도면이다.
도 6은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 채점대상 파일 제공 화면을 나타내는 도면이다.
도 7a 및 도 7b은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 채점자용 채점 결과 화면에 관한 도면이다.
도 8은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 중 채점자단말기(400)로 제공되는 채점대상 문항의 답안 영역의 좌표 분할 추출 방식을 설명하기 위한 도면이다.
도 9a 내지 도 9d는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 관리자용 채점 결과 화면에 관한 도면이다.
도 10a 내지 도 10c는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 시스템 관리 화면에 관한 도면이다.
도 11은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 해시값 추출 개념을 설명하기 위한 도면이다.
도 12는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 해시값 추출과 저장을 설명하기 위한 도면이다.
도 13은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 해시값 비교에 의해 답안지가 변조된 것으로 판단된 경우 채점자단말기에 표시하는 화면의 도면이다.
도 14는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 답안지 스캔 파일에 대한 관리 번호 인쇄 개념을 설명하기 위한 도면이다.
도 15는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 답안지 스캔 파일 중 관리 번호가 인쇄되는 영역을 설명하기 위한 도면이다.
도 16은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 답안지 스캔 파일에 인쇄된 관리 번호와 채점 목록에 표시된 관리 번호를 채점자단말기에서 동시에 확인할 수 있음을 설명하기 위한 도면이다.
도 17은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 채점 조 구성과 답안지 분배 방식을 설명하기 위한 도면이다.
도 18은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 방법을 나타내는 흐름도이다.
이하, 본 발명의 바람직한 실시 예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어, 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템의 구성을 나타내는 블록도이다.
도 2a 및 도 2b는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 답안지에 관한 참고도이고, 도 3은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 출석점검표 양식에 관한 도면이고, 도 4는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 모바일 장비를 사용한 출결 확인에 관한 도면이고, 도 5a는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 스캔을 통해 답안지 및 출석점검표 스캔 이미지 파일을 생성하는 과정에 관한 도면이며, 도 5b는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 스캔 파일 이미지 보정에 관한 도면이다.
도 6은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서 사용되는 채점대상 파일 제공 화면을 나타내는 도면이고, 도 7a 및 도 7b은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 채점자용 채점 결과 화면에 관한 도면이다.
도 8은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 중 채점자단말기(400)로 제공되는 채점대상 문항의 답안 영역의 좌표 분할 추출 방식을 설명하기 위한 도면이다.
도 9a 내지 도 9d는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 관리자용 채점 결과 화면에 관한 참고도이고, 도 10a 내지 도 10c는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 시스템 관리 화면에 관한 도면이며, 도 11은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 해시값 추출 개념을 설명하기 위한 도면이고, 도 12는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 해시값 추출과 저장을 설명하기 위한 도면이며, 도 13은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 해시값 비교에 의해 답안지가 변조된 것으로 판단된 경우 채점자단말기에 표시하는 화면의 도면이고, 도 14는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 답안지 스캔 파일에 대한 관리 번호 인쇄 개념을 설명하기 위한 도면이며, 도 15는 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 답안지 스캔 파일 중 관리 번호가 인쇄되는 영역을 설명하기 위한 도면이고, 도 16은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 답안지 스캔 파일에 인쇄된 관리 번호와 채점 목록에 표시된 관리 번호를 채점자단말기에서 동시에 확인할 수 있음을 설명하기 위한 도면이며, 도 17은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템에서의 채점 조 구성과 답안지 분배 방식을 설명하기 위한 도면이다.
도 18은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 방법을 나타내는 흐름도이다.
먼저, 도 1을 참조하면, 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템은, 스캔판독부(100), 관리서버(200), 관리자단말기(300), 채점자단말기(400), 이미지 파일서버(500), 웹어플리케이션 서버(600), 데이터베이스(700)를 포함한다. 스캔판독부(100)는 스캔수단(110), 인식수단(120), 교정수단(130), 검수수단(140)을 구비하며, 관리서버(200)는 응시정보 수신수단(210), 시스템 관리수단(220), 사용자 관리수단(230), 채점정보 관리수단(240), 답안지 분배수단(250), 채점파일 제공수단(260), 채점결과 분석수단(270), 원본대조수단(280), 해시정보 관리수단(281), 해시정보 검증수단(282), 관리 번호인쇄수단(283)을 구비한다.
관리자단말기(300)는 채점정보 입력수단(310), 채점정보 출력수단(320), 채점결과 출력수단(330)을 구비한다.
본 발명의 실시 예에 따른 답안지 양식은 도 2b에 도시한 바와 같이 기존 답안지를 이미지 기반 전산 채점 시스템에서 사용할 수 있도록 하기 위해서는 양식의 변경이 필요하다.
도 2a에 도시한 바와 같이 논술과 같은 일반적인 서답형 시험 답안지는 수험자 정보를 수기로 작성하는 수험자 정보 기입 영역과 답안을 기입하는 본문 영역으로 구성되는데, 이러한 종래의 답안지 양식은 본 발명에서와 같이 이미지 생성 후 자동으로 정보를 추출해야 하는 이미지 기반 채점 시스템에서 사용하기에는 부적절하므로, 답안지 양식은 도 2b에 도시한 바와 같이 수험자 정보를 수기로 작성하는 영역 이외에 인식을 통해 자동으로 수험자 정보를 추출할 수 있는 영역을 추가하여 새롭게 구성함이 적절하다.
이 경우, 수험자 정보를 추출할 수 있는 영역으로부터 인식을 통해 문서상의 정보를 자동으로 추출하는 기술로는 작성의 용이성과 정확한 인식률을 특징으로 하는 OMR(Optical Mark Recognition) 방식을 사용하며, OMR 방식의 정보 입력 영역을 추가하여 구성하는 것이 적절하다.
본 발명에 따른 답안지의 레이아웃 구성을 더욱 구체적으로 설명하면, 답안지의 응시자 정보 영역(가)은 수험번호 마킹 영역, 생년월일 마킹 영역, 결시여부 마킹 영역, 선택과목 마킹 영역, 감독관 서명 영역 등으로 구성될 것이며, 필요에 따라 계열, 지원모집단위, 성명 등 부가적인 수험정보를 기입할 수 있는 영역이 추가될 수 있다.
또한, 답안 영역(나)은 답안지 구분 정보에 따라 상이한 색상으로 구분할 수 있으며, 답안의 기입 방식에 따라 원고지 형태로도 구성될 수 있으며, 이때 한 줄에 작성 가능한 글자 수를 조정하여 구성할 수 있다.
본 발명에서 사용되는 출석점검표는 도 3에 도시한 바와 같이 각 장에 전형 정보, 시험일시 정보, 고사실 정보, 응결시자 인원 정보 등을 포함하며, 1명 이상의 수험자에 대한 수험번호 및 수험번호 바코드, 수험자 정보(이름, 생년월일, 지원학과, 수험생 사진), 사고내역 표시 영역(응결시여부, 신분증 미지참, 부정행위, 중도 퇴실, 서류 미제출)등이 목록 또는 라벨 형태로 구성되며 필요에 따라 그 구성은 상이할 수 있다. 이렇게 구성되어 제작된 출석점검표는 시험 전 감독관에게 답안지와 함께 배부되며 시험시 감독관은 수험자의 응결시 여부 및 기타 사고 정보를 출석점검표에 표시를 하고, 시험이 완료되면 답안지와 함께 수거하여, 수거된 출석점검표는 스캔판독부(100)에 의한 스캔을 통해 이미지 생성 후 자동 인식을 통해 수험자 정보 및 응결시 여부, 기타 사고정보를 추출하여 이미지 파일서버(500)에 등록하게 된다.
이때 스캔판독부(100)는 정확한 정보 확보를 위해 인식을 통해 자동 추출한 수험자 정보를 수험자 기초정보와 비교검증 하여 오인식 여부를 판단하고, 오인식 판단된 출석점검표는 교정을 통해 최종 수험자 정보 및 응결시 정보를 이미지 파일서버(500)에 등록한다.
이러한 응결시 정보의 사용은 답안지 이미지 및 수험자 정보 검증에 필요한 응결시 정보를 획득하는 것이 가장 중요한 목적이며, 이를 위한 하나의 수단으로 사용되는 방식으로 출석점검표를 이용한 방법 이외에도 다른 방법을 통해 생성된 응결시 정보를 이용하여 응시자 정보를 검증하는 방식 및 절차는 본 발명의 범주에 포함되는 것을 의미한다. 본 발명에 따르면, 좀 더 효율적으로 출결정보를 획득하기 위한 방법으로 모바일 장비를 이용한 출결 확인 수단을 포함할 수 있는 것을 특징으로 한다. 여기서 모바일 장비는 관리자단말기(300) 및/또는 채점자단말기(400)일 수 있다.
다음으로, 도 4에 도시한 바와 같이 모바일 장비를 이용한 출결 확인 수단은, 수험표에 인쇄된 수험번호 바코드를 모바일 장비에 장착된 카메라를 이용하여 인식하여, 수험자 정보를 확인하고, 확인된 수험자의 응결시 정보를 생성하며, 생성된 응결시 정보를 실시간으로 이미지 파일서버(500)로 전송하는 모바일용 어플리케이션(이하. '수험자 출결 확인앱')을 포함한다. 또한, 상기에 언급된 바와 같이 수험표를 인식하기 위해서는 기존의 수험표를 수험번호 바코드가 포함된 양식으로 제작하여 수험자에게 배부하는 것이 적절하다.
또한, 모바일 장비를 이용한 출결 확인 수단은, 수험표 바코드를 이용한 자동 인식뿐만 아니라 수험자가 수험표를 지참하지 않은 경우를 대비하여 수험자 출결 확인앱을 통해 수험자를 직접 검색하여 출결정보를 확인할 수 있도록 수험자 목록 및 검색 기능을 제공하는 것이 특징이다.
본 발명의 실시 예에 따른 스캔수단(110)에 의한 답안지 이미지 생성 과정을 통해 답안지를 스캔하여 이미지를 생성하고 스캔된 답안지를 이미지 파일서버(500)로 저장한다.
이때 답안지 이미지를 생성하기 위한 장치는 이미지 자동 캡처 기술이 포함된 장치 중 어떤 것이라도 될 수 있으나 대량의 답안지를 신속하고 정확하게 채점에 최적화된 품질의 이미지를 획득하기 위하여 주로 문서 전용 고속 스캐너로 구성함이 적절하다.
다음으로, 인식수단(120)은 인식처리 과정을 통해서 스캔수단(110)에 의해 스캔된 답안지 이미지를 인식하여 답안지의 수험자 정보를 자동으로 추출하는 인식수단과 또한 이미지에서 정확한 수험자 정보를 추출할 수 있도록 다양한 이미지 보정 기능을 수행하는 이미지 처리수단을 포함한다.
이러한, 인식수단(120)은 답안지 이미지를 인식하여 수험자 정보를 추출한다.
더욱 구체적으로는, 답안지 이미지를 통해 OMR 기술을 이용하여 수험번호, 생년월일, 선택 과목, 감독관 서명 여부, 결시 여부 등을 자동으로 인식하여 정보를 추출한다. 인식수단(120)의 이미지 처리수단은 이미지 인식 시 필요한 이진 이미지 생성, 기울기 보정, 노이즈 제거 등 이미지 프로세싱을 통해 인식에 필요한 최적화된 이미지를 생성하는 기능을 포함한다.
또한, 원본 답안지 이미지로부터 채점용 답안지 이미지 파일을 생성하는 기능을 포함한다.
더 구체적으로는, 원본 답안지 이미지를 복사하여 이미지 보정 및 압축 처리하여 채점에 최적화된 채점용 답안지 이미지로 변환하여 이미지 파일서버(500)로 저장하여 채점에서 사용할 수 있도록 한다.
채점용 답안지 이미지 파일은 원본 스캔 파일의 사본으로 생성되는 것이므로 채점대상 답안지 이미지 파일의 손실 등 경우에도, 원본 스캔 파일을 통해 채점대상 이미지 파일을 재생성할 수 있도록 원본 스캔 파일을 보관하는 것이 적절하다.
도 6에 도시한 바와 같이, 채점용 답안지 이미지는 이미지 보정에 의해 선명도 향상이나 노이즈 제거, 색상 보정 등을 통해 최적화되며, 용량 대비 손실을 최소화한 이미지 압축을 통해 채점 시 이미지 로딩에 따른 지연 시간을 최소화할 수 있도록 한다.
인식수단(120)은 이미지 보정에 의해 생성된 채점대상 답안지 이미지 파일의 채점 영역 손상 여부를 자동으로 검사하는 이미지 자동검사 기능이 포함되며, 자동 검사에 의한 손상 판별 시 관리자가 이미지 확인 수단을 통해 육안으로 품질을 재차 확인 후 채점에 지장이 없는 정도라면 관리자단말기(300)로 전송하고, 채점에 지장이 있다면 해당 답안지를 재 스캔하기 위해 손상된 답안지를 삭제하는 기능을 포함한다.
교정수단(130)은 정보검증과정으로 인식수단(120)에 의한 인식처리 과정에서 생성된 답안지 이미지의 수험자 정보를 수험자 기초정보와 비교하여 유효성을 검사하고 일치하지 않는 정보가 있을 경우 답안지의 수험자 정보를 교정한다.
여기서, 교정수단(130)은 자동 인식된 수험자 정보가 수험자 기초정보와 일치하지 않은 답안지 이미지 정보를 운영자가 이미지를 보며 직접 정보를 교정할 수 있도록 한다. 교정이 필요한 경우의 예를 들면, 수험번호, 생년월일, 감독관 확인란 등이 인식되지 않거나, 수험번호가 수험자 기초정보에 존재하지 않거나, 중복 존재하는 경우 등을 들 수 있을 것이다. 이때 교정수단(130)을 통해 입력된 정보는 수험자 기초정보 매칭검사를 통해 사용자의 입력 오류 등을 방지하는 기능을 포함한다.
그리고 검수수단(140)은 인식과 교정을 통해 생성된 수험자 정보를, 수험자 기초정보와 응결시정보 생성수단을 통해 생성된 응결시 정보를 이용하여 답안지 이미지와 수험자자 정보의 일치 여부를 비교검증하고 채점대상 정보를 생성하여 관리서버(200)로 전송한다.
보다 구체적으로, 검수수단(140)은 인식 및 교정을 통해 생성된 답안지 및 수험자 정보를 수험자 기초정보 및 수험자 응결시 정보와 상호 비교검증하여 채점대상이 되는 답안지 이미지 및 수험자 정보의 정상 여부를 검증하여 최종적인 채점대상 정보를 생성하기 위한 다양한 세부적인 기능이 포함되며, 더 구체적으로는, 수험자 기초정보와 응결시 정보 간, 그리고 응결시 정보와 수험자 정보 간 정보 매칭 확인을 통해 데이터 수량, 정보 중복 및 누락 등을 자동으로 검사하고, 검사 결과를 사용자에게 알려주며, 오류가 있을 경우 사용자의 의해 정보를 수정할 수 있는 기능을 포함한다. 이러한 검증은 필요 시 실물 답안지를 이용한 오프라인 검증도 이루어질 수 있음을 포함한다.
검수수단(140)에서 데이터 검수 시 응결시 정보를 사용하는 것은 답안지 정보를 전산화하여 채점을 진행함에 있어 수험자 기초정보 및 수험자 정보와 유기적 결합을 통해 정확한 채점대상 정보를 도출하기 위한 핵심적 역할을 한다.
더욱 상세하게는 본 발명에 따른 이미지를 기반으로 한 채점 시스템에서 응결시 정보를 사용하지 않을 경우 생성된 채점대상 정보는 신뢰성이 저하될 수 있다. 이를 테면, 수험자가 답안지에 수험정보를 오기입한 경우 잘못된 응시정보를 생성할 수도 있는 위험성을 내포하고 있는데, 도 5a는 데이터 검증 시 응결시 정보 이용 여부에 따른 차이점을 설명하고 있다. 예를 들어 특정 수험자가 수험번호를 오기입하였다고 가정한 경우, 이 답안지는 인식수단(120)에 의해 자동으로 인식되어 수험번호가 추출되며, 이때 인식된 수험번호가 공교롭게 결시한 다른 수험자의 수험번호와 일치할 경우 응결시 정보를 사용하지 않고 수험자 기초정보만을 사용하여 검증할 경우 해당 답안지는 결시한 다른 수험자의 답안지로 매칭될 수 있다.
이는 결국 해당 답안지의 응시자가 바뀌어 채점에 있어 중대한 사고로 이어질 수 있는 위험을 내포하고 있다. 하지만, 이 경우 응결시 정보가 있다면 자동 인식된 수험번호가 결시자임이 확인되므로 잘못 기입된 답안지의 수험자 정보를 교정하여 정확한 답안지 정보를 생성할 수 있게 된다.
이런 예에서, 만약 응결시 정보를 이용한 데이터 검증이 채점 시스템 프로세스상에 포함되지 않는다면, 이와 같은 정보를 검증하기 위해서는 많은 시간과 인력이 투입되어야 할 뿐만 아니라 100% 정확한 검증을 진행하기 어렵다.
또한 검수수단(140)은 검수를 통해 데이터 검증이 완료된 답안지 이미지와 수험자 정보를 이용하여 채점을 위한 기준 정보가 되는 채점대상 정보를 생성하고, 생성된 정보를 관리서버(200)로 전송하는 기능이 포함된다.
또한 검수수단(140)은 데이터 검증이 완료된 채점대상 답안지 이미지에서 지정된 해시함수를 사용하여 추출한 해시값을 관리서버(200)에 저장하는 기능이 포함된다. 여기에서 생성된 해시값은 채점시 채점자단말기(400)에 표시되는 채점 답안지 이미지의 원본 진위 여부를 검사하기 위해 사용된다.
이를 좀 더 상세히 설명하면, 관리서버(200)의 원본대조수단(280)은 데이터 검증이 완료된 후 채점대상 정보 생성 시 채점대상 답안지 이미지 파일에 대해 지정된 해시 함수에 따른 해시값을 추출하여, 추출한 해시값은 도 12에서 도시한 바와 같이, 채점대상 답안지 파일의 관리 번호와 매핑하여 저장한다.
이렇게 관리서버(200)에 등록된 채점 답안지 이미지에 대해 추출된 해시값에 대해서 채점자단말기(400)에서 채점 시 목록에서 선택된 채점대상 답안에 해당하는 답안지 이미지가 화면에 표시될 때 지정된 해시함수에 의해 추출된 해시값과 비교하여 일치할 경우 정상적으로 채점자 화면에 이미지가 디스플레이되어 채점을 진행할 수 있도록 하고, 해시값이 불일치하는 경우에는 도 13에서 도시한 바와 같이 채점 진행 불가 정보를 채점화면에 표시하며, 관리자단말기(300), 채점자단말기(400)로도 채점 진행 불가 정보를 전송함으로써 답안지 이미지가 원본이 아닐 가능성을 통지한다. 채점 진행 가능 정보 역시 해시정보 검증수단(282)에 의해 관리자단말기(300), 채점자단말기(400)로도 제공되는 것으로 설정할 수 있다.
만약, 해시정보 검증수단(282)은 스캔판독부(100)에서 생성한 채점대상 이미지 파일에서 생성되어 저장된 해시값과 현재 채점대상 이미지 파일로부터 추출한 해시값을 비교한 결과 두 해시값이 동일하다면, 원본 답안지가 스캔판독부(100)를 통해 최종적으로 채점대상 답안지 이미지로 생성된 이후 어떠한 변경도 없는 원본으로 간주할 수 있으며, 만약, 두 해시값이 불일치한다면 해당 채점대상 답안지가 생성된 이후 어떠한 과정을 통해 변경된 가능성이 있으므로, 채점 진행을 중단해야 하며 관리자에 의해 해당 답안지를 재검증하는 것이 안전하다.
이하, 해시값 추출 및 비교에 관해 좀 더 상세히 설명한다. 해시(Hash) 값은 해시 함수를 사용하여 생성한 값을 의미한다. 도 11에 도시한 바와 같이, 해시 함수는 임의의 길이를 갖는 메시지를 입력받아 고정된 길이의 해시값을 출력하는 함수이다. 암호 알고리즘에서는 키를 많이 사용하나 해시 함수는 키를 사용하지 않으므로 동일한 입력에 대해서는 항상 동일한 출력이 나오는 성질이 있다. 이러한 해시 함수를 사용하면 입력 데이터에 대하여 변경할 수 없는 증거 값을 추출함으로써, 파일의 변경이나 데이터의 오류 등을 탐지할 수 있게 된다.
해시 함수의 종류로는 MD5, SHA-0, SHA-1, SHA-2(SHA-224, SHA-256, SHA-384, SHA-512), SHA-3 등이 있는데, 모든 함수를 사용할 수 있도록 그 기능을 포함할 수 있으나, 보안 측면이 중요시되는 본 발명의 특성상 SHA-2 이상 해시 함수를 사용하는 것이 적절하다.
두 번째로, 원본대조수단(280)의 관리번호 인쇄수단(283)은 채점대상 이미지 파일에 관리 번호를 인쇄하여 관리 번호가 인쇄된 채점대상 이미지 파일이 채점자단말기(400)로 제공될 수 있도록 하며, 채점대상 이미지 파일에 대응하는 관리 번호 목록을 채점자단말기(400)로 제공하여, 채점자가 채점대상 이미지 파일에 인쇄된 관리 번호와 채점 목록의 관리 번호가 동일한지를 비교함으로써, 채점대상 이미지 파일이 원본인지를 확인할 수 있도록 한다.
도 14를 참조하면, 관리번호 인쇄수단(283)은 백그라운드인 채점대상 이미지 파일에 투명 레이어를 생성하며, 생성한 투명 레이어 상에 관리 번호 텍스트를 인쇄한다. 이러한 관리 번호 인쇄는 채점대상이 되는 모든 채점대상 이미지 파일에 대해 이루어지는 것이 바람직하며, 도 15를 참조하면, 관리 번호는 채점 화면에서 보이는 문항 영역의 크기를 고려하여 채점 문항 디스플레이 영역 이미지 내에서 항상 보일 수 있도록 크기와 위치를 고려하여 인쇄한다.
채점자단말기(400)를 운영하는 채점자가 채점대상 이미지 파일에 대해 채점을 하는 경우, 도 16에 도시한 바와 같이, 채점대상 이미지 파일 상에 인쇄된 관리 번호와, 채점 목록에 표시되는 현재 답안지 관리 번호를 서로 비교하여 일치 여부를 확인할 수 있으며, 이로 인해 채점의 신뢰성을 극대화할 수 있게 된다.
다음으로, 답안지 분배수단(250)은 기설정되어 있는 채점 조당 채점자 수를 기준으로 전체 채점자를 그룹으로 분류하며, 전체 채점대상 답안 정보를 각 그룹에 속한 채점자에게 균등하게 일괄 분배함으로써 채점파일 제공수단(260)이 답안지분배 수단(250)의 분배 결과에 따라 채점대상 파일을 제공할 수 있도록 한다.
종래의 채점을 위한 채점대상 답안 분배 방식으로는, 분배되지 않은 채점대상 답안들을, 정해진 채점자에게 분배시 채점자 중 1명 이상을 선택하여 분배하는 방식으로, 이때 선택된 1명 이상의 채점자가 한 조가 되는 방식이다.
예를 들면, 1명이 선택되면 1인 1조 방식이며 한 명의 답안을 한 명의 채점자가 채점한다는 의미이며, 2명이 선택되면 2인 1조 방식으로 한 명의 답안을 두 명의 채점자가 채점한다는 의미이다.
이러한 종래 방식에 따르면, 사전에 채점 조별로 할당할 문항 수를 계산하여야 하며, 다시 특정한 채점 조 내에서 답안지 수량을 분배하여야 했으므로, 분배 수행 횟수는 채점자 또는 채점 조 수에 비례하고, 채점자가 많을수록 채점 조 구성과 분배에 많은 시간이 소요되는 문제점이 있었다.
이와 다르게 본 발명에 따르면, 상기와 같은 종래 분배에서의 문제를 해결하기 위해 채점자 수와 관계없이 그룹별로 답안지를 자동 균등 분배하는 것으로 충분하다. 단지 사전에 채점 조를 몇 명의 채점자로 구성할지만 정한다면, 채점 조는 자동으로 구성되며, 분배 전에 채점 조를 수동으로 구성할 필요가 없다.
도 17을 참조하여 상세히 설명하면, 예를 들어 일반적으로 많이 사용되는 2인 채점 조의 경우를 가정한다. 이에 따르면 하나의 문항을 두 명의 채점자가 채점하므로 채점자는 전체적으로 두 그룹으로 나누어진다.
전체 채점자를 두 그룹으로 나누었으면, 전체 채점대상 문항을 두 그룹에 대해 균등하게 분배한다. 전체 문항 수가 100건이라면, 그룹별 채점자 수가 각각 5명일 때, 각 채점자는 20건씩 자동으로 분배받게 된다.
이때, 두 그룹에 속하는 채점자 수는 동일하지 않아도 된다. A 그룹의 채점자는 5명이고 B 그룹은 4명이라면, A 그룹 채점자들은 20건씩 분배받으면 되고, B 그룹 채점자들은 25건씩 분배받으면 되는 것이다. 이러한 경우에, B 그룹의 한 채점자는 A 그룹의 두 채점자와 교차로 채점 조를 구성하는 것과 같은 효과도 얻을 수 있다.
또한, 이러한 교차효과는 설정에 따라 다른 조의 모든 채점자와 교차되도록 분배할 수 있음을 포함한다. 즉, 다양한 경우의 수로 채점조가 구성되는 효과가 있어서 채점의 편차를 줄이는 등 공정성을 더욱 향상시킬 수 있게 되는 것이다.
교차 분배 방식에 대해 좀 더 자세히 설명하면, 일반적인 2인 1조 채점은 채점의 공정성을 높이기 위해 보편적으로 사용하는 채점의 방식이다. 2명의 채점자가 한 학생의 답안을 채점하여 두 채점자의 점수의 차이가 정해진 오차 범위(이하 편차라고 한다) 이내이면 두 점수의 평균 점수를 구하여 최종점수를 산출하며 편차 이상일 경우에는 편차조정을 통해 두 채점자가 편차 이내의 범위가 되도록 점수를 수정하거나 재채점 기능을 사용하여 3차 채점자(출제위원 등 제3의 채점자)가 채점하여 채점의 공정성을 높이는 방식을 사용한다.
하지만, 이와 같은 방식은 동일한 문제에 대한 답안을 한 채점조가 모두 채점할 경우에는 발생하는 편차에 대해 위와 같은 방식으로 편차 조정이나 재채점을 통해 채점의 공정성을 확보할 수 있다. 하지만, 동일한 문제에 대한 답안의 양이 많아 여러 채점조가 나누어 채점을 진행할 경우에는 다음과 같은 문제가 발생할 수 있다. 예들 들어 3000건의 답안에 대해 3개의 채점조가 채점을 한다고 가정하자. 2인 1조 방식일 경우 총 6명의 채점자가 필요하며, 각 채점조 구성과 분배량은 표 1과 같다.
채점 결과, 표 2와 같이 각 채점조별 점수 분포가 아래 표와 같이 도출되었다. 이 결과는 각 채점조별 편차에 대해서 편차 조정 또는 재채점이 모두 완료된 최종 채점 결과이다.
위 채점 결과의 특징은 3조 채점 점수가 다른 조에 비해 낮은 점수를 부여한 답안이 많이 분포되어 있다는 것이다. 여기서 두 가지를 가정해 볼 수 있다. 첫 번째는 3조에 분배된 답안이 실제로 낮은 수준의 답안이 많이 분포되어 있어 채점 결과에 문제가 없다는 것이다. 하지만 분배 건수가 일정량 이상이 되면 특정 수준의 답안이 위와 같이 편중될 가능성은 거의 없다. 설령 그렇다 하더라도 답안의 품질을 일일이 확인하기는 어려우며, 채점 결과를 그대로 신뢰하기에는 근거가 너무 부족하다. 두 번째는 3조의 채점조가 다른 채점조에 비해 비교적 점수를 낮게 주었다는 것을 가정해 볼 수 있다. 만약 3조의 채점자 둘 중 한 명만이 점수를 낮게 평가하는 성향을 가졌다면, 편차 조정이나 재채점 과정을 통해 다른 채점조와 비슷한 채점 분포가 나왔겠지만, 해당 조의 특징은 두 채점자 모두 점수를 낮게 평가하는 성향을 가졌다고 유추해 볼 수 있다. 물론 단순히 점수 분포를 이용하여 다른 채점조에 비해 낮은 점수의 분포가 높다고 해서 저평가자라고 단정지을 수는 없다. 하지만 해당 조가 실제로 저평가자로 구성된 채점조라면 해당 조에 분배된 1000건에 해당하는 수험자는 평가에 있어 상당한 불이익을 보는 문제를 초래하게 된다.
이와 같은 문제를 방지하기 위해서는 선제적으로 교차분배 방식이 이루어져야 한다. 교차분배는 2인 1조 채점조 구성 방식에서 한 채점자가 채점조를 구성함에 있어 정해진 한 채점자가 아닌, 여러 채점자들과 번갈아 채점을 할 수 있도록 조가 구성되도록 분배하는 방식이다. 상기 예로 든 채점조 구성을 교차분배 방식으로 채점할 경우 표 3과 같이 채점조와 분배량이 구성된다.
이 경우 앞선 예와 같이 채점자 E와 F가 저평가 채점자라 하여도 일반적인 분배방식에서는 1000건의 저평가 채점건수가 발생하나 교차 분배 방식에서는 200건으로 현저하게 줄어들게 된다. 그 외 채점자 E와 채점자 F가 각각 다른 채점자와 속한 조에서는 편차가 발생하여 편차 조정이나 재채점이 이루어질 것이기 때문이다.
하지만, 이렇게 저평가 답안이 줄었다고 해서 모든 문제가 해결된 것은 아니다. 여전히 200건에 대한 답안에 해당하는 수험자는 불이익을 보기 때문이다. 이는 또 다른 관점에서 해결해야 할 문제이다. 하지만, 저평가 성향을 가진 채점자가 동일조로 구성되는 것을 사전에 차단하는 것은 사실상 어려운 일이다. 채점 성향은 채점 결과를 통해 도출할 수 있기 때문이다. 결국, 채점 결과를 통해 채점자의 신뢰도를 분석하여 채점 신뢰도가 낮은 채점자로 구성된 채점조의 답안은 재채점을 고려해야 한다. 이는 상대적 고평가조에도 동일하게 적용되어야 하며, 이러한 저평가자나 고평가자는 채점 신뢰도가 낮은 채점자라고 볼 수 있다.
이에 본 발명에 따르면 교차분배를 통해 채점된 결과를 분석하여 동일 답안에 대한 채점자 간 편차 발생률을 통하여 저평가자 또는 고평가자와 같은 채점자의 신뢰도를 분석할 수 방법을 포함한다.
다음으로, 상기에서 설명한 채점자 편차 발생 정보를 분석하여 재채점이 필요한 고위험군의 채점자를 도출하여 채점의 공정성을 향상시키는 방법에 대해 설명한다.
채점 완료 후 각 두 채점자들 간 점수의 편차 발생건수를 산출한다. 하지만, 편차 발생건수만을 비교하여 채점자의 신뢰도를 도출할 수는 없다. 편차 발생건수는 각 채점조별로 할당된 분배건수에 따라 달라질 수 있기 때문이다. 예들 들어 A 채점조가 10건의 편차를 발생시키고, B 채점조가 50건의 편차를 발생시켰을 때 편차 발생 건수로만 비교하면 B조의 채점 품질이 낮아 보일 수 있지만, A 채점조에 분배된 건수가 100건이고, B조에 분배된 건수가 1000건이라면 실제로는 A조의 채점 신뢰도가 더 낮은 것이다. 따라서 채점의 신뢰도를 분석하기 위해서는 편차 발생건수를 총 분배건수로 나누어 편차 발생율을 추출해야 한다. 이렇게 산출된 편차 발생율이 하기의 표 4와 같이 도출되었다고 가정하자.
표 4에 의하면 평균 편차 발생률은 6.17%이다. 그리고 각 채점조별 편차 발생률을 평균 편차 발생률과 비교했을 때 평균 편차 발생률보다 높은 채점조가 6개가 발생하였다. 이 5개의 채점조가 구성된 채점자를 좀 더 쉽게 파악하기 위해 편차 발생률을 각 채점자별 교차 형태로 변경하면 표 5와 같다.
산출된 결과를 분석하면 E와 F가 각각 3개의 채점조에서 평균 편차 발생률 이상의 편차를 발생시켰음을 알 수 있다. 이 결과를 기준으로 E와 F 채점자는 비교적 다른 채점자들에 비해 저평가 또는 고평가 성향을 가진 채점자라고 유추할 수 있다. 하지만 아직 이 결과만으로 채점의 최종 품질이 결정되는 것은 아니다. 중요한 것은 고위험군 평가자로 의심되는 E와 F 채점자가 같은 조를 이루어 채점 점수의 편차 발생률을 확인해야 한다. 그 이유는 표 6과 같이 만약 E와 F 채점자가 서로 다른 평가 성향의 채점자라면 상당한 편차가 발생했을 것이고, 이는 자동으로 재채점 대상으로 분류되어 재채점이 이루어질 것이기 때문에 큰 문제가 되지 않는다. 반대로 E와 F 채점자가 비슷한 성향을 채점자일 경우 문제가 발생한다. 표 5와 같이 E와 F 채점자는 다른 채점자들과는 편차를 많이 발생시키지만, 정작 두 채점자끼리는 편차가 비교적 적다. 이는 두 채점자가 비슷한 평가 성향을 가졌다는 것을 의미한다. 따라서 이러한 두 채점자가 동일 조로 구성되어 채점된 답안 채점결과는 그 결과를 신뢰하기 어려우므로 재채점이 반드시 재채점이 이루어져야 하며, 본 발명은 이러한 채점 품질 관리 기능을 포함한다.
또한, 이러한 기술을 채점연수(본 채점 전에 이루어지는 테스트 채점 단계)에 적용하여 본 채점 전에 고위험군의 채점자를 추출하여 채점가이드를 다시 교육하거나 혹은 신뢰도가 높은 채점자와 조를 형성시켜 본 채점 이전에 문제점을 사전에 차단하는 기능을 포함한다.
한편, 답안지 분배수단(250)은 교차 분배 방식에 있어, 위험군 채점자를 정량화해서, 위험군을 선정하고, 위험군 채점자끼리 같은 조로 구성될 경우, 그 조에 배정된 답안지들은 바로 재채점으로 보낼 수 있다.
결과적으로 채점자 간에 문항 배점의 일정 기준치 이상이 차이가 나게 되면 그 문항은 두 채점자 간 재채점(편차 조정 채점)을 진행하거나 출제자가 재채점을 진행한다. 또한, 위험군으로 선정된 채점자에게 배정된 문항은 다른 채점자에게 재배정하여 공정하고 일관성 있는 결과를 산출한다.
다음으로 채점자단말기(400)에서 채점을 위한 채점대상 답안 정보 및 채점대상 답안 이미지 파일을 관리서버(200)로 요청한다. 요청된 정보는 도 7a에 도시한 바와 같이, 채점자단말기(400)에 포함된 웹기반의 채점 유저인터페이스(User Interface; 이하, 'UI') 화면을 통해 표시된다.
이때 UI 화면에 표시되는 채점대상 답안 이미지는 채점자단말기(400)의 채점정보 출력수단(410)에 의해 답안지 전체 영역 중 채점대상 문항의 답안 영역만 x,y 좌표를 지정하여 도 8b와 같은 방식으로 제공함으로써, 기존 타 업체에서 사용하고 있는 도 8a와 같은 답안 이미지 분할 방식의 문제점을 해결할 수 있다. 분할 방식의 문제점으로는 도 8a에 도시한 바와 같이, 원본 답안 이미지에서 채점대상 문항별로 답안을 분할하여 채점 화면에 제공함으로써, 원본 답안 이미지와 채점 답안 이미지가 별도로 존재하여 채점화면에 답안지가 원본답안 이미지인지의 여부의 검증이 어렵고, 분할된 이미지가 다른 이미지로 교체되거나 인위적으로 조작이 이루어진 경우 그 진위 여부를 확인하기 어렵다. 그 외 분할 시 분할에 소비되는 시간과 저장 공간도 더 소요된다. 예를 들어, 평균 응시자가 10,000명이며, 평균 문제 수가 4문제이고, 이미지 분할 시간은 1초라고 가정하면, 이러한 상황에서 이미지 분할에 걸리는 시간은 10,000명×4문제×1초 = 40,000초(약 11시간)가 소요된다.
이러한 문제점을 개선한 본 발명에서 사용되는 좌표방식은 원본이미지와 채점 답안 이미지와의 진위 여부 확인이 불필요하며 원본 답안지를 스캔 시 해시값을 생성하여 원본대조 기능으로 사용할 수 있어 기존 방식에 비해 효율적으로 진보된 것이다.
이와 같이 웹페이지를 통해 표시된 채점대상 답안지 이미지를 이용하여 채점자는 간편하게 채점을 할 수 있으며, 채점의 편의성을 극대화하기 위해 채점자단말기(400)의 채점결과 입력수단(411)은 여러 가지 부가 메뉴를 제공하는바 부가 메뉴로는 확대, 축소, 이전 페이지, 다음 페이지, 처음 페이지, 다른 답안 보기, 이미지 회전, 첨삭도구(드로잉 펜, 텍스트 쓰기), 이미지 색상조정 메뉴 등이 있을 수 있고, 채점 결과 입력 메뉴를 제공하는바 채점 결과 입력 메뉴로는 등급 또는 점수 입력 메뉴, 채점 보류 또는 불가, 첨삭 또는 의견 작성 메뉴, 등이 있을 수 있으며, 채점 진행 확인 메뉴를 제공하는바 채점 진행 확인 메뉴에서는 채점자별 채점 진행 현황 및 채점 입력 결과가 실시간으로 표시될 수 있다.
한편, 채점 보류 메뉴는 현재 채점하기 불확실한 사유가 있을 경우 추후 다시 채점하기 위한 경우를 상정한 것이며, 채점 불가 메뉴는 답안지가 흐리거나 답안지 대상 문항이 달라 채점이 불가능한 경우를 상정한 것이다.
또한, 채점 목록에는 관리 번호, 문항정보, 점수정보, 상태 정보 등이 표시되며, 채점자는 각 항목별 정렬기능을 사용할 수 있고, 검색을 통한 목록 필터링 또는 북마크를 통한 목록 필터링 기능 등 다양한 기능을 사용할 수 있다.
한편, 관리서버(200)의 채점결과 분석수단(270)은 채점 결과를 분석하며 분석한 채점 결과를 실시간으로 관리자단말기(300) 또는 채점자단말기(400)로 제공한다.
채점 결과는 관리자용 채점 결과 및 채점자용 채점 결과로 구분되며, 채점자단말기(400)로는 채점자용 채점 결과만을 제공하는 것이 바람직한데, 이는 다수의 채점자가 채점대상 파일을 분배받아 각각 할당된 채점대상 파일에 대한 채점만을 수행하는 일반적인 경우 특정 채점자는 전체 채점 결과를 파악할 필요가 없거나 부적절하기 때문이다.
도 7b를 참조하면, 채점자용 채점 결과는 채점 현황 및 채점 결과로 구분되며, 도 7b에서, 채점 현황으로는 전체 채점 현황(1), 채점 그래프(2), 채점 목록(3) 등 다양한 메뉴로 구성되어 제공된다.
전체 채점 현황(1)에서는 총 채점 건수, 현재 진행 중인 채점 건수, 채점 완료 건수, 미채점 건수, 보류 건수, 불가 건수, 일부 채점 건수 등을 채점자별로 확인할 수 있다.
채점 그래프(2)에서는 각종 채점 현황을 인식하기 용이한 그래프의 형태로 확인할 수 있다.
채점 목록(3)에서는 총 채점 목록, 현재 진행 중인 채점 목록, 채점 완료 목록, 미채점 목록 등을 확인할 수 있으며 특정한 채점대상 파일로 이동할 수 있다.
도 7b에서, 채점자는 채점자별로 채점 완료 답안에 대해 구체적인 채점 결과를 조회할 수 있으며, 시간별, 관리 번호별 등 다양한 기준에 의해 조회할 수 있다.
한편, 관리자단말기(300)를 운영하는 관리자용 채점 결과는 각각의 채점자용 채점 결과, 각각의 채점자용 채점 결과에 대한 각종 분석 결과 등이 포함되며, 그 예로서 도 9a 내지 도 9d에 도시한 바와 같은 전체 채점 현황, 일자별 채점 현황, 문항별 채점 현황, 채점자별 채점 현황 등을 들 수 있다.
도 9a에서와 같이 관리자는 전체 채점 진행률, 응시 계열별 채점 진행률 등을 표 또는 그래프 등의 형태로 확인할 수 있으며, 도 9b에서와 같이 관리자는 채점 기간 중 일자별 채점 진행률을 표 또는 그래프 등의 형태로 확인할 수 있다. 도 9c에서와 같이 관리자는 문항별 채점 진행률을 표 또는 그래프 등의 형태로 확인할 수 있으며, 도 9d에서와 같이 관리자는 채점자별 채점 진행률을 확인할 수 있으며 채점자별 인증 내역을 확인할 수 있다.
다음으로, 시스템 관리수단(220)은 미리 설정된 조건에 의해 또는 관리자단말기(300)로부터의 관리 정보 입력에 의해 응시정보 수신수단(210), 사용자 관리수단(230), 채점정보 관리수단(240), 답안지 분배수단(250), 채점파일 제공수단(260), 채점결과 분석수단(270), 원본대조수단(280) 및 데이터베이스(700)를 제어하며 각종 채점 프로세스를 관리한다.
입력받는 관리 정보의 예로는 채점 조건 설정 정보, 재채점 설정 정보, 사용자 관리 정보 등을 들 수 있으며, 시스템 관리수단(220)은 관리 정보를 반영하여 채점 프로세스를 제어한다.
도 10a에서와 같이, 시스템 관리수단(220)은 채점자단말기(400)로부터 점수 입력 방식(점수 또는 등급 선택), 문항별 최대 점수, 최소 점수, 하위 문항 개수, 문항별 편차 범위 등의 관리 정보를 입력받아 이를 반영할 수 있다.
도 10b에서와 같이, 시스템 관리수단(220)은 채점자단말기(400)로부터 채점 결과 허용 범위 이상의 채점 편차가 존재하는 문항 등이 발생한 경우, 신규 채점자에 대한 재채점 요청 등의 관리 정보를 입력받아 이를 반영할 수 있다.
도 10c에서와 같이, 시스템 관리수단(220)은 관리자단말기(300)를 운영하는 관리자 또는 채점자단말기(400)를 운영하는 채점자 등 사용자에 대한 관리 정보를 입력받아 이를 반영할 수 있으며, 예를 들어 사용자 계정을 추가, 수정, 삭제할 수 있을 것이다.
다음으로, 사용자 관리수단(230)은 사용자 정보를 이용하여 관리자 또는 채점자 등 사용자의 로그인 또는 로그아웃 등을 처리할 수 있다. 또한, 사용자 관리수단(230)은 사용자 구분에 따라 상이한 메뉴 사용 권한 정보 관리 기능도 수행할 수 있다.
다음으로, 데이터베이스(700)는 본 발명의 실시 예에 따른 채점 서비스에 수반되는 각종 정보를 저장하며 저장 대상 정보가 변경되는 경우 갱신 저장한다.
데이터베이스(700)에 저장되는 정보로는 크게 대상 답안지 관련 정보, 수험자 출결 정보, 채점 결과 관련 정보, 사용자 관련 정보 등이 있을 것이며, 각각의 항목별로 상술한 채점 프로세스에서 발생할 수 있는 단계별 정보들을 저장한다.
한편, 관리자단말기(300)는 본 발명의 실시 예에 따른 채점 서비스를 제공하는 서버를 운영하는 관리자가 사용하는 단말기로서, 관리서버(200)로부터 응시자 정보 등에 관한 교정 요청 정보를 수신하며, 관리서버(200)로 관리 정보를 전송함으로써 채점 프로세스가 관리될 수 있도록 한다.
관리자단말기(300)는 데스크탑 PC, 노트북, 스마트폰, 태블릿 등 다양한 정보통신기기로 설정될 수 있으며, 시스템 구성 측면에서는 별개의 독립적인 서버와 같이 구성될 수도 있고 별도의 시험 주관기관 서버와 통합하여 구성될 수도 있음은 물론이다.
그리고 채점자단말기(400)는 본 발명의 실시 예에 따른 채점을 수행하는 채점자의 단말기로서, 답안지 스캔 파일로부터 생성된 채점대상 파일을 관리서버(200)로부터 수신하며 관리서버(200)로 채점 완료 정보를 전송하고, 관리서버(200)로부터 채점자용 채점 결과를 수신한다.
채점자단말기(400) 역시 데스크탑 PC, 노트북, 스마트폰, 태블릿 등 다양한 정보통신기기로 설정될 수 있으며, 일반적인 대입 논술 시험의 경우 다수의 채점자가 선정되어 동일한 채점 장소에 집합한 후 채점을 수행하므로, 채점 장소에 설치되는 다수의 단말기로 구성될 수 있다.
아울러, 채점자단말기(400)가 PC로 구성되는 경우 입력수단으로서 마우스가 사용될 수도 있을 것이나, 일반적으로 채점 결과는 숫자로 입력하는 경우가 많으므로 다수의 숫자 버튼으로 구성된 키패드를 입력수단으로서 채택하는 것이 바람직할 것이다.
채점자단말기(400)가 입력수단으로서 키패드를 채택하는 경우, 키패드의 특정 숫자 버튼은 각각 채점파일 제공수단(260)이 웹페이지를 통해 제공하는 부가 메뉴, 결과 입력 메뉴, 진행 확인 메뉴 등과 연동 됨으로써, 채점자는 간편하게 각종 메뉴들을 이용할 수 있게 된다.
한편, 본 발명의 실시 예에 따른 서답형 답안지 채점 시스템에서, 스캔판독부(100), 관리서버(200), 관리자단말기(300), 그리고 채점자단말기(400) 사이에서 각종 정보를 교환하는 통신망은 폐쇄 망으로 설정되는 것이 바람직하며, 외부의 공개된 인터넷 망에서는 접속이 불가능하도록 차단하는 것이 바람직하다. 이는 외부로부터의 접속을 차단한 채 폐쇄적인 망 내에서만 이루어짐으로써 보안을 극대화할 수 있게 된다.
이하, 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 방법에 관해, 도 18을 참조하여 상세히 설명한다. 도 18은 본 발명의 실시 예에 따른 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 방식을 나타내는 상세 흐름도이다.
도 18을 참조하면, 스캔수단(110)은 스캔을 통해 답안지와 출석점검표 스캔 파일을 생성하고 관리자 서버(200)로 전송한다(S10).
한편 단계(S10) 이전에, 관리서버(200)는 별도의 시험 주관기관 서버 등으로부터 기초 응시정보를 수신하는 단계가 더 포함될 수 있으나, 물론 이러한 과정은 단계(S10) 이전에만 수행되어야 하는 것은 아니다.
단계(S10) 이후, 관리서버(200)에 저장된 답안지 스캔 파일 및 출석점검표 스캔 파일을 인식수단(120)을 통해 응시자 정보 및 출결 정보를 추출하고, 기초 수험자 정보와 비교하여 일치하지 않는 답안지 및 출석점검표 스캔 파일에 대해 교정수단(130)을 통해 교정 후, 검수수단(140)에서 인식수단(120)과 교정수단(130)에서 생성된 수험자 정보와 출결정보 및 기초 수험자 정보를 이용하여 유효성 및 답안지 파일 수량, 누락 또는 중복 생성 여부를 검증한다(S20). 단계(S20)에서, 인식수단(120)은 채점용 답안지 이미지 파일을 생성하는 과정을 포함한다.
단계(S20) 이후, 검수수단(140)은 기초 수험자 정보와 검증 완료된 답안지 이미지 정보와 수험자 정보 및 응결시 정보를 이용하여 채점대상 정보를 생성한다(S30).
단계(S30) 이후, 검수수단(140)은 채점대상 답안지 이미지 파일로부터 지정된 해시함수에 따른 해시값을 추출하여, 추출한 해시값은 답안지 관리 번호와 매핑하여 저장한다(S40).
단계(S40) 이후, 관리서버(200)는 채점대상 파일에 관리 번호를 인쇄하여 관리 번호가 인쇄된 채점대상 파일을 채점자단말기(400)로 제공될 수 있도록 한다(S50).
단계(S50)에서 관리서버(200)는 백 그라운드인 채점대상 파일에 투명 레이어를 생성하며, 생성한 투명 레이어 상에 관리 번호 텍스트를 인쇄하는 과정을 포함할 수 있다.
단계(S50) 이후, 관리서버(200)는 미리 설정되어 있는 채점 조당 채점자 수와 동일한 그룹 수로 전체 채점자를 분류하며 전체 채점대상 문항 답안지를 각 그룹에 속한 채점자에게 균등하게 분배한다(S60).
단계(S60) 이후, 단계(S70)의 과정으로 후술하는 제 1 단계(S70)와 제 2 단계(S70)의 과정을 순차적으로 수행한다.
보다 구체적으로, 제 1 단계(S70)로 관리서버(200)는 채점대상 파일을 채점자단말기(400)로 제공할 수 있도록 하며, 채점자단말기(200)에 답안지 이미지 제공 시 지정된 해시함수에 의한 해시값 추출 후 검수수단(140)에서 생성하여 관리서버(200)에 저장된 해시값과 비교하여 불일치하는 경우에는 채점 진행 불가 정보를 관리자단말기(300), 채점자단말기(400)로 전송한다.
제 1 단계(S70)에 연속하여 제 2 단계(S70) 과정으로, 관리서버(200)는 관리 번호가 인쇄된 채점대상 파일, 채점대상 파일별 관리 번호 목록을 답안지 분배 결과에 따른 채점자의 채점자단말기(400)로 제공하며 채점자단말기(400)로부터 채점 완료 파일을 수신한다. 단계(S70)에서는 웹페이지를 통해 채점대상 파일을 채점자단말기(400)에 표시하며 부가 메뉴, 결과 입력 메뉴, 진행 확인 메뉴를 제공하는 단계를 포함할 수 있다.
단계(S70) 이후, 관리서버(200)는 채점 결과를 분석하며 분석한 채점 결과를 실시간으로 관리자단말기(300) 또는 채점자단말기(400)로 제공한다(S80).
한편, 단계(S10) 이전부터 단계(S50) 이후까지 사이에서 임의의 시점에서, 관리서버(200)는 미리 설정된 조건에 의해 또는 관리자단말기(300)로부터의 관리 정보 입력에 의해, 각종 채점 프로세스를 관리하는 단계, 또는 회원 정보를 이용하여 관리자 또는 채점자 등 사용자의 로그인 또는 로그아웃 등을 처리하는 단계를 포함할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 스캔판독부
110 : 스캔수단
120 : 인식수단
130 : 교정수단
140 : 검수수단
200 : 관리서버
210 : 응시정보 수신수단
220 : 시스템 관리수단
230 : 사용자 관리수단
240 : 채점정보 관리수단
250 : 답안지 분배수단
260 : 채점파일 제공수단
270 : 채점결과 분석수단
280 : 원본대조수단
281 : 해시정보 관리수단
282 : 해시정보 검증수단
283 : 관리번호 인쇄수단
300 : 관리자단말기
310 : 채점정보 입력수단
320 : 채점정보 출력수단
330 : 채점결과 출력수단
400 : 채점자단말기
410 : 채점정보 출력수단
420 : 채점결과 입력수단
500 : 이미지 파일서버
600 : 웹어플리케이션 서버
700 : 데이터베이스
110 : 스캔수단
120 : 인식수단
130 : 교정수단
140 : 검수수단
200 : 관리서버
210 : 응시정보 수신수단
220 : 시스템 관리수단
230 : 사용자 관리수단
240 : 채점정보 관리수단
250 : 답안지 분배수단
260 : 채점파일 제공수단
270 : 채점결과 분석수단
280 : 원본대조수단
281 : 해시정보 관리수단
282 : 해시정보 검증수단
283 : 관리번호 인쇄수단
300 : 관리자단말기
310 : 채점정보 입력수단
320 : 채점정보 출력수단
330 : 채점결과 출력수단
400 : 채점자단말기
410 : 채점정보 출력수단
420 : 채점결과 입력수단
500 : 이미지 파일서버
600 : 웹어플리케이션 서버
700 : 데이터베이스
Claims (11)
- 관리서버(200);
수험표에 인쇄된 수험번호 바코드를 모바일 장비에 장착된 카메라를 이용하여 인식하여, 수험자 정보를 확인하고, 확인된 수험자의 응결시 정보를 생성하며, 생성된 응결시 정보를 실시간으로 이미지 파일서버(500)로 전송하는 모바일용 어플리케이션(이하. '수험자 출결 확인앱')을 포함하는 출결 확인 수단을 구비하는 모바일 장비;
답안지를 스캔하여 답안지 이미지를 생성하기 위한 장치를 구비하는 스캔수단(110)과, 인식처리 과정을 통해서 스캔수단(110)에 의해 스캔된 답안지 이미지를 인식하여 답안지의 응시자 정보를 자동으로 추출하며, 이미지에서 정확한 응시자 정보를 추출하도록 하기 위해 이미지 보정 기능을 수행하는 이미지 처리수단을 포함하는 인식수단(120)과, 정보검증과정으로 인식수단(120)에 의한 인식처리 과정에서 생성된 답안지 응시자 정보를 수험자 기초정보와 비교하여 유효성을 검사하고 일치하지 않는 정보가 있을 경우 답안지의 응시자 정보를 교정하는 교정수단(130)과, 인식과 교정을 통해 생성된 응시자 정보를, 수험자 기초정보와 응결시정보 생성수단을 통해 생성된 응결시 정보를 이용하여 답안지 이미지와 응시자 정보의 일치 여부를 비교검증하고 채점대상 정보를 생성하여 관리서버(200)로 전송하는 검수수단(140)을 구비하는 스캔판독부(100); 를 포함하며,
검수수단(140)은, 데이터 검증이 완료된 채점대상 답안지 이미지에서 지정된 해시함수를 사용하여, 채점시 채점자단말기(400)에 표시되는 채점 답안지 이미지의 원본 진위 여부를 검사하기 위해 사용하는 해시값을 추출하고 추출한 해시값을 채점대상 답안지 파일의 관리 번호와 매핑하여 관리서버(200)에 저장하며,
관리서버(400)에 구비된 원본대조수단(280)은, 관리서버(200)에 등록된 채점 답안지 이미지에 대해 추출된 해시값에 대해서 채점자단말기(400)에서 채점시 목록에서 선택된 채점대상 답안에 해당하는 채점대상 답안지 이미지가 화면에 표시될 때 지정된 해시함수에 의해 추출된 해시값과 비교하는데 사용하며, 비교 결과 일치하는 경우, 정상적으로 채점 화면에 이미지가 디스플레이되어 채점을 진행할 수 있도록 하고, 반대로 해시값이 불일치하는 경우에는 채점 진행 불가 정보를 채점화면에 표시하며, 관리자단말기(300), 채점자단말기(400)로도 채점 진행 불가 정보를 전송하여, 답안지 이미지가 원본이 아닐 가능성을 통지하는 것을 특징으로 하며,
원본대조수단(280)은,
스캔판독부(100)에서 생성한 채점대상 이미지 파일에서 생성되어 저장된 해시값과 현재 채점대상 이미지 파일로부터 추출한 해시값을 비교한 결과 두 해시값이 동일하다면, 원본 답안지가 스캔판독부(100)를 통해 최종적으로 채점대상 답안지 이미지로 생성된 이후 어떠한 변경도 없는 원본으로 간주하며, 두 해시값이 불일치한다면 해당 채점대상 답안지가 생성된 이후 변경되었을 가능성이 있으므로, 채점 진행을 중단하도록 하며 관리자단말기(300)에 대한 요청을 통해 해당 답안지를 재검증하도록 하는 해시정보 검증수단(282); 을 포함하는 것을 특징으로 하고,
원본대조수단(280)은,
채점대상 이미지 파일에 관리 번호를 인쇄하여 관리 번호가 인쇄된 채점대상 이미지 파일이 채점자단말기(400)로 제공될 수 있도록 하며, 채점대상 이미지 파일에 대응하는 관리 번호 목록을 채점자단말기(400)로 제공하여, 채점자가 채점대상 이미지 파일에 인쇄된 관리 번호와 채점 목록의 관리 번호가 동일한지를 비교하여, 채점대상 이미지 파일이 원본인지를 확인하는 관리번호 인쇄수단(283); 을 더 포함하는 것을 특징으로 하며,
관리번호 인쇄수단(283)은,
백그라운드인 채점대상 이미지 파일에 투명 레이어를 생성하며, 생성한 투명 레이어 상에 관리 번호 텍스트를 인쇄하는 것을 특징으로 하고,
관리 번호 인쇄는 채점대상이 되는 모든 채점대상 이미지 파일에 대해 이루어지며, 관리 번호는, 채점자가 육안으로 확인할 수 있도록, 채점 화면에서 보이는 문항 영역의 크기를 고려하여 채점 문항 디스플레이 영역 이미지 내에서 보일 수 있도록 인쇄되는 것을 특징으로 하며,
채점자단말기(400)는,
채점대상 이미지 파일에 대해 채점을 하는 경우, 채점대상 이미지 파일 상에 인쇄된 관리 번호와, 채점 목록에 표시되는 현재 답안지 관리 번호를 서로 비교하여 일치 여부를 확인 가능하도록 출력하는 것을 특징으로 하는 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 청구항 1에 있어서, 관리서버(200)는,
기설정되어 있는 채점 조당 채점자 수와 동일한 그룹 수로 전체 채점자를 분류하며, 전체 채점대상 답안 정보를 각 그룹에 속한 채점자에게 균등하게 일괄 분배하여, 채점파일 제공수단(260)이 분배 결과에 따라 채점대상 파일을 제공할 수 있도록 하는 답안지 분배수단(250); 을 더 포함하는 것을 특징으로 하는 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템.
- 청구항 8에 있어서, 답안지 분배수단(250)은,
교차분배 방식을 사용하여, 정량적인 채점 결과 데이터 분석을 통해 다수의 채점자와 채점자 간의 채점 성향을 평가하여 위험군 채점자를 선정하고, 위험군 채점자끼리 같은 조로 구성되었을 경우, 그 조에 배정된 답안지들은 재채점할 수 있도록 하는 것을 특징으로 하는 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템.
- 청구항 9에 있어서, 채점자단말기(400)는,
채점을 위한 채점대상 답안 정보 및 채점대상 답안 이미지 파일을 관리서버(200)로 요청하며,
요청에 따라 반환된 채점대상 답안 이미지는, 채점자단말기(400)의 채점정보 출력수단(410)에 의해 답안지 전체 영역 중 채점대상 문항의 답안 영역만 x,y 좌표를 지정하여 제공하는 좌표방식에 의해 제공되는 것을 특징으로 하는 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템.
- 청구항 1에 있어서, 모바일 장비를 이용한 출결 확인 수단은,
수험표 바코드를 이용한 자동 인식뿐만 아니라 수험자가 수험표를 지참하지 않은 경우를 대비하여 수험자 출결 확인앱을 통해 수험자를 직접 검색하여 출결정보를 확인할 수 있도록 수험자 목록 및 검색 기능을 제공하는 것을 특징으로 하는 전산 채점 공정성과 신뢰성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170021387A KR101832791B1 (ko) | 2017-02-17 | 2017-02-17 | 전산 채점 신뢰성 확보와 공정성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170021387A KR101832791B1 (ko) | 2017-02-17 | 2017-02-17 | 전산 채점 신뢰성 확보와 공정성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101832791B1 true KR101832791B1 (ko) | 2018-02-28 |
Family
ID=61401078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170021387A KR101832791B1 (ko) | 2017-02-17 | 2017-02-17 | 전산 채점 신뢰성 확보와 공정성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101832791B1 (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102065746B1 (ko) * | 2019-01-23 | 2020-01-13 | 애슐런 주식회사 | 첨삭 지도를 통한 온라인 학습 서비스 제공 시스템 및 그 방법 |
| CN112733575A (zh) * | 2019-10-14 | 2021-04-30 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113781269A (zh) * | 2020-06-09 | 2021-12-10 | 周宏坤 | 一种主观题的在线评分方法及其系统 |
| CN114565924A (zh) * | 2022-02-09 | 2022-05-31 | 南京红松信息技术有限公司 | 一种基于像素提取的矩形标志位的检测方法 |
| KR102450696B1 (ko) * | 2021-09-27 | 2022-10-04 | 류상희 | 이미지 캡처를 통한 마킹 용지 판독 시스템 |
| KR102604756B1 (ko) | 2023-07-31 | 2023-11-24 | ㈜엠엔씨에이프로 | 논술채점 관리 서비스를 제공하는 서버, 시스템, 방법및 프로그램 |
| CN114565924B (zh) * | 2022-02-09 | 2024-06-07 | 南京红松信息技术有限公司 | 一种基于像素提取的矩形标志位的检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004144903A (ja) * | 2002-10-23 | 2004-05-20 | Hokkaido Technology Licence Office Co Ltd | 試験問題作成・採点方法およびそのシステム、試験問題作成・採点サーバ、携帯型解答者端末装置、プログラム、並びに携帯型解答者端末装置搭載用プログラム |
| KR101028163B1 (ko) * | 2009-12-14 | 2011-04-08 | 타임스탬프솔루션 주식회사 | 원본증명마크 및 임베디드 기술을 이용한 전자문서의 타임스탬프 발급 및 검증방법 |
-
2017
- 2017-02-17 KR KR1020170021387A patent/KR101832791B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004144903A (ja) * | 2002-10-23 | 2004-05-20 | Hokkaido Technology Licence Office Co Ltd | 試験問題作成・採点方法およびそのシステム、試験問題作成・採点サーバ、携帯型解答者端末装置、プログラム、並びに携帯型解答者端末装置搭載用プログラム |
| KR101028163B1 (ko) * | 2009-12-14 | 2011-04-08 | 타임스탬프솔루션 주식회사 | 원본증명마크 및 임베디드 기술을 이용한 전자문서의 타임스탬프 발급 및 검증방법 |
Non-Patent Citations (1)
| Title |
|---|
| 조지민 외 1명. 서답형 문항 온라인 채점 시스템의 개발과 적용. 컴퓨터교육학회논문지. 한국컴퓨터교육학회. 2014.03., 제17권, 제2호, pp.39-51.* |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102065746B1 (ko) * | 2019-01-23 | 2020-01-13 | 애슐런 주식회사 | 첨삭 지도를 통한 온라인 학습 서비스 제공 시스템 및 그 방법 |
| CN112733575A (zh) * | 2019-10-14 | 2021-04-30 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113781269A (zh) * | 2020-06-09 | 2021-12-10 | 周宏坤 | 一种主观题的在线评分方法及其系统 |
| KR102450696B1 (ko) * | 2021-09-27 | 2022-10-04 | 류상희 | 이미지 캡처를 통한 마킹 용지 판독 시스템 |
| CN114565924A (zh) * | 2022-02-09 | 2022-05-31 | 南京红松信息技术有限公司 | 一种基于像素提取的矩形标志位的检测方法 |
| CN114565924B (zh) * | 2022-02-09 | 2024-06-07 | 南京红松信息技术有限公司 | 一种基于像素提取的矩形标志位的检测方法 |
| KR102604756B1 (ko) | 2023-07-31 | 2023-11-24 | ㈜엠엔씨에이프로 | 논술채점 관리 서비스를 제공하는 서버, 시스템, 방법및 프로그램 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101832791B1 (ko) | 전산 채점 신뢰성 확보와 공정성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 및 그 방법 | |
| US20150154879A1 (en) | Use of a resource allocation engine in processing student responses to assessment items | |
| US5672060A (en) | Apparatus and method for scoring nonobjective assessment materials through the application and use of captured images | |
| Chou | What's in a name? The toll e-signatures take on individual honesty | |
| US20120189999A1 (en) | System and method for using optical character recognition to evaluate student worksheets | |
| KR101945692B1 (ko) | 성적 처리 방법 및 시스템 | |
| US20180061254A1 (en) | Academic-Integrity-Preserving Continuous Assessment Technologies | |
| Wolf et al. | Introducing biometric technology in elections | |
| EP2626832A1 (en) | Examination management | |
| KR20180124529A (ko) | 개인정보를 포함하는 비공개 처리 기록물의 효율적 관리를 위한 비전자 기록물의 디지털화 시스템 및 방법 | |
| JP3579599B2 (ja) | 電子採点システム | |
| JP7398813B2 (ja) | 検知方法、検知システム、検知装置及びコンピュータプログラム | |
| KR20180124528A (ko) | 검증 및 보정 효율성이 개선된 비 전자 기록물의 디지털화 시스템 및 방법 | |
| Clapham | Performativity, fabrication and trust: exploring computer-mediated moderation | |
| Suto et al. | High-Stakes Testing after Basic Secondary Education: How and Why Is It Done in High-Performing Education Systems? Research Report. | |
| JP2004029107A (ja) | 答案採点処理システム | |
| KR101389766B1 (ko) | 스캔 파일을 이용한 채점 시스템 및 방법 | |
| Bernhard | Election Security Is Harder Than You Think | |
| JP6766987B1 (ja) | 採点支援装置、採点支援システム、採点支援方法および採点支援プログラム | |
| JP2004219851A (ja) | ペン入力対応試験採点支援システム | |
| TWI711017B (zh) | 考卷評分方法 | |
| Omomule et al. | Development of Lecture Attendance System for Staff Performance Rating in a Tertiary Institution using Fingerprint Technology | |
| Tagacay et al. | Development of HAAQ: Hands-Free Attendance Archive using QR Code | |
| CN110222968B (zh) | 一种基于测评中用户信息的技能测评抄袭甄别方法与装置 | |
| KR102667238B1 (ko) | 온라인 자격검정을 위한 원서접수와 운영 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |