KR20200015054A - 서답형 모의시험 평가 자동화 시스템 - Google Patents
서답형 모의시험 평가 자동화 시스템 Download PDFInfo
- Publication number
- KR20200015054A KR20200015054A KR1020180090343A KR20180090343A KR20200015054A KR 20200015054 A KR20200015054 A KR 20200015054A KR 1020180090343 A KR1020180090343 A KR 1020180090343A KR 20180090343 A KR20180090343 A KR 20180090343A KR 20200015054 A KR20200015054 A KR 20200015054A
- Authority
- KR
- South Korea
- Prior art keywords
- answer
- questions
- test
- candidate
- evaluation
- Prior art date
Links
- 238000011156 evaluation Methods 0.000 claims abstract description 75
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims description 103
- 238000004088 simulation Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 21
- 238000003058 natural language processing Methods 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 11
- 239000000463 material Substances 0.000 claims description 9
- 238000011511 automated evaluation Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Educational Technology (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Software Systems (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명은 온라인 상에서 서답형 모의시험 문제를 출제하고 응시자의 답안을 자동으로 채점할 수 있는 서답형 모의시험 평가 자동화 시스템에 관한 것으로, 모의시험 문제들을 일정한 분류항목에 따라 각각 분류하여 관리하는 문제등록서버; 응시자가 지정한 출제조건 및/또는 미리 설정된 선별기준에 따라 상기 모의시험 문제들 가운데 어느 하나를 선택하여 상기 응시자에게 제공하는 문제출제서버; 상기 응시자가 작성한 응시자답안에 대하여 자동 채점을 수행하고, 채점 결과에 따른 성적표 및 분석결과를 상기 응시자에게 제공하는 답안채점서버; 및 상기 응시자의 학습정보를 관리하고, 상기 응시자의 요청에 따라 상기 분석결과 및 상기 학습정보에 기초한 맞춤형 학습자료를 상기 응시자에게 제공하는 학습관리서버를 포함할 수 있다.
Description
본 발명은 서답형 모의시험 평가 자동화 시스템에 관한 것으로, 특히 기계학습을 통한 자연어처리 기술을 기반으로 서답형 모의시험 응시자의 답안을 자동으로 채점할 수 있는 서답형 모의시험 평가 자동화 시스템에 관한 것이다.
변호사, 변리사, 노무사, 법무사, 경찰 공무원 등 법학관련 과목을 필수 시험과목으로 하는 자격시험의 경우, 선택형 문제에 대한 평가뿐 만 아니라 단답형, 완성형, 서술형, 논술형 등의 서답형 문제에 대한 평가를 함께 실시하여 합격자를 선발하고 있다. 이에 따라 관련 학원 등에서는 실제 시험에 대비한 서답형 모의시험을 오프라인 상에서 시행하고 있으며, 많은 수험생들은 이에 응시하여 답안을 제출하고 답안채점 결과를 통해 자신의 학습 수준을 확인하고 있다. 이러한 오프라인 상의 모의시험에서는 답안채점이 출제자나 조교 등에 의해 직접 이루어지기 때문에 채점을 위해 많은 비용이 소요되고 있으며, 나아가 채점자들의 주관 개입에 따른 채점결과의 불일치, 채첨자 피로도와 같은 사유로 인해 채점의 일관성이 결여되는 문제가 생긴다. 이와 같은 문제를 해결하기 위해서는 컴퓨터 기반의 자동 채점에 관한 기술이 도입될 필요가 있다.
자동 채점에 관한 종래기술로는 등록특허 제10-1713483호에서 서답형 답안 채점방법을 개시하고 있다. 그러나 위 종래기술은 대규모 시험평가 이후 문장 수준의 답안을 동시에 입력받고, 입력 답안들 간의 자질 벡터를 비교 및 분류하여 분류 등급별로 점수를 부여하는 방식으로, 온라인 상에서 응시자의 개별적인 시험평가가 이루어지며, 문장 수준을 넘어선 서술형 또는 논술형 답안을 평가하는 모의시험 평가에는 적용될 수 없다.
본 발명이 해결하고자 하는 과제는 온라인 상에서 서답형 모의시험 문제를 출제하고 응시자의 답안을 자동으로 채점할 수 있는 서답형 모의시험 평가 자동화 시스템을 제공하는데 있다.
상술한 기술적 과제를 해결하기 위한 본 발명에 따른 서답형 모의시험 평가 자동화 시스템은, 모의시험 문제들을 일정한 분류항목에 따라 각각 분류하여 관리하는 문제등록서버; 응시자가 지정한 출제조건 및/또는 미리 설정된 선별기준에 따라 상기 모의시험 문제들 가운데 어느 하나를 선택하여 상기 응시자에게 제공하는 문제출제서버; 상기 응시자가 작성한 응시자답안에 대하여 자동 채점을 수행하고, 채점 결과에 따른 성적표 및 분석결과를 상기 응시자에게 제공하는 답안채점서버; 및 상기 응시자의 학습정보를 관리하고, 상기 응시자의 요청에 따라 상기 분석결과 및 상기 학습정보에 기초한 맞춤형 학습자료를 상기 응시자에게 제공하는 학습관리서버를 포함할 수 있다.
실시 예에 따라, 상기 출제조건은 시험종류, 시험과목, 출제자, 출제유형, 출제범위 및 출제시기를 포함할 수 있다.
실시 예에 따라, 상기 선별기준은 상기 모의시험 문제들 각각에 대한 다른 응시자의 응시횟수 및 출제가능성을 포함할 수 있다.
실시 예에 따라, 상기 답안채점서버는, 상기 응시자답안 및/또는 모범답안에 포함된 문장들에 대한 자연어처리를 수행하는 기계학습엔진; 및 상기 응시자답안과 모범답안 사이의 유사도를 판단하는 유사도 평가부, 상기 응시자답안에 요구 키워드 존재여부를 판단하는 키워드 평가부 및 상기 응시자답안의 문장 완성도를 평가하는 완성도 평가부를 포함하는 답안평가유닛을 포함할 수 있다.
실시 예에 따라, 상기 답안평가유닛은 상기 유사도 평가부, 키워드 평가부 및 완성도 평가부 각각의 평가점수에 가중치를 부여하여 최종 평가점수를 산출할 수 있다.
본 발명에 따른 서답형 모의시험 평가 자동화 시스템에 의하면, 클라우드 기반 온라인 자동 채점을 수행함으로써 오프라인 채점 대비 모의시험 비용을 현저히 낮출 수 있으며, 채점에 대한 일관성 및 정확성을 제고할 수 있는 효과가 있다.
또한, 개인화된 가상 학습공간을 통해 수험생의 학습수준에 따른 맞춤형 학습자료를 제공함으로써, 수험생의 시간 및 공간적 자유도를 향상시킴과 동시에 자가학습 효율을 증대시킬 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 서답형 모의시험 평가 자동화 시스템을 나타내는 개념도이다.
도 2는 도 1의 시험평가 관리시스템의 주요 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시 예에 따른 답안처리모듈의 주요 구성을 나타내는 블록도이다.
도 4는 본 발명의 실시 예에 따른 모의시험 문제의 출제과정을 나타내는 플로우차트이다.
도 5는 본 발명의 실시 예에 따른 응시자답안의 채점과정을 나타내는 플로우차트이다.
도 2는 도 1의 시험평가 관리시스템의 주요 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시 예에 따른 답안처리모듈의 주요 구성을 나타내는 블록도이다.
도 4는 본 발명의 실시 예에 따른 모의시험 문제의 출제과정을 나타내는 플로우차트이다.
도 5는 본 발명의 실시 예에 따른 응시자답안의 채점과정을 나타내는 플로우차트이다.
본 발명에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 실시 예를 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명에 따른 실시 예를 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
이하, 본 명세서에 첨부된 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 서답형 모의시험 평가 자동화 시스템을 나타내는 개념도이다. 도 1을 참조하면, 서답형 모의시험 평가 자동화 시스템(10)은 수험생단말(20)과 시험평가 관리시스템(30)으로 구성될 수 있다.
서답형 모의시험 평가 자동화 시스템(10)은 서술형, 논술형 등의 서답형 문항으로 구성된 모의시험 문제를 출제하여 응시자에게 제공하고, 응시자가 제출한 응시자답안을 자동 채점하여 채점 결과에 따른 성적 분석자료와 1:1 맞춤 학습자료를 응시자에게 제공할 수 있다.
응시자단말(20)과 시험평가 관리시스템(30)는 네트워크(N)를 통해 연결되며 서로 데이터를 주거나 받을 수 있다. 네트워크(N)는 근거리 통신망 (Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), 와이브로(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
응시자단말(20)은 시험평가 관리시스템(30)으로부터 모의시험 문제를 수신하고, 응시자에 의해 작성된 모의시험 문제에 대한 답안을 시험평가 관리시스템(30)으로 전송하며, 시험평가 관리시스템(30)으로부터 모의시험 채점결과 및 학습을 위한 다양한 서비스를 제공받을 수 있다. 이러한 응시자단말(20)은 네트워크(N)를 통해 원격지의 서버에 접속하거나 타 단말 및 서버와 연결 가능한 컴퓨터나 휴대용 단말기, 텔레비전으로 구현될 수 있다. 여기서, 컴퓨터는 웹브라우저(web browser)가 탑재된 데스크톱(desktop), 랩톱(laptop) 등을 포함할 수 있고, 휴대용 단말기는 PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), GSM(Global System for Mobile communications), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), 스마트폰(Smart Phone), 모바일 WiMAX(Mobile Worldwide Interoperability for Microwave Access) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 텔레비전은 IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함할 수 있다.
시험평가 관리시스템(30)은 응시자에게 제공될 모의시험 문제를 포함하여 학습 관련 컨텐츠를 등록 및 관리하고, 응시자의 요청에 따라 모의시험 문제를 출제하여 응시자단말(20)로 제공하며, 응시자단말(20)로부터 수신한 응시자답안에 대한 자동 채점을 수행하고, 개인화된 가상 학습 공간을 통해 채점결과에 대한 분석자료 및 관련 학습자료를 응시자에게 제공할 수 있다.
도 2는 도 1의 시험평가 관리시스템의 주요 구성을 나타내는 블록도이다. 도 2를 참조하면, 시험평가 관리시스템(30)은 회원관리서버(110), 문제등록서버(120), 문제출제서버(130), 답안채점서버(140), 학습관리서버(150), 결제서버(160) 및 데이터베이스(170)를 포함할 수 있다.
회원관리서버(110)는 회원가입 절차를 통해 응시자에게 고유 ID를 부여하고, 응시자로부터 제공된 개인정보를 회원 DB(171)에 저장 및 관리할 수 있다.
문제등록서버(120)는 모의시험 문제들을 시험종류, 시험과목, 출제자, 출제유형, 출제범위, 출제시기 등의 항목에 따라 각각 분류하여 문제 DB(173)에 저장 및 등록하고 이를 관리할 수 있다. 또한, 문제등록서버(120)는 모의시험 문제를 등록할 때, 각각의 모의시험 문제에 대응하는 문제식별코드와 모의시험 문제를 구성하는 각각의 문항에 대응하는 문항식별코드를 생성할 수 있다.
여기서, 모의시험 문제는 실제 시험과 유사한 형태의 배점과 문항수로 구성될 수 있으나, 이에 한정되는 것은 아니며 실제 시험보다 적은 배점과 문항수로 구성될 수도 있다. 시험종류에는 변호사, 변리사, 노무사, 법무사, 경찰공무원 시험 등 서답형 방식으로 출제되는 모든 종류의 시험이 포함될 수 있다. 또한, 출제유형은 각각의 시험종류 및 시험과목에 따라 단문형, 기록형, 사례형, 논술형 등으로 구분될 수 있으며, 출제범위는 각 시험과목의 학습진도에 따른 일정범위 또는 전범위로 분류될 수 있다.
문제등록서버(120)는 등록된 모의시험 문제에 대응하는 답안자료 및 학습자료를 각각 답안 DB(175) 및 학습 DB(177)에 저장하여 관리할 수 있다. 답안자료에는 출제자가 작성한 모범답안, 채점기준표 등이 포함될 수 있으며, 학습자료에는 문제해설, 관련 법이나 판례, 기출문제, 유사 사례문제, 채점평, 동영상 강의 등이 포함될 수 있다.
문제출제서버(130)는 문제 DB(173)를 검색하여 응시자가 지정한 출제조건 및/또는 미리 설정된 선별기준에 따라 모의시험 문제를 선택하여 응시자에게 제공할 수 있다. 문제제출서버(130)는 문제검색모듈(131), 문제선택모듈(133) 및 문제제공모듈(135)을 포함할 수 있다.
문제검색모듈(131)은 응시자가 모의시험을 신청할 때 지정한 출제조건을 입력받고, 출제조건을 만족하는 모의시험 문제를 문제 DB(173)에서 검색할 수 있다. 여기서, 출제조건에는 응시자가 응시하고자 하는 시험종류 및 시험과목이 필수조건으로 포함되며, 부가조건으로 출제자, 출제유형, 출제범위, 출제시기 등이 더 포함될 수 있다.
문제선택모듈(133)은 문제검색모듈(131)에서 복수의 모의시험 문제들이 검색된 경우, 미리 설정된 선별기준에 따라 검색된 모의시험 문제들 중에서 어느 하나를 선택할 수 있다.
예컨대, 문제선택모듈(133)은 다른 응시자들에 의해 각각의 모의시험 문제가 응시된 응시횟수를 카운트하여 문제 DB(173)에 저장할 수 있으며, 응시횟수에 기초하여 모의시험 문제를 선택할 수 있다. 또한, 문제선택모듈(133)은 각 시험별 각 과목별 쟁점들을 출제가능성이 높은 순으로 분류하여 관리할 수 있으며, 출제가능성에 기초하여 모의시험 문제를 선택할 수 있다.
문제제공모듈(135)은 선택된 모의시험 문제의 문제식별코드를 응시자의 고유 ID와 함께 학습 DB(177)에 저장하고, 해당 모의시험 문제에 대한 문제지 및 답안지를 생성하여 응시자에게 제공할 수 있다. 이때, 문제지에는 문제식별코드 및/또는 각각의 문항식별코드가 QR 코드 형태로 삽입될 수 있다.
답안채점서버(140)는 응시자가 작성한 응시자답안에 대하여 자동 채점을 수행하고, 채점 결과에 따른 성적표와 분석결과를 응시자에게 제공할 수 있다. 답안채점서버(140)는 답안수신모듈(141), 답안처리모듈(143) 및 결과분석모듈(145)을 포함할 수 있다.
답안수신모듈(141)은 모의시험의 응시자가 작성한 응시자답안을 파일 형태로 수신하고, 수신된 답안을 답안처리모듈(143)로 제공할 수 있다. 파일 형태는 응시자가 응시자단말(20)을 이용하여 제공된 답안지에 직접 타이핑을 하여 작성한 doc, hwp 등의 문서 파일일 수 있다. 또한, 응시자는 답안지를 출력하여 수기 작성한 후 스캔하거나 촬영하여 답안을 pdf, jpg 등의 이미지 파일로 제출할 수 있으며, 이 경우 답안수신모듈(141)은 답안 이미지에 대한 광학문자인식(Optical character recognition; OCR) 과정을 더 수행할 수 있다.
답안수신모듈(141)은 응시자가 설정한 모의시험의 시작시간과 종료시간을 입력받고, 종료시간에 맞추어 응시자단말(20)로 알림을 전송할 수 있다. 이로써, 응시자가 정해진 시간 내에 모의시험의 답안을 작성하도록 유도할 수 있다.
답안처리모듈(143)은 답안수신모듈(141)로부터 응시자답안을 입력받고, 입력된 응시자답안에 포함된 문장들에 대한 자연어처리(Natural Language Processing; NLP)를 수행할 수 있다. 자연어처리는 문장 내의 분석 및 이해 처리를 위해 띄어쓰기 분석, 정규화, 형태소 분석, 의존구문 분석, 구문 분석, 개체명 분석 등의 과정을 포함할 수 있으며, 이러한 과정은 기계학습(Machine Learning) 엔진을 이용하여 수행될 수 있다.
답안처리모듈(143)은 자연어처리를 기반으로 설정된 평가항목에 따라 응시자 답안을 평가하고, 평과 결과 및 각 평가항목에 대한 가중치를 적용하여 응시자답안에 대한 평가점수를 산출할 수 있다. 예컨대, 평가항목에는 모범답안과의 유사도, 요구 키워드의 존재여부 및 문장 완성도 등이 포함될 수 있다. 이하 보다 상세한 답안처리 과정은 도 3을 참조하여 후술하기로 한다.
결과분석모듈(145)은 답안처리모듈(143)에서 산출된 평가점수에 기초하여 응시자의 해당 모의시험에 대한 성적표를 생성할 수 있다. 예컨대, 성적표에는 전체점수, 각 문항에 대한 점수 및 세부점수가 표시될 수 있으며, 해당 모의시험에 응시한 다른 응시자들의 성적분포가 포함될 수 있다.
결과분석모듈(145)은 답안처리 과정에서 도출된 응시자의 오답 유형에 대한 오답리포트를 생성할 수 있다. 오답리포트에는 응시자의 오답 해결을 위한 학습 방향이나 학습에 필요한 참조 링크(예컨대, 모범답안의 관련 항목 또는 관련 법이나 판례)가 제시될 수 있다. 또한, 결과분석모듈(145)은 응시자의 오답 유형을 답안 DB(175)에 저장할 수 있으며, 해당 오답과 관련된 유사 문제에 대하여 응시자의 점수 추이를 제공할 수 있다. 이로써, 응시자는 자신의 학습방향이 적절한지를 판단할 수 있고, 유사한 실수나 오답이 반복되지 않도록 할 수 있다.
학습관리서버(150)는 개인화된 가상의 학습 공간에서 응시자의 자가 학습을 지원하기 위한 모든 학습정보를 학습 DB(177)에 통합하여 저장 및 관리할 수 있다. 예컨대, 학습정보에는 응시자의 학습 진도 및 수준, 모의시험 응시이력, 성적 추이, 오답 패턴 등이 포함될 수 있다.
학습관리서버(150)는 응시자의 모의시험 채점결과 및 학습정보를 분석하여 맞춤형 강의 동영상을 추천하거나 다양한 학습자료를 응시자에게 제공할 수 있다. 또한, 학습관리서버(150)는 응시자의 요청에 따라 전문 강사와의 1:1 온라인 튜터링 서비스를 제공할 수 있다. 또한, 학습관리서버(150)는 응시자답안에 대한 열람 동의를 조건으로 다른 응시자답안에 대한 열람을 허용할 수 있다.
결제서버(700)는 외부 은행 서버, VAN 서버, 카드사 서버 등과 연결되며, 모의시험 신청료, 컨텐츠 사용료, 튜터링 서비스 이용료 등 각종 서비스에 대한 비용 정산을 수행할 수 있다.
도 3은 본 발명의 실시 예에 따른 답안처리모듈의 주요 구성을 나타내는 블록도이다. 도 3을 참조하면, 본 발명의 실시 예에 따른 답안처리모듈(143)은 기계학습엔진(210)과 답안평가유닛(220)을 포함하여 구성될 수 있다.
기계학습엔진(210)은 응시자답안 및/또는 모범답안을 입력받고, 입력된 응시자답안 및/또는 모범답안에 포함된 문장들에 대한 자연어처리를 수행할 수 있다. 자연어처리를 위한 기계학습에는 결정트리(Decision Tree), 선형 분리자(Snow, Perceptron), SVM, Maximum Entropy, HMM(Hidden Markov Model), CRF(Conditional Random Field), K-NN, 신경망(Neural Network), 딥러닝(Deep Learning) 등의 방법이 사용될 수 있다.
기계학습엔진(210)은 띄어쓰기 교정기(211), 정규화 처리기(212), 형태소 분석기(213), 의존구문 분석기(214), 구문 분석기(215) 및 개체명 분석기(216)를 포함할 수 있다.
띄어쓰기 교정기(211)는 답안의 문장들 사이 또는 문장 내에서 띄어쓰기가 올바른지를 분석하고 띄어쓰기 오류를 교정할 수 있다.
정규화 처리기(212)는 특정 단어가 여러 형태로 표현될 때 하나의 형태로 맞추는 정규화 처리를 수행할 수 있다. 예컨대, “법”, “法”, “§” 등 여러 형태로 표현되는 것들을 “법”이라는 하나의 형태로 처리하거나 “제4조3항1호”, “4③(1)”, “4③ⅰ” 등의 동일한 의미의 복수 표현들을 “제4조3항1호”로 정규화할 수 있다.
형태소 분석기(213)는 입력된 문장열을 분석하여 형태소라는 최소 의미단위로 분리할 수 있다. 형태소 분석기(223)는 입력된 답안을 글자나 단어, 어절과 같은 작은 의미단위인 토큰(token)으로 분리하고, 형태소 사전 및 품사 사전을 활용하여 어간추출과 품사부착 과정을 수행할 수 있다.
의존구문 분석기(214)는 입력된 답안이 포함하는 각각의 문장을 의존문법을 기반으로 구문 분석을 수행할 수 있다. 의존문법은 의존소(dependent)와 지배소(government)의 관계를 문법으로 표현한 것인데, 지배소는 의존관계에 있는 언어 요소들 중 의미의 중심이 되는 요소를 의미하고, 의존소는 지배소가 갖는 의미를 보완해주는 요소를 의미한다. 의존구문 분석기(214)는 각 어절별 의존관계를 분석하고, 확률에 근거하여 의존소와 지배소를 구분하여 각각의 어절을 분류할 수 있다.
구문 분석기(215)는 문법을 이용하여 문장의 구조를 찾아내는 프로세스이며, 문장의 구문 구조는 트리(tree) 형태로 표현될 수 있 문장을 그것을 이루는 성분으로 분해하고 그들 사이의 위계관계를 분석하여 문장의 구조를 결정할 수 있다.
개체명 분석기(216)는 입력된 문장에서 인명, 지명, 날짜, 시간, 법률용어, 개념어 등의 개체명을 찾아서 해당하는 의미의 범주를 결정할 수 있다. 개체명 분석은 형태소 분석에서 고유명사로 분류된 것을 의미에 따라 재분류함으로써 수행될 수 있다.
답안평가유닛(220)은 기계학습엔진(210)의 응시자답안 및/또는 모범답안에 대한 자연어처리 결과에 기초하여, 응시자답안의 평가 점수를 산출할 수 있다. 답안평가유닛(220)은 문서 유사도 평가부(221), 키워드 평가부(222), 문장 완성도 평가부(223)를 포함할 수 있다.
문서 유사도 평가부(221)는 응시자답안과 모범답안 사이의 유사도를 판단하고, 판단 결과에 따라 점수를 부여할 수 있다. 문서 유사도 평가부(221)는 유사도 판단을 위해 양 답안에서 각각의 문항에 대한 목차를 추출하고, 추출된 목차를 비교할 수 있다. 또한, 문서 유사도 평가부(221)는 서로 유사한 목차에 기재되어 있는 내용 및 분량을 비교함으로써 양 답안의 유사도를 평가할 수 있다.
키워드 평가부(222)는 채점기준표를 참조하여 모의시험 문제의 각 문항에서 요구하는 키워드를 결정하고, 응시자답안에서 해당 키워드의 존재여부, 키워드 포함 비율, 키워드 순서, 키워드 간의 거리 등을 계산하고, 계산 결과에 기초하여 점수를 부여할 수 있다.
문장 완성도 평가부(223)는 응시자답안의 문장 내에서 사용된 용어나 어휘 표현의 명확성, 띄어쓰기를 포함한 어법의 정확성, 문장의 구조 및 연결 등의 명확성 등을 평가하고, 평가 결과에 따른 점수를 부여할 수 있다.
답안평가유닛(220)은 문서 유사도 평가부(221), 키워드 평가부(222), 문장 완성도 평가부(223)에서 부여된 각각의 점수에 가중치를 부여하여 최종 평가 점수를 산출할 수 있다.
도 4는 본 발명의 실시 예에 따른 모의시험 문제의 출제과정을 나타내는 플로우차트이다. 도 4를 참조하면, 문제출제서버(130)는 응시자단말(20)로부터 모의시험 출제에 관한 출제조건을 입력받을 수 있다(S11). 예컨대, 응시자는 모의시험을 신청할 때, 자신이 응시하고자 하는 시험종류(예컨대, 변호사시험)와 시험과목(예컨대, 형법)을 선택할 수 있으며, 출제자(예컨대, OOO 강사), 출제유형(예컨대, 사례형), 출제범위(예컨대, 전범위), 출제시기(예컨대, 2018년 5월)을 추가적으로 선택할 수 있다.
이후, 문제출제서버(130)는 문제 DB(173)를 검색하여 입력된 출제조건에 대응하는 모의시험 문제를 검색할 수 있다(S12). 검색된 모의시험의 문제의 개수는 응시자의 출제자, 출제유형, 출제범위, 출제시기에 대한 추가 선택여부에 따라 달라질 수 있다.
응시자가 출제자 등에 대한 추가 선택을 하지 않은 경우, 해당 시험종류 및 시험과목에 대한 모든 출제자의 모의시험 문제가 검색될 수 있으며, 이 경우(S13의 Y) 문제출제서버(130)는 검색된 모의시험 문제들 가운데 어느 하나를 선택할 수 있다(S14). 이때, 선택은 모의시험의 문제에 대한 다른 응시자들의 응시횟수를 기준으로 할 수 있으며, 출제가능성이 높은 쟁점을 포함하고 있는 모의시험 문제를 선택할 수도 있다.
단계 S13에서 검색된 모의시험 문제가 한 개이거나 단계 S15에서 검색된 복수의 모의시험 문제 중에서 어느 하나가 선택되면, 문제출제서버(130)는 해당 모의시험 문제에 대한 문제지와 답안지를 생성하고(S15), 생성된 문제지와 답안지를 응시자단말(20)로 제공할 수 있다(S16).
도 5는 본 발명의 실시 예에 따른 응시자답안의 채점과정을 나타내는 플로우차트이다. 도 5를 참조하면, 답안채점서버(140)는 응시자단말(20)로부터 수신한 응시자답안과 답안 DB(175)에 저장된 모범답안을 입력받을 수 있다(S21). 응시자답안은 문서 파일 또는 이미지 파일로 수신될 수 있으며, 이미지 파일로 수신된 경우 답안처리에 앞서 광학문자인식 과정이 수행될 수 있다.
이후, 기계학습엔진(210)은 입력된 응시자답안 및/또는 모범답안에 대한 자연어처리 과정을 수행할 수 있다(S22). 실시 예에 따라, 자연처처리 과정에서는 띄어쓰기 교정, 정규화, 형태소 분석, 의존구문 분석, 구문 분석 및 개체명 분석 중에서 적어도 하나가 수행될 수 있다.
자연어처리가 완료되면, 답안평가유닛(220)은 응시자답안과 모범답안 사이의 유사도를 판단하고, 판단 결과에 따라 점수를 부여할 수 있다(S23). 예컨대, 양 답안의 유사도는 각각의 답안에서 추출된 목차를 비교하고, 유사한 목차에서의 내용 및 분량를 비교함으로써 판단될 수 있다. 또한, 답안평가유닛(220)은 채점기준표 등에 나타난 요구 키워드를 바탕으로 응시자답안에 대한 점수를 부여할 수 있다(S24). 예컨대, 답안평가유닛(220)은 응시자답안에 요구 키워드의 존재여부를 확인하고, 키워드 포함 비율, 키워드 간의 거리값 등에 기초하여 정답율을 판단하고, 판단 결과에 따른 점수를 부여할 수 있다. 또한, 답안평가유닛(220)은 응시자답안의 문장 완성도를 평가하여 점수를 부여할 수 있다(S25). 예컨대, 문장 내에서 명확한 용어나 어휘를 사용하고 있는지, 띄어쓰기를 포함한 어법이 정확한지, 또는 문장의 구조 및 연결관계가 적절한지를 판단하고 판단 결과에 따른 점수를 부여할 수 있다.
단계 S23 내지 단계 S25의 평가 절차가 완료되면, 답안평가유닛(220)은 각 평가 항목에 대한 가중치를 적용하여 최종 평가점수를 산출할 수 있다(S26).
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 : 서답형 모의시험 평가 자동화 시스템
20 : 응시자단말 30 : 시험평가 관리시스템
110 : 회원관리서버 120 : 문제등록서버
130 : 문제출제서버 131 : 문제검색모듈
133 : 문제선택모듈 135 : 문제제공모듈
140 : 답안채점서버 141 : 답안수신모듈
143 : 답안처리모듈 145 : 결과분석모듈
150 : 학습관리서버 160 : 결제서버
170 : 데이터베이스 171 : 회원 DB
173 : 문제 DB 175 : 답안 DB
177 : 학습 DB 210 : 기계학습엔진
211 : 띄어쓰기 교정부 212 : 정규화 처리기
213 : 형태소 분석기 214 : 의존구문 분석기
215 : 구문 분석기 216 : 개체명 분석기
220 : 답안평가유닛 221 : 문사 유사도 평가부
222 : 키워드 평가부 223 : 문장 완성도 평가부
20 : 응시자단말 30 : 시험평가 관리시스템
110 : 회원관리서버 120 : 문제등록서버
130 : 문제출제서버 131 : 문제검색모듈
133 : 문제선택모듈 135 : 문제제공모듈
140 : 답안채점서버 141 : 답안수신모듈
143 : 답안처리모듈 145 : 결과분석모듈
150 : 학습관리서버 160 : 결제서버
170 : 데이터베이스 171 : 회원 DB
173 : 문제 DB 175 : 답안 DB
177 : 학습 DB 210 : 기계학습엔진
211 : 띄어쓰기 교정부 212 : 정규화 처리기
213 : 형태소 분석기 214 : 의존구문 분석기
215 : 구문 분석기 216 : 개체명 분석기
220 : 답안평가유닛 221 : 문사 유사도 평가부
222 : 키워드 평가부 223 : 문장 완성도 평가부
Claims (5)
- 모의시험 문제들을 일정한 분류항목에 따라 각각 분류하여 관리하는 문제등록서버;
응시자가 지정한 출제조건 및/또는 미리 설정된 선별기준에 따라 상기 모의시험 문제들 가운데 어느 하나를 선택하여 상기 응시자에게 제공하는 문제출제서버;
상기 응시자가 작성한 응시자답안에 대하여 자동 채점을 수행하고, 채점 결과에 따른 성적표 및 분석결과를 상기 응시자에게 제공하는 답안채점서버; 및
상기 응시자의 학습정보를 관리하고, 상기 응시자의 요청에 따라 상기 분석결과 및 상기 학습정보에 기초한 맞춤형 학습자료를 상기 응시자에게 제공하는 학습관리서버를 포함하는 것을 특징으로 하는 서답형 모의시험 평가 자동화 시스템. - 제1항에 있어서,
상기 출제조건은 시험종류, 시험과목, 출제자, 출제유형, 출제범위 및 출제시기를 포함하는 것을 특징으로 하는 서답형 모의시험 평가 자동화 시스템. - 제1항에 있어서,
상기 선별기준은 상기 모의시험 문제들 각각에 대한 다른 응시자의 응시횟수 및 출제가능성을 포함하는 것을 특징으로 하는 서답형 모의시험 평가 자동화 시스템. - 제1항에 있어서,
상기 답안채점서버는,
상기 응시자답안 및/또는 모범답안에 포함된 문장들에 대한 자연어처리를 수행하는 기계학습엔진; 및
상기 응시자답안과 모범답안 사이의 유사도를 판단하는 유사도 평가부, 상기 응시자답안에 요구 키워드 존재여부를 판단하는 키워드 평가부 및 상기 응시자답안의 문장 완성도를 평가하는 완성도 평가부를 포함하는 답안평가유닛을 포함하는 것을 특징으로 하는 서답형 모의시험 평가 자동화 시스템. - 제4항에 있어서,
상기 답안평가유닛은 상기 유사도 평가부, 키워드 평가부 및 완성도 평가부 각각의 평가점수에 가중치를 부여하여 최종 평가점수를 산출하는 것을 특징으로 하는 서답형 모의시험 평가 자동화 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180090343A KR20200015054A (ko) | 2018-08-02 | 2018-08-02 | 서답형 모의시험 평가 자동화 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180090343A KR20200015054A (ko) | 2018-08-02 | 2018-08-02 | 서답형 모의시험 평가 자동화 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200015054A true KR20200015054A (ko) | 2020-02-12 |
Family
ID=69569627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180090343A KR20200015054A (ko) | 2018-08-02 | 2018-08-02 | 서답형 모의시험 평가 자동화 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20200015054A (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191002A (zh) * | 2021-05-04 | 2021-07-30 | 河南环球优路教育科技有限公司 | 一种考试模拟方法及系统 |
| KR102344145B1 (ko) * | 2021-07-12 | 2021-12-29 | 주식회사 천재교과서 | 손글씨 인식을 통한 유아 학습 방법 및 이를 기록한 기록매체 |
| KR102525978B1 (ko) * | 2023-01-04 | 2023-04-26 | 주식회사 메이든보이지 | 뉴럴 네트워크를 이용하여 응시자 단말에게 모의고사 서비스를 제공하는 방법 및 장치 |
-
2018
- 2018-08-02 KR KR1020180090343A patent/KR20200015054A/ko unknown
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191002A (zh) * | 2021-05-04 | 2021-07-30 | 河南环球优路教育科技有限公司 | 一种考试模拟方法及系统 |
| KR102344145B1 (ko) * | 2021-07-12 | 2021-12-29 | 주식회사 천재교과서 | 손글씨 인식을 통한 유아 학습 방법 및 이를 기록한 기록매체 |
| KR102525978B1 (ko) * | 2023-01-04 | 2023-04-26 | 주식회사 메이든보이지 | 뉴럴 네트워크를 이용하여 응시자 단말에게 모의고사 서비스를 제공하는 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107230174B (zh) | 一种基于网络的在线互动学习系统和方法 | |
| US11409964B2 (en) | Method, apparatus, device and storage medium for evaluating quality of answer | |
| KR102277362B1 (ko) | 제2언어로서의 한국어 습득을 위한 언어 학습 서비스 제공 시스템 | |
| US20130302775A1 (en) | Cluster analysis of participant responses for test generation or teaching | |
| KR20200119358A (ko) | 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템 | |
| Le Hoanh Su et al. | Development of an AI Chatbot to support admissions and career guidance for universities | |
| KR20200015054A (ko) | 서답형 모의시험 평가 자동화 시스템 | |
| Rokade et al. | Automated grading system using natural language processing | |
| Jia et al. | Insta-Reviewer: A Data-Driven Approach for Generating Instant Feedback on Students' Project Reports. | |
| KR100797225B1 (ko) | ｅ―Ｃｌａｓｓ 관리 시스템과 성적 평가방법 | |
| Latifi et al. | Using automated scoring to evaluate written responses in English and French on a high-stakes clinical competency examination | |
| KR102211537B1 (ko) | 면접 지원 시스템 | |
| Hussain et al. | Assessment of bangla descriptive answer script digitally | |
| Herwanto et al. | UKARA: A fast and simple automatic short answer scoring system for Bahasa Indonesia | |
| Bachiri et al. | Increasing student engagement in lessons and assessing MOOC participants through artificial intelligence | |
| KR20220053982A (ko) | 인공지능 기반 학원 추천 방법 | |
| KR102282307B1 (ko) | 영어 학습 시스템 및 그 방법 | |
| KR20020082161A (ko) | 독서능력지수를 이용한 독서능력 관리방법 및 시스템 | |
| Karbasian et al. | Keeping curriculum relevant: Identifying longitudinal shifts in computer science topics through analysis of Q&A communities | |
| Sagum et al. | Application of language modelling in sentiment analysis for faculty comment evaluation | |
| Shankar et al. | Novice Retroaction Report | |
| KR20210099745A (ko) | 자연어 처리 기술을 이용한 자기소개서 평가 시스템 및 방법 | |
| KR102660170B1 (ko) | 공공기관 연계 평생교육 서비스 제공 시스템 | |
| Dandage et al. | Online Examination and Evaluation System | |
| Shrestha et al. | Automatic AnswerSheet Checker |