KR102604756B1 - 논술채점 관리 서비스를 제공하는 서버, 시스템, 방법및 프로그램 - Google Patents
논술채점 관리 서비스를 제공하는 서버, 시스템, 방법및 프로그램 Download PDFInfo
- Publication number
- KR102604756B1 KR102604756B1 KR1020230099925A KR20230099925A KR102604756B1 KR 102604756 B1 KR102604756 B1 KR 102604756B1 KR 1020230099925 A KR1020230099925 A KR 1020230099925A KR 20230099925 A KR20230099925 A KR 20230099925A KR 102604756 B1 KR102604756 B1 KR 102604756B1
- Authority
- KR
- South Korea
- Prior art keywords
- answer sheet
- evaluator
- evaluator terminal
- test
- terminal
- Prior art date
Links
- 238000000034 method Methods 0.000 title description 51
- 238000012360 testing method Methods 0.000 claims abstract description 177
- 230000015654 memory Effects 0.000 claims abstract description 11
- 238000012937 correction Methods 0.000 description 39
- 238000011156 evaluation Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 16
- 238000003062 neural network model Methods 0.000 description 15
- 238000013135 deep learning Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000306 recurrent effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012015 optical character recognition Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000013209 evaluation strategy Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063112—Skill-based matching of a person or a group to a task
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Technology (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- Computational Linguistics (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명의 실시 예에 따르면, 논술채점 관리 서비스를 제공하는 서버를 개시한다. 상기 서버는, 적어도 하나의 프로세서(processor); 및 상기 적어도 하나의 프로세서가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함한다. 또한, 상기 적어도 하나의 동작은, 논술문제와 매칭되는 답안지의 채점을 위해 복수의 평가위원 단말을 배정하는 동작; 상기 평가위원 단말에 상기 논술문제와 매칭되는 복수의 테스트 답안지를 전송하고, 상기 평가위원 단말로부터 상기 테스트 답안지의 점수를 수신하는 동작; 상기 평가위원 단말에 상기 논술문제와 매칭되는 복수의 답안지를 전송하고, 상기 평가위원 단말로부터 상기 답안지의 점수를 수신하는 동작; 및 복수의 상기 테스트 답안지의 점수 및 복수의 상기 답안지의 점수를 이용하여 재채점 여부를 결정하는 동작을 포함한다.
Description
본 발명은 논술채점 관리 서비스를 제공하는 서버, 시스템, 방법 및 프로그램에 관한 것이다. 구체적으로, 논술채점의 결과를 실시간으로 공유 및 편차를 분석함으로써 논술채점의 신뢰도 및 공정성을 높일 수 있는 방법을 제공한다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
논술시험의 확대에 따라 논술채점의 신뢰도에 대한 의문으로 통계적 문제에 대한 지적이 제기되고 있다. 채점자마다 상이할 수 밖에 없는 논술점수에 대하여 어떻게 채점점수를 신뢰하고 정당화할 수 있겠는가 하는 것이다. 만약, 채점의 객 관성, 공정성 및 일관성에 문제가 있는 경우 지금과 같은 논술시험에 대한 사회일 반의 긍정적 평가는 급속히 반전될 가능성이 있다. 여러 사례 연구를 통해 각종 대입입시에서 발생하는 논술시험의 채점에서 점수편차가 ±10 점 이상인 답안이 10%에 육박하면서 논술시험의 채점에 있어서 채점자에게 표준분포를 제시해주는 것 이 신뢰도 향상에 도움이 된다는 연구결과도 존재한다. 40점 만점에서 어떤 채점 자는 중간수준을 28점으로 생각하고 어떤 채점자는 32점 정도로 생각할 수 있는데 가급적 한 단과대학이나 한 학과 답안지 채점을 동일한 채점자 쌍에 의뢰한다는 채 점원칙이 실제로는 엄격히 지켜지지 않기 때문이다.
이때, 논술채점의 신뢰성을 높이기 위해 편차를 조정하는 방법과 스캔파일을 이용하는 방법이 각각 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국등록 특허 제10-1832791호(2018년02월28일 공고) 및 한국공개특허 제2009-0090424 호(2009년08월26일 공개)에는, 답안지를 이미지로 생성하고 채점 데이터를 처리할 때, 답안지 분배 후 채점결과를 실시간으로 체크하고 자동분석을 통하여 채점의 품 질을 관리하는 구성과, 답안지를 평가항목으로 분류한 후 정답과 비교하여 채점하 되 각 평가항목 간 일치도가 기 설정된 범위 내면 감점군으로 구분하고 그렇지 않 으면 가점군으로 구분하며, 가점군 및 감점군 평가항목에 대한 통계값을 산출 및 비교하여 정답 데이터를 갱신하는 구성이 각각 개시되어 있다.
다만, 전자의 경우 채점의 편차를 조정한다고 개시되어 있지만 채점결과를 분석하여 품질을 관리할 뿐, 실제 각 평가위원 간 편차를 조정하는 구성이 아니다. 후자의 경우에도 정답이 변경될 경우 정답을 일일이 수기로 변경하지 않고 학생 답 안지를 정답으로 업데이트하겠다는 것인데, 이는 채점결과를 보정하는 것이 아닐 뿐만 아니라 응시자인 학생의 지적재산물을 이용허락없이 도용하는 저작권 침해의 구성에 해당한다. 이에, 하나의 논술답안지를 각 평가위원에게 제공한 후 각 평가 위원의 점수편차를 상호 실시간 공유할 수 있도록 함으로써 재채점한 점수로 채점 결과가 최종등록되도록 할 수 있는 시스템의 연구 및 개발이 요구된다.
또한, 평가위원이 일정한 채점기준을 준수하는지 여부가 공정한 채점에 큰 영향을 미치는 요소 중 하나인데, 논술 채점의 경우 평가위원이 일정한 채점기준을 준수하는지 확인하기 어렵고, 평가위원 스스로도 인지하지 못하는 문제가 발생되기 쉽다.
따라서, 평가위원이 일정한 채점기준을 준수하도록 가이드하는 기술에 대한 연구 및 개발이 요구된다.
본 발명은, 인식교정단말에서 스캐너를 이용하여 논술답안지를 입력받아 오류를 교정하여 업로드하도록 하고, 각 평가위원 단말로 논술답안지를 배분한 후 실시간으로 채점점수 차이를 공유하도록 하여 편차를 줄이도록 재채점을 요청하는, 논술채점 관리 서비스를 제공하는 서버, 시스템, 방법 및 프로그램을 제공하는 것을 일 목적으로 한다.
본 발명은, 평가위원 단말이 테스트 답안지에 대한 채점을 수행한 이후, 테스트 답안지에 대한 채점 결과를 이용해 평가위원 단말이 답안지에 대한 공정한 채점을 하도록 가이드하는, 논술채점 관리 서비스를 제공하는 서버, 시스템, 방법 및 프로그램을 제공하는 것을 일 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 측면은, 논술채점 관리 서비스를 제공하는 서버를 제공한다.
상기 서버는, 적어도 하나의 프로세서(processor); 및 상기 적어도 하나의 프로세서가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함한다.
또한, 상기 적어도 하나의 동작은, 논술문제와 매칭되는 답안지의 채점을 위해 복수의 평가위원 단말을 배정하는 동작; 상기 평가위원 단말에 상기 논술문제와 매칭되는 복수의 테스트 답안지를 전송하고, 상기 평가위원 단말로부터 상기 테스트 답안지의 점수를 수신하는 동작; 상기 평가위원 단말에 상기 논술문제와 매칭되는 복수의 답안지를 전송하고, 상기 평가위원 단말로부터 상기 답안지의 점수를 수신하는 동작; 및 복수의 상기 테스트 답안지의 점수 및 복수의 상기 답안지의 점수를 이용하여 재채점 여부를 결정하는 동작을 포함한다.
또한, 상기 평가위원 단말에 상기 논술문제와 매칭되는 테스트 답안지를 전송하고, 상기 평가위원 단말로부터 상기 테스트 답안지의 점수를 수신하는 동작은, 상기 테스트 답안지를 상기 평가위원 단말에 전송하는 동작; 상기 평가위원 단말로부터 상기 테스트 답안지에 포함된 중요문장 및 중요문장과 매칭되는 중요도를 수신하는 동작; 상기 평가위원 단말로부터 상기 테스트 답안지에 포함된 중요단어 및 중요단어와 매칭되는 중요도를 수신하는 동작; 및 상기 평가위원 단말로부터 상기 테스트 답안지의 점수를 수신하는 동작을 포함한다.
또한, 상기 평가위원 단말에 상기 논술문제와 매칭되는 답안지를 전송하고, 상기 평가위원 단말로부터 상기 답안지의 점수를 수신하는 동작은, 상기 논술문제와 매칭되는 상기 답안지를 상기 평가위원 단말에 전송하는 동작; 상기 평가위원 단말에 답안지에 포함되는 중요단어 및 중요단어와 매칭되는 중요도를 전송하는 동작; 상기 답안지와 복수의 상기 테스트 답안지 사이의 유사도를 산출하는 동작; 유사도가 가장 큰 상기 테스트 답안지의 점수를 상기 평가위원 단말에 전송하는 동작; 및 상기 평가위원 단말로부터 상기 답안지와 매칭되는 점수를 수신하는 동작을 포함한다.
또한, 상기 답안지와 상기 테스트 답안지 사이의 유사도를 산출하는 동작은, 상기 답안지에 포함된 복수의 제1 문장 각각과 상기 테스트 답안지에 포함된 복수의 제2 문장 사이의 문장 유사도를 산출하는 동작; 및 상기 문장 유사도, 상기 답안지에 포함된 중요문장 및 중요문장과 매칭되는 중요도, 상기 답안지에 포함된 중요단어 및 중요단어와 매칭되는 중요도를 이용해 상기 답안지와 상기 테스트 답안지 사이의 유사도를 산출하는 동작을 포함한다.
또한, 복수의 상기 테스트 답안지의 점수 및 복수의 상기 답안지의 점수를 이용하여 재채점 여부를 결정하는 동작은, 복수의 상기 평가위원 단말 중 어느 하나인 제1 평가위원 단말이 상기 답안지에 채점한 제1 점수와, 복수의 상기 평가위원 단말 중 다른 하나인 제2 평가위원 단말이 상기 답안지에 채점한 제2 점수의 차이 값인 제1 편차를 산출하는 동작; 상기 제1 평가위원 단말을 기준으로, 상기 답안지와 유사도가 가장 높은 상기 테스트 답안지인 제1 테스트 답안지에 대해 상기 제1 평가위원 단말이 채점한 제3 점수와 상기 제2 평가위원 단말이 상기 제1 테스트 답안지에 대해 채점한 제4 점수의 차이 값인 제2 편차를 산출하는 동작; 상기 제2 평가위원 단말을 기준으로, 상기 답안지와 유사도가 가장 높은 상기 테스트 답안지인 제2 테스트 답안지에 대해 상기 제1 평가위원 단말이 채점한 제5 점수와 상기 제2 평가위원 단말이 상기 제2 테스트 답안지에 대해 채점한 제6 점수의 차이 값인 제3 편차를 산출하는 동작; 및 상기 제1 편차와 상기 제2 편차의 차이 값 및 상기 제1 편차와 상기 제3 편차의 차이 값 중 적어도 하나가 미리 설정된 기준 편차 이상인 경우, 상기 답안지를 재채점 대상으로 결정하는 동작을 포함한다.
본 발명의 일 실시 예에 따르면, 인식교정단말에서 스캐너를 이용하여 출석점검표 및 논술답안지를 입력받아 오류를 교정하여 업로드 하도록 하고, 각 평가위원 단말로 논술답안지를 배분한 후 실시간으로 채점점수 차 이를 공유하도록 하여 편차를 줄이도록 재채점을 요청하며, 재채점된 점수를 확정하여 논술평가점수로 업로드함으로써 수기 및 인력으로 해야하는 일들은 줄이고 점수의 공정성 및 신뢰성을 달성할 수 있다.
본 발명의 일 실시 예에 따르면, 테스트 답안지에 대한 채점 결과에 의해 평가위원의 평가기준이 변하지 않도록 가이드되므로, 점수의 공정성 및 신뢰성을 달성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 논술채점 관리 서비스를 제공하기 위한 시스템에 대한 개요도이다.
도 2는 도 1에 따른 서비스 제공 서버의 기능적 모듈을 예시적으로 나타낸 블록도이다.
도 3은 도 1에 따른 서비스 제공 서버가 논술채점 관리 서비스를 제공하는 과정을 도시하는 흐름도이다.
도 4는 도 3의 S200단계의 구체적인 과정을 도시하는 흐름도이다.
도 5는 도 3의 S300단계의 구체적인 과정을 도시하는 흐름도이다.
도 6은 도 3의 S400단계의 구체적인 과정을 도시하는 흐름도이다.
도 7은 도 1에 따른 서비스 제공 서버의 하드웨어 구성을 예시적으로 나타낸 도면이다.
도 2는 도 1에 따른 서비스 제공 서버의 기능적 모듈을 예시적으로 나타낸 블록도이다.
도 3은 도 1에 따른 서비스 제공 서버가 논술채점 관리 서비스를 제공하는 과정을 도시하는 흐름도이다.
도 4는 도 3의 S200단계의 구체적인 과정을 도시하는 흐름도이다.
도 5는 도 3의 S300단계의 구체적인 과정을 도시하는 흐름도이다.
도 6은 도 3의 S400단계의 구체적인 과정을 도시하는 흐름도이다.
도 7은 도 1에 따른 서비스 제공 서버의 하드웨어 구성을 예시적으로 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 논술채점 관리 서비스를 제공하기 위한 시스템에 대한 개요도이다.
도 1을 참조하면, 논술채점 관리 서비스를 제공하기 위한 시스템은, 서비스 제공 서버(100), 네트워크(200), 인식교정 단말(300), 평가위원 단말(400) 및 관리자 단말(500)을 포함한다.
서비스 제공 서버(100), 인식교정 단말(300), 평가위원 단말(400) 및 관리자 단말(500)은 네트워크(200)를 통해 서로 연결된다.
도시되지 않은 실시 예에서, 복수의 인식교정 단말(300), 복수의 평가위원 단말(400) 및 복수의 관리자 단말(500)이 네트워크(200)를 통해 서비스 제공 서버(100)와 통신 가능하게 연결될 수 있다.
아울러, 이러한 네트워크(200)는 예컨대, 다수의 접속망(미도시) 및 코어망(미도시)을 포함하며, 외부망, 예컨대 인터넷망(미도시)을 포함하여 구성될 수 있다. 여기서, 접속망(미도시)은 인식교정 단말(300), 평가위원 단말(400), 관리자 단말(500)과 유무선 통신을 수행하는 접속망으로서, 예를 들어, BS(Base Station), BTS(Base Transceiver Station), NodeB, eNodeB 등과 같은 다수의 기지국과, BSC(Base Station Controller), RNC(Radio Network Controller)와 같은 기지국 제어기로 구 현될 수 있다. 또한, 전술한 바와 같이, 상기 기지국에 일체로 구현되어 있던 디지털 신호 처리부와 무선 신호 처리부를 각각 디지털 유니트(Digital Unit, 이하 DU라 함)와 무선 유니트(Radio Unit, 이하 RU라 함)로 구분하여, 다수의 영역에 각각 다수의 RU(미도시)를 설치하고, 다수의 RU(미도시)를 집중화된 DU(미도시)와 연결하여 구성할 수도 있다.
또한, 접속망(미도시)과 함께 모바일 망을 구성하는 코어망(미도시)은 접속망(미도시)과 외부 망, 예컨대, 인터넷망(미도시)을 연결하는 역할을 수행한다.
이러한 코어망(미도시)은 앞서 설명한 바와 같이, 접속망(미도시) 간의 이동성 제어 및 스위칭 등의 이동통신 서비스를 위한 주요 기능을 수행하는 네트워크 시스템으로서, 서킷 교환(circuit switching) 또는 패킷 교환(packet switching)을 수행하며, 모바일 망 내에서의 패킷 흐름을 관리 및 제어한다. 또한, 코어망(미도시)은 주파수 간 이동성을 관리하고, 접속망(미도시) 및 코어망(미도시) 내의 트래픽 및 다른 네트워크, 예컨대 인터넷 망(미도시)과의 연동을 위한 역할을 수행할 수도 있다. 이러한 코어망(미도시)은 SGW(Serving GateWay), PGW(PDN GateWay), MSC(Mobile Switching Center), HLR(Home Location Register), MME(Mobile Mobility Entity)와 HSS(Home Subscriber Server) 등을 더 포함하여 구성될 수도 있다.
또한, 인터넷망(미도시)은 TCP/IP 프로토콜에 따라서 정보가 교환되는 통상의 공개된 통신망, 즉 공용망을 의미하는 것으로, 인식교정 단말(300), 평가위원 단말(400) 및 관리자 단말(500)과 연결되며, 인식교정 단말(300), 평가위원 단말(400) 및 관리자 단말(500)로부터 제공되는 정보를 코어망(미도시) 및 접속망(미도시)을 거쳐 네트워크(200)로 제공할 수 있고, 반대로 서비스 제공 서버(100)로 제공되는 정보를 코어망(미도시) 및 접속망(미도시)을 거쳐 인식교정 단말(300), 평가위원 단말(400) 및 관리자 단말(500)로 제공할 수도 있다. 그러나, 이에 한정되는 것은 아니며, 서비스 제공 서버(100)는 코어망(미도시)과 일체로 구현될 수도 있다.
또한, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.
서비스 제공 서버(100)는, 논술 채점 관리 서비스 웹 페이지, 앱 페이 지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 서비스 제공 서버(100)는, 인식교정 단말(300)로부터 논술답안지가 업로드되면 평가위원 단말(400)로 배정하고, 평가위원 단말(400) 간 채점결과를 실시간으로 공유하도 록 함으로써 편차를 최소화하도록 하고, 편차가 기준값을 초과하는 경우 재채점을 시행하도록 하는 서버일 수 있다. 그리고, 서비스 제공 서버(100)는, 관리자 단말(500)에서 채점현황 등을 대시보드에 출력하여 관리할 수 있도록 하는 서버 일 수 있다.
서비스 제공 서버(100)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩 톱(Laptop) 등을 포함할 수 있다.
인식교정 단말(300)은, 논술 채점 관리 서비스 관련 웹 페이 지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 논술답안지를 스캐너를 통 하여 업로드받고, 오류를 교정하는 단말일 수 있다.
인식교정 단말(300)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크 톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 인식교정 단말(300)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구 현될 수 있다. 적어도 하나의 인식교정 단말(300)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치 를 포함할 수 있다.
평가위원 단말(400)은, 논술 채점 관리 서비스 관련 웹 페이 지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 논술답안지를 채점하는 평 가위원의 단말일 수 있다.
평가위원 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크 톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 평가위원 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구 현될 수 있다. 적어도 하나의 평가위원 단말(400)은, 예를 들어, 휴대성과 이동성 이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치 를 포함할 수 있다.
관리자 단말(500)은, 논술 채점 관리 서비스 관련 웹 페이지, 앱 페이지, 프 로그램 또는 애플리케이션을 이용하여 실시간으로 채점상황을 출력하여 관리하는 단말일 수 있다.
관리자 단말(500)은, 네트워크를 통하여 원격지의 서버나 단말에 접 속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이 션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 관리자 단말(500)은, 네트워크를 통해 원격지의 서버 나 단말에 접속할 수 있는 단말로 구현될 수 있다. 관리자 단말(500)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬 드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1에 따른 서비스 제공 서버의 기능적 모듈을 예시적으로 나타낸 블록도이다.
서비스 제공 서버(100)는, 저장부(101), 등록부(102), 배정부(103), 테스트 채점부(104), 채점부(105) 및 편차교정부(106)를 포함한다.
서비스 제공 서버(100)나 연동되어 동작하는 다른 서버(미도시)가 인식교정 단말(300), 평가위원 단말(400) 및 관리자 단말(500)로 논술 채점 관리 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 인식 교정 단말(300), 평가위원 단말(400) 및 관리자 단말(500)은, 논술 채점 관리 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 인식교정 단말(300), 평가위원 단말(400) 및 관리자 단말(500)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크 롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.
저장부(101)는, 인식교정 단말(300)과 스캐너를 매핑하여 저장할 수 있다. 인식교정 단말(300)은, 스캔된 이미지와 스캔된 객체 간 차이가 발생하는 경우 교정을 실시하거나 마킹 오류 또는 인식 오류가 발생하는 경우, 마킹 오류 또는 인식 오류를 검증하는 단말일 수 있다. 물론 오류는 인식교정자가 입력할 수 있는데, 마킹 오류 패턴이나 인식 오류 패턴이 누적되어 데이터가 패턴 화가되는 경우 저장된 패턴으로 자동으로 추출하여 교정할 수도 있다. 인식교정 단말(300)은 스캐너로부터 스캔된 논술답안지를 인식한 후 오류가 발생한 경우 교정할 수 있다.
등록부(102)는, 평가위원 단말(400)의 사용자인 평가위원의 정보를 데이터베이스에 저장할 수 있다.
배정부(103)는, 인식교정 단말(300)에서 스캔되어 인식 및 오류가 교정된 논술답안지를 채점하기 위한 평가위원 단말(400)을 배정할 수 있다. 평가위원 단말(400)은, 평가위원으로 등록되어 논술답안지를 배정받으며 채점을 한 후 논술답안지에 대한 편차를 확인하고 재채점에 대한 점수를 입력하고 채점결과를 출력할 수 있다. 이때 응시자의 필체를 평가위원이 알아보고 지인 등의 자녀들에게 점수를 더 주는 부정을 최소화하기 위하여 인식한 후 OCR로 텍스트를 인식하여 각 응시자의 개인정보, 예를 들어, 이름, 수험번호, 사진, 학교 등을 모두 제거하고, 텍스트만을 제공하는 방법도 가능 하다.
<OCR>
OCR이란 광학 문자 인식의 약자로 광학적으로 처리된 문자를 인식하는 방법이다. 컴퓨터에서 표현되는 문자를 인식하는 온라인 인식과 달리, 광학 인식은 기록 또는 인쇄가 완료된 후에 오프라인에서 수행할 수 있는데, 손으로 인쇄하거나 인쇄한 문자는 모두 인식할 수 있지만 정확도는 입력된 문서의 품질에 직접적으로 좌우된다. 광학 스캐너를 사용하여 아날로그 문서를 디지털화하는 것으로 텍스트 영역을 각 심볼로 분할 프로세스를 통해 추출할 수 있고, 전처리 과정은 텍스트 추 출을 용이하게 하기 위해, 심볼의 노이즈를 제거하기 위한 과정을 진행할 수 있고, 텍스트를 추출하는 과정을 거쳐 각 테스트를 비교하여 원본 텍스트의 단어와 숫자를 재구성하는 후처리과정을 거치게 된다.
이때, OCR 텍스트 기반 이미지 분석 모델은, 크게 텍스트 탐지(Text Detection)와 텍스트 인식(Text Recognition)의 과정을 진행한다. 전자는, 이미지 로부터 텍스트가 존재한 위치를 찾아내는 딥러닝의 CTPN(Connectionist Text Proposal Network) 모델을 이용할 수 있다. 여기서, CTPN은 크게 이미지 내 텍스 트와 비텍스트 구별을 위한 CNN 모델과 텍스트 추정영역을 구체화하는 RNN(Recurrent Neural Network) 모델로 구성될 수 있으며, 텍스트로 추정되는 영역을 복수의 픽셀로 세로 분할면으로 쪼개 CNN 모델을 통해 각 분할면이 텍스트에 가 까운지 판단하고, RNN을 통하여 양 옆의 분할면이 연결된 텍스트인지 확인할 수 있 다. 본 발명의 일 실시예에서는, VGG16, BLSTM(Bidirectional Long Short-Term Memory), FC의 구조를 이용할 수 있다.
VCC16은 옥스퍼드 대학에서 개발한 프로그램으로, 입력은 RGB 이미지이고, 구조는 8~16개의 컨볼루션 레이어(Convolutional Layer), 3개의 완전 연결된 레이 어(3 Fully-Connected Layer)를 포함하는데, 상술한 구조에 한정되지는 않는다. 이때, VCC16은, 이미지의 특징을 추출하는데 이용되고, BLSTM(Bidirectional Long Short-Term Memory)는 순환신경망(RNN)의 일종으로 시계열 데이터를 분류하고 예측하기 위해 사용하는 알고리즘이다. 이때, BLSTM은 좌측에서 우측 방향으로의 순방 향 상태 시퀀스와 우측에서 좌측 방향으로의 역방향 상태 시퀀스로 처리하는 2개의 LSTM 출력을 연결함으로써 작업을 수행할 수 있는데, 단방향 LSTM은 과거의 시간 인스턴스에서 온 문맥 정보만 고려되는 반면에, BLSTM은 순방향과 역방향에서 전달하는 과거와 미래의 문맥 정보를 모두 이용하여 학습할 수 있다.
여기서, LSTM은 RNN 방식에서 학습 중에 발생하는 기울기 소실 문제를 해결하기 위한 구조를 가진 순환 신경망의 일종이며, 잠재적인 장시간 기억 의존성을 유지한다. 따라서, 시계열 신호를 분류, 처리 및 예측하기 위해 LSTM은 히스토리 로부터 학습할 수 있다. LSTM은 시간이 지남에 따라 그 상태를 유지하기 위해 순 환적 은닉 계층에 자체 연결을 갖는 특별한 메모리 셀과 이전 상태를 기억하며 각 계층의 입력과 출력에 정보의 흐름을 제어하는 데 사용되는 3개의 게이트구조(입력 게이트, 망각 게이트 및 출력 게이트)를 가질 수 있으며, 이러한 순환 출력 계층을 갖는 LSTM은 입력 텍스트의 문맥 정보를 함께 포착할 수 있다. 그리고, BLSTM에서 시계열 데이터의 시간 관계를 학습한 결과를 상술한 완전 연결된 레이어를 거쳐 얻 어낼 수 있다. 후자인 텍스트 인식(Text Recognition)은 텍스트 이미지를 텍스트 로 추출하는 CRNN(Convolution Recurrent Neural Network) 모델을 이용할 수 있다. 이때, CRNN은 CNN과 RNN을 결합한 딥러닝 구조로 비디오와 같이 공간 정보와 시간 정보가 모두 중요한 데이터를 추출할 때 이용될 수 있다.
본 발명의 일 실시예에 따른 CRNN은, 컨볼루션층(Convolution Layer), 순환 층(Recurrent Layer), 전사층(Transcription Layer)로 이루어질 수 있으며, 컨볼루 션층에서 입력받은 이미지로부터 특징 시퀀스를 추출한 후, 순환층에서 특징 시퀀 스에서 매개의 프레임에 대하여 값을 예측하며, 예측한 값들의 시퀀스는 전사층을 통하여 정답 레이블로 재작성되어 최종적으로 텍스트를 추출하게 된다. 그리고, CRNN은 CTPN(Connectionist Text Proposal Network)와는 다르게 전체 이미지가 아닌 문자 영역의 이미지를 기반으로 학습하기 때문에, 이미지 속 문자를 추출하면 이를 필드별로 분류하는 개체명 인식 과정이 필요할 수 있는데, BLSTM, CNNs, CRF(Conditional Random Field) 모델을 더 이용할 수 있으며, 문자와 해당 개체명을 기반으로 학습할 수 있다.
개체명(Named Entity)은 이전에 미리 정의된 비슷한 속성을 지닌 다른 개체 들의 집합에서 하나의 개체를 식별할 수 있는 단어, 또는 문장 내에서 더 이상 분 해할 수 없는 어구를 의미한다. 개체명 인식 과정은 문헌 내에 표현된 개체명을 식별하는 과정을 말하며, 개체명 간의 관계를 통한 정보 추출 과정에 선행되어야 하는 과정이다. 개체명 인식은 문장 내의 정보에 대한 일종의 연속적인 레이블 링(Sequence Labeling) 문제로 분류하여 어떠한 위치에 어떠한 속성을 가진 개체명 이 있는지를 학습하면, 하나의 페이지에 기록된 데이터 속성정보를 얻을 수 있다.
일차 선형 체인의 CRF 기반의 개체명 인식 방법을 이용하면, 문자열 정보에 대한 조건부 확률인 Log-Likelihood 값을 최대화하여 개체명 인식의 성능을 향상시 킬 수 있다. 이때, 연속적인 레이블링 문제에 좋은 성능을 보이고 있는 심층학습 기법인 LSTM(Long-Short Term Unit)을 양방향으로 활용하고, 이에 조건부 랜덤 필 드를 부착하는 형태의 BLSTM-CRF 모델을 구성하여 개체명 인식을 수행할 수도 있 다. 개체명 인식에서는 개체 유형별 개체명 정보를 포함하는 개체명 사전 정보를 주요한 자질로 활용한다. 텍스트 기반 엔진에서도 언급된 BLSTM 모델을 기반으로 개체명 사전에 대한 매핑 정보를 이진 벡터 형태로 구성하여 입력 벡터에 병합할 수도 있다.
<필기체 인식>
이때, 한글, 영문, 숫자 및 특수기호를 포함한 서로 다른 글자의 필기체 인 식을 수행하기 위해 데이터셋을 구축할 수 있다. 또, 한글, 영문, 숫자 및 특수 기호를 포함한 서로 다른 글자들의 필기체 인식을 위한 CNN 기반 심층 학습을 위 해, 대량의 인쇄체 및 필기체 글자 이미지 데이터셋의 준비할 수 있다. 학습 완료된 심층 신경망 모델의 파라미터들을 임베디드 시스템상에서 학습 기능을 제외한 추론 기능만을 수행하는 신경망 모델에 이식 및 이식된 신경망 모델을 글자 인식 엔진으로 사용하여 각 논술답안지에 기재된 글자를 인식할 수 있도록 한다.
<심층 학습용 데이터셋 및 심층 학습>
한글, 영문, 숫자 및 특수 기호가 혼합된 필기체 인식을 위한 CNN 기반 심층 신경망 모델의 심층 학습을 위해서는 대규모의 인쇄체/필기체 글자 이미지셋의 구 축이 선행되어야 한다.
<심층 학습용 데이터셋의 구축>
한글의 경우 현대 한글 맞춤법에 따라 조합 가능한 글자의 수는 이론상 11,172종이 가능하지만, 실생활에서 거의 사용되지 않는 글자들이 대부분이고, 데 스크톱과 비교해 상대적으로 계산 능력이 떨어지는 임베디드 시스템상에서의 추론을 위하여 CNN 기반 심층 신경망 모델의 구조를 최소화할 필요가 있으므로, 한글 인식 대상 범위를 완성형 한글에서 지원하는 글자로 한정할 수 있고, 더욱 한정하 기 위해서는 각종 논술답안지 등에서 사용하는 글자로 한정할 수 있다. 심층 학습 및 검증을 위한 필기체 이미지 데이터셋은 AI Hub Korea에서 배포하는 한국어 글자 체 이미지 데이터셋, 각 논술채점기관으로부터 업로드된 한, 영, 숫자 이미지 데이 터셋, NIST-SD19 영문 숫자 필기체 이미지 데이터셋을 기본으로 설정할 수 있다.
성공적인 심층 학습을 위해서는 양질의 대규모 데이터셋이 필수적인 선결사 항이다. NIST-SD19 영문 숫자 필기체 이미지 데이터셋 수준의 한글 글자 이미지 세트 및 특수 기호 36자에 대응하는 이미지 데이터셋 확보를 위하여 폰트 기반 필 기체 글자 이미지 프로그램(Automatic Letter Image Creation with Effects)을 사 용할 수 있다. ALICE는 주어진 기본 글자 이미지에 회전, 임의 탄성 왜곡(Random Elastic Distortion), X/Y축 Shearing, Erosion/Dilation 등의 이미지 변환 기능을 가진 데이터 증강(Data Augmentation)용 프로그램이다.
<CNN 기반 심층 학습>
다수의 클래스로 이루어진 필기체 인식용 심층 신경망 모델은 ResNet 모델을 기반으로 한글 인식에 맞게 수정할 수 있다. CNN 기반의 심층 신경망 모델의 경 우, 레이어가 깊어질수록 학습에 필요한 파라미터 계산에 필요한 그라디언트 계산 과정 중에 그라디언트 소실 또는 폭발(Gradient Vanishing or Exploding) 발생 가 능성이 커지고, 이에 따라 학습이 잘 이루어지지 않아 오히려 성능이 떨어지는 현 상이 발생하는 것으로 알려졌다. ResNet은 어떤 레이어의 출력을 한 단계를 건너 뛴 그 다음 레이어의 입력에 바로 연결하게 하는 스킵 커넥션(Skip Connection)을 사용하여 최소 그라디언트가 1이 되도록 만들어 줌으로써 그라디언트 소실의 문제 점을 해결할 수 있고, 이미지 분류 문제에 있어서 우수한 성능을 달성할 수 있다. ResNet은 심층 신경망 모델을 구성하는 레이어 중 학습을 통하여 최적화되는 파라 메터가 포함된 레이어, 즉, 컨볼루션 레이어(Convolution Layer) 및 완전 연결 레 이어(Fully Connected Layer)의 개수에 따라, ResNet-18, ResNet-34, ResNet-50, ResNet-101, ResNet-152 등으로 구분한다. 데스크톱과 비교했을 때 컴퓨팅 리소스 가 상대적으로 제한되는 임베디드 시스템에서 추론을 위하여 작은 규모의 모델인 ResNet-18을 선택할 수 있으나 나머지를 배제하는 것은 아니다.
CAFFE 심층 학습 프레임워크 기반의 Github에 공개된 ResNet-18 모델을 수정하여 사용할 수 있다. ResNet 계열의 심층 신경망 모델들은 1,000개의 클래스를 가진 총 백만 개가 넘는 이미지로 구성된 ILSVRC2012(ImageNet Large Scale Visual Recognition Challenge 2012) 데이터셋을 학습하는 용도로 설계되었기에 본 연구의 목표의 글자 인식에 맞게 모델 구조를 수정하고, 레이어 파라미터들도 수정할 수 있다. 학습에 사용할 GPU의 성능에 맞게 하이퍼 파라미터도 조정할 수 있다.
<심층 신경망 모델 이식>
고성능 GPU가 장착된 데스크톱에서 학습된 심층 신경망 모델을 실제 서비스 용 타겟 시스템인 임베디드 시스템 상, 즉 인식교정 단말(300) 상에 이식할 수 있 다. 인식교정 단말(300)에서 스캐너로 답안지를 스캔하는 경우, 스캔 각도, 노이 즈 및 왜곡 효과가 필연적으로 포함될 수 밖에 없다. 따라서 스캔된 이미지에 포 함된 노이즈 및 왜곡 효과를 제거하기 위하여, 이미지 전처리 기능을 통과한 보정 된 이미지를 사용할 수 있다. 비스듬히 스캔된 경우, 직사각형화하는 촬영 각 보 정(Angle Correction)을 통하여 양식 영역을 분리하고, 이진화과정의 전처리를 통 하여 그레이스케일 이미지로 변환하고, 응시자번호나 이름을 기재하는 표 영역과 표가 아닌 영역의 텍스트 영역을 분리하고, 표 영역 내부의 개별 셀 영역을 구분한 후, 개별 셀 영역 내의 텍스트 영역들을 분리하고, 분리된 텍스트 영역에서 개별 글자 이미지들을 추출한다. 예를 들어, 확보된 텍스트 영역에서 영역에 등고선 기 반 추출(Contour-based Segmentation)기법과 캐니 에지 탐지 기법(Canny Edge Detection) 알고리즘을 적용할 수 있다.
최종적으로 추출된 개별 글자 이미지들은 본 발명의 심층 신경망 모델의 입 력으로 주어진다. 응용 프로그램 내부에서는 고정 양식 폼에서의 표 영역의 좌표, 표가 아닌 영역에서는 텍스트의 좌표, 셀의 좌표 정보와 개별 글자들의 좌표 정보 를 저장하여, 심층 신경망 모델을 사용하여 추론한 결과를 입력 이미지에서 대응하 는 글자의 좌표 위치에 매핑하는 자료구조를 유지할 수 있다. 임베디드 시스템상 에서 필기체 글자 추론 기능은 자체 개발한 추론 가속 라이브러리에 기반한 추론 기능만을 가진 심층 신경망 모델을 작성하고, 데스크톱에서 대규모 데이터셋을 사 용하여 학습된 심층 신경망 모델의 파라미터들을 적재하여 사용하는 전이학 습(Transfer Learning) 기술을 사용할 수 있다.
도 3은 도 1에 따른 서비스 제공 서버(100)가 논술채점 관리 서비스를 제공하는 과정을 도시하는 흐름도이다.
서비스 제공 서버(100)의 데이터베이스에는 논술문제와 복수의 답안지가 매칭되어 저장된다. 복수의 답안지는 인식교정 단말(300)에 의해 인식 및 교정된 상태로 논술문제와 매칭되어 데이터베이스에 저장된다.
먼저, 배정부(103)가 논술문제와 매칭되는 답안지의 채점을 위해 평가위원 단말(400)을 배정한다(S100).
서비스 제공 서버(100)의 데이터베이스에는 복수의 평가위원의 정보가 저장되고, 배정부(103)는, 미리 설정된 수의 평가위원을 선택하고 논술문제와 매칭하여 데이터베이스에 저장한다.
또한, 테스트 채점부(104)가, 배정된 평가위원 단말(400)에게 논술문제와 매칭되는 테스트 답안지를 전송하고, 배정된 평가위원 단말(400)이 테스트 답안지에 대한 테스트 채점을 수행한다(S200).
테스트 채점부(104)는, 논술문제와 매칭된 평가위원의 평가위원 단말(400)에 테스트 답안지를 전송하고, 배정된 평가위원 단말(400)에 테스트 답안지에 대한 테스트 채점을 요청한다.
서비스 제공 서버(100)의 데이터베이스에는 논술문제와 미리 설정된 수의 테스트 답안지가 미리 매칭되어 저장된다.
테스트 답안지는 논술문제의 응시자들에 의해 작성된 답안지가 아닌, 논술문제의 출제자 측에서 사전에 미리 작성한 것을 의미하며, 테스트 답안지는 서비스 제공 서버(100)의 데이터베이스에 논술문제와 매칭되어 저장된다.
도 4는 도 3의 S200단계의 구체적인 과정을 도시하는 흐름도이다.
테스트 채점부(104)가, 논술문제와 매칭되는 테스트 답안지를 배정된 평가위원 단말(400)에 제공한다(S210).
테스트 채점부(104)는, 배정된 복수의 평가위원 단말(400) 각각에 테스트 답안지를 제공한다.
서비스 제공 서버(100)는, 평가위원 단말(400)에 테스트 답안지를 디스플레이할 수 있는 사용자 인터페이스를 제공한다.
테스트 채점부(104)가, 평가위원 단말(400)로부터 테스트 답안지에 포함된 중요문장 및 중요문장과 매칭되는 중요도를 수신한다(S220).
테스트 채점부(104)는, 테스트 답안지에 기재된 텍스트들을 문장 단위로 분리하고, 평가위원 단말(400)에 분리된 복수의 문장에 대한 선택신호를 입력할 수 있는 사용자 인터페이스를 제공한다.
일 실시 예에서, 테스트 채점부(104)는, 미리 설정된 부호를 기준으로 문장을 분리할 수 있다. 예를 들어, 답안지에 기재된 텍스트들에 ".", ","가 포함된 경우, ".", ","을 문장의 끝으로 판단하여 문장을 분리할 수 있다.
일 실시 예에서, 테스트 채점부(104)는, 답안지에 포함된 텍스트를 형태소 단위로 분석하고, 형태소의 유형을 일반명사, 동사, 선어말 어미, 연결 어미, 종결 어미, 부사, 형용사, 관형형 전성 어미, 격조사 등으로 분류할 수 있다. 테스트 채점부(104)는, 종결 어미의 위치를 기준으로 문장을 분리할 수 있다.
일 실시 에에서, 테스트 채점부(104)는, 공지된 다양한 방식으로 답안지에 기재된 텍스트들을 문장 단위로 분리할 수 있다.
테스트 채점부(104)는, 평가위원 단말(400)에 문장의 중요도에 대한 선택신호를 입력할 수 있는 사용자 인터페이스를 제공한다.
일 실시 예에서, 평가위원 단말(400)은, 제공된 사용자 인터페이스를 통해 문장와 매칭되는 중요도를 상, 중, 하 중 어느 하나로 선택할 수 있다.
테스트 채점부(104)는, 평가위원 단말(400)로부터 수신한 선택신호와 매칭되는 문장을 중요문장으로 결정하고, 평가위원 단말(400)로부터 수신한 선택신호와 매칭되는 중요도를 중요문장과 매칭하여 데이터베이스에 저장한다. 중요문장 및 중요문장과 매칭되는 중요도는 선택신호를 제공한 평가위원 단말(400)과 매칭되어 데이터베이스에 저장된다.
테스트 채점부(104)가, 평가위원 단말(400)로부터 테스트 답안지에 포함된 중요단어 및 중요단어와 매칭되는 중요도를 수신한다(S230).
테스트 채점부(104)는, 테스트 답안지에 기재된 텍스트에 포함된 단어를 추출하고, 평가위원 단말(400)에 추출된 복수의 단어에 대한 선택신호를 입력할 수 있는 사용자 인터페이스를 제공한다.
일 실시 예에서, 테스트 채점부(104)는, 테스트 답안지에 포함된 텍스트를 형태소 단위로 분석하고, 형태소의 유형을 일반명사, 동사, 선어말 어미, 연결 어미, 종결 어미, 부사, 형용사, 관형형 전성 어미, 격조사 등으로 분류할 수 있다. 테스트 채점부(104)는, 형태소의 유형이 일반명사 또는 동사인 형태소를 추출하고, 추출된 형태소에 대한 선택신호를 입력할 수 있는 사용자 인터페이스를 평가위원 단말(400)에 제공할 수 있다.
일 실시 예에서, 테스트 채점부(104)는, 공지된 다양한 방식으로 테스트 답안지에 포함된 일반명사 또는 동사를 추출할 수 있다.
테스트 채점부(104)는, 평가위원 단말(400)에 단어의 중요도에 대한 선택신호를 입력할 수 있는 사용자 인터페이스를 제공한다.
일 실시 예에서, 평가위원 단말(400)은, 제공된 사용자 인터페이스를 통해 단어와 매칭되는 중요도를 상, 중, 하 중 어느 하나로 선택할 수 있다.
테스트 채점부(104)는, 평가위원 단말(400)로부터 수신한 선택신호와 매칭되는 단어를 중요단어로 결정하고, 평가위원 단말(400)로부터 수신한 선택신호와 매칭되는 중요도를 중요단어와 매칭하여 데이터베이스에 저장한다. 중요단어 및 중요단어와 매칭되는 중요도는 선택신호를 제공한 평가위원 단말(400)과 매칭되어 데이터베이스에 저장된다.
테스트 채점부(104)가, 평가위원 단말(400)로부터 테스트 답안지와 매칭되는 점수를 수신한다(S240).
테스트 채점부(104)는, 평가위원 단말(400)에 테스트 답안지에 대한 점수를 입력할 수 있는 사용자 인터페이스를 제공한다.
테스트 채점부(104)는, 평가위원 단말(400)로부터 수신한 점수와 테스트 답안지를 매칭하여 데이터베이스에 저장한다.
테스트 채점부(104)는, 평가위원 단말(400)에게 제공된 테스트 답안지의 개수와 미리 설정된 기준개수를 비교한다(S250).
일 실시 예에서, 서비스 제공 서버(100)의 데이터베이스에는 테스트 답안지와 기준개수가 미리 매칭되어 저장된다. 기준개수는 임의로 설정될 수 있다.
테스트 채점부(104)는, 평가위원 단말(400)에게 제공된 테스트 답안지의 개수와 미리 설정된 기준개수 보다 작은 경우, 평가위원 단말(400)에 제공할 테스트 답안지를 데이터베이스에서 검색한다.
테스트 채점부(104)는, 검색된 테스트 답안지를 평가위원 단말(400)에 제공하여 상술한 S210단계, S220단계, S230단계 및 S240단계를 수행한다.
이를 통해, 평가위원 단말(400)이 미리 설정된 기준개수만큼의 테스트 답안지에 대한 테스트 채점을 수행할 수 있다.
테스트 채점부(104)는, 평가위원 단말(400)에게 제공된 테스트 답안지의 개수가 미리 설정된 기준개수 이상인 경우, 미리 설정된 기준개수의 테스트 답안지의 점수의 분포가 미리 설정된 점수 분포 기준을 충족하는지 판단한다(S260).
테스트 채점부(104)는, 테스트 답안지의 점수의 분포가 미리 설정된 점수 분포 기준을 충족하지 못하는 경우, 평가위원 단말(400)에 제공할 테스트 답안지를 데이터베이스에서 검색한다.
테스트 채점부(104)는, 검색된 테스트 답안지를 평가위원 단말(400)에 제공하여 상술한 S210단계, S220단계, S230단계 및 S240단계를 수행한다.
테스트 채점부(104)는, 미리 설정된 기준개수의 테스트 답안지의 점수의 분포가 미리 설정된 점수 분포 기준을 충족하는 경우 테스트 채점을 종료한다.
테스트 채점부(104)는, 미리 설정된 기준개수의 테스트 답안지의 점수 중 최저점과 최고점의 차이 값과 미리 설정된 기준편차를 비교한다. 서비스 제공 서버(100)의 데이터베이스에는 미리 설정된 기준편차가 저장된다.
최저점과 최고점의 차이 값이 미리 설정된 기준편차보다 작은 경우, 테스트 채점부(104)는, 데이터베이스에서 논술문제와 매칭된 새로운 테스트 답안지를 검색하고, 검색된 테스트 답안지를 평가위원 단말(400)에게 제공한다.
테스트 채점부(104)는, 테스트 채점이 완료된 테스트 답안지의 점수의 평균 값을 산출하고, 평균 값과 점수의 최저점의 차이 값인 제1 간격을 산출하며, 평균 값과 점수의 최고점의 차이 값인 제2 간격을 산출한다.
테스트 채점부(104)는, 제1 간격과 제2 간격의 차이 값과 미리 설정된 기준차이값을 비교한다. 서비스 제공 서버(100)의 데이터베이스에는 미리 설정된 기준차이값이 저장된다.
테스트 채점부(104)는, 제1 간격과 제2 간격의 차이 값이 미리 설정된 기준차이값보다 큰 경우, 테스트 채점부(104)는, 데이터베이스에서 논술문제와 매칭된 새로운 테스트 답안지를 검색하고, 검색된 테스트 답안지를 평가위원 단말(400)에게 제공한다.
테스트 채점부(104)는, 테스트 채점이 완료된 테스트 답안지의 점수의 표준편차를 산출하고, 표준편차와 미리 설정된 기준표준편차를 비교한다. 서비스 제공 서버(100)의 데이터베이스에는 미리 설정된 기준표준편차가 저장된다.
산출된 표준편차가 미리 설정된 기준표준편차보다 작은 경우, 테스트 채점부(104)는, 데이터베이스에서 논술문제와 매칭된 새로운 테스트 답안지를 검색하고, 검색된 테스트 답안지를 평가위원 단말(400)에게 제공한다.
미리 설정된 개수개수 외에 추가로 테스트 답안지가 평가위원 단말(400)에 제공된 경우, 테스트 채점부(104)는, S220단계, S230단계, S240단계, S250단계 및 S260단계를 다시 수행한다.
최저점과 최고점의 차이 값이 미리 설정된 기준편차보다 크고, 제1 간격과 제2 간격의 차이 값이 미리 설정된 기준차이값보다 작으며, 산출된 표준편차가 미리 설정된 기준표준편차보다 큰 경우, 테스트 채점부(104)는, 테스트 채점을 종료한다.
다시 도 3을 참조하면, 채점부(105)가, 배정된 평가위원 단말(400)에게 논술문제와 매칭되는 답안지를 전송하고, 배정된 평가위원 단말(400)이 답안지에 대한 채점을 수행한다(S300).
채점부(105)는, 논술문제와 매칭된 평가위원의 평가위원 단말(400)에 답안지를 전송하고, 배정된 평가위원 단말(400)에 답안지에 대한 채점을 요청한다.
서비스 제공 서버(100)의 데이터베이스에는 논술문제와 답안지가 미리 매칭되어 저장된다.
답안지는 논술문제의 응시자들에 의해 작성된 답안지를 의미한다.
도 5는 도 3의 S300단계의 구체적인 과정을 도시하는 흐름도이다.
채점부(105)가, 논술문제와 매칭되는 답안지를 배정된 평가위원 단말(400)에 제공한다(S310).
채점부(105)가, 배정된 복수의 평가위원 단말(400) 각각에 답안지를 제공한다.
서비스 제공 서버(100)는, 평가위원 단말(400)에 답안지를 디스플레이할 수 있는 사용자 인터페이스를 제공한다.
채점부(105)가, 평가위원 단말(400)에 답안지에 포함된 중요단어 및 중요단어와 매칭되는 중요도를 제공한다(S320).
채점부(105)는, 서비스 제공 서버(100)의 데이터베이스에서 평가위원 단말(400) 및 논술문제와 매칭되는 중요단어 및 중요단어와 매칭되는 중요도를 검색한다.
채점부(105)는, 답안지에 기재된 텍스트에 포함된 단어를 추출하고, 추출된 단어에 포함된 중요단어 및 중요단어와 매칭되는 중요도를 평가위원 단말(400)에 디스플레이한다.
일 실시 예에서, 채점부(105)는, 답안지에 포함된 텍스트를 형태소 단위로 분석하고, 형태소의 유형을 일반명사, 동사, 선어말 어미, 연결 어미, 종결 어미, 부사, 형용사, 관형형 전성 어미, 격조사 등으로 분류할 수 있다. 채점부(105)는, 형태소의 유형이 일반명사 또는 동사인 형태소를 추출하고, 추출된 형태소 중 중요단어와 일치하는 형태소를 선택하여 평가위원 단말(400)에게 제공한다. 일 실시 예에서, 중요단어와 일치하는 형태소는 중요단어와 일치하지 않는 형태소와 다른 색상으로 디스플레이 될 수 있다. 또한, 채점부(105)는, 평가위원 단말(400)에 중요단어와 매칭되는 중요도를 제공할 수 있다.
평가위원 단말(400)의 사용자(평가위원)가 테스트 채점에서 본인이 선택했던 중요단어 및 중요도를 참고하여 답안지에 대핸 점수를 입력할 수 있다. 이를 통해, 평가위원 단말(400)의 사용자(평가위원)가 평가기준을 유지하는데 도움이 될 수 있다.
채점부(105)가, 답안지와 테스트 답안지 사이의 유사도를 산출한다(S330).
채점부(105)는, 답안지에 포함된 텍스트들을 복수의 문장(이하, 제1 문장이라고 함)으로 분류하고, 테스트 답안지에 포함된 텍스트들을 복수의 문장(이하, 제2 문장이라고 함)으로 분류한다.
채점부(105)는, 복수의 제1 문장 각각과 복수의 제2 문장 사이의 문장 유사도를 산출한다.
일 실시 에에서, 문장 유사도를 산출하기 위해, 레벤슈타인 거리, n-gram, 유클리드거리, 코사인 유사도 등이 사용될 수 있다. 예를 들어, 제1 문장 및 제2 문장을 형태소 단위로 분류하고 미리 설정된 규칙에 따라 벡터화할 수 있다. 두 벡터 사이의 코사인 각도를 구했을 때, 코사인 각도가 작고 유클리드 거리가 짧을수록 문장 유사도를 크게 결정할 수 있다. 다만, 이에 한정되는 것은 아니며, 문장 유사도를 산출하기 위해 공지된 다양한 방법이 사용될 수 있다.
일 실시 예에서 유사도는 아래의 수학식 1에 의해 산출될 수 있다.
상기의 수학식 1에서, A는 유사도를 의미하고, m은 답안지에 포함된 제1 문장의 개수를 의미하며, m은 테스트 답안지에 포함된 제2 문장의 개수를 의미하고, Sij는 답안지의 i번째 제1 문장과 테스트 답안지의 j번째 제2 문장 사이의 문장 유사도를 의미하며, g는 미리 설정된 기준 문장 유사도를 의미하고, Ci는 답안지에 포함된 i번째 제1 문장의 중요도에 의해 결정되는 문장 중요도 계수를 의미하며, l은 답안지에 포함된 중요단어의 개수를 의미하고, Wk는 답안지에 포함된 k번째 중요단어가 테스트 답안지에 포함된 횟수를 의미하며, dk는 답안지에 포함된 k번째 중요단어의 중요도에 의해 결정되는 단어 중요도 계수를 의미하고, T는 테스트 답안지에 포함되는 단어의 총 개수를 의미한다.
일 실시 예에서, 제1 문장의 중요도가 없는 경우, 제1 문장의 중요도가 "하"인 경우, 제1 문장의 중요도가 "중"인 경우, 제1 문장의 중요도가 "상"인 경우 순서대로 문장 중요도 계수가 크게 설정될 수 있다. 예를 들어, 제1 문장의 중요도가 없는 경우, 제1 문장의 중요도가 "하"인 경우, 제1 문장의 중요도가 "중"인 경우, 제1 문장의 중요도가 "상"인 경우 문장 중요도 계수가 1, 1.1, 1.2, 1.3으로 설정될 수 있다.
일 실시 예에서, 단어의 중요도가 없는 경우, 단어의 중요도가 "하"인 경우, 단어의 중요도가 "중"인 경우, 단어의 중요도가 "상"인 경우 순서대로 단어 중요도 계수가 크게 설정될 수 있다. 예를 들어, 단어의 중요도가 없는 경우, 단어의 중요도가 "하"인 경우, 단어의 중요도가 "중"인 경우, 단어의 중요도가 "상"인 경우 단어 중요도 계수가 1, 1.1, 1.2, 1.3으로 설정될 수 있다.
테스트 답안지에 기준 문장 유사도보다 문장 유사도가 크게 산출된 제2 문장이 상대적으로 많을수록 유사도가 크게 결정되고, 테스트 답안지에 기준 문장 유사도보다 문장 유사도가 크게 산출된 제2 문장이 상대적으로 적을수록 유사도가 작게 결정된다.
테스트 답안지에 기준 문장 유사도보다 문장 유사도가 크게 산출된 제2 문장의 중요도가 상대적으로 클수록 유사도가 크게 결정되고, 테스트 답안지에 기준 문장 유사도보다 문장 유사도가 크게 산출된 제2 문장의 중요도가 상대적으로 작을수록 유사도가 작게 결정된다.
답안지에 포함된 중요단어가 테스트 답안지에 상대적으로 많이 포함될수록 유사도가 크게 결정되고, 답안지에 포함된 중요단어가 테스트 답안지에 상대적으로 적게 포함될수록 유사도가 작게 결정된다.
테스트 답안지에 포함된 답안지의 중요단어의 중요도가 상대적으로 높을수록 유사도가 크게 결정되고, 테스트 답안지에 포함된 답안지의 중요단어의 중요도가 상대적으로 낮을수록 유사도가 작게 결정된다.
평가위원 단말(400)별로 선택한 중요문장, 중요단어 및 중요도가 상이하므로, 유사도는 평가위원 단말(400)별로 다르게 산출될 수 있다.
채점부(105)가, 답안지와 유사도가 가장 높은 테스트 답안지의 점수를 평가위원 단말(400)에 제공한다(S340).
평가위원 단말(400)의 사용자(평가위원)가 현재 채점하고 있는 답안지와 가장 유사한 테스트 답안지에서 본인이 입력했던 점수를 참고하여 답안지에 대해 점수를 입력할 수 있다. 이를 통해, 평가위원 단말(400)의 사용자(평가위원)가 평가기준을 유지하는데 도움이 될 수 있다.
채점부(105)가, 평가위원 단말(400)로부터 답안지와 매칭되는 점수를 수신한다(S350).
채점부(105)가, 평가위원 단말(400)에게 제공된 답안지의 개수와 미리 설정된 기준개수를 비교한다(S360).
채점부(105)는, 평가위원 단말(400)에게 제공된 답안지의 개수와 미리 설정된 기준개수 보다 작은 경우, 평가위원 단말(400)에 제공할 답안지를 데이터베이스에서 검색한다.
채점부(105)는, 검색된 테스트 답안지를 평가위원 단말(400)에 제공하여 상술한 S310단계, S320단계, S330단계, S340단계 및 S350단계를 수행한다.
채점부(105)는, 미리 설정된 기준개수와 답안지의 개수가 일치하는 경우 테스트 채점을 종료한다.
다시 도 3을 참조하면, 편차교정부(106)가, 채점결과에 편차가 발생하는 경우 재채점을 진행한다(S400).
도 6은 도 3의 S400단계의 구체적인 과정을 도시하는 흐름도이다.
배정부(103)는, 하나의 논술문제에 대해 복수의 평가위원 단말(400)을 배정하며, 편차교정부(106)는, 동일한 논술문제에 대해 서로 다른 평가위원 단말(400)이 부여한 점수를 이용해 재채점 여부를 결정한다.
도 6을 참조하면, 편차교정부(106)가, 논술문제에 대해 배정된 복수의 평가위원 단말(400) 중 어느 하나인 제1 평가위원 단말(400)이 답안지에 대해 채점한 제1 점수와 제1 평가위원 단말(400)과 다른 평가위원 단말(400)인 제2 평가위원 단말(400)이 답안지에 대해 채점한 제2 점수의 차이 값인 제1 편차를 산출한다(S410).
제1 편차는, 동일한 답안지에 대해 제1 사용자(평가위원) 및 제2 사용자(평가위원)가 부여한 점수의 차이를 의미한다.
편차교정부(106)가, 제1 평가위원 단말(400)을 기준으로, 답안지와 유사도가 가장 높은 테스트 답안지인 제1 테스트 답안지에 대한 제1 평가위원 단말(400)이 채점한 제3 점수와 제2 평가위원 단말(400)이 제1 테스트 답안지에 대해 채점한 제4 점수의 차이 값인 제2 편차를 산출한다(S420).
제2 편차는, 제1 사용자(평가위원)의 테스트 채점 결과를 기준으로 답안지와 유사도가 가장 높은 테스트 답안지에 대해 제1 사용자(평가위원) 및 제2 사용자(평가위원)가 부여한 점수의 차이를 의미한다.
편차교정부(106)가, 제2 평가위원 단말을 기준으로, 답안지와 유사도가 가장 높은 테스트 답안지인 제2 테스트 답안지에 대한 제1 평가위원 단말(400)이 채점한 제5 점수와 제2 평가위원 단말(400)이 제2 테스트 답안지에 대해 채점한 제6 점수의 차이 값인 제3 편차를 산출한다(S430).
제3 편차는, 제2 사용자(평가위원)의 테스트 채점 결과를 기준으로 답안지와 유사도가 가장 높은 테스트 답안지에 대해 제1 사용자(평가위원) 및 제2 사용자(평가위원)가 부여한 점수의 차이를 의미한다.
편차교정부(106)가, 제1 편차와 제2 편차의 차이값과 미리 설정된 기준 편차를 비교하고, 제1 편차와 제3 편차의 차이값과 미리 설정된 기준 편차를 비교한다(S440).
편차교정부(106)가, 제1 편차와 제2 편차의 차이값이 미리 설정된 기준 편차 이상인 경우, 재채점을 진행한다(S450).
편차교정부(106)가, 제1 편차와 제3 편차의 차이값이 미리 설정된 기준 편차 이상인 경우, 재채점을 진행한다(S450).
즉, 답안지와 유사도가 높은 테스트 답안지에서의 서로 다른 사용자(평가위원) 간의 점수 편차와 답안지에서의 서로 다른 사용자(평가위원) 간의 점수 편차의 차이가 큰 경우, 재채점이 진행된다.
사용자(평가위원)의 평가기준을 유지하지 못한 가능성이 큰 경우, 재채점이 진행되므로, 이를 통해, 평가기준을 유지하는데 도움이 될 수 있다.
재채점 진행 시, 편차교정부(106)는, 제1 평가위원 단말(400)이 답안지에 대해 채점한 점수를 제2 평가위원 단말(400)에 제공하고, 제2 평가위원 단말(400)이 답안지에 대해 채점한 점수를 제1 평가위원 단말(400)에 제공한다. 편차교정부(106)는, 제1 평가위원 단말(400) 및 제2 평가위원 단말(400)에 재채점의 대상이 된 답안지를 제공하고, 제1 평가위원 단말(400) 및 제2 평가위원 단말(400)로부터 답안지에 대한 점수를 수신한다.
편차교정부(106)는, 제1 편차와 제2 편차의 차이값이 미리 설정된 기준 편차보다 작고, 제1 편차와 제3 편차의 차이값이 미리 설정된 기준 편차보다 작은 경우, 제1 평가위원 단말(400)이 답안지에 대해 채점한 점수를 논술문제와 매칭하여 데이터베이스에 저장하고, 제2 평가위원 단말(400)이 답안지에 대해 채점한 점수를 논술문제와 매칭하여 데이터베이스에 저장한다.
일 실시 예에서, 편차교정부(106)가, 복수의 평가위원 단말(400) 각각이 점수를 주는 방식을 파악하고, 이를 조절함으로써 편차를 줄이는 것도 가능하다.
<평가자 객관화>
특허심사과정에서도 당업자라는 이상적인 인간을 상정하고 심사를 실시하지 만 각 심사주체의 배경지식, 경험, 이력 등에 따라 심사기준을 엄격하게 적용하거 나 유연하게 적용하는 차이가 발생하므로 기계적인 객관성을 확보하기는 쉽지 않 다. 마찬가지로, 평가자는 문항의 난이도, 평가자의 엄격성, 평가자의 척도 사용 방식의 상호작용을 바탕으로 점수를 산출하게 된다. 즉, 평가자는 개인의 성격과 취향을 바탕으로 평가를 수행하며 이와 같은 평가자 간 차이는 유사하거나 동일한 자료를 평가하더라도 상반되는 결과를 가져올 수 있다. 따라서 평가자 특성을 고 려하지 않은 평가결과는 공정하지 않은 결과를 초래할 수 있다. 특히 평가자 특성 중에서도 인지과정에서 기인하는 판단의 일종인 평가자 엄격성이 중요하게 언급되 고 있는데, 평가자의 엄격성에 관한 판단을 고려하지 않은 점수는 신뢰도와 타당도를 보장한다고 보기 어렵다. 즉, 마찬가지로 각 채점자가 서로 다른 배경지식, 경 력 등이 다르고 엄격한 기준으로 점수를 부여하는지 또는 유연한 기준에서 점수를 부여하는지에 따라 서로 점수가 달라지게 되므로 평가자 간 차이점을 조정하는 캘 리브레이션 과정이 있어야 객관적인 점수가 도출되게 된다.
이에, 본 발명의 일 실시예에서는, 평가자 사전 교육을 실시하여 척도 사용 의 일관성을 도모하는 방법을 이용할 수 있다. 다만, 이는 평가의 객관성을 어느 정도 보장할 수 있으나 평가자는 채점에 있어 개인의 지식, 과거의 경험, 본인의 취향 등을 반영하기 때문에 사전 교육이 평가자 특성을 고려했다고 보기는 어렵다. 이와 같은 상황에서 평가자 엄격성, 문항난이도, 평가자의 척도 사용 방법을 종합 적으로 고려하여 평가의 공정성을 향상 시킬 수 있는 방안으로 본 발명의 일 실시 예에서는, MFRMM(Many－Facets Rasch Measurement Model)을 이용할 수 있다.
MFRMM은 문항반응이론(Item Response Theory: IRT)을 바탕으로 한 일모 수(One－Parameter) 모형인 라쉬 모형(Rasch Model)으로부터 발전된 이론적 모형이 다. MFRMM은 평가자 엄격성, 문항난이도를 모수로 포함 할 수 있기 때문에 평가 상황에서 이용할 수 있다. MFRMM은 IRT에 근거한 측정모형에 기반한 평가척도모 형(Rating Scale Model)에 평가자 엄격성 추정치를 모수로 추가하여 개발된 측정모 형이다. MFRMM은 문항 난이도와 평가 대상의 능력 및 성과 수준 그리고 평가자의 엄격성을 동일한 선형척도 위에서 수량화시켜 비교할 수 있는 모형이다. 문항난이 도와 평가자 엄격성 수준을 등간척도 상의 영점(0)에 고정시키면 두 변인을 통제한 상태에서 평가 대상의 성과 수준에 대한 추정된 점수를 얻을 수 있다. 이 MFRMM의 공식은 이하 수학식 2 및 수학식 3와 같다.
Pijkn은 평가대상 n이 문항 i에 대하여 평가자 j로부터 점수 k를 받을 확률, Pij(k-1)n은 평가대상 n이 문항 i에 대하여 평가자 j로부터 점수 k-1을 받을 확률, Bn은 평가대상 n의 능력 및 성과 수준, Di는 문항 i의 난이도, Cj는 평가자 j의 엄 격성 수준, Fk는 점수 k-1에 비해 점수 k를 받기 어려운 정도를 의미한다.
전제조건은, 평가대상의 성과, 문항난이도, 평가자 엄격성을 단일 척도에 위 치시켜 동시적으로 비교하기 위해서는 모든 추정 모수가 연결된 자료 형태를 가져 야 한다는 것이다. 예를 들어 A 평가자는 1 번 채점항목만을 평가하고 B 평가자는 2 번 채점항목만을 평가하거나, A 평가자는 1~50 번 자료를 평가하고 B 평가자는 51~100번 자료를 평가하였다고 가정하면, 해당 평정의 점수 차이가 문항난이도에 의한 것인지 평가자 엄격성에 의한 것인지 해석이 불가능해진다. 다만 두 평가자 가 공통적으로 평정한 자료나 문항이 함께 존재한다면 공통 평가자료, 공통 평가문항을 바탕으로 MFRMM을 통해 문항 간 난이도와 평가자의 엄격성을 동시에 고려한 점수를 산출할 수 있다. 모든 평가자가 모든 문항과 모든 자료를 평가하는 것이 가장 훌륭한 평가 전략이 될 수 있으나, 금전적 및 시간적 제약으로 현실 평가 상 황에서는 쓰이기 어려운 방식이다. 따라서 평가의 객관성과 효율성 도모의 측면을 종합적으로 고려하기 위해 평가자의 평정 자료를 연결시켜 평가자의 엄격성과 문항 난이도를 조정할 수 있는 평가자 무선배치설계는 필수적일 수 있다.
MFRMM은 Facets 프로그램을 이용하여 분석을 할 수도 있다. 프로그램을 통 해 평가자 엄격성, 평가대상의 성과, 문항난이도 추정치를 산출할 수 있으며, 개별 평가자 엄격성, 문항난이도의 통계적 검증 및 신뢰도 분석이 가능하다. 뿐만 아니 라 각 추정치의 적합도 지수와 각 국면(평가자 엄격성, 문항난이도, 평가대상의 성과 등)의 상호작용 효과 분석도 가능하다. 적합도 지수는 이론적으로 모형에 의해 기대되는 점수와 관찰된 점수를 비교하는 것으로 Rasch 모형에서는 외적합 도(Outfit), 내적합도(Infit) 지수로 제공되어 점수의 타당도를 검토하는 자료로 활용된다. 또한 국면 간 상호작용 분석 결과를 통해서는 평정 과정에서 기대하지 않은 효과가 작용하였는지에 대한 검토가 가능하다. 물론, 평가자 간 점수 체계를 캘리브레이션 하는 방법은 상술한 방법 이외에도 다양한 방법이 이용될 수 있음은 자명하다 할 것이다.
도 7은 도 1에 따른 서비스 제공 서버(100)의 하드웨어 구성을 예시적으로 나타낸 도면이다.
도 7을 참조하면, 서비스 제공 서버(100)는, 적어도 하나의 프로세서(110) 및 상기 적어도 하나의 프로세서(110)가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.
상기 적어도 하나의 동작은 전술한 서비스 제공 서버(100)의 구성부들(101~106)이나 기타 기능 또는 동작 방법을 포함할 수 있다.
여기서 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시 예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다.
예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중 하나일 수 있고, 저장 장치(160)는, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 또는 각종 메모리 카드(예를 들어, micro SD 카드) 등일 수 있다.
또한, 서버(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(130)를 포함할 수 있다. 또한, 서버(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 서버(100)에 포함된 각각의 구성 요소들은 버스(bus, 170)에 의해 연결되어 서로 통신을 수행할 수 있다.
서버(100)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (5)
- 논술채점 관리 서비스를 제공하는 서버로서,
상기 서버는,
적어도 하나의 프로세서(processor); 및
상기 적어도 하나의 프로세서가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함하고,
상기 적어도 하나의 동작은,
논술문제와 매칭되는 답안지의 채점을 위해 복수의 평가위원 단말을 배정하는 동작;
상기 평가위원 단말에 상기 논술문제와 매칭되는 복수의 테스트 답안지를 전송하고, 상기 평가위원 단말로부터 상기 테스트 답안지의 점수를 수신하는 동작;
상기 평가위원 단말에 상기 논술문제와 매칭되는 복수의 답안지를 전송하고, 상기 평가위원 단말로부터 상기 답안지의 점수를 수신하는 동작; 및
복수의 상기 테스트 답안지의 점수 및 복수의 상기 답안지의 점수를 이용하여 재채점 여부를 결정하는 동작을 포함하고,
상기 평가위원 단말에 상기 논술문제와 매칭되는 테스트 답안지를 전송하고, 상기 평가위원 단말로부터 상기 테스트 답안지의 점수를 수신하는 동작은,
상기 테스트 답안지를 상기 평가위원 단말에 전송하는 동작;
상기 평가위원 단말로부터 상기 테스트 답안지에 포함된 중요문장 및 중요문장과 매칭되는 중요도를 수신하는 동작;
상기 평가위원 단말로부터 상기 테스트 답안지에 포함된 중요단어 및 중요단어와 매칭되는 중요도를 수신하는 동작;
상기 평가위원 단말로부터 상기 테스트 답안지의 점수를 수신하는 동작;
상기 평가위원 단말에 제공된 상기 테스트 답안지의 개수가 미리 설정된 기준개수 이상인 경우, 상기 평가위원 단말로부터 수신한 상기 테스트 답안지의 점수의 분포가 미리 설정된 점수 분포 기준을 충족하는지 판단하는 동작; 및
상기 평가위원 단말로부터 수신한 상기 테스트 답안지의 점수의 분포가 미리 설정된 점수 분포 기준을 충족하지 못하는 경우 상기 평가위원 단말에게 추가적인 상기 테스트 답안지를 상기 평가위원 단말에 전송하는 동작을 포함하며,
상기 평가위원 단말에 상기 논술문제와 매칭되는 답안지를 전송하고, 상기 평가위원 단말로부터 상기 답안지의 점수를 수신하는 동작은,
상기 논술문제와 매칭되는 상기 답안지를 상기 평가위원 단말에 전송하는 동작;
상기 평가위원 단말에 답안지에 포함되는 중요단어 및 중요단어와 매칭되는 중요도를 전송하는 동작;
상기 답안지와 복수의 상기 테스트 답안지 사이의 유사도를 산출하는 동작;
유사도가 가장 큰 상기 테스트 답안지의 점수를 상기 평가위원 단말에 전송하는 동작; 및
상기 평가위원 단말로부터 상기 답안지와 매칭되는 점수를 수신하는 동작을 포함하며,
상기 답안지와 상기 테스트 답안지 사이의 유사도를 산출하는 동작은,
상기 답안지에 포함된 복수의 제1 문장 각각과 상기 테스트 답안지에 포함된 복수의 제2 문장 사이의 문장 유사도를 산출하는 동작; 및
상기 문장 유사도, 상기 답안지에 포함된 중요문장 및 중요문장과 매칭되는 중요도, 상기 답안지에 포함된 중요단어 및 중요단어와 매칭되는 중요도를 이용해 상기 답안지와 상기 테스트 답안지 사이의 유사도를 산출하는 동작을 포함하는,
서버. - 삭제
- 삭제
- 삭제
- ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈제1항에 있어서,
복수의 상기 테스트 답안지의 점수 및 복수의 상기 답안지의 점수를 이용하여 재채점 여부를 결정하는 동작은,
복수의 상기 평가위원 단말 중 어느 하나인 제1 평가위원 단말이 상기 답안지에 채점한 제1 점수와, 복수의 상기 평가위원 단말 중 다른 하나인 제2 평가위원 단말이 상기 답안지에 채점한 제2 점수의 차이 값인 제1 편차를 산출하는 동작;
상기 제1 평가위원 단말을 기준으로, 상기 답안지와 유사도가 가장 높은 상기 테스트 답안지인 제1 테스트 답안지에 대해 상기 제1 평가위원 단말이 채점한 제3 점수와 상기 제2 평가위원 단말이 상기 제1 테스트 답안지에 대해 채점한 제4 점수의 차이 값인 제2 편차를 산출하는 동작;
상기 제2 평가위원 단말을 기준으로, 상기 답안지와 유사도가 가장 높은 상기 테스트 답안지인 제2 테스트 답안지에 대해 상기 제1 평가위원 단말이 채점한 제5 점수와 상기 제2 평가위원 단말이 상기 제2 테스트 답안지에 대해 채점한 제6 점수의 차이 값인 제3 편차를 산출하는 동작; 및
상기 제1 편차와 상기 제2 편차의 차이 값 및 상기 제1 편차와 상기 제3 편차의 차이 값 중 적어도 하나가 미리 설정된 기준 편차 이상인 경우, 상기 답안지를 재채점 대상으로 결정하는 동작을 포함하는,
서버.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230099925A KR102604756B1 (ko) | 2023-07-31 | 2023-07-31 | 논술채점 관리 서비스를 제공하는 서버, 시스템, 방법및 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230099925A KR102604756B1 (ko) | 2023-07-31 | 2023-07-31 | 논술채점 관리 서비스를 제공하는 서버, 시스템, 방법및 프로그램 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102604756B1 true KR102604756B1 (ko) | 2023-11-24 |
Family
ID=88972205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230099925A KR102604756B1 (ko) | 2023-07-31 | 2023-07-31 | 논술채점 관리 서비스를 제공하는 서버, 시스템, 방법및 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102604756B1 (ko) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070109095A (ko) | 2006-05-09 | 2007-11-15 | 한국과학기술정보연구원 | 온라인 논문 투고 및 심사에 의한 학술 정보 자동 수집방법과 그 방법에 대한 컴퓨터 프로그램 소스를 저장한기록매체 |
| KR20130041414A (ko) * | 2011-10-17 | 2013-04-25 | 두산동아 주식회사 | 서술형 문항 자동 채점 방법 |
| KR20150014333A (ko) * | 2013-07-29 | 2015-02-06 | 한국교육과정평가원 | 채점 관리 서버 및 그 운용방법 |
| JP2017188039A (ja) * | 2016-04-08 | 2017-10-12 | Kddi株式会社 | 複数の類似度算出によってテキストの点数を推定するプログラム、装置及び方法 |
| KR101832791B1 (ko) | 2017-02-17 | 2018-02-28 | (주)유플러스시스템 | 전산 채점 신뢰성 확보와 공정성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 및 그 방법 |
| KR101980338B1 (ko) | 2018-12-12 | 2019-05-20 | 최우식 | 논술 평가 방법, 장치 및 컴퓨터 프로그램 |
| KR20220120253A (ko) | 2021-02-23 | 2022-08-30 | 주식회사 브레인벤쳐스 | 인공지능 기반 논술 자동 채점 시스템 |
-
2023
- 2023-07-31 KR KR1020230099925A patent/KR102604756B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070109095A (ko) | 2006-05-09 | 2007-11-15 | 한국과학기술정보연구원 | 온라인 논문 투고 및 심사에 의한 학술 정보 자동 수집방법과 그 방법에 대한 컴퓨터 프로그램 소스를 저장한기록매체 |
| KR20130041414A (ko) * | 2011-10-17 | 2013-04-25 | 두산동아 주식회사 | 서술형 문항 자동 채점 방법 |
| KR20150014333A (ko) * | 2013-07-29 | 2015-02-06 | 한국교육과정평가원 | 채점 관리 서버 및 그 운용방법 |
| JP2017188039A (ja) * | 2016-04-08 | 2017-10-12 | Kddi株式会社 | 複数の類似度算出によってテキストの点数を推定するプログラム、装置及び方法 |
| KR101832791B1 (ko) | 2017-02-17 | 2018-02-28 | (주)유플러스시스템 | 전산 채점 신뢰성 확보와 공정성 향상을 위한 이미지 기반 하이브리드 전산 채점 시스템 및 그 방법 |
| KR101980338B1 (ko) | 2018-12-12 | 2019-05-20 | 최우식 | 논술 평가 방법, 장치 및 컴퓨터 프로그램 |
| KR20220120253A (ko) | 2021-02-23 | 2022-08-30 | 주식회사 브레인벤쳐스 | 인공지능 기반 논술 자동 채점 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6831480B2 (ja) | テキスト検出分析方法、装置及びデバイス | |
| CN110110585B (zh) | 基于深度学习的智能阅卷实现方法及系统、计算机程序 | |
| US10200336B2 (en) | Generating a conversation in a social network based on mixed media object context | |
| US11790641B2 (en) | Answer evaluation method, answer evaluation system, electronic device, and medium | |
| Naz et al. | Urdu Nasta’liq text recognition system based on multi-dimensional recurrent neural network and statistical features | |
| CN111475613A (zh) | 案件分类方法、装置、计算机设备及存储介质 | |
| CN114596566B (zh) | 文本识别方法及相关装置 | |
| CN117726884B (zh) | 对象类别识别模型的训练方法、对象类别识别方法及装置 | |
| CN114120342A (zh) | 简历文档识别方法、装置、计算设备及存储介质 | |
| Gross et al. | A handwriting recognition system for the classroom | |
| CN113505786A (zh) | 试题拍照评判方法、装置及电子设备 | |
| KR102604756B1 (ko) | 논술채점 관리 서비스를 제공하는 서버, 시스템, 방법및 프로그램 | |
| CN110929013A (zh) | 一种基于bottom-up attention和定位信息融合的图片问答实现方法 | |
| CN110750712A (zh) | 基于数据驱动的软件安全需求推荐方法 | |
| Nguyen et al. | Handwriting recognition and automatic scoring for descriptive answers in Japanese language tests | |
| CN115546813A (zh) | 一种文档分析方法、装置、存储介质及设备 | |
| CN115344668A (zh) | 一种多领域与多学科科技政策资源检索方法及装置 | |
| Banerjee et al. | Quote examiner: verifying quoted images using web-based text similarity | |
| CN113934922A (zh) | 一种智能推荐的方法、装置、设备及计算机存储介质 | |
| CN113591857A (zh) | 字符图像处理方法、装置及古代汉籍图像的识别方法 | |
| Duc et al. | Text spotting in Vietnamese documents | |
| CN117077672B (zh) | 一种基于词汇增强和tcn-bilstm模型的中文命名实体识别方法 | |
| US20230316791A1 (en) | Method for identifying entity data in a data set | |
| CN118116024A (zh) | 信息匹配方法、装置、电子设备及存储介质 | |
| CN116798059A (zh) | 票据类型识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |