KR102476578B1 - 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법 및 그 시스템 - Google Patents

딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법 및 그 시스템 Download PDF

Info

Publication number
KR102476578B1
KR102476578B1 KR1020220038580A KR20220038580A KR102476578B1 KR 102476578 B1 KR102476578 B1 KR 102476578B1 KR 1020220038580 A KR1020220038580 A KR 1020220038580A KR 20220038580 A KR20220038580 A KR 20220038580A KR 102476578 B1 KR102476578 B1 KR 102476578B1
Authority
KR
South Korea
Prior art keywords
information
learning
scoring
student
terminal
Prior art date
Application number
KR1020220038580A
Other languages
English (en)
Inventor
박우신
Original Assignee
(주)플레이스터디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)플레이스터디 filed Critical (주)플레이스터디
Application granted granted Critical
Publication of KR102476578B1 publication Critical patent/KR102476578B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/19007Matching; Proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • G06Q50/2057Career enhancement or continuing education service
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19113Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법이 개시된다. 본 발명의 일 측면에 따르면, 수신부가 복수의 학생 단말로부터 OMR 답안지의 촬영 이미지를 수신하는 단계, 인식부가 촬영 이미지를 탐지 및 패턴 인식하되 주관식 답안을 문자 인식하는 단계, 인식부가 촬영 이미지의 인식 결과에 따라 채점 정보를 생성하는 단계, 및 송신부가 학생 단말과 함께 학부모 단말 및 교사 단말로 채점 정보를 송신하는 단계를 포함하는 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법이 제공된다.

Description

딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법 및 그 시스템{METHOD FOR AUTOMATIC SCORING OF SUBJECTIVE ANSWERS THROUGH DEEP LEARNING HANDWRITING RECOGNITION AND SYSTEM THEREOF}
본 발명은 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법 및 그 시스템에 관한 것이다.
학원이나 학교 등에서 시험 채점을 위해 OMR(optical mark reader) 카드(OMR 답안지)가 주로 이용되고 있다.
이와 같은 OMR 카드는 하나의 시트에 모든 문항에 대한 정답을 빠르게 기재 가능하고, 이에 따라 하나의 시트를 판독하는 것만으로 1인에 대한 채점을 완료할 수 있는 장점이 있다.
그러나 OMR 카드의 판독을 위해서 별도의 광학 리더기가 필요하고, 주관식 문항의 경우 광학적 기호 판독 방식의 한계점에 따라 사람이 별도로 채점하는 수밖에 없다.
따라서 OMR 카드를 답안 작성 수단으로서의 장점을 취하되, 그 채점에 있어서는 기존 OMR 카드 채점 방식의 문제점을 해결할 수 있는 방안을 개발할 필요가 있다.
대한민국 공개실용신안공보 제 20-2017-0003023호 (2017.08.29. 공개)
본 발명은 OMR 답안지의 기존 채점 방식의 문제점을 해결 가능한 채점 방법 및 채점 결과의 분석을 통한 개인 맞춤형의 학습 관리 솔루션을 제공할 수 있다.
본 발명의 일 측면에 따르면, 수신부가 복수의 학생 단말로부터 OMR 답안지의 촬영 이미지를 수신하는 단계, 인식부가 촬영 이미지를 탐지 및 패턴 인식하되 주관식 답안을 문자 인식하는 단계, 인식부가 촬영 이미지의 인식 결과에 따라 채점 정보를 생성하는 단계, 및 송신부가 학생 단말과 함께 학부모 단말 및 교사 단말로 채점 정보를 송신하는 단계를 포함하는 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법이 제공된다.
주관식 답안을 문자 인식하는 단계 이후에, 송신부가 주관식 답안의 문자 인식에 실패한 경우, 촬영 이미지를 외부 서버로 전송하는 단계, 및 수신부가 외부 서버로부터 주관식 답안을 판독해 레이블링(labeling)한 교정 데이터를 수신하는 단계를 더 포함할 수 있다.
교정 데이터를 수신하는 단계 이후에, 송신부가 학생 단말로 교정 데이터를 송신하여 검증받는 단계를 더 포함할 수 있다.
교정 데이터는, 인식부의 문자 인식을 위한 딥러닝 학습 데이터로 이용될 수 있다.
수신부가 학부모 단말 및 교사 단말로부터 채점 정보와 관련한 학생의 학습 상태에 대한 평가로서의 피드백 정보를 수신하는 단계, 및 분석부가 채점 정보 및 피드백 정보를 분석하여 학생의 향후 학습 관리를 위한 솔루션 정보를 생성하는 단계를 더 포함할 수 있다.
솔루션 정보는, 채점 정보 및 피드백 정보에 따라 산출된, 학생의 학습 수준에 대한 지표로서의 학습 지수에 비례하여 산정되는 향후 학습량 및 학습 시간을 포함할 수 있다.
주관식 답안을 문자 인식하는 단계 이후에, 송신부가 주관식 답안의 문자 인식에 실패한 경우, 학생 단말, 학부모 단말 및 교사 단말로 촬영 이미지를 송신하는 단계, 및 수신부가 학생 단말, 학부모 단말 및 교사 단말로부터 주관식 답안의 문자 인식에 실패한 원인에 대한 평가 정보를 수신하는 단계를 더 포함하고, 학습 지수는, 채점 정보 및 피드백 정보에 따라 산출된 후, 평가 정보에 따라 조정될 수 있다.
평가 정보는, 촬영 오류, 시간 부족 및 부주의를 포함하는 원인 정보 중 선택된 어느 하나일 수 있다.
평가 정보는 원인 정보에 따라 상이한 감산율을 가지고, 학습 지수는, 학생 단말, 학부모 단말 및 교사 단말로부터 수신된 평가 정보의 감산율의 평균이 산입되어 조정될 수 있다.
학습 지수는, 학생 단말, 학부모 단말 및 교사 단말로부터 수신된 평가 정보가 모두 촬영 오류인 경우, 채점 정보 및 피드백 정보에 따라 산출된 값으로 할 수 있다.
본 발명에 따르면, OMR 답안지의 기존 채점 방식의 문제점을 해결 가능한 채점 방법 및 채점 결과의 분석을 통한 개인 맞춤형의 학습 관리 솔루션이 제공될 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법을 나타낸 순서도.
도 2는 본 발명을 나타낸 방법 순서도.
도 3은 본 발명을 나타낸 시스템 구성도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명에 따른 딥러닝 이미지 인식을 통한 OMR 답안지 자동 채점 및 학습 관리 솔루션 제공 방법 및 그 시스템(100), 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법 및 그 시스템(200), 및 딥러닝 수기 기호 인식을 통한 학습 솔루션 제공 방법 및 그 시스템(300)을 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
먼저, 본 발명의 제1, 2 실시예에 따른 딥러닝 이미지 인식을 통한 OMR 답안지 자동 채점 및 학습 관리 솔루션 제공 방법 및 그 시스템(100)에 대해 설명한다.
제1 실시예에 따르면, 수신부(110)가 복수의 학생 단말(10)로부터 OMR 답안지의 촬영 이미지를 수신하는 단계(S110), 인식부(140)가 촬영 이미지를 탐지 및 패턴 인식하여 채점 정보를 생성하는 단계(S140), 송신부(150)가 학생 단말(10)과 함께 학부모 단말(20) 및 교사 단말(30)로 채점 정보를 송신하는 단계(S150), 수신부(110)가 학부모 단말(20) 및 교사 단말(30)로부터 채점 정보와 관련한 학생의 학습 상태에 대한 평가로서의 피드백 정보를 수신하는 단계(S160), 및 분석부(180)가 채점 정보 및 피드백 정보를 분석하여 학생의 향후 학습 관리를 위한 솔루션 정보를 생성하는 단계(S180)를 포함하는 딥러닝 이미지 인식을 통한 OMR 답안지 자동 채점 및 학습 관리 솔루션 제공 방법이 제공된다.
이와 같은 본 실시예에 따르면, OMR 답안지의 기존 채점 방식의 문제점을 해결 가능한 채점 방법 및 채점 결과의 분석을 통한 개인 맞춤형의 학습 관리 솔루션이 제공될 수 있다.
이하 본 실시예에 따른 딥러닝 이미지 인식을 통한 OMR 답안지 자동 채점 및 학습 관리 솔루션 제공 방법의 각 단계에 대하여 설명하도록 한다.
단계110에서는, 수신부(110)가 복수의 학생 단말(10)로부터 OMR 답안지의 촬영 이미지를 수신할 수 있다.
여기서 촬영 이미지는 학생 단말(10)에 구비된 카메라를 통해 촬영된 결과물인 사진 파일은 물론, 카메라를 통해 실시간으로 촬영되어 생성된 이미지 프레임 데이터를 포함할 수 있다.
이에 따라 OMR 답안지의 채점을 위해 별도로 OMR 답안지를 수집하고 운반할 필요없이 OMR 답안지를 촬영하고 촬영 이미지를 전송하는 것만으로 OMR 답안지를 채점할 수 있게 된다.
단계140에서는 인식부(140)가 촬영 이미지를 탐지 및 패턴 인식하여 채점 정보를 생성할 수 있다.
즉 촬영 이미지를 탐지하여 답안 표시 마크 및 주관식 답안 기재를 탐지하고 이를 패턴 인식하여 정답 데이터와 비교함으로써 채점 정보를 생성할 수 있다.
여기서 패턴 인식(pattern recognition)은 이미지 내 마크, 기호, 부호, 도형, 형상 또는 문자 등을 분석해 해당 대상을 판별 및 인지하는 것으로 이해될 수 있다.
패턴 인식을 위해 머신 러닝(machine learning) 내지 딥러닝(deep learning)을 활용한 인식 모델이나 세그먼테이션(segmentation) 모델 등이 활용될 수 있다.
또한 문자의 인식을 위해 최신의 어텐션(attention) 기반 모델과 CTC(connectionist temporal classification) 기반 모델 등이 활용될 수 있으며, 더 나아가 본 발명의 목적을 효과적으로 달성하기 위해 별도로 트레이닝된 개선 모델이 활용될 수 있다.
단계150에서는, 송신부(150)가 학생 단말(10)과 함께 학부모 단말(20) 및 교사 단말(30)로 채점 정보를 송신할 수 있다.
이 경우 학생이 채점 결과를 확인 가능하도록 학생 단말(10)로 채점 정보를 전송함은 물론, 학부모 단말(20)과 교사 단말(30)로도 이를 전송하여 채점 정보가 실시간으로 공유되도록 할 수 있다.
단계160에서는, 수신부(110)가 학부모 단말(20) 및 교사 단말(30)로부터 채점 정보와 관련한 학생의 학습 상태에 대한 평가로서의 피드백 정보를 수신할 수 있다.
다시 말해 피드백 정보는 생성된 채점 정보와 관련해 해당 결과에 이르기까지 학생이 보인 학습 상태에 대한 학부모 및 교사의 정성적 평가로 이해될 수 있다.
단계180에서는, 분석부(180)가 채점 정보 및 피드백 정보를 분석하여 학생의 향후 학습 관리를 위한 솔루션 정보를 생성할 수 있다.
여기서 채점 정보는 학생의 학습 수준에 대한 정량적 데이터, 피드백 정보는 전술한 바와 같이 학생의 학습 상태에 대한 정성적 데이터로서, 해당 데이터들의 종합적 분석을 통해 이후 학생의 학습을 효과적으로 관리하기 위한 솔루션 정보를 생성할 수 있다.
채점 정보는, 점수 정보, 복수의 학생으로 이루어진 모집단 중 반, 학교 및 지역을 포함하는 범주 중 어느 하나에서의 점수 정보에 따른 석차 정보, 및 점수 정보를 문항별로 부여된 단원, 유형 및 난이도를 포함하는 속성값 중 어느 하나에 따라 분류한 복수의 득점 정보를 포함할 수 있다.
구체적으로 점수 정보는 채점 결과에 따른 총점으로 이해될 수 있고, 석차 정보는 복수의 학생으로 이루어진 모집단 중에서도 학생이 속한 반, 학교 또는 지역 등의 범주를 기준으로 할 때 학생의 총점이 나타내는 석차로 이해될 수 있다.
예를 들어 A학생의 채점 결과 총 득점수가 70점으로 확인된 경우 이는 점수 정보가 되고, 70점의 점수가 30명으로 이루어진 반에서 점수 내림 차순으로 중복없이 상위 10번째에 속한다면 석차 정보는 10등 또는 상위 33%가 된다.
또한 문항별로 미리 부여된, 문제가 속하는 단원, 문제의 유형, 또는 문제 난이도 등에 따라 전술한 점수 정보가 분할되어 분류된 복수의 득점 정보가 생성될 수 있다.
예를 들어 문항당 5점씩 총 20문제의 수학 시험에서 1 내지 5단원에서 각 4문제씩 출제되었고, A학생의 채점 결과 3단원에서 1개를 틀리고, 4단원에서 2개, 5단원에서 3개를 틀려 총 70점으로 나타났다면, 복수의 득점 정보는 각각 1단원: 20점, 2단원: 20점, 3단원: 15점, 4단원: 10점, 5단원: 5점이 된다.
이처럼 OMR 답안지의 촬영 이미지를 전송하는 것만으로 채점이 이루어져 점수 정보를 확인 가능함은 물론, 이와 같은 점수 정보를 토대로 한 석차 정보, 득점 정보 등의 통계 분석 결과 또한 빠르게 확인할 수 있게 된다.
솔루션 정보를 생성하는 단계(S180)는, 복수의 득점 정보를 모집단의 대응 평균과 각각 비교하여 복수의 취약 지수를 산출하는 단계(S181)를 포함하고, 솔루션 정보는, 복수의 취약 지수에 따라 상대적으로 도출된 학습 분배 비율에 대한 정보를 포함할 수 있다.
전술한 예를 통해 살펴보면, A학생의 1 내지 5단원에서의 각 득점 정보를 해당 득점 정보에 대한 모집단의 평균값과 각각 비교하고 이를 통해 각 단원에 대한 취약 지수를 산출할 수 있다.
여기서 취약 지수는 모집단의 평균값에 대한 득점 정보의 백분율 값으로, {(득점정보)/(모집단 평균값)}*100으로 나타낼 수 있다.
만약 모집단에서 1 내지 5단원에서의 득점 정보에 대한 평균값이 각각 10점으로 나타났다면, A학생의 단원별 취약 지수는 1 내지 2단원: (20/10)*100=200, 3단원: (15/10)*100=150, 4단원: (10/10)*100=100, 5단원: (5/10)*100=50이 되며, 이 때 취약 지수는 크기가 작을수록 A학생이 해당 단원에 대해 타 단원 대비 상대적으로 취약하다는 것을 나타내고 특히 100이하인 경우 모집단 대비 취약하다는 것을 나타낸다.
이처럼 산출된 취약 지수에 따라 학습 분배 비율을 생성하기 위해 전술한 취약 지수의 해석법에 따라 취약 지수의 역수를 이용할 수 있다.
구체적으로 학습 분배 비율은 각 취약 지수의 역수 간의 상대적 비율일 수 있으며 {(취약 지수의 역수)/(취약 지수의 역수의 합)}*100으로 나타낼 수 있다.
상기 예를 통해 살펴보면, 취약 지수의 역수의 합은 (1/200) +(1/200)+(1/150)+(1/100)+(1/50)=0.0467이고, 각 단원별 학습 분배 비율은 1 내지 2단원: {(1/200)/0.0467}*100=11(%), 3단원: {(1/150)/0.0467}*100=14(%), 4단원: {(1/100)/0.0467}*100=21(%), 5단원: {(1/50)/0.0467}*100=43(%)이 되며, 이에 따라 전체 학습 시간에 대한 단원별 학습 시간 배분 비율을 제안할 수 있다.
솔루션 정보는, 채점 정보 및 피드백 정보에 따라 산출된, 학생의 학습 수준에 대한 지표로서의 학습 지수에 비례하여 산정되는 향후 학습량 및 학습 시간을 포함할 수 있다.
전술한 바와 같이 채점 정보는 학생의 학습 수준에 대한 정량적 데이터, 피드백 정보는 학생의 학습 상태에 대한 정성적 데이터로서, 해당 정보들을 이용해 학생의 학습 수준을 나타내는 학습 지수를 산출하고, 이에 따라 향후 학생의 학습량 및 학습 시간에 대한 솔루션 정보를 생성할 수 있다.
이 때 학습 지수는 크기가 클수록 학습 수준이 높음을 나타내며, 이에 따라 산출된 학습 지수에 비례해 향후 학습량 및 학습 시간을 생성함으로써 학습 수준이 낮은 학생은 점진적으로 학습량 및 학습 시간을 늘리고 학습 수준이 높은 학생은 학습량 및 학습 시간을 지속적으로 증가시켜 개인 맞춤형의 효과적인 솔루션 정보를 제공할 수 있다.
솔루션 정보를 생성하는 단계(S180)는, 점수 정보를 모집단의 대응 평균과 비교하여 점수 지수를 산출하는 단계(S182), 및 점수 지수를 이전과 비교하여 성적 향상률을 산출하는 단계(S183)를 포함하고, 학습 지수는 성적 향상률에 비례하여 산출될 수 있다.
여기서 점수 지수는 현재와 이전의 점수 정보를 동등하게 비교하기 위하여 점수 정보를 그에 대응되는 모집단의 평균값과 비교 변환해 적정한 것으로 이해될 수 있다.
구체적으로 점수 지수는 모집단의 점수 정보의 평균값에 대한 점수 정보의 백분율 값으로서, {(점수 정보)/(모집단 평균값)}*100으로 나타낼 수 있다.
성적 향상률은 이전 점수 지수를 기준한 현재 점수 지수의 증감 백분율 값으로서, {(현재 점수 지수)/(이전 점수 지수)}*100으로 나타낼 수 있다.
예를 들어 현재 B학생의 점수 정보가 75점이고 이에 대응되는 모집단의 평균값이 50점이라면 점수 지수는 (75/50)*100=150이 되고, 이전의 점수 지수가 80점이고 이에 대응되는 모집단의 평균값이 60이라면 (80/60)*100=133이 되며, 이에 따라 성적 향상률은 (150/133)*100=113(%)이 된다.
이를 해석하면 비록 이전 대비 점수 정보가 하락하였으나 모집단 평균값(여기에는 시험 난이도 등이 반영된 것을 볼 수 있다.)을 고려할 때 실질적으로 성적이 향상된 것으로 판단할 수 있다.
이와 같은 성적 향상률이 높은 학생의 경우 학습 수준이 높은 것으로 볼 수 있으므로 성적 향상률에 비례해 학습 지수를 산출하여 해당 학생의 향후 학습량 및 학습 시간을 증가시킬 수 있다.
솔루션 정보를 생성하는 단계(S180)는, 점수 지수 및 성적 향상률을 각각 설정 지수 및 설정율과 비교하는 단계(S184), 및 점수 지수가 설정 지수 이상이고 성적 향상률이 설정율 이하인 경우, 성적 향상률을 할증하여 보정하는 단계(S185)를 더 포함할 수 있다.
예를 들어 C학생의 현재 점수 정보가 85점이고 이에 대응한 모집단의 점수 정보의 평균값이 50점이라면 점수 지수는 (85/50)*100=170이 되고, 이전의 점수 지수가 95이고 이에 대응한 모집단의 점수 정보의 평균값이 60이라면 (95/60)*100=158이 되며, 이에 따라 성적 향상률은 (170/158)*100=108(%)이 된다.
이 경우 전술한 예의 B학생과 비교하여 점수 정보 및 점수 지수가 높음에도 불구하고 성적 향상률은 낮게 나타나는데, 이는 점수 정보가 100점에 가까울수록 점수의 변화 정도가 일정 수준에 수렴하는 것에 기인하는 것으로 파악할 수 있다.
따라서 위와 같은 경우를 보완하기 위해 기준되는 설정 지수 및 설정율을 마련하고, 점수 지수가 설정 지수 이상이고 성적 향상률이 설정율 이하인 경우에 성적 향상률을 할증함으로써 보다 실질적인 학습 지수를 산출할 수 있게 된다.
솔루션 정보를 생성하는 단계(S180)는, 속성값이 단원인 경우, 복수의 득점 정보를 각각 득점률로 변환한 후 비교하여 편차 지수를 산출하는 단계(S186)를 포함하고, 학습 지수는 편차 지수에 반비례하여 산출될 수 있다.
즉 단원별 점수 편차가 작을 수록 학습 수준이 높음을 나타내는 것으로 볼 수 있으므로, 표준 편차에 반비례하여 학습 지수를 산출함으로써 학습 수준이 높은 학생은 학습량 및 학습 시간을 증가시킬 수 있도록 할 수 있다.
다만 시험에서 단원에 따라 배분된 문항이나 점수가 상이할 수 있으므로, 이를 고려해 복수의 득점 정보를 각각 득점률로 변환 뒤 이를 비교해 표준 편차를 계산함으로써 편차 지수를 산출할 수 있다.
예를 들어 문항당 5점씩 총 20문제의 수학 시험에서 1 내지 3단원에서 각 5문제씩, 4단원에서 3문제, 5단원에서 2문제가 출제된 경우에 있어서, D학생 및 E학생의 총점은 75점으로 동일하고,
D학생의 복수의 득점 정보는 각각 1단원: 25점, 2단원: 20점, 3단원: 20점, 4단원: 5점, 5단원: 5점이고,
E학생의 복수의 득점 정보는 각각 1단원: 20점, 2단원: 20점, 3단원: 20점, 4단원: 10점, 5단원: 5점인 경우를 살펴보면 다음과 같다.
D학생의 복수의 득점 정보를 득점률로 변환하면 각각 1단원: (25/25)*100=100(%), 2단원: (20/25)*100=80(%), 3단원: (20/25)*100=80(%), 4단원: (5/15)*100=33(%), 5단원: (5/10)*100=50(%)이고,
E학생의 경우에는 1단원: (20/25)*100=80(%), 2단원: (20/25)*100=80(%), 3단원: (20/25)*100=80(%), 4단원: (10/15)*100=66(%), 5단원: (5/10)*100=50(%)이다.
이에 따라 득점률의 표준 편차를 구해 편차 지수를 구해보면,
D학생의 경우 득점률의 평균값은 (100+80+80+33+50)/5=69(%)이고 이에 따라 표준 편차를 구하면 [(1/5)*{(100-69)^2+(80-69)^2+(80-69)^2+(33-69)^2+(50-69)^2}]^0.5=23.92가 편차 지수가 되고,
E학생의 경우 득점률의 평균값은 (80+80+80+66+50)/5=71.2(%)이고 이에 따라 표준 편차를 구하면 [(1/5)*{(80-71.2)^2+(80-71.2)^2+(80-71.2)^2+(66-71.2)^2+(50-71.2)^2}]^0.5=11.91이 편차 지수가 된다.
따라서 D학생 대비 E학생의 단원별 득점률의 표준 편차, 즉 편차 지수가 더 작으므로, E학생의 학습 지수가 편차 지수에 반비례하여 D학생 대비 더 크게 산출될 수 있다.
피드백 정보는, 학생의 학습량, 학습 태도, 출석률 및 건강 상태에 대한 정보를 포함하고, 피드백 정보를 수신하는 단계(S160)는, 학부모 단말(20) 및 교사 단말(30)로부터 피드백 정보에 포함된 정보 각각에 대한 복수의 선택지 중 어느 하나를 선택받아 수행될 수 있다.
예를 들어 학생의 학습량, 학습 태도, 출석률 및 건강 상태 등의 정보 각각에 대한 1점(bad or low: negative)에서 5점(good or high: positive)까지의 복수의 선택지 중 어느 하나를 학부모 및 교사로부터 선택받아 피드백 정보를 수신할 수 있다.
보다 구체적으로 학습량에 대해 3점, 학습 태도에 대해 4점, 출석률에 대해 3점, 건강 상태에 대해 2점 등을 피드백 정보로서 수신할 수 있다.
복수의 선택지는 각각에 긍정 수준에 따라 낮은 감산율이 부여되고, 학습 지수는, 채점 정보에 따라 산출된 후 피드백 정보의 감산율의 평균이 산입되어 도출될 수 있다.
학습량, 학습 태도, 출석률 및 건강 상태 등의 정보에 대한 답변의 긍정 수준(positive level: 전술한 예에서 1점에서 5점으로 갈수록 긍정 수준이 높아진다.)이 높을수록 학부모 및 교사가 평가하는 학생의 학습 상태가 양호한 것으로 볼 수 있다.
따라서 복수의 선택지 각각에 긍정 수준이 높을 수록 낮은 감산율을 부여하고, 이후 채점 정보와 함께 학습 지수 산출 시에 반영함으로써 학생의 학습 수준을 보다 정확히 판단할 수 있다.
예를 들어 1점(bad or low)에서 5점(good or high)까지의 복수의 선택지 각각에 0.25, 0.2, 0.15, 0.1, 0.05의 감산율이 부여될 수 있고,
이 경우 F학생 및 G학생 중 F학생에 대해서는 학습량(2점:0.2), 학습 태도(3점:0.15), 출석률(3점:0.15) 및 건강 상태(4점:0.1)의 피드백 정보를 수신하고,
G학생에 대해서는 학습량(3점:0.15), 학습 태도(3점:0.15), 출석률(4점:0.1) 및 건강 상태(4점:0.1)의 피드백 정보를 수신하였다면,
F학생의 피드백 정보의 감산율의 평균값은 (0.2+0.15+0.15+0.1)/4=0.15이고,
G학생의 경우는 (0.15+0.15+0.1+0.1)/4=0.125가 되어,
두 학생 모두가 동일한 채점 정보를 가지더라도 전술한 피드백 정보의 감산율의 평균값에 따라 G학생의 학습 지수가 보다 높게 도출될 수 있게 된다.
보다 구체적으로 학습 지수의 도출 방법에 있어, 채점 정보에 따라 산출된 값에 (1-감산율 평균값)을 곱함으로써 감산율의 평균값이 학습 지수에 산입될 수 있다.
솔루션 정보를 생성하는 단계(S180)는, 복수의 득점 정보를 모집단의 대응 평균과 각각 비교하여 복수의 취약 지수를 산출하는 단계(S181)를 포함하고, 학습 지수는 복수의 취약 지수의 평균에 비례하여 산출될 수 있다.
A학생의 예를 들어 전술한 바와 같이, 복수의 취약 지수의 평균이 낮다는 것은 학생의 학습 수준이 낮다는 것으로 볼 수 있으므로, 복수의 취약 지수의 평균이 높을수록(낮을수록) 학습 지수가 크게(작게) 산출될 수 있다.
제2 실시예에 따르면, 복수의 학생 단말(10)로부터 OMR 답안지의 촬영 이미지를 수신하는 수신부(110), 촬영 이미지를 탐지 및 패턴 인식하여 채점 정보를 생성하는 인식부(140), 및 학생 단말(10)과 함께 학부모 단말(20) 및 교사 단말(30)로 채점 정보를 송신하는 송신부(150)를 포함하고, 수신부(110)는 학부모 단말(20) 및 교사 단말(30)로부터 채점 정보와 관련한 학생의 학습 상태에 대한 평가로서의 피드백 정보를 수신하고, 채점 정보 및 피드백 정보를 분석하여 학생의 향후 학습 관리를 위한 솔루션 정보를 생성하는 분석부(180)를 더 포함하는 딥러닝 이미지 인식을 통한 OMR 답안지 자동 채점 및 학습 관리 솔루션 제공 시스템(100)이 제공된다.
이와 같은 본 실시예에 따르면, OMR 답안지의 기존 채점 방식의 문제점을 해결 가능한 채점 방법 및 채점 결과의 분석을 통한 개인 맞춤형의 학습 관리 솔루션이 제공될 수 있다.
이하 본 실시예에 따른 딥러닝 이미지 인식을 통한 OMR 답안지 자동 채점 및 학습 관리 솔루션 제공 시스템(100)의 각 구성에 대하여 설명하도록 한다.
다만 이하에서 설명할 내용 중 전술한 내용과 중복되거나 실질적으로 동일한 내용은 전술한 바를 따를 수 있되 이하에서는 생략하도록 한다.
수신부(110)는 복수의 학생 단말(10)로부터 OMR 답안지의 촬영 이미지를 수신할 수 있다.
인식부(140)는 촬영 이미지를 탐지 및 패턴 인식하여 채점 정보를 생성할 수 있다.
송신부(150)는 학생 단말(10)과 함께 학부모 단말(20) 및 교사 단말(30)로 채점 정보를 송신할 수 있다.
수신부(110)는 학부모 단말(20) 및 교사 단말(30)로부터 채점 정보와 관련한 학생의 학습 상태에 대한 평가로서의 피드백 정보를 수신할 수 있다.
분석부(180)는 채점 정보 및 피드백 정보를 분석하여 학생의 향후 학습 관리를 위한 솔루션 정보를 생성할 수 있다.
채점 정보는, 점수 정보, 복수의 학생으로 이루어진 모집단 중 반, 학교 및 지역을 포함하는 범주 중 어느 하나에서의 점수 정보에 따른 석차 정보, 및 점수 정보를 문항별로 부여된 단원, 유형 및 난이도를 포함하는 속성값 중 어느 하나에 따라 분류한 복수의 득점 정보를 포함할 수 있다.
분석부(180)는, 복수의 득점 정보를 모집단의 대응 평균과 각각 비교하여 복수의 취약 지수를 산출하고, 솔루션 정보는, 복수의 취약 지수에 따라 상대적으로 도출된 학습 분배 비율에 대한 정보를 포함할 수 있다.
솔루션 정보는, 채점 정보 및 피드백 정보에 따라 산출된, 학생의 학습 수준에 대한 지표로서의 학습 지수에 비례하여 산정되는 향후 학습량 및 학습 시간을 포함할 수 있다.
분석부(180)는, 점수 정보를 모집단의 대응 평균과 비교하여 점수 지수를 산출하고, 점수 지수를 이전과 비교하여 성적 향상률을 산출하고, 학습 지수는 성적 향상률에 비례하여 산출될 수 있다.
분석부(180)는, 점수 지수 및 성적 향상률을 각각 설정 지수 및 설정율과 비교하고, 점수 지수가 설정 지수 이상이고 성적 향상률이 설정율 이하인 경우, 성적 향상률을 할증하여 보정할 수 있다.
분석부(180)는, 속성값이 단원인 경우, 복수의 득점 정보를 각각 득점률로 변환한 후 비교하여 편차 지수를 산출하고, 학습 지수는 편차 지수에 반비례하여 산출될 수 있다.
피드백 정보는, 학생의 학습량, 학습 태도, 출석률 및 건강 상태에 대한 정보를 포함하고, 수신부(110)는, 학부모 단말(20) 및 교사 단말(30)로부터 피드백 정보에 포함된 정보 각각에 대한 복수의 선택지 중 어느 하나를 선택받아 수신할 수 있다.
복수의 선택지는 각각에 긍정 수준에 따라 낮은 감산율이 부여되고, 학습 지수는, 채점 정보에 따라 산출된 후 피드백 정보의 감산율의 평균이 산입되어 도출될 수 있다.
분석부(180)는, 복수의 득점 정보를 모집단의 대응 평균과 각각 비교하여 복수의 취약 지수를 산출하고, 학습 지수는 복수의 취약 지수의 평균에 비례하여 산출될 수 있다.
이상에서 설명한 제1, 2 실시예에 따른 딥러닝 이미지 인식을 통한 OMR 답안지 자동 채점 및 학습 관리 솔루션 제공 방법 및 그 시스템(100)의 내용과 관련해, 이하에서 설명할 실시예들에서 실질적으로 동일하게 개시되는 내용들은 본 실시예의 그것을 따를 수 있으며, 역의 경우에도 동일하다.
다음으로, 본 발명의 제3, 4 실시예에 따른 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법 및 그 시스템(200)에 대해 설명한다.
다만 이하에서 설명할 내용 중 전술한 내용과 중복되거나 실질적으로 동일한 내용은 전술한 바를 따를 수 있되 이하에서는 생략하도록 한다.
제3 실시예에 따르면, 수신부(110)가 복수의 학생 단말(10)로부터 OMR 답안지의 촬영 이미지를 수신하는 단계(S210), 인식부(140)가 촬영 이미지를 탐지 및 패턴 인식하되 주관식 답안을 문자 인식하는 단계(S220), 인식부(140)가 촬영 이미지의 인식 결과에 따라 채점 정보를 생성하는 단계(S240), 및 송신부(150)가 학생 단말(10)과 함께 학부모 단말(20) 및 교사 단말(30)로 채점 정보를 송신하는 단계(S250)를 포함하는 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법이 제공된다.
이와 같은 본 실시예에 따르면, OMR 답안지의 기존 채점 방식의 문제점을 해결 가능한 채점 방법 및 채점 결과의 분석을 통한 개인 맞춤형의 학습 관리 솔루션이 제공될 수 있다.
이하 본 실시예에 따른 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법의 각 단계에 대하여 설명하도록 한다.
단계210에서는 수신부(110)가 복수의 학생 단말(10)로부터 OMR 답안지의 촬영 이미지를 수신할 수 있다.
단계220에서는, 인식부(140)가 촬영 이미지를 탐지 및 패턴 인식하되 주관식 답안을 문자 인식할 수 있다.
OMR 답안지의 경우 시험 종류에 따라 객관식 문항의 답안 표시뿐만 아니라 주관식 문항의 답안도 기재할 수 있으나, 그 채점 방식에 있어서는 광학적 기호 판독 방식의 한계점에 따라 사람이 별도로 채점하는 수밖에 없었다.
그러나 본 실시예에 따르면, 촬영된 이미지를 탐지하고 문자 인식함으로써 주관식 답안을 자동적으로 채점할 수 있게 된다.
단계240에서는, 인식부(140)가 촬영 이미지의 인식 결과에 따라 채점 정보를 생성할 수 있다.
단계250에서는, 송신부(150)가 학생 단말(10)과 함께 학부모 단말(20) 및 교사 단말(30)로 채점 정보를 송신할 수 있다.
주관식 답안을 문자 인식하는 단계(S220) 이후에, 송신부(150)가 주관식 답안의 문자 인식에 실패한 경우, 촬영 이미지를 외부 서버로 전송하는 단계(S232), 및 수신부(110)가 외부 서버로부터 주관식 답안을 판독해 레이블링(labeling)한 교정 데이터를 수신하는 단계(S234)를 더 포함할 수 있다.
즉 주관식 답안의 문자 인식 실패 시 채점 정보를 생성할 수 없으므로, 이 경우 촬영 이미지를 외부 서버로 전송하여 문자 인식에 실패한 주관식 답안을 사람이 판독하도록 하고 이에 따라 레이블링된 교정 데이터를 수신해 채점 정보를 생성할 수 있다.
교정 데이터를 수신하는 단계(S234) 이후에, 송신부(150)가 학생 단말(10)로 교정 데이터를 송신하여 검증받는 단계(S236)를 더 포함할 수 있다.
다시 말해 수신된 교정 데이터를 학생에게 검증받음으로써 채점 정보의 정확도를 보다 향상시킬 수 있게 된다.
이 때 검증 과정은 교정 데이터와 주관식 답안 간의 동일 여부에 대한 '예/아니오'의 답변을 수신하는 것일 수 있다.
'아니오'의 답변이 선택된 경우에는 이와 함께 학생이 의도한 답안 기재 내용을 함께 수신할 수 있다.
또한 '아니오'의 답변이 수신된 경우, 다시 외부 서버로 촬영 이미지, 교정 데이터 및 학생이 의도한 답안 기재 내용을 전송하되, 이전 판독을 했던 사람 외 사람으로 하여금 촬영 이미지를 기준으로 교정 데이터 및 학생 의도 답안 중 어느 하나를 선택하도록 하여 교정 데이터를 교체할 수 있다.
그리고 '아니오'의 답변이 수신된 경우, 채점 및 평가 지연을 방지하기 위해 추가적으로 학생에게 검증받지 않을 수 있다.
교정 데이터는, 인식부(140)의 문자 인식을 위한 딥러닝 학습 데이터로 이용될 수 있다.
즉 전술한 레이블링(labeling)은 이미지 내 기호, 형상, 이미지 또는 문자 등을 구분하여 이름, 문자 등을 붙이는 작업을 의미하는 것으로, 이와 같은 레이블링을 통해 마련된 교정 데이터는 이후 보다 정확한 문자 인식을 위한 딥러닝 학습 데이터로 이용될 수 있다.
수신부(110)가 학부모 단말(20) 및 교사 단말(30)로부터 채점 정보와 관련한 학생의 학습 상태에 대한 평가로서의 피드백 정보를 수신하는 단계(S260), 및 분석부(180)가 채점 정보 및 피드백 정보를 분석하여 학생의 향후 학습 관리를 위한 솔루션 정보를 생성하는 단계(S280)를 더 포함할 수 있다.
솔루션 정보는, 채점 정보 및 피드백 정보에 따라 산출된, 학생의 학습 수준에 대한 지표로서의 학습 지수에 비례하여 산정되는 향후 학습량 및 학습 시간을 포함할 수 있다.
주관식 답안을 문자 인식하는 단계(S220) 이후에, 송신부(150)가 주관식 답안의 문자 인식에 실패한 경우, 학생 단말(10), 학부모 단말(20) 및 교사 단말(30)로 촬영 이미지를 송신하는 단계(S272), 및 수신부(110)가 학생 단말(10), 학부모 단말(20) 및 교사 단말(30)로부터 주관식 답안의 문자 인식에 실패한 원인에 대한 평가 정보를 수신하는 단계(S274)를 더 포함하고, 학습 지수는, 채점 정보 및 피드백 정보에 따라 산출된 후, 평가 정보에 따라 조정될 수 있다.
즉 문자 인식에 실패한 주관식 답안의 작성에는 학습적 원인이 존재할 수 있으므로, 이에 따라 학생, 학부모 및 교사의 평가 정보를 학생의 학습 수준에 대한 지표인 학습 지수에 반영해 학습 지수를 조정할 수 있다.
평가 정보는, 촬영 오류, 시간 부족 및 부주의를 포함하는 원인 정보 중 선택된 어느 하나일 수 있다.
여기서 촬영 오류는 학생의 단순 과실에 의한 것으로 볼 수 있고, 시간 부족 및 부주의의 경우에는 학생의 학습 부분에서의 과실에 의한 것으로 볼 수 있다.
평가 정보는 원인 정보에 따라 상이한 감산율을 가지고, 학습 지수는, 학생 단말(10), 학부모 단말(20) 및 교사 단말(30)로부터 수신된 평가 정보의 감산율의 평균이 산입되어 조정될 수 있다.
즉 평가 정보를 통해 학습 지수 조정 시, 채점 정보 및 피드백 정보에 따라 산출된 학습 지수에 각 평가 정보의 감산율의 평균값을 산입할 수 있다.
구체적으로 촬영 오류와 같이 단순 과실에 의한 원인 정보는 시간 부족, 부주의와 같은 학습적 과실에 의한 원인 정보보다 작은 감산율이 부여될 수 있다.
또한 학습적 과실에 의한 원인 정보 사이에서도 시간 부족과 구체적인 학습적 과실에 의한 원인 정보는 부주의와 같은 일반적인 학습적 과실에 의한 원인 정보 대비 큰 감산율이 부여될 수 있다.
학습 지수는, 학생 단말(10), 학부모 단말(20) 및 교사 단말(30)로부터 수신된 평가 정보가 모두 촬영 오류인 경우, 채점 정보 및 피드백 정보에 따라 산출된 값으로 할 수 있다.
이 경우에는 주관식 답안의 문자 인식 실패가 단순 과실인 촬영 오류에 의한 것이라는 데에 학생, 학부모 및 교사 모두의 동의가 있는 것이므로, 촬영 오류에 감산율이 부여되어 있더라도 이를 적용하지 아니하고 채점 정보 및 피드백 정보에 따라 산출된 값을 그대로 학습 지수로 할 수 있다.
이와 대비해 학생 단말(10), 학부모 단말(20) 및 교사 단말(30)로부터 수신된 평가 정보 중 어느 하나라도 촬영 오류 외의 것이 있다면 단순 과실에 의한 것으로 단정할 수 없으므로, 이 경우에는 전술한 바와 같이 학생 단말(10), 학부모 단말(20) 및 교사 단말(30)로부터 수신된 평가 정보의 각 감산율의 평균값에 따라 학습 지수가 조정될 수 있게 된다.
제4 실시예에 따르면, 복수의 학생 단말(10)로부터 OMR 답안지의 촬영 이미지를 수신하는 수신부(110), 및 촬영 이미지를 탐지 및 패턴 인식하되 주관식 답안을 문자 인식하는 인식부(140)를 포함하고, 인식부(140)는 촬영 이미지의 인식 결과에 따라 채점 정보를 생성하고, 학생 단말(10)과 함께 학부모 단말(20) 및 교사 단말(30)로 채점 정보를 송신하는 송신부(150)를 더 포함하는 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 시스템(200)이 제공된다.
이와 같은 본 실시예에 따르면, OMR 답안지의 기존 채점 방식의 문제점을 해결 가능한 채점 방법 및 채점 결과의 분석을 통한 개인 맞춤형의 학습 관리 솔루션이 제공될 수 있다.
이하 본 실시예에 따른 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 시스템(200)의 각 구성에 대하여 설명하도록 한다.
수신부(110)는 복수의 학생 단말(10)로부터 OMR 답안지의 촬영 이미지를 수신할 수 있다.
인식부(140)는 촬영 이미지를 탐지 및 패턴 인식하되 주관식 답안을 문자 인식할 수 있다.
인식부(140)는 촬영 이미지의 인식 결과에 따라 채점 정보를 생성할 수 있다.
송신부(150)는 학생 단말(10)과 함께 학부모 단말(20) 및 교사 단말(30)로 채점 정보를 송신할 수 있다.
송신부(150)는 주관식 답안의 문자 인식에 실패한 경우, 촬영 이미지를 외부 서버로 전송하고, 수신부(110)는 외부 서버로부터 주관식 답안을 판독해 레이블링(labeling)한 교정 데이터를 수신할 수 있다.
송신부(150)는 학생 단말(10)로 교정 데이터를 송신하여 검증받을 수 있다.
교정 데이터는, 인식부(140)의 문자 인식을 위한 딥러닝 학습 데이터로 이용될 수 있다.
수신부(110)는 학부모 단말(20) 및 교사 단말(30)로부터 채점 정보와 관련한 학생의 학습 상태에 대한 평가로서의 피드백 정보를 수신하고, 채점 정보 및 피드백 정보를 분석하여 학생의 향후 학습 관리를 위한 솔루션 정보를 생성하는 분석부(180)를 더 포함할 수 있다.
솔루션 정보는, 채점 정보 및 피드백 정보에 따라 산출된, 학생의 학습 수준에 대한 지표로서의 학습 지수에 비례하여 산정되는 향후 학습량 및 학습 시간을 포함할 수 있다.
송신부(150)는 주관식 답안의 문자 인식에 실패한 경우, 학생 단말(10), 학부모 단말(20) 및 교사 단말(30)로 촬영 이미지를 송신하고, 수신부(110)는 학생 단말(10), 학부모 단말(20) 및 교사 단말(30)로부터 주관식 답안의 문자 인식에 실패한 원인에 대한 평가 정보를 수신하고, 학습 지수는, 채점 정보 및 피드백 정보에 따라 산출된 후, 평가 정보에 따라 조정될 수 있다.
평가 정보는, 촬영 오류, 시간 부족 및 부주의를 포함하는 원인 정보 중 선택된 어느 하나일 수 있다.
평가 정보는 원인 정보에 따라 상이한 감산율을 가지고, 학습 지수는, 학생 단말(10), 학부모 단말(20) 및 교사 단말(30)로부터 수신된 평가 정보의 감산율의 평균이 산입되어 조정될 수 있다.
학습 지수는, 학생 단말(10), 학부모 단말(20) 및 교사 단말(30)로부터 수신된 평가 정보가 모두 촬영 오류인 경우, 채점 정보 및 피드백 정보에 따라 산출된 값으로 할 수 있다.
이상에서 설명한 제3, 4 실시예에 따른 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법 및 그 시스템(200)의 내용과 관련해, 이하에서 설명할 실시예들에서 실질적으로 동일하게 개시되는 내용들은 본 실시예의 그것을 따를 수 있으며, 역의 경우에도 동일하다.
다음으로, 본 발명의 제5, 6 실시예에 따른 딥러닝 수기 기호 인식을 통한 학습 솔루션 제공 방법 및 그 시스템(300)에 대해 설명한다.
다만 이하에서 설명할 내용 중 전술한 내용과 중복되거나 실질적으로 동일한 내용은 전술한 바를 따를 수 있되 이하에서는 생략하도록 한다.
제5 실시예에 따르면, 수신부(110)가 복수의 학생 단말(10)로부터 시험지의 촬영 이미지를 수신하는 단계(S301), 인식부(140)가 촬영 이미지를 탐지하여 시험지 내 학생이 수기로 표시한 설정 기호를 인식하는 단계(S302), 생성부가 설정 기호가 표시된 목표 단어를 문자 인식하여 목표 단어를 포함하는 단어장을 생성하는 단계(S304), 및 분석부(180)가 설정 빈도에 따라 학생에게 단어장에 포함된 목표 단어를 노출시키는 단계(S306)를 포함하는 딥러닝 수기 기호 인식을 통한 학습 솔루션 제공 방법이 제공된다.
본 실시예에 따르면, 즉시적 단어 확인 및 단어장 자동 생성이 가능하고 이와 함께 효과적인 단어 암기 솔루션이 제공될 수 있다.
이하 본 실시예에 따른 딥러닝 수기 기호 인식을 통한 학습 솔루션 제공 방법의 각 단계에 대하여 설명하도록 한다.
단계301에서는, 수신부(110)가 복수의 학생 단말(10)로부터 시험지의 촬영 이미지를 수신할 수 있다.
단계302에서는, 인식부(140)가 촬영 이미지를 탐지하여 시험지 내 학생이 수기로 표시한 설정 기호를 인식할 수 있다.
여기서 설정 기호는 별, 박스, 동그라미 등 다양한 형상을 포함할 수 있으며, 후술할 바와 같이 미리 학생에 의해 설정된 것과 비교를 통해 인식될 수 있다.
단계304에서는, 생성부가 설정 기호가 표시된 목표 단어를 문자 인식하여 목표 단어를 포함하는 단어장을 생성할 수 있다.
즉 설정 기호의 인식이 이루어지면 설정 기호가 표시된 목표 단어를 문자 인식하고 이에 따라 확인된 단어를 단어장에 저장하여 학생으로 하여금 손쉽게 이용 가능하도록 할 수 있다.
단계306에서는, 분석부(180)가 설정 빈도에 따라 학생에게 단어장에 포함된 목표 단어를 노출시킬 수 있다.
전술한 단어장의 활용에 있어 단어장에 포함된 목표 단어를 기설정된 설정 빈도에 따라 학생에게 노출시켜 효과적으로 암기 가능하도록 할 수 있다.
이 경우 목표 단어의 노출은 스마트폰 등의 잠금 화면이나 알람 기능 등을 통해 이루어질 수 있다.
촬영 이미지를 수신하는 단계(S301) 이전에, 수신부(110)가 학생 단말(10)로부터 인식 대상이 될 설정 기호를 수신하는 단계(S300)를 더 포함하고, 설정 기호는 상이한 형상으로 복수 설정 가능하고, 복수의 설정 기호는, 서로 상이한 설명 수준으로 목표 단어가 단어장에 포함되도록 설정될 수 있다.
즉 설정 기호는 미리 학생에 의해 설정될 수 있으며, 다양한 형상으로 설정 가능하되 복수 개로 설정할 수 있다.
또한 설정 기호에 따라 목표 단어에 대한 설명이 상이한 수준으로 단어장에 포함되도록 설정할 수 있다.
구체적으로 목표 단어에 대한 설명은 설명 수준이 높아짐에 따라 주요 의미, 기타 의미, 발음, 예문, 어원 및 동영상 강의 등의 순으로 하나씩 누적되면서 단어장에 포함될 수 있다.
설정 기호는 복수로 표기 가능하고, 설정 빈도는, 설정 기호의 복수 표기 횟수에 비례하여 가중치가 부여될 수 있다.
설정 기호가 복수 회로 표기된다는 것은 학생이 해당 목표 단어를 중요하게 생각한다는 것을 의미하므로, 이 경우 설정 빈도에 복수 표기 횟수에 비례하여 가중치를 부여하여 증가시킴으로써 해당 목표 단어의 암기 효율을 높일 수 있다.
설정 빈도는, 목표 단어가 단어장에 이전부터 누적 포함된 횟수에 비례하여 가중치가 부여될 수 있다.
즉 이미 단어장에 포함된 목표 단어라도 다시 설정 기호가 표시되어 단어장에 포함될 수 있으며, 이 경우 해당 목표 단어의 암기가 제대로 이루어지지 않은 것으로 볼 수 있으므로 목표 단어의 누적 포함 횟수에 비례한 가중치를 설정 빈도에 부여하여 학생이 효과적으로 단어를 암기하도록 할 수 있다.
목표 단어를 노출시키는 단계(S306) 이전에, 수신부(110)가 복수의 학생 단말(10)로부터 OMR 답안지의 촬영 이미지를 수신하는 단계(S310), 인식부(140)가 촬영 이미지를 탐지 및 패턴 인식하여 채점 정보를 생성하는 단계(S340), 및 송신부(150)가 학생 단말(10)로 채점 정보를 송신하는 단계(S350)를 더 포함할 수 있다.
채점 정보는 정오 문항에 대한 정보를 포함하고, 설정 빈도는, 채점 정보에 따라 목표 단어가 오답 문항에 포함된 경우 가중치가 부여될 수 있다.
오답 문항에 포함된 목표 단어라면 정답 문항에 포함된 것 대비 중요도가 높은 것으로 볼 수 있으므로, 이 경우 설정 빈도에 가중치를 부여하여 학생에게 더 자주 노출되도록 할 수 있다.
가중치는, 목표 단어가 복수의 오답 문항에 포함되는 경우 복수 포함 횟수에 비례하여 증가될 수 있다.
즉 오답 문항에 포함된 목표 단어들 중에서도 그 포함되는 오답 문항의 개수가 많은 목표 단어는 그 중요도가 상대적으로 더 크다고 할 수 있으므로, 복수의 오답 문항에 포함된 횟수에 비례하여 전술한 가중치를 더 증가시킴으로써 상대적으로 설정 빈도를 높일 수 잇다.
채점 정보를 생성하는 단계(S340) 이후에, 송신부(150)가 학부모 단말(20) 및 교사 단말(30)로 채점 정보를 송신하는 단계(S350), 수신부(110)가 학부모 단말(20) 및 교사 단말(30)로부터 채점 정보와 관련한 학생의 학습 상태에 대한 평가로서의 피드백 정보를 수신하는 단계(S360), 및 분석부(180)가 채점 정보 및 피드백 정보를 분석하여 설정 빈도를 조정하는 단계(S380)를 더 포함할 수 있다.
채점 정보와 더불어 이를 기초로 학부모 단말(20)과 교사 단말(30)로부터 수신된 피드백 정보를 분석하여 설정 빈도를 조정함으로써 설정 빈도를 보다 현실성있게 보정할 수 있게 된다.
설정 빈도는, 채점 정보 및 피드백 정보에 따라 산출된, 학생의 학습 수준에 대한 지표로서의 학습 지수에 비례하여 증가될 수 있다.
채점 정보 및 피드백 정보는 구체적으로 학생의 학습 수준을 나타내는 학습 지수로 산출되고 이와 같은 학습 지수에 비례하여 설정 빈도를 증가시킬 수 있다.
이에 따라 학습 수준이 낮은 학생의 경우 설정 빈도를 점진적으로 증가시키고 학습 수준이 높은 학생의 경우 설정 빈도를 지속적으로 증가시켜 개인 맞춤형의 보다 효과적인 단어 암기를 가능케 할 수 있다.
설정 기호를 인식하는 단계(S302) 이후에, 인식부(140)가 설정 기호가 표시된 목표 단어를 문자 인식하여 목표 단어에 대한 설명 및 목표 단어가 포함된 문항에 대한 해설 중 적어도 어느 하나를 제공하는 단계(S305)를 더 포함할 수 있다.
이는 마치 설정 기호가 표시된 목표 단어가 하나의 링크(link)로서 작용하는 것으로, 이에 따라 목표 단어를 실시간으로 즉시 확인할 수 있거나 또는 실시간으로 목표 단어가 포함된 문항의 해설을 확인할 수 있어 학습 효율을 보다 증가시킬 수 있게 된다.
제6 실시예에 따르면, 복수의 학생 단말(10)로부터 시험지의 촬영 이미지를 수신하는 수신부(110), 촬영 이미지를 탐지하여 시험지 내 학생이 수기로 표시한 설정 기호를 인식하는 인식부(140), 설정 기호가 표시된 목표 단어를 문자 인식하여 목표 단어를 포함하는 단어장을 생성하는 생성부, 및 설정 빈도에 따라 학생에게 단어장에 포함된 목표 단어를 노출시키는 분석부(180)를 포함하는 딥러닝 수기 기호 인식을 통한 학습 솔루션 제공 시스템(300)이 제공된다.
본 실시예에 따르면, 즉시적 단어 확인 및 단어장 자동 생성이 가능하고 이와 함께 효과적인 단어 암기 솔루션이 제공될 수 있다.
이하 본 실시예에 따른 딥러닝 수기 기호 인식을 통한 학습 솔루션 제공 시스템(300)의 각 구성에 대하여 설명하도록 한다.
수신부(110)는 복수의 학생 단말(10)로부터 시험지의 촬영 이미지를 수신할 수 있다.
인식부(140)는 촬영 이미지를 탐지하여 시험지 내 학생이 수기로 표시한 설정 기호를 인식할 수 있다.
생성부는 설정 기호가 표시된 목표 단어를 문자 인식하여 목표 단어를 포함하는 단어장을 생성할 수 있다.
분석부(180)는 설정 빈도에 따라 학생에게 단어장에 포함된 목표 단어를 노출시킬 수 있다.
수신부(110)는 학생 단말(10)로부터 인식 대상이 될 설정 기호를 수신하고, 설정 기호는 상이한 형상으로 복수 설정 가능하고, 복수의 설정 기호는, 서로 상이한 설명 수준으로 목표 단어가 단어장에 포함되도록 설정될 수 있다.
설정 기호는 복수로 표기 가능하고, 설정 빈도는, 설정 기호의 복수 표기 횟수에 비례하여 가중치가 부여될 수 있다.
설정 빈도는, 목표 단어가 단어장에 이전부터 누적 포함된 횟수에 비례하여 가중치가 부여될 수 있다.
수신부(110)는 복수의 학생 단말(10)로부터 OMR 답안지의 촬영 이미지를 수신하고, 인식부(140)는 촬영 이미지를 탐지 및 패턴 인식하여 채점 정보를 생성하고, 학생 단말(10)로 채점 정보를 송신하는 송신부(150)를 더 포함할 수 있다.
채점 정보는 정오 문항에 대한 정보를 포함하고, 설정 빈도는, 채점 정보에 따라 목표 단어가 오답 문항에 포함된 경우 가중치가 부여될 수 있다.
가중치는, 목표 단어가 복수의 오답 문항에 포함되는 경우 복수 포함 횟수에 비례하여 증가될 수 있다.
송신부(150)는 학부모 단말(20) 및 교사 단말(30)로 채점 정보를 송신하고, 수신부(110)는 학부모 단말(20) 및 교사 단말(30)로부터 채점 정보와 관련한 학생의 학습 상태에 대한 평가로서의 피드백 정보를 수신하고, 분석부(180)는 채점 정보 및 피드백 정보를 분석하여 설정 빈도를 조정할 수 있다.
설정 빈도는, 채점 정보 및 피드백 정보에 따라 산출된, 학생의 학습 수준에 대한 지표로서의 학습 지수에 비례하여 증가될 수 있다.
인식부(140)는 설정 기호가 표시된 목표 단어를 문자 인식하여 목표 단어에 대한 설명 및 목표 단어가 포함된 문항에 대한 해설 중 적어도 어느 하나를 제공할 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상, 본 발명의 일 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
10: 학생 단말
20: 학부모 단말
30: 교사 단말
100: 딥러닝 이미지 인식을 통한 OMR 답안지 자동 채점 및 학습 관리 솔루션 제공 시스템
110: 수신부
140: 인식부
150: 송신부
180: 분석부
200: 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 시스템
300: 딥러닝 수기 기호 인식을 통한 학습 솔루션 제공 시스템

Claims (10)

  1. 수신부가 복수의 학생 단말로부터 OMR 답안지의 촬영 이미지를 수신하는 단계;
    인식부가 상기 촬영 이미지를 탐지 및 패턴 인식하되 주관식 답안을 문자 인식하는 단계;
    상기 인식부가 상기 촬영 이미지의 인식 결과에 따라 채점 정보를 생성하는 단계; 및
    송신부가 상기 학생 단말과 함께 학부모 단말 및 교사 단말로 상기 채점 정보를 송신하는 단계를 포함하고,
    상기 수신부가 상기 학부모 단말 및 상기 교사 단말로부터 상기 채점 정보와 관련한 상기 학생의 학습 상태에 대한 평가로서의 피드백 정보를 수신하는 단계; 및
    분석부가 상기 채점 정보 및 상기 피드백 정보를 분석하여 상기 학생의 향후 학습 관리를 위한 솔루션 정보를 생성하는 단계를 더 포함하고,
    상기 솔루션 정보는,
    상기 채점 정보 및 상기 피드백 정보에 따라 산출된, 상기 학생의 학습 수준에 대한 지표로서의 학습 지수에 비례하여 산정되는 향후 학습량 및 학습 시간을 포함하고,
    상기 주관식 답안을 문자 인식하는 단계 이후에,
    상기 송신부가 상기 주관식 답안의 문자 인식에 실패한 경우, 상기 학생 단말, 상기 학부모 단말 및 상기 교사 단말로 상기 촬영 이미지를 송신하는 단계; 및
    상기 수신부가 상기 학생 단말, 상기 학부모 단말 및 상기 교사 단말로부터 상기 주관식 답안의 문자 인식에 실패한 원인에 대한 평가 정보를 수신하는 단계를 더 포함하고,
    상기 학습 지수는,
    상기 채점 정보 및 상기 피드백 정보에 따라 산출된 후, 상기 평가 정보에 따라 조정되는, 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법.
  2. 제1항에 있어서,
    상기 주관식 답안을 문자 인식하는 단계 이후에,
    상기 송신부가 상기 주관식 답안의 문자 인식에 실패한 경우, 상기 촬영 이미지를 외부 서버로 전송하는 단계; 및
    상기 수신부가 상기 외부 서버로부터 상기 주관식 답안을 판독해 레이블링(labeling)한 교정 데이터를 수신하는 단계를 더 포함하는 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법.
  3. 제2항에 있어서,
    상기 교정 데이터를 수신하는 단계 이후에,
    상기 송신부가 상기 학생 단말로 상기 교정 데이터를 송신하여 검증받는 단계를 더 포함하는 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법.
  4. 제2항에 있어서,
    상기 교정 데이터는,
    상기 인식부의 문자 인식을 위한 딥러닝 학습 데이터로 이용되는, 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 평가 정보는,
    촬영 오류, 시간 부족 및 부주의를 포함하는 원인 정보 중 선택된 어느 하나인, 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법.
  9. 제8항에 있어서,
    상기 평가 정보는 상기 원인 정보에 따라 상이한 감산율을 가지고,
    상기 학습 지수는,
    상기 학생 단말, 상기 학부모 단말 및 상기 교사 단말로부터 수신된 상기 평가 정보의 상기 감산율의 평균이 산입되어 조정되는, 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법.
  10. 제9항에 있어서,
    상기 학습 지수는,
    상기 학생 단말, 상기 학부모 단말 및 상기 교사 단말로부터 수신된 상기 평가 정보가 모두 상기 촬영 오류인 경우, 상기 채점 정보 및 상기 피드백 정보에 따라 산출된 값으로 하는, 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법.
KR1020220038580A 2022-01-17 2022-03-29 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법 및 그 시스템 KR102476578B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220006762 2022-01-17
KR1020220006762 2022-01-17

Publications (1)

Publication Number Publication Date
KR102476578B1 true KR102476578B1 (ko) 2022-12-13

Family

ID=84439206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220038580A KR102476578B1 (ko) 2022-01-17 2022-03-29 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR102476578B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102610242B1 (ko) 2023-09-18 2023-12-07 주식회사 마커키퍼 인공지능 ocr 기반 비정형 손글씨 인식 방법, 장치 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170003023U (ko) 2016-02-19 2017-08-29 신태섭 Omr카드용 가채점 용지
KR20190052410A (ko) * 2017-11-08 2019-05-16 강성욱 답안 일체형 시험지 및 답안 일체형 교재를 이용하는 자동 채점 시스템 및 그 방법
KR20200119358A (ko) * 2019-03-15 2020-10-20 (주) 데이터뱅크 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템
KR20210037233A (ko) * 2019-09-27 2021-04-06 주식회사 에이치투케이 인공지능 기반의 유아 한글 커리큘럼 세부조정 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170003023U (ko) 2016-02-19 2017-08-29 신태섭 Omr카드용 가채점 용지
KR20190052410A (ko) * 2017-11-08 2019-05-16 강성욱 답안 일체형 시험지 및 답안 일체형 교재를 이용하는 자동 채점 시스템 및 그 방법
KR20200119358A (ko) * 2019-03-15 2020-10-20 (주) 데이터뱅크 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템
KR20210037233A (ko) * 2019-09-27 2021-04-06 주식회사 에이치투케이 인공지능 기반의 유아 한글 커리큘럼 세부조정 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102610242B1 (ko) 2023-09-18 2023-12-07 주식회사 마커키퍼 인공지능 ocr 기반 비정형 손글씨 인식 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
US20210020059A1 (en) Answer evaluation method, answer evaluation system, electronic device, and medium
CN106599887B (zh) 试卷答题区域识别及试题评阅方法、系统
WO2023273583A1 (zh) 阅卷方法、装置、电子设备及存储介质
US20110151423A1 (en) System and method for representing digital assessments
CN105488142A (zh) 成绩信息录入方法及系统
KR102476578B1 (ko) 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법 및 그 시스템
KR102476575B1 (ko) 딥러닝 이미지 인식을 통한 omr 답안지 자동 채점 및 학습 관리 솔루션 제공 방법 및 그 시스템
Lehman et al. Investigating the Relationship of Standards-Based Grades vs. Traditional-Based Grades to Results of the Scholastic Math Inventory at the Middle School Level.
Fleming Biases in marking students’ written work: quality
CN110837793A (zh) 一种智能识别手写数学公式批阅系统
KR20130021684A (ko) 답안지 관리 시스템 및 그 방법
CN114140280A (zh) 一种基于ai批改的数据处理方法、系统和电子设备
CN114140279A (zh) 一种纸质作业智能批改及分析的方法、系统和电子设备
KR102506951B1 (ko) 딥러닝 수기 기호 인식을 통한 학습 솔루션 제공 방법 및 그 시스템
KR102126834B1 (ko) 큐알코드를 이용한 자동 채점 시스템
CN112102127B (zh) 可解释智能学习报告生产方法
CN116110262A (zh) 语音答题的评判方法、装置、设备及存储介质
Tung Performance-Based Assessment: Meeting the Needs of Diverse Learners.
CN111666799A (zh) 一种口算题的校验方法及终端
CN113255836A (zh) 一种作业数据处理方法、装置、计算机设备和存储介质
US11410569B1 (en) Methods, systems, and media for identifying and scoring assignment answers
Lesnussa et al. The Use of Pictures in Teaching Descriptive Text to Improve Students’ Writing Skill
CN111967255A (zh) 一种基于互联网的语言自动组卷评测方法和存储介质
CN112164262A (zh) 一种智能阅卷辅导系统
Fernando et al. Innovative, Integrated and Interactive (3I) LMS for Learners and Trainers

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant