KR20190123105A - 사용자 맞춤형 학습 컨텐츠 제공 시스템 및 방법 - Google Patents

사용자 맞춤형 학습 컨텐츠 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20190123105A
KR20190123105A KR1020180046853A KR20180046853A KR20190123105A KR 20190123105 A KR20190123105 A KR 20190123105A KR 1020180046853 A KR1020180046853 A KR 1020180046853A KR 20180046853 A KR20180046853 A KR 20180046853A KR 20190123105 A KR20190123105 A KR 20190123105A
Authority
KR
South Korea
Prior art keywords
user
test
item
learning
score
Prior art date
Application number
KR1020180046853A
Other languages
English (en)
Other versions
KR102104660B1 (ko
Inventor
조휘철
구본준
윤주영
전상필
Original Assignee
주식회사 에스티유니타스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스티유니타스 filed Critical 주식회사 에스티유니타스
Priority to KR1020180046853A priority Critical patent/KR102104660B1/ko
Priority to US16/384,915 priority patent/US20190325773A1/en
Priority to CN201910328127.9A priority patent/CN110389969A/zh
Publication of KR20190123105A publication Critical patent/KR20190123105A/ko
Application granted granted Critical
Publication of KR102104660B1 publication Critical patent/KR102104660B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • G06Q50/2057Career enhancement or continuing education service
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명의 일 실시예에 따른 학습 컨텐츠 제공 시스템은 사용자에게 복수의 유형을 포함하는 복수의 테스트 문항을 제공하고, 테스트의 결과를 수신하는 수준 측정 모듈, 사용자에게 제공되는 복수의 유형을 포함하는 복수의 테스트 문항, 사용자에 대한 테스트의 결과 및 다른 사용자에 대한 테스트의 결과를 저장하는 데이터베이스, 및 테스트 결과를 통해 사용자의 복수의 문항에 대한 유형별 정답률을 산출하고, 이를 실제 시험 데이터에 대입함으로써, 사용자가 실제 시험에서 획득 가능한 점수를 예측하는 점수 예측 모듈을 포함할 수 있다.

Description

사용자 맞춤형 학습 컨텐츠 제공 시스템 및 방법{SYSTEM AND METHOD OF PROVIDING CUSTOMIZED EDUCATION CONTENTS}
본 발명은 사용자 맞춤형 학습 컨텐츠 제공 시스템 및 방법에 관한 것이다.
현재 우리 나라의 교육 시스템은 학교나 학원 등을 통한 오프라인이나 인터넷 강의를 통한 온라인 상에서 다수의 학생들에 대해 통합적으로 이루어지는 것이 일반적이며, 일부 학생들은 개인 과외를 통해 개별적 학습을 수행하고 있다.
그러나, 학교나 학원, 동영상 강의 등을 통한 수업은 교육 서비스를 제공하는 측에서 미리 정해진 교과 과정과 강의 시간에 따라 모든 학생들에 대해 일방적이고 획일적으로 제공되므로 학생들은 해당 수업에 수동적으로 따라가기만 하는 입장이었다. 이와 같이, 일률적인 교과 과정에 의하면 학생들 개개인의 학습 습관이나 특성을 반영하기가 곤란하며, 학생들의 학습 수준에 따라 학업 성취 효과의 편차가 시간이 갈수록 점차 증가하여 학생들 개인의 입장에서는 많은 시간과 비용을 낭비하게 되는 문제점이 있었다.
또한, 개인 과외의 경우에는 개인 교사가 학생의 학습 수준과 특성에 맞게 수업을 진행할 수 있는 장점이 있으나, 개인 교사들의 역량이 천차만별이고, 학교나 학원의 수업 대비 높은 수업료로 인해 학생들의 경제적 부담이 가중되는 문제가 있었다.
따라서, 종래에 다수의 학생에 대하여 일률적으로 제공되었던 교육 과정에서 벗어나 학생들의 학습 효율성을 향상시키기 위해서는 개별 학생의 공부 습관, 학습 특성, 학업 성취도 등을 정확하게 파악하여, 학생 개개인에게 최적화 된 맞춤형 교육을 제공하는 것이 요구된다.
본 발명은 사용자의 학습 수준을 정확하게 진단하고, 사용자 별로 최적화된 학습 컨텐츠를 제공함으로써 학습 효과를 극대화할 수 있는 사용자 맞춤형 학습 컨텐츠 제공 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 학습 컨텐츠 제공 시스템은 사용자에게 복수의 유형을 포함하는 복수의 테스트 문항을 제공하고, 테스트의 결과를 수신하는 수준 측정 모듈, 사용자에게 제공되는 복수의 유형을 포함하는 복수의 테스트 문항, 사용자에 대한 테스트의 결과 및 다른 사용자에 대한 테스트의 결과를 저장하는 데이터베이스, 및 테스트 결과를 통해 사용자의 복수의 문항에 대한 유형별 정답률을 산출하고, 이를 실제 시험 데이터에 대입함으로써, 사용자가 실제 시험에서 획득 가능한 점수를 예측하는 점수 예측 모듈을 포함할 수 있다.
본 발명의 일 실시예에 따른 학습 컨텐츠 제공 방법은 사용자에게 제공되는 복수의 유형을 포함하는 복수의 테스트 문항, 사용자에 대한 테스트의 결과 및 다른 사용자에 대한 테스트의 결과를 저장하는 데이터베이스를 포함하는 시스템을 이용하여 학습 컨텐츠를 제공하는 방법으로서, 사용자에게 복수의 유형을 포함하는 복수의 테스트 문항을 제공하는 단계, 테스트의 결과를 수신하는 단계, 테스트 결과를 통해 사용자의 문항에 대한 유형별 정답률을 산출하는 단계, 사용자의 문항에 대한 유형별 정답률을 실제 시험 데이터에 대입하는 단계; 및 사용자가 실제 시험에서 획득 가능한 점수를 예측하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 학습용 애플리케이션은 사용자 단말에 저장되며, 복수의 유형을 포함하는 복수의 테스트 문항을 사용자에게 제공하는 단계, 사용자가 복수의 유형을 포함하는 복수의 테스트 문항에 대한 답안을 제출하면 테스트의 결과를 서버로 전송하는 단계, 서버에서 산출된 사용자가 실제 시험에서 획득 가능한 점수를 수신하여 표시하는 단계를 실행할 수 있다.
본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템 및 방법에 따르면, 사용자의 학습 수준을 정확하게 진단하고, 사용자 별로 최적화된 학습 컨텐츠를 제공함으로써 학습 효과를 극대화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템의 블록도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템에서 점수 예측 모듈이 유저의 획득 가능 점수를 예측하는 방법을 나타낸다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템의 태그 등록 모듈이 문항 별로 추천 태그를 제공하는 것을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템의 사용자 수준 측정 모듈이 스킵-그램(Skip-Gram)을 통해 사용자의 상기 태그 별 학습 진행 상황을 판단하는 것을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템의 컨텐츠 추천 모듈이 기출 문제를 이용하여 생성한 문항 특성 곡선을 통해 문항의 난이도를 판정하는 예시를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템의 컨텐츠 추천 모듈이 문항 특성 곡선을 이용하여 문항을 추천하는 과정을 나타낸다.
도 7은 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 방법의 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 학습 컨텐츠 제공 시스템과 사용자 단말이 네트워크를 통해 연결된 것을 나타낸다.
도 9는 본 발명의 일 실시예에 따른 학습 컨텐츠 애플리케이션을 포함하는 사용자 단말의 하드웨어 구성을 나타낸다.
도 10은 본 발명의 일 실시예에 따른 학습 컨텐츠 제공 시스템과 사용자 단말이 통신하여 학습을 수행하는 방법을 나타내는 흐름도이다.
이하, 첨부한 도면을 참조하여 본 발명의 다양한 실시 예들에 대해 상세히 설명하고자 한다. 본 문서에서 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 문서에 개시되어 있는 본 발명의 다양한 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 다양한 실시 예들은 여러 가지 형태로 실시될 수 있으며 본 문서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
다양한 실시 예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성 요소들을 한정하지 않는다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성 요소로 바꾸어 명명될 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 발명의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템의 블록도를 나타낸다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템(100)은 수준 측정 모듈(110), 데이터베이스(120), 점수 예측 모듈(130), 태그 등록 모듈(140) 및 컨텐츠 추천 모듈(150)을 포함할 수 있다.
수준 측정 모듈(110)은 사용자에게 복수의 유형을 포함하는 복수의 테스트 문항을 제공하고, 테스트의 결과를 수신할 수 있다. 이 때, 수준 측정 모듈(110)은 가능한 다양한 유형을 포함하는 복수의 테스트 문항을 사용자에게 제공함으로써, 사용자의 각 유형에 대한 학습 상황을 정확하게 진단하도록 하는 것이 바람직하다.
이 때, 수준 측정 모듈(110)에서 제공되는 테스트 문항은 사용자가 직접 획득 가능 점수의 예측을 원하는 시험(예를 들면, 국가 공무원 시험, 토익·토플 등의 공인 영어 시험, 국가 자격증 시험, 의학·치의학·약학 대학 입문 자격 시험 등)을 선택하여 제공받도록 구성될 수 있다.
특히, 수준 측정 모듈(110)을 통해 제공하는 테스트 문항은 각 시험의 종류마다 보유하고 있는 태그들의 조합에 따라 테스트 문항을 구성함으로써, 실제 시험에 대한 점수 예측의 신뢰성을 향상시킬 수 있다. 또한, 테스트 문항이 각 시험이 포함하고 있는 모든 태그를 포함하도록 구성되지는 않더라도, 테스트 문항에 포함되어 있는 특정 태그에 대한 정답 여부와 해당 태그와 상이한 태그(예를 들면, 테스트 문항에 포함되지 않은 태그)의 상관 관계를 이용하여, 실제 시험에서의 점수 예측이 가능하도록 할 수 있다.
사용자에 의하여 테스트가 수행된 이후, 테스트 결과에 기초하여 사용자는 테스트를 수행한 시험과 관련된 학습을 수행할 수 있다. 이 때, 수준 측정 모듈(110)은 스킵-그램(Skip-Gram)을 이용하여 특정 유형이 포함된 복수의 문항에 대하여 사용자의 소정 회차에 대한 정답률을 파악함으로써 사용자의 문항 유형별 학습 진행 상황을 갱신하여 판단하도록 할 수 있다. 자세한 내용은 도 4에서 후술한다.
데이터베이스(120)는 사용자에게 제공되는 상술한 복수의 유형을 포함하는 복수의 테스트 문항, 사용자에 대한 테스트의 결과 및 다른 사용자들에 대한 테스트의 결과를 저장할 수 있다.
또한, 데이터베이스(120)에는 후술하는 태그 등록 모듈(140)에 의해 태그의 등록이 완료된 문항들이 저장될 수 있다. 각 문항들은 단일의 태그만이 등록될 수도 있으며 복수의 태그가 등록될 수도 있다. 그리고 데이터베이스(120)는 수준 측정 모듈(110)을 통해 태그가 등록된 문항들을 포함하는 테스트를 사용자에게 제공하여 그 결과를 저장함으로써, 점수 예측 모듈(130)과 컨텐츠 추천 모듈(150)에서 사용자의 획득 가능 점수 예측과 사용자 별로 최적화 된 컨텐츠를 제공하는데 활용할 수 있도록 한다.
또한, 데이터베이스(120)에는 각종 시험의 기출 문제들과 해당 기출 문제들 각각에 대한 정답률이나 점수 분포, 또는 해당 기출문제들을 회원들이 실제로 푼 결과 등을 추가로 저장할 수도 있다. 여기서, 각종 시험이란, 예를 들면 국가 공무원 시험, 토익·토플 등의 공인 영어 시험, 국가 자격증 시험, 의학·치의학·약학 대학 입문 자격 시험 등을 포함할 수 있다.
점수 예측 모듈(130)은 사용자의 테스트 결과를 통해 해당 사용자의 상술한 복수의 문항에 대한 유형별 정답률을 산출하고, 이를 실제 시험 데이터에 대입함으로써, 사용자가 실제 시험에서 획득 가능한 점수를 예측할 수 있다. 이 때, 점수 예측 모듈은 딥 러닝(Deep Learning) 기술을 통해 사용자의 획득 가능한 점수를 자동적으로 예측하도록 할 수 있다.
즉, 점수 예측 모듈(130)은 데이터베이스(120)에 저장된 복수의 사용자에 대한 테스트 결과(예를 들면, 문항에 대한 유형별 정답률을 포함)를 이용하여, 사용자가 선택한 시험에서 획득할 것으로 예측되는 점수를 산출할 수 있다. 여기서, 실제 시험 데이터란 실제 시험의 응시자들의 획득 점수, 표준 점수 분포, 문제 유형별 정답률 등 실제 시험을 통해 도출되는 가능한 전체 데이터를 의미한다.
구체적으로 예를 들면, 수준 측정 모듈(110)에서 제공된 테스트 문항을 통해, 특정 사용자의 특정 시험에 대한 문항 유형별 정답률을 산출하고, 그 결과를 다른 사용자의 문항 유형별 정답률에 관한 데이터와 합산하여 해당 사용자의 전체 유형에 대한 정답률이 산출된다. 그리고, 산출된 유형별 정답률을 이용하여 실제 시험에 대한 사용자의 현 시점에서의 문항별 정오를 예측하고, 해당 시험에서 획득 가능한 원점수를 계산한다. 나아가, 계산된 획득 가능 점수를 상술한 실제 시험 데이터에 대입하여 해당 시험에서의 표준 점수까지 산출할 수 있다. 또한, 점수 예측 모듈(130)은 N회의 기출 문제 각각에 대하여 사용자가 획득 가능한 점수를 예측하고, 예측된 점수의 평균을 산출하여 사용자에게 제공할 수도 있다.
이와 같이, 사용자는 시스템 상에서 테스트 문항을 풀어보는 것만으로도 실제 시험에서 획득 가능 점수와 표준 점수를 예측할 수 있게 된다.
태그 등록 모듈(140)은 사용자 맞춤형 학습 컨텐츠 제공 시스템(100)에 입력된 문항의 속성에 따라 문항마다의 태그를 등록할 수 있다. 여기서, 태그 등록 모듈(140)에는 기존에 전문가에 의해 문항의 유형별로 태그를 부여하는 과정이 미리 학습되어 있어, 시스템의 관리자가 문항을 입력하면 해당 문항의 유형에 따라 문항마다 태그를 등록할 수 있다. 이 때, 태그 등록 모듈(140)은, 예를 들면 딥 러닝을 통해 문항별 태그 등록 과정이 미리 학습될 수 있다.
또한, 태그 등록 모듈(140)은 시스템의 관리자가 직접 문항을 생성하거나 기존의 문제 은행에서 추출된 문제들뿐 아니라, 이전에 출제된 기출 문제에 대하여도 태그를 등록할 수 있다.
컨텐츠 추천 모듈(150)은 테스트의 결과를 이용하여, 사용자의 학습 수준에 맞는 문항을 제공할 수 있다. 즉, 컨텐츠 추천 모듈(150)은 사용자가 사전 테스트를 통해 풀이한 결과를 통해 사용자가 어떠한 유형을 포함하는 문항이 취약한 지 여부를 파악함으로써, 사용자 별로 학습 수준에 적합한 문항을 추출하여 제공할 수 있다.
또한, 컨텐츠 추천 모듈(150)은 사용자의 학습 수준에 맞는 문항을 데이터베이스(120)에 저장된 기출 문제 중에서 선택하는 방식으로 제공할 수도 있다. 특히, 컨텐츠 추천 모듈(150)은 이전에 출제된 기출 문제의 지문과의 유사도, 기출 문제의 문항 각각의 키워드 및 유형의 유사도, 및 기출 문제의 정답과의 일치 여부 중 적어도 하나 이상을 기준으로 출제 예상 문제를 제공할 수 있다.
그리고 컨텐츠 추천 모듈(150)은 사용자의 테스트 결과를 이용하여, 사용자의 약점 문제를 제공할 수 있다. 이 때, 사용자 별 약점 문제는 상기 약점 문항은 상기 사용자의 정답률이 미리 설정된 기준 이하인 유형을 포함하는 복수의 문항들로부터 추출될 수 있다. 특히, 컨텐츠 추천 모듈(150)은 사용자의 정답률이 일정 수준 이하인 태그를 추출함으로써, 사용자가 취약한 유형의 문항들을 선별하여 제공할 수도 있다.
컨텐츠 추천 모듈(150)은 상술한 바와 같이, 점수 예측 모듈(130)에서 계산된 정답률이 미리 설정되어 있는 정답률의 범위 내에 있는 유형을 포함하는 문항을 제공할 수 있다. 예를 들면, 사용자가 일정 수준 이하의 정답률을 나타내는 영역의 문항들 중에서도 미리 설정된 최소한의 정답률 이상인 영역의 문항들만을 선별하여 제공함으로써, 지속적인 고난이도 문제 풀이에 따라 사용자의 학업 의욕이 저하되는 것을 방지할 수 있을 것이다.
또한, 컨텐츠 추천 모듈(150)은 사용자의 학습 수준에 맞는 문항을 제공함에 있어서, 특정 유형이 출제된 빈도를 판단하여 사용자의 학습 수준에 맞는 문항을 해당 유형이 출제된 빈도가 높은 순으로 정렬하여 제공할 수 있다. 예를 들면, 컨텐츠 추천 모듈(150)은 태그 A, 태그 B, 태그 C를 포함하는 문항이 출제된 빈도를 각각 산출하고, 태그 A > 태그 C > 태그 B 순으로 출제 빈도가 높은 경우에 태그 A, 태그 C, 태그 B를 포함하는 문항 순으로 사용자에게 추천 문항을 제공할 수 있다.
이하에서는, 상술한 학습 컨텐츠 제공 시스템(100)의 구체적인 기능에 대해서 좀 더 구체적으로 살펴보도록 한다.
도 2는 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템에서 점수 예측 모듈이 유저의 획득 가능 점수를 예측하는 방법을 나타낸다.
도 2를 참조하면, 학습 컨텐츠 제공 시스템(100)의 점수 예측 모듈(130)은 데이터베이스로(120)부터 유저의 현재 학습 상태(210) 및 수준 측정 모듈을 통해 획득한 테스트 결과에 대한 학습 데이터(220)를 이용하여, 딥 러닝(230) 방식으로 유저의 문항에 대한 정오 여부(240)를 판단함으로써, 해당 시험에서의 획득 가능 점수를 예측할 수 있다.
특히, 도 2에서 나타낸 실시예에서는 문항의 유형을 나타내는 방식으로 태그를 사용하는 예시를 나타내고 있으나, 이에 제한되는 것은 아니며, 해당 문항의 유형을 나타내는 다양한 방법들이 사용될 수 있다.
유저의 현재 상태(210)는 본 발명의 일 실시예에 따른 학습 컨텐츠 제공 시스템(100)을 사용하는 유저의 현재 학습 수준을 나타내는 데이터이다. 즉, 유저의 현재 상태(210)란 유저가 과거 실시한 테스트 결과 등을 바탕으로, 문항의 각 유형마다의 정답률을 산출한 것을 말한다. 도 2에서는 예시로서, 태그 1 내지 태그 N에 대한 각각의 정답률을 산출하여 나타내었으나, 이에 한정되는 것은 아니며, 복수의 태그를 조합하여 나타낼 수도 있을 것이다.
학습 데이터(220)란 유저가 본 발명의 일 실시예에 따른 학습 컨텐츠 제공 시스템의 수준 측정 모듈(110)을 통해 수행한 테스트의 결과를 나타낼 수 있다. 도 2의 예시에서는 각 문제(a, b 등) 마다 하나 이상의 태그가 부여되어 있으며, 구체적으로 문제 a에는 태그 1, 5, 9가, 문제 b에는 태그 1, 2, 4, 5가 부여되어 있다. 특히, 유저에게 제공되는 테스트에서 각 문제에 대해 부여되는 태그는 실제 시험에서 출제가 예상되는 유형을 가능한 모두 포함할 수 있도록 구성되는 것이 바람직하다. 앞서 설명한 바와 같이, 유저의 현재 상태(210)와 학습 데이터(220)는 데이터베이스에 저장되어 있을 수 있다.
점수 예측 모듈(130)은 유저의 현재 상태(210)(입력 1) 및 학습 데이터(220)(입력 2)를 합산하여, 유저의 최종적인 학습 수준을 산출한다. 이 때, 유저의 학습 수준은 딥 러닝(230) 기술을 통해 산출될 수 있으며, 특히, 시스템에 입력되어 있는 계산식에 의해 각각의 태그 또는 복수의 태그의 조합에 대한 정답률을 계산함으로써 유저의 학습 수준을 판단할 수 있다.
한편, 점수 예측시에는 실제 기출 시험 또는 기타 모의고사에 관한 데이터가 추가적으로 입력될 수 있다. 이 때, 실제 기출 시험 또는 기타 모의고사의 각각의 문항에 대해서는, 예를 들면 도 2에서 나타낸 것과 같은 태그가 부여되어 있을 수 있다. 따라서, 유저의 현재 상태(210)로 나타낸 바와 같이, 앞서 산출된 각 태그에 대한 정답률 데이터를 실제 기출 시험이나 모의고사에 적용하여 문항별 정오 여부(또는 정답률)에 대한 예측이 가능해진다.
즉, 점수 예측 모듈(130)에 의하면, 딥 러닝 방식으로 산출된 유저의 태그별 정답률을 이용하여, 해당 유저가 실제 기출 시험 또는 모의고사의 문항별 정오(또는 정답률)(240)를 예측할 수 있으며, 최종적으로는 유저가 해당 시험에서 획득 가능한 점수까지 예측할 수 있게 된다.
물론, 점수 예측 모듈(130)은 유저의 현재 상태(210)를 복수의 기출 시험 및/또는 모의고사에 적용하여 각각에 대하여 점수를 예측하고, 예측한 점수들의 평균을 최종적인 예측 점수로 활용할 수도 있을 것이다.
도 3a 및 3b는 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템의 태그 등록 모듈이 문항 별로 추천 태그를 제공하는 것을 나타낸다.
도 3a 및 3b를 참조하면, 태그 등록 모듈(140)은 시스템에 입력된 문항의 속성과 관련된 추천 태그를 제공하고, 시스템의 관리자가 추천 태그 중 원하는 태그를 선택하여 등록할 수 있도록 할 수 있다. 구체적으로, 태그 등록 모듈(140)은 각 문항 및 해설의 키워드 등을 통해 문항의 유형을 판단하는 과정을 전문가에 의해 미리 학습시켜 놓고, 시스템의 관리자가 문항을 입력만 하면 자동적으로 유형을 판단하여 태그를 추천하거나, 바로 등록하도록 구성될 수 있다.
예를 들면, 도 3a의 태그 등록 모듈(140)은 시스템 관리자에 의해 입력된 한국사 문항의 키워드를 통해 "공무원", "한국사", "고대 사회의 발전", "고대의 사회와 경제", "고대 국가의 사회 구조", "고대의 정치", "고대 국가의 발전", "고구려의 성립과 발전"이라는 태그를 추출하여 표시하고 있다. 이 때, 도 3a에서 나타낸 바와 같이, 시스템의 관리자는 추천된 태그 중 "공무원", "한국사", "고대 사회의 발전", "고대의 정치", "고구려의 성립과 발전", 및 "고대 국가의 발전"만을 선택하여 등록하고 있다.
또한, 도 3b의 태그 등록 모듈(140)은 시스템 관리자에 의해 입력된 영어 문항의 유형을 파악하여 "어휘", "정답 빈도 중", "동사", "15 단어 이상", "전치사구 2개", "복문", "준동사 없음" 등의 태그를 추출하여 표시하고 있다. 이 때, 도 3a에서와 마찬가지로 방식으로, 시스템의 관리자는 추천된 태그 중 "어휘", "정답 빈도 중", "복문", "준동사 없음" 등의 일부 태그를 선택하여 등록하고 있다.
도 4는 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템의 사용자 수준 측정 모듈이 스킵-그램을 통해 사용자의 유형별 학습 진행 상황을 판단하는 것을 나타낸다.
도 4를 참조하면, 사용자에 대한 복수 회차의 테스트 결과가 존재할 경우, 점수 예측 모듈(130)은 스킵-그램을 이용하여, 특정 유형이 포함된 복수의 문항에 대하여 사용자의 소정의 회차에 대한 정답률을 제공함으로써, 사용자의 유형별 학습 진행 상황을 최신의 정보로 갱신할 수 있다.
예를 들면, 도 4에서는 '#1'이 특정 유형의 태그라고 할 때, '#1'에 대한 총 10회차의 평균 정답률 및 3, 4-그램에 대한 정답률을 나타내고 있다. 이 때, 3-그램 또는 4-그램은 최근 3회차 또는 4회차에서의 정답률을 나타낸다.
구체적으로, 사용자가 '#1'이라는 태그에 대하여 어느 정도 수준으로 알고 있는지를 판단하는 경우, 태그 '#1'을 포함하는 문항을 10회 풀이한 결과 전체를 기준으로 평균 정답률을 구하면 60%에 해당하지만, 3-그램 또는 4-그램과 같이 최근에 풀이한 결과를 n개로 지정하여 정답률을 추정하면 최신의 결과만을 토대로 사용자의 해당 태그에 대한 학습 수준을 보다 정확하게 판단할 수 있게 된다.
즉, 시간의 흐름에 따라 학습이 진행되는 경우에는 전체에 대한 평균 정답률보다는 최근 회차에 대한 정답률이 유의미하므로 스킵-그램 알고리즘을 적용하여 정답률을 구하고, 해당 유형에 대한 정답률을 이전 회차의 평균과 비교하여 사용자의 현재 학습 수준을 최신의 정보로 갱신하여 판단할 수 있다.
도 5는 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템의 컨텐츠 추천 모듈이 기출 문제를 이용하여 생성한 문항 특성 곡선을 통해 문항의 난이도를 판정하는 예시를 나타낸다.
도 5를 참조하면, 컨텐츠 추천 모듈(150)은 점수 예측 모듈(130)에 의해 예측된 사용자별 점수 중 기출 문제의 정규 분포를 따르는 예측 점수를 갖는 표본 집단을 추출하고, 표본 집단에게 기출 문제와 동일한 문항을 테스트하여 생성되는 문항 특성 곡선(Item Characteristic Curve)을 통해 문항의 난이도를 객관적으로 판정함으로써, 추후에 사용자에게 최적화된 문항을 제공하는데 참조할 수 있다.
여기서, 문항 특성 곡선은 특정 문항에 대하여 피험자의 능력 수준에 따른 정답률을 나타내는 곡선으로서, 일반적으로 해당 문항의 곤란도와 변별도를 나타낸다. 문항 특성 곡선에 관한 설명은 도 6에서 자세히 후술한다. 기출 시험과 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템은 모집단이 서로 다르기 때문에 정답률을 기반으로 한 난이도는 동일한 문제일지라도 상이하게 측정될 수 있다. 즉, 기출 시험을 기준으로는 쉬운 문항이 본 발명의 사용자 맞춤형 학습 컨텐츠 제공 시스템의 사용자 집단에게는 어려운 것으로 나타날 수 있다.
이러한 문제점을 해결하기 위해, 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템에서는 기출 시험의 획득 점수 예측을 통한 정규 분포를 따르는 표본의 생성으로 문항 평가를 객관적으로 수행할 수 있다. 구체적으로, 먼저 사용자 별로 기출 문제에 대한 획득 점수를 예측하여 모집단을 생성한다. 그리고 모집단에서 기출 시험의 정규 분포를 따르는 예측 점수를 갖는 표본 집단을 추출한다. 다음으로, 표본 집단에게 동일한 문항을 풀게 하여 문항 특성 곡선을 생성한다. 이렇게 생성된 문항 데이터를 이용하여 사용자에게 문항을 추천하는 알고리즘에 이용한다.
도 5의 예시에서는 실제 2017년도 국가직 9급 시험의 한국사를 상술한 알고리즘에 적용한 결과를 보여준다. 여기서, (b) 및 (c)는 당락을 가른 3문제에 대한 문항 특성 곡선을 나타내며, (a)는 나머지 문제에 대한 문항 특성 곡선을 나타낸다. 도 5를 참조하면, 당락을 가른 3문제인 (b)와 (c)의 문항 특성 곡선은 나머지 문제에 대한 (a)의 문항 특성 곡선과 비교할 때, 각 점수대 별 정답률이 50%인 지점이 그래프의 우측에 나타나며, 그 기울기가 더 크게 나타나는 것을 알 수 있다. 따라서, 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템에서는 정답률 50% 지점의 획득 점수(도 5의 그래프에서 x축의 값)와 그 지점에서의 기울기를 더하여 문항의 난이도를 판단하도록 할 수 있다.
즉, 다음의 식을 통해 문항 별 난이도를 판정한다.
난이도 = 정답률 50% 지점의 획득 점수 + 그 지점의 기울기
도 6은 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템의 컨텐츠 추천 모듈이 문항 특성 곡선을 이용하여 문항을 추천하는 과정을 나타낸다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템을 통해 사용자가 현재 획득 가능한 점수를 예측하고, 사용자가 취약한 태그에 해당하는 문항 목록을 추출한 예시를 나타내는 그래프이다. 여기서, 그래프의 x축은 피험자의 능력 수준의 값, 즉 획득 점수를 나타내며, y축은 해당 문항에 정답으로 응답한 사람의 백분율을 나타낸다. 도 6의 각 문항에 대한 문항 특성 곡선을 참조하면, 각 문항의 문항 곤란도, 문항 변별도, 및 문항 추측도를 파악할 수 있으며, 이는 도 6의 표에 나타나 있다.
여기서, 문항 곤란도는 해당 문항의 난이도로서, 응답한 피험자 중 정답을 맞힌 피험자의 비율을 나타내는 지수이다. 이 때, 문항 곤란도는 개별 문항의 문항 특성 곡선에서 문항에 정답한 사람의 백분율이 50%인 지점에 대응하는 능력 수준의 값으로 계산할 수 있다. 즉, 도 6의 예시에서는 표에 나타낸 바와 같이, 문항 A의 곤란도는 52점, 문항 B의 곤란도는 42점, 문항 C의 곤란도는 52점으로 나타남을 알 수 있다.
또한, 문항 변별도는 개별 문항이 피험자를 능력에 따라 변별하는 정도를 나타내는 지수에 해당한다. 이 때, 문항 변별도는 문항 곤란도에 해당하는 지점, 즉 개별 문항의 문항 특성 곡선에서 문항에 정답한 사람의 백분율이 50%인 지점에서의 문항 특성 곡선의 기울기를 통해 산출할 수 있다. 즉, 도 6의 예시에서는 해당 지점에서 문항 C > 문항 B > 문항 A의 순으로 기울기가 크게 나타나므로, 문항 A의 변별도는 '약', 문항 B의 변별도는 '중', 문항 C의 변별도는 '강'으로 나타내었다.
한편, 문항 추측도는 정답을 모르는 피험자가 추측을 통해 답을 맞힌 비율을 나타내는 지수이다. 이 때, 문항 추측도는 문항 특성 곡선의 최저 한계로서, 일반적으로 문항 특성 곡선의 y절편 값으로 판단할 수 있다. 즉, 도 6의 예시에서는 문항 A의 변별도는 '강', 문항 B의 변별도는 '약', 문항 C의 변별도는 '약'으로 나타낼 수 있다.
이와 같이, 도 6을 참조할 때, 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템을 통해 예측된 획득 가능 점수가 낮은 사용자의 경우에는 낮은 문항 곤란도와 중간 수준의 문항 변별도를 갖는 "문항 B"의 특성을 갖는 문항을 추천하고, 예측된 획득 가능 점수가 높은 경우에는 문항 곤란도와 문항 변별도가 높은 "문항 C"의 특성을 갖는 문항을 추천할 수 있다.
도 7은 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 방법의 흐름도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 사용자에게 제공되는 복수의 유형을 포함하는 복수의 테스트 문항, 사용자에 대한 테스트의 결과 및 다른 사용자에 대한 테스트의 결과를 저장하는 데이터베이스를 포함하는 시스템을 이용하여 학습 컨텐츠를 제공하는 방법으로서, 사용자에게 복수의 유형을 포함하는 복수의 테스트 문항을 제공하는 단계(S110), 테스트의 결과를 수신하는 단계(S120), 테스트 결과를 통해 사용자의 문항에 대한 유형별 정답률을 산출하는 단계(S130), 사용자의 문항에 대한 유형별 정답률을 실제 시험 데이터에 대입하는 단계(S140), 및 사용자가 실제 시험에서 획득 가능한 점수를 예측하는 단계(S150)를 포함할 수 있다.
본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 방법은 먼저, 단계 S110에서 사용자에게 복수의 유형을 포함하는 복수의 테스트 문항을 제공된다. 이 때, 사용자는 미리 설정된 제한 시간 안에 복수의 테스트 문항에 대한 답안을 시스템 상에 입력한다. 또한, 전술한 바와 같이, 사용자는 원하는 시험 종류를 시스템 상에서 선택하여 해당 시험에 대한 테스트 문항이 제공되도록 할 수 있다.
다음으로, 단계 S120에서는 테스트의 결과를 수신한다. 구체적으로, 시스템은 수신한 사용자의 테스트 문항에 대한 답안의 정오를 판단하고, 그 성적을 산출한다.
단계 S130에서는 테스트 결과를 통해 사용자의 문항에 대한 유형별 정답률을 산출할 수 있다. 이 경우, 전술한 바와 같이, 테스트에 직접 응시한 사용자 뿐 아니라, 기존에 학습 컨텐츠 제공 시스템을 이용했던 다른 사용자의 문항 유형별 정답률이 데이터베이스에 저장되어 있거나, 새로 산출되도록 할 수 있다.
이처럼, 다른 사용자의 문항 유형별 정답률을 이용하여, 사용자가 직접 테스트 문항을 통해 풀어본 유형 뿐 아니라, 미처 풀어보지 못한 나머지 유형들에 대해서도 정답률을 산출할 수 있다. 이러한 방식으로 현재 시스템을 이용하고 있는 사용자가 선택한 시험에서 출제될 수 있는 모든 유형에 대한 정답률을 산출할 수 있게 된다.
한편, 단계 S140에서는 사용자의 문항에 대한 유형별 정답률을 실제 시험 데이터에 대입한다. 즉, 실제 시험에서 출제된 문항을 유형별로 분류하고, 여기에 단계 S130에서 산출된 사용자의 문항 유형별 데이터를 입력한다.
마지막으로, 단계 S150에서는 사용자가 실제 시험에서 획득 가능한 점수를 예측한다. 즉, 단계 S130에서 산출된 사용자의 문항 유형별 정답률 데이터를 이용하여, 실제 시험에서 각 문항에 대한 정오 여부를 판단할 수 있으며, 최종적으로 사용자가 해당 시험에서 획득할 수 있는 점수를 산출할 수 있다. 또한, 산출된 원점수를 실제 시험의 표준 분포 데이터에 대입하여 표준 점수도 구할 수 있다.
또한, 도 7에 기재된 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 방법에는 시스템에 입력된 문항의 속성에 따라 문항마다 태그를 등록하는 단계와 사용자의 학습 수준에 맞는 컨텐츠를 제공하는 단계를 추가적으로 포함할 수 있다. 구체적인 내용은 도 1에서 설명한 것과 동일하며, 자세한 설명은 생략한다.
도 8은 본 발명의 일 실시예에 따른 학습 컨텐츠 제공 시스템과 사용자 단말이 네트워크를 통해 연결된 것을 나타낸다.
도 8을 참조하면, 학습 컨텐츠 제공 시스템(서버)(100)은 네트워크(102)를 통해 사용자 단말(104)과 통신하기 위한 통신 모듈(160)을 추가로 구비할 수 있다. 이 때, 사용자 단말은 모바일 단말로서, 예를 들면, 스마트폰, 태블릿, PC 등을 포함할 수 있다.
먼저, 학습 컨텐츠 제공 시스템(100)의 데이터베이스(120)에 저장된 복수의 유형(예를 들면, 복수의 태그)을 포함하는 테스트 문항이 네트워크(102)에 연결된 복수의 사용자 단말 1 내지 N(104)에 제공될 수 있다. 또한, 유저가 사용자 단말(104)을 통해 테스트 문항에 대한 답안을 작성하여 네트워크(102)를 통해 다시 학습 컨텐츠 제공 시스템(100)으로 전송하면, 학습 컨텐츠 제공 시스템(100)에서는 테스트 결과를 통해 유저의 현재 학습 수준을 측정하고, 이를 실제 시험 데이터에 대입함으로써 실제 시험에서 유저가 획득할 것으로 예측되는 점수를 산출할 수 있다. 산출된 예측 점수는 네트워크(102)를 통해 유저가 소지한 사용자 단말(104)로 제공되어 유저에게 표시될 수 있다.
또한, 학습 컨텐츠 제공 시스템(100)은 측정된 유저의 학습 수준을 바탕으로, 유저가 현재 취약한 유형의 문항, 유저의 현재 학습 수준에 적합한 난이도의 문항, 기출 문제에서 실제 출제된 빈도가 높은 유형의 문항 등 유저에게 맞는 추천 문항을 네트워크(102)를 통해 사용자 단말(104)로 제공할 수 있다. 이 때, 유저는 학습 컨텐츠 제공 시스템(100)으로부터 수신된 추천 문항을 통해 현재 자신의 수준에 맞는 학습을 효율적으로 수행할 수 있다.
도 9는 본 발명의 일 실시예에 따른 학습 컨텐츠 애플리케이션을 포함하는 사용자 단말의 하드웨어 구성을 나타낸다.
도 9를 참조하면, 사용자 단말(104)은 CPU(10), 메모리(20), 디스플레이부(30), 인터페이스(I/F)부(40) 및 통신부(50)를 포함할 수 있다.
CPU(10)는 사용자 단말(104)에 저장된 학습 컨텐츠 애플리케이션을 실행하는 기능을 하며, 메모리(20)는 학습 컨텐츠 애플리케이션, 서버로부터 수신된 테스트 문항 및 테스트 결과, 그리고 유저가 획득 가능한 예측 점수에 관한 데이터 등이 저장될 수 있다.
디스플레이부(30)는 서버로부터 수신된 테스트 문항과 유저의 획득 가능 점수 등을 유저에게 표시할 수 있다. 또한, 디스플레이부(30)는 테스트 이후 학습을 위하여 제공되는 각종 문항들을 제공받아 표시할 수도 있다. 이를 위하여 CPU(10)는 학습 컨텐츠 애플리케이션을 실행함으로써, GUI 등을 디스플레이부(30)에 표시하도록 할 수 있으며, 사용자는 GUI를 통하여 원하는 지시를 입력할 수 있다.
I/F부(40)는 유저로부터의 입력과 사용자 단말(104)의 출력 신호에 대한 인터페이스 기능을 수행할 수 있다. 예를 들어, I/F부(40)는 터치 패널 등의 입력 장치일 수도 있으며, 디스플레이부(30) 상에 표시된 GUI 등에 기초하여 사용자가 수행하는 지시가 I/F부(40)를 통하여 입력될 수 있을 것이다.
또한, 통신부(50)는 전술한 바와 같이, 네트워크(102)를 통해 학습 컨텐츠 제공 시스템(서버)(100)와 연결되어, 테스트 문항이나 학습을 위한 문항, 테스트 결과, 예측 점수 등의 각종 정보의 통신을 수행할 수 있다.
도 10은 본 발명의 일 실시예에 따른 학습 컨텐츠 제공 시스템과 사용자 단말이 통신하여 학습을 수행하는 방법을 나타내는 흐름도이다.
먼저, 사용자는 사용자 단말(104)을 통해 원하는 시험의 종류와 과목을 선택한다(S10). 사용자가 시험을 선택하면, 서버(100)에서는 해당 시험에 대해 미리 저장되어 있는 테스트 문항을 네트워크(102)를 통해 사용자 단말(104)로 전송한다(S20).
사용자 단말(104)에 테스트 문항이 수신되면, 사용자는 테스트 문항에 대한 풀이를 시작한다(S30). 사용자의 문제 풀이가 완료되면, 사용자는 테스트에 대한 답안을 제출하고, 제출된 답안은 다시 네트워크(102)를 통해 서버(100)로 전송된다(S40).
서버(100)에서는 사용자가 제출한 답안에 기초하여, 사용자의 학습 수준을 측정한다. 이 때, 테스트 문항 각각에 부여되어 있는 태그들에 대한 정답 여부를 판단하여, 각 태그에 대한 사용자의 정답률을 산출함으로써 해당 사용자의 태그별 학습 수준을 진단하도록 할 수 있다. 다음으로, 산출된 사용자의 학습 수준(예를 들면, 태그별 정답률)을 사용자가 선택한 실제 시험 데이터에 입력하고 각 문항별 정오 여부를 판단함으로써, 사용자가 해당 시험에서 획득할 것으로 예측되는 최종 점수를 산출한다(S50). S50 단계의 학습 수준 측정 및 획득 가능 점수 산출 방법은 도 1 내지 도 7에서 자세히 설명하였으므로, 여기서는 그 설명을 생략한다.
이후, 서버(100)에서 산출된 사용자의 획득 가능 점수는 네트워크(102)를 통해 사용자 단말(104)로 제공되며(S60), 예측 점수는 사용자 단말(104) 상에 표시되고 메모리(20)에 저장되어 사용자가 애플리케이션을 실행하여 언제든지 직접 확인하도록 할 수 있다(S70).
이와 같이, 본 발명의 일 실시예에 따른 사용자 맞춤형 학습 컨텐츠 제공 시스템 및 방법에 따르면, 사용자의 학습 수준을 정확하게 진단하고, 사용자 별로 최적화된 학습 컨텐츠를 제공함으로써 학습 효과를 극대화할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
10: CPU 20: 메모리
30: 디스플레이부 40: I/F부
50: 통신부
100: 사용자 맞춤형 학습 컨텐츠 제공 시스템
102: 네트워크 104: 사용자 단말
110: 수준 측정 모듈 120: 데이터베이스
130: 점수 예측 모듈 140: 태그 등록 모듈
150: 컨텐츠 추천 모듈 160: 통신 모듈

Claims (18)

  1. 사용자에게 복수의 유형을 포함하는 복수의 테스트 문항을 제공하고, 상기 테스트의 결과를 수신하는 수준 측정 모듈;
    상기 사용자에게 제공되는 상기 복수의 유형을 포함하는 복수의 테스트 문항, 상기 사용자에 대한 테스트의 결과 및 다른 사용자에 대한 테스트의 결과를 저장하는 데이터베이스; 및
    상기 테스트 결과를 통해 상기 사용자의 상기 복수의 유형에 대한 유형별 정답률을 산출하고, 이를 실제 시험 데이터에 대입함으로써, 상기 사용자가 실제 시험에서 획득 가능한 점수를 예측하는 점수 예측 모듈을 포함하는 학습 컨텐츠 제공 시스템.
  2. 청구항 1에 있어서,
    상기 시스템에 입력된 상기 문항의 속성에 따라 상기 문항마다 태그를 등록하는 태그 등록 모듈을 더 포함하는 학습 컨텐츠 제공 시스템.
  3. 청구항 2에 있어서,
    상기 태그 등록 모듈은 상기 시스템에 입력된 상기 문항의 속성과 관련된 추천 태그를 제공하고, 상기 시스템의 관리자가 상기 추천 태그 중 원하는 태그를 선택하여 등록할 수 있도록 하는 학습 컨텐츠 제공 시스템.
  4. 청구항 2에 있어서,
    상기 점수 예측 모듈은 상기 태그와 동일한 태그를 포함하는 다른 문항에 대한 상기 사용자의 정답 여부를 예측함으로써, 상기 사용자가 실제 시험에서 획득 가능한 점수를 예측하는 학습 컨텐츠 제공 시스템.
  5. 청구항 1에 있어서,
    상기 사용자의 학습 수준에 맞는 컨텐츠를 제공하는 컨텐츠 추천 모듈을 더 포함하는 학습 컨텐츠 제공 시스템
  6. 청구항 5에 있어서,
    상기 컨텐츠 추천 모듈은 상기 예측된 상기 사용자별 점수 중 기출 문제의 정규 분포를 따르는 예측 점수를 갖는 표본 집단을 추출하고, 상기 표본 집단에 상기 기출 문제와 동일한 문항을 테스트하여 생성되는 문항 특성 곡선(Item Characteristic Curve)을 통해 상기 문항의 난이도를 판정함으로써 상기 문항을 제공하는 학습 컨텐츠 제공 시스템.
  7. 청구항 5에 있어서,
    상기 컨텐츠 추천 모듈은 기출 문제의 지문과의 유사도, 상기 기출 문제의 문항의 키워드 및 유형의 유사도, 및 상기 기출 문제의 정답과의 일치 여부 중 적어도 하나 이상을 기준으로 출제 예상 문제를 제공하는 학습 컨텐츠 제공 시스템.
  8. 청구항 5에 있어서,
    상기 컨텐츠 추천 모듈은 상기 사용자의 학습 수준에 기초하여, 상기 사용자의 약점 문항을 제공하는 학습 컨텐츠 제공 시스템.
  9. 청구항 8에 있어서,
    상기 약점 문항은 상기 사용자의 정답률이 미리 설정된 기준 이하인 유형을 포함하는 복수의 문항들로부터 추출되는 학습 컨텐츠 제공 시스템.
  10. 청구항 5에 있어서,
    상기 컨텐츠 추천 모듈은 산출된 상기 정답률을 이용하여, 미리 설정되어 있는 상기 정답률의 범위 내에 있는 유형을 포함하는 문항을 제공하는 학습 컨텐츠 제공 시스템.
  11. 청구항 5에 있어서,
    상기 컨텐츠 추천 모듈은 상기 유형이 실제 시험에 출제된 빈도를 판단하여, 상기 사용자의 학습 수준에 맞는 문항을 상기 빈도가 높은 순으로 정렬함으로써 제공하는 학습 컨텐츠 제공 시스템.
  12. 청구항 1에 있어서,
    상기 수준 측정 모듈은 스킵-그램(Skip-Gram)을 이용하여, 특정 유형이 포함된 복수의 문항에 대하여 상기 사용자의 소정 회차에 대한 정답률을 제공함으로써, 상기 사용자의 상기 유형별 학습 진행 상황을 갱신하도록 하는 학습 컨텐츠 제공 시스템.
  13. 청구항 1에 있어서,
    상기 점수 예측 모듈은 딥 러닝(Deep Learning) 기술을 통해 상기 사용자의 획득 가능한 점수를 예측하는 학습 컨텐츠 제공 시스템.
  14. 사용자에게 제공되는 복수의 유형을 포함하는 복수의 테스트 문항, 상기 사용자에 대한 테스트의 결과 및 다른 사용자에 대한 테스트의 결과를 저장하는 데이터베이스를 포함하는 시스템을 이용하여 학습 컨텐츠를 제공하는 방법으로서,
    상기 사용자에게 상기 복수의 유형을 포함하는 복수의 테스트 문항을 제공하는 단계;
    상기 테스트의 결과를 수신하는 단계;
    상기 테스트 결과를 통해 상기 사용자의 상기 복수의 유형에 대한 유형별 정답률을 산출하는 단계;
    상기 사용자의 상기 문항에 대한 유형별 정답률을 실제 시험 데이터에 대입하는 단계; 및
    상기 사용자가 실제 시험에서 획득 가능한 점수를 예측하는 단계를 포함하는 학습 컨텐츠 제공 방법.
  15. 청구항 14에 있어서,
    상기 시스템에 입력된 상기 문항의 속성에 따라 상기 문항마다 태그를 등록하는 단계를 더 포함하는 학습 컨텐츠 제공 방법.
  16. 청구항 14에 있어서,
    상기 사용자의 학습 수준에 맞는 컨텐츠를 제공하는 단계를 더 포함하는 학습 컨텐츠 제공 방법.
  17. 복수의 유형을 포함하는 복수의 테스트 문항을 사용자에게 제공하는 단계;
    상기 사용자가 상기 복수의 유형을 포함하는 복수의 테스트 문항에 대한 답안을 제출하면 상기 테스트의 결과를 서버로 전송하는 단계;
    상기 서버에서 산출된 상기 사용자가 실제 시험에서 획득 가능한 점수를 수신하여 표시하는 단계를 실행하는 사용자 단말에 저장된 학습용 애플리케이션.
  18. 청구항 17에 있어서,
    상기 사용자의 학습 수준에 맞는 컨텐츠를 제공하는 단계를 더 포함하는, 사용자 단말에 저장된 학습용 애플리케이션.

KR1020180046853A 2018-04-23 2018-04-23 사용자 맞춤형 학습 컨텐츠 제공 시스템 및 방법 KR102104660B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180046853A KR102104660B1 (ko) 2018-04-23 2018-04-23 사용자 맞춤형 학습 컨텐츠 제공 시스템 및 방법
US16/384,915 US20190325773A1 (en) 2018-04-23 2019-04-15 System and method of providing customized learning contents
CN201910328127.9A CN110389969A (zh) 2018-04-23 2019-04-23 提供定制的学习内容的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180046853A KR102104660B1 (ko) 2018-04-23 2018-04-23 사용자 맞춤형 학습 컨텐츠 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190123105A true KR20190123105A (ko) 2019-10-31
KR102104660B1 KR102104660B1 (ko) 2020-04-24

Family

ID=68236990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180046853A KR102104660B1 (ko) 2018-04-23 2018-04-23 사용자 맞춤형 학습 컨텐츠 제공 시스템 및 방법

Country Status (3)

Country Link
US (1) US20190325773A1 (ko)
KR (1) KR102104660B1 (ko)
CN (1) CN110389969A (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102219377B1 (ko) * 2020-07-13 2021-02-24 주식회사 제너럴이노베이션즈 온라인 교육 플랫폼
KR102252253B1 (ko) * 2020-12-07 2021-05-14 (주)대상누수탐지기술 누수 탐지 자격 시험을 위한 전자 장치 및 그 동작 방법
KR20210111139A (ko) * 2020-03-02 2021-09-10 (주) 퍼블릭에이아이 사용자 경험 기반의 코딩 학습 방법 및 장치
WO2021251690A1 (ko) * 2020-06-09 2021-12-16 (주)뤼이드 인공 지능 학습 기반의 학습 컨텐츠 추천 시스템 및 그것의 동작 방법
KR20220029014A (ko) * 2020-09-01 2022-03-08 지혜령 맞춤형 학습 문제풀이 컨텐츠 제공 시스템, 방법 및 컴퓨터 프로그램
KR102385073B1 (ko) * 2020-11-13 2022-04-11 (주)뤼이드 점수 확률분포 형태 통일화를 통해 평가 가능한 문제를 추천하는 학습 문제 추천 시스템 및 이것의 동작방법
KR102398319B1 (ko) * 2021-07-09 2022-05-16 (주)뤼이드 교육 컨텐츠 추천 방법, 교육 컨텐츠 추천 장치, 및 교육 컨텐츠 추천 시스템
KR102411190B1 (ko) * 2021-10-08 2022-06-22 (주)뤼이드 다중과제 학습에 근거하는 전체론적 학생 평가 프레임워크
WO2022270942A1 (ko) * 2021-06-25 2022-12-29 (주)뤼이드 사용자에게 학습 여정을 제공하는 방법 및 장치
WO2023282539A1 (ko) * 2021-07-09 2023-01-12 (주)뤼이드 교육 컨텐츠 추천 방법, 교육 컨텐츠 추천 장치, 및 교육 컨텐츠 추천 시스템
WO2023003262A1 (ko) * 2021-07-23 2023-01-26 (주)뤼이드 시험 점수를 예측하는 방법 및 장치
KR20230036441A (ko) * 2021-09-07 2023-03-14 이윤규 사용자 맞춤형 학습 서비스 시스템
KR20230136265A (ko) * 2022-03-18 2023-09-26 주식회사 클래스팅 엘로 점수 기반 개인화 맞춤 학습 시스템
KR102592553B1 (ko) * 2023-01-11 2023-10-27 이정훈 수준별 언어 처리 모델을 이용한 맞춤형 영어 교육 방법 및 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101923564B1 (ko) * 2017-03-13 2019-02-22 비트루브 주식회사 학습을 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102015075B1 (ko) * 2018-10-16 2019-08-27 (주)뤼이드 학습 효율을 기반으로 개인 맞춤형 교육 컨텐츠를 제공하기 위한 기계학습 방법, 장치 및 컴퓨터 프로그램
US20200302811A1 (en) * 2019-03-19 2020-09-24 RedCritter Corp. Platform for implementing a personalized learning system
CN112860983B (zh) * 2019-11-27 2023-11-24 上海流利说信息技术有限公司 一种学习内容推送的方法、系统、设备及可读存储介质
CN110751867B (zh) * 2019-11-27 2021-06-01 上海松鼠课堂人工智能科技有限公司 英文教学系统
CN111179675B (zh) * 2019-12-30 2022-09-06 安徽知学科技有限公司 个性化练习题推荐方法、系统、计算机设备以及存储介质
KR102645628B1 (ko) * 2020-11-13 2024-03-11 주식회사 포티투마루 선다형 질문에 대한 정답 선택 방법 및 장치
CN112232610B (zh) * 2020-12-18 2021-03-19 北京几原科技有限责任公司 一种利用机器学习模型的个性化题目推荐方法及系统
JP7447929B2 (ja) * 2021-12-07 2024-03-12 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
CN116740998B (zh) * 2023-05-31 2024-09-20 武汉木仓科技股份有限公司 一种信息交互的远程教学系统以及方法、设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002091281A (ja) * 2000-09-20 2002-03-27 Ricoh Co Ltd 教育支援システム及び目標提示方法
JP2002091274A (ja) * 2000-03-31 2002-03-27 Dsk Kk 学習システム
KR20110062200A (ko) * 2009-12-03 2011-06-10 동국대학교 산학협력단 학습 콘텐츠 제공 장치 및 그 방법
KR20120076515A (ko) * 2010-11-29 2012-07-09 이인석 기출순위에 의한 학습 콘텐츠의 편집서비스 제공시스템
KR20160009155A (ko) * 2014-07-15 2016-01-26 한양대학교 산학협력단 효과적인 학습 독려와 가이드 및 학습 전략 수립 서비스 제공을 위한 스마트 개인화 학습 가이드 방법 및 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100978091B1 (ko) * 2010-01-07 2010-08-25 주식회사 유비온 온라인 테스트 평가 관리 시스템 및 방법
CN102610130B (zh) * 2012-02-20 2015-08-12 刘征 一种高效的学习系统
CN106156354B (zh) * 2016-07-27 2019-08-09 淮海工学院 一种学习资源推荐系统
CN106682768B (zh) * 2016-12-08 2018-05-08 北京粉笔蓝天科技有限公司 一种答题分数的预测方法、系统、终端及服务器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002091274A (ja) * 2000-03-31 2002-03-27 Dsk Kk 学習システム
JP2002091281A (ja) * 2000-09-20 2002-03-27 Ricoh Co Ltd 教育支援システム及び目標提示方法
KR20110062200A (ko) * 2009-12-03 2011-06-10 동국대학교 산학협력단 학습 콘텐츠 제공 장치 및 그 방법
KR20120076515A (ko) * 2010-11-29 2012-07-09 이인석 기출순위에 의한 학습 콘텐츠의 편집서비스 제공시스템
KR20160009155A (ko) * 2014-07-15 2016-01-26 한양대학교 산학협력단 효과적인 학습 독려와 가이드 및 학습 전략 수립 서비스 제공을 위한 스마트 개인화 학습 가이드 방법 및 시스템

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210111139A (ko) * 2020-03-02 2021-09-10 (주) 퍼블릭에이아이 사용자 경험 기반의 코딩 학습 방법 및 장치
WO2021251690A1 (ko) * 2020-06-09 2021-12-16 (주)뤼이드 인공 지능 학습 기반의 학습 컨텐츠 추천 시스템 및 그것의 동작 방법
KR102219377B1 (ko) * 2020-07-13 2021-02-24 주식회사 제너럴이노베이션즈 온라인 교육 플랫폼
KR20220029014A (ko) * 2020-09-01 2022-03-08 지혜령 맞춤형 학습 문제풀이 컨텐츠 제공 시스템, 방법 및 컴퓨터 프로그램
KR102385073B1 (ko) * 2020-11-13 2022-04-11 (주)뤼이드 점수 확률분포 형태 통일화를 통해 평가 가능한 문제를 추천하는 학습 문제 추천 시스템 및 이것의 동작방법
WO2022102966A1 (ko) * 2020-11-13 2022-05-19 (주)뤼이드 점수 확률 분포 형태 통일화를 통해 평가 가능한 문제를 추천하는 학습 문제 추천 시스템 및 이것의 동작 방법
KR102252253B1 (ko) * 2020-12-07 2021-05-14 (주)대상누수탐지기술 누수 탐지 자격 시험을 위한 전자 장치 및 그 동작 방법
WO2022270942A1 (ko) * 2021-06-25 2022-12-29 (주)뤼이드 사용자에게 학습 여정을 제공하는 방법 및 장치
KR20230009817A (ko) * 2021-07-09 2023-01-17 (주)뤼이드 교육 컨텐츠 추천 방법, 교육 컨텐츠 추천 장치, 및 교육 컨텐츠 추천 시스템
KR102398319B1 (ko) * 2021-07-09 2022-05-16 (주)뤼이드 교육 컨텐츠 추천 방법, 교육 컨텐츠 추천 장치, 및 교육 컨텐츠 추천 시스템
WO2023282539A1 (ko) * 2021-07-09 2023-01-12 (주)뤼이드 교육 컨텐츠 추천 방법, 교육 컨텐츠 추천 장치, 및 교육 컨텐츠 추천 시스템
WO2023003262A1 (ko) * 2021-07-23 2023-01-26 (주)뤼이드 시험 점수를 예측하는 방법 및 장치
KR20230036441A (ko) * 2021-09-07 2023-03-14 이윤규 사용자 맞춤형 학습 서비스 시스템
KR102411190B1 (ko) * 2021-10-08 2022-06-22 (주)뤼이드 다중과제 학습에 근거하는 전체론적 학생 평가 프레임워크
KR20230136265A (ko) * 2022-03-18 2023-09-26 주식회사 클래스팅 엘로 점수 기반 개인화 맞춤 학습 시스템
KR102592553B1 (ko) * 2023-01-11 2023-10-27 이정훈 수준별 언어 처리 모델을 이용한 맞춤형 영어 교육 방법 및 장치

Also Published As

Publication number Publication date
US20190325773A1 (en) 2019-10-24
CN110389969A (zh) 2019-10-29
KR102104660B1 (ko) 2020-04-24

Similar Documents

Publication Publication Date Title
KR102104660B1 (ko) 사용자 맞춤형 학습 컨텐츠 제공 시스템 및 방법
Mao et al. Validation of automated scoring for a formative assessment that employs scientific argumentation
Rittle-Johnson et al. Assessing knowledge of mathematical equivalence: A construct-modeling approach.
KR100978091B1 (ko) 온라인 테스트 평가 관리 시스템 및 방법
Schipolowski et al. Pitfalls and challenges in constructing short forms of cognitive ability measures
Herman et al. A psychometric evaluation of the digital logic concept inventory
CN107730200A (zh) 智能提醒用户学习单词的方法以及装置
KR101031304B1 (ko) 전자매체를 기반으로 한 범용 학습 시스템 및 방법
He et al. A computer‐assisted test design and diagnosis system for use by classroom teachers
KR20190098376A (ko) 대학입시 합격 예측 방법
CN101488120A (zh) 学习评估装置及方法
Hicks Critical thinking: Toward a nursing science perspective
KR20200091537A (ko) 난이도 기반 온라인 모의시험 제공 시스템
CN113744101A (zh) 新高考模式下考生志愿智能填报方法、装置及计算机设备
Wiliam National curriculum assessments and programmes of study: validity and impact
Walbesser Curriculum evaluation by means of behavioral objectives
Jong et al. Diagnostic and remedial learning strategy based on conceptual graphs
CN110689249A (zh) 一种数学学科素养能力综合分析系统及分析方法
Carlson et al. The impact of a diagnostic reminder system on student clinical reasoning during simulated case studies
KR20180096317A (ko) 영단어 학습을 위한 시스템
Carpenter et al. Cost-effectiveness analysis for educational planning
JP4923246B2 (ja) 適応型テストシステムとその方法
CN116342082A (zh) 基于知识图谱的岗位胜任力判断方法、装置、介质及设备
He On-demand testing and maintaining standards for general qualifications in the UK using item response theory: possibilities and challenges
Kim et al. Learning without awareness by academic and nonacademic samples: an individual differences study

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant