KR102412381B1 - 풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법 - Google Patents

풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법 Download PDF

Info

Publication number
KR102412381B1
KR102412381B1 KR1020210003210A KR20210003210A KR102412381B1 KR 102412381 B1 KR102412381 B1 KR 102412381B1 KR 1020210003210 A KR1020210003210 A KR 1020210003210A KR 20210003210 A KR20210003210 A KR 20210003210A KR 102412381 B1 KR102412381 B1 KR 102412381B1
Authority
KR
South Korea
Prior art keywords
content
learning
artificial intelligence
user
embedding vector
Prior art date
Application number
KR1020210003210A
Other languages
English (en)
Inventor
배찬
선윤아
박준영
Original Assignee
(주)뤼이드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)뤼이드 filed Critical (주)뤼이드
Priority to KR1020210003210A priority Critical patent/KR102412381B1/ko
Priority to PCT/KR2021/019377 priority patent/WO2022149758A1/ko
Priority to US17/571,960 priority patent/US20220222553A1/en
Priority to KR1020220074686A priority patent/KR20220101584A/ko
Application granted granted Critical
Publication of KR102412381B1 publication Critical patent/KR102412381B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Educational Technology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명의 실시 예에 따른, 추가된 문제 컨텐츠에 대한 사용자의 정답확률을 기초로 문제를 평가하는 학습 컨텐츠 평가 장치는, 미리 수집된 문제 컨텐츠에 포함된 문제 정보를 기초로 문제 임베딩 벡터를 생성하는 문제 정보 처리부, 문제 임베딩 벡터와 미리 수집된 문제 컨텐츠에 대한 사용자의 풀이결과 데이터가 반영된 사용자 임베딩 벡터를 기초로, 인공지능 모델의 학습결과 결정된 가중치를 포함하는 인공지능 학습 정보를 생성하는 인공지능 모델 학습부 및 추가된 문제 컨텐츠의 문제 임베딩 벡터와 상기 인공지능 학습 정보를 기초로, 사용자가 추가된 문제를 맞힐 정답 확률 정보를 연산하는 정답 확률 예측부를 포함한다.

Description

풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법{Learning contents evaluation apparatus, system, and operation method thereof for evaluating a problem based on the predicted correct answer probability for the added problem contents without solving experience}
본 발명은 풀이 경험이 없는 추가된 문제에 대한 예측된 정답 확률을 기초로, 추가된 문제의 품질을 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법에 관한 것이다.
보다 구체적으로, 풀이결과가 반영되지 않은 문제의 임베딩 벡터만으로 인공지능 모델을 학습시킨 후 이를 기초로 추가된 문제의 정답 확률을 예측하고, 예측된 정답 확률을 통해 추가된 문제의 난이도, 찍어서 맞힐 확률, 변별력과 같은 품질을 평가할 수 있는 발명에 관한 것이다.
최근 인터넷과 전자장치의 활용이 각 분야에서 활발히 이루어지며 교육 환경 역시 빠르게 변화하고 있다. 특히, 다양한 교육 매체의 발달로 학습자는 보다 폭넓은 학습 방법을 선택하고 이용할 수 있게 되었다. 그 중에서도 인터넷을 통한 교육 서비스는 시간적, 공간적 제약을 극복하고 저비용의 교육이 가능하다는 이점 때문에 주요한 교수 학습 수단으로 자리매김하게 되었다.
이러한 경향에 부응하여 이제는 제한된 인적, 물적 자원으로 오프라인 교육에서는 불가능했던 맞춤형 교육 서비스도 다양해지는 추세이다. 예를 들어, 인공지능을 활용하여 학습자의 개성과 능력에 따라 세분화된 교육 컨텐츠를 제공함으로써, 과거의 획일적 교육 방법에서 탈피하여 학습자의 개인 역량에 따른 교육 콘텐츠를 제공하고 있다.
학습 분야에서 문제의 품질 검사에 문항반응 모델(Item Response Theory)을 사용하고 있다. 문항반응 모델은 검사를 구성하고 있는 문제 하나하나에 초점을 두고 각 문제마다의 고유한　문항특성곡선에 의하여　사용자의 잠재적 특성 혹은 능력과 문제의 특성을 추정하는 모델이다.
문항반응 모델의 핵심요소인 문항특성곡선은 사용자의 잠재적 특성 혹은 능력과 문항의 답을 맞힐　확률　간의 함수관계를 나타낸다. 이러한 함수관계를 통해, 주어진 문제에 대한 사용자의 정답 확률을 기초로 문제의 품질과 특성을 예측할 수 있다.
종래에는 새로운 문제를 만들면, 문항반응 모델을 통해 그 문제의 특성을 파악하기 위해 수천 명의 학생들에게 문제를 풀어보게 해야 했다. 예를 들어, 널리 쓰이는 3-parameter logistic 문항반응 모델 하에서는 문제의 특성을 높은 신뢰도로 파악하려면 7500명 이상의 학생들에게 문제를 풀어보게 해야 하므로 효율이 떨어진다는 문제가 있었다.
전술한 문제를 해결하기 위해, 본 발명은 풀이결과가 반영되지 않은 문제 임베딩 벡터로 학습된 인공지능 모델을 추가된 문제 컨텐츠의 정답 확률 예측에 활용함으로써, 사용자들이 실제로 문제를 풀이하지 않고도 정답 확률을 예측할 수 있는 학습 컨텐츠 장치, 시스템 및 그것의 동작 방법을 제공한다.
또한, 본 발명은 문항반응 모델을 통해, 사용자들이 실제로 문제를 풀이하지 않고도 추가된 문제의 난이도, 찍어서 맞힐 확률, 변별력과 같은 문제의 품질을 평가할 수 있는 학습 컨텐츠 장치, 시스템 및 그것의 동작 방법을 제공한다.
본 발명의 실시 예에 따른, 추가된 문제 컨텐츠에 대한 사용자의 정답확률을 기초로 문제를 평가하는 학습 컨텐츠 평가 장치는, 미리 수집된 문제 컨텐츠에 포함된 문제 정보를 기초로 문제 임베딩 벡터를 생성하는 문제 정보 처리부, 문제 임베딩 벡터와 미리 수집된 문제 컨텐츠에 대한 사용자의 풀이결과 데이터가 반영된 사용자 임베딩 벡터를 기초로, 인공지능 모델의 학습결과 결정된 가중치를 포함하는 인공지능 학습 정보를 생성하는 인공지능 모델 학습부 및 추가된 문제 컨텐츠의 문제 임베딩 벡터와 상기 인공지능 학습 정보를 기초로, 사용자가 추가된 문제를 맞힐 정답 확률 정보를 연산하는 정답 확률 예측부를 포함한다.
본 발명의 실시 예에 따른 추가된 문제 컨텐츠에 대한 사용자의 정답확률을 기초로 문제를 평가하는 학습 컨텐츠 평가 장치의 동작 방법은, 미리 수집된 문제 컨텐츠에 포함된 문제 정보를 기초로 문제 임베딩 벡터를 생성하는 단계, 문제 임베딩 벡터와 미리 수집된 문제 컨텐츠에 대한 사용자의 풀이결과 데이터가 반영된 사용자 임베딩 벡터를 기초로, 인공지능 모델의 학습결과 결정된 가중치를 포함하는 인공지능 학습 정보를 생성하는 단계 및 추가된 문제 컨텐츠의 문제 임베딩 벡터와 인공지능 학습 정보를 기초로, 사용자가 추가된 문제를 맞힐 정답 확률 정보를 연산하는 단계를 포함한다.
본 발명의 실시 예에 따른 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작방법은, 풀이결과가 반영되지 않은 문제 임베딩 벡터로 학습된 인공지능 모델을 추가된 문제 컨텐츠의 정답 확률 예측에 활용함으로써, 사용자들이 실제로 문제를 풀이하지 않고도 정답 확률을 예측할 수 있는 효과가 있다.
또한, 본 발명의 실시 예에 따른 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작방법은, 문항반응 모델을 통해, 사용자들이 실제로 문제를 풀이하지 않고도 추가된 문제의 난이도, 찍어서 맞힐 확률, 변별력과 같은 문제의 품질을 평가할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 학습 컨텐츠 평가 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 학습 단계에서, 학습 컨텐츠 평가 장치의 동작을 상세하게 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 예측 및 평가 단계에서, 학습 컨텐츠 평가 장치의 동작을 상세하게 설명하기 위한 블록도이다.
도 4는 본 발명의 실시 예에 따른 학습 단계에서, 학습 컨텐츠 평가 장치의 동작방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 실시 예에 따른 예측 및 평가 단계에서, 학습 컨텐츠 평가 장치의 동작방법을 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 명세서에 개시된 실시예를 설명함에 있어서 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1은 본 발명의 실시 예에 따른 학습 컨텐츠 평가 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 학습 컨텐츠 평가 시스템(50)은 사용자 단말(100) 및 학습 컨텐츠 평가 장치(200)를 포함할 수 있다.
학습 컨텐츠 평가 장치(200)는 사용자 단말(100)과 통신하며 사용자로부터 문제 풀이결과를 수신할 수 있다. 또한, 학습 컨텐츠 평가 장치(200)는 기 수집된 문제 컨텐츠들로 학습된 인공지능 모델을 통해 풀이결과 데이터가 없는 추가된 문제 컨텐츠에 대한 품질을 평가하고 사용자 단말(100)에 제공할 수 있다.
종래에는 새로운 문제 컨텐츠를 만들면, 그 문제의 특성을 파악하기 위해 수천 명의 학생들에게 문제를 풀어보게 해야 했다. 새로운 문제 컨텐츠의 수많은 풀이결과 데이터는 인공지능 모델에 학습되고, 아직 문제를 풀지 않은 사용자의 정답 확률을 예측하는 방식이었다.
그러나, 수천명의 학생들에게 주기적으로 업데이트되는 수많은 문제를 풀게 하는 것은 현실적으로 매우 어려운 작업이다. 또한, 아직 문제의 특성과 품질이 분석되지 않은 새로운 문제 컨텐츠들을 임의의 사용자들에게 제공하는 것이므로 학습효율 측면에서도 불리하다는 문제가 있었다.
이에 본 발명의 실시 예에 따른 학습 컨텐츠 평가 장치(200)는, 문제 임베딩 벡터와 사용자 임베딩 벡터로 학습된 인공지능 모델을 활용하여 추가된 문제에 대한 정답 확률을 예측할 수 있다.
구체적으로, 복수의 사용자들이 추가된 문제를 풀이하는 가상의 상황을 인공지능 모델로 시뮬레이션 하여, 실제로 문제를 풀이하지 않고도 사용자들의 정답 확률을 예측할 수 있는 것이다.
학습 컨텐츠 평가 장치(200)의 동작은 크게 1) 학습 단계, 2) 예측 단계, 3) 평가 단계로 구분될 수 있다.
학습 단계는 인공지능 모델이 문제 임베딩 벡터와 사용자 임베딩 벡터를 기초로 인공신경망을 학습하는 단계일 수 있다. 예측 단계는 학습된 인공신경망을 기초로 추가된 문제 컨텐츠에 대한 사용자들의 정답 확률을 예측하는 단계일 수 있다. 평가 단계는 문항반응 모델을 사용하여, 예측된 정답 확률로부터 문제 평가 정보를 생성하는 단계일 수 있다.
이하 도 2 및 도 4를 통해 학습 단계를, 도 3 및 도 5를 통해 예측 단계 및 평가 단계를 각각 순서대로 설명하도록 한다.
도 2는 본 발명의 실시 예에 따른 학습 단계에서, 학습 컨텐츠 평가 장치(200)의 동작을 상세하게 설명하기 위한 블록도이다.
학습 컨텐츠 평가 장치(200)는 문제 정보 처리부(210), 인공지능 모델 학습부(220) 및 정답 확률 예측부(230)를 포함할 수 있다. 도면에는 도시되지 않았지만, 학습 컨텐츠 평가 장치(200)는 문제 평가부(240)를 더 포함할 수 있다. 문제 평가부(240)의 동작은 후술하는 도 3에 대한 설명에서 자세히 설명하도록 한다.
학습 컨텐츠 평가 장치(200)는, 미리 수집된 문제 컨텐츠에 포함된 문제 정보를 기초로 문제 임베딩 벡터를 생성하는 문제 정보 처리부(210), 문제 임베딩 벡터와 미리 수집된 문제 컨텐츠에 대한 사용자의 풀이결과 데이터가 반영된 사용자 임베딩 벡터를 기초로, 인공지능 모델의 학습결과 결정된 가중치를 포함하는 인공지능 학습 정보를 생성하는 인공지능 모델 학습부(220) 및 추가된 문제 컨텐츠의 문제 임베딩 벡터와 인공지능 학습 정보를 기초로, 사용자가 추가된 문제를 맞힐 정답 확률 정보를 연산하는 정답 확률 예측부(230)를 포함할 수 있다.
문제 정보 처리부(210)는 문제 컨텐츠에 포함된 텍스트 또는 태그 등의 문제 정보를 기초로 문제 임베딩 벡터를 생성할 수 있다. 문제는 인공신경망이 이해할 수 있도록 임베딩(Embedding)되어 입력된다.
본 발명의 실시 예에서, 문제 임베딩 벡터는 사용자의 풀이결과 데이터 없이 문제 정보만을 사용하여 생성될 수 있다. 풀이결과 데이터는 풀이한 문제에 대한 사용자의 응답을 포함하는 정보일 수 있다.
기존 인공지능 모델은 사용자의 풀이결과가 반영된 문제 임베딩 벡터와 사용자 임베딩 벡터를 기초로 학습되었다. 이후 학습된 인공지능 모델을 기초로 아직 풀지 않은 문제의 정답 확률을 예측하였다. 즉, 기존 방법에서는 문제 임베딩 벡터를 생성하기 위해서 사용자의 풀이결과 데이터를 필요로 하였다.
본 발명에서는 사용자들의 풀이 경험이 없는 추가된 문제 컨텐츠에 대한 정답 확률을 예측해야 하기 때문에, 풀이결과 데이터 없이도 문제 임베딩 벡터를 생성할 필요가 있다.
이를 위해, 문제 정보 처리부(210)는 풀이결과를 반영하지 않고, 문제 컨텐츠에 포함된 문제 정보만을 기초로 문제 임베딩 벡터를 생성할 수 있다. 문제 정보는 텍스트(단어), 태그, 지문의 길이, 사용된 단어의 평균 글자수 등 문제를 표현할 수 있는 다양한 정보를 포함할 수 있다.
일 실시 예에서, 교육 및 평가에 사용되는 문제의 텍스트가 주어졌을 때, BERT 임베딩과 같은 워드 임베딩을 사용하여 비지도식 방식으로 문제 임베딩 벡터를 생성할 수 있다. 다만 이는 하나의 실시 예이고, 다양한 인공신경망 아키텍처를 활용해 임베딩이 수행될 수 있다.
문제 임베딩 벡터는 문제 컨텐츠를 입력으로 문제의 정답을 예측하도록 임베딩 값(가중치)이 조정되어 생성될 수 있다.
인공지능 모델 학습부(220)는 문제 임베딩 벡터와 사용자 임베딩 벡터를 기초로 인공지능 모델의 학습을 수행할 수 있다. 구체적으로, 풀이결과 데이터가 반영되지 않은 문제 임베딩 벡터와 문제에 대한 사용자의 풀이결과 데이터가 반영된 사용자 임베딩 벡터를 통해 인공지능 모델이 학습될 수 있다.
문제 임베딩 벡터는 문제 컨텐츠를 나타내는 분리된 이산변수를 인공신경망이 이해할 수 있도록 연속적인 벡터로 표현 정보일 수 있다. 사용자 임베딩 벡터는 사용자 정보를 나타내는 분리된 이산변수를 인공신경망이 이해할 수 있도록 연속적인 벡터로 표현 정보일 수 있다.
전술한 바와 같이 본 발명의 실시 예에서는, “풀이결과 데이터 없이 문제 컨텐츠만으로 생성된 문제 임베딩 벡터”를 사용하였다. 따라서, 이후 “풀이결과 데이터 없는 추가된 문제 컨텐츠에 대한 임베딩 벡터”에 대해서도 정답 확률을 효과적으로 예측할 수 있는 효과가 있다.
다른 실시 예에서, 인공지능 모델 학습부(220)는 종래 방법으로 학습된 인공지능 모델에, 풀이결과 데이터가 반영되지 않은 문제 임베딩 벡터를 추가 학습시키는 방법으로 학습을 수행할 수도 있다.
종래 학습에는 풀이결과 데이터가 반영된 문제 임베딩 벡터와 사용자 임베딩 벡터로 인공지능 모델을 학습하였다. 이렇게 종래 방법으로 학습된 인공지능 모델을 초기 인공지능 모델이라고 지칭하도록 한다.
인공지능 모델 학습부(220)는 초기 인공지능 모델에 풀이결과 데이터 없이 문제 정보만으로 생성된 문제 임베딩 벡터를 추가적으로 학습시킬 수 있다.
학습된 인공지능 모델은 문제 정보만으로 생성된 문제 임베딩 벡터에 대한 예측 결과를 알고 있기 때문에, 이후 풀이결과 데이터가 없는 추가된 문제 컨텐츠에 대해서도 정답 확률을 예측할 수 있다.
인공지능 모델 학습부(220)가 인공지능 모델의 학습을 완료하면 인공지능 학습 정보가 생성될 수 있다. 인공지능 학습 정보는 각 노드들 간의 연결강도를 나타내는 가중치(weight)에 대한 정보를 포함할 수 있다.
가중치는 예측값과 실제 결과값을 반복적으로 비교하여 오차를 줄여나가는 방법으로 조정될 수 있다. 이렇게 학습된 인공신경망 모델은 예측 단계에서 정답 확률을 예측하는데 사용될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 예측 및 평가 단계에서, 학습 컨텐츠 평가 장치의 동작을 상세하게 설명하기 위한 블록도이다.
도 3을 참조하면, 학습 컨텐츠 평가 장치(200)는 문제 정보 처리부(210), 인공지능 모델 학습부(220), 정답 확률 예측부(230) 및 문제 평가부(240)를 포함할 수 있다.
문제 정보 처리부(210)는 추가된 문제 컨텐츠가 수신되면, 추가된 문제 컨텐츠에 대한 문제 임베딩 벡터를 생성할 수 있다.
문제 정보 처리부(210)는 문제 컨텐츠에 포함된 텍스트나 태그 등의 문제 정보를 기초로 문제 임베딩 벡터를 생성할 수 있다. 본 발명의 실시 예에서, 문제 임베딩 벡터는 사용자의 풀이결과 데이터 없이 문제 정보만을 사용하여 생성될 수 있다. 문제 정보 처리부(210)의 동작은 전술한 도 2에서 설명한 바, 이하 생략하도록 한다.
정답 확률 예측부(230)는 인공지능 학습 정보와 문제 임베딩 벡터를 기초로, 추가된 문제 컨텐츠에 대한 사용자의 정답 확률을 연산할 수 있다. 정답 확률 연산에는 RNN, LSTN, Bidirectional LSTN, Transformer, BERT 등 프로그램으로 구현 가능한 다양한 인공신경망 모델 중 어느 하나 이상이 사용될 수 있다.
실시 예에 따라, 정답 확률 예측부(230)는 정답 확률 이외에도 문제를 풀이한 이후 사용자가 받을 시험 점수 또는 등급을 예측할 수 있다. 예측값은 사용자가 하나 이상의 문제를 풀이할 때마다 풀이결과를 반영하여 업데이트될 수 있다.
정답 확률 예측부(230)가 예측한 정답 확률은 문제의 특성과 품질을 평가하는데 사용될 수 있다. 문제 평가부(240)는 정답 확률 정보를 기초로 문제의 난이도, 찍어서 맞힐 확률, 변별력 중 적어도 하나를 포함하는 문제 평가 정보를 생성할 수 있다.
다만 이는 하나의 예시이고, 문제 평가 정보는 문제 자체의 품질과 사용자의 관계에 있어 문제가 갖는 특성, 사용자의 능력이나 잠재적 특성(풀이속도, 집중력, …을 나타낼 수 있는 다양한 정보를 포함할 수 있다.
문제 평가부(240)는 문제 평가 정보 생성을 위해 문항반응 모델을 사용할 수 있다. 문항반응 모델은 풀이한 문제와의 관계에 있어, 사용자의 잠재적 특성 혹은 능력과　문제의 답을 맞힐 확률 간의 함수관계를 나타낼 수 있다.
함수관계를 통해 사용자의 잠재적 특성 혹은 능력으로　정답 확률이나 문제 점수를 예측할 수 있고, 역으로 정답 확률이나 문제 점수를 알고 있다면 사용자의 잠재적 특성 혹은 능력을 예측할 수 있는 것이다.
본 발명의 실시 예에 따른 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작방법은, 풀이결과가 반영되지 않은 문제 임베딩 벡터로 학습된 인공지능 모델을 추가된 문제 컨텐츠의 정답 확률 예측에 활용함으로써, 사용자들이 실제로 문제를 풀이하지 않고도 정답 확률을 예측할 수 있는 효과가 있다.
또한, 본 발명의 실시 예에 따른 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작방법은, 문항반응 모델을 통해, 사용자들이 실제로 문제를 풀이하지 않고도 추가된 문제의 난이도, 찍어서 맞힐 확률, 변별력과 같은 문제의 품질을 평가할 수 있는 효과가 있다.
도 4는 본 발명의 실시 예에 따른 학습 단계에서, 학습 컨텐츠 평가 시스템의 동작방법을 설명하기 위한 순서도이다.
도 4를 참조하면, S401 단계에서, 학습 컨텐츠 평가 시스템은 문제 데이터베이스로부터 미리 수집된 문제 컨텐츠를 수신할 수 있다. 문제 컨텐츠는 텍스트(단어), 태그, 지문의 길이, 사용된 단어의 평균 글자수 등 문제를 표현할 수 있는 다양한 문제 정보를 포함할 수 있다.
S403 단계에서, 학습 컨텐츠 평가 시스템은 수집된 문제 컨텐츠의 텍스트를 적어도 하나 포함하는 문제 정보로부터 문제 임베딩 벡터를 생성할 수 있다.
교육 및 평가에 사용되는 문제의 텍스트가 주어졌을 때, BERT 임베딩과 같은 워드 임베딩을 사용하여 비지도식 방식으로 문제 임베딩 벡터를 생성할 수 있다. 다만 이는 하나의 실시 예이고, 다양한 인공신경망 아키텍처를 활용해 임베딩이 수행될 수 있다.
본 발명의 실시 예에서, 문제 임베딩 벡터는 사용자의 풀이결과 데이터 없이 문제 정보만으로 생성될 수 있다. 이를 통해 풀이결과가 없는 새로 추가된 문제에 대해서도 효과적으로 정답 확률을 예측할 수 있는 효과가 있다.
S405 단계에서, 학습 컨텐츠 평가 시스템은 문제 임베딩 벡터와 사용자 임베딩 벡터를 사용하여 인공지능 모델의 학습을 수행할 수 있다. 다른 실시 예에서, 학습 컨텐츠 평가 시스템은 종래 방법으로 학습된 인공지능 모델에 문제 컨텐츠를 추가로 학습시키는 방법으로 학습을 수행할 수도 있다.
S407 단계에서, 학습 컨텐츠 평가 시스템은 학습된 인공지능 모델의 노드 간 가중치를 포함하는 인공지능 학습 정보를 생성할 수 있다.
인공지능 학습 정보는 각 노드들 간의 연결강도를 나타내는 가중치(weight)를 포함할 수 있다. 가중치는 예측값과 실제 결과값을 반복적으로 비교하여 오차를 줄여나가는 방법으로 조정될 수 있다. 이렇게 학습된 인공신경망 모델은 예측 단계에서 정답 확률을 예측하는데 사용될 수 있다.
도 5는 본 발명의 실시 예에 따른 예측 및 평가 단계에서, 학습 컨텐츠 평가 시스템의 동작방법을 설명하기 위한 순서도이다.
S501 단계에서, 학습 컨텐츠 평가 시스템은 추가된 문제 컨텐츠가 수신되면, 추가된 문제의 텍스트를 적어도 하나 포함하는 문제 정보로부터 문제 임베딩 벡터를 생성할 수 있다.
새로 추가된 문제의 임베딩 벡터 생성은 도 4의 S403 단계와 동일하므로 이하 자세한 설명은 생략하도록 한다.
S503 단계에서, 학습 컨텐츠 평가 시스템은 추가된 문제의 문제 임베딩 벡터와 인공지능 학습 정보를 기초로, 사용자가 추가된 문제를 맞힐 정답 확률을 연산할 수 있다.
이후, S505 단계에서, 학습 컨텐츠 평가 시스템은 정답 확률 정보를 기초로 추가된 문제의 난이도, 찍어서 맞힐 확률, 변별력 중 적어도 하나를 포함하는 문제 평가 정보를 생성할 수 있다.
본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서의 통상의 지식을 가진 자들에게 자명한 것이다.
50: 학습 컨텐츠 평가 시스템
100: 사용자 단말
200: 학습 컨텐츠 평가 장치
210: 문제 정보 처리부
220: 인공지능 모델 학습부
230: 정답 확률 예측부
240: 문제 평가부

Claims (8)

  1. 신규 문제 컨텐츠에 대한 사용자의 정답확률을 기초로 신규 문제 컨텐츠의 특성을 평가하는 학습 컨텐츠 평가 장치에 있어서,
    미리 수집된 기존 문제 컨텐츠에 포함된 문제 정보를 기초로 제1 문제 임베딩 벡터를 생성하는 문제 정보 처리부;
    상기 기존 문제 컨텐츠에 대한 사용자의 풀이결과 데이터가 반영된 사용자 임베딩 벡터 및 상기 기존 문제 컨텐츠에 대한 사용자의 풀이결과 데이터가 반영되지 않은 상기 제1 문제 임베딩 벡터를 기초로, 인공지능 모델을 훈련시키고, 상기 인공지능 모델의 학습결과에 결정된 가중치를 포함하는 인공지능 학습 정보를 생성하는 인공지능 모델 학습부;
    상기 신규 문제 컨텐츠의 제2 문제 임베딩 벡터 및 상기 인공지능 학습 정보를 기초로, 사용자가 상기 신규 문제 컨텐츠를 맞힐 정답 확률 정보를 연산하는 정답 확률 예측부-상기 제2 문제 임베딩 벡터는 상기 신규 문제 컨텐츠에 대한 사용자의 풀이결과 데이터를 포함하지 않음-; 및
    상기 신규 문제 컨텐츠에 대한 상기 정답 확률 정보에 기초하여 상기 신규 문제 컨텐츠의 난이도, 찍어서 맞출 확률 및 변별력 중 적어도 하나를 포함하는 문제 평가 정보를 생성하는 문제 평가부;를 포함하되,
    상기 문제 정보 처리부는 BERT 임베딩을 사용하여 비지도 방식으로 상기 기존 문제 컨텐츠에 포함된 문제 정보로부터 상기 제1 문제 임베딩 벡터를 생성하도록 구성된,
    학습 컨텐츠 평가 장치.
  2. 제1 항에 있어서,
    상기 인공지능 모델 학습부는, 상기 기존 문제 컨텐츠를 상기 제1 문제 임베딩 벡터 및 노드를 포함하는 상기 인공지능 모델에 입력하고, 상기 기존 문제 컨텐츠에 대한 정답과 관련된 예측값을 상기 인공지능 모델을 통하여 획득하고, 상기 예측값과 상기 사용자 임베딩 벡터에 포함된 상기 기존 문제 컨텐츠에 대한 정답과 관련된 실제 결과값을 비교하여 상기 인공지능 모델에 포함된 노드들 간의 연결강도를 나타내는 가중치를 조정하여 상기 인공지능 모델을 학습시키도록 구성된,
    학습 컨텐츠 평가 장치.
  3. 삭제
  4. 제1 항에 있어서,
    상기 문제 정보 처리부는,
    상기 문제 정보에 포함된 문제 텍스트를 획득하고, 상기 BERT 임베딩을 사용하여 상기 문제 텍스트로부터 상기 제1 문제 임베딩 벡터를 생성하도록 구성되는,
    학습 컨텐츠 평가 장치.
  5. 제1 항에 있어서,
    상기 인공지능 모델 학습부는,
    상기 기존 문제 컨텐츠를 상기 인공지능 모델에 입력하고, 상기 기존 문제 컨텐츠의 정답을 예측하도록 상기 제1 문제 임베딩 벡터에 포함된 임베딩 값을 조정하여 상기 인공지능 모델을 학습시키도록 구성된,
    학습 컨텐츠 평가 장치.
  6. 제1 항에 있어서,
    상기 정답 확률 예측부는,
    사용자가 받을 시험 점수 또는 등급을 예측하고,
    상기 시험 점수 또는 등급은,
    사용자가 상기 신규 문제 컨텐츠에 포함된 하나 이상의 문제를 풀이할 때마다 풀이결과를 반영하여 업데이트되는,
    학습 컨텐츠 평가 장치.
  7. 제1 항에 있어서,
    상기 문제 평가부는,
    상기 신규 문제 컨텐츠의 특성과 상기 신규 문제 컨텐츠에 대한 상기 정답 확률 정보 간의 함수관계와 관련된 문항반응 모델을 이용하여 상기 문제 평가 정보를 생성하도록 구성된,
    학습 컨텐츠 평가 장치.
  8. 신규 문제 컨텐츠에 대한 사용자의 정답확률을 기초로 신규 문제 컨텐츠의 특성을 평가하는 학습 컨텐츠 평가 장치의 동작 방법에 있어서,
    미리 수집된 기존 문제 컨텐츠에 포함된 문제 정보를 기초로 제1 문제 임베딩 벡터를 생성하는 단계;
    상기 기존 문제 컨텐츠에 대한 사용자의 풀이결과 데이터가 반영된 사용자 임베딩 벡터 및 상기 기존 문제 컨텐츠에 대한 사용자의 풀이결과 데이터가 반영되지 않은 상기 제1 문제 임베딩 벡터를 기초로, 인공지능 모델을 훈련시키고, 인공지능 모델의 학습결과에 따라 결정된 가중치를 포함하는 인공지능 학습 정보를 생성하는 단계;
    상기 신규 문제 컨텐츠의 제2 문제 임베딩 벡터 및 상기 인공지능 학습 정보를 기초로, 사용자가 상기 신규 문제 컨텐츠를 맞힐 정답 확률 정보를 연산하는 단계-상기 제2 문제 임베딩 벡터는 상기 신규 문제 컨텐츠에 대한 사용자의 풀이결과 데이터를 포함하지 않음-; 및
    상기 신규 문제 컨텐츠에 대한 상기 정답 확률 정보에 기초하여 상기 신규 문제 컨텐츠의 난이도, 찍어서 맞출 확률 및 변별력 중 적어도 하나를 포함하는 문제 평가 정보를 생성하는 단계;를 포함하되,
    상기 제1 문제 임베딩 벡터는 BERT 임베딩을 사용하여 비지도 방식으로 상기 기존 문제 컨텐츠에 포함된 문제 정보로부터 생성된,
    학습 컨텐츠 평가 장치의 동작 방법.
KR1020210003210A 2021-01-11 2021-01-11 풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법 KR102412381B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210003210A KR102412381B1 (ko) 2021-01-11 2021-01-11 풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법
PCT/KR2021/019377 WO2022149758A1 (ko) 2021-01-11 2021-12-20 풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법
US17/571,960 US20220222553A1 (en) 2021-01-11 2022-01-10 Learning content evaluation apparatus, system, and operation method for evaluating problem based on predicted probability of correct answer for problem content added without solving experience
KR1020220074686A KR20220101584A (ko) 2021-01-11 2022-06-20 풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210003210A KR102412381B1 (ko) 2021-01-11 2021-01-11 풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220074686A Division KR20220101584A (ko) 2021-01-11 2022-06-20 풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법

Publications (1)

Publication Number Publication Date
KR102412381B1 true KR102412381B1 (ko) 2022-06-23

Family

ID=82222168

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210003210A KR102412381B1 (ko) 2021-01-11 2021-01-11 풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법
KR1020220074686A KR20220101584A (ko) 2021-01-11 2022-06-20 풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220074686A KR20220101584A (ko) 2021-01-11 2022-06-20 풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법

Country Status (3)

Country Link
US (1) US20220222553A1 (ko)
KR (2) KR102412381B1 (ko)
WO (1) WO2022149758A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7537819B1 (ja) 2024-02-27 2024-08-21 ＳｕｒｐａｓｓＯｎｅ株式会社 学習材評価システム、方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020521244A (ja) * 2017-05-19 2020-07-16 リイイド インク 試験点数を推定する方法、装置及びコンピュータプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100355665B1 (ko) * 2000-07-25 2002-10-11 박종성 문항반응이론을 이용한 온라인 자격 및 인증시험 서비스시스템 및 방법
KR101895961B1 (ko) * 2017-10-31 2018-09-06 (주)뤼이드 점수 추정 방법, 장치 및 컴퓨터 프로그램
KR20200012430A (ko) * 2018-07-27 2020-02-05 (주)웅진씽크빅 학습자의 예측정답율 분석 정보 제공방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020521244A (ja) * 2017-05-19 2020-07-16 リイイド インク 試験点数を推定する方法、装置及びコンピュータプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Song Cheng et al., "DIRT: Deep Learning Enhanced Item Response Theory for Cognitive Diagnosis," CIKM ’19, November 3-7, 2019, Beijing, China (2019.11.03.) *
Song Cheng et al., "DIRT: Deep Learning Enhanced Item Response Theory for Cognitive Diagnosis," CIKM ’19, November 3-7, 2019, Beijing, China (2019.11.03.)*

Also Published As

Publication number Publication date
KR20220101584A (ko) 2022-07-19
WO2022149758A1 (ko) 2022-07-14
US20220222553A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
Lykourentzou et al. Early and dynamic student achievement prediction in e‐learning courses using neural networks
Drigas et al. Decade review (1999-2009): artificial intelligence techniques in student modeling
KR102015075B1 (ko) 학습 효율을 기반으로 개인 맞춤형 교육 컨텐츠를 제공하기 위한 기계학습 방법, 장치 및 컴퓨터 프로그램
KR102013955B1 (ko) 소프트웨어 전문가 실무교육과 평가를 위한 스마트 교육 시스템 및 그 서비스 제공 방법
US20060166174A1 (en) Predictive artificial intelligence and pedagogical agent modeling in the cognitive imprinting of knowledge and skill domains
KR102406458B1 (ko) 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법
CN114254208A (zh) 薄弱知识点的识别方法、学习路径的规划方法与装置
Chaudhry et al. Modeling Hint-Taking Behavior and Knowledge State of Students with Multi-Task Learning.
JPWO2018168220A1 (ja) 学習材推薦方法、学習材推薦装置および学習材推薦プログラム
KR102405838B1 (ko) 문항 순서 정렬에 의한 개인 맞춤형 콘텐츠를 제공하기 위한 장치 및 이를 위한 방법
Chounta et al. The “Grey Area”: A computational approach to model the Zone of Proximal Development
KR102075936B1 (ko) 학습 효율을 기반으로 개인 맞춤형 교육 컨텐츠를 제공하기 위한 기계학습 방법, 장치 및 컴퓨터 프로그램
US20220215255A1 (en) Learning content recommendation system for predicting probability of correct answer of user using collaborative filtering based on latent factor and operation method thereof
KR102412381B1 (ko) 풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법
JP6498106B2 (ja) 理解度確率に応じて問題群のモデルを選択するユーザ適応型のテストプログラム、装置及び方法
KR102439446B1 (ko) 인공지능 기반 학습 관리 시스템
Aziz et al. Adaptive E-learning recommendation model based on the knowledge level and learning style
Sayed et al. Towards a learning style and knowledge level-based adaptive personalized platform for an effective and advanced learning for school students
KR101631374B1 (ko) 메타인지 능력 향상을 위한 수학학습 시스템 및 방법
US20220261939A1 (en) Promoting a tutor on a platform
Cabada et al. Intelligent tutoring system with affective learning for mathematics
KR102329611B1 (ko) 교육적 요소를 예측하는 사전학습 모델링 시스템 및 방법
CN115545638A (zh) 一种知识动态掌握程度确定方法、试题推荐方法及装置
Lee et al. Design of a Foreign Language Conversation Learning System Using Machine Learning
KR102651463B1 (ko) 인공지능 기반 수강자 맞춤형 온라인 강의 콘텐츠 제작 및 교육 커리큘럼 제공 방법, 장치 및 시스템

Legal Events

Date Code Title Description
A107 Divisional application of patent
GRNT Written decision to grant