KR102538340B1 - 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템 - Google Patents

학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템 Download PDF

Info

Publication number
KR102538340B1
KR102538340B1 KR1020220135192A KR20220135192A KR102538340B1 KR 102538340 B1 KR102538340 B1 KR 102538340B1 KR 1020220135192 A KR1020220135192 A KR 1020220135192A KR 20220135192 A KR20220135192 A KR 20220135192A KR 102538340 B1 KR102538340 B1 KR 102538340B1
Authority
KR
South Korea
Prior art keywords
learning
understanding
learner
test
diagnosis
Prior art date
Application number
KR1020220135192A
Other languages
English (en)
Inventor
전승욱
박경수
정영훈
최원태
박성래
이원성
박준건
Original Assignee
주식회사 아이스크림에듀
주식회사 업스테이지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이스크림에듀, 주식회사 업스테이지 filed Critical 주식회사 아이스크림에듀
Priority to KR1020220135192A priority Critical patent/KR102538340B1/ko
Application granted granted Critical
Publication of KR102538340B1 publication Critical patent/KR102538340B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 학습자의 제1 단말과 교사의 제2 단말을 원격 연결하여 비대면 환경에서의 상기 학습자의 학습 이해도를 진단하기 위한 인공지능 튜터링 시스템에 있어서, 상기 제1,2 단말 및 웹, 외부 서버와 네트워크를 구축하여 통신하면서 상기 제1 단말로부터 획득되는 학습자의 학습로그(X)를 미리 프로그래밍된 딥러닝 알고리즘 기반의 진단용 서브모듈을 통해 분석하여 학습자별 진단정보를 추출하고, 상기 학습자별 진단정보를 미리 지정된 학습관리용 데이터와 매칭시켜 상기 학습자의 향후 학습과 상기 교사의 향후 교수를 가이드하기 위한 임의의 커스터마이징 정보를 생성하며, 상기 커스터마이징정보에 따라 미리 설정된 알림신호를 출력하는 제어부; 및 상기 제1,2 단말에 구비되어, 상기 제어부로부터 출력된 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이하는 알림부를 포함하되, 상기 학습자별 진단정보는, 학습영역별 이해도 및 단원별 이해도 중 적어도 하나의 학습역량에 대한 데이터인 것을 특징으로 하고, 상기 제어부는, 상기 학습로그(X)를 기반으로 상기 학습자가 각 시험에서 풀었던 시험에 대한 정답여부를 재생성하고, 추후 시험에서 풀 평가문항들에 대한 정답여부를 예측가능한 임의의 이해도를 추출하는 것을 학습하도록 구성된 것을 특징으로 하여, 학습자의 학습 이해도에 대해 보다 정확한 진단을 지원할 수 있는 효과가 있다.

Description

학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템{ARTIFICIAL INTELLIGENCE TUTORING SYSTEM THAT SUPPORT DIAGNOSIS OF LEARNING PROFICIENCY}
본 발명은 딥러닝 알고리즘 중 트랜스포머 구조 기반의 기존 딥러닝 기반 지식추적 AI 모델을 활용하여 AI 모델의 출력값이, 다음 평가문항을 맞출 확률이 아닌 해당 개념의 이해도를 직접 추론한 값으로 이루어지도록 한 구성을 통해 학습자의 학습 이해도에 대해 보다 정확한 진단을 지원할 수 있고, 이에 따라, 학습자 및 교사에게 향후 각각의 맞춤형 학습과 교수를 가이드하기 위한 관리환경을 보다 효율적으로 달성할 수 있는 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템에 관한 것이다.
일반적으로, 인공지능(AI) 비서는 사용자가 발화하는 명령어의 의도를 파악해서 수행하고, 주변기기를 제어하는 음성 인터페이스의 편리성이 주요 특징인 반면, 인공지능 튜터링 시스템은 학습자에게 교사 및 강사의 개입이 필요한 상황을 스스로 파악하여 상황에 맞는 진단과 처방을 제공하는 맥락 중심의 능동적인 반응이 주요 특징이다.
현재, 이러한 인공지능 튜터링에 대한 기술이 포함된 국내 에듀테크(Education Technology)시장은 확대되고 있으나 그 성장세는 세계시장 대비 낮고, 영세사업자 비중이 높다.
예컨대, 소수의 대형사업자들에게 매출이 집중되는 한편, 전체 사업자 수의 절반을 차지하는 영세사업자의 매출은 1.6%에 불과해 산업 내 양극화가 존재하고, 이를 해결하기 위해 대형 에듀테크 기업은 기존 에듀테크 스타트업을 인수하여 인공지능 기술, 로봇기술을 활용한 서비스를 출시하며, 유망 에듀테크 스타트업을 직접 발굴 및 지원하며 새로운 기회를 모색하고 있다.
이에 따라, 에듀테크 스타트업은 기술력을 바탕으로 맞춤형 학습 서비스, 게임기반 학습, 외국어 교육, 코딩 교육 등 다양한 분야에서 성장하고 있으며, 학습자의 성취도, 학습이력 등 빅데이터를 분석해 학습능력을 진단하고 맞춤형 학습을 제공하는 AI(인공지능) 활용이 가장 두드러지게 나타나고 있다.
이러한 가운데, 종래 상용화되었던 맞춤형 학습 기술들은 학습 컨텐츠 간의 연계에 의존하거나, 틀린 문제의 개수를 단순하게 세어서 취약한 개념을 진단하는 정도에 그쳐, 학습자의 학습능력 진단이 정교하지 않은 문제점이 존재하였다.
또한, 현재의 기술로서는, 학습자의 학습결과에 대한 향후 관리를 진행하는데 있어서, 학습자의 학습영역별/단원별 이해수준(이해도)과 성향을 그대로 반영하여 딥러닝 기술 기반의 강화된 인공지능 학습과정 및 정확한 분석과정을 거친 학습/교수 가이드 시스템이 부재한 실정이다.
즉, 개인화된 맞춤형 학습결과 관리를 제공하고자 하는 경우에도, 정확하지 않은 학습역량 진단에 근거하게 됨으로써, 맞춤형 학습 시스템의 효율성 및 신뢰성을 확보하지 못하는 한계점이 있었다.
따라서, 상기와 같은 종래기술의 문제점을 해결하여 보다 우수한 정확성의 학습역량 진단기술에 대한 니즈가 높아지는 실정이다.
대한민국 등록특허공보 제10-2056822호(발명의 명칭: 학습 서비스 제공 방법 및 그 장치)
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 딥러닝 알고리즘 중 트랜스포머 구조 기반의 기존 딥러닝 기반 지식추적 AI 모델을 활용하여 AI 모델의 출력값이, 다음 평가문항을 맞출 확률이 아닌 해당 개념의 이해도를 직접 추론한 값으로 이루어지도록 한 구성을 통해 학습자의 학습 이해도에 대해 보다 정확한 진단을 지원할 수 있고, 이에 따라, 학습자 및 교사에게 향후 각각의 맞춤형 학습과 교수를 가이드하기 위한 관리환경을 보다 효율적으로 달성할 수 있는 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템을 제공하는데 목적이 있다.
다만, 본 발명에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 기술적 수단인 본 발명은, 학습자의 제1 단말과 교사의 제2 단말을 원격 연결하여 비대면 환경에서의 상기 학습자의 학습 이해도를 진단하기 위한 인공지능 튜터링 시스템에 있어서, 상기 제1,2 단말 및 웹, 외부 서버와 네트워크를 구축하여 통신하면서 상기 제1 단말로부터 획득되는 학습자의 학습로그(X)를 미리 프로그래밍된 딥러닝 알고리즘 기반의 진단용 서브모듈을 통해 분석하여 학습자별 진단정보를 추출하고, 상기 학습자별 진단정보를 미리 지정된 학습관리용 데이터와 매칭시켜 상기 학습자의 향후 학습과 상기 교사의 향후 교수를 가이드하기 위한 임의의 커스터마이징 정보를 생성하며, 상기 커스터마이징정보에 따라 미리 설정된 알림신호를 출력하는 제어부; 및 상기 제1,2 단말에 구비되어, 상기 제어부로부터 출력된 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이하는 알림부를 포함할 수 있되, 상기 학습자별 진단정보는, 학습영역별 이해도 및 단원별 이해도 중 적어도 하나의 학습역량에 대한 데이터일 수 있고, 상기 제어부는, 상기 학습로그(X)를 기반으로 상기 학습자가 각 시험에서 풀었던 시험에 대한 정답여부를 재생성하고, 추후 시험에서 풀 평가문항들에 대한 정답여부를 예측가능한 임의의 이해도를 추출하는 것을 학습하도록 구성될 수 있다.
또한, 상기 학습로그(X)는, T개의 시험에 대한 응답 결과로서,
Figure 112022110389011-pat00001
로 정의될 수 있고, 각 시험에 대한 응답 결과(
Figure 112022110389011-pat00002
)는, 해당 시험에 대응하는 E개의 평가문항에 대한 응답으로 구성될 수 있으며, 각 평가문항에 대한 응답 결과는, 질의와 정오답결과의 집합요소(Tuple, 튜플)로서,
Figure 112022110389011-pat00003
로 정의될 수 있다.
또한, 상기 제어부는, 다음의 학습로그(X)가 존재하였을 때, 해당 학습자의 이해도 θ를 추출할 수 있고, 상기 이해도 θ는, 모든 학습컨셉에 대하여 [0,1] 사이의 실수값을 가진 벡터로 특정 학습컨셉에 대한 수치가 높을 때에는 높은 이해도를 표현하고, 상기 수치가 낮을 때에는 낮은 이해도를 표현하며, 해당 학습컨셉의 평가문항들에 대한 정답 확률과 비례하여 이를 기반으로 개별 평가문항에 대한 정답 확률의 예측이 가능할 수 있다.
또한, 상기 커스터마이징 정보는, 이해도 시각화, 추천 컨텐츠, 추천 평가문항 중 적어도 하나의 학습용/교수용 맞춤형 가이드에 대한 데이터를 포함할 수 있고, 상기 커스터마이징 정보 중 상기 이해도 시각화 데이터는, 해당 단원의 상호 관련있는 학습영역끼리 연결된 세포의 형태로 상기 알림부의 화면 상에 디스플레이될 수 있으며, 상기 세포를 이루는 각 학습영역은, 상기 학습자별 진단정보에 대응하여 미리 설정된 색상으로 상기 알림부의 화면 상에 디스플레이될 수 있다.
또한, 상기 진단용 서브모듈은, 상기 딥러닝 알고리즘 중 자연어 처리를 위한 트랜스포머(Transformer) 구조 기반의 DKT(Deep Knowledge Tracing, 딥러닝 기반 지식추적) AI 모델을 적용할 수 있되, 상기 학습로그(X)를 기반으로 학년 및 학기별로 미리 설정된 초기 이해도 값을 제공하면서 사전 진단정보를 생성하는 초기 이해도 진단모듈; 상기 초기 이해도 진단모듈을 통해 생성된 사전 진단정보를 업데이트하는 이해도 추적모듈; 상기 이해도 추적모듈을 통해 업데이트된 사전 진단정보에 상기 학습자의 찍어맞추기(guessing) 확률, 실수할 확률(Slip), 상기 평가문항의 난이도 및 상기 평가문항의 변별력을 반영하면서 직접적인 이해도와 개별 평가문항의 정답예측 확률을 연결하여 해석가능한 이해도 θ를 추출하는 이해도 및 문항 맵핑모듈; 및 시계열로 상기 학습로그(X)를 분석하여 상기 학습자가 특정 시점으로부터 모든 문제를 맞추거나 틀리는 경향이 반복되는 것으로 판단되면, 상기 학습자의 풀이실수 확률을 모델링하여 학습 집중도를 추적하고, 상기 학습자가 각 시점에서 갖는 하나의 상기 풀이실수 확률이 최종 정답예측 확률을 도출할 때 상기 실수할 확률(Slip)로 반영되도록 하는 문항풀이실수 예측모듈을 포함할 수 있다.
또한, 상기 초기 이해도 진단모듈은, 총 상기 T개의 시험을 수행한 학습로그(X)가 존재한다고 가정할 때, 이를 M개의 초기진단용 시험과 N(T-M)개의 이해도 추적용 시험으로 구분하여, 상기 M개의 초기진단용 시험만을 활용하고, 어느 하나의 시험에 대한 숨은 연관성(hidden representation)을 추출하기 위해 상기 트랜스포머 구조를 활용하며, 상기 평가문항의 시작을 나타내는 표식(dummy)문항으로서 시험 내에 평가문항에 대한 응답 결과를 요약하는 역할을 수행하는 [S0Q] 노드의, 정제된 최종 연관성을 해당 시험결과를 표현하는 시험단위의 연관성으로 사용되되, 상기 평가문항들의 순서를 나타내는 위치 엔코딩(positional encoding)이 적용되지 않을 수 있다.
또한, 상기 초기 이해도 진단모듈은, 상기 추출된 M개 시험의 연관성을 활용하여 Concept x memory(number of concepts, C=391, × memory dimension, D=48)에 해당하는 메모리의 초기값을 할당하고, 이 프로세스에서 상기 M개 시험의 연관성을 접합(concatenation)하며, 선형 변환(Linear transition)을 통해서
Figure 112022110389011-pat00004
매트릭스(matrix)의 값을 구할 수 있다.
또한, 상기 초기 이해도 진단모듈은, 상기
Figure 112022110389011-pat00005
매트릭스에서 상기 선형 변환과 시그모이드(Sigmoid) 함수를 활용하여 각 학습컨셉별 이해도 θ를 구하고, D dimension을 1 dimension으로 바꾸어주는 역할의 선형 변환 가중치가 모든 학습컨셉에 대해 동일하게 이용되도록 하여, 상기 변환으로써, 상기
Figure 112022110389011-pat00006
매트릭스가
Figure 112022110389011-pat00007
의 이해도 영역으로 맵핑되도록 할 수 있고, 상기 맵핑은, 상기 이해도 추적모듈에서 동일하게 이용될 수 있다.
또한, 상기 이해도 추적모듈은, 현재의 시험으로 어떤 학습컨셉에 영향을 줄 것인지, 어떻게 상기
Figure 112022110389011-pat00008
매트릭스를 업데이트하게 할 것인지를 결정하고, 그로부터 각 시점별 이해도
Figure 112022110389011-pat00009
를 도출할 수 있고, 상기 초기 이해도 진단모듈과 동일한 구조 및 접근방법과, 상기 초기 이해도 진단모듈과는 상이한 파라미터(Parameter)를 활용하면서 상기 N(T-M)개의 이해도 추적용 시험에 대하여 각 시험의 연관성을 추출하고, 각 개별 시험
Figure 112022110389011-pat00010
로부터
Figure 112022110389011-pat00011
를 추출할 수 있다.
또한, 상기 이해도 추적모듈은, 트랜스포머 엔코더(Transformer encoder)를 상기 위치 엔코딩과 함께 적용하여 시계열 시험들의 정보를 융화하는 시계열 모델링(Sequence Modeling)을 통해, 상기 트랜스포머 엔코더가 수행될 때, 미래 시점에 대한 어텐션 값(Attention value)을 마스킹(Masking) 처리하여 미래의 정답여부가 현재에 반영되는 것을 방지하고, 상기 트랜스포머 엔코더의 특성에 맞게 각 시험의 연관성이 시계열상의 다른 시험들의 연관성과 융화되면서
Figure 112023027780160-pat00012
가
Figure 112023027780160-pat00013
로 변화되도록 할 수 있다.
또한, 상기 이해도 추적모듈은, 상기 초기 이해도 진단모듈에서의 시험 내 평가문항과 그 응답 결과에 대해 요약된 연관성을 비교하여 상기 응답 결과를 제외한 시험의 정보를 엔코딩하고, 이 때, 상기 초기 이해도 진단모듈과 동일한 아키텍쳐(Architecture)가 적용되며, 정오답결과를 입력값(Input)으로 활용하는 상기 초기 이해도 진단모듈과 상이하게, 상기 이해도 및 문항 맵핑모듈의 파라미터를 활용하면서 상기 시험의 평가문항정보만을 요약한 연관성을 추출하고, 상기 각 개별 시험
Figure 112022110389011-pat00014
로부터
Figure 112022110389011-pat00015
를 추출할 수 있으며, 상기 추출 결과는, 해당 시험의 응답 결과가 어떤 학습컨셉의 이해도를 변화시킬 수 있는지를 구하는 데 활용되고, 이는 상기 응답 결과에 상관없이 상기 평가문항들의 정보만으로 해당 시험이 어떤 학습컨셉에 연관이 되어있는지를 찾아낼 수 있도록 구성될 수 있다.
또한, 상기 이해도 추적모듈은, 상기 평가문항정보가 없는 응답 결과들만을 활용한 연관성을 추출하고, 상기 각 개별 시험
Figure 112022110389011-pat00016
로부터
Figure 112022110389011-pat00017
를 추출하며, 이는 상기 학습자의 풀이실수 확률을 추적하기 위해 활용될 수 있고, 상기 추출된
Figure 112022110389011-pat00018
과
Figure 112022110389011-pat00019
를 활용하여 기존의
Figure 112022110389011-pat00020
매트릭스를 업데이트 하고, 상기 이해도 및 문항 맵핑모듈과 동일한 함수와 가중치를 활용하여 상기 업데이트된
Figure 112022110389011-pat00021
매트릭스에서 각 학습컨셉별 이해도 θ를 구할 수 있으며, 상기 기존의
Figure 112022110389011-pat00022
매트릭스를 업데이트 함에 있어서, 우선, 상기
Figure 112022110389011-pat00023
를 활용하여 현재 시험이 어떤 학습컨셉과 연결성이 있는지
Figure 112022110389011-pat00024
를 구한 후, 상기
Figure 112022110389011-pat00025
를 활용하여 업데이트를 위한
Figure 112022110389011-pat00026
를 구하여
Figure 112022110389011-pat00027
와 비례하게 현재의 P를 업데이트할 수 있되, 상기
Figure 112022110389011-pat00028
는, 상기 선형 변환과 소프트맥스 함수(softmax function)를 활용하여 현재 시험과 연관성이 큰 학습컨셉들을 선택하게 할 수 있다.
또한, 상기 문항풀이실수 예측모듈의 아키텍쳐는, 상기
Figure 112022110389011-pat00029
을 활용한 LSTM(Long Short-Term Memory, 장단기 메모리)으로 구성되고, 각 시점에서 어느 하나의 상기 실수할 확률(Slip)을 계산하기 위한 상기 선형 변환과 상기 시그모이드 함수로 구성될 수 있다.
또한, 상기 진단용 서브모듈은, 이를 구성하는 상기 진단모듈, 추적모듈, 맵핑모듈, 예측모듈을 학습하기 위해 2개의 학습자 응답결과 예측 로스(Loss)와 4개의 학습 안정화를 위한 정칙화(Regularization) 로스로 총 6개의 로스의 조합에 의해 학습되도록 구성될 수 있고, 상기 학습자 응답결과 예측 로스는, 현재 시험결과의 재현을 위한 Auto-encoding loss 및 다음 시점의 시험결과 예측을 위한 Next exam prediction loss를 포함하며, 상기 정칙화 로스는, 학습단계별 이해도 정칙화를 위한 Curriculum regularization loss, 지식맵 연결 노드의 이해도 정칙화를 위한 Knowledge map regularization loss, 이해도 극적변화의 제약을 위한 Proficiency smoothing loss 및 풀이실수 확률 극적변화의 제약을 위한 Noise smoothing loss를 포함할 수 있다.
또한, 상기 제어부는, 상기 제1 단말로부터 상기 학습자의 학습로그(X)를 획득하여 데이터화하는 데이터 생성부; 상기 데이터 생성부에 의해 생성된 상기 학습로그의 데이터를 기록하고, 상기 제2 단말에 의해 미리 지정된 학습관리용 데이터와 임의의 딥러닝 알고리즘 데이터를 저장하고 관리하는 데이터 베이스부; 상기 데이터 베이스부에 저장된 상기 딥러닝 알고리즘 데이터를 이용하여 상기 진단용 서브모듈을 생성하고, 상기 생성된 진단용 서브모듈을 통해 상기 데이터베이스부에 기록되는 상기 학습로그의 데이터를 분석하여 상기 학습자별 진단정보를 추출하는 이해도 추출부; 및 상기 이해도 추출부로부터 추출된 상기 학습자별 진단정보를 상기 데이터 베이스부에 저장된 상기 학습관리용 데이터와 매칭시켜 상기 커스터마이징 정보를 생성하고, 상기 생성된 커스터마이징 정보에 대응하는 알림신호가 출력되도록 제어하는 알림신호 출력부를 포함할 수 있다.
본 발명에 따른 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템은, 딥러닝 알고리즘 중 트랜스포머 구조 기반의 기존 딥러닝 기반 지식추적 AI 모델을 활용하여 AI 모델의 출력값이, 다음 평가문항을 맞출 확률이 아닌 해당 개념의 이해도를 직접 추론한 값으로 이루어지도록 한 구성을 통해 학습자의 학습 이해도에 대해 보다 정확한 진단을 지원할 수 있고, 이에 따라, 학습자 및 교사에게 향후 각각의 맞춤형 학습과 교수를 가이드하기 위한 관리환경을 보다 효율적으로 달성할 수 있는 효과가 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템의 외부구성 및 사용예를 나타낸 도면.
도 2는 상기 인공지능 튜터링 시스템의 전자적인 구성을 개략적으로 나타낸 블록도.
도 3은 도 2에 따른 상기 인공지능 튜터링 시스템의 제어부에 의한 진단용 서브모듈이 실제로 구현되는 PROT(PROficiency Tracing) 모델의 서비스 아키텍쳐를 예시적으로 나타낸 도면 및 이미지.
도 4는 상기 진단용 서브모듈을 이루는 하위구성을 나타낸 이미지.
도 5는 도 4에 따른 상기 진단용 서브모듈의 하위구성 중 초기 이해도 진단모듈을 이용하여 숨은 연관성을 추출하는 과정을 예시적으로 나타낸 이미지.
도 6은 도 4에 따른 상기 진단용 서브모듈의 하위구성 중 이해도 추적모듈을 이용하여 사전 진단정보를 업데이트하는 과정을 예시적으로 나타낸 이미지.
도 7은 도 4에 따른 상기 진단용 서브모듈의 하위구성 중 이해도 및 문항 맵핑모듈을 이용하여 해석가능한 이해도 θ를 추출하는 Proficiency Pallet 함수를 예시적으로 나타낸 이미지.
도 8은 본 발명과 관련하여, 상기 인공지능 튜터링 시스템의 제어부에 의한 커스터마이징 정보 중 이해도 시각화 데이터가 알림부에 디스플레이되는 일례를 나타낸 사용예시도.
이하에서는, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 실시예에 따른 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템의 외부구성 및 사용예를 나타낸 도면이고, 도 2는 상기 인공지능 튜터링 시스템의 전자적인 구성을 개략적으로 나타낸 블록도이며, 도 3은 도 2에 따른 상기 인공지능 튜터링 시스템의 제어부에 의한 진단용 서브모듈이 실제로 구현되는 PROT(PROficiency Tracing) 모델의 서비스 아키텍쳐를 예시적으로 나타낸 도면 및 이미지이고, 도 4는 상기 진단용 서브모듈을 이루는 하위구성을 나타낸 이미지이며, 도 5는 도 4에 따른 상기 진단용 서브모듈의 하위구성 중 초기 이해도 진단모듈을 이용하여 숨은 연관성을 추출하는 과정을 예시적으로 나타낸 이미지이고, 도 6은 도 4에 따른 상기 진단용 서브모듈의 하위구성 중 이해도 추적모듈을 이용하여 사전 진단정보를 업데이트하는 과정을 예시적으로 나타낸 이미지이며, 도 7은 도 4에 따른 상기 진단용 서브모듈의 하위구성 중 이해도 및 문항 맵핑모듈을 이용하여 해석가능한 이해도 θ를 추출하는 과정을 예시적으로 나타낸 이미지이고, 도 8은 본 발명과 관련하여, 상기 인공지능 튜터링 시스템의 제어부에 의한 커스터마이징 정보 중 이해도 시각화 데이터가 알림부에 디스플레이되는 일례를 나타낸 사용예시도이다.
도 1 및 도 2에 도시한 바와 같이, 본 발명에 따른 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템(100)은 제1 단말(110), 제2 단말(120), 웹(130), 외부 서버(140), 제어부(150) 및 알림부(160)를 포함하여 구성할 수 있다.
단, 도 1 및 도 2에 도시된 구성요소들이 본 발명을 위해 필수적인 최소한의 구성일뿐, 이보다 더 부가적인 구성요소들을 갖는 인공지능 튜터링 시스템이 구현될 수 있다.
상기 제1 단말(110)은 키보드, 패드, 마우스 등 다양한 공지의 입력기기(미도시)를 포함하여 구성된 것으로, 본 발명의 바람직한 실시예에 따르면, 학습자(L)에게 위치하여 상기 학습자(L)의 후술될 학습로그(X)가 웹(130), 외부 서버(140) 및 제어부(150)에 입력되도록 하는 입력환경을 제공한다.
또한, 상기 제2 단말(120)은 상술한 제1 단말(110)과 원격 통신할 수 있도록 구성된 것으로, 그 구성요소는 상기 제1 단말(110)과 동일하게 가질 수 있으며, 본 발명에 따르면, 교사(T)에게 위치하여 상기 교사(T)가 후술될 학습관리용 데이터를 상기 웹(130), 외부 서버(140) 및 제어부(150)에 입력시킬 수 있는 입력환경을 제공한다.
여기서, 상기 제1,2 단말(110, 120)은 복수개로 구성될 수도 있으며, 바람직하게는, 태블릿이 적용될 수 있으나, 이에 한정되지 않고, PC, 스마트폰 등이 적용될 수 있다.
이러한 상기 제1,2 단말(110, 120)의 구성은 일반적으로 게재된 통상의 단말장치에 해당하므로, 세부 구성은 도면에 미도시 하였음은 물론, 그에 대한 더 구체적인 설명은 생략하기로 한다.
상기 웹(130)은 텍스트, 그래픽, 이미지, 음향, 비디오 등 다양한 멀티미디어를 지원할 수 있도록 구성된 인터넷 서비스로서, 본 발명에 따르면, 상기 제1,2 단말(110, 120)과 연결되어 상기 제1,2 단말(110, 120)을 각각 이용하는 학습자(L) 및 교사(T)에게 다양한 공지의 교육용 컨텐츠가 제공되도록 구성할 수 있다.
상기 외부 서버(140)는 상술한 웹(130)에 대응되도록 구성되어 상기 제1,2 단말(110, 120), 웹(130) 및 제어부(150)와 네트워크를 형성하는 것이 바람직하고, 상기 웹(130)과 연동하여 제어부(150)에 미리 설정된 프로그램을 서비스하는 기능을 수행한다.
여기서, 상기 프로그램은 교육과 관련된 각종 데이터로 이루어진 교육용 프로그램일 수 있으며, 이는 공지의 기술로서, 해당관련분야의 통상지식을 가진 당업자에 의해 자유롭게 변경설계될 수 있음은 물론이다.
상기 제어부(150)는 도 3을 참조하여, 상기 제1,2 단말(110, 120) 및 웹(130), 외부 서버(140)와 네트워크를 구축하여 통신하면서 상기 제1 단말(110)로부터 획득되는 학습자(L)의 학습로그(X)를 미리 프로그래밍된 딥러닝 알고리즘 기반의 진단용 서브모듈을 통해 분석하여 학습자별 진단정보를 추출하고, 상기 학습자별 진단정보를 미리 지정된 학습관리용 데이터와 매칭시켜 상기 학습자(L)의 향후 학습과 상기 교사(T)의 향후 교수를 가이드하기 위한 임의의 커스터마이징 정보를 생성하며, 상기 커스터마이징정보에 따라 미리 설정된 알림신호를 출력하는 기능을 수행한다.
이러한 상기 제어부(150)는 좀 더 구체적으로, 상기 제1 단말(110)로부터 상기 학습자(L)의 학습로그(X)를 획득하여 데이터화하는 데이터 생성부(151); 상기 데이터 생성부(151)에 의해 생성된 상기 학습로그(X)의 데이터를 기록하고, 상기 제2 단말(120)에 의해 미리 지정된 학습관리용 데이터와 임의의 딥러닝 알고리즘 데이터를 저장하고 관리하는 데이터 베이스부(152); 상기 데이터 베이스부(152)에 저장된 상기 딥러닝 알고리즘 데이터를 이용하여 상기 진단용 서브모듈을 생성하고, 상기 생성된 진단용 서브모듈을 통해 상기 데이터베이스부(152)에 기록되는 상기 학습로그(X)의 데이터를 분석하여 상기 학습자별 진단정보를 추출하는 이해도 추출부(153); 및 상기 이해도 추출부(153)로부터 추출된 상기 학습자별 진단정보를 상기 데이터 베이스부(152)에 저장된 상기 학습관리용 데이터와 매칭시켜 상기 커스터마이징 정보를 생성하고, 상기 생성된 커스터마이징 정보에 대응하는 알림신호가 출력되도록 제어하는 알림신호 출력부(154)를 포함하여 구성될 수 있다.
여기서, 상기 학습자별 진단정보는 학습영역별 이해도 및 단원별 이해도 중 적어도 하나의 학습역량에 대한 데이터일 수 있고, 이때, 상기 제어부(150)는 상기 학습로그(X)를 기반으로 상기 학습자(L)가 각 시험에서 풀었던 시험에 대한 정답여부를 재생성하고, 추후 시험에서 풀 평가문항들에 대한 정답여부를 예측가능한 임의의 이해도를 추출하는 것을 학습하도록 구성될 수 있다.
본 발명의 바람직한 실시예에 의하면, 상기 학습로그(X)는 T개의 시험에 대한 응답 결과로서,
Figure 112022110389011-pat00030
로 정의될 수 있고, 각 시험에 대한 응답 결과(
Figure 112022110389011-pat00031
)는 해당 시험에 대응하는 E개의 평가문항에 대한 응답으로 구성될 수 있으며, 각 평가문항에 대한 응답 결과는 질의와 정오답결과의 집합요소(Tuple, 튜플)로서,
Figure 112022110389011-pat00032
로 정의될 수 있다.
또한, 상기 제어부(150)는 다음의 학습로그(X)가 존재하였을 때, 해당 학습자(L)의 이해도 θ를 추출할 수 있고, 상기 이해도 θ는, 모든 학습컨셉에 대하여 [0,1] 사이의 실수값을 가진 벡터로 특정 학습컨셉에 대한 수치가 높을 때에는 높은 이해도를 표현하고, 상기 수치가 낮을 때에는 낮은 이해도를 표현하며, 해당 학습컨셉의 평가문항들에 대한 정답 확률과 비례하여 이를 기반으로 개별 평가문항에 대한 정답 확률의 예측이 가능할 수 있다.
더불어, 상기 학습관리용 데이터는 실시간 단위적으로 변화하는 상기 학습자(L)의 학습로그(X)에 대응되도록 구성하여, 상기 교사(T)가 학습자(L)의 학습관리를 위한 지표가 되는 데이터로서, 상기 교사(T)가 사용하는 제2 단말(120)의 입력기기(미도시)를 통해 입력되면서 미리 지정될 수 있으며, 상기 웹(130) 및 외부 서버(140)에도 입력되어 미리 지정될 수 있다.
이때, 상기 학습관리용 데이터는 학습과정에서 발생하는 학습행동과 패턴, 교과 이해수준, 학습량의 기간별 총량과 패턴, 성적의 통계적 분포 및 추이와 원인 그리고 그에 대한 처방 등을 정량화한 데이터, 학습 3종(학습전략, 학습동기, 학습 부적응), 진로/적성 1종(흥미, 적성), 성격/인성 4종(대인 환경, 학업 스트레스, 자존감, 정서행동) 총 8종의 정서에 대한 진단검사 유형을 기록한 데이터 등을 포함하는 것이 바람직하다.
이러한 상기 학습관리용 데이터는 본 발명에 따르면, 국제표준(IMS Caliper) 기반으로 정량화될 수 있고, 상기 웹(130) 또는 외부 서버(140)에서 현재 상용화되고 있는 AI 분석 서비스 프로그램 "홈런 AI 생활기록부" 의 공유를 통해 추출될 수도 있으며, 본 발명의 기술적 범위 내에서 해당관련분야의 당업자에 의해 다양하게 변경설계가 가능함은 물론이다.
상기 홈런 AI 생활기록부는 (주)아이스크림에듀에서 제공하는 학습 분석 서비스로서, IMS Global Learning Consortium에서 IMS Caliper Analytics 1.1 표준 인증을 받았으며, 학습자(L)의 학습현황, 학습패턴, 공부습관 등을 분석하여 월별로 요약하여 e포트폴리오 형태의 시각적 자료로 학습자(L) 및 교사(T)에게 제공하는 기술이다.
나아가, 상기 커스터마이징 정보는 이해도 시각화, 추천 컨텐츠, 추천 평가문항 중 적어도 하나의 학습용/교수용 맞춤형 가이드에 대한 데이터를 포함할 수 있고, 상기 커스터마이징 정보 중 상기 이해도 시각화 데이터는 도 8에 나타낸 바와 같이, 해당 단원의 상호 관련있는 학습영역끼리 연결된 세포의 형태로 후술될 알림부(160)의 화면 상에 디스플레이될 수 있으며, 상기 세포를 이루는 각 학습영역은 상기 학습자별 진단정보에 대응하여 미리 설정된 색상으로 상기 알림부(160)의 화면 상에 디스플레이될 수 있다.
한편, 본 발명에 따른 상기 진단용 서브모듈은 상기 딥러닝 알고리즘 중 자연어 처리를 위한 트랜스포머(Transformer) 구조 기반의 DKT(Deep Knowledge Tracing, 딥러닝 기반 지식추적) AI 모델을 적용하는 것이 바람직하다.
이러한 상기 진단용 서브모듈은 도 4를 참조하여, 좀 더 구체적으로, 상기 학습로그(X)를 기반으로 학년 및 학기별로 미리 설정된 초기 이해도 값을 제공하면서 사전 진단정보를 생성하는 초기 이해도 진단모듈; 상기 초기 이해도 진단모듈을 통해 생성된 사전 진단정보를 업데이트하는 이해도 추적모듈; 상기 이해도 추적모듈을 통해 업데이트된 사전 진단정보에 상기 학습자(L)의 찍어맞추기(guessing) 확률, 실수할 확률(Slip), 상기 평가문항의 난이도 및 상기 평가문항의 변별력을 반영하면서 직접적인 이해도와 개별 평가문항의 정답예측 확률을 연결하여 해석가능한 이해도 θ를 추출하는 이해도 및 문항 맵핑모듈; 및 시계열로 상기 학습로그(X)를 분석하여 상기 학습자(L)가 특정 시점으로부터 모든 문제를 맞추거나 틀리는 경향이 반복되는 것으로 판단되면, 상기 학습자(L)의 풀이실수 확률을 모델링하여 학습 집중도를 추적하고, 상기 학습자(L)가 각 시점에서 갖는 하나의 상기 풀이실수 확률이 최종 정답예측 확률을 도출할 때 상기 실수할 확률(Slip)로 반영되도록 하는 문항풀이실수 예측모듈을 포함하여 구성될 수 있다.
상기 초기 이해도 진단모듈은 도 5에 도시된 바와 같이, 총 상기 T개의 시험을 수행한 학습로그(X)가 존재한다고 가정할 때, 이를 M개의 초기진단용 시험과 N(T-M)개의 이해도 추적용 시험으로 구분하여, 상기 M개의 초기진단용 시험만을 활용하고, 어느 하나의 시험에 대한 숨은 연관성(hidden representation)을 추출하기 위해 상기 트랜스포머 구조를 활용하며, 상기 평가문항의 시작을 나타내는 표식(dummy)문항으로서 시험 내에 평가문항에 대한 응답 결과를 요약하는 역할을 수행하는 [S0Q] 노드의, 정제된 최종 연관성을 해당 시험결과를 표현하는 시험단위의 연관성으로 사용되되, 상기 평가문항들의 순서를 나타내는 위치 엔코딩(positional encoding)이 적용되지 않을 수 있다.
또한, 상기 초기 이해도 진단모듈은 상기 추출된 M개 시험의 연관성을 활용하여 Concept x memory(number of concepts, C=391, × memory dimension, D=48)에 해당하는 메모리의 초기값을 할당하고, 이 프로세스에서 상기 M개 시험의 연관성을 접합(concatenation)하며, 선형 변환(Linear transition)을 통해서
Figure 112022110389011-pat00033
매트릭스(matrix)의 값을 구할 수 있다.
더불어, 상기 초기 이해도 진단모듈은 상기
Figure 112022110389011-pat00034
매트릭스에서 상기 선형 변환과 시그모이드(Sigmoid) 함수를 활용하여 각 학습컨셉별 이해도 θ를 구하고, D dimension을 1 dimension으로 바꾸어주는 역할의 선형 변환 가중치가 모든 학습컨셉에 대해 동일하게 이용되도록 하여, 상기 변환으로써, 상기
Figure 112022110389011-pat00035
매트릭스가
Figure 112022110389011-pat00036
의 이해도 영역으로 맵핑되도록 할 수 있고, 상기 맵핑은, 상기 이해도 추적모듈에서 동일하게 이용될 수 있다.
상기 이해도 추적모듈은 도 6을 참조하여, 현재의 시험으로 어떤 학습컨셉에 영향을 줄 것인지, 어떻게 상기
Figure 112022110389011-pat00037
매트릭스를 업데이트하게 할 것인지를 결정하고, 그로부터 각 시점별 이해도
Figure 112022110389011-pat00038
를 도출할 수 있고, 상기 초기 이해도 진단모듈과 동일한 구조 및 접근방법과, 상기 초기 이해도 진단모듈과는 상이한 파라미터(Parameter)를 활용하면서 상기 N(T-M)개의 이해도 추적용 시험에 대하여 각 시험의 연관성을 추출하고, 각 개별 시험
Figure 112022110389011-pat00039
로부터
Figure 112022110389011-pat00040
를 추출할 수 있다.
또한, 상기 이해도 추적모듈은 트랜스포머 엔코더(Transformer encoder)를 상기 위치 엔코딩과 함께 적용하여 시계열 시험들의 정보를 융화하는 시계열 모델링(Sequence Modeling)을 통해, 상기 트랜스포머 엔코더가 수행될 때, 미래 시점에 대한 어텐션 값(Attention value)을 마스킹(Masking) 처리하여 미래의 정답여부가 현재에 반영되는 것을 방지하고, 상기 트랜스포머 엔코더의 특성에 맞게 각 시험의 연관성이 시계열상의 다른 시험들의 연관성과 융화되면서
Figure 112023027780160-pat00041
가
Figure 112023027780160-pat00042
로 변화되도록 할 수 있다.
더불어, 상기 이해도 추적모듈은 상기 초기 이해도 진단모듈에서의 시험 내 평가문항과 그 응답 결과에 대해 요약된 연관성을 비교하여 상기 응답 결과를 제외한 시험의 정보를 엔코딩하고, 이 때, 상기 초기 이해도 진단모듈과 동일한 아키텍쳐(Architecture)가 적용되며, 정오답결과를 입력값(Input)으로 활용하는 상기 초기 이해도 진단모듈과 상이하게, 상기 이해도 및 문항 맵핑모듈의 파라미터를 활용하면서 상기 시험의 평가문항정보만을 요약한 연관성을 추출하고, 상기 각 개별 시험
Figure 112022110389011-pat00043
로부터
Figure 112022110389011-pat00044
를 추출할 수 있으며, 상기 추출 결과는, 해당 시험의 응답 결과가 어떤 학습컨셉의 이해도를 변화시킬 수 있는지를 구하는 데 활용되고, 이는 상기 응답 결과에 상관없이 상기 평가문항들의 정보만으로 해당 시험이 어떤 학습컨셉에 연관이 되어있는지를 찾아낼 수 있도록 구성될 수 있다.
나아가, 상기 이해도 추적모듈은 상기 평가문항정보가 없는 응답 결과들만을 활용한 연관성을 추출하고, 상기 각 개별 시험
Figure 112022110389011-pat00045
로부터
Figure 112022110389011-pat00046
를 추출하며, 이는 상기 학습자의 풀이실수 확률을 추적하기 위해 활용될 수 있고, 상기 추출된
Figure 112022110389011-pat00047
과
Figure 112022110389011-pat00048
를 활용하여 기존의
Figure 112022110389011-pat00049
매트릭스를 업데이트 하고, 상기 이해도 및 문항 맵핑모듈과 동일한 함수와 가중치를 활용하여 상기 업데이트된
Figure 112022110389011-pat00050
매트릭스에서 각 학습컨셉별 이해도 θ를 구할 수 있으며, 상기 기존의
Figure 112022110389011-pat00051
매트릭스를 업데이트 함에 있어서, 우선, 상기
Figure 112022110389011-pat00052
를 활용하여 현재 시험이 어떤 학습컨셉과 연결성이 있는지
Figure 112022110389011-pat00053
를 구한 후, 상기
Figure 112022110389011-pat00054
를 활용하여 업데이트를 위한
Figure 112022110389011-pat00055
를 구하여
Figure 112022110389011-pat00056
와 비례하게 현재의 P를 업데이트할 수 있되, 상기
Figure 112022110389011-pat00057
는, 상기 선형 변환과 소프트맥스 함수(softmax function)를 활용하여 현재 시험과 연관성이 큰 학습컨셉들을 선택하게 할 수 있다.
상기 이해도 및 문항 맵핑모듈에서 전술한 직접적인 이해도와 개별 평가문항의 정답예측 확률을 연결하는 함수(도 7 참조)를 본 발명에서는 Proficiency Pallet 함수라고 명명하기로 한다.
상기 Proficiency Pallet 함수를 통해서 이해도 θ의 값은 평가문항 난이도와 연결되어 해석가능한 값으로 전환된다.
예컨대, 특정 학습컨셉에 대해서 이해도가 0.7이라고 할때, 평가문항 난이도가 0.5, 0.3, 0.6에 해당되는 평가문항들을 50% 이상의 확률로 정답을 맞출 수 있다고 판단되고, 평가문항 난이도가 0.8, 0.9에 해당하는 평가문항들에 대해서는 50% 이상의 확률로 정답을 맞출 수 없을 것으로 판단할 수 있다.
이때, 동일한 학습컨셉에 있는 평가문항들은 동일한 학습컨셉 이해도가 활용되는 것이 바람직하다.
상기 문항풀이실수 예측모듈의 아키텍쳐는 본 발명에 따르면, 상기
Figure 112022110389011-pat00058
을 활용한 LSTM(Long Short-Term Memory, 장단기 메모리)으로 구성되고, 각 시점에서 어느 하나의 상기 실수할 확률(Slip)을 계산하기 위한 상기 선형 변환과 상기 시그모이드 함수로 구성되는 것이 바람직하다.
상술한 바와 같이 이루어지는 상기 진단용 서브모듈은 이를 구성하는 상기 진단모듈, 추적모듈, 맵핑모듈, 예측모듈을 학습하기 위해 2개의 학습자 응답결과 예측 로스(Loss)와 4개의 학습 안정화를 위한 정칙화(Regularization) 로스로 총 6개의 로스의 조합에 의해 학습되도록 구성될 수 있다.
상기 학습자 응답결과 예측 로스는 더 바람직하게는, 현재 시험결과의 재현을 위한 Auto-encoding loss 및 다음 시점의 시험결과 예측을 위한 Next exam prediction loss를 포함할 수 있다.
상기 Auto-encoding loss와 관련하여, 각 시점의 시험은 최종적으로 Concept Memory에 누적되어 요약되고 이것은 최종적으로 컨셉 이해도 θ에 할당된다. 이때, 개별컨셉은 scalar값의 이해도로 표현되고, 이러한 scalar값은 현재 취한 시험의 결과를 표현하는 대표 이해도 값이다. 따라서, 해당 시점의 이해도 θ는 해당 시점의 이해도를 잘 표현해야 한다. 이해도 θ를 활용하여 Proficiency Pallet 함수로 해당 시점의 평가문항별 정답예측 확률과 같은 시점의 평가문항들의 정오답 결과의 Cross-entropy Loss를 구성한다.
상기 Next exam prediction loss와 관련하여, 각 시점의 이해도 θ는 해당 시점의 시험의 학습컨셉의 이해도를 잘 표현해야할 뿐만 아니라 그외의 학습컨셉의 이해도 변화를 예측할 수 있어야 한다. 이를 학습하기 위하여 다음 시점의 시험의 결과를 예측하는 로스를 추가로 구성한다. 즉, 현 시점의 이해도 θ를 활용하여 Proficiency Pallet 함수로 “다음 시점”의 평가문항별 정답예측 확률과 “다음 시점”의 평가문항들의 정오답 결과의 Cross-entropy Loss를 구성한다.
상기 정칙화 로스는 더 바람직하게는, 학습단계별 이해도 정칙화를 위한 Curriculum regularization loss, 지식맵 연결 노드의 이해도 정칙화를 위한 Knowledge map regularization loss, 이해도 극적변화의 제약을 위한 Proficiency smoothing loss 및 풀이실수 확률 극적변화의 제약을 위한 Noise smoothing loss를 포함할 수 있다.
상기 Curriculum regularization loss와 관련하여, 초등 수학과정은 순차적 지식의 습득과정을 포함한다. 이에 일반적으로 존재하는 1학년 → 2학년 → … → 6학년 순으로 학습컨셉에 대한 이해도의 상대적 크기에 대한 제약을 추가한다. Loss는 ReLU(상위단원들 - 하위단원들)으로 구성되며 이는 상위단원의 이해도가 하위단원의 이해도보다 높을 때 (6학년 단원 이해도가 1학년 단원 이해도보다 높을 때) 이를 상위 단원의 이해도를 낮추고 하위단원의 이해도를 높이는 정칙화 로스이다.
상기 Knowledge map regularization loss와 관련하여, 지식맵에 의하여 각 학습컨셉은 그들의 선후행 관계가 얽혀있다. 이를 활용하여 선후행 관계를 encoding하는 Loss를 구성한다. Loss는 ReLU(후행단원 - 선행단원)으로 구성되며 이는 후행단원의 이해도가 선행단원의 이해도보다 낮아야 한다는 제약이다. 본 진단용 서브모듈의 학습시 해당 regularization loss없이는 진단용 서브모듈이 데이터에 크게 overfitting하는 경향을 관측하였다.
상기 Proficiency smoothing loss와 관련하여, 실제 학습자(L)의 이해도는 모든 학습컨셉이 한순간에 극적으로 변하기보다는 학습하는 영역별로 한 단계식 향상 되게 된다. 이러한 극적인 변화를 방지하고 안정적인 이해도 추적을 위하여 현 시점 이해도 θ와 이전 시점 이해도 θ 사이의 거리를 최소화하는 제약을 추가한다. 실제 Loss는 Absolute loss로 구성된다.
상기 Noise smoothing loss와 관련하여, 풀이실수 확률이 학습데이터에 overfitting되는 것을 방지하기 위하여 실수할 확률(Slip)의 극적인 변화를 막는 regularization term을 추가한다. 이는 Absolute loss로 이전시점의 실수할 확률(Slip)과 현재 시점의 실수할 확률(Slip)의 거리로 구성된다.
상기 알림부(160)는 제어부(150)의 알림신호 출력부(154)로부터 출력되는 알림신호에 따라 미리 설정된 텍스트와 이미지를 임의의 화면 상에 시각적으로 디스플레이하는 것으로, 바람직하게는, 상기 학습자(L)의 제1 단말(110), 상기 교사(T)의 제2 단말(120)에 각각 구비되도록 구성하는 것이 바람직하다.
이러한 상기 알림부(160)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함하여 구성될 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.
100 : 인공지능 튜터링 시스템
110 : 제1 단말
120 : 제2 단말
130 : 웹
140 : 외부 서버
150 : 제어부
151 : 데이터 생성부
152 : 데이터 베이스부
153 : 이해도 추출부
154 : 알림신호 출력부
160 : 알림부
L : 학습자
T : 교사

Claims (15)

  1. 학습자의 제1 단말과 교사의 제2 단말을 원격 연결하여 비대면 환경에서의 상기 학습자의 학습 이해도를 진단하기 위한 인공지능 튜터링 시스템에 있어서,
    상기 제1,2 단말 및 웹, 외부 서버와 네트워크를 구축하여 통신하면서 상기 제1 단말로부터 획득되는 학습자의 학습로그(X)를 미리 프로그래밍된 딥러닝 알고리즘 기반의 진단용 서브모듈을 통해 분석하여 학습자별 진단정보를 추출하고, 상기 학습자별 진단정보를 미리 지정된 학습관리용 데이터와 매칭시켜 상기 학습자의 향후 학습과 상기 교사의 향후 교수를 가이드하기 위한 임의의 커스터마이징 정보를 생성하며, 상기 커스터마이징정보에 따라 미리 설정된 알림신호를 출력하는 제어부; 및
    상기 제1,2 단말에 구비되어, 상기 제어부로부터 출력된 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이하는 알림부를 포함하되,
    상기 학습자별 진단정보는,
    학습영역별 이해도 및 단원별 이해도 중 적어도 하나의 학습역량에 대한 데이터인 것을 특징으로 하고,
    상기 제어부는,
    상기 학습로그(X)를 기반으로 상기 학습자가 각 시험에서 풀었던 시험에 대한 정답여부를 재생성하고, 추후 시험에서 풀 평가문항들에 대한 정답여부를 예측가능한 임의의 이해도를 추출하는 것을 학습하도록 구성된 것을 특징으로 하며,
    상기 학습로그(X)는, T개의 시험에 대한 응답 결과로서,
    Figure 112023027780160-pat00059
    로 정의되는 것을 특징으로 하고,
    각 시험에 대한 응답 결과(
    Figure 112023027780160-pat00060
    )는, 해당 시험에 대응하는 E개의 평가문항에 대한 응답으로 구성되는 것을 특징으로 하며,
    각 평가문항에 대한 응답 결과는, 질의와 정오답결과의 집합요소(Tuple, 튜플)로서,
    Figure 112023027780160-pat00061
    로 정의되는 것을 특징으로 하고,
    다음의 학습로그(X)가 존재하였을 때, 해당 학습자의 이해도 θ를 추출하는 것을 특징으로 하며,
    상기 이해도 θ는,
    모든 학습컨셉에 대하여 [0,1] 사이의 실수값을 가진 벡터로 특정 학습컨셉에 대한 수치가 높을 때에는 높은 이해도를 표현하고, 상기 수치가 낮을 때에는 낮은 이해도를 표현하며, 해당 학습컨셉의 평가문항들에 대한 정답 확률과 비례하여 이를 기반으로 개별 평가문항에 대한 정답 확률의 예측이 가능한 것을 특징으로 하고,
    상기 커스터마이징 정보는,
    이해도 시각화, 추천 컨텐츠, 추천 평가문항 중 적어도 하나의 학습용/교수용 맞춤형 가이드에 대한 데이터를 포함하는 것을 특징으로 하며,
    상기 커스터마이징 정보 중 상기 이해도 시각화 데이터는,
    해당 단원의 상호 관련있는 학습영역끼리 연결된 세포의 형태로 상기 알림부의 화면 상에 디스플레이되는 것을 특징으로 하고,
    상기 세포를 이루는 각 학습영역은,
    상기 학습자별 진단정보에 대응하여 미리 설정된 색상으로 상기 알림부의 화면 상에 디스플레이되는 것을 특징으로 하며,
    상기 진단용 서브모듈은,
    상기 딥러닝 알고리즘 중 자연어 처리를 위한 트랜스포머(Transformer) 구조 기반의 DKT(Deep Knowledge Tracing, 딥러닝 기반 지식추적) AI 모델을 적용하되,
    상기 학습로그(X)를 기반으로 학년 및 학기별로 미리 설정된 초기 이해도 값을 제공하면서 사전 진단정보를 생성하는 초기 이해도 진단모듈;
    상기 초기 이해도 진단모듈을 통해 생성된 사전 진단정보를 업데이트하는 이해도 추적모듈;
    상기 이해도 추적모듈을 통해 업데이트된 사전 진단정보에 상기 학습자의 찍어맞추기(guessing) 확률, 실수할 확률(Slip), 상기 평가문항의 난이도 및 상기 평가문항의 변별력을 반영하면서 직접적인 이해도와 개별 평가문항의 정답예측 확률을 연결하여 해석가능한 이해도 θ를 추출하는 이해도 및 문항 맵핑모듈; 및
    시계열로 상기 학습로그(X)를 분석하여 상기 학습자가 특정 시점으로부터 모든 문제를 맞추거나 틀리는 경향이 반복되는 것으로 판단되면, 상기 학습자의 풀이실수 확률을 모델링하여 학습 집중도를 추적하고, 상기 학습자가 각 시점에서 갖는 하나의 상기 풀이실수 확률이 최종 정답예측 확률을 도출할 때 상기 실수할 확률(Slip)로 반영되도록 하는 문항풀이실수 예측모듈을 포함하는 것을 특징으로 하고,
    상기 초기 이해도 진단모듈은,
    총 상기 T개의 시험을 수행한 학습로그(X)가 존재한다고 가정할 때, 이를 M개의 초기진단용 시험과 N(T-M)개의 이해도 추적용 시험으로 구분하여, 상기 M개의 초기진단용 시험만을 활용하고, 어느 하나의 시험에 대한 숨은 연관성(hidden representation)을 추출하기 위해 상기 트랜스포머 구조를 활용하며, 상기 평가문항의 시작을 나타내는 표식(dummy)문항으로서 시험 내에 평가문항에 대한 응답 결과를 요약하는 역할을 수행하는 [S0Q] 노드의, 정제된 최종 연관성을 해당 시험결과를 표현하는 시험단위의 연관성으로 사용되되, 상기 평가문항들의 순서를 나타내는 위치 엔코딩(positional encoding)이 적용되지 않은 것을 특징으로 하며,
    상기 추출된 M개 시험의 연관성을 활용하여 Concept x memory(number of concepts, C=391, × memory dimension, D=48)에 해당하는 메모리의 초기값을 할당하고, 이 프로세스에서 상기 M개 시험의 연관성을 접합(concatenation)하며, 선형 변환(Linear transition)을 통해서
    Figure 112023027780160-pat00062
    매트릭스(matrix)의 값을 구하는 것을 특징으로 하고,
    상기
    Figure 112023027780160-pat00063
    매트릭스에서 상기 선형 변환과 시그모이드(Sigmoid) 함수를 활용하여 각 학습컨셉별 이해도 θ를 구하고, D dimension을 1 dimension으로 바꾸어주는 역할의 선형 변환 가중치가 모든 학습컨셉에 대해 동일하게 이용되도록 하여, 상기 변환으로써, 상기
    Figure 112023027780160-pat00064
    매트릭스가
    Figure 112023027780160-pat00065
    의 이해도 영역으로 맵핑되도록 하는 것을 특징으로 하며,
    상기 맵핑은,
    상기 이해도 추적모듈에서 동일하게 이용되는 것을 특징으로 하고,
    상기 이해도 추적모듈은,
    현재의 시험으로 어떤 학습컨셉에 영향을 줄 것인지, 어떻게 상기
    Figure 112023027780160-pat00066
    매트릭스를 업데이트하게 할 것인지를 결정하고, 그로부터 각 시점별 이해도
    Figure 112023027780160-pat00067
    를 도출하는 것을 특징으로 하며,
    상기 초기 이해도 진단모듈과 동일한 구조 및 접근방법과, 상기 초기 이해도 진단모듈과는 상이한 파라미터(Parameter)를 활용하면서 상기 N(T-M)개의 이해도 추적용 시험에 대하여 각 시험의 연관성을 추출하고, 각 개별 시험
    Figure 112023027780160-pat00068
    로부터
    Figure 112023027780160-pat00069
    를 추출하는 것을 특징으로 하고,
    트랜스포머 엔코더(Transformer encoder)를 상기 위치 엔코딩과 함께 적용하여 시계열 시험들의 정보를 융화하는 시계열 모델링(Sequence Modeling)을 통해, 상기 트랜스포머 엔코더가 수행될 때, 미래 시점에 대한 어텐션 값(Attention value)을 마스킹(Masking) 처리하여 미래의 정답여부가 현재에 반영되는 것을 방지하고, 상기 트랜스포머 엔코더의 특성에 맞게 각 시험의 연관성이 시계열상의 다른 시험들의 연관성과 융화되면서
    Figure 112023027780160-pat00070
    가
    Figure 112023027780160-pat00071
    로 변화되도록 하는 것을 특징으로 하며,
    상기 초기 이해도 진단모듈에서의 시험 내 평가문항과 그 응답 결과에 대해 요약된 연관성을 비교하여 상기 응답 결과를 제외한 시험의 정보를 엔코딩하고, 이 때, 상기 초기 이해도 진단모듈과 동일한 아키텍쳐(Architecture)가 적용되며, 정오답결과를 입력값(Input)으로 활용하는 상기 초기 이해도 진단모듈과 상이하게, 상기 이해도 및 문항 맵핑모듈의 파라미터를 활용하면서 상기 시험의 평가문항정보만을 요약한 연관성을 추출하고, 상기 각 개별 시험
    Figure 112023027780160-pat00072
    로부터
    Figure 112023027780160-pat00073
    를 추출하는 것을 특징으로 하고,
    상기 추출 결과는,
    해당 시험의 응답 결과가 어떤 학습컨셉의 이해도를 변화시킬 수 있는지를 구하는 데 활용되고, 이는 상기 응답 결과에 상관없이 상기 평가문항들의 정보만으로 해당 시험이 어떤 학습컨셉에 연관이 되어있는지를 찾아낼 수 있도록 구성된 것을 특징으로 하는 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제 1 항에 있어서,
    상기 이해도 추적모듈은,
    상기 평가문항정보가 없는 응답 결과들만을 활용한 연관성을 추출하고, 상기 각 개별 시험
    Figure 112023027780160-pat00074
    로부터
    Figure 112023027780160-pat00075
    를 추출하며, 이는 상기 학습자의 풀이실수 확률을 추적하기 위해 활용되는 것을 특징으로 하고,
    상기 추출된
    Figure 112023027780160-pat00076
    과
    Figure 112023027780160-pat00077
    를 활용하여 기존의
    Figure 112023027780160-pat00078
    매트릭스를 업데이트 하고, 상기 이해도 및 문항 맵핑모듈과 동일한 함수와 가중치를 활용하여 상기 업데이트된
    Figure 112023027780160-pat00079
    매트릭스에서 각 학습컨셉별 이해도 θ를 구하는 것을 특징으로 하며,
    상기 기존의
    Figure 112023027780160-pat00080
    매트릭스를 업데이트 함에 있어서,
    우선, 상기
    Figure 112023027780160-pat00081
    를 활용하여 현재 시험이 어떤 학습컨셉과 연결성이 있는지
    Figure 112023027780160-pat00082
    를 구한 후, 상기
    Figure 112023027780160-pat00083
    를 활용하여 업데이트를 위한
    Figure 112023027780160-pat00084
    를 구하여
    Figure 112023027780160-pat00085
    와 비례하게 현재의 P를 업데이트하되,
    상기
    Figure 112023027780160-pat00086
    는,
    상기 선형 변환과 소프트맥스 함수(softmax function)를 활용하여 현재 시험과 연관성이 큰 학습컨셉들을 선택하게 하는 것을 특징으로 하는 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템.
  13. 제 12 항에 있어서,
    상기 문항풀이실수 예측모듈의 아키텍쳐는,
    상기
    Figure 112022110389011-pat00087
    을 활용한 LSTM(Long Short-Term Memory, 장단기 메모리)으로 구성되고, 각 시점에서 어느 하나의 상기 실수할 확률(Slip)을 계산하기 위한 상기 선형 변환과 상기 시그모이드 함수로 구성되는 것을 특징으로 하는 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템.
  14. 제 13 항에 있어서,
    상기 진단용 서브모듈은,
    이를 구성하는 상기 진단모듈, 추적모듈, 맵핑모듈, 예측모듈을 학습하기 위해 2개의 학습자 응답결과 예측 로스(Loss)와 4개의 학습 안정화를 위한 정칙화(Regularization) 로스로 총 6개의 로스의 조합에 의해 학습되도록 구성된 것을 특징으로 하고,
    상기 학습자 응답결과 예측 로스는,
    현재 시험결과의 재현을 위한 Auto-encoding loss 및 다음 시점의 시험결과 예측을 위한 Next exam prediction loss를 포함하며,
    상기 정칙화 로스는,
    학습단계별 이해도 정칙화를 위한 Curriculum regularization loss, 지식맵 연결 노드의 이해도 정칙화를 위한 Knowledge map regularization loss, 이해도 극적변화의 제약을 위한 Proficiency smoothing loss 및 풀이실수 확률 극적변화의 제약을 위한 Noise smoothing loss를 포함하는 것을 특징으로 하는 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템.
  15. 제 1 항에 있어서,
    상기 제어부는,
    상기 제1 단말로부터 상기 학습자의 학습로그(X)를 획득하여 데이터화하는 데이터 생성부;
    상기 데이터 생성부에 의해 생성된 상기 학습로그의 데이터를 기록하고, 상기 제2 단말에 의해 미리 지정된 학습관리용 데이터와 임의의 딥러닝 알고리즘 데이터를 저장하고 관리하는 데이터 베이스부;
    상기 데이터 베이스부에 저장된 상기 딥러닝 알고리즘 데이터를 이용하여 상기 진단용 서브모듈을 생성하고, 상기 생성된 진단용 서브모듈을 통해 상기 데이터베이스부에 기록되는 상기 학습로그의 데이터를 분석하여 상기 학습자별 진단정보를 추출하는 이해도 추출부; 및
    상기 이해도 추출부로부터 추출된 상기 학습자별 진단정보를 상기 데이터 베이스부에 저장된 상기 학습관리용 데이터와 매칭시켜 상기 커스터마이징 정보를 생성하고, 상기 생성된 커스터마이징 정보에 대응하는 알림신호가 출력되도록 제어하는 알림신호 출력부를 포함하는 것을 특징으로 하는 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템.
KR1020220135192A 2022-10-19 2022-10-19 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템 KR102538340B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220135192A KR102538340B1 (ko) 2022-10-19 2022-10-19 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220135192A KR102538340B1 (ko) 2022-10-19 2022-10-19 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템

Publications (1)

Publication Number Publication Date
KR102538340B1 true KR102538340B1 (ko) 2023-06-02

Family

ID=86755380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220135192A KR102538340B1 (ko) 2022-10-19 2022-10-19 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템

Country Status (1)

Country Link
KR (1) KR102538340B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102623059B1 (ko) * 2023-03-31 2024-01-09 주식회사 클래스팅 트랜스포머 신경망 기반의 지식 추적 모델을 이용한 지능형 튜터링 시스템 및 방법
CN117670146A (zh) * 2024-02-01 2024-03-08 青岛培诺教育科技股份有限公司 一种学习过程测评方法、装置、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102056822B1 (ko) 2017-05-04 2019-12-17 주식회사 매스프레소 학습 서비스 제공 방법 및 그 장치
KR20210125250A (ko) * 2020-04-08 2021-10-18 주식회사 셀바스에이아이 문항 평가 방법 및 이를 이용한 디바이스
KR102383458B1 (ko) * 2021-08-17 2022-04-11 주식회사 아이스크림에듀 학습결과에 대한 관리를 지원하는 능동형 인공지능 튜터링 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102056822B1 (ko) 2017-05-04 2019-12-17 주식회사 매스프레소 학습 서비스 제공 방법 및 그 장치
KR20210125250A (ko) * 2020-04-08 2021-10-18 주식회사 셀바스에이아이 문항 평가 방법 및 이를 이용한 디바이스
KR102383458B1 (ko) * 2021-08-17 2022-04-11 주식회사 아이스크림에듀 학습결과에 대한 관리를 지원하는 능동형 인공지능 튜터링 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102623059B1 (ko) * 2023-03-31 2024-01-09 주식회사 클래스팅 트랜스포머 신경망 기반의 지식 추적 모델을 이용한 지능형 튜터링 시스템 및 방법
CN117670146A (zh) * 2024-02-01 2024-03-08 青岛培诺教育科技股份有限公司 一种学习过程测评方法、装置、电子设备及介质
CN117670146B (zh) * 2024-02-01 2024-04-30 青岛培诺教育科技股份有限公司 一种学习过程测评方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
Perry et al. The improvement science dissertation in practice: A guide for faculty, committee members, and their students
Belland et al. Synthesizing results from empirical research on computer-based scaffolding in STEM education: A meta-analysis
KR102538340B1 (ko) 학습 이해도에 대한 진단을 지원하는 인공지능 튜터링 시스템
Fiorella et al. Eight ways to promote generative learning
Biswas et al. From design to implementation to practice a learning by teaching system: Betty’s Brain
Moss et al. Engaging methodological pluralism
Verhoeven et al. Cognitive load in interactive knowledge construction
Hadwin et al. Promoting learning skills in undergraduate students
KR102383458B1 (ko) 학습결과에 대한 관리를 지원하는 능동형 인공지능 튜터링 시스템
Williams et al. Identifying multiple levels of discussion-based teaching strategies for constructing scientific models
CN102598085A (zh) 用于生成、递送和管理教育资料的系统和方法
Kay et al. Enhancing learning by Open Learner Model (OLM) driven data design
Schulze “GIS works!”—But why, how, and for whom? Findings from a systematic review
Stanney et al. Exercisable learning-theory and evidence-based andragogy for training effectiveness using XR (ELEVATE-XR): Elevating the ROI of immersive technologies
Reinke Toward an analytical framework for contextual problem-based mathematics instruction
Alqahtani et al. A review of the quality of adaptive learning tools over non-adaptive learning tools
Pallant et al. How to support secondary school students’ consideration of uncertainty in scientific argument writing: A case study of a High-Adventure Science curriculum module
Clark et al. Constructing and evaluating a validation argument for a next-generation alternate assessment
Mohapatra et al. Exploring the sector-specific influence and response of AI tools: A critical review
Bulut et al. Guidelines for generating effective feedback from e-assessments
KR102636582B1 (ko) 학습 이해도에 대한 진단 및 협업 학습을 지원하는 인공지능 튜터링 시스템
Lwande et al. Learner behavior prediction in a learning management system
Peterson Mentored engagement of secondary science students, plant scientists, and teachers in an inquiry-based online learning environment
Joyner et al. Facilitating authentic reasoning about complex systems in middle school science education
KR102636579B1 (ko) 학습이력 및 메타정보 기반의 지식맵을 활용한 인공지능 튜터링 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant