KR102655228B1 - Learner-tailored math tutoring dialogue service system and method - Google Patents

Learner-tailored math tutoring dialogue service system and method Download PDF

Info

Publication number
KR102655228B1
KR102655228B1 KR1020230112049A KR20230112049A KR102655228B1 KR 102655228 B1 KR102655228 B1 KR 102655228B1 KR 1020230112049 A KR1020230112049 A KR 1020230112049A KR 20230112049 A KR20230112049 A KR 20230112049A KR 102655228 B1 KR102655228 B1 KR 102655228B1
Authority
KR
South Korea
Prior art keywords
tutoring
math
learner
conversation
concept
Prior art date
Application number
KR1020230112049A
Other languages
Korean (ko)
Inventor
임준호
박전규
전형배
Original Assignee
주식회사 튜터러스랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 튜터러스랩스 filed Critical 주식회사 튜터러스랩스
Priority to KR1020230112049A priority Critical patent/KR102655228B1/en
Application granted granted Critical
Publication of KR102655228B1 publication Critical patent/KR102655228B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

학습자와의 대화를 통해 수학 문제 풀이 과정을 검사하고, 질문과 답변을 통해 수학 문제 풀이 과정을 지도하는 수학 튜터링 대화 서비스에 적용되는 수학 문제 집합, 수학 문제 풀이 과정 집합, 수학 문제 풀이 히스토리를 저장하는 데이터베이스; 사용자 단말과 통신하여 데이터를 송수신하도록 구성되는 통신 모듈; 및 상기 데이터베이스 및 상기 통신 모듈을 제어하도록 구성된 튜터링 서비스 제공부를 포함하는 학습자 맞춤형 수학 튜터링 대화 시스템이 제공되며, 상기 튜터링 서비스 제공부는, 상기 사용자 단말을 통해 상기 수학 튜터링 대화 서비스에 접속한 학습자에게 튜터링 대화를 통해 맞춤형 문제를 선별/제시하는 동작; 상기 튜터링 대화를 통해 수신한 상기 학습자의 수학 문제 풀이와 관련된 질문을 분석하여 상기 학습자에게 문제 풀이 튜터링 대화를 제공하거나, 또는 상기 튜터링 대화를 통해 수신한 상기 학습자가 작성한 수학 문제 풀이 과정과 답을 분석하여 이것이 올바른 것인지 여부를 평가하거나, 또는 상기 튜터링 대화를 통해 수신한 상기 학습자의 수학 문제 개념과 관련된 질문을 분석하여 학습자의 의도에 매칭되는 수학 개념에 대한 설명을 제공하는 동작; 및 상기 문제 풀이 튜터링 대화를 제공하는 것, 또는 상기 학습자가 작성한 수학 문제 풀이 과정과 답이 올바른 것인지 평가하는 것, 또는 상기 수학 개념에 대한 설명을 제공하는 것과 관련된 AI 응답을 생성하여, 상기 사용자 단말로 전송하는 동작을 수행한다.A math problem set, math problem solving process set, and math problem solving history applied to the math tutoring conversation service that examines the math problem solving process through conversation with the learner and guides the math problem solving process through questions and answers. database; A communication module configured to communicate with a user terminal to transmit and receive data; and a tutoring service provider configured to control the database and the communication module. The tutoring service provider provides a tutoring conversation to a learner who accesses the math tutoring conversation service through the user terminal. The operation of selecting/presenting customized problems through; Analyzing questions related to the learner's math problem solving received through the tutoring conversation and providing a problem-solving tutoring conversation to the learner, or analyzing the math problem solving process and answers written by the learner received through the tutoring conversation evaluating whether this is correct, or providing an explanation of the math concept that matches the learner's intention by analyzing questions related to the learner's math problem concept received through the tutoring conversation; and providing the problem-solving tutoring conversation, evaluating whether the math problem-solving process and answers written by the learner are correct, or providing an explanation of the math concept by generating an AI response related to the user terminal. Perform a transmission operation.

Description

학습자 맞춤형 수학 튜터링 대화 시스템 및 방법{LEARNER-TAILORED MATH TUTORING DIALOGUE SERVICE SYSTEM AND METHOD}Learner-tailored math tutoring dialogue system and method {LEARNER-TAILORED MATH TUTORING DIALOGUE SERVICE SYSTEM AND METHOD}

본 개시는 학습자에게 수학을 가르치는 기술에 관한 것이며, 보다 구체적으로는 수학 문항에 대해 학습자가 풀이한 풀이 과정이 올바른 지 평가하고, 학습자가 잘못 풀은 부분에 대해 질문, 답변을 통하여 문제 풀이를 가르치고, 모르는 수학 개념에 대해 설명하는 튜터링 대화 시스템 및 그 방법에 관한 것이다.This disclosure relates to a technology for teaching mathematics to learners. More specifically, it evaluates whether the solution process of the learner for mathematical questions is correct, and teaches problem solving by asking and answering questions about the parts the learner solved incorrectly. , It is about a tutoring conversation system and method that explains unknown mathematical concepts.

종래 학습자 맞춤형 교육에는 주로 지식 추적(knowledge tracing) 기술이 활용되었다.Previously, knowledge tracing technology was mainly used in learner-customized education.

지식 추적(knowledge tracing) 기술은, 학습자가 제시된 문제의 정답을 맞혔는지, 틀렸는지 그 결과에 기반하여, 다른 문제를 맞출지 틀릴지 예측하는 기술이다. 이러한 지식 추적 기술은 주로 학생들이 공부하는 동안 어떤 개념을 이해하고 어떤 개념을 이해하지 못한 상태인지를 파악하여 학습자 맞춤형 교육을 제공하는 것을 목적으로 하며, 최근 딥러닝 기술의 등장으로 지식 추적 기술의 예측 성능이 크게 개선되었다. Knowledge tracing technology is a technology that predicts whether another problem will be answered correctly or incorrectly based on the results of whether the learner answered the presented problem correctly or incorrectly. The purpose of this knowledge tracking technology is to provide customized education to students by identifying which concepts they understand and which concepts they do not understand while studying. With the recent emergence of deep learning technology, the prediction of knowledge tracking technology is possible. Performance has been greatly improved.

하지만, 지식 추적 기반 학습자 맞춤형 교육은 학습자의 문제 풀이 과정을 고려하지 못하고, 그 결과만을 활용한다는 한계가 있다. However, learner-tailored education based on knowledge tracking has limitations in that it fails to consider the learner's problem-solving process and only uses the results.

보다 구체적으로 설명하면, 학습자가 잘못된 풀이 과정으로 우연히 정답과 같은 답을 도출하였는지, 문제 풀이 과정 중 어느 단계를 해결하지 못하였는지, 잘못 이해하는 개념이 없는지 등의 확인이 어렵다는 한계가 있다.To be more specific, there is a limitation that it is difficult to check whether the learner accidentally came up with the same answer as the correct answer through an incorrect solution process, which step in the problem-solving process was not solved, and whether there are any misunderstood concepts.

전술한 바와 같은 세밀한 수준의 학습자 맞춤형 튜터링을 위해서는 문제 풀이 결과가 아닌, 학습자와 대화를 통하여 문제 풀이 과정을 검사하고, 질문과 답변을 통하여 문제 풀이 과정을 가르치는 튜터링 대화 시스템 및 방법이 필요하다.In order to provide customized tutoring at a detailed level as described above, a tutoring conversation system and method is needed that examines the problem-solving process through conversation with the learner and teaches the problem-solving process through questions and answers, rather than the problem-solving results.

본 개시의 목적은 대화에 기반하여 수학 과목 학습자 맞춤형 튜터링을 제공하는 시스템 및 방법이다. 수학 튜터링 대화 시스템은 학습자의 풀이 과정이 올바른지 평가할 수 있어야 하고, 학습자와 문제 풀이 과정에 대해 질문과 답변을 통하여 가르칠 수 있어야 하고, 학습자가 물어보는 개념 질문에 올바른 정답 설명을 생성할 수 있어야 한다.The purpose of the present disclosure is to provide a system and method for providing customized tutoring for mathematics subject learners based on conversation. The math tutoring dialogue system must be able to evaluate whether the learner's solution process is correct, must be able to teach the learner and the problem-solving process through questions and answers, and be able to generate correct answers to the concept questions asked by the learner. .

대화에 기반한 수학 튜터링을 위하여 최근 개발된 생성형 언어모델 기술(예: ChatGPT)을 활용한다. 생성형 언어모델은 범용 도메인에서 자연스러운 대화가 가능하지만, 튜터링이라는 목적에 부합하는 대화를 바로 생성하기 어렵기 때문에, 풀이 과정 평가 및 튜터링 대화 명령-일치(instruction-following) 학습 데이터를 학습하여 풀이 과정 평가 및 튜터링 대화를 수행한다.For conversation-based math tutoring, we utilize recently developed generative language model technology (e.g. ChatGPT). Generative language models enable natural conversations in general-purpose domains, but since it is difficult to immediately generate conversations that meet the purpose of tutoring, the solution process is evaluated by learning instruction-following learning data from the solution process and tutoring conversations. Conduct assessments and tutoring conversations.

본 개시의 일 형태에서는, 학습자와의 대화를 통해 수학 문제 풀이 과정을 검사하고, 질문과 답변을 통해 수학 문제 풀이 과정을 지도하는 수학 튜터링 대화 서비스에 적용되는 수학 문제 집합, 수학 문제 풀이 과정 집합, 수학 문제 풀이 히스토리를 저장하는 데이터베이스; 사용자 단말과 통신하여 데이터를 송수신하도록 구성되는 통신 모듈; 및 상기 데이터베이스 및 상기 통신 모듈을 제어하도록 구성된 튜터링 서비스 제공부를 포함하는 학습자 맞춤형 수학 튜터링 대화 시스템이 제공되며, 상기 튜터링 서비스 제공부는,In one form of the present disclosure, a mathematical problem set, a mathematical problem solving process set, applied to a mathematics tutoring conversation service that examines the mathematics problem solving process through conversation with the learner and guides the mathematics problem solving process through questions and answers; A database that stores math problem solving history; A communication module configured to communicate with a user terminal to transmit and receive data; and a tutoring service provider configured to control the database and the communication module. The tutoring service provider includes:

상기 사용자 단말을 통해 상기 수학 튜터링 대화 서비스에 접속한 학습자에게 튜터링 대화를 통해 맞춤형 문제를 선별/제시하는 동작;An operation of selecting/presenting a customized problem through a tutoring conversation to a learner who accesses the math tutoring conversation service through the user terminal;

상기 튜터링 대화를 통해 수신한 상기 학습자의 수학 문제 풀이와 관련된 질문을 분석하여 상기 학습자에게 문제 풀이 튜터링 대화를 제공하거나, 또는 상기 튜터링 대화를 통해 수신한 상기 학습자가 작성한 수학 문제 풀이 과정과 답을 분석하여 이것이 올바른 것인지 여부를 평가하거나, 또는 상기 튜터링 대화를 통해 수신한 상기 학습자의 수학 문제 개념과 관련된 질문을 분석하여 학습자의 의도에 매칭되는 수학 개념에 대한 설명을 제공하는 동작; 및Analyzing questions related to the learner's math problem solving received through the tutoring conversation and providing a problem-solving tutoring conversation to the learner, or analyzing the math problem solving process and answers written by the learner received through the tutoring conversation evaluating whether this is correct, or providing an explanation of the math concept that matches the learner's intention by analyzing questions related to the learner's math problem concept received through the tutoring conversation; and

상기 문제 풀이 튜터링 대화를 제공하는 것, 또는 상기 학습자가 작성한 수학 문제 풀이 과정과 답이 올바른 것인지 평가하는 것, 또는 상기 수학 개념에 대한 설명을 제공하는 것과 관련된 AI 응답을 생성하여, 상기 사용자 단말로 전송하는 동작을 수행한다.Generating an AI response related to providing the problem-solving tutoring conversation, evaluating whether the math problem-solving process and answer written by the learner are correct, or providing an explanation of the math concept, to the user terminal Perform a transmitting operation.

일 실시예에서, 상기 튜터링 서비스 제공부는, 미리 학습한 BERT(Bidirectional Encoder Representations from Transformers) 언어 모델을 활용하여, 상기 튜터링 대화를 통해 수신한 상기 학습자의 수학 문제 풀이와 관련된 질문 또는 응답을 CLS(Special Classification token) 토큰 출력 값을 기반으로 '튜터링 대화', '풀이 과정 평가', '개념 질의 응답'의 3가지 유형 중 1가지로 분류하는 동작을 더 수행할 수 있다.In one embodiment, the tutoring service provider uses a pre-learned BERT (Bidirectional Encoder Representations from Transformers) language model to convert questions or responses related to the learner's math problem solving received through the tutoring conversation into CLS (Special) Classification token) Based on the token output value, you can further classify it into one of three types: 'tutoring conversation', 'solution process evaluation', and 'concept question answer'.

일 실시예에서, 상기 사용자 단말과 상기 튜터링 서비스 제공부 간의 상기 튜터링 대화는 튜터링 대화 프롬프트를 통해 이루어질 수 있다.In one embodiment, the tutoring conversation between the user terminal and the tutoring service provider may be conducted through a tutoring conversation prompt.

일 실시예에서, 상기 수학 문제 풀이 히스토리는 학습자 별 풀은 문제 ID, 학습 시작 시간, 학습 종료 시간, 학습자가 올바르게 문제를 풀었는지 여부 이력, 튜터링 대화 이력을 포함할 수 있다.In one embodiment, the math problem solving history may include a solved problem ID for each learner, a learning start time, a learning end time, a history of whether the learner solved the problem correctly, and a tutoring conversation history.

일 실시예에서, 상기 맞춤형 문제를 선별/제시하는 동작은, 조건 1: 학습자의 수학 문제 풀이 히스토리 중, 동일 난이도의 수학 문제를 연속하여 2개 이상 학습자가 올바르게 풀지 못한 경우, 동일 단원, 개념의 하위 난이도의 수학 문제를 출제하는 것, 조건 2: 학습자의 수학 문제 풀이 히스토리 중, 동일 난이도의 수학 문제를 연속하여 2개 이상 학습자가 올바르게 풀었고, 보다 높은 난이도의 수학 문제가 있을 경우, 동일 단원, 개념의 상위 난이도의 수학 문제를 출제하는 것, 조건 3: 해당 단원의 상위 난이도 수학 문제를 학습자가 5개 이상 올바르게 풀은 경우, 다음 단원의 중간 난이도 수학 문제를 출제하는 것, 조건 4: 위 조건에 부합하지 않는 경우, 마지막 수학 문제와 동일한 단원, 개념, 난이도의 다른 수학 문제를 출제하는 것을 포함할 수 있다.In one embodiment, the operation of selecting/presenting the customized problem is Condition 1: If the learner fails to correctly solve two or more math problems of the same difficulty in a row among the learner's math problem solving history, the same unit and concept Asking math problems of low difficulty, condition 2: In the learner's math problem solving history, if the learner has solved two or more math problems of the same difficulty correctly in a row, and there are math problems of higher difficulty, the same unit, To pose a math problem of higher difficulty of the concept, Condition 3: If the learner correctly solves more than 5 math problems of higher difficulty of the unit, to pose a math problem of medium difficulty of the next unit, Condition 4: Above conditions If it does not meet the requirements, this may include posing another math problem with the same unit, concept, and level of difficulty as the last math problem.

일 실시예에서, 상기 데이터베이스에 저장되는 상기 수학 문제 집합은 고유 ID, 문제 텍스트, 이미지, 학년, 단원명, 개념, 난이도 정보 중 하나 이상의 데이터를 포함할 수 있다.In one embodiment, the set of math problems stored in the database may include one or more data of a unique ID, problem text, image, grade, unit name, concept, and difficulty level information.

일 실시예에서, 상기 데이터베이스에 저장되는 상기 수학 풀이 과정 집합 중의 일부는 미리 학습된 수학 문제 풀이 언어 모델을 이용하여 자동으로 생성될 수 있다.In one embodiment, part of the set of mathematical problem solving processes stored in the database may be automatically generated using a pre-learned mathematical problem solving language model.

일 실시예에서, 상기 문제 풀이 튜터링 대화를 제공하는 것, 또는 상기 학습자가 작성한 수학 문제 풀이 과정과 답이 올바른 것인지 평가하는 것, 또는 상기 수학 개념에 대한 설명을 제공하는 것은 미리 학습된 생성형 언어 모델을 통해 이루어질 수 있다.In one embodiment, providing the problem-solving tutoring conversation, evaluating whether the math problem-solving process and answer written by the learner are correct, or providing an explanation of the math concept may be performed using a pre-trained generative language. This can be done through a model.

일 실시예에서, 상기 미리 학습된 생성형 언어 모델은 명령-일치(instruction-following) 학습 데이터를 학습한 언어 모델일 수 있다.In one embodiment, the pre-trained generative language model may be a language model learned from instruction-following training data.

일 실시예에서, 상기 데이터베이스에는 수학 교과서가 포함될 수 있으며, 상기 튜터링 서비스 제공부는 상기 수학 개념에 대한 설명을 제공하기 위해, 상기 수학 교과서의 개념 설명 단락을 색인(indexing)하고, 상기 학습자의 수학 문제 개념과 관련된 질문에 대응하는 설명을 제시하는 상기 개념 설명 단락을 검색하는 동작을 더 수행할 수 있다.In one embodiment, the database may include a math textbook, and the tutoring service provider indexes concept explanation paragraphs of the math textbook to provide an explanation of the math concept, and the learner's math problem. An operation of searching for the concept description paragraph that presents an explanation corresponding to a question related to the concept may be further performed.

일 실시예에서, 상기 튜터링 서비스 제공부는 심볼릭 검색 알고리즘과 딥러닝 검색 알고리즘을 활용하여 상기 학습자의 수학 문제 개념과 관련된 질문에 대응하는 설명을 제시하는 상기 개념 설명 단락을 1차 검색하고, 후속적으로, 상기 1차 검색된 상기 개념 설명 단락에 대하여, "[CLS] 질문 [SEP(separator token)] 단락" 형태로 해당 단락에 질문의 정답이 포함되어 있을 확률을 계산하여, 가장 높은 확률을 가지는 단락을 상기 수학 개념에 대한 설명으로 선정하는 동작을 더 포함할 수 있다.In one embodiment, the tutoring service provider uses a symbolic search algorithm and a deep learning search algorithm to first search the concept explanation paragraph that presents an explanation corresponding to the question related to the learner's math problem concept, and subsequently , For the concept explanation paragraph searched in the first step, calculate the probability that the paragraph contains the correct answer to the question in the form of "[CLS] question [SEP (separator token)] paragraph", and select the paragraph with the highest probability. An operation of selecting an explanation of the mathematical concept may further be included.

본 개시의 다른 형태에서는, 학습자와의 대화를 통해 수학 문제 풀이 과정을 검사하고, 질문과 답변을 통해 수학 문제 풀이 과정을 지도하는 수학 튜터링 대화 서비스에 적용되는 수학 문제 집합, 수학 문제 풀이 과정 집합, 수학 문제 풀이 히스토리를 저장하는 데이터베이스; 사용자 단말과 통신하여 데이터를 송수신하도록 구성되는 통신 모듈; 상기 데이터베이스 및 상기 통신 모듈을 제어하도록 구성된 튜터링 서비스 제공부를 포함하는 시스템에 의해 수행되는 학습자 맞춤형 수학 튜터링 대화 방법이 제공되며, 이 방법은 상기 튜터링 서비스 제공부에 의해서, 상기 사용자 단말을 통해 상기 수학 튜터링 대화 서비스에 접속한 학습자에게 튜터링 대화를 통해 맞춤형 문제를 선별/제시하는 단계; 상기 튜터링 서비스 제공부에 의해서, 상기 튜터링 대화를 통해 수신한 상기 학습자의 수학 문제 풀이와 관련된 질문을 분석하여 상기 학습자에게 문제 풀이 튜터링 대화를 제공하거나, 또는 상기 튜터링 대화를 통해 수신한 상기 학습자가 작성한 수학 문제 풀이 과정과 답을 분석하여 이것이 올바른 것인지 여부를 평가하거나, 또는 상기 튜터링 대화를 통해 수신한 상기 학습자의 수학 문제 개념과 관련된 질문을 분석하여 학습자의 의도에 매칭되는 수학 개념에 대한 설명을 제공하는 단계; 및 상기 튜터링 서비스 제공부에 의해서, 상기 문제 풀이 튜터링 대화를 제공하는 것, 또는 상기 학습자가 작성한 수학 문제 풀이 과정과 답이 올바른 것인지 평가하는 것, 또는 상기 수학 개념에 대한 설명을 제공하는 것과 관련된 AI 응답을 생성하여, 상기 사용자 단말로 전송하는 단계를 포함한다.In another form of the present disclosure, a mathematical problem set, a mathematical problem solving process set, applied to a mathematics tutoring conversation service that examines the mathematics problem solving process through conversation with the learner and guides the mathematics problem solving process through questions and answers; A database that stores math problem solving history; A communication module configured to communicate with a user terminal to transmit and receive data; A learner-customized math tutoring conversation method is provided, which is performed by a system including a tutoring service provider configured to control the database and the communication module. This method provides the math tutoring conversation method by the tutoring service provider through the user terminal. Selecting/presenting customized problems through tutoring conversations to learners who access the conversation service; The tutoring service provider analyzes questions related to solving math problems of the learner received through the tutoring conversation and provides a problem-solving tutoring conversation to the learner, or provides a problem-solving tutoring conversation received through the tutoring conversation written by the learner. Analyze the math problem solving process and answer to evaluate whether it is correct, or analyze questions related to the learner's math problem concept received through the tutoring conversation and provide an explanation of the math concept that matches the learner's intention. steps; and AI related to providing the problem-solving tutoring conversation by the tutoring service provider, or evaluating whether the math problem-solving process and answers written by the learner are correct, or providing explanations for the math concept. It includes generating a response and transmitting it to the user terminal.

일 실시예에서, 상기 방법은 상기 튜터링 서비스 제공부에 의해서, 미리 학습한 BERT 언어 모델을 활용하여, 상기 튜터링 대화를 통해 수신한 상기 학습자의 수학 문제 풀이와 관련된 질문 또는 응답을 CLS 토큰 출력 값을 기반으로 '튜터링 대화', '풀이 과정 평가', '개념 질의 응답'의 3가지 유형 중 1가지로 분류하는 단계를 더 포함할 수 있다.In one embodiment, the method uses a BERT language model previously learned by the tutoring service provider to convert a question or response related to solving a math problem of the learner received through the tutoring conversation into a CLS token output value. Based on this, it may further include the step of classifying it into one of three types: 'tutoring conversation', 'solution process evaluation', and 'concept question and answer'.

일 실시예에서, 상기 사용자 단말과 상기 튜터링 서비스 제공부 간의 상기 튜터링 대화는 튜터링 대화 프롬프트를 통해 이루어질 수 있다.In one embodiment, the tutoring conversation between the user terminal and the tutoring service provider may be conducted through a tutoring conversation prompt.

일 실시예에서, 상기 수학 문제 풀이 히스토리는 학습자 별 풀은 문제 ID, 학습 시작 시간, 학습 종료 시간, 학습자가 올바르게 문제를 풀었는지 여부 이력, 튜터링 대화 이력을 포함할 수 있다.In one embodiment, the math problem solving history may include a solved problem ID for each learner, a learning start time, a learning end time, a history of whether the learner solved the problem correctly, and a tutoring conversation history.

일 실시예에서, 상기 맞춤형 문제를 선별/제시하는 단계는, 조건 1: 학습자의 수학 문제 풀이 히스토리 중, 동일 난이도의 수학 문제를 연속하여 2개 이상 학습자가 올바르게 풀지 못한 경우, 동일 단원, 개념의 하위 난이도의 수학 문제를 출제하는 것, 조건 2: 학습자의 수학 문제 풀이 히스토리 중, 동일 난이도의 수학 문제를 연속하여 2개 이상 학습자가 올바르게 풀었고, 보다 높은 난이도의 수학 문제가 있을 경우, 동일 단원, 개념의 상위 난이도의 수학 문제를 출제하는 것, 조건 3: 해당 단원의 상위 난이도 수학 문제를 학습자가 5개 이상 올바르게 풀은 경우, 다음 단원의 중간 난이도 수학 문제를 출제하는 것, 조건 4: 위 조건에 부합하지 않는 경우, 마지막 수학 문제와 동일한 단원, 개념, 난이도의 다른 수학 문제를 출제하는 것을 포함할 수 있다.In one embodiment, the step of selecting/presenting the customized problem includes Condition 1: If the learner fails to correctly solve two or more mathematics problems of the same difficulty in a row among the learner's mathematics problem solving history, the problem of the same unit or concept is Asking math problems of low difficulty, condition 2: In the learner's math problem solving history, if the learner has solved two or more math problems of the same difficulty correctly in a row, and there are math problems of higher difficulty, the same unit, To pose a math problem of higher difficulty of the concept, Condition 3: If the learner correctly solves more than 5 math problems of higher difficulty of the unit, to pose a math problem of medium difficulty of the next unit, Condition 4: Above conditions If it does not meet the requirements, this may include posing another math problem with the same unit, concept, and level of difficulty as the last math problem.

일 실시예에서, 상기 데이터베이스에 저장되는 상기 수학 문제 집합은 고유 ID, 문제 텍스트, 이미지, 학년, 단원명, 개념, 난이도 정보 중 하나 이상의 데이터를 포함할 수 있다.In one embodiment, the set of math problems stored in the database may include one or more data of a unique ID, problem text, image, grade, unit name, concept, and difficulty level information.

일 실시예에서, 상기 데이터베이스에 저장되는 상기 수학 풀이 과정 집합 중의 일부는 미리 학습된 수학 문제 풀이 언어 모델을 이용하여 자동으로 생성될 수 있다.In one embodiment, part of the set of mathematical problem solving processes stored in the database may be automatically generated using a pre-learned mathematical problem solving language model.

일 실시예에서, 상기 문제 풀이 튜터링 대화를 제공하는 것, 또는 상기 학습자가 작성한 수학 문제 풀이 과정과 답이 올바른 것인지 평가하는 것, 또는 상기 수학 개념에 대한 설명을 제공하는 것은 미리 학습된 생성형 언어 모델을 통해 이루어질 수 있다.In one embodiment, providing the problem-solving tutoring conversation, evaluating whether the math problem-solving process and answer written by the learner are correct, or providing an explanation of the math concept may be performed using a pre-trained generative language. This can be done through a model.

일 실시예에서, 상기 미리 학습된 생성형 언어 모델은 명령-일치 학습 데이터를 학습한 언어 모델일 수 있다.In one embodiment, the pre-trained generative language model may be a language model learned from command-matching training data.

일 실시예에서, 상기 데이터베이스에는 수학 교과서가 포함될 수 있으며, 상기 방법은 상기 튜터링 서비스 제공부에 의해서, 상기 수학 개념에 대한 설명을 제공하기 위해, 상기 수학 교과서의 개념 설명 단락을 색인하고, 상기 학습자의 수학 문제 개념과 관련된 질문에 대응하는 설명을 제시하는 상기 개념 설명 단락을 검색하는 단계를 더 포함할 수 있다.In one embodiment, the database may include a mathematics textbook, and the method includes indexing, by the tutoring service provider, a concept explanation paragraph of the mathematics textbook to provide an explanation of the mathematics concept, and providing an explanation of the mathematics concept to the learner. The method may further include searching for the concept description paragraph that presents an explanation corresponding to a question related to the mathematical problem concept.

일 실시예에서, 상기 방법은 상기 튜터링 서비스 제공에 의해서, 심볼릭 검색 알고리즘과 딥러닝 검색 알고리즘을 활용하여 상기 학습자의 수학 문제 개념과 관련된 질문에 대응하는 설명을 제시하는 상기 개념 설명 단락을 1차 검색하고, 후속적으로, 상기 1차 검색된 상기 개념 설명 단락에 대하여, "[CLS] 질문 [SEP] 단락" 형태로 해당 단락에 질문의 정답이 포함되어 있을 확률을 계산하여, 가장 높은 확률을 가지는 단락을 상기 수학 개념에 대한 설명으로 선정하는 단계를 더 포함할 수 있다.In one embodiment, the method provides a primary search for the concept explanation paragraph that presents an explanation corresponding to a question related to the learner's math problem concept by utilizing a symbolic search algorithm and a deep learning search algorithm by providing the tutoring service. And subsequently, for the concept explanation paragraph searched first, the probability that the corresponding paragraph contains the correct answer to the question in the form of "[CLS] question [SEP] paragraph" is calculated, and the paragraph with the highest probability is selected. It may further include selecting as an explanation of the mathematical concept.

본 개시에서는 학습자와 대화하며 질문과 답변을 통해 문제 풀이 과정을 가르치는 시스템 및 방법을 제시한다.In this disclosure, we present a system and method for teaching the problem-solving process through questions and answers while interacting with learners.

종래 기술은 학습자가 주어진 문제를 맞혔는지 틀렸는지의 결과에 따라 다음 문제를 제시하는 기술이었으나, 본 개시의 기술은 학습자가 풀은 풀이 과정이 올바른지 여부를 평가하고 학습자의 질문으로부터 학습자가 어느 단계에서 올바른 문제 풀이를 하지 못하였는지를 파악할 수 있어서, 종래 기술보다 더욱 세밀한 맞춤형 학습을 가능하게 하는 효과를 가진다.The conventional technology was a technology that presented the next problem according to the result of whether the learner got the given problem right or wrong, but the technology of the present disclosure evaluates whether the solution process solved by the learner is correct and determines at what stage the learner is correct based on the learner's questions. By being able to determine whether a problem was not solved, it has the effect of enabling more detailed customized learning than conventional techniques.

본 개시는 초거대 언어모델을 튜터링 대화 및 풀이 과정 평가 목적의 명령-일치 학습 데이터로 추가학습하고, 명령-일치 학습 단계와 유사한 프롬프트를 활용하여, 학습자 맞춤형 튜터링 대화 수행 및 풀이 과정 평가를 수행할 수 있다.This disclosure further trains a very large language model with command-matching learning data for the purpose of evaluating the tutoring dialogue and solving process, and uses prompts similar to the command-matching learning step to perform a customized tutoring dialogue and evaluate the solving process. You can.

도 1a 및 도 1b는 본 개시의 일 실시예에 따른 학습자 맞춤형 수학 튜터링 대화 시스템을 설명하기 위한 블록도이다.
도 2a 및 도 2b는 본 개시의 일 실시예에 따른 본 개시에 따른 학습자 맞춤형 수학 튜터링 대화 시스템의 세부 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 학습자 맞춤형 수학 튜터링 대화 시스템에 적용되는 튜터링 대화 모듈을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 학습자 맞춤형 수학 튜터링 대화 시스템에 적용되는 풀이 과정 평가 모듈을 설명하기 위한 블록도이다.
도 5는 본 개시의 일 실시예에 따른 학습자 맞춤형 수학 튜터링 대화 시스템에 적용되는 개념 질의 응답 모듈을 설명하기 위한 블록도이다.
도 6은 본 개시의 다른 실시예에 따른 학습자 맞춤형 수학 튜터링 대화 방법을 설명하기 위한 순서도이다.1A and 1B are block diagrams for explaining a learner-customized math tutoring conversation system according to an embodiment of the present disclosure.
2A and 2B are block diagrams for explaining the detailed configuration of a learner-customized mathematics tutoring conversation system according to an embodiment of the present disclosure.
Figure 3 is a block diagram illustrating a tutoring conversation module applied to a learner-customized math tutoring conversation system according to an embodiment of the present disclosure.
Figure 4 is a block diagram for explaining the solution process evaluation module applied to the learner-customized mathematics tutoring conversation system according to an embodiment of the present disclosure.
Figure 5 is a block diagram illustrating a concept question and answer module applied to a learner-customized math tutoring conversation system according to an embodiment of the present disclosure.
Figure 6 is a flowchart for explaining a learner-customized math tutoring conversation method according to another embodiment of the present disclosure.

아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.Below, with reference to the attached drawings, embodiments of the present disclosure will be described in detail so that those skilled in the art can easily practice them. However, the present disclosure may be implemented in many different forms and is not limited to the embodiments described herein.

그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In order to clearly explain the present disclosure in the drawings, parts that are not related to the description are omitted, and similar parts are given similar reference numerals throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part “includes” a certain element, this means that it may further include other elements rather than excluding other elements, unless specifically stated to the contrary.

본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다.The technology described in this disclosure is not intended to be limited to specific embodiments, but should be understood to include various modifications, equivalents, and/or alternatives to the embodiments of this disclosure.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", 하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것 만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서", "A, B, 및 C를 수행하도록 구성된(또는 설정된) 모듈"은 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다. The expression “configured to” used in the present disclosure may mean, for example, “suitable for,” “having the capacity to,” depending on the situation. It can be used interchangeably with ", designed to", "adapted to", "made to", or "capable of". Term " "Configured (or set to)" may not necessarily mean "specifically designed to" in hardware. Instead, in some situations, the expression "a device configured to" may mean that the device is It can mean "capable of" with a device or parts. For example, the phrases "a processor configured (or set) to perform A, B, and C", "perform A, B, and C". “Module configured (or set) to perform the relevant operations” refers to a dedicated processor (e.g., embedded processor) for performing the relevant operations, or a general-purpose processor (generic-purpose processor) capable of performing the relevant operations by executing one or more software programs stored in a memory device. processor) (e.g. CPU or application processor).

본 개시에 기재된 시스템은 서버 장치와 클라우드 장치 중 적어도 하나의 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 시스템은 하나 이상의 서버 장치로 구성될 수 있다. 다른 예로서, 시스템은 하나 이상의 클라우드 장치로 구성될 수 있다. 또 다른 예로서, 시스템은 서버 장치와 클라우드 장치가 함께 구성되어 동작될 수도 있다.The system described in this disclosure may include at least one of a server device and a cloud device, but is not limited thereto. For example, a system may consist of one or more server devices. As another example, a system may consist of one or more cloud devices. As another example, the system may be operated with a server device and a cloud device configured together.

본 개시에 기재된 인공 신경망(또는 인공 지능 모델)은 프로세서, 데이터베이스, 메모리, 통신 모듈, 서버의 적어도 두개의 조합에 의해 구현될 수 있다. 일 실시예에서, 프로세서는 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 임의의 형태의 프로세서 또는 컨트롤러일 수 있다.The artificial neural network (or artificial intelligence model) described in this disclosure may be implemented by a combination of at least two of a processor, database, memory, communication module, and server. In one embodiment, the processor includes application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), controllers, They may be micro-controllers, microprocessors, or any other type of processor or controller to perform a function.

이하, 도면을 참조하여 본 개시에 따른 학습자 맞춤형 수학 튜터링 대화 시스템 및 방법에 대해 설명한다.Hereinafter, a learner-customized mathematics tutoring conversation system and method according to the present disclosure will be described with reference to the drawings.

[학습자 맞춤형 수학 튜터링 대화 시스템(200)][Learner-customized math tutoring conversation system (200)]

도 1은 본 개시의 일 실시예에 따른 학습자 맞춤형 수학 튜터링 대화 시스템(이하, 간단히 "튜터링 대화 시스템"이라 칭할 경우도 있음)(200)이 사용자 단말(100-1, 100-2, 100-3)과 통신 가능하도록 연결된 구성을 나타내는 개요도이다. 도시된 바와 같이, 사용자 단말(100-1, 100-2, 100-3)은 네트워크(300)를 통해 튜터링 대화 시스템(200)과 연결되어 수학 튜터링 대화 서비스를 제공받을 수 있다.Figure 1 shows a learner-customized mathematics tutoring conversation system (hereinafter, sometimes simply referred to as “tutoring conversation system”) 200 according to an embodiment of the present disclosure, which uses user terminals 100-1, 100-2, and 100-3. ) This is a schematic diagram showing the configuration connected to enable communication with. As shown, the user terminals 100-1, 100-2, and 100-3 are connected to the tutoring conversation system 200 through the network 300 and can receive a math tutoring conversation service.

여기서, 수학 튜터링 대화 서비스란 학습자와의 대화를 통해 문제 풀이 과정을 검사하고, 질문과 답변을 통해 문제 풀이 과정을 지도하는 서비스를 의미한다.Here, the math tutoring conversation service refers to a service that examines the problem-solving process through conversation with the learner and guides the problem-solving process through questions and answers.

여기서, 사용자 단말(100-1, 100-2, 100-3)은 수학 튜터링 대화 서비스에 가입한 학습자의 단말이다.Here, the user terminals 100-1, 100-2, and 100-3 are terminals of learners who have subscribed to the math tutoring conversation service.

일 실시예에서, 튜터링 대화 시스템(200)은 수학 튜터링 대화 서비스 등과 관련된 컴퓨터 실행 가능한 프로그램(예를 들어, 다운로드 가능한 애플리케이션) 및 데이터를 저장, 제공 및 실행할 수 있는 하나 이상의 서버 장치 및/또는 데이터베이스, 또는 클라우드 컴퓨팅 서비스 기반의 하나 이상의 분산 컴퓨팅 장치 및/또는 분산 데이터베이스를 포함할 수 있다.In one embodiment, the tutoring conversation system 200 includes one or more server devices and/or databases capable of storing, providing, and executing computer-executable programs (e.g., downloadable applications) and data related to math tutoring conversation services, etc. Alternatively, it may include one or more distributed computing devices and/or distributed databases based on cloud computing services.

튜터링 대화 시스템(200)에 의해 제공되는 수학 튜터링 대화 서비스는, 사용자 단말(100-1, 100-2, 100-3)의 각각에 설치된 모바일 앱, 웹 브라우저 또는 웹 브라우저 확장 프로그램 등을 통해 사용자에게 제공될 수 있다. 예를 들어, 튜터링 대화 시스템(200)은 모바일 앱 등을 통해 사용자 단말(100-1, 100-2, 100-3)로부터 수신되는 튜터링 요청에 대응하는 정보를 제공하거나 대응하는 처리를 수행할 수 있다.The math tutoring conversation service provided by the tutoring conversation system 200 is provided to the user through a mobile app, web browser, or web browser extension installed on each of the user terminals 100-1, 100-2, and 100-3. can be provided. For example, the tutoring conversation system 200 may provide information or perform processing corresponding to a tutoring request received from the user terminals 100-1, 100-2, and 100-3 through a mobile app, etc. there is.

사용자 단말(100-1, 100-2, 100-3)은 네트워크(300)를 통해 튜터링 대화 시스템(200)과 통신할 수 있다. The user terminals 100-1, 100-2, and 100-3 may communicate with the tutoring conversation system 200 through the network 300.

도면에서는, 휴대폰(100-1), 태블릿(100-2) 및 퍼스널 컴퓨터(100-3)가 사용자 단말의 예로서 도시되었으나, 이에 한정되지 않는다.In the drawings, a mobile phone 100-1, a tablet 100-2, and a personal computer 100-3 are shown as examples of user terminals, but they are not limited thereto.

예를 들어, 사용자 단말(100-1, 100-2, 100-3, 이하 총칭하여 100으로 표기함)은 퍼스널 컴퓨터, 태블릿, 휴대폰, 노트북, 스마트폰 등의 네트워크(300)를 통해 튜터링 대화 시스템(200)과 통신 가능한 임의의 전자 디바이스일 수 있다.For example, user terminals (100-1, 100-2, 100-3, hereinafter collectively referred to as 100) use a tutoring conversation system through a network 300 such as a personal computer, tablet, mobile phone, laptop, or smartphone. It may be any electronic device capable of communicating with 200.

여기서, 네트워크(300)는 모든 통신 방식을 이용하여 설립(또는 형성)된 연결을 의미하며, 단말과 단말간의 또는 단말과 서버간의 데이터를 송수신하는, 모든 통신 방식을 통해 연결된 통신망을 의미할 수 있다.Here, the network 300 refers to a connection established (or formed) using all communication methods, and may refer to a communication network connected through all communication methods that transmits and receives data between terminals and terminals or between terminals and servers. .

모든 통신 방식이라 함은 소정의 통신 규격, 소정의 주파수 대역, 소정의 프로토콜 또는 소정의 채널을 통한 통신 등 모든 통신 방식을 포함할 수 있다. 예를 들면, 본 개시에 적용되는 통신 방식은 근거리 통신, 원거리 통신, 무선 통신 및 유선 통신을 모두 포함할 수 있다.All communication methods may include all communication methods, such as communication through a certain communication standard, a certain frequency band, a certain protocol, or a certain channel. For example, communication methods applied to the present disclosure may include short-range communication, long-distance communication, wireless communication, and wired communication.

도 1b는 본 개시에 따른 튜터링 대화 시스템(200)이 제공하는 튜터링 대화의 일 예를 보여준다.FIG. 1B shows an example of a tutoring conversation provided by the tutoring conversation system 200 according to the present disclosure.

도 1b를 함께 참조하면, 본 개시에 따른 튜터링 대화 시스템(200)은 튜터링 대화를 통해 학습자 수준에 맞는 문제를 출제하고, 튜터링 대화를 통해 학습자가 스스로 풀은 풀이 과정 또는 질문을 입력받고, 튜터링 대화를 통해 풀이 과정을 평가하고, 학습자 질문에 답변하고, 풀이 과정 질문을 통해 수학 문제 풀이를 지도하는 시스템이다.Referring to FIG. 1B together, the tutoring conversation system 200 according to the present disclosure presents problems appropriate to the learner's level through the tutoring conversation, receives the solution process or question that the learner solved on his own through the tutoring conversation, and conducts the tutoring conversation. It is a system that evaluates the solution process, answers learner questions, and guides math problem solving through solution process questions.

특히, 본 개시에 따른 튜터링 대화 시스템(200)은 생성형 언어 모델에 의해 제공되는 튜터링 대화를 통해 학습자가 문제 풀이 과정 중에 어느 단계를 해결하지 못하였는지, 잘못 이해하는 개념이 없는지 확인하는 동작을 수행할 수 있으며, 이를 위한 세부 구성은 아래에서, 도 2를 참조하여 상세히 설명될 것이다.In particular, the tutoring conversation system 200 according to the present disclosure performs an operation to check which step the learner failed to solve during the problem-solving process and whether there are any misunderstood concepts through the tutoring conversation provided by the generative language model. This can be done, and the detailed configuration for this will be described in detail below with reference to FIG. 2.

일 실시예에 따르면, 튜터링 대화 시스템(200)은 튜터링 대화를 통해 사용자 단말(100)로부터 (1) 학습자가 미해결한 수학 문제에 관한 질문 정보, (2) 학습자가 작성한 수학 문제 풀이 과정과 답에 관한 정보, (3) 학습자가 이해하지 못한 수학 개념에 관한 질문 정보를 수신할 수 있다.According to one embodiment, the tutoring conversation system 200 receives information from the user terminal 100 through a tutoring conversation: (1) question information about the unsolved mathematics problem by the learner, (2) mathematics problem solving process and answer written by the learner. (3) You can receive question information about math concepts that the learner does not understand.

일 실시예에 따르면, 튜터링 대화 시스템(200)은 튜터링 대화를 통해 복수의 사용자 단말(100)로부터 수신한 (1) 학습자가 미해결한 수학 문제에 관한 질문 정보, (2) 학습자가 작성한 수학 문제 풀이 과정과 답에 관한 정보, (3) 학습자가 이해하지 못한 수학 개념에 관한 질문 정보를 분석하고, 튜터링 대화를 통해 튜터링 응답을 생성할 수 있다.According to one embodiment, the tutoring conversation system 200 receives (1) question information about a math problem unsolved by the learner, (2) a solution to a math problem written by the learner received from a plurality of user terminals 100 through a tutoring conversation. Information about the process and answers, (3) question information about mathematical concepts that the learner did not understand can be analyzed, and tutoring responses can be generated through tutoring conversations.

일 실시예에 따르면, 튜터링 대화 시스템(200)에 의해 생성되는 튜터링 응답은 생성형 언어 모델을 통해 이루어질 수 있다.According to one embodiment, the tutoring response generated by the tutoring conversation system 200 may be made through a generative language model.

일 실시예에 따르면, 튜터링 대화 시스템(200)에 적용되는 생성형 언어 모델은 튜터링 대화 명령-일치(instruction-following) 학습 데이터를 학습한 언어 모델일 수 있다.According to one embodiment, the generative language model applied to the tutoring conversation system 200 may be a language model learned from tutoring conversation instruction-following training data.

도 2a는 본 개시의 일 실시예에 따른 튜터링 대화 시스템(200)의 구성을 설명하기 위한 블록도이고, 도 2b는 도 2a의 튜터링 대화 시스템(200)의 각 구성에 대한 하위 구성을 설명하기 위한 도면이다.FIG. 2A is a block diagram for explaining the configuration of the tutoring conversation system 200 according to an embodiment of the present disclosure, and FIG. 2B is a block diagram for explaining the sub-configuration of each configuration of the tutoring conversation system 200 of FIG. 2A. It is a drawing.

도 2a 및 도 2b를 함께 참조하면, 튜터링 대화 시스템(200)은 통신 모듈(210), 데이터베이스(220), 사용자 인터페이스(230) 및 튜터링 서비스 제공부(240)를 포함할 수 있다.Referring to FIGS. 2A and 2B together, the tutoring conversation system 200 may include a communication module 210, a database 220, a user interface 230, and a tutoring service provider 240.

통신 모듈(210)은 외부 장치, 예를 들면, 사용자 단말(100)과의 통신을 위한 모듈을 포함한다. 통신 모듈(210)은 튜터링 대화 시스템(200)이 외부 기기와 통신하여 정보를 수신하도록 구성된다. 통신 모듈(210)의 통신 방식은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등), WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), 5G 등에 따라 구축된 네트워크를 이용할 수 있으나, 이에 한정하는 것은 아니며 향후 개발될 모든 전송 방식 표준을 포함할 수 있다. 유/무선을 통하여 데이터를 주고받을 수 있는 것을 모두 포함할 수 있다. The communication module 210 includes a module for communication with an external device, for example, the user terminal 100. The communication module 210 is configured to allow the tutoring conversation system 200 to receive information by communicating with an external device. The communication method of the communication module 210 is GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), and LTE (Long Term Evolution). , LTE-A (Long Term Evolution-Advanced), etc.), WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband) ), WiMAX (World Interoperability for Microwave Access), 5G, etc. can be used, but it is not limited to this and can include all transmission method standards that will be developed in the future. It can include anything that can send and receive data via wired/wireless.

튜터링 대화 시스템(200)은 통신 모듈(210)을 통해 사용자 단말(100)과 데이터를 주고 받을 수 있다. 예를 들어, 튜터링 대화 시스템(200)은 수학 튜터링 대화 서비스를 제공하기 위해 통신 모듈(210)을 통해 사용자 단말(100)을 사용하는 학습자와 대화를 수행할 수 있다.The tutoring conversation system 200 can exchange data with the user terminal 100 through the communication module 210. For example, the tutoring conversation system 200 may conduct a conversation with a learner using the user terminal 100 through the communication module 210 to provide a math tutoring conversation service.

데이터베이스(220)는 수학 튜터링 대화 서비스에 적용되는 문제 집합(221), 풀이 과정 집합(222), 문제 풀이 히스토리(223)를 저장할 수 있다. The database 220 may store a problem set 221, a solution process set 222, and a problem solving history 223 applied to the math tutoring conversation service.

문제 집합(221)은 수학 튜터링 대화 서비스에 적용하기 위해 수집된 수학 문제들의 모음이다.The problem set 221 is a collection of mathematical problems collected to be applied to the mathematics tutoring conversation service.

일 실시예에 따르면, 문제 집합(221)은 수학 튜터링 대화 서비스를 위해 미리 구축되어 데이터베이스(220)에 저장될 수 있다.According to one embodiment, the problem set 221 may be built in advance for a math tutoring conversation service and stored in the database 220.

예를 들어, 문제 집합(221)은 고유 ID, 문제 텍스트, 이미지(옵션), 학년, 단원명, 개념, 난이도 정보를 포함할 수 있다.For example, the problem set 221 may include a unique ID, problem text, image (optional), grade, unit name, concept, and difficulty level information.

풀이 과정 집합(222)은 문제 집합(221)의 풀이 과정들의 모음이다.The solution process set 222 is a collection of solution processes for the problem set 221.

일 실시예에 따르면, 풀이 과정 집합(222)은 문제 집합(221)의 구축 시에 같이 구축될 수 있다.According to one embodiment, the solution process set 222 may be constructed together with the problem set 221.

일 예에서, 풀이 과정 집합(222)은 수학 문제 풀이 언어 모델을 이용하여 자동으로 생성되는 풀이 과정을 포함할 수 있다. 예를 들어, 튜터링 대화 시스템(200)은 문제 집합(221) 중의 풀이 과정 없이 문제만 있는 데이터를 식별한 경우, 수학 문제 풀이 언어 모델을 이용하여 풀이 과정을 자동 생성한 후 풀이 과정 집합(222) 내에 포함시킬 수 있다.In one example, the solution process set 222 may include a solution process that is automatically generated using a mathematical problem solving language model. For example, when the tutoring conversation system 200 identifies data that contains only problems without a solution process in the problem set 221, it automatically generates a solution process using a mathematical problem solving language model and then creates a solution process set 222. It can be included within.

문제 풀이 히스토리(223)는 수학 튜터링 대화 서비스에 가입된 학습자의 문제 풀이 이력들의 모음이다.Problem solving history 223 is a collection of problem solving histories of learners who subscribe to the math tutoring conversation service.

예를 들어, 문제 풀이 히스토리(223)는 학습자 별 풀은 문제 ID, 학습 시작 시간, 학습 종료 시간, 학습자가 직접 올바르게 문제를 풀었는지 여부, 튜터링 대화 이력을 포함할 수 있다.For example, the problem solving history 223 may include the solved problem ID for each learner, learning start time, learning end time, whether the learner solved the problem correctly, and tutoring conversation history.

사용자 인터페이스(230)는 튜터링 대화 시스템(200)의 관리자의 입력을 수신하고 학습자로부터 송신되는 정보를 디스플레이하도록 구성된다. 예를 들어, 사용자 인터페이스(230)는 튜터링 대화 시스템(200)과 연결되거나 튜터링 대화 시스템(200)이 포함할 수 있는 입/출력용 장치(미도시)와의 인터페이스를 위한 수단일 수도 있다.The user interface 230 is configured to receive input from an administrator of the tutoring conversation system 200 and display information transmitted from the learner. For example, the user interface 230 may be connected to the tutoring conversation system 200 or may be a means for interfacing with an input/output device (not shown) that the tutoring conversation system 200 may include.

튜터링 서비스 제공부(240)는 튜터링 대화를 통해 학습자에게 맞춤형 문제를 선별/제시하고, 튜터링 대화를 통해 복수의 사용자 단말(100)로부터 수신한 (1) 학습자가 미해결한 수학 문제에 관한 질문 정보, (2) 학습자가 작성한 수학 문제 풀이 과정과 답에 관한 정보, (3) 학습자가 이해하지 못한 수학 개념에 관한 질문 정보를 분석하고, 분석된 내용에 매칭되는 튜터링 응답을 생성하도록 구성된다.The tutoring service provider 240 selects/presents customized problems to the learner through the tutoring conversation, and receives (1) question information about the math problem unsolved by the learner from the plurality of user terminals 100 through the tutoring conversation; It is configured to analyze (2) information about the math problem solving process and answers written by the learner, (3) question information about math concepts that the learner did not understand, and generate a tutoring response that matches the analyzed content.

바람직한 실시예에 따라, 튜터링 서비스 제공부(240)는 맞춤형 문제 선별/제시 모듈(241), 학습자 응답 분석 모듈(242), 및 AI 응답 생성 모듈(243)을 포함할 수 있다.According to a preferred embodiment, the tutoring service provider 240 may include a customized problem selection/presentation module 241, a learner response analysis module 242, and an AI response generation module 243.

맞춤형 문제 선별/제시 모듈(241)은 데이터베이스(220)의 문제 풀이 히스토리(223)에 저장된 정보를 판독한 후, 학습자의 기존 문제 풀이 히스토리 정보를 기반으로 아래의 알고리즘을 통해 문제를 선별, 제시하는 동작을 수행한다.The customized problem selection/presentation module 241 reads the information stored in the problem solving history 223 of the database 220 and then selects and presents problems through the algorithm below based on the learner's existing problem solving history information. Perform the action.

<< 문제 선별/제시 알고리즘 >><< Problem selection/presentation algorithm >>

학습자 응답 분석 모듈(242)은 튜터링 대화를 통해 학습자의 문제 풀이와 관련된 질문을 분석하여 학습자에게 문제 풀이 튜터링 대화를 제공하거나, 또는 학습자가 작성한 문제 풀이 과정과 답을 분석하여 이것이 올바른 것인지 여부를 평가하거나, 또는 학습자의 문제 개념과 관련된 질문을 분석하여 학습자의 의도에 매칭되는 개념에 대한 설명을 제공할 수 있다.The learner response analysis module 242 analyzes questions related to the learner's problem solving through a tutoring conversation and provides a problem-solving tutoring conversation to the learner, or analyzes the problem solving process and answers written by the learner to evaluate whether it is correct. Alternatively, questions related to the learner's problem concept can be analyzed to provide an explanation of the concept that matches the learner's intention.

바람직한 실시예에 따라, 학습자 응답 분석 모듈(242)은 BERT 언어 모델 기반 분류 기술을 활용하여 구성될 수 있다.According to a preferred embodiment, the learner response analysis module 242 may be configured utilizing BERT language model-based classification technology.

예를 들어, 학습자 응답 분석 모듈(242)은 미리 학습한 BERT 언어 모델을 활용하여, 튜터링 대화를 통해 수신되는 학습자의 수학 문제 풀이 관련 응답을 분석함으로써, 사용자의 수학 문제 풀이 관련 응답을 CLS(Special Classification token) 토큰 출력 값을 기반으로 '튜터링 대화', '풀이 과정 평가', '개념 질의 응답', 3가지 유형 중 1가지로 분류하고, 해당 세부 모듈(242a 내지 242c)을 구동한다.For example, the learner response analysis module 242 utilizes a pre-trained BERT language model to analyze the learner's responses related to solving math problems received through tutoring conversations, and converts the user's responses related to solving math problems into CLS (Special) Classification token) Based on the token output value, it is classified into one of three types: 'tutoring conversation', 'solution process evaluation', and 'concept question answer', and the corresponding detailed modules (242a to 242c) are driven.

이를 위해, 학습자 응답 분석 모듈(242)은 튜터링 대화 모듈(242a), 풀이 과정 평가 모듈(242b), 개념 질의 응답 모듈(242c)를 포함할 수 있다.To this end, the learner response analysis module 242 may include a tutoring conversation module 242a, a solution process evaluation module 242b, and a concept question answering module 242c.

[튜터링 대화 모듈(242a)][Tutoring conversation module (242a)]

도 3은 학습자 응답 분석 모듈(242)의 일 구성인 튜터링 대화 모듈(242a)의 구성도를 도시한 것이다.Figure 3 shows a configuration diagram of the tutoring conversation module 242a, which is a component of the learner response analysis module 242.

도 3을 참조하면, 튜터링 대화 모듈(242a)은 사용자 단말(100)을 사용하는 학습자에게 튜터링 대화를 제공하기 위해 학습자 질문, 학습자 응답, 정답 풀이 과정, 기존 대화를 입력 정보로서 활용한다.Referring to FIG. 3, the tutoring conversation module 242a uses learner questions, learner responses, answer solving process, and existing conversations as input information to provide a tutoring conversation to learners using the user terminal 100.

바람직한 실시예에 따라, 튜터링 대화 모듈(242a)은 튜터링 대화 프롬프트(244)와 튜터링 대화 데이터가 학습된 생성형 언어 모델(245)을 사용하여, 학습자의 질문 및/또는 학습자 응답을 수신하고, 이에 대한 분석을 수행하여, 튜터링 응답을 생성하도록 구성된다.According to a preferred embodiment, the tutoring conversation module 242a uses the tutoring conversation prompts 244 and the generative language model 245 on which the tutoring conversation data has been learned to receive learner questions and/or learner responses, and It is configured to perform analysis and generate a tutoring response.

예를 들어, 튜터링 대화 모듈(242a)은 튜터링 대화 프롬프트(244)를 사용하여, 사용자 단말(100)로부터 학습자의 문제 풀이와 관련된 질문, 또는 학습자가 작성한 문제 풀이 과정과 답, 또는 학습자의 문제 개념과 관련된 질문을 수신하는 동작을 수행할 수 있다.For example, the tutoring conversation module 242a uses the tutoring conversation prompt 244 to send questions related to the learner's problem solving from the user terminal 100, the problem solving process and answer written by the learner, or the learner's problem concept. You can perform an operation to receive questions related to .

예를 들어, 튜터링 대화 모듈(242a)은 튜터링 대화 프롬프트(244)와 튜터링 대화 데이터가 학습된 생성형 언어 모델(245)을 사용하여, 학습자의 질문 및/또는 학습자 응답에 대한 분석을 수행하여, 튜터링 응답을 생성할 수 있다.For example, the tutoring conversation module 242a uses the tutoring conversation prompt 244 and the generative language model 245 on which the tutoring conversation data was learned to perform analysis on the learner's questions and/or learner responses, Tutoring responses can be generated.

예를 들어, 해당 문제에 대한 정답 풀이 과정이 복수 개일 경우, 튜터링 대화 모듈(242a)은 대표 풀이 과정을 입력 정보로서 활용할 수 있다.For example, if there are multiple correct answer solutions to the problem, the tutoring conversation module 242a can use the representative solution process as input information.

바람직한 실시예에 따라, 튜터링 대화 모듈(242a)을 구성하는 튜터링 대화 데이터가 학습된 생성형 언어 모델(245)로서 튜터링 대화 명령-일치(instruction-following) 학습 데이터를 학습한 언어 모델을 적용할 수 있다.According to a preferred embodiment, the language model learned from the tutoring conversation instruction-following training data can be applied as the generative language model 245 from which the tutoring conversation data constituting the tutoring conversation module 242a has been learned. there is.

예를 들어, 튜터링 대화 모듈(242a)을 구성하는 생성형 언어 모델(245)의 학습에 적용되는 튜터링 대화 명령-일치 학습 데이터는 인간이 생성한 지시나 명령에 관한 정보(이 지시나 명령은 주로 자연어 문장으로 표현되며, 모델이 따를 동작을 설명함); 각 지시 또는 명령에 따라 실행될 것으로 기대되는 동작에 관한 정보; 각 지시 또는 명령과 관련된 상황 또는 문맥에 관한 정보; 모델이 명령 또는 지시를 올바르게 따랐는지 평가하기 위한 정답 레이블을 포함하여 구성될 수 있다.For example, the tutoring conversation command-matching learning data applied to the learning of the generative language model 245 constituting the tutoring conversation module 242a is information about human-generated instructions or commands (these instructions or commands are mainly expressed as a natural language sentence, describing the actions the model will follow); Information regarding the actions expected to be performed in accordance with each instruction or command; Information about the situation or context associated with each instruction or order; It can be configured to include a correct answer label to evaluate whether the model followed the command or instructions correctly.

다음은 튜터링 대화 명령-일치 학습 데이터의 일 예를 나타낸 것이다.The following shows an example of tutoring conversation command-matching learning data.

상기 입력 데이터와 생성형 언어 모델(구체적으로는, 튜터링 대화 명령-일치 학습 데이터를 이용하여 학습한 모델)을 이용하여 튜터링 대화 모듈(242a)은 아래 프롬프트를 활용하여 튜터링 대화를 수행할 수 있다. 또한, 각 턴의 대화 결과는 AI 응답 생성 모듈(243)로 전달되어, 학습자에게 전송된다.Using the input data and the generative language model (specifically, a model learned using tutoring conversation command-matching training data), the tutoring conversation module 242a can perform a tutoring conversation using the prompt below. Additionally, the conversation results of each turn are delivered to the AI response generation module 243 and transmitted to the learner.

참고로, 아래의 대화는 튜터링 대화 명령-일치 학습 데이터로 학습을 수행하지 않은 생성형 언어 모델의 대화 예이다. 이 대화에서는, 문제의 힌트 질문 이후에 바로 최종 정답을 물어보고 있으므로, 학습자에게 적절한 튜터링 대화를 제공하는 것으로 볼 수 없다.For reference, the conversation below is an example of a conversation from a generative language model that did not learn with the tutoring conversation command-matching training data. In this conversation, since the final correct answer is asked immediately after the hint question of the problem, it cannot be seen as providing an appropriate tutoring conversation to the learner.

[풀이 과정 평가 모듈(242b)][Solving process evaluation module (242b)]

도 4는 학습자 응답 분석 모듈(242)의 일 구성인 풀이 과정 평가 모듈(242b)의 구성도를 도시한 것이다.Figure 4 shows a configuration diagram of the solution process evaluation module 242b, which is a component of the learner response analysis module 242.

도 4를 참조하면, 풀이 과정 평가 모듈(242b)은 사용자 단말(100)로부터 수신한 학습자 풀이 과정이 올바른지 평가하기 위해 학습자 질문, 학습자 풀이 과정, 정답 풀이 과정(220)을 입력 정보로서 활용한다.Referring to FIG. 4, the solution process evaluation module 242b uses the learner question, the learner solution process, and the correct answer solution process 220 as input information to evaluate whether the learner solution process received from the user terminal 100 is correct.

바람직한 실시예에 따라, 풀이 과정 평가 모듈(242b)은 풀이 과정 평가 프롬프트(244)와 풀이 과정 평가 데이터가 학습된 생성형 언어 모델(245)을 사용하여, 학습자의 풀이 과정을 수신하고, 이에 대한 분석을 수행하여, 평가 결과를 생성한다.According to a preferred embodiment, the solution evaluation module 242b receives the learner's solution process using the solution evaluation prompt 244 and the generative language model 245 on which the solution evaluation data has been learned, and provides information about the solution process. Perform analysis and generate evaluation results.

예를 들어, 풀이 과정 평가 모듈(242b)은 풀이 과정 평가 프롬프트(244)를 사용하여, 사용자 단말(100)로부터 학습자 풀이 과정을 수신하는 동작을 수행할 수 있다.For example, the solving process evaluation module 242b may use the solving process evaluation prompt 244 to receive a learner solving process from the user terminal 100.

바람직한 실시예에 따라, 해당 문제에 대한 정답 풀이 과정이 복수 개일 경우, 풀이 과정 평가 모듈(242b)은 각각의 풀이 과정에 대해 아래의 단계를 반복함으로써 다수결(majority voting)을 통해 평가 결과를 생성할 수 있다.According to a preferred embodiment, when there are multiple correct solution processes for the problem, the solution process evaluation module 242b repeats the steps below for each solution process to generate evaluation results through majority voting. You can.

바람직한 실시예에 따라, 풀이 과정 평가 모듈(242b)을 구성하는 풀이 과정 평가 데이터가 학습된 생성형 언어 모델(245)로서 풀이 과정 명령-일치(instruction-following) 학습 데이터를 학습한 언어 모델을 적용할 수 있다.According to a preferred embodiment, a language model learned from the solution process instruction-following learning data is applied as a generative language model 245 in which the solution process evaluation data constituting the solution process evaluation module 242b is learned. can do.

예를 들어, 풀이 과정 평가 모듈(242b)을 구성하는 생성형 언어 모델(245)의 학습에 적용되는 풀이 과정 명령-일치 학습 데이터는 인간이 생성한 지시나 명령에 관한 정보(이 지시나 명령은 주로 자연어 문장으로 표현되며, 모델이 따를 동작을 설명함); 각 지시 또는 명령에 따라 실행될 것으로 기대되는 동작에 관한 정보; 각 지시 또는 명령과 관련된 상황 또는 문맥에 관한 정보; 모델이 명령 또는 지시를 올바르게 따랐는지 평가하기 위한 정답 레이블을 포함하여 구성될 수 있다.For example, the solution process instruction-matching learning data applied to the learning of the generative language model 245 constituting the solution evaluation module 242b is information about a human-generated instruction or command (this instruction or command is Mainly expressed as natural language sentences, describing the actions the model will follow); Information regarding the actions expected to be performed in accordance with each instruction or command; Information about the situation or context associated with each instruction or command; It can be configured to include a correct answer label to evaluate whether the model followed the command or instructions correctly.

다음은 풀이 과정 평가 명령-일치 학습 데이터의 일 예를 나타낸 것이다.The following shows an example of solution process evaluation command-matching learning data.

상기 입력 데이터와 생성형 언어 모델(구체적으로는, 풀이 과정 평가 명령-일치 학습 데이터를 이용하여 학습한 모델)을 이용한 풀이 과정 평가 방법은 아래 프롬프트를 활용하여 평가를 수행한다. 또한, 평가 결과는 AI 응답 생성 모듈(243)로 전달되어 학습자에게 전송된다.The solution process evaluation method using the input data and the generative language model (specifically, a model learned using the solution process evaluation command-matching training data) performs evaluation using the prompt below. Additionally, the evaluation results are delivered to the AI response generation module 243 and transmitted to the learner.

[개념 질의 응답 모듈(242c)][Conceptual Questions and Answers Module (242c)]

도 5는 학습자 응답 분석 모듈(242)의 일 구성인 개념 질의 응답 모듈(242c)의 구성도를 도시한 것이다.Figure 5 shows a configuration diagram of the concept question answering module 242c, which is a component of the learner response analysis module 242.

도 5를 참조하면, 개념 질의 응답 모듈(242c)은 사용자 단말(100)로부터 수신한 학습자의 개념 질문에 정확히 매칭되는 개념을 생성하기 위해 수학 교과서의 개념 설명 단락을 색인(indexing)하고, 학습자의 질문에 대응하는 설명을 제시하는 단락을 검색하는 동작을 수행한다.Referring to FIG. 5, the concept question answering module 242c indexes the concept explanation paragraph of the mathematics textbook to generate a concept that exactly matches the learner's concept question received from the user terminal 100, and provides the learner's An operation is performed to search for a paragraph that presents an explanation corresponding to the question.

바람직한 실시예에 따라, 개념 질의 응답 모듈(242c)은 개념 검색 알고리즘(246)과 개념 설명 데이터가 학습된 생성형 언어 모델(245)을 사용하여, 학습자의 질문에 정확히 매칭되는 개념을 생성할 수 있다.According to a preferred embodiment, the concept question answering module 242c can use a concept search algorithm 246 and a generative language model 245 on which concept description data has been learned to generate concepts that exactly match the learner's question. there is.

예를 들어, 개념 검색 알고리즘(246)은 심볼릭 검색 알고리즘(예: BM25)과 딥러닝 검색 알고리즘(예: DPR(Dense Passage Retrieval))을 활용하여 1차 검색하고, 이후 1차 검색 단락에 대해서 "[CLS] 질문 [SEP] 단락" 형태로 BERT 언어 모델을 활용하여 해당 단락에 질문의 정답이 포함되어 있을 확률을 계산하여, 가장 높은 확률을 가지는 단락을 개념 단락으로 선정한다.For example, the concept search algorithm 246 performs a primary search using a symbolic search algorithm (eg, BM25) and a deep learning search algorithm (eg, DPR (Dense Passage Retrieval)), and then performs a primary search for the primary search paragraph. Using the BERT language model in the form of “[CLS] question [SEP] paragraph”, the probability that the paragraph contains the correct answer to the question is calculated, and the paragraph with the highest probability is selected as the concept paragraph.

선정된 개념 단락은 학습자의 질문 이외에 다른 개념에 대한 설명까지 포함할 수 있기 때문에, 개념 질의 응답 모듈(242c)은 개념 설명 데이터가 학습된 언어 모델을 활용하여 학습자의 질문에 적합한 내용으로만 답변을 생성한다. 생성된 답변은 AI 응답 생성 모듈(243)로 전달되어, 학습자에게 전송된다.Since the selected concept paragraph may include explanations of other concepts in addition to the learner's question, the concept question and answer module 242c uses a language model with learned concept explanation data to provide answers only with content appropriate for the learner's question. Create. The generated answer is delivered to the AI response generation module 243 and transmitted to the learner.

다음은 개념 질의 응답의 질문, 답변에 대한 일 예를 나타낸 것이다.The following shows an example of questions and answers in concept Q&A.

마지막으로, AI 응답 생성 모듈(243)은 각 세부 모듈(242a 내지 242b)의 출력 결과를 학습자에게 전달하고, 학습자의 문제 풀이가 종료하면 풀이 결과를 문제 풀이 히스토리(223)에 저장하며, 또한 학습자 ID, 문제 ID, 학습 시작 시간, 학습 종료 시간, 학습자가 직접 올바르게 문제를 풀었는지 여부, 튜터링 대화 히스토리도 문제 풀이 히스토리(223)에 저장한다.Finally, the AI response generation module 243 delivers the output results of each detailed module (242a to 242b) to the learner, and when the learner's problem solving is completed, the solution results are stored in the problem solving history 223, and also the learner ID, problem ID, learning start time, learning end time, whether the learner solved the problem correctly, and tutoring conversation history are also stored in the problem solving history (223).

[학습자 맞춤형 수학 튜터링 대화 방법][Learner-customized math tutoring conversation method]

도 6은 본 개시의 일 실시예에 따른 학습자 맞춤형 수학 튜터링 대화 방법을 설명하기 위한 순서도를 도시한 것이다.Figure 6 shows a flowchart for explaining a learner-customized math tutoring conversation method according to an embodiment of the present disclosure.

도 6을 참조하면, S601에서, 튜터링 대화 시스템(200)은 수학 튜터링 대화 서비스를 위한 문제, 풀이 과정을 구축하여, 데이터베이스에 저장할 수 있다.Referring to FIG. 6, in S601, the tutoring conversation system 200 may construct a problem and a solution process for the math tutoring conversation service and store them in a database.

바람직한 실시예에 따라, 튜터링 대화 시스템(200)은 수학 문제 풀이 언어 모델을 이용하여 자동으로 풀이 과정을 생성할 수도 있다.According to a preferred embodiment, the tutoring conversation system 200 may automatically generate a solution process using a mathematical problem solving language model.

예를 들어, 튜터링 대화 시스템(200)은 문제 집합(221) 중의 풀이 과정 없이 문제만 있는 데이터를 식별한 경우, 수학 문제 풀이 언어 모델을 이용하여 풀이 과정을 자동 생성한 후 풀이 과정 집합(222) 내에 포함시킬 수 있다.For example, when the tutoring conversation system 200 identifies data that contains only problems without a solution process in the problem set 221, it automatically generates a solution process using a mathematical problem solving language model and then creates a solution process set 222. It can be included within.

S603에서 튜터링 대화 시스템(200)은 튜터링 대화를 통해 학습자에게 맞춤형 문제를 선별/제시할 수 있다.In S603, the tutoring conversation system 200 can select/present customized problems to the learner through the tutoring conversation.

바람직한 실시예에 따라, 튜터링 대화 시스템(200)은 데이터베이스(220)의 문제 풀이 히스토리(223)에 저장된 정보를 판독한 후, 학습자의 기존 문제 풀이 히스토리 정보를 기반으로 아래의 알고리즘을 통해 문제를 선별, 제시하는 동작을 수행할 수 있다.According to a preferred embodiment, the tutoring conversation system 200 reads the information stored in the problem solving history 223 of the database 220 and then selects problems through the algorithm below based on the learner's existing problem solving history information. , you can perform the suggested actions.

<< 문제 선별/제시 알고리즘 >><< Problem selection/presentation algorithm >>

S605에서 튜터링 대화 시스템(200)은 튜터링 대화를 통해 학습자의 문제 풀이와 관련된 질문을 분석하여 학습자에게 문제 풀이 튜터링 대화를 제공하거나, 또는 학습자가 작성한 문제 풀이 과정과 답을 분석하여 이것이 올바른 것인지 여부를 평가하거나, 또는 학습자의 문제 개념과 관련된 질문을 분석하여 학습자의 의도에 매칭되는 개념에 대한 설명을 제공할 수 있다.In S605, the tutoring conversation system 200 analyzes questions related to the learner's problem solving through the tutoring conversation and provides a problem-solving tutoring conversation to the learner, or analyzes the problem solving process and answer written by the learner to determine whether it is correct. By evaluating or analyzing questions related to the learner's problem concept, an explanation of the concept that matches the learner's intention can be provided.

바람직한 실시예에 따라, 튜터링 대화 시스템(200)은 미리 학습한 BERT 언어 모델을 활용하여, 튜터링 대화를 통해 수신되는 학습자의 수학 문제 풀이 관련 응답을 분석함으로써, 사용자의 수학 문제 풀이 관련 응답을 CLS 토큰 출력 값을 기반으로 '튜터링 대화', '풀이 과정 평가', '개념 질의 응답', 3가지 유형 중 1가지로 분류하고, 해당 세부 모듈(242a 내지 242c)을 구동할 수 있다.According to a preferred embodiment, the tutoring conversation system 200 utilizes a pre-trained BERT language model to analyze the learner's responses related to solving math problems received through the tutoring conversation, and converts the user's responses related to solving math problems into a CLS token. Based on the output value, it can be classified into one of three types: 'tutoring conversation', 'solution process evaluation', and 'concept question and answer', and the corresponding detailed modules (242a to 242c) can be driven.

S605에서 튜터링 대화 시스템(200)은 튜터링 대화, 풀이 과정 평가, 개념 질의 응답 중 하나 이상의 결과 정보에 관한 AI 응답을 생성할 수 있다.In S605, the tutoring conversation system 200 may generate an AI response regarding one or more result information among the tutoring conversation, solution process evaluation, and concept question answering.

바람직한 실시예에 따라, S605에서의 AI 응답은 튜터링 대화 시스템(200)에 적용되는 생성형 언어 모델을 통해 이루어질 수 있다.According to a preferred embodiment, the AI response in S605 may be made through a generative language model applied to the tutoring conversation system 200.

바람직한 실시예에 따라, 튜터링 대화 시스템(200)에 적용되는 생성형 언어 모델은 튜터링 대화 명령-일치(instruction-following) 학습 데이터를 학습한 언어 모델일 수 있다.According to a preferred embodiment, the generative language model applied to the tutoring conversation system 200 may be a language model learned from tutoring conversation instruction-following training data.

도 6에서는 학습자 맞춤형 수학 튜터링 대화 방법의 과정이 순차적으로 실행되는 것으로 기재하고 있으나, 이는 본 개시의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 당업자라면 본 개시의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 1의 시계열적인 순서로 한정되는 것은 아니다.In Figure 6, the process of the learner-customized mathematics tutoring conversation method is described as being sequentially executed, but this is merely an exemplary explanation of the technical idea of an embodiment of the present disclosure. In other words, those skilled in the art will be able to apply various modifications and variations by changing the order shown in FIG. 6 or executing one or more of the processes in parallel without departing from the essential characteristics of the embodiments of the present disclosure. It is not limited to the time series order of Figure 1.

본 명세서에서 설명되는 학습자 맞춤형 수학 튜터링 대화 방법은 디지털 전자 회로, 집적 회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍 가능 시스템상에서 실행 가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍 가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령을 수신하고 이들에게 데이터 및 명령을 전송하도록 결합된 적어도 하나의 프로그래밍 가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍 가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는 기록 매체"에 저장된다.The learner-customized math tutoring conversation method described herein is realized with a digital electronic circuit, an integrated circuit, a field programmable gate array (FPGA), an application specific integrated circuit (ASIC), computer hardware, firmware, software, and/or a combination thereof. It can be. These various implementations may include being implemented as one or more computer programs executable on a programmable system. The programmable system includes at least one programmable processor (which may be a special purpose processor) coupled to receive data and instructions from and transmit data and instructions to a storage system, at least one input device, and at least one output device. or may be a general-purpose processor). Computer programs (also known as programs, software, software applications or code) contain instructions for a programmable processor and are stored on a "computer-readable storage medium."

컴퓨터가 읽을 수 있는　기록 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는　기록 매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비 일시적인(non-transitory) 매체 또는 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한, 컴퓨터가 읽을 수 있는　기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. These computer-readable recording media are non-volatile or non-transitory such as ROM, CD-ROM, magnetic tape, floppy disk, memory card, hard disk, magneto-optical disk, and storage device. It may further include transitory media such as media or data transmission medium. Additionally, the computer-readable recording medium may be distributed in a computer system connected to a network, so that the computer-readable code may be stored and executed in a distributed manner.

본 명세서에 설명되는 방법들의 다양한 구현예들은, 프로그램 가능 컴퓨터에 의하여 구현될 수 있다. 여기서, 컴퓨터는 프로그램 가능 프로세서, 데이터 저장 시스템(휘발성 메모리, 비휘발성 메모리, 또는 다른 종류의 저장 시스템이거나 이들의 조합을 포함함) 및 적어도 한 개의 커뮤니케이션 인터페이스를 포함한다. 예컨대, 프로그램 가능 컴퓨터는 서버, 네트워크 기기, 셋톱박스, 내장형 장치, 컴퓨터 확장 모듈, 개인용 컴퓨터, 랩톱, PDA(Personal Data Assistant), 클라우드 컴퓨팅 시스템 또는 모바일 장치 중 하나일 수 있다.Various implementations of the methods described herein may be implemented by a programmable computer. Here, the computer includes a programmable processor, a data storage system (including volatile memory, non-volatile memory, or another type of storage system, or a combination thereof), and at least one communication interface. For example, a programmable computer may be one of a server, network device, set-top box, embedded device, computer expansion module, personal computer, laptop, personal data assistant (PDA), cloud computing system, or mobile device.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an illustrative explanation of the technical idea of the present embodiment, and those skilled in the art will be able to make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are not intended to limit the technical idea of the present embodiment, but rather to explain it, and the scope of the technical idea of the present embodiment is not limited by these examples. The scope of protection of this embodiment should be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of rights of this embodiment.

Claims (22)

학습자와의 대화를 통해 수학 문제 풀이 과정을 검사하고, 질문과 답변을 통해 수학 문제 풀이 과정을 지도하는 수학 튜터링 대화 서비스에 적용되는 수학 문제 집합, 수학 문제 풀이 과정 집합, 수학 문제 풀이 히스토리를 저장하는 데이터베이스;
사용자 단말과 통신하여 데이터를 송수신하도록 구성되는 통신 모듈; 및
상기 데이터베이스 및 상기 통신 모듈을 제어하도록 구성된 튜터링 서비스 제공부를 포함하며,
상기 튜터링 서비스 제공부는,
상기 사용자 단말을 통해 상기 수학 튜터링 대화 서비스에 접속한 학습자에게 튜터링 대화를 통해 맞춤형 문제를 선별/제시하는 동작;
상기 튜터링 대화를 통해 수신한 상기 학습자의 수학 문제 풀이와 관련된 질문을 분석하여 상기 학습자에게 문제 풀이 튜터링 대화를 제공하거나, 또는 상기 튜터링 대화를 통해 수신한 상기 학습자가 작성한 수학 문제 풀이 과정과 답을 분석하여 이것이 올바른 것인지 여부를 평가하거나, 또는 상기 튜터링 대화를 통해 수신한 상기 학습자의 수학 문제 개념과 관련된 질문을 분석하여 학습자의 의도에 매칭되는 수학 개념에 대한 설명을 제공하는 동작; 및
상기 문제 풀이 튜터링 대화를 제공하는 것, 또는 상기 학습자가 작성한 수학 문제 풀이 과정과 답이 올바른 것인지 평가하는 것, 또는 상기 수학 개념에 대한 설명을 제공하는 것과 관련된 AI 응답을 생성하여, 상기 사용자 단말로 전송하는 동작을 수행하며,
상기 튜터링 서비스 제공부는,
미리 학습한 BERT 언어 모델을 활용하여, 상기 튜터링 대화를 통해 수신한 상기 학습자의 수학 문제 풀이와 관련된 질문 또는 응답을 CLS(Special Classification token) 토큰 출력 값을 기반으로 '튜터링 대화', '풀이 과정 평가', '개념 질의 응답'의 3가지 유형 중 1가지로 분류하는 동작을 더 수행하는, 학습자 맞춤형 수학 튜터링 대화 시스템.A math problem set, math problem solving process set, and math problem solving history applied to the math tutoring conversation service that examines the math problem solving process through conversation with the learner and guides the math problem solving process through questions and answers. database;
A communication module configured to communicate with a user terminal to transmit and receive data; and
It includes a tutoring service provider configured to control the database and the communication module,
The tutoring service provider,
An operation of selecting/presenting a customized problem through a tutoring conversation to a learner who accesses the math tutoring conversation service through the user terminal;
Analyzing questions related to the learner's math problem solving received through the tutoring conversation and providing a problem-solving tutoring conversation to the learner, or analyzing the math problem solving process and answers written by the learner received through the tutoring conversation evaluating whether this is correct, or providing an explanation of the math concept that matches the learner's intention by analyzing questions related to the learner's math problem concept received through the tutoring conversation; and
Generating an AI response related to providing the problem-solving tutoring conversation, evaluating whether the math problem-solving process and answer written by the learner are correct, or providing an explanation of the math concept, to the user terminal Performs transmission operations,
The tutoring service provider,
Using the pre-learned BERT language model, questions or responses related to the learner's math problem solving received through the tutoring conversation are evaluated as 'tutoring conversation' and 'solving process' based on the CLS (Special Classification token) token output value. ', 'Concept question and answer', a customized math tutoring conversation system that further performs classification operations into one of three types. 삭제delete 제1항에 있어서,
상기 사용자 단말과 상기 튜터링 서비스 제공부 간의 상기 튜터링 대화는 튜터링 대화 프롬프트를 통해 이루어지는, 학습자 맞춤형 수학 튜터링 대화 시스템.According to paragraph 1,
A math tutoring conversation system tailored to learners, wherein the tutoring conversation between the user terminal and the tutoring service provider is performed through a tutoring conversation prompt. 제1항에 있어서,
상기 수학 문제 풀이 히스토리는 학습자 별 풀은 문제 ID, 학습 시작 시간, 학습 종료 시간, 학습자가 올바르게 문제를 풀었는지 여부 이력, 튜터링 대화 이력을 포함하는, 학습자 맞춤형 수학 튜터링 대화 시스템.According to paragraph 1,
The math problem solving history includes the solved problem ID for each learner, learning start time, learning end time, history of whether the learner solved the problem correctly, and tutoring conversation history. A math tutoring conversation system tailored to each learner. 제4항에 있어서,
상기 맞춤형 문제를 선별/제시하는 동작은,
조건 1: 학습자의 수학 문제 풀이 히스토리 중, 동일 난이도의 수학 문제를 연속하여 2개 이상 학습자가 올바르게 풀지 못한 경우, 동일 단원, 개념의 하위 난이도의 수학 문제를 출제하는 것,
조건 2: 학습자의 수학 문제 풀이 히스토리 중, 동일 난이도의 수학 문제를 연속하여 2개 이상 학습자가 올바르게 풀었고, 보다 높은 난이도의 수학 문제가 있을 경우, 동일 단원, 개념의 상위 난이도의 수학 문제를 출제하는 것,
조건 3: 해당 단원의 상위 난이도 수학 문제를 학습자가 5개 이상 올바르게 풀은 경우, 다음 단원의 중간 난이도 수학 문제를 출제하는 것,
조건 4: 위 조건에 부합하지 않는 경우, 마지막 수학 문제와 동일한 단원, 개념, 난이도의 다른 수학 문제를 출제하는 것
을 포함하는, 학습자 맞춤형 수학 튜터링 대화 시스템.According to paragraph 4,
The operation of selecting/presenting the customized problem is,
Condition 1: In the learner's math problem solving history, if the learner fails to correctly solve two or more math problems of the same level of difficulty in a row, math problems of a lower level of difficulty in the same unit or concept will be asked.
Condition 2: Among the learner's math problem solving history, the learner correctly solved two or more math problems of the same difficulty in a row, and if there is a math problem of higher difficulty, the math problem of higher difficulty in the same unit or concept is asked. thing,
Condition 3: If the learner correctly solves more than 5 high-difficulty math problems in the unit, the medium-difficulty math problems in the next unit are given.
Condition 4: If the above conditions are not met, another math problem with the same unit, concept, and level of difficulty as the last math problem is asked.
Including, a customized math tutoring conversation system for learners. 제1항에 있어서,
상기 데이터베이스에 저장되는 상기 수학 문제 집합은 고유 ID, 문제 텍스트, 이미지, 학년, 단원명, 개념, 난이도 정보 중 하나 이상의 데이터를 포함하는, 학습자 맞춤형 수학 튜터링 대화 시스템.According to paragraph 1,
The set of math problems stored in the database includes one or more of the following: unique ID, problem text, image, grade, unit name, concept, and difficulty information. A math tutoring conversation system tailored to learners. 제1항에 있어서,
상기 데이터베이스에 저장되는 상기 수학 문제 풀이 과정 집합 중의 일부는 미리 학습된 수학 문제 풀이 언어 모델을 이용하여 자동으로 생성되는, 학습자 맞춤형 수학 튜터링 대화 시스템.According to paragraph 1,
A learner-customized math tutoring conversation system in which part of the set of math problem-solving processes stored in the database is automatically generated using a pre-learned math problem-solving language model. 제1항에 있어서,
상기 문제 풀이 튜터링 대화를 제공하는 것, 또는 상기 학습자가 작성한 수학 문제 풀이 과정과 답이 올바른 것인지 평가하는 것, 또는 상기 수학 개념에 대한 설명을 제공하는 것은 미리 학습된 생성형 언어 모델을 통해 이루어지는, 학습자 맞춤형 수학 튜터링 대화 시스템.According to paragraph 1,
Providing the problem-solving tutoring conversation, evaluating whether the math problem-solving process and answers written by the learner are correct, or providing explanations for the math concept are performed through a pre-trained generative language model. Learner-customized math tutoring conversation system. 제8항에 있어서,
상기 미리 학습된 생성형 언어 모델은 명령-일치(instruction-following) 학습 데이터를 학습한 언어 모델인, 학습자 맞춤형 수학 튜터링 대화 시스템.According to clause 8,
The pre-trained generative language model is a language model learned from instruction-following learning data, a customized mathematics tutoring dialogue system. 제1항에 있어서,
상기 데이터베이스에는 수학 교과서가 포함될 수 있으며,
상기 튜터링 서비스 제공부는 상기 수학 개념에 대한 설명을 제공하기 위해, 상기 수학 교과서의 개념 설명 단락을 색인(indexing)하고, 상기 학습자의 수학 문제 개념과 관련된 질문에 대응하는 설명을 제시하는 상기 개념 설명 단락을 검색하는 동작을 더 수행하는, 학습자 맞춤형 수학 튜터링 대화 시스템.According to paragraph 1,
The database may include mathematics textbooks,
In order to provide an explanation of the mathematical concept, the tutoring service provider indexes the concept explanation paragraph of the mathematics textbook, and the concept explanation paragraph presents an explanation corresponding to a question related to the learner's mathematics problem concept. A learner-tailored math tutoring conversation system that performs more searching actions. 제10항에 있어서,
상기 튜터링 서비스 제공부는 심볼릭 검색 알고리즘과 딥러닝 검색 알고리즘을 활용하여 상기 학습자의 수학 문제 개념과 관련된 질문에 대응하는 설명을 제시하는 상기 개념 설명 단락을 1차 검색하고, 후속적으로, 상기 1차 검색된 상기 개념 설명 단락에 대하여, "[CLS] 질문 [SEP] 단락" 형태로 해당 단락에 질문의 정답이 포함되어 있을 확률을 계산하여, 가장 높은 확률을 가지는 단락을 상기 수학 개념에 대한 설명으로 선정하는 동작을 더 포함하는, 학습자 맞춤형 수학 튜터링 대화 시스템.According to clause 10,
The tutoring service provider uses a symbolic search algorithm and a deep learning search algorithm to first search the concept explanation paragraph that presents an explanation corresponding to the question related to the learner's math problem concept, and subsequently, the first searched For the concept explanation paragraph, the probability that the paragraph contains the correct answer to the question is calculated in the form of a "[CLS] question [SEP] paragraph", and the paragraph with the highest probability is selected as an explanation of the mathematical concept. A learner-tailored math tutoring conversation system that includes more actions. 학습자와의 대화를 통해 수학 문제 풀이 과정을 검사하고, 질문과 답변을 통해 수학 문제 풀이 과정을 지도하는 수학 튜터링 대화 서비스에 적용되는 수학 문제 집합, 수학 문제 풀이 과정 집합, 수학 문제 풀이 히스토리를 저장하는 데이터베이스; 사용자 단말과 통신하여 데이터를 송수신하도록 구성되는 통신 모듈; 상기 데이터베이스 및 상기 통신 모듈을 제어하도록 구성된 튜터링 서비스 제공부를 포함하는 시스템에 의해 수행되는 학습자 맞춤형 수학 튜터링 대화 방법으로서,
상기 튜터링 서비스 제공부에 의해서, 상기 사용자 단말을 통해 상기 수학 튜터링 대화 서비스에 접속한 학습자에게 튜터링 대화를 통해 맞춤형 문제를 선별/제시하는 단계;
상기 튜터링 서비스 제공부에 의해서, 상기 튜터링 대화를 통해 수신한 상기 학습자의 수학 문제 풀이와 관련된 질문을 분석하여 상기 학습자에게 문제 풀이 튜터링 대화를 제공하거나, 또는 상기 튜터링 대화를 통해 수신한 상기 학습자가 작성한 수학 문제 풀이 과정과 답을 분석하여 이것이 올바른 것인지 여부를 평가하거나, 또는 상기 튜터링 대화를 통해 수신한 상기 학습자의 수학 문제 개념과 관련된 질문을 분석하여 학습자의 의도에 매칭되는 수학 개념에 대한 설명을 제공하는 단계; 및
상기 튜터링 서비스 제공부에 의해서, 상기 문제 풀이 튜터링 대화를 제공하는 것, 또는 상기 학습자가 작성한 수학 문제 풀이 과정과 답이 올바른 것인지 평가하는 것, 또는 상기 수학 개념에 대한 설명을 제공하는 것과 관련된 AI 응답을 생성하여, 상기 사용자 단말로 전송하는 단계를 포함하며,
학습자 맞춤형 수학 튜터링 대화 방법은,
상기 튜터링 서비스 제공부에 의해서, 미리 학습한 BERT 언어 모델을 활용하여, 상기 튜터링 대화를 통해 수신한 상기 학습자의 수학 문제 풀이와 관련된 질문 또는 응답을 "[CLS]" 토큰 출력 값을 기반으로 '튜터링 대화', '풀이 과정 평가', '개념 질의 응답'의 3가지 유형 중 1가지로 분류하는 단계를 더 포함하는, 학습자 맞춤형 수학 튜터링 대화 방법.A math problem set, math problem solving process set, and math problem solving history applied to the math tutoring conversation service that examines the math problem solving process through conversation with the learner and guides the math problem solving process through questions and answers. database; A communication module configured to communicate with a user terminal to transmit and receive data; A learner-customized math tutoring conversation method performed by a system including a tutoring service provider configured to control the database and the communication module,
Selecting/presenting, by the tutoring service provider, a customized problem through a tutoring conversation to a learner who accesses the math tutoring conversation service through the user terminal;
The tutoring service provider analyzes questions related to solving math problems of the learner received through the tutoring conversation and provides a problem-solving tutoring conversation to the learner, or provides a problem-solving tutoring conversation received through the tutoring conversation written by the learner. Analyze the math problem solving process and answer to evaluate whether it is correct, or analyze questions related to the learner's math problem concept received through the tutoring conversation and provide an explanation of the math concept that matches the learner's intention. steps; and
AI response related to providing the problem-solving tutoring conversation by the tutoring service provider, or evaluating whether the math problem-solving process and answers written by the learner are correct, or providing an explanation of the math concept Generating and transmitting to the user terminal,
Learner-customized math tutoring conversation method:
The tutoring service provider uses a pre-learned BERT language model to 'tutor' questions or responses related to the learner's math problem solving received through the tutoring conversation based on the "[CLS]" token output value. A learner-customized math tutoring conversation method that further includes the step of classifying one of three types: 'dialogue', 'solution process evaluation', and 'concept question and answer'. 삭제delete 제12항에 있어서,
상기 사용자 단말과 상기 튜터링 서비스 제공부 간의 상기 튜터링 대화는 튜터링 대화 프롬프트를 통해 이루어지는, 학습자 맞춤형 수학 튜터링 대화 방법.According to clause 12,
A learner-customized math tutoring conversation method in which the tutoring conversation between the user terminal and the tutoring service provider is performed through a tutoring conversation prompt. 제12항에 있어서,
상기 수학 문제 풀이 히스토리는 학습자 별 풀은 문제 ID, 학습 시작 시간, 학습 종료 시간, 학습자가 올바르게 문제를 풀었는지 여부 이력, 튜터링 대화 이력을 포함하는, 학습자 맞춤형 수학 튜터링 대화 방법.According to clause 12,
The math problem solving history includes the solved problem ID for each learner, learning start time, learning end time, history of whether the learner solved the problem correctly, and tutoring conversation history, a customized math tutoring conversation method for each learner. 제12항에 있어서,
상기 맞춤형 문제를 선별/제시하는 단계는,
조건 1: 학습자의 수학 문제 풀이 히스토리 중, 동일 난이도의 수학 문제를 연속하여 2개 이상 학습자가 올바르게 풀지 못한 경우, 동일 단원, 개념의 하위 난이도의 수학 문제를 출제하는 것,
조건 2: 학습자의 수학 문제 풀이 히스토리 중, 동일 난이도의 수학 문제를 연속하여 2개 이상 학습자가 올바르게 풀었고, 보다 높은 난이도의 수학 문제가 있을 경우, 동일 단원, 개념의 상위 난이도의 수학 문제를 출제하는 것,
조건 3: 해당 단원의 상위 난이도 수학 문제를 학습자가 5개 이상 올바르게 풀은 경우, 다음 단원의 중간 난이도 수학 문제를 출제하는 것,
조건 4: 위 조건에 부합하지 않는 경우, 마지막 수학 문제와 동일한 단원, 개념, 난이도의 다른 수학 문제를 출제하는 것
을 포함하는, 학습자 맞춤형 수학 튜터링 대화 방법.According to clause 12,
The step of selecting/presenting the customized problem is,
Condition 1: In the learner's math problem solving history, if the learner fails to correctly solve two or more math problems of the same level of difficulty in a row, math problems of a lower level of difficulty in the same unit or concept will be asked.
Condition 2: Among the learner's math problem solving history, the learner correctly solved two or more math problems of the same difficulty in a row, and if there is a math problem of higher difficulty, the math problem of higher difficulty in the same unit or concept is asked. thing,
Condition 3: If the learner correctly solves more than 5 high-difficulty math problems in the unit, the medium-difficulty math problems in the next unit are given.
Condition 4: If the above conditions are not met, another math problem with the same unit, concept, and level of difficulty as the last math problem is asked.
Including, a learner-customized math tutoring conversation method. 제12항에 있어서,
상기 데이터베이스에 저장되는 상기 수학 문제 집합은 고유 ID, 문제 텍스트, 이미지, 학년, 단원명, 개념, 난이도 정보 중 하나 이상의 데이터를 포함하는, 학습자 맞춤형 수학 튜터링 대화 방법.According to clause 12,
The set of math problems stored in the database includes one or more data of a unique ID, problem text, image, grade, unit name, concept, and difficulty information. A math tutoring conversation method tailored to a learner. 제12항에 있어서,
상기 데이터베이스에 저장되는 상기 수학 문제 풀이 과정 집합 중의 일부는 미리 학습된 수학 문제 풀이 언어 모델을 이용하여 자동으로 생성되는, 학습자 맞춤형 수학 튜터링 대화 방법.According to clause 12,
A learner-customized math tutoring conversation method in which part of the set of math problem-solving processes stored in the database is automatically generated using a pre-learned math problem-solving language model. 제12항에 있어서,
상기 문제 풀이 튜터링 대화를 제공하는 것, 또는 상기 학습자가 작성한 수학 문제 풀이 과정과 답이 올바른 것인지 평가하는 것, 또는 상기 수학 개념에 대한 설명을 제공하는 것은 미리 학습된 생성형 언어 모델을 통해 이루어지는, 학습자 맞춤형 수학 튜터링 대화 방법.According to clause 12,
Providing the problem-solving tutoring conversation, evaluating whether the math problem-solving process and answers written by the learner are correct, or providing explanations for the math concept are performed through a pre-trained generative language model. Learner-customized math tutoring conversation method. 제19항에 있어서,
상기 미리 학습된 생성형 언어 모델은 명령-일치 학습 데이터를 학습한 언어 모델인, 학습자 맞춤형 수학 튜터링 대화 방법.According to clause 19,
The pre-trained generative language model is a language model learned from command-matching learning data. A learner-customized math tutoring conversation method. 제12항에 있어서,
상기 데이터베이스에는 수학 교과서가 포함될 수 있으며,
상기 방법은 상기 튜터링 서비스 제공부에 의해서, 상기 수학 개념에 대한 설명을 제공하기 위해, 상기 수학 교과서의 개념 설명 단락을 색인하고, 상기 학습자의 수학 문제 개념과 관련된 질문에 대응하는 설명을 제시하는 상기 개념 설명 단락을 검색하는 단계를 더 포함하는, 학습자 맞춤형 수학 튜터링 대화 방법.According to clause 12,
The database may include mathematics textbooks,
The method includes indexing, by the tutoring service provider, a concept explanation paragraph of the mathematics textbook to provide an explanation of the mathematics concept, and presenting an explanation corresponding to a question related to the learner's mathematics problem concept. A learner-customized math tutoring conversation method, further comprising the step of searching for a concept explanation paragraph. 제21항에 있어서,
상기 튜터링 서비스 제공에 의해서, 심볼릭 검색 알고리즘과 딥러닝 검색 알고리즘을 활용하여 상기 학습자의 수학 문제 개념과 관련된 질문에 대응하는 설명을 제시하는 상기 개념 설명 단락을 1차 검색하고, 후속적으로, 상기 1차 검색된 상기 개념 설명 단락에 대하여, "[CLS] 질문 [SEP] 단락" 형태로 해당 단락에 질문의 정답이 포함되어 있을 확률을 계산하여, 가장 높은 확률을 가지는 단락을 상기 수학 개념에 대한 설명으로 선정하는 단계를 더 포함하는, 학습자 맞춤형 수학 튜터링 대화 방법.According to clause 21,
By providing the tutoring service, a symbolic search algorithm and a deep learning search algorithm are used to first search the concept explanation paragraph that presents an explanation corresponding to the question related to the learner's math problem concept, and subsequently, the 1 For the second searched concept explanation paragraph, the probability that the paragraph contains the correct answer to the question is calculated in the form of "[CLS] question [SEP] paragraph", and the paragraph with the highest probability is used as an explanation of the mathematical concept. A learner-customized math tutoring conversation method that further includes a selection step.
KR1020230112049A 2023-08-25 2023-08-25 Learner-tailored math tutoring dialogue service system and method KR102655228B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230112049A KR102655228B1 (en) 2023-08-25 2023-08-25 Learner-tailored math tutoring dialogue service system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230112049A KR102655228B1 (en) 2023-08-25 2023-08-25 Learner-tailored math tutoring dialogue service system and method

Publications (1)

Publication Number Publication Date
KR102655228B1 true KR102655228B1 (en) 2024-04-08

Family

ID=90715060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230112049A KR102655228B1 (en) 2023-08-25 2023-08-25 Learner-tailored math tutoring dialogue service system and method

Country Status (1)

Country Link
KR (1) KR102655228B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150071439A (en) * 2013-12-18 2015-06-26 주식회사 아론소프트 The real time/non-real time study system which focuses on problem solving
KR20190074916A (en) * 2017-12-20 2019-06-28 주식회사 순수교육 Method FOR COACHING PERSONALIZED SELF DIRECTED LEARNING BASED ONLINE
KR20200083081A (en) * 2018-12-28 2020-07-08 주식회사 엠티에스컴퍼니 System and Method for providing learning service
KR20210085728A (en) * 2019-12-31 2021-07-08 (주)위드캣 A method and apparatus for question-answering on educational contents in interactive query system
KR102344724B1 (en) * 2021-03-12 2022-01-04 주식회사 노스트라에이아이 Electronic apparatus for managing learning of student based on artificial intelligence, and learning management method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150071439A (en) * 2013-12-18 2015-06-26 주식회사 아론소프트 The real time/non-real time study system which focuses on problem solving
KR20190074916A (en) * 2017-12-20 2019-06-28 주식회사 순수교육 Method FOR COACHING PERSONALIZED SELF DIRECTED LEARNING BASED ONLINE
KR20200083081A (en) * 2018-12-28 2020-07-08 주식회사 엠티에스컴퍼니 System and Method for providing learning service
KR20210085728A (en) * 2019-12-31 2021-07-08 (주)위드캣 A method and apparatus for question-answering on educational contents in interactive query system
KR102344724B1 (en) * 2021-03-12 2022-01-04 주식회사 노스트라에이아이 Electronic apparatus for managing learning of student based on artificial intelligence, and learning management method

Similar Documents

Publication Publication Date Title
US11217110B2 (en) Personalized learning system and method for the automated generation of structured learning assets based on user data
US11030913B2 (en) Intelligent and contextual system for knowledge progression and quiz management
KR102013955B1 (en) Smart education system for software expert practical affairs education and estimation and method thereof
US11120701B2 (en) Adaptive presentation of educational content via templates
CN112052828B (en) Learning ability determining method, learning ability determining device and storage medium
CN106202453A (en) A kind of multimedia resource recommends method and apparatus
US20200134449A1 (en) Training of machine reading and comprehension systems
US10354543B2 (en) Implementing assessments by correlating browsing patterns
CN108961888B (en) Personalized reconstruction knowledge system learning system and method
US11928984B2 (en) Intelligent and contextual system for test management
KR20170026731A (en) Method for providing customized learning solution
KR102655228B1 (en) Learner-tailored math tutoring dialogue service system and method
KR20200004708A (en) Apparatus and method of providing intelligent e-learning service
CN111611378A (en) Behavior training dialogue control method, behavior training dialogue control system, storage medium, program, and terminal
Kaviya et al. Artificial intelligence based farmer assistant chatbot
US11605307B2 (en) Assessing student understanding
CN112785039B (en) Prediction method and related device for answer score rate of test questions
KR20160099147A (en) System and method for training thinking faculty of methematics
US10453354B2 (en) Automatically generated flash cards
Zatarain-Cabada et al. A Kohonen network for modeling students’ learning styles in web 2.0 collaborative learning systems
KR20140051607A (en) Apparatus providing analysis information based on level of a student and method thereof
Chaichumpa et al. Multi-agents platform for mobile learning using objective distance based personalisation method
KR102671569B1 (en) Method for providing training content based on ai management provider
CN117473963B (en) Teaching text knowledge labeling method and system for intelligent education
KR102601362B1 (en) Method, apparatus and system for evaluating language ability and suggesting learning contents based on vocabulary usage habits

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant