KR102330970B1 - Assessment system and method for education based on artificial intelligence - Google Patents

Assessment system and method for education based on artificial intelligence Download PDF

Info

Publication number
KR102330970B1
KR102330970B1 KR1020200019513A KR20200019513A KR102330970B1 KR 102330970 B1 KR102330970 B1 KR 102330970B1 KR 1020200019513 A KR1020200019513 A KR 1020200019513A KR 20200019513 A KR20200019513 A KR 20200019513A KR 102330970 B1 KR102330970 B1 KR 102330970B1
Authority
KR
South Korea
Prior art keywords
evaluation
data
score
sentence
calculating
Prior art date
Application number
KR1020200019513A
Other languages
Korean (ko)
Other versions
KR20210105044A (en
Inventor
조수행
Original Assignee
연세대학교 원주산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 원주산학협력단 filed Critical 연세대학교 원주산학협력단
Priority to KR1020200019513A priority Critical patent/KR102330970B1/en
Publication of KR20210105044A publication Critical patent/KR20210105044A/en
Application granted granted Critical
Publication of KR102330970B1 publication Critical patent/KR102330970B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

주관식 또는 구술로 이루어진 피교육자의 평가내용을 인공지능을 기반으로 정량적으로 분석 및 평가하여 점수화 할 수 있는 인공지능 기반의 교육평가시스템이 제공된다. 교육평가시스템은 피교육자로부터 제공되는 다양한 형태의 강의평가데이터 중에서 실시간으로 평가점수의 산출이 어려운 주관식이나 구술 형태의 평가데이터를 텍스트 형태의 문장데이터로 재구성하고, 이를 정량 분석 및 평가하여 평가점수를 산출할 수 있다. An artificial intelligence-based education evaluation system is provided that can quantitatively analyze and evaluate the subject's evaluation contents, either subjective or oral, based on artificial intelligence, and then score them. The education evaluation system reconstructs the subjective or oral type of evaluation data, which is difficult to calculate in real time among various types of lecture evaluation data provided by the trainee, into sentence data in text form, and quantitatively analyzes and evaluates it to calculate the evaluation score. can do.

Description

인공지능 기반의 교육평가시스템 및 평가방법{Assessment system and method for education based on artificial intelligence}AI-based education evaluation system and evaluation method {Assessment system and method for education based on artificial intelligence}

본 발명은 교육평가시스템으로, 특히 피교육자가 교육내용에 대하여 서술형이나 구술형으로 작성한 평가내용을 인공지능을 기반으로 정량적으로 분석 및 평가하여 점수화 할 수 있는 인공지능 기반의 교육평가시스템 및 평가방법에 관한 것이다. The present invention relates to an education evaluation system, in particular, an artificial intelligence-based education evaluation system and evaluation method that can quantitatively analyze and evaluate the evaluation contents written by the learner in narrative or oral form based on artificial intelligence and score. it's about

현재, 우리나라의 교육 평가방법은 교육자가 피교육자의 학습 진도, 학습태도, 학업 성취도 등을 평가하여 부모나 보호자에게 통지할 수도 있고 피교육자 자신의 수준을 다른 피교육자와의 수준 차 등을 인터넷 등을 통해 볼 수 있는 정도이다.Currently, the education evaluation method in Korea is that the educator can evaluate the learning progress, learning attitude, and academic achievement of the educator and notify the parents or guardians, and the educator's own level with other educators can be viewed through the Internet, etc. to the extent that it can

그러나 반대로 피교육자가 교육자를 평가한다는 것이 사회적 정서에 맞지 않아 기피되고 있었으며, 이에 교육자 및 상기 교육자에 의한 강의 등의 교육내용에 대한 평가가 요구되고 있다. However, on the contrary, it was avoided because it did not fit the social sentiment that the trainee evaluated the educator, and accordingly, the evaluation of the educational contents such as the lecture by the educator and the educator is required.

최근 들어, 피교육자에 의해 교육자의 교육내용을 평가하고자 하는 교육평가방법이 제안되고 있다. 이러한 교육평가방법은 교육자가 진행하는 강의나 세미나 등의 교육을 수강한 피교육자들이 수강 이후에 평가설문지 등을 작성하여 교육 내용을 평가하고, 평가 결과를 점수화하여 교육자에게 피드백하는 방법으로 이루어지고 있다. Recently, an education evaluation method that aims to evaluate the educational content of an educator by a trainee has been proposed. In this educational evaluation method, the trainees who have attended lectures or seminars conducted by the educator write an evaluation questionnaire after taking the course to evaluate the contents of the education, and score the evaluation results to give feedback to the educator.

그러나, 종래의 교육평가를 위한 평가설문지는 대부분이 객관식 문항들로 이루어져 있으며, 피교육자가 각 객관식 문항에서 선택하는 점수를 기초로 하여 교육자의 교육 내용에 대한 평가가 이루어지고 있다. However, most of the conventional evaluation questionnaires for educational evaluation consist of multiple-choice questions, and evaluation of the educational content of the educator is made based on the score that the trainee selects from each multiple-choice question.

즉, 종래의 교육평가방법에서는 피교육자가 선택하는 평가설문지의 객관식 문항에 대한 점수를 종합하여 교육내용에 대한 평가점수를 산출하고 있어 피교육자의 다양한 평가의견을 반영하지 못하고 있다. That is, in the conventional educational evaluation method, the evaluation score for the educational content is calculated by synthesizing the scores for the multiple-choice questions on the evaluation questionnaire selected by the trainee, and thus the various evaluation opinions of the trainee are not reflected.

더욱이, 평가설문지에 주관식 문항이 존재하여 피교육자가 이에 대한 서술형 답변을 작성하더라도, 종래의 교육평가방법에서는 이를 단순 참고용으로만 사용된 후 폐기되고 있어 피교육자에 의한 교육내용의 평가 및 이로부터 산출되는 평가점수의 다양성 및 신뢰성이 저하되는 문제가 있었다. Moreover, even if there are subjective questions in the evaluation questionnaire and the trainee writes a descriptive answer to it, in the conventional educational evaluation method, it is used only for simple reference and then discarded. There was a problem in that the diversity and reliability of the evaluation scores decreased.

KR 등록특허 제10-1115191호(2012.02.03)KR Registered Patent No. 10-1115191 (2012.02.03)

본 발명은 상술한 문제점을 해결하기 위한 것으로, 피교육자가 교육내용에 대하여 서술형이나 구술형으로 작성한 평가내용을 인공지능을 기반으로 정량적으로 분석 및 평가하여 점수화 할 수 있는 인공지능 기반의 교육평가시스템 및 평가방법을 제공하고자 하는 데 있다. The present invention is to solve the above problems, and an artificial intelligence-based education evaluation system that can quantitatively analyze and evaluate the evaluation content written by the trainee in descriptive or oral form with respect to the educational content based on artificial intelligence and score, and It is intended to provide an evaluation method.

본 발명의 실시예에 따른 교육평가시스템은, 교육자의 교육내용에 대한 피교육자의 평가를 인공지능을 기반으로 분석하여 평가하고, 이로부터 교육내용에 대한 평가점수를 출력한다. The education evaluation system according to an embodiment of the present invention analyzes and evaluates the trainee's evaluation of the educational content of the educator based on artificial intelligence, and outputs an evaluation score for the educational content therefrom.

이를 위한 본 실시예의 교육평가시스템은, 하나 이상의 피교육자 단말로부터 피교육자의 강의평가데이터를 제공받고, 상기 강의평가데이터를 제1평가데이터와 제2평가데이터로 분류하는 분류유닛; 상기 제1평가데이터를 재구성하여 재구성 평가데이터를 출력하는 전처리유닛; 및 상기 재구성 평가데이터를 분석 및 평가하여 제1평가점수를 산출하고, 상기 제2평가데이터로부터 제2평가점수를 산출하며, 상기 제1평가점수와 상기 제2평가점수를 조합하여 상기 강의평가데이터에 대한 최종 평가점수를 산출하는 분석유닛을 포함한다. For this purpose, the education evaluation system of this embodiment includes: a classification unit that receives lecture evaluation data of a trainee from one or more trainee terminals, and classifies the lecture evaluation data into first evaluation data and second evaluation data; a pre-processing unit for reconstructing the first evaluation data and outputting the reconstructed evaluation data; and calculating a first evaluation score by analyzing and evaluating the reconstruction evaluation data, calculating a second evaluation score from the second evaluation data, and combining the first evaluation score and the second evaluation score to obtain the lecture evaluation data and an analysis unit that calculates a final evaluation score for .

본 발명의 실시예에 따른 교육평가방법은, 하나 이상의 피교육자 단말로부터 제공된 피교육자의 강의평가데이터를 제1평가데이터와 제2평가데이터로 분류하는 단계; 상기 제1평가데이터를 재구성하여 재구성 평가데이터를 생성하고, 상기 재구성 평가데이터를 분석 및 평가하여 제1평가점수를 산출하는 단계; 상기 제2평가데이터로부터 제2평가점수를 산출하는 단계; 및 상기 제1평가점수와 상기 제2평가점수로부터 상기 강의평가데이터의 최종 평가점수를 산출하는 단계를 포함한다. An educational evaluation method according to an embodiment of the present invention includes the steps of classifying lecture evaluation data of a trainee provided from one or more trainee terminals into first evaluation data and second evaluation data; generating a reconstructed evaluation data by reconstructing the first evaluation data, and calculating a first evaluation score by analyzing and evaluating the reconstructed evaluation data; calculating a second evaluation score from the second evaluation data; and calculating a final evaluation score of the lecture evaluation data from the first evaluation score and the second evaluation score.

여기서, 상기 제1평가데이터는 주관식 및 구술 중 적어도 하나의 형태의 데이터를 포함하고, 상기 제2평가데이터는 객관식 형태의 데이터를 포함하는 것을 특징으로 한다. Here, the first evaluation data includes data in at least one of subjective and oral, and the second evaluation data includes multiple-choice data.

본 발명에 따른 교육평가시스템 및 평가방법은, 피교육자가 제공하는 객관식, 주관식 및 구술 등의 다양한 강의평가데이터 중에서 실시간으로 평가점수의 산출이 어려운 주관식이나 구술 형태의 평가데이터를 텍스트 형태의 문장데이터로 재구성하고, 이를 정량 분석 및 평가하여 평가점수를 산출할 수 있다. The education evaluation system and evaluation method according to the present invention converts evaluation data of subjective or oral form, which is difficult to calculate in real time among various lecture evaluation data such as multiple choice, subjective and oral, provided by a trainee to sentence data in text form. It can be reconstructed, quantitatively analyzed and evaluated to calculate an evaluation score.

또한, 본 발명은 피교육자가 제공한 객관식 평가데이터에 따른 평가점수와 주관식 및 구술 평가데이터에 따른 평가점수를 조합하여 피교육자가 제공받은 강의나 세미나 등과 같은 교육에 대한 피교육자의 최종 평가점수를 정량적으로 산출할 수 있다. In addition, the present invention quantitatively calculates the final evaluation score of the trainee for education, such as a lecture or seminar, provided by the trainee by combining the evaluation score according to the multiple-choice evaluation data provided by the trainee and the evaluation score according to the subjective and oral evaluation data. can do.

이에, 본 발명은 종래의 평가방법과 대비하여 피교육자가 다양한 형태로 강의평가데이터를 제공하더라도 이에 대한 정량 분석 및 평가를 통한 평가점수의 산출이 가능하여 교육내용 평가의 신뢰성 및 정확성을 높일 수 있다. Accordingly, the present invention can increase the reliability and accuracy of evaluation of educational contents by enabling calculation of evaluation scores through quantitative analysis and evaluation of the lecture evaluation data, even if the trainee provides lecture evaluation data in various forms compared to the conventional evaluation method.

도 1은 본 발명의 교육평가시스템을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 교육평가시스템의 구체적인 구성을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 교육평가방법을 나타내는 도면이다.
도 4는 도 3의 교육평가방법을 구체적으로 나타내는 도면이다.
도 5는 도 4의 가중치 적용의 실시예를 나타내는 도면이다. 1 is a view showing an education evaluation system of the present invention.
2 is a diagram showing a specific configuration of an education evaluation system according to an embodiment of the present invention.
3 is a view showing an education evaluation method according to an embodiment of the present invention.
4 is a diagram specifically illustrating the educational evaluation method of FIG. 3 .
FIG. 5 is a diagram illustrating an embodiment of applying the weights of FIG. 4 .

이하 본 발명의 실시예에 대하여 첨부된 도면을 참고로 그 구성 및 작용을 설명하기로 한다.Hereinafter, the configuration and operation of the embodiment of the present invention will be described with reference to the accompanying drawings.

도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.It should be noted that the same components in the drawings are indicated by the same reference numbers and symbols as much as possible even though they are indicated in different drawings. In the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.

또한 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니 되며, 발명자들은 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있으며 본 발명의 범위가 다음에 기술하는 실시예에 한정되는 것은 아니다.In addition, the terms or words used in the present specification and claims should not be construed in the ordinary and dictionary meaning, and the inventors can properly define the concept of the term to describe their invention in the best way. Based on the principle, it should be interpreted as meaning and concept consistent with the technical idea of the present invention. Accordingly, the embodiments described in this specification and the configurations shown in the drawings are only preferred embodiments of the present invention, and do not represent all of the technical spirit of the present invention, so various equivalents that can be substituted for them at the time of the present application and modifications, and the scope of the present invention is not limited to the embodiments described below.

도 1은 본 발명의 교육평가시스템을 나타내는 도면이다.1 is a view showing an education evaluation system of the present invention.

도 1에 도시된 바와 같이, 본 실시예의 교육평가시스템(100)은 하나 이상의 피교육자로부터 제공되는 다양한 형태의 교육 평가의견, 예컨대 객관식 평가, 주관식 평가 및 구술 평가 등의 다양한 형태의 교육 평가내용을 정량적으로 분석 및 평가하여 교육내용에 대한 피교육자의 평가점수를 산출할 수 있다. 또한, 교육평가시스템(100)은 피교육자의 평가점수 및 그에 따른 교육내용에 대한 평판도를 피교육자, 교육자 및 교육평가를 관리하는 교육관리시스템(30)에 제공할 수 있다. As shown in FIG. 1, the education evaluation system 100 of this embodiment quantitatively evaluates various types of educational evaluation opinions, such as multiple-choice evaluation, subjective evaluation, and oral evaluation, provided by one or more trainees. It is possible to calculate the evaluation score of the trainee for the educational content by analyzing and evaluating it. In addition, the education evaluation system 100 may provide the education management system 30 for managing the trainee, the educator, and the educational evaluation with the trainee's evaluation score and the reputation of the educational content accordingly.

이에, 교육평가시스템(100)은 유/무선 통신망으로 구축된 네트워크(40)를 통해 하나 이상의 피교육자가 소지하고 있는 피교육자 단말(10), 하나 이상의 교육자가 소지하고 있는 교육자 단말(20) 및 교육관리시스템(30)과 접속될 수 있다. Accordingly, the education evaluation system 100 includes the trainee terminal 10 possessed by one or more trainees through the network 40 constructed with a wired/wireless communication network, the educator terminal 20 possessed by one or more educators, and education management It may be connected to the system 30 .

교육자는 네트워크(40)를 통한 온라인 또는 오프라인으로 피교육자에게 소정의 강의를 제공할 수 있다. 피교육자는 교육자로부터 제공된 강의의 수강이 완료된 후 교육자 단말(20) 또는 교육관리시스템(30) 중 적어도 하나로부터 강의 내용에 대한 평가설문지 등을 제공받아 작성함으로써 교육자의 강의 내용, 즉 교육내용에 대하여 평가할 수 있다. The educator may provide a predetermined lecture to the trainee online or offline through the network 40 . After completion of the lecture provided by the educator, the trainee receives and fills out an evaluation questionnaire for lecture content from at least one of the educator terminal 20 or the education management system 30 to evaluate the content of the educator's lecture, that is, the education content. can

이때, 평가설문지는 객관식 평가문항, 주관식 평가문항, 구술 평가문항 등 다양한 형태의 평가문항이 포함될 수 있으며, 피교육자는 자신의 단말(10)을 통해 평가설문지에 대한 객관식, 주관식 및 구술 등의 답변데이터를 작성하여 교육평가시스템(100)에 강의평가데이터로 전송할 수 있다. At this time, the evaluation questionnaire may include various types of evaluation items such as multiple-choice evaluation questions, subjective evaluation questions, and oral evaluation questions, and the trainee uses his/her terminal 10 to answer data such as multiple-choice, subjective, and oral to the evaluation questionnaire. can be written and transmitted as lecture evaluation data to the education evaluation system 100 .

이에, 교육평가시스템(100)은 피교육자 단말(10)에서 전송된 피교육자의 강의평가데이터를 인공지능을 기반으로 하여 정량적으로 분석 및 평가하고, 그 평가결과에 따른 평가점수를 산출하여 피교육자, 교육자 및 교육관리시스템(30)에 제공할 수 있다. Accordingly, the education evaluation system 100 quantitatively analyzes and evaluates the lecture evaluation data of the trainee transmitted from the trainee terminal 10 based on artificial intelligence, and calculates the evaluation score according to the evaluation result to the trainee, the educator and It can be provided to the education management system (30).

여기서, 교육평가시스템(100)은 신경망(Neural Network) 모델이나 신경망 엔진 등의 딥 러닝 또는 기계학습이 가능한 머신러닝(Machine Learning) 등의 인공지능을 기반으로 피교육자의 강의평가데이터를 분석 및 평가할 수 있다. 그러나, 본 발명은 이에 제한되지 않으며, 교육평가시스템(100)은 공지된 다양한 형태의 인공지능 시스템을 기반으로 강의평가데이터를 분석 및 평가할 수도 있다.Here, the education evaluation system 100 analyzes and evaluates the lecture evaluation data of the trainee based on artificial intelligence such as deep learning such as a neural network model or a neural network engine, or machine learning capable of machine learning. have. However, the present invention is not limited thereto, and the education evaluation system 100 may analyze and evaluate lecture evaluation data based on various types of known artificial intelligence systems.

도 2는 본 발명의 실시예에 따른 교육평가시스템의 구체적인 구성을 나타내는 도면이다. 2 is a diagram showing a specific configuration of an education evaluation system according to an embodiment of the present invention.

도 2를 참조하면, 본 실시예의 교육평가시스템(100)은 하나 이상의 피교육자로부터 제공된 다양한 형태의 강의평가데이터를 분석 및 평가하여 교육자에 대한 평가점수를 산출할 수 있다. 이에, 교육평가시스템(100)은 분류유닛(110), 전처리유닛(120) 및 분석유닛(130)을 포함할 수 있다. Referring to FIG. 2 , the education evaluation system 100 of this embodiment may calculate an evaluation score for an educator by analyzing and evaluating various types of lecture evaluation data provided from one or more trainees. Accordingly, the education evaluation system 100 may include a classification unit 110 , a pre-processing unit 120 , and an analysis unit 130 .

분류유닛(110)은 피교육자 단말(10)로부터 전송된 강의평가데이터를 2개의 그룹으로 분류할 수 있다. 이때, 각 그룹에는 서로 다른 종류의 평가데이터가 포함될 수 있다. The classification unit 110 may classify the lecture evaluation data transmitted from the trainee terminal 10 into two groups. In this case, different types of evaluation data may be included in each group.

예컨대, 강의평가데이터는 객관식 형태의 답변데이터, 주관식 형태의 답변데이터 및 구술 형태의 답변데이터가 포함된 데이터일 수 있다. 이에, 분류유닛(110)은 강의평가데이터의 주관식 및 구술 형태의 답변데이터를 제1평가데이터로 분류하고, 강의평가데이터의 객관식 형태의 답변데이터를 제2평가데이터로 분류할 수 있다. For example, the lecture evaluation data may be data including answer data in a multiple-choice format, answer data in a subjective format, and answer data in an oral format. Accordingly, the classification unit 110 may classify the answer data in the subjective and oral form of the lecture evaluation data as the first evaluation data, and classify the answer data in the multiple-choice form of the lecture evaluation data as the second evaluation data.

여기서, 제1평가데이터는 실시간으로 평가점수의 산출이 어려운 데이터이므로, 후술될 전처리유닛(120) 및 분석유닛(130)을 통해 정량 분석 및 평가되는 데이터일 수 있다. 또한, 제2평가데이터는 분석유닛(130)을 통해 실시간으로 평가점수 산출이 가능한 데이터일 수 있다. Here, the first evaluation data may be data that is quantitatively analyzed and evaluated through the pre-processing unit 120 and the analysis unit 130 , which will be described later, since it is difficult to calculate the evaluation score in real time. In addition, the second evaluation data may be data capable of calculating an evaluation score in real time through the analysis unit 130 .

전처리유닛(120)은 분류유닛(110)으로부터 제1평가데이터를 제공받고, 이를 분석유닛(130)에서 분석 및 평가될 수 있는 데이터로 재구성하는 전처리를 수행할 수 있다. 전처리유닛(120)은 문장 추출부(121), 형태소 추출부(122), 유의어 DB(123) 및 문장 재구성부(124)를 포함할 수 있다. The pre-processing unit 120 may perform pre-processing of receiving the first evaluation data from the classification unit 110 , and reconstructing it into data that can be analyzed and evaluated by the analysis unit 130 . The preprocessing unit 120 may include a sentence extraction unit 121 , a morpheme extraction unit 122 , a synonym DB 123 , and a sentence reconstruction unit 124 .

문장 추출부(121)는 제1평가데이터를 문장 단위로 추출하여 하나 이상의 문장데이터를 생성할 수 있다. The sentence extraction unit 121 may generate one or more sentence data by extracting the first evaluation data in units of sentences.

예컨대, 제1평가데이터가 다수의 단어 또는 문장의 조합으로 구성된 주관식 답변데이터인 경우에, 문장 추출부(121)는 상기 주관식 답변데이터를 문장 단위로 분리하여 텍스트(text) 형태의 다수의 문장데이터를 추출할 수 있다. 또한, 제1평가데이터가 다수의 구절 조합의 구술 답변데이터인 경우에, 문장 추출부(121)는 상기 구술 답변데이터를 문장 단위로 분리하여 텍스트 형태의 다수의 문장데이터를 추출할 수 있다. For example, when the first evaluation data is subjective answer data composed of a combination of a plurality of words or sentences, the sentence extracting unit 121 separates the subjective answer data into sentence units, and a plurality of sentence data in the form of text can be extracted. In addition, when the first evaluation data is oral response data of a plurality of phrase combinations, the sentence extraction unit 121 may extract a plurality of sentence data in text form by separating the oral response data into sentence units.

문장 추출부(121)는 제1평가데이터에 포함되어 있는 하나 이상의 쉼표나 마침표 등의 문장부호 또는 서술어구의 존재여부에 따라 이를 기준으로 제1평가데이터를 문장 단위로 분리할 수 있다. 또한, 경우에 따라 문장 추출부(121)는 제1평가데이터를 하나의 문장데이터로 생성하여 출력할 수도 있다. The sentence extraction unit 121 may separate the first evaluation data in sentence units based on the existence of one or more punctuation marks or predicates such as commas or periods included in the first evaluation data. Also, in some cases, the sentence extraction unit 121 may generate and output the first evaluation data as one sentence data.

형태소 추출부(122)는 문장 추출부(121)에서 추출된 문장데이터 각각에서 하나 이상의 형태소, 예컨대 명사, 동사, 부사, 형용사 등의 품사로 이루어진 형태소를 추출할 수 있다. The morpheme extractor 122 may extract one or more morphemes from each of the sentence data extracted by the sentence extractor 121 , for example, a morpheme composed of parts of speech such as nouns, verbs, adverbs, and adjectives.

문장 재구성부(124)는 형태소 추출부(122)에서 추출된 하나 이상의 형태소에 기초하여 기 추출된 문장데이터를 재구성할 수 있다. 문장 재구성부(124)는 재구성된 하나 이상의 문장데이터를 포함하는 평가데이터, 즉 재구성 평가데이터를 출력할 수 있다. The sentence reconstruction unit 124 may reconstruct the previously extracted sentence data based on one or more morphemes extracted by the morpheme extractor 122 . The sentence reconstruction unit 124 may output evaluation data including one or more reconstructed sentence data, that is, the reconstructed evaluation data.

여기서, 문장 재구성부(124)는 유의어 DB(123)를 참조하여 기준 형태소, 예컨대 단어 사전 등에 게시된 형태의 형태소를 포함하는 문장데이터로 재구성할 수 있다.Here, the sentence reconstruction unit 124 may refer to the synonym DB 123 to reconstruct the sentence data including the reference morpheme, for example, a morpheme in a form posted in a word dictionary.

예컨대, 형태소 추출부(122)에서 추출된 형태소 중에는 은어 또는 비속어가 포함될 수 있다. 이러한 은어 또는 비속어는 분석유닛(130)의 분석 및 평가 정확성을 저하시킬 수 있다. 이에, 문장 재구성부(124)는 유의어 DB(123)로부터 은어나 비속어의 형태소와 실질적으로 동일한 의미를 갖는 유의어를 검색하여 추출하고, 추출된 유의어를 기준 형태소로 하여 해당 형태소를 대체함으로써 문장데이터를 재구성할 수 있다. For example, slang or slang words may be included among the morphemes extracted by the morpheme extractor 122 . Such slang or profanity may deteriorate the analysis and evaluation accuracy of the analysis unit 130 . Accordingly, the sentence reconstruction unit 124 searches for and extracts a synonym having substantially the same meaning as a morpheme of a slang or profanity from the synonym DB 123, and uses the extracted synonym as a reference morpheme to replace the corresponding morpheme, thereby converting the sentence data. can be reconstructed.

상술한 문장 재구성부(124)는 컴퓨터 자연어 처리(Natural Language Process; NLP)방법 등을 이용하여 문장데이터를 재구성하고, 이에 따른 재구성 평가데이터를 출력할 수 있다. The above-described sentence reconstruction unit 124 may reconstruct the sentence data using a computer natural language processing (NLP) method or the like, and output the reconstruction evaluation data accordingly.

분석유닛(130)은 분류유닛(110) 및 전처리유닛(120)에서 출력된 평가데이터를 정량적으로 분석 및 평가하여 피교육자의 강의평가데이터에 대응되는 평가점수를 산출하여 출력할 수 있다. 분석유닛(130)은 분류유닛(110)에서 제공되는 제2평가데이터와 전처리유닛(120)에서 제공되는 제1평가데이터의 재구성 평가데이터를 각각 분석 및 평가하여 각 평가데이터에 대응되는 평가점수를 산출할 수 있다. 그리고, 분석유닛(130)은 각 평가데이터의 평가점수를 합산하여 피교육자의 강의평가에 대응되는 최종 평가점수를 산출할 수 있다. 이러한 분석유닛(130)은 제1분석부(131), 제2분석부(133) 및 합산부(135)를 포함할 수 있다. The analysis unit 130 may quantitatively analyze and evaluate the evaluation data output from the classification unit 110 and the pre-processing unit 120 to calculate and output an evaluation score corresponding to the lecture evaluation data of the trainee. The analysis unit 130 analyzes and evaluates the reconstructed evaluation data of the second evaluation data provided from the classification unit 110 and the first evaluation data provided from the preprocessing unit 120, respectively, to obtain an evaluation score corresponding to each evaluation data. can be calculated. Then, the analysis unit 130 may calculate the final evaluation score corresponding to the lecture evaluation of the trainee by summing the evaluation scores of each evaluation data. The analysis unit 130 may include a first analysis unit 131 , a second analysis unit 133 , and a summation unit 135 .

제1분석부(131)는 전처리유닛(120)의 문장 재구성부(124)에서 출력되는 재구성 평가데이터를 분석 및 평가하고, 그 결과에 따른 제1평가점수를 산출할 수 있다. 여기서, 재구성 평가데이터는 분류유닛(110)에서 분류된 제1평가데이터의 하나 이상의 문장데이터가 재구성되어 생성된 평가데이터이다. The first analysis unit 131 may analyze and evaluate the reconstruction evaluation data output from the sentence reconstruction unit 124 of the preprocessing unit 120 , and calculate a first evaluation score according to the result. Here, the reconstruction evaluation data is evaluation data generated by reconstructing one or more sentence data of the first evaluation data classified by the classification unit 110 .

제1분석부(131)는 재구성 평가데이터에 포함된 각 문장데이터의 의미를 분석할 수 있다. 이때, 제1분석부(131)는 각 문장데이터에 대하여 긍정, 중립 및 부정 중 하나의 의미를 분석할 수 있다. The first analysis unit 131 may analyze the meaning of each sentence data included in the reconstruction evaluation data. In this case, the first analysis unit 131 may analyze the meaning of one of positive, neutral, and negative for each sentence data.

이때, 제1분석부(131)는 문장데이터의 의미 분석 결과를 점수화하여 출력할 수도 있다. 예컨대, 제1분석부(131)에서 문장데이터가 긍정의 의미로 분석되는 경우에, 제1분석부(131)는 상기 문장데이터를 기 설정된 최고점수, 예컨대 5점으로 점수화할 수 있다. 반면, 문장데이터가 부정의 의미로 분석되는 경우에, 제1분석부(131)는 상기 문장데이터를 기 설정된 최저점수, 예컨대 0점으로 점수화할 수 있다. In this case, the first analysis unit 131 may score and output the result of semantic analysis of the sentence data. For example, when the sentence data is analyzed as positive by the first analysis unit 131 , the first analysis unit 131 may score the sentence data as a preset highest score, for example, 5 points. On the other hand, when the sentence data is analyzed as a negative meaning, the first analysis unit 131 may score the sentence data as a preset lowest score, for example, 0 points.

또한, 제1분석부(131)는 재구성 평가데이터의 각 문장데이터에 포함된 형태소에 기 설정된 가중치를 부여하고, 부여된 가중치에 따라 각 문장데이터에 대한 평가점수를 산출할 수 있다. In addition, the first analyzer 131 may give a preset weight to a morpheme included in each sentence data of the reconstruction evaluation data, and calculate an evaluation score for each sentence data according to the given weight.

이때, 가중치는 제1분석부(131)에 대한 다수의 학습훈련을 통해 결정되거나 또는 문장데이터에 포함된 형태소의 빈도 수 등의 기준에 따라 부여될 수 있다. In this case, the weight may be determined through a plurality of learning and training for the first analysis unit 131 or may be assigned according to a criterion such as the frequency of morphemes included in the sentence data.

예컨대, 제1분석부(131)는 재구성 평가데이터의 하나의 문장데이터에 대하여 긍정의 의미를 갖는 것으로 분석할 수 있다. 이어, 제1분석부(131)는 상기 하나의 문장데이터 내의 형태소에 기 설정된 가중치를 부여하여 상기 하나의 문장데이터의 평가점수를 산출할 수 있다. 그리고, 제1분석부(131)는 하나의 문장데이터에 대하여 긍정 의미 및 이에 따른 평가점수를 출력할 수 있다. For example, the first analysis unit 131 may analyze one sentence data of the reconstruction evaluation data as having a positive meaning. Next, the first analysis unit 131 may calculate an evaluation score of the one sentence data by giving a preset weight to the morpheme in the one sentence data. And, the first analysis unit 131 may output a positive meaning and an evaluation score corresponding thereto with respect to one sentence data.

한편, 하나의 재구성 평가데이터 내에 다수의 문장데이터가 포함되어 있는 경우에, 제1분석부(131)는 다수의 문장데이터 각각에 대한 의미를 분석하고, 가중치에 따라 각 문장데이터에 대한 평가점수를 산출할 수 있다. 그리고, 제1분석부(131)는 다수의 문장데이터 각각의 의미 및 평가점수를 조합하여 상기 하나의 재구성 평가데이터에 대한 의미 및 평가점수를 산출하여 출력할 수 있다. On the other hand, when a plurality of sentence data is included in one reconstruction evaluation data, the first analysis unit 131 analyzes the meaning of each of the plurality of sentence data, and calculates the evaluation score for each sentence data according to the weight. can be calculated. In addition, the first analysis unit 131 may combine the meaning and evaluation score of each of the plurality of sentence data to calculate and output the meaning and evaluation score for the one reconstructed evaluation data.

이러한 제1분석부(131)는 신경망 모델에 의한 딥 러닝 또는 머신러닝 기법을 이용하는 인공지능을 기반으로 하여 재구성 평가데이터에 대한 분석 및 평가와 이에 따른 평가점수를 산출할 수 있다. The first analysis unit 131 may analyze and evaluate the reconstruction evaluation data based on artificial intelligence using deep learning or machine learning by a neural network model and calculate an evaluation score accordingly.

이에, 제1분석부(131)에서는 소정의 반복학습을 통해 재구성 평가데이터의 분석 및 평가 정확도 및 신뢰도가 높아질 수 있으며, 이를 위하여 이전에 진행된 재구성 평가데이터의 분석 및 평가 결과가 제1분석부(131)로 피드백되어 학습데이터로 사용될 수 있다. Accordingly, the first analysis unit 131 may increase the analysis and evaluation accuracy and reliability of the reconstructed evaluation data through predetermined repetitive learning, and for this purpose, the analysis and evaluation results of the previously performed reconstructed evaluation data are returned to the first analysis unit ( 131) and can be used as learning data.

제2분석부(133)는 분류유닛(110)에서 출력되는 제2평가데이터를 분석 및 평가하고, 그 결과에 따른 제2평가점수를 산출할 수 있다. 여기서, 제2평가데이터는 실시간으로 평가점수의 산출이 가능한 객관식 형태의 답변데이터로, 이에 제2분석부(133)는 제2평가데이터로부터 제2평가점수를 산출하여 출력할 수 있다. The second analysis unit 133 may analyze and evaluate the second evaluation data output from the classification unit 110 , and calculate a second evaluation score according to the result. Here, the second evaluation data is multiple-choice type answer data that can calculate the evaluation score in real time, and the second analysis unit 133 may calculate and output the second evaluation score from the second evaluation data.

상술한 제1분석부(131)와 제2분석부(133) 각각에서 산출되는 평가점수는 소정의 범위를 가질 수 있다. 예컨대, 본 실시예에서는 제1분석부(131)에서 산출되는 제1평가점수와 제2분석부(133)에서 산출되는 제2평가점수가 각각 1~5점의 범위를 가지는 것을 예로 설명한다. 그러나, 본 발명은 이에 제한되지는 않으며, 평가점수는 분석유닛(130)의 반복 학습방법 또는 제1분석부(131)와 제2분석부(133)의 설계방법에 따라 세분화될 수도 있다.The evaluation scores calculated by each of the first and second analyzers 131 and 133 described above may have a predetermined range. For example, in this embodiment, the first evaluation score calculated by the first analysis unit 131 and the second evaluation score calculated by the second analysis unit 133 each have a range of 1 to 5 points as an example. However, the present invention is not limited thereto, and the evaluation score may be subdivided according to the iterative learning method of the analysis unit 130 or the design method of the first analysis unit 131 and the second analysis unit 133 .

합산부(135)는 제1분석부(131)와 제2분석부(133) 각각에서 출력된 평가점수, 즉 제1평가점수와 제2평가점수를 조합하여 피교육자의 강의평가데이터에 대한 최종 평가점수를 산출할 수 있다. 이때, 합산부(135)는 제1평가점수와 제2평가점수의 합의 평균값으로부터 최종 평가점수를 산출할 수 있다. The summing unit 135 combines the evaluation scores output from each of the first analysis unit 131 and the second analysis unit 133, that is, the first evaluation score and the second evaluation score, and finally evaluates the lecture evaluation data of the trainee. score can be calculated. In this case, the summing unit 135 may calculate the final evaluation score from the average value of the sum of the first evaluation score and the second evaluation score.

이에, 본 실시예의 교육평가시스템(100)은 분석유닛(130)에서 산출된 피교육자의 강의평가데이터에 대한 평가점수와 상기 강의평가데이터의 평가점수에 대응되는 교육자의 교육내용에 대한 평판도를 함께 출력하여 피교육자 단말(10), 교육자 단말(20) 및 교육관리시스템(30) 중 적어도 하나에 제공할 수 있다. Accordingly, the education evaluation system 100 of this embodiment outputs the evaluation score for the lecture evaluation data of the trainee calculated by the analysis unit 130 and the reputation for the education contents of the educator corresponding to the evaluation score of the lecture evaluation data together. Thus, it can be provided to at least one of the trainee terminal 10 , the educator terminal 20 , and the education management system 30 .

여기서, 교육내용에 대한 평판도는 분석유닛(130)에서 산출된 평가점수로부터 결정될 수 있다. 예컨대, 분석유닛(130)에서 1~5점 범위의 평가점수가 산출되는 경우에, 평가점수가 1~2점인 경우 부정적 평판도로 출력되고, 평가점수가 3점인 경우 중립적 평판도로 출력되며, 평가점수가 4~5점인 경우 긍정적 평판도로 출력될 수 있다. Here, the degree of reputation for the educational content may be determined from the evaluation score calculated by the analysis unit 130 . For example, when an evaluation score in the range of 1 to 5 is calculated by the analysis unit 130, a negative reputation is output when the evaluation score is 1 to 2, and a neutral reputation is output when the evaluation score is 3 points, and the evaluation score If is 4 to 5 points, it can be output as a positive reputation.

또한, 교육내용에 대한 평판도는 분석유닛(130)의 제1분석부(131)에서 분석된 재구성 평가데이터의 의미로부터 결정될 수도 있다. 예컨대, 제1분석부(131)에서 재구성 평가데이터의 의미가 긍정으로 분석되면 긍정적 평판도가 출력되고, 중립으로 분석되면 중립적 평판도로 출력되며, 부정으로 분석되면 부정적 평판도로 출력될 수도 있다.In addition, the degree of reputation for the educational content may be determined from the meaning of the reconstructed evaluation data analyzed by the first analysis unit 131 of the analysis unit 130 . For example, when the meaning of the reconstructed evaluation data is positively analyzed by the first analysis unit 131 , a positive reputation is output, when analyzed as neutral, a neutral reputation is output, and when analyzed as negative, a negative reputation is output.

상술한 바와 같이, 본 실시예의 교육평가시스템(100)은 피교육자로부터 제공되는 다양한 형태의 강의평가데이터 중에서 실시간으로 평가점수의 산출이 어려운 주관식이나 구술 형태의 평가데이터를 텍스트 형태의 문장데이터로 재구성하고, 이를 정량 분석 및 평가하여 평가점수를 산출할 수 있다. As described above, the education evaluation system 100 of this embodiment reconstructs the evaluation data in the subjective or oral form, which is difficult to calculate in real time among various types of lecture evaluation data provided from the trainees, into sentence data in the form of text, and , it is possible to calculate the evaluation score by quantitative analysis and evaluation.

이에, 교육평가시스템(100)은 강의평가데이터의 객관식 평가데이터에서 산출된 평가점수와 주관식이나 구술 평가데이터에서 산출된 평가점수를 조합하여 강의평가데이터의 최종 평가점수로 산출함으로써, 피교육자가 다양한 형태로 강의평가데이터를 제공하더라도 이에 대한 정량 분석 및 평가를 통한 평가점수의 산출이 가능하여 교육내용 평가의 신뢰성 및 정확성을 높일 수 있다. Accordingly, the education evaluation system 100 combines the evaluation score calculated from the multiple-choice evaluation data of the lecture evaluation data and the evaluation score calculated from the subjective or oral evaluation data and calculates it as the final evaluation score of the lecture evaluation data. Even if the lecture evaluation data is provided by using this method, it is possible to calculate the evaluation score through quantitative analysis and evaluation, thereby increasing the reliability and accuracy of the evaluation of educational contents.

도 3은 본 발명의 실시예에 따른 교육평가방법을 나타내는 도면이고, 도 4는 도 3의 교육평가방법을 구체적으로 나타내는 도면이다. 3 is a view showing an education evaluation method according to an embodiment of the present invention, and FIG. 4 is a view showing the education evaluation method of FIG. 3 in detail.

이하에서는, 설명의 편의를 위하여 도 3 및 도 4와 함께 기 설명된 도 1 및 도 2를 함께 참조하여 본 실시예의 교육평가방법을 상세히 설명하기로 한다. Hereinafter, the education evaluation method of this embodiment will be described in detail with reference to FIGS. 1 and 2 previously described along with FIGS. 3 and 4 for convenience of explanation.

도 3을 참조하면, 본 실시예의 교육평가방법은 하나 이상의 피교육자 단말(10)로부터 제공되는 강의평가데이터를 수집하고, 수집된 강의평가데이터를 2개의 그룹으로 분류할 수 있다(S10).Referring to FIG. 3 , the education evaluation method of this embodiment may collect lecture evaluation data provided from one or more trainee terminals 10 and classify the collected lecture evaluation data into two groups ( S10 ).

구체적으로, 교육평가시스템(100)은 피교육자 단말(10)로부터 강의평가데이터를 수집할 수 있다. 이때, 강의평가데이터에는 객관식, 주관식 및 구술 형태 중 하나 이상의 형태를 갖는 답변데이터가 포함될 수 있다.Specifically, the education evaluation system 100 may collect lecture evaluation data from the trainee terminal 10 . In this case, the lecture evaluation data may include answer data having at least one of multiple choice, subjective, and oral forms.

이에, 교육평가시스템(100)의 분류유닛(110)은 수집된 피교육자의 강의평가데이터에서 주관식 형태 및 구술 형태를 갖는 답변데이터를 제1평가데이터로 분류하고, 객관식 형태를 갖는 답변데이터를 제2평가데이터로 분류할 수 있다. Accordingly, the classification unit 110 of the education evaluation system 100 classifies the answer data having the subjective form and the oral form in the collected lecture evaluation data of the trainee as the first evaluation data, and the answer data having the multiple choice form is divided into the second evaluation data. It can be classified as evaluation data.

다음으로, 분류유닛(110)에서 분류된 제1평가데이터는 전처리유닛(120)으로 제공되어 재구성되고, 재구성된 제1평가데이터, 즉 재구성 평가데이터는 분석유닛(130)의 제1분석부(131)에 의해 정량적으로 분석되어 평가될 수 있다(S20).Next, the first evaluation data classified by the classification unit 110 is provided to the pre-processing unit 120 and reconstructed, and the reconstructed first evaluation data, that is, the reconstructed evaluation data is the first analysis unit ( 131) can be quantitatively analyzed and evaluated (S20).

도 4를 참조하면, 전처리유닛(120)의 문장 추출부(121)는 제1평가데이터를 문장 단위로 추출하여 하나 이상의 문장데이터를 생성할 수 있다(S110). Referring to FIG. 4 , the sentence extraction unit 121 of the pre-processing unit 120 may generate one or more sentence data by extracting the first evaluation data in units of sentences (S110).

예컨대, 제1평가데이터가 다수의 단어 또는 문장의 조합으로 구성된 주관식 답변데이터인 경우에, 문장 추출부(121)는 상기 주관식 답변데이터를 문장 단위로 분리하여 텍스트 형태의 다수의 문장데이터를 추출할 수 있다. 또한, 제1평가데이터가 다수의 구절 조합의 구술 답변데이터인 경우에, 문장 추출부(121)는 상기 구술 답변데이터를 문장 단위로 분리하여 텍스트 형태의 다수의 문장데이터를 추출할 수 있다. For example, when the first evaluation data is subjective answer data composed of a combination of a plurality of words or sentences, the sentence extraction unit 121 separates the subjective answer data into sentence units to extract a plurality of sentence data in text form. can In addition, when the first evaluation data is oral response data of a plurality of phrase combinations, the sentence extraction unit 121 may extract a plurality of sentence data in text form by separating the oral response data into sentence units.

이어, 형태소 추출부(122)는 추출된 문장데이터에서 품사로 이루어진 하나 이상의 형태소를 추출할 수 있다(S120). Next, the morpheme extractor 122 may extract one or more morphemes composed of parts of speech from the extracted sentence data (S120).

여기서, 형태소 추출부(122)는 문장데이터로부터 품사 또는 품사와 단어의 조합으로 이루어지는 하나 이상의 형태소를 추출할 수 있다. Here, the morpheme extracting unit 122 may extract one or more morphemes including parts of speech or a combination of parts of speech and words from the sentence data.

그리고, 문장 재구성부(124)는 추출된 하나 이상의 형태소에 기초하여 문장데이터를 재구성하고, 이를 조합하여 재구성 평가데이터를 출력할 수 있다(S130). Then, the sentence reconstruction unit 124 may reconstruct the sentence data based on the extracted one or more morphemes, and output the reconstructed evaluation data by combining them (S130).

여기서, 문장 재구성부(124)는 기 추출된 형태소가 은어 또는 비속어인 경우에, 유의어 DB(123)를 참조하여 상기 형태소와 유사한 의미를 갖는 유의어를 추출하고, 이를 해당 형태소에 대체되도록 하여 문장데이터를 재구성할 수 있다. Here, when the pre-extracted morpheme is a slang or a profanity, the sentence reconstruction unit 124 extracts a synonym having a meaning similar to that of the morpheme with reference to the synonym DB 123, and replaces it with the corresponding morpheme for sentence data. can be reconstructed.

다음으로, 분석유닛(130)의 제1분석부(131)는 전처리유닛(120)의 문장 재구성부(124)에서 출력된 재구성 평가데이터를 정량적으로 분석하여 평가할 수 있다. Next, the first analysis unit 131 of the analysis unit 130 may quantitatively analyze and evaluate the reconstruction evaluation data output from the sentence reconstruction unit 124 of the preprocessing unit 120 .

제1분석부(131)는 재구성 평가데이터의 각 문장데이터에 대하여 그 의미, 즉 긍정, 중립 및 부정 중 하나의 의미를 분석할 수 있다. 그리고, 제1분석부(131)는 재구성 평가데이터의 각 문장데이터에 포함된 형태소에 기 설정된 가중치를 부여할 수 있다(S140). The first analysis unit 131 may analyze the meaning of each sentence data of the reconstruction evaluation data, that is, the meaning of one of positive, neutral, and negative. Then, the first analysis unit 131 may give a preset weight to the morphemes included in each sentence data of the reconstruction evaluation data (S140).

이때, 가중치는 미리 설정되거나 또는 형태소의 빈도수나 유의도에 따라 설정될 수 있다.In this case, the weight may be preset or set according to the frequency or significance of the morpheme.

도 5에 도시된 바와 같이, 제1분석부(131)는 형태소의 의미나 문장데이터 내에서 상기 형태소의 출현빈도 수에 따라 -2 ~ 2 범위 내의 소정의 점수를 갖는 가중치를 부여할 수 있다. As shown in FIG. 5 , the first analysis unit 131 may assign a weight having a predetermined score within the range of -2 to 2 according to the meaning of the morpheme or the number of appearance frequencies of the morpheme in the sentence data.

예컨대, 문장데이터 내에 "최고"라는 명사의 형태소가 포함된 경우에 제1분석부(131)는 해당 형태소에 가중치 2를 부여할 수 있다. 또한, 문장데이터 내에 "별로"라는 부사의 형태소가 포함된 경우에 제1분석부(131)는 해당 형태소에 가중치 -0.5를 부여할 수 있다. 또한, 문장데이터 내에 "최악"이라는 명사의 형태소가 포함된 경우에 제1분석부(131)는 해당 형태소에 가중치 -2를 부여할 수 있다. For example, when the morpheme of the noun "best" is included in the sentence data, the first analysis unit 131 may assign a weight of 2 to the corresponding morpheme. Also, when the morpheme of the adverb "by" is included in the sentence data, the first analysis unit 131 may assign a weight of -0.5 to the corresponding morpheme. Also, when the morpheme of the noun "worst" is included in the sentence data, the first analysis unit 131 may assign a weight of -2 to the morpheme.

이와 같이, 제1분석부(131)는 재구성 평가데이터의 각 문장데이터에서 형태소에 가중치를 부여함으로써, 문장데이터에 대한 정량 분석 및 평가의 정확도가 높아지도록 할 수 있다. In this way, the first analysis unit 131 may increase the accuracy of quantitative analysis and evaluation of the sentence data by assigning weights to morphemes in each sentence data of the reconstruction evaluation data.

여기서, 앞서 설명한 바와 같이, 제1분석부(131)는 형태소에 가중치를 부여하는 것과 함께 해당 문장데이터의 의미를 분석해야 한다. 이는, 문장데이터에 긍정적 의미의 형태소가 포함되어 있더라도 전체 문장데이터는 부정적 의미를 가질 수 있기 때문이다. Here, as described above, the first analyzer 131 should analyze the meaning of the corresponding sentence data while assigning weights to the morphemes. This is because even if the sentence data includes morphemes with a positive meaning, the entire sentence data may have a negative meaning.

예컨대, 하나의 문장데이터가 "강의 내용이 만족스럽지는 않았다"인 경우에, 해당 문장데이터의 형태소에 단순히 가중치만 부여하는 경우에는, 도 5에 도시되어 있는 바와 같이, "만족"의 형태소에 가중치 1이 부여될 수 있다. For example, in the case where one sentence data is “the lecture content was not satisfactory”, when only a weight is given to the morpheme of the corresponding sentence data, as shown in FIG. 5, a weight of 1 is applied to the morpheme of “satisfaction” can be given.

그러나, 상기 문장데이터는 긍정의 의미가 아니므로, "만족"의 형태소가 포함되어 있어 가중치가 부여되더라도 부정적 의미로 해석되어야 한다. However, since the sentence data does not have a positive meaning, it should be interpreted as a negative meaning even if a weight is given because the morpheme of "satisfaction" is included.

이에, 제1분석부(131)는 문장데이터에 포함된 형태소에 가중치를 부여하기 전 또는 가중치를 부여한 후에, 해당 문장데이터가 표현하고 있는 의미를 분석함으로써, 문장데이터의 분석 및 평가 정확도를 높일 수 있다. Accordingly, the first analysis unit 131 analyzes the meaning expressed by the sentence data before or after weighting the morphemes included in the sentence data, thereby increasing the analysis and evaluation accuracy of the sentence data. have.

다음으로, 제1분석부(131)는 문장데이터에 대한 의미 분석 및 형태소에 부여된 가중치에 기초하여 해당 문장데이터에 대한 분석 및 평가를 수행하고, 그에 따른 평가점수를 산출할 수 있다(S150). Next, the first analysis unit 131 may analyze and evaluate the sentence data based on the semantic analysis of the sentence data and the weight assigned to the morpheme, and calculate an evaluation score accordingly (S150) .

여기서, 제1분석부(131)는 재구성 평가데이터 내의 다수의 문장데이터 각각에 대하여 분석 및 평가를 통해 평가점수를 산출할 수 있다. Here, the first analysis unit 131 may calculate an evaluation score through analysis and evaluation for each of a plurality of sentence data in the reconstruction evaluation data.

이때, 각 문장데이터의 평가점수는 분석된 의미 및 부여된 형태소 가중치에 기초하여 1~5점 사이의 점수로 산출될 수 있다. 예컨대, 문장데이터가 긍정으로 분석된 경우에 가중치가 부여된 형태소에 따라 4~5점의 평가점수가 산출될 수 있다. 또한, 문장데이터가 중립으로 분석된 경우에 가중치가 부여된 형태소에 따라 3점의 평가점수가 산출될 수 있다. 문장데이터가 부정으로 분석된 경우에는 가중치가 부여된 형태소에 따라 1~2점의 평가점수가 산출될 수 있다. In this case, the evaluation score of each sentence data may be calculated as a score between 1 and 5 points based on the analyzed meaning and the given morpheme weight. For example, when sentence data is positively analyzed, an evaluation score of 4 to 5 points may be calculated according to weighted morphemes. In addition, when the sentence data is analyzed as neutral, an evaluation score of 3 points may be calculated according to the weighted morphemes. When the sentence data is analyzed negatively, an evaluation score of 1 to 2 points may be calculated according to the weighted morpheme.

이어, 제1분석부(131)는 다수의 문장데이터 각각에 대한 평가점수를 조합하여 재구성 평가데이터의 평가점수로 출력할 수 있다. 이때, 제1분석부(131)는 전체 평가점수의 평균을 산출하는 것을 통해 재구성 평가데이터의 평가점수를 산출하여 출력할 수 있다. Next, the first analysis unit 131 may combine the evaluation scores for each of a plurality of sentence data and output the evaluation scores of the reconstructed evaluation data. In this case, the first analysis unit 131 may calculate and output the evaluation score of the reconstructed evaluation data by calculating the average of the entire evaluation score.

다시 도 3을 참조하면, 분류유닛(110)에서 분류된 제2평가데이터는 분석유닛(130)의 제2분석부(133)로 제공되고, 제2분석부(133)에 의해 평가되어 평가점수가 산출될 수 있다(S30). Referring back to FIG. 3 , the second evaluation data classified by the classification unit 110 is provided to the second analysis unit 133 of the analysis unit 130 , and evaluated by the second analysis unit 133 to obtain an evaluation score. can be calculated (S30).

제2평가데이터는 앞서 설명한 바와 같이 실시간 평가 및 점수 산출이 가능한 평가데이터일 수 있다. 다시 말해, 제2평가데이터는 피교육자에 의해 선택된 소정의 점수가 포함되어 있는 객관식 형태의 데이터일 수 있다. The second evaluation data may be evaluation data capable of real-time evaluation and score calculation as described above. In other words, the second evaluation data may be multiple-choice data including a predetermined score selected by the trainee.

따라서, 제2분석부(133)는 제2평가데이터에 포함된 점수를 조합하여 제2평가데이터에 대한 평가점수를 산출할 수 있다. 이때, 제2분석부(133)는 1~5점 사이의 값으로 제2평가데이터에 대한 평가점수를 산출할 수 있다. Accordingly, the second analysis unit 133 may calculate an evaluation score for the second evaluation data by combining the scores included in the second evaluation data. In this case, the second analysis unit 133 may calculate an evaluation score for the second evaluation data with a value between 1 and 5 points.

여기서, 제2분석부(133)에 의한 제2평가데이터의 평가점수 산출은 전술된 제1분석부(131)에 의한 재구성 평가데이터의 분석 및 평가를 통한 평가점수 산출과 병렬적으로 이루어질 수 있다. Here, the evaluation score calculation of the second evaluation data by the second analysis unit 133 may be performed in parallel with the evaluation score calculation through the analysis and evaluation of the reconstructed evaluation data by the first analysis unit 131 described above. .

다음으로, 분석유닛(130)의 합산부(135)는 제1분석부(131)와 제2분석부(133) 각각에서 출력된 평가점수, 즉 제1평가점수와 제2평가점수를 조합하여 피교육자의 강의평가데이터에 대한 최종 평가점수를 산출할 수 있다(S40). Next, the summation unit 135 of the analysis unit 130 combines the evaluation scores output from each of the first analysis unit 131 and the second analysis unit 133, that is, the first evaluation score and the second evaluation score. It is possible to calculate the final evaluation score for the lecture evaluation data of the trainee (S40).

그리고, 본 실시예의 교육평가시스템(100)은 분석유닛(130)에서 산출된 강의평가데이터에 대한 최종 평가점수를 피교육자 단말(10), 교육자 단말(20) 및 교육관리시스템(30) 중 적어도 하나로 출력할 수 있다.And, the education evaluation system 100 of this embodiment is the final evaluation score for the lecture evaluation data calculated by the analysis unit 130 as at least one of the trainee terminal 10, the educator terminal 20 and the education management system 30 can be printed out.

여기서, 교육평가시스템(100)은 기 산출된 강의평가데이터의 최종 평가점수에 대응되는 교육자의 교육내용에 대한 평판도를 함께 출력할 수 있다. Here, the education evaluation system 100 may also output the reputation of the education content of the educator corresponding to the final evaluation score of the pre-calculated lecture evaluation data.

예컨대, 최종 평가점수가 1~5점 범위의 점수로 산출되는 경우에, 교육평가시스템(100)은 최종 평가점수가 1~2점인 경우 부정적 평판도를 출력하고, 최종 평가점수가 3점인 경우 중립적 평판도를 출력하며, 최종 평가점수가 4~5점인 경우 긍정적 평판도를 출력할 수 있다. For example, when the final evaluation score is calculated as a score in the range of 1 to 5, the educational evaluation system 100 outputs a negative reputation when the final evaluation score is 1 to 2, and a neutral reputation when the final evaluation score is 3 If the final evaluation score is 4 to 5, a positive reputation can be output.

상술한 바와 같이, 본 실시예의 교육평가방법은 피교육자로부터 제공되는 다양한 형태의 강의평가데이터 중에서 실시간으로 평가점수의 산출이 어려운 주관식이나 구술 형태의 평가데이터를 문장데이터로 재구성하고, 이를 인공지능을 기반으로 정량 분석 및 평가하여 평가점수를 산출할 수 있다. As described above, the educational evaluation method of this embodiment reconstructs the evaluation data in the subjective or oral form, which is difficult to calculate the evaluation score in real time among various types of lecture evaluation data provided by the trainee, into sentence data, and it is based on artificial intelligence. can be quantitatively analyzed and evaluated to calculate an evaluation score.

이에, 본 발명은 강의평가데이터의 객관식 평가데이터에서 산출된 평가점수와 주관식이나 구술 평가데이터에서 산출된 평가점수를 조합하여 강의평가데이터의 최종 평가점수로 산출함으로써, 피교육자가 다양한 형태로 강의평가데이터를 제공하더라도 이에 대한 정량 분석 및 평가를 통한 평가점수의 산출이 가능하여 교육내용 평가의 신뢰성 및 정확성을 높일 수 있다. Accordingly, the present invention combines the evaluation score calculated from the multiple-choice evaluation data of the lecture evaluation data and the evaluation score calculated from the subjective or oral evaluation data to calculate the final evaluation score of the lecture evaluation data, so that the trainee can use the lecture evaluation data in various forms. Even if provided, it is possible to calculate the evaluation score through quantitative analysis and evaluation, thereby increasing the reliability and accuracy of the evaluation of educational contents.

10: 피교육자 단말 20: 교육자 단말
30: 교육관리시스템 100: 교육평가시스템
110: 분류유닛 120: 전처리유닛
121: 문장 추출부 122: 형태소 추출부
123: 유의어 DB 124: 문장 재구성부
130: 분석유닛 131: 제1분석부
133: 제2분석부 135: 합산부10: trainee terminal 20: educator terminal
30: education management system 100: education evaluation system
110: sorting unit 120: pre-processing unit
121: sentence extraction unit 122: morpheme extraction unit
123: thesaurus DB 124: sentence reconstruction unit
130: analysis unit 131: first analysis unit
133: second analysis unit 135: summing unit

Claims (16)

삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 교육자의 교육내용에 대한 피교육자의 평가를 인공지능 기반의 교육평가시스템을 이용하여 평가하는 교육평가방법에 있어서,
하나 이상의 피교육자 단말로부터 제공된 피교육자의 강의평가데이터를 제1평가데이터와 제2평가데이터로 분류하는 단계;
상기 제1평가데이터를 재구성하여 재구성 평가데이터를 생성하고, 상기 재구성 평가데이터를 분석 및 평가하여 제1평가점수를 산출하는 단계;
상기 제2평가데이터로부터 제2평가점수를 산출하는 단계; 및
상기 제1평가점수와 상기 제2평가점수로부터 상기 강의평가데이터의 최종 평가점수를 산출하는 단계를 포함하고,
상기 제1평가데이터는 주관식 및 구술 중 적어도 하나의 형태의 데이터를 포함하고, 상기 제2평가데이터는 객관식 형태의 데이터를 포함하고,
상기 제1평가점수를 산출하는 단계는,
상기 제1평가데이터를 문장 단위로 추출하여 텍스트 형태의 하나 이상의 문장데이터를 생성하는 단계;
상기 문장데이터에서 하나 이상의 형태소를 추출하는 단계;
추출된 형태소에 기초하여 상기 문장데이터를 재구성하는 단계; 및
재구성된 문장데이터를 조합하여 상기 재구성 평가데이터를 출력하는 단계를 포함하고,
는 것을 특징으로 하는 교육평가방법.In the educational evaluation method of evaluating the learner's evaluation of the educational content of the educator using an artificial intelligence-based education evaluation system,
Classifying the lecture evaluation data of the trainee provided from one or more trainee terminals into first evaluation data and second evaluation data;
generating a reconstructed evaluation data by reconstructing the first evaluation data, and calculating a first evaluation score by analyzing and evaluating the reconstructed evaluation data;
calculating a second evaluation score from the second evaluation data; and
Comprising the step of calculating the final evaluation score of the lecture evaluation data from the first evaluation score and the second evaluation score,
The first evaluation data includes data in at least one of subjective and oral, and the second evaluation data includes multiple-choice data,
Calculating the first evaluation score comprises:
generating one or more sentence data in text form by extracting the first evaluation data in units of sentences;
extracting one or more morphemes from the sentence data;
reconstructing the sentence data based on the extracted morpheme; and
Comprising the step of outputting the reconstruction evaluation data by combining the reconstructed sentence data,
Education evaluation method, characterized in that. 삭제delete 제9항에 있어서,
상기 문장데이터를 재구성하는 단계는,
상기 추출된 형태소가 은어나 비속어인 경우에 유의어 DB로부터 상기 추출된 형태소와 실질적으로 동일한 유의어를 추출하는 단계; 및
상기 유의어로 상기 추출된 형태소를 대체하여 상기 문장데이터를 재구성하는 단계를 포함하는 것을 특징으로 하는 교육평가방법.10. The method of claim 9,
The step of reconstructing the sentence data is,
extracting a synonym substantially identical to the extracted morpheme from the synonym DB when the extracted morpheme is a slang or profanity; and
and reconstructing the sentence data by replacing the extracted morpheme with the synonym. 제9항에 있어서,
상기 제1평가점수를 산출하는 단계는,
상기 재구성 평가데이터의 상기 재구성된 문장데이터 각각의 의미를 분석하는 단계;
상기 재구성된 문장데이터 각각에 포함된 하나 이상의 형태소 각각에 대응되는 가중치를 적용하는 단계;
상기 재구성된 문장데이터의 의미에 기초하여 상기 형태소에 적용된 상기 가중치에 의한 상기 재구성된 문장데이터 각각의 평가점수를 산출하는 단계; 및
각 상기 재구성된 문장데이터의 평가점수를 조합하여 상기 재구성 평가데이터에 대한 상기 제1평가점수를 산출하는 단계를 포함하고,
상기 제2평가점수를 산출하는 단계는
피교육자에 의해 선택된 소정의 점수가 포함되어 있는 객관식 형태의 데이터로부터 제2평가데이터를 추출하는 단계;및
상기 제2평가데이터에 포함된 점수를 조합하여 제2평가데이터에 대한 평가점수를 1~5점 사이의 값으로 산출하는 단계;
를 포함하는 교육평가방법.10. The method of claim 9,
Calculating the first evaluation score comprises:
analyzing the meaning of each of the reconstructed sentence data of the reconstruction evaluation data;
applying a weight corresponding to each of one or more morphemes included in each of the reconstructed sentence data;
calculating an evaluation score of each of the reconstructed sentence data by the weight applied to the morpheme based on the meaning of the reconstructed sentence data; and
Comprising the step of calculating the first evaluation score for the reconstructed evaluation data by combining the evaluation score of each of the reconstructed sentence data,
The step of calculating the second evaluation score is
Extracting the second evaluation data from the multiple-choice format data including a predetermined score selected by the trainee; And
calculating an evaluation score for the second evaluation data as a value between 1 and 5 by combining the scores included in the second evaluation data;
Education evaluation method including. 제9항에 있어서,
상기 문장데이터를 재구성하는 단계는,
컴퓨터 자연어 처리방법을 이용하여 이루어지는 것을 특징으로 하는 교육평가방법.10. The method of claim 9,
The step of reconstructing the sentence data is,
An educational evaluation method, characterized in that it is made using a computer natural language processing method. 제9항에 있어서,
상기 제1평가점수를 산출하는 단계는,
딥 러닝 기법 및 머신러닝 기법 중 하나에 의해 상기 재구성 평가데이터를 분석 및 평가하여 상기 제1평가점수를 산출하는 단계인 것을 특징으로 하는 교육평가방법.10. The method of claim 9,
Calculating the first evaluation score comprises:
Education evaluation method, characterized in that the step of calculating the first evaluation score by analyzing and evaluating the reconstruction evaluation data by one of a deep learning technique and a machine learning technique. 제9항에 있어서,
상기 제1평가점수를 산출하는 단계와 상기 제2평가점수를 산출하는 단계는 병렬로 진행되는 것을 특징으로 하는 교육평가방법.10. The method of claim 9,
The step of calculating the first evaluation score and the step of calculating the second evaluation score are performed in parallel. 제9항에 있어서,
상기 최종 평가점수에 기초하여 교육자의 교육내용에 대한 평판도를 긍정, 중립 및 부정 중 하나로 결정하는 단계; 및
상기 평판도를 상기 최종 평가점수와 함께 교육자, 피교육자 및 교육관리시스템 중 적어도 하나로 출력하는 단계를 더 포함하는 것을 특징으로 하는 교육평가방법.

10. The method of claim 9,
determining the reputation of the educator for educational content as one of positive, neutral and negative based on the final evaluation score; and
The education evaluation method further comprising the step of outputting the reputation level together with the final evaluation score to at least one of an educator, a trainee, and an education management system.
KR1020200019513A 2020-02-18 2020-02-18 Assessment system and method for education based on artificial intelligence KR102330970B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200019513A KR102330970B1 (en) 2020-02-18 2020-02-18 Assessment system and method for education based on artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200019513A KR102330970B1 (en) 2020-02-18 2020-02-18 Assessment system and method for education based on artificial intelligence

Publications (2)

Publication Number Publication Date
KR20210105044A KR20210105044A (en) 2021-08-26
KR102330970B1 true KR102330970B1 (en) 2021-11-24

Family

ID=77465463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200019513A KR102330970B1 (en) 2020-02-18 2020-02-18 Assessment system and method for education based on artificial intelligence

Country Status (1)

Country Link
KR (1) KR102330970B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230087791A (en) 2021-12-10 2023-06-19 주식회사 교원 Education system and method using artificial intelligence tutor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102020756B1 (en) * 2018-10-23 2019-11-04 주식회사 리나소프트 Method for Analyzing Reviews Using Machine Leaning

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101115191B1 (en) 2009-02-23 2012-03-14 (주)아모레퍼시픽 The system which evaluates an educational effect
KR102085796B1 (en) * 2018-02-21 2020-03-06 오명탁 Language purificationserver and method of customercounseling service using the same
KR102119083B1 (en) * 2018-02-23 2020-06-04 국민대학교산학협력단 User review based rating re-calculation apparatus and method, storage media storing the same
KR102128039B1 (en) * 2018-07-23 2020-06-29 최유진 Method and computer program for providing integrated lecture-related information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102020756B1 (en) * 2018-10-23 2019-11-04 주식회사 리나소프트 Method for Analyzing Reviews Using Machine Leaning

Also Published As

Publication number Publication date
KR20210105044A (en) 2021-08-26

Similar Documents

Publication Publication Date Title
Hussein et al. Automated language essay scoring systems: A literature review
Kumar et al. Earth mover's distance pooling over siamese LSTMs for automatic short answer grading
Janda et al. Syntactic, semantic and sentiment analysis: The joint effect on automated essay evaluation
Vajjala et al. Readability assessment for text simplification: From analysing documents to identifying sentential simplifications
Whittington et al. Approaches to the computerized assessment of free text responses
Roscoe et al. Developing pedagogically-guided algorithms for intelligent writing feedback
Rouvier Lia at semeval-2017 task 4: An ensemble of neural networks for sentiment classification
Solovyev et al. Sentiment in academic texts
Miranda et al. Topic modeling and sentiment analysis of martial arts learning textual feedback on YouTube
Persing et al. Lightly-supervised modeling of argument persuasiveness
KR102330970B1 (en) Assessment system and method for education based on artificial intelligence
Foushee et al. Lexical Complexity of Child-Directed and Overheard Speech: Implications for Learning.
Eom et al. Sense-specific lexical information for reading assistance
Sosun et al. Deep sentiment analysis with data augmentation in distance education during the pandemic
Zhu et al. YUN111@ Dravidian-CodeMix-FIRE2020: Sentiment Analysis of Dravidian Code Mixed Text.
Vajjala Machine learning and applied linguistics
Malhar et al. Deep learning based Answering Questions using T5 and Structured Question Generation System’
Noiyoo et al. A Comparison of Machine Learning and Neural Network Algorithms for An Automated Thai Essay Quality Checking
Osipova et al. Corpus linguistics technology in teaching English as a foreign language
Yoshikawa et al. Study on development of humor discriminator for dialogue system
Bernius et al. Segmenting Student Answers to Textual Exercises Based on Topic Modeling.
Alnajjar Computational Analysis and Generation of Slogans
Al Nafra Trainee Translators' Positioning in Discussing Translation Decisions: A Diachronic Case Study.
Vajjala et al. Readability assessment for text simplification.
Lee et al. A BERT-Based Automatic Scoring Model of Korean Language Learners' Essay

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant