KR20200056760A - System for evaluating educators and improving the educational achievement of the trainees using artificial intelligence and method thereof - Google Patents

System for evaluating educators and improving the educational achievement of the trainees using artificial intelligence and method thereof Download PDF

Info

Publication number
KR20200056760A
KR20200056760A KR1020180140827A KR20180140827A KR20200056760A KR 20200056760 A KR20200056760 A KR 20200056760A KR 1020180140827 A KR1020180140827 A KR 1020180140827A KR 20180140827 A KR20180140827 A KR 20180140827A KR 20200056760 A KR20200056760 A KR 20200056760A
Authority
KR
South Korea
Prior art keywords
educator
artificial intelligence
video data
trainee
coding
Prior art date
Application number
KR1020180140827A
Other languages
Korean (ko)
Inventor
손진호
Original Assignee
손진호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 손진호 filed Critical 손진호
Priority to KR1020180140827A priority Critical patent/KR20200056760A/en
Publication of KR20200056760A publication Critical patent/KR20200056760A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services

Abstract

The present invention relates to a system and a method for evaluating an educator and improving an educatee′s educational achievement by using artificial intelligence. The system includes: a camera module imaging a predetermined offline space and generating video data; and a server evaluating the degree of guidance execution of the educator by performing image processing on the video data. The server includes: an educator detection unit detecting the educator′s feature based on the video data; an educatee detection unit defining a non-educator person on the predetermined offline space as the educatee based on the video data; a guidance execution detection unit detecting the feature of the guidance execution where the detected educator guides the defined educatee based on the video data; a question action detection unit detecting the feature of a question action of questioning the detected educator out of the defined educatee based on the video data; and a guidance execution evaluation unit evaluating the degree of the educator′s guidance execution based on at least one among the educator′s feature, the feature of the guidance execution, and the feature of the question action.

Description

인공지능을 이용하여 교육자를 평가하고 피교육자의 교육 성취를 향상하는 시스템 및 방법{SYSTEM FOR EVALUATING EDUCATORS AND IMPROVING THE EDUCATIONAL ACHIEVEMENT OF THE TRAINEES USING ARTIFICIAL INTELLIGENCE AND METHOD THEREOF}A system and method for evaluating educators using artificial intelligence and improving the educator's educational achievements.

본 발명은 인공지능을 이용하여 교육자를 평가하고 피교육자의 교육 성취를 향상하는 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for evaluating an educator using artificial intelligence and improving the educational achievement of an educated person.

인터넷 기술의 급속한 발전과 확산에 의해 최근에는 오프라인 공간에서 교육하는 방식 이외에 피교육자인 학생들이 온라인 공간에서 학습이 가능한 온라인 동영상 강의에 대한 수요가 증가하고 있다. 온라인 동영상 강의를 수강하는 학생들은 일반적으로 교육자가 옆에 없는 상황에서 학습을 하게 된다. 따라서, 온라인 동영상 강의 수강생은 강의 중에 집중력을 일정 수준 이상 유지하기 어려운 문제점이 있었다. 또한, 온라인 동영상 강의 수강생은 강의 중에 모르는 부분이 있어도 교육자에게 질문할 수 없는 상황이어서 강의 진도를 진행하기 어렵거나, 강의 내용을 이해하지 못하고 넘어가버리는 문제 등이 있었다.Due to the rapid development and spread of Internet technology, in recent years, in addition to the education method in an offline space, there is an increasing demand for online video lectures where students who are educated can learn in an online space. Students taking online video lessons usually learn in situations where educators are not at their side. Therefore, online video lecture students had a problem in maintaining their concentration more than a certain level during the lecture. In addition, online video lecture students were unable to ask the educator even if they did not know anything during the lecture, so it was difficult to proceed with the lecture, or there was a problem that they could not understand the contents of the lecture.

또한, 최근 프로그램 언어를 배우고자 하는 학생들이 늘어나고 있는 추세이다. 프로그램 언어는 교육자의 능력에 따라 수업의 질이 달라지고 학생들의 학습 인지 정도 또한 많이 달라질 수 있는 분야이다. 하지만, 능력이 우수한 교육자는 수강 비용이 높거나, 채용하기 어려운 문제점이 있었다.In addition, the number of students who want to learn the programming language is increasing. Program language is an area in which the quality of instruction varies depending on the ability of educators and the degree of students' perception of learning can also vary. However, an educator with excellent ability has a problem in that the cost of taking a class is high or difficult to hire.

공개특허공보 제10-2000-0054038호, 2000.09.14Publication Patent Publication No. 10-2000-0054038, 2000.09.14

본 발명이 해결하고자 하는 과제는 인공지능을 이용하여 교육자를 평가하고 피교육자의 교육 성취를 향상하는 시스템 및 방법을 제공하는 것이다.The problem to be solved by the present invention is to provide a system and method for evaluating an educator using artificial intelligence and improving the educational achievement of an educated person.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 인공지능을 이용한 교육자를 평가하는 시스템은 소정의 오프라인 공간을 촬영하여 비디오 데이터를 생성하는 카메라 모듈, 및 상기 비디오 데이터를 영상처리하여 교육자의 지도 수행 정도를 평가하는 서버를 포함하고, 상기 서버는, 상기 비디오 데이터에 기초하여, 상기 교육자의 특징점을 검출하는 교육자 검출부, 상기 비디오 데이터에 기초하여, 상기 소정의 오프라인 공간 상의 상기 교육자 이외의 사람을 피교육자로 정의하는 피교육자 검출부, 상기 비디오 데이터에 기초하여, 상기 검출된 교육자가 상기 정의된 피교육자를 지도하는 지도 수행의 특징점을 검출하는 지도 수행 검출부, 상기 비디오 데이터에 기초하여, 상기 정의된 피교육자 중 상기 검출된 교육자에게 질문하는 질문 행위의 특징점을 검출하는 질문 행위 검출부, 및 상기 교육자의 특징점, 상기 지도 수행의 특징점 및 상기 질문 행위의 특징점 중 적어도 하나에 기초하여, 상기 교육자의 상기 지도 수행 정도를 평가하는 지도 수행 평가부를 포함한다.The system for evaluating an educator using artificial intelligence according to an aspect of the present invention for solving the above-mentioned problems is a camera module that generates video data by photographing a predetermined offline space, and an educator's guidance by image processing the video data And a server for evaluating the degree of performance, wherein the server comprises an educator detection unit that detects a feature point of the educator based on the video data, and a person other than the educator on the predetermined offline space based on the video data. An educator detection unit defined as an educator, based on the video data, an instructional performance detection unit configured to detect a feature point of an instruction performed by the detected educator to guide the defined educator, based on the video data, the Based on at least one of the feature of the educator, the feature of the educator, the feature of the instruction, and the feature of the questioning behavior, the evaluating degree of the educator is evaluated based on at least one of the feature of the educator asking the detected educator to question the feature. It includes the guidance performance evaluation department.

일부 실시예에서, 상기 서버는, 하나 이상의 상기 교육자의 특징점을 관리 및 저장하는 교육자 데이터베이스를 더 포함하고, 상기 교육자 검출부는, 상기 소정의 오프라인 공간 상의 사람 객체 중 서서 움직이는 사람 객체를 상기 교육자로 판단하거나, 상기 교육자 데이터베이스 상의 상기 교육자의 특징점과 상기 소정의 오프라인 공간 상의 상기 사람 객체의 특징점의 유사도를 측정하여 상기 사람 객체를 상기 교육자로 판단하고, 상기 교육자의 특징점을 검출한다.In some embodiments, the server further includes an educator database for managing and storing one or more feature points of the educator, and the educator detection unit determines a person object standing and moving among the object objects on the predetermined offline space as the educator. Alternatively, the similarity between the characteristic point of the educator on the educator database and the characteristic point of the human object on the predetermined offline space is determined to determine the human object as the educator, and the characteristic point of the educator is detected.

일부 실시예에서, 상기 지도 수행 검출부는, 소정의 시간 이상 동안, 상기 교육자와 상기 피교육자가 소정의 거리 이하에 있는 경우, 상기 교육자가 상기 피교육자를 지도 수행하는 것으로 판단하고, 상기 지도 수행의 특징점을 검출한다.In some embodiments, the instruction performing detection unit determines that the educator performs the instruction for the educator when the educator and the educator are within a predetermined distance or more for a predetermined period of time, and determines a feature point of the instruction execution. To detect.

일부 실시예에서, 상기 지도 수행 검출부는, 상기 교육자의 중심점과 상기 피교육자의 중심점을 검출하고, 소정의 시간 이상 동안, 상기 교육자의 중심점과 상기 피교육자의 중심점이 소정의 거리 이하에 있는 경우, 상기 교육자가 상기 피교육자를 지도 수행하는 것으로 판단하고, 상기 지도 수행의 특징점을 검출한다.In some embodiments, the instruction performing detection unit detects the center point of the educator and the center point of the trainee, and for a predetermined time or more, when the center point of the educator and the center point of the trainee are less than a predetermined distance, the educator It judges that the trainee performs the instruction, and detects a feature point of the instruction.

일부 실시예에서, 상기 질문 행위 검출부는, 상기 피교육자 중 사전 결정된 하나 이상의 질문 자세 중 어느 하나의 질문 자세를 소정의 시간 이상 유지하는 경우, 상기 피교육자가 질문 행위를 하는 것으로 판단하고, 상기 질문 행위의 특징점을 검출한다.In some embodiments, when the question behavior detecting unit maintains a question attitude of one of the predetermined one or more question attitudes among the trainees for a predetermined time or more, it is determined that the trainee acts as a question, and the question behavior Feature points are detected.

일부 실시예에서, 상기 서버는 교육자 평가부를 더 포함하고, 상기 교육자 평가부는, 하나 이상의 상기 지도 수행 정도에 기초하여, 상기 교육자를 평가하고, 상기 교육자의 관리자의 단말기에 상기 교육자의 평가 결과를 전송한다.In some embodiments, the server further includes an educator evaluation unit, and the educator evaluation unit evaluates the educator based on one or more of the teaching performance, and transmits the evaluation result of the educator to the terminal of the educator manager do.

상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 인공지능을 이용한 교육자를 평가하는 방법은, 컴퓨터에 의해서 실현되는 방법으로써, 소정의 오프라인 공간을 촬영하여 비디오 데이터를 생성하는 단계, 상기 비디오 데이터에 기초하여, 상기 교육자의 특징점을 검출하는 단계, 상기 비디오 데이터에 기초하여, 상기 소정의 오프라인 공간 상의 상기 교육자 이외의 사람을 피교육자로 정의하는 단계, 상기 비디오 데이터에 기초하여, 상기 검출된 교육자가 상기 정의된 피교육자를 지도하는 지도 수행의 특징점을 검출하는 단계, 상기 비디오 데이터에 기초하여, 상기 정의된 피교육자 중 상기 검출된 교육자에게 질문하는 질문 행위의 특징점을 검출하는 단계, 및 상기 교육자의 특징점, 상기 지도 수행의 특징점 및 상기 질문 행위의 특징점 중 적어도 하나에 기초하여, 상기 교육자의 상기 지도 수행 정도를 평가하는 단계를 포함한다.A method for evaluating an educator using artificial intelligence according to another aspect of the present invention for solving the above-described problem is a method realized by a computer, generating video data by photographing a predetermined offline space, and the video data Based on the step of detecting a feature point of the educator, based on the video data, defining a person other than the educator as the trainee on the predetermined offline space, based on the video data, the detected educator Detecting a feature point of the instruction performance for guiding the defined educator, detecting a feature point of a question act of asking the detected educator among the defined educators based on the video data, and the feature point of the educator, And evaluating the degree of the teaching performance of the educator based on at least one of the characteristic points of the teaching performance and the characteristic points of the questioning behavior.

상술한 과제를 해결하기 위한 본 발명의 또 다른 면에 따른 인공지능을 이용한 교육 성취를 향상하는 보조 시스템은 소정의 온라인 공간상에서 피교육자가 수강한 영상 강의의 수행 결과를 분석하는 강의 분석부, 상기 소정의 온라인 공간상에서 상기 피교육자의 상기 영상 강의에 상응하는 코딩 문제의 수행 결과를 분석하는 코딩 분석부, 상기 분석된 영상 강의의 수행 결과 및 상기 분석된 코딩 문제의 수행 결과 중 적어도 하나에 기초하여, 힌트 제공 필요도를 산출하고, 상기 힌트 제공 필요도가 임계값을 초과하는 경우 힌트 리스트를 생성하는 힌트 리스트 생성부, 상기 분석된 영상 강의의 로그파일 및 상기 분석된 코딩 중 적어도 하나에 기초하여, 지도 수행의 필요도를 산출하고, 상기 산출된 지도 수행의 필요도가 임계값을 초과하는 경우 밀착 지도 필요 메시지를 생성하는 밀착 지도 필요 메시지 생성부, 및 상기 힌트 리스트를 상기 피교육자의 단말기에 전송하고, 상기 지도 수행 알림 메시지를 상기 교육자의 단말기에 전송하는 통신부를 포함한다.In order to solve the above-mentioned problems, an auxiliary system for improving educational achievement using artificial intelligence according to another aspect of the present invention includes a lecture analysis unit that analyzes a result of a video lecture taken by a trainee in a predetermined online space, the predetermined Based on at least one of the coding analysis unit for analyzing the result of the execution of the coding problem corresponding to the video lecture of the trainee in the online space of the, at least one of the performance of the analyzed video lecture and the result of the analysis of the coding problem A map based on at least one of a hint list generation unit that calculates a need to provide and generates a hint list when the need to provide a hint exceeds a threshold, a log file of the analyzed video lecture, and the analyzed coding Calculate the necessity of performance, and if the calculated necessity of performing the map exceeds a threshold, transmit a closeness map need message generation unit that generates a closeness map need message, and the hint list to the terminal of the trainee, And a communication unit transmitting the instruction execution notification message to the educator's terminal.

일부 실시예에서, 상기 코딩 분석부는, 상기 소정의 온라인 공간상에서 수행되는 코딩의 컴파일 횟수, 컴파일 에러 횟수, 알고리즘 디자인 시간, 알고리즘 디자인 평가 결과, 코딩 수행 시간, 주어진 문제에 대한 질문/답변 횟수, 주어진 문제에 대한 정답 여부, 코딩 수행 결과, 코드가 할당되는 메모리 크기 및 코드의 정답 유무 중 적어도 하나에 기초하여, 상기 영상 강의에 상응하는 코딩 문제의 수행 결과를 분석한다.In some embodiments, the coding analysis unit, the number of compilations of the coding performed on the predetermined online space, the number of compilation errors, the algorithm design time, the algorithm design evaluation result, the coding execution time, the number of questions / answers for a given problem, a given Based on at least one of the correct answer to the problem, the result of coding, the size of the memory to which the code is allocated, and the presence or absence of the correct answer of the code, a result of performing the coding problem corresponding to the video lecture is analyzed.

일부 실시예에서, 상기 강의 분석부는, 상기 영상 강의의 재생 날짜, 재생 횟수, 평균 재생 완료율, 풀 스크린 버튼 클릭 횟수, 재생바 클릭 횟수 및 로딩 시간 중 적어도 하나에 기초하여, 상기 영상 강의의 수행 결과를 분석한다.In some embodiments, the lecture analysis unit, based on at least one of the playback date, playback number, average playback completion rate, full screen button clicks, playback bar clicks, and loading time of the video lecture, the result of performing the video lecture Analyzes.

일부 실시예에서, 상기 강의 분석부는, 상기 영상 강의 중 수행되는 퀴즈 결과에 더 기초하여, 상기 영상 강의의 수행 결과를 분석한다.In some embodiments, the lecture analysis unit analyzes a result of the video lecture based on a quiz result performed during the video lecture.

상술한 과제를 해결하기 위한 본 발명의 또 다른 면에 따른 인공지능을 이용한 교육 성취를 향상하는 보조 방법은, 컴퓨터에 의해서 실현되는 방법으로써, 소정의 온라인 공간상에서 피교육자가 수강한 영상 강의의 수행 결과를 분석하는 단계, 상기 소정의 온라인 공간상에서 상기 피교육자의 상기 영상 강의에 상응하는 코딩 문제의 수행 결과를 분석하는 단계, 상기 분석된 영상 강의의 수행 결과 및 상기 분석된 코딩 문제의 수행 결과 중 적어도 하나에 기초하여, 힌트 제공 필요도를 산출하고, 상기 힌트 제공 필요도가 임계값을 초과하는 경우 힌트 리스트를 생성하는 단계, 상기 분석된 영상 강의의 로그파일 및 상기 분석된 코딩 중 적어도 하나에 기초하여, 지도 수행의 필요도를 산출하고, 상기 산출된 지도 수행의 필요도가 임계값을 초과하는 경우 밀착 지도 필요 메시지를 생성하는 단계, 및 상기 힌트 리스트를 상기 피교육자의 단말기에 전송하고, 상기 지도 수행 알림 메시지를 상기 교육자의 단말기에 전송하는 단계를 포함한다.An auxiliary method for improving educational achievement using artificial intelligence according to another aspect of the present invention for solving the above-described problems is a method realized by a computer, and is a result of performing a video lecture taken by an educator in a predetermined online space. Analyzing the result of performing a coding problem corresponding to the video lecture of the trainee in the predetermined online space, at least one of a result of performing the analyzed video lecture and a result of performing the analyzed coding problem Based on the, calculating the need to provide a hint and generating a list of hints when the need to provide a hint exceeds a threshold, based on at least one of the analyzed video lecture log file and the analyzed coding , Calculating the necessity of performing the instruction, generating a close instructional message when the calculated necessity of performing the instruction exceeds a threshold value, and transmitting the hint list to the terminal of the trainee, and performing the instruction And transmitting a notification message to the educator's terminal.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific matters of the present invention are included in the detailed description and drawings.

본 발명의 인공지능을 이용한 교육자를 평가하는 시스템 및 방법에 의하면, 소정의 오프라인 공간을 촬영한 비디오 데이터를 영상처리하여 교육자의 지도 수행 정도를 평가하고, 교육자의 관리자에게 평가된 지도 수행 정도에 상응하는 교육자의 평가 결과를 제공할 수 있다.According to a system and method for evaluating an educator using artificial intelligence of the present invention, the video data of a predetermined offline space is image-processed to evaluate the educator's instructional performance, and corresponds to the educator's administrator's instructional performance. Can provide the results of an educator's evaluation.

또한, 지도 수행 평가부는 복수 항목의 지도 수행 정도를 판단하여, 교육자가 수준 높은 지도 수행을 위하여 어떤 항목의 지도 수행이 개선되어야 하는지를 교육자 또는 교육자의 관리자에게 제공할 수 있다.In addition, the instructional performance evaluation unit may determine the degree of instructional performance of a plurality of items, and provide an educator or an educator's manager with what item of instructional performance should be improved for an educator to perform high-level instruction.

또한, 본 발명의 인공지능을 이용한 교육 성취를 향상하는 보조 시스템 및 방법에 의하면, 피교육자가 수강한 영상 강의를 분석하고, 피교육자가 작성한 코딩 결과를 분석하여, 피교육자에게 힌트 제공이 필요한지를 자동으로 산출할 수 있다. 산출된 힌트 제공 필요도가 임계값을 초과하는 경우, 자동으로 힌트 리스트를 생성한 후 피교육자에게 제공할 수 있다.In addition, according to the auxiliary system and method for improving the educational achievement using the artificial intelligence of the present invention, the video lectures taken by the trainees are analyzed, and the coding results created by the trainees are analyzed to automatically calculate whether the trainees need to provide hints. can do. When the calculated need for providing a hint exceeds a threshold, a list of hints can be automatically generated and provided to the trainee.

또한, 피교육자가 수강한 영상 강의를 분석하고, 피교육자가 작성한 코딩 결과를 분석하여, 피교육자의 지도 수행 필요도를 자동으로 산출할 수 있다. 산출된 지도 수행의 필요도가 임계값을 초과하는 경우, 자동으로 밀착 지도 필요 메시지를 생성 후 교육자에게 제공하여, 교육자가 피교육자를 밀착 지도할 수 있도록 한다.In addition, the video lectures taken by the trainees may be analyzed, and the coding results created by the trainees may be analyzed to automatically calculate the necessity of teaching the trainees. When the calculated necessity of conducting the instruction exceeds a threshold, an educated instructional necessity message is automatically generated and provided to the educator so that the educator can instruct the educated person closely.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 교육자를 평가하는 시스템의 개략적인 구성도이다.
도 2는 인공지능을 이용한 교육자를 평가하는 시스템의 서버의 개략적인 구성도이다.
도 3은 인공지능을 이용한 교육자를 평가하는 시스템의 교육자 검출부 및 피교육자 검출부에 의해 검출된 교육자 및 피교육자 영상의 예시도이다.
도 4는 인공지능을 이용한 교육자를 평가하는 시스템의 지도 수행 검출부에 의해 검출된 지도 수행 영상의 예시도이다.
도 5는 인공지능을 이용한 교육자를 평가하는 시스템의 질문 행위 검출부에 의해 검출된 질문 행위 영상의 예시도이다.
도 6은 본 발명의 다른 실시예에 따른 인공지능을 이용한 교육자를 평가하는 방법의 개략적인 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 인공지능을 이용한 교육 성취를 향상하는 보조 시스템의 개략적인 구성도이다.
도 8은 인공지능을 이용한 교육 성취를 향상하는 보조 시스템의 힌트 리스트 생성부에 의해 생성된 힌트 리스트의 예시도이다.
도 9는 인공지능을 이용한 교육 성취를 향상하는 보조 시스템의 밀착 지도 필요 메시지 생성부에 의해 생성된 밀착 지도 필요 메시지의 예시도이다.
도 10은 본 발명의 다른 실시예에 따른 인공지능을 이용한 교육 성취를 향상하는 보조 방법의 개략적인 순서도이다.
1 is a schematic configuration diagram of a system for evaluating an educator using artificial intelligence according to an embodiment of the present invention.
2 is a schematic configuration diagram of a server in a system for evaluating educators using artificial intelligence.
3 is an exemplary view of an educator and an educator image detected by an educator detection unit and an educator detection unit of a system for evaluating educators using artificial intelligence.
4 is an exemplary view of a map performance image detected by a map performance detection unit of a system for evaluating educators using artificial intelligence.
5 is an exemplary view of a question behavior image detected by a question behavior detection unit of a system for evaluating educators using artificial intelligence.
6 is a schematic flowchart of a method for evaluating an educator using artificial intelligence according to another embodiment of the present invention.
7 is a schematic configuration diagram of an auxiliary system for improving educational achievement using artificial intelligence according to another embodiment of the present invention.
8 is an exemplary view of a hint list generated by a hint list generation unit of an auxiliary system for improving educational achievement using artificial intelligence.
9 is an exemplary diagram of a message requiring a close map generated by a message generating unit requiring a close map of an auxiliary system for improving educational achievement using artificial intelligence.
10 is a schematic flowchart of an auxiliary method for improving educational achievement using artificial intelligence according to another embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the present embodiments allow the disclosure of the present invention to be complete, and are common in the technical field to which the present invention pertains. It is provided to fully inform the skilled person of the scope of the present invention, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for describing the embodiments and is not intended to limit the present invention. In the present specification, the singular form also includes the plural form unless otherwise specified in the phrase. As used herein, “comprises” and / or “comprising” does not exclude the presence or addition of one or more other components other than the components mentioned. Throughout the specification, the same reference numerals refer to the same components, and “and / or” includes each and every combination of one or more of the components mentioned. Although "first", "second", etc. are used to describe various components, it goes without saying that these components are not limited by these terms. These terms are only used to distinguish one component from another component. Therefore, it goes without saying that the first component mentioned below may be the second component within the technical spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used as meanings commonly understood by those skilled in the art to which the present invention pertains. In addition, terms defined in the commonly used dictionary are not ideally or excessively interpreted unless explicitly defined.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 교육자를 평가하는 시스템의 개략적인 구성도이다.1 is a schematic configuration diagram of a system for evaluating an educator using artificial intelligence according to an embodiment of the present invention.

도 1을 참조하면, 인공지능을 이용한 교육자를 평가하는 시스템은, 카메라 모듈(100) 및 서버(200)를 포함한다.Referring to FIG. 1, a system for evaluating an educator using artificial intelligence includes a camera module 100 and a server 200.

카메라 모듈(100)은 소정의 오프라인 공간을 촬영하여 비디오 데이터를 생성한다. 카메라 모듈(100)은 소정의 오프라인 공간(예를 들어, 강의 교육장 등)의 상부에 설치되어 오프라인 공간에 있는 사람 또는 사물을 촬영한다. 카메라 모듈(100)은 촬영된 비디오 데이터를 서버(200)로 전송한다.The camera module 100 photographs a predetermined offline space to generate video data. The camera module 100 is installed on top of a predetermined offline space (for example, a lecture hall, etc.) to photograph a person or object in the offline space. The camera module 100 transmits the captured video data to the server 200.

서버(200)는 비디오 데이터를 영상처리하여 교육자의 지도 수행 정도를 평가한다. 서버(200)는 카메라 모듈(100)로부터 수신한 비디오 데이터를 영상처리하여 소정의 오프라인 공간 상의 교육자의 지도 수행 정도를 평가한다.The server 200 evaluates the educator's teaching performance by processing video data. The server 200 image-processes the video data received from the camera module 100 to evaluate the educator's degree of teaching performance on a predetermined offline space.

도 2는 인공지능을 이용한 교육자를 평가하는 시스템의 서버의 개략적인 구성도이다.2 is a schematic configuration diagram of a server in a system for evaluating educators using artificial intelligence.

도 2를 참조하면, 인공지능을 이용한 교육자를 평가하는 시스템의 서버(200)는, 교육자 검출부(210), 피교육자 검출부(220), 지도 수행 검출부(230), 질문 행위 검출부(240), 지도 수행 평가부(250), 교육자 데이터베이스 및 교육자 평가부(270)를 포함한다.Referring to FIG. 2, the server 200 of the system for evaluating educators using artificial intelligence includes an educator detection unit 210, an educator detection unit 220, an instruction execution detection unit 230, a question behavior detection unit 240, and an instruction execution It includes an evaluation unit 250, an educator database, and an educator evaluation unit 270.

포즈 데이터 검출부(미도시)는 소정의 오프라인 공간을 촬영한 비디오 데이터에 기초하여, 소정의 오프라인 공간 상의 사람 객체의 얼굴(눈, 코, 입, 귀, 얼굴형상), 목, 어깨, 팔꿈치, 손목, 손가락, 골반, 무릎 등의 관절을 검출하고, 각 관절을 연결하는 연결선을 생성한다. 아래에 설명하는 교육자 검출부(210), 피교육자 검출부(220), 지도 수행 검출부(230), 객체 중심점 검출부(미도시), 질문 행위 검출부(240), 지도 수행 평가부(250)는 포즈 데이터 검출부(미도시)에서 생성된 연결선에 기초하여, 각각의 특징점을 검출하거나, 각각의 객체 등을 정의할 수 있다. 특징점은 얼굴의 형태(눈, 코, 입, 얼굴 윤곽 등), 몸의 형태(마른 체형, 키가 큰 체형 등)일 수도 있고, 얼굴의 표정(웃는 얼굴, 인상 찌프리는 얼굴), 몸의 동작(서 있는 사람, 앉아 있는 사람 등)일 수 있다.The pose data detector (not shown) is based on the video data of a predetermined offline space, and the face (eye, nose, mouth, ear, face shape), neck, shoulder, elbow, wrist of a human object on the predetermined offline space , Detects joints such as fingers, pelvis, and knees, and creates connecting lines connecting each joint. The educator detection unit 210, the trainee detection unit 220, the instruction performance detection unit 230, the object center point detection unit (not shown), the question behavior detection unit 240, and the instruction performance evaluation unit 250 described below are the pose data detection unit ( On the basis of the connection line generated in (not shown), each feature point may be detected, or each object may be defined. The feature points may be the shape of the face (eyes, nose, mouth, face contours, etc.), the shape of the body (dry body, tall body, etc.), facial expressions (smiling faces, faces with frowns), body It can be an action (person standing, person sitting, etc.).

교육자 검출부(210)는 비디오 데이터에 기초하여, 교육자의 특징점을 검출한다. 교육자 검출부(210)는 소정의 오프라인 공간 상의 사람 객체 중 서서 움직이는 사람 객체를 교육자로 판단한다. 이후, 교육자 검출부(210)는 판단된 교육자에 대해서 특징점을 검출한다. The educator detection unit 210 detects a feature point of the educator based on the video data. The educator detection unit 210 determines a person object standing and moving among the person objects on a predetermined offline space as an educator. Thereafter, the educator detection unit 210 detects a feature point for the determined educator.

또한, 교육자 검출부(210)는 소정의 오프라인 공간 상의 사람 객체 중 적어도 하나의 사람 객체를 교육자로 판단하고, 판단된 교육자에 대하여 교육자라는 주석화 처리를 할 수 있다. In addition, the educator detection unit 210 may determine at least one human object as an educator among human objects on a predetermined offline space, and annotate the educator as an educator.

주석화 처리는 판단된 교육자를 설명하는 데이터를 생성하는 작업을 의미한다. 주석화 처리는 교육자에 대하여 라벨링(labeling), 컬러링(coloring) 또는 레이어링(layering)을 하는 것을 포함한다. 또한, 교육자가 어떤 사람인지 표시하는 것은 모두 주석화 처리로써 포함될 수 있다. 예를 들어, 비디오 데이터 상의 교육자는 박스(box) 등의 형태로 영역이 구분되어 표시될 수 있다. 주석화 처리는 자동 처리되는 도구를 활용할 수 있다. 교육자로 구분되어 표시된 영역에 대하여, 라벨링은 하나의 단어로 작성될 수 있고, 하나의 단어가 아닌 문장으로 자세하게 작성될 수 있다. 아래에 언급되는 피교육자, 지도 수행, 질문 행위도 동일한 방식에 의해 주석화 처리될 수 있다.Annotation processing refers to the task of generating data describing the judged educator. Annotation processing includes labeling, coloring or layering the educator. In addition, any indication of who the educator is can be included as annotation processing. For example, the educator on the video data may be displayed by dividing the area into a box or the like. Annotation processing can take advantage of automated processing tools. For areas marked as educators, labeling can be written in one word, and can be written in detail rather than in one word. The educators, guidance, and questioning behaviors mentioned below can also be annotated in the same way.

교육자 검출부(210)는 소정의 오프라인 공간 상에 두 명 이상의 교육자가 있는 경우 각각의 교육자를 판단하고, 판단된 교육자의 특징점을 검출할 수 있다. 교육자 검출부(210)는 두 명 이상의 교육자 각각에 대한 주석화 처리를 할 수 있다. 교육자 검출부(210)는 두 명 이상의 교육자를 주교육자, 부교육자로 주석화 처리할 수 있고, 각각의 교육자에 대해 동등한 교육자로 주석화 처리할 수 있다.When there are two or more educators in a predetermined offline space, the educator detection unit 210 may determine each educator and detect the determined characteristic point of the educator. The educator detection unit 210 may perform annotation processing for each of two or more educators. The educator detection unit 210 may annotate two or more educators as main educators and sub-educators, and annotate educators as equivalent educators.

피교육자 검출부(220)는 비디오 데이터에 기초하여, 소정의 오프라인 공간 상의 교육자 이외의 사람을 피교육자로 정의한다. 피교육자 검출부(220)는 비디오 데이터에 기초하여, 소정의 오프라인 공간 상의 교육자 검출부(210)에서 검출된 교육자 이외의 사람을 피교육자로 정의한다. 피교육자 검출부(220)는 정의된 피교육자의 특징점을 검출할 수 있다.The educator detection unit 220 defines a person other than an educator on a predetermined offline space as an educated person based on video data. The educator detection unit 220 defines a person other than the educator detected by the educator detection unit 210 on a predetermined offline space as the educated person based on the video data. The trainee detection unit 220 may detect a defined feature point of the trainee.

피교육자 검출부(220)는 소정의 오프라인 공간 상의 피교육자를 판단하고, 판단된 피교육자에 대하여 피교육자라는 주석화 처리를 할 수 있다.The trainee detection unit 220 may determine a trainee on a predetermined offline space and annotate the determined trainee as an trainee.

지도 수행 검출부(230)는 비디오 데이터에 기초하여, 검출된 교육자가 정의된 피교육자를 지도하는 지도 수행의 특징점을 검출한다.The instruction performance detection unit 230 detects a feature point of the instruction performance to map the trainee defined by the detected educator based on the video data.

지도 수행 검출부(230)는 소정의 시간 이상 동안, 교육자와 피교육자가 소정의 거리 이하에 있는 경우, 교육자가 피교육자를 지도 수행하는 것으로 판단하고, 지도 수행의 특징점을 검출한다.The instruction performance detection unit 230 determines that the educator conducts the instruction for the educator and detects a feature point of the instruction execution when the educator and the educator are within a predetermined distance for a predetermined time or longer.

지도 수행 검출부(230)는 교육자의 중심점과 피교육자의 중심점을 검출하고, 소정의 시간 이상 동안, 교육자의 중심점과 피교육자의 중심점이 소정의 거리 이하에 있는 경우, 교육자가 피교육자를 지도 수행하는 것으로 판단하고, 지도 수행의 특징점을 검출한다.The instruction execution detection unit 230 detects the center point of the educator and the center point of the trainee, and if the center point of the educator and the center point of the trainee are less than a predetermined distance for a predetermined time or more, it is determined that the educator conducts the trainee , It detects the feature points of the map performance.

객체 중심점 검출부(미도시)는 비디오 데이터에 기초하여, 소정의 오프라인 공간 상의 사람 객체에 대해서 각 관절 단위로 인식되어 있는 하나 이상의 연결 선의 x, y 좌표를 산출한다. 객체 중심점 검출부(미도시)는 산출된 하나 이상의 x좌표와 y좌표의 평균값을 산출하여, x, y좌표 평균값을 해당 객체의 중심점으로 정의한다.The object center point detection unit (not shown) calculates the x and y coordinates of one or more connection lines recognized in each joint unit for a human object in a predetermined offline space based on video data. The object center point detector (not shown) calculates the average values of the calculated one or more x-coordinates and y-coordinates, and defines the average values of the x- and y-coordinates as the center points of the corresponding object.

또한, 객체 중심점 검출부(미도시)는 비디오 데이터에 기초하여, 소정의 오프라인 공간 상의 사람 객체의 머리에 해당되는 부분의 중심부를 중심점으로 정의할 수 있다. 예를 들어, 객체 중심점 검출부(미도시)는 비디오 데이터에 기초하여, 소정의 오프라인 공간 상의 사람 객체의 양쪽 눈의 x, y 좌표를 산출한다. 객체 중심점 검출부(미도시)는 산출된 두 개의 x좌표와 y좌표의 평균값을 산출하여, x, y 좌표 평균값을 해당 객체의 중심점으로 정의할 수 있다.In addition, the object center point detection unit (not shown) may define a center of a portion corresponding to the head of a human object on a predetermined offline space as a center point based on video data. For example, the object center point detection unit (not shown) calculates x and y coordinates of both eyes of a human object on a predetermined offline space based on video data. The object center point detector (not shown) may calculate the average values of the calculated two x-coordinates and y-coordinates, and define the average values of the x and y coordinates as the center points of the corresponding object.

질문 행위 검출부(240)는 비디오 데이터에 기초하여, 정의된 피교육자 중 검출된 교육자에게 질문하는 질문 행위의 특징점을 검출한다.The question behavior detection unit 240 detects feature points of the question behavior of asking the detected educator among the defined educators based on the video data.

질문 행위 검출부(240)는 피교육자 중 사전 결정된 하나 이상의 질문 자세 중 어느 하나의 질문 자세를 소정의 시간 이상 유지하는 경우, 피교육자가 질문 행위를 하는 것으로 판단하고, 질문 행위의 특징점을 검출한다. 사전 결정된 질문 자세는, 손을 들고 질문하는 자세 등을 포함할 수 있다.When the question behavior detecting unit 240 maintains a question attitude of any one of the predetermined one or more question attitudes among the trainees for a predetermined time or more, it determines that the learner acts as a question and detects a feature point of the question behavior. The predetermined question posture may include a posture of raising a hand and the like.

또한, 질문 행위 검출부(240)는 피교육자 중 사전 결정된 하나 이상의 질문 자세 중 어느 하나의 질문 자세를 소정의 시간 이상 유지하고, 교육자가 해당 피교육자에게 지도 수행을 하는 경우, 피교육자가 질문 행위를 하는 것으로 판단하고, 질문 행위의 특징점을 검출할 수 있다.In addition, the question behavior detection unit 240 maintains a question posture of one or more of the predetermined question postures among the trainees for a predetermined time or more, and when the educator conducts instruction to the corresponding trainee, it is determined that the learner acts as a question Then, it is possible to detect the characteristic point of the question behavior.

지도 수행 평가부(250)는 교육자의 특징점, 지도 수행의 특징점 및 질문 행위의 특징점 중 적어도 하나에 기초하여, 교육자의 지도 수행 정도를 평가한다. The instruction performance evaluation unit 250 evaluates the degree of instruction performance by the educator based on at least one of the characteristic point of the educator, the characteristic point of the instruction execution, and the characteristic point of the question behavior.

지도 수행 정도는 복수의 항목으로 평가될 수 있다. 예를 들어, 지도 수행 정도는 교육자가 소정의 오프라인 공간에서 움직인 거리, 피교육자의 질문으로 인한 지도 수행 횟수, 교육자의 자발적인 지도 수행 횟수, 평균 지도 수행 시간, 피교육자 한 명 당 지도 수행 횟수, 피교육자의 질문 행위 후 지도 수행까지 걸린 평균 시간 등을 포함할 수 있다.The degree of guidance performance can be evaluated by a plurality of items. For example, the degree of instructional performance includes the distance that the educator has moved in a predetermined offline space, the number of instructional executions due to the questions of the educator, the number of voluntary instructional executions, the average instructional execution time, the number of instructional executions per educator, It may include the average time taken from conducting questions to conducting guidance.

지도 수행 평가부(250)에서 평가된 복수 항목의 지도 수행 정도를 교육자의 단말기 또는 교육자의 관리인의 단말기에 제공하도록 할 수 있다. 따라서, 교육자 또는 교육자의 관리인은 복수의 지도 수행 항목 중에 어떤 항목의 지도 수행을 개선하여야 피교육자에게 제공되는 지도 수행의 질을 높일 수 있는지 판단할 수 있다.It is possible to provide the educator's terminal or the educator's terminal with the instructional performance of a plurality of items evaluated by the instructional performance evaluation unit 250. Accordingly, the educator or the manager of the educator can determine which of the plurality of instructional performance items should improve instructional performance to improve the quality of instructional performance provided to the educated person.

지도 수행 평가부(250)는 평가된 복수의 항목에 대해서 사전 결정된 목표값을 교육자의 단말기 또는 교육자의 관리인의 단말기에 제공할 수 있다. 예를 들어, 지도 수행 평가부(250)는 교육자의 자발적인 지도 수행 횟수에 대해서 목표값을 20 번으로 정하고, 교육자의 단말기 또는 교육자의 관리인의 단말기에 이를 제공할 수 있다. 따라서, 교육자 또는 교육자의 관리인은 교육자가 수행한 지도 수행이 목표값에 도달하지 못하는 경우, 목표값만큼 더 지도 수행해야 수업의 질을 높일 수 있다고 판단할 수 있다.The instruction performance evaluation unit 250 may provide a predetermined target value to a terminal of the educator or a terminal of the educator's manager for a plurality of evaluated items. For example, the instruction performance evaluation unit 250 may set the target value to 20 times for the number of times the educator voluntarily performs instruction, and provide it to the terminal of the educator or the terminal of the educator. Therefore, the educator or the manager of the educator may determine that the quality of the class can be improved only if the instruction performed by the educator does not reach the target value by performing the instruction as much as the target value.

교육자 데이터베이스는 하나 이상의 교육자의 특징점을 관리 및 저장한다. 교육자 데이터베이스는 교육자가 소정의 온라인 또는 오프라인에서 교육자로서 등록되는 경우 교육자의 특징점을 저장하고 관리할 수 있다. 예를 들어, 교육자 데이터 베이스(260)는 교육자의 사진을 입력 받고, 교육자의 특징점을 검출하여 관리 및 저장할 수 있다. 또한, 교육자 데이터베이스는 소정의 오프라인 공간을 촬영한 비디오 데이터 상에서 소정의 규칙에 의해 교육자로 판단되는 사람 객체에 대해 교육자의 특징점을 검출하여 실시간 관리 및 저장할 수 있다.The educator database manages and stores the features of one or more educators. The educator database may store and manage the educator's feature points when the educator is registered as an educator in a predetermined online or offline. For example, the educator database 260 may receive a picture of the educator, detect and manage and store the feature points of the educator. In addition, the educator database may detect and characterize the educator's feature points for a person object judged as an educator according to a predetermined rule on video data photographing a predetermined offline space and manage and store it in real time.

교육자 검출부(210)는 교육자 데이터베이스 상의 교육자의 특징점과 소정의 오프라인 공간 상의 사람 객체의 특징점의 유사도를 측정하여 사람 객체를 교육자로 판단하고, 교육자의 특징점을 검출한다. 예를 들어, 교육자 검출부(210)는 교육자 데이터베이스 상의 교육자의 얼굴의 특징점과 소정의 오프라인 공간 상의 사람 객체의 얼굴의 특징점의 유사도를 측정한다. 이후, 교육자 검출부(210)는 측정된 유사도에 기초하여, 유사도가 소정의 기준 이상인 경우 소정의 오프라인 공간 상의 사람 객체를 교육자로 판단한다.The educator detection unit 210 determines a person object as an educator by measuring the similarity between the educator's characteristic point on the educator database and the characteristic point of the human object on a predetermined offline space, and detects the educator's characteristic point. For example, the educator detection unit 210 measures the similarity between the feature points of the educator's face on the educator database and the feature points of the face of the human object on the predetermined offline space. Thereafter, the educator detection unit 210 determines a person object in a predetermined offline space as an educator when the similarity is higher than a predetermined criterion based on the measured similarity.

교육자 평가부(270)는 하나 이상의 지도 수행 정도에 기초하여, 교육자를 평가하고, 교육자의 관리자의 단말기에 교육자의 평가 결과를 전송한다. 따라서, 교육자의 관리자는 객관화된 데이터에 의해 평가된 교육자의 평가 결과를 받아 볼 수 있고, 교육자에게 지도 수행에 대해 개선을 지시할 수 있다.The educator evaluation unit 270 evaluates the educator based on one or more instruction performance levels, and transmits the educator evaluation results to the educator's manager terminal. Therefore, the manager of the educator can receive the evaluation result of the educator evaluated by the objectified data, and instruct the educator to improve the performance of the instruction.

도 3은 인공지능을 이용한 교육자를 평가하는 시스템의 교육자 검출부 및 피교육자 검출부에 의해 검출된 교육자 및 피교육자 영상의 예시도이다.3 is an exemplary view of an educator and an educator image detected by an educator detection unit and an educator detection unit of a system for evaluating educators using artificial intelligence.

도 3을 참조하면, 인공지능을 이용한 교육자를 평가하는 시스템의 교육자 검출부(210) 및 피교육자 검출부(220)는, 소정의 오프라인 공간에 있는 교육자(211)의 특징점을 검출하고, 피교육자(221)를 정의한다.Referring to FIG. 3, the educator detection unit 210 and the educator detection unit 220 of a system for evaluating an educator using artificial intelligence detects feature points of the educator 211 in a predetermined offline space, and trains the educator 221. define.

교육자 검출부(210)는 비디오 데이터 상의 사람 객체의 관절을 연결하는 연결선으로 사람 객체가 서서 있는지 앉아 있는지 판단할 수 있다. 교육자 검출부(210)는 특정 사람 객체가 소정의 시간 이상 서서 있는 경우 해당 사람 객체를 교육자(211)로 판단할 수 있다. 또한, 교육자 검출부는 판단된 교육자에 대해 박스 처리하고 주석화 처리할 수 있다.The educator detection unit 210 is a connecting line connecting the joints of the human object on the video data, and may determine whether the human object is standing or sitting. The educator detection unit 210 may determine the person object as the educator 211 when the specific person object stands for a predetermined time or more. In addition, the educator detection unit may box and annotate the determined educator.

피교육자 검출부(220)는 비디오 데이터 상의 복수의 사람 객체 중 교육자 검출부(210)에 의해 검출된 교육자(211)를 제외한 사람 객체를 피교육자(221)로 판단하고 정의할 수 있다.The educator detection unit 220 may determine and define a person object as the educator 221 except for the educator 211 detected by the educator detection unit 210 among a plurality of human objects on video data.

도 4는 인공지능을 이용한 교육자를 평가하는 시스템의 지도 수행 검출부에 의해 검출된 지도 수행 영상의 예시도이다.4 is an exemplary view of a map performance image detected by a map performance detection unit of a system for evaluating educators using artificial intelligence.

도 4를 참조하면, 인공지능을 이용한 교육자를 평가하는 시스템의 지도 수행 검출부(230)는, 교육자(211)가 피교육자(221)를 지도하는 지도 수행의 특징점을 검출한다.Referring to FIG. 4, the instruction performing detection unit 230 of the system for evaluating an educator using artificial intelligence detects a feature point of instruction execution by the educator 211 to instruct the educator 221.

지도 수행 검출부(230)는 소정의 시간 이상 동안, 교육자(211)와 피교육자(221)가 소정의 거리 이하에 있는 경우, 교육자(211)가 피교육자(221)를 지도 수행하는 것으로 판단하고, 지도 수행의 특징점을 검출한다.The instruction performing detection unit 230 determines that the educator 211 performs the instruction for the educator 221 when the educator 211 and the educator 221 are within a predetermined distance for a predetermined time or longer, and performs the instruction To detect the feature point.

지도 수행 검출부(230)는 교육자(211)의 중심점과 피교육자(221)의 중심점을 검출하고, 소정의 시간 이상 동안, 교육자(211)의 중심점과 피교육자(221)의 중심점이 소정의 거리 이하에 있는 경우, 교육자(211)가 피교육자(221)를 지도 수행하는 것으로 판단하고, 지도 수행의 특징점을 검출할 수 있다. 또한, 지도 수행 검출부(230)는 판단된 지도 수행에 대해 박스 처리하고 주석화 처리할 수 있다.The instruction performing detection unit 230 detects the center point of the educator 211 and the center point of the trainee 221, and for a predetermined time or longer, the center point of the educator 211 and the center point of the trainee 221 are below a predetermined distance. In this case, the educator 211 determines that the educator 221 conducts the instruction, and detects a feature point of the instruction execution. Also, the map performance detection unit 230 may box and annotate the determined map performance.

도 5는 인공지능을 이용한 교육자를 평가하는 시스템의 질문 행위 검출부에 의해 검출된 질문 행위 영상의 예시도이다.5 is an exemplary view of a question behavior image detected by a question behavior detection unit of a system for evaluating educators using artificial intelligence.

도 5를 참조하면, 인공지능을 이용한 교육자를 평가하는 시스템의 질문 행위 검출부(240)는, 피교육자가 질문하는 질문 행위(241)의 특징점을 검출한다.Referring to FIG. 5, the question behavior detection unit 240 of the system for evaluating educators using artificial intelligence detects feature points of the question behavior 241 that the educator asks.

질문 행위 검출부(240)는 피교육자 중 사전 결정된 하나 이상의 질문 자세 중 어느 하나의 질문 자세를 소정의 시간 이상 유지하는 경우, 피교육자가 질문 행위(241)를 하는 것으로 판단하고, 질문 행위(241)의 특징점을 검출할 수 있다.The question behavior detection unit 240 determines that the educated person conducts the question action 241 when the question posture of one of the predetermined one or more question positions among the trainees is maintained for a predetermined time or longer, and the characteristic points of the question action 241 Can be detected.

도 6은 본 발명의 다른 실시예에 따른 인공지능을 이용한 교육자를 평가하는 방법의 개략적인 순서도이다.6 is a schematic flowchart of a method for evaluating an educator using artificial intelligence according to another embodiment of the present invention.

도 6을 참조하면, 인공지능을 이용한 교육자를 평가하는 방법은, 비디오 데이터를 생성하는 단계(S310), 교육자의 특징점을 검출하는 단계(S320), 피교육자를 정의하는 단계(S330), 지도 수행의 특징점을 검출하는 단계(S340), 질문 행위의 특징점을 검출하는 단계(S350) 및 지도 수행 정도를 평가하는 단계(S360)를 포함한다.Referring to FIG. 6, a method of evaluating an educator using artificial intelligence includes: generating video data (S310), detecting a feature point of the educator (S320), defining an educator (S330), and performing instruction It includes the step of detecting the feature point (S340), the step of detecting the feature point of the question behavior (S350) and the step of evaluating the degree of map performance (S360).

도 6의 인공지능을 이용한 교육자의 평가 방법은 도 1 내지 도 5을 참조하여 설명한 평가 시스템의 구성요소에 상응한다. 이하, 방법을 설명함에 있어서, 도 1 내지 도 5의 평가 시스템의 구성요소의 중복된 설명은 생략한다.The educator's evaluation method using artificial intelligence in FIG. 6 corresponds to the components of the evaluation system described with reference to FIGS. 1 to 5. Hereinafter, in describing the method, duplicate description of components of the evaluation system of FIGS. 1 to 5 will be omitted.

단계 S310에서, 카메라 모듈(100)은 소정의 오프라인 공간을 촬영하여 비디오 데이터를 생성한다.In step S310, the camera module 100 photographs a predetermined offline space to generate video data.

단계 S320에서, 교육자 검출부(210)는 비디오 데이터에 기초하여, 교육자의 특징점을 검출한다.In step S320, the educator detection unit 210 detects a feature point of the educator based on the video data.

단계 S330에서, 피교육자 검출부(220)는 비디오 데이터에 기초하여, 소정의 오프라인 공간 상의 교육자 이외의 사람을 피교육자로 정의한다.In step S330, the educator detecting unit 220 defines a person other than the educator on a predetermined offline space as the educated person based on the video data.

단계 S340에서, 지도 수행 검출부(230)는 비디오 데이터에 기초하여, 검출된 교육자가 정의된 피교육자를 지도하는 지도 수행의 특징점을 검출한다.In step S340, the instruction execution detection unit 230 detects a feature point of instruction execution to instruct the trainee defined by the detected educator based on the video data.

단계 S350에서, 질문 행위 검출부(240)는 비디오 데이터에 기초하여, 정의된 피교육자 중 검출된 교육자에게 질문하는 질문 행위의 특징점을 검출한다.In step S350, the question action detection unit 240 detects a feature point of the question action that asks the detected educator among the defined trainees based on the video data.

단계 S360에서, 지도 수행 평가부(250)는 교육자의 특징점, 지도 수행의 특징점 및 질문 행위의 특징점 중 적어도 하나에 기초하여, 교육자의 지도 수행 정도를 평가한다.In step S360, the instruction performance evaluation unit 250 evaluates the degree of instruction performance of the educator based on at least one of the characteristic point of the educator, the characteristic point of the instruction execution, and the characteristic point of the question behavior.

도 7은 본 발명의 다른 실시예에 따른 인공지능을 이용한 교육 성취를 향상하는 보조 시스템의 개략적인 구성도이다.7 is a schematic configuration diagram of an auxiliary system for improving educational achievement using artificial intelligence according to another embodiment of the present invention.

도 7을 참조하면, 인공지능을 이용한 교육 성취를 향상하는 보조 시스템은, 강의 분석부(410), 코딩 분석부(420), 힌트 리스트 생성부(430), 밀착 지도 필요 메시지 생성부(440) 및 통신부(450)를 포함한다.Referring to FIG. 7, an auxiliary system for improving educational achievement using artificial intelligence includes a lecture analysis unit 410, a coding analysis unit 420, a hint list generation unit 430, and a message guidance generation unit 440 for close instructional guidance. And a communication unit 450.

강의 분석부(410)는 소정의 온라인 공간상에서 피교육자가 수강한 영상 강의의 수행 결과를 분석한다. 강의 분석부(410)는 소정의 온라인 공간상에서 피교육자가 수강한 영상강의의 로그 데이터를 분석하고, 분석된 로그 데이터를 이용하여 피교육자의 영상 강의의 수행 결과를 분석한다. 예를 들어, 강의 분석부(410)는 영상 강의의 재생 날짜, 재생 횟수, 평균 재생 완료율, 풀 스크린 버튼 클릭 횟수, 재생바 클릭 횟수 및 로딩 시간 중 적어도 하나에 기초하여, 영상 강의의 수행 결과를 분석한다.The lecture analysis unit 410 analyzes a result of performing a video lecture taken by the trainee in a predetermined online space. The lecture analysis unit 410 analyzes log data of the video lectures taken by the trainees in a predetermined online space, and analyzes the results of the video lectures performed by the trainees using the analyzed log data. For example, the lecture analysis unit 410 may display the result of performing the video lecture based on at least one of a video lecture play date, a play count, an average play completion rate, a full screen button click count, a play bar click count, and a loading time. Analyze.

강의 분석부(410)는 영상 강의 중 수행되는 퀴즈 결과에 더 기초하여, 영상 강의의 수행 결과를 분석한다. 퀴즈는 영상 강의 중간에 피교육자에게 제공될 수 있고, 영상 강의 종료 후에 피교육자에게 제공될 수 있다. 따라서, 영상 강의 중 피교육자에게 제공되는 퀴즈는 피교육자가 영상 강의를 잘 보고 있는지 체크하는 역할을 할 수 있고, 강의 종료 후에 강의를 이해했는지 확인하는 역할을 할 수도 있다.The lecture analysis unit 410 analyzes the results of the video lecture based on the quiz result performed during the video lecture. The quiz may be provided to the trainee in the middle of the video lecture, and may be provided to the trainee after the video lecture ends. Therefore, the quiz provided to the trainee during the video lecture may serve to check whether the trainee is watching the video lecture well, or to check whether the lecture is understood after the lecture ends.

코딩 분석부(420)는 소정의 온라인 공간상에서 피교육자의 영상 강의에 상응하는 코딩 문제의 수행 결과를 분석한다.The coding analysis unit 420 analyzes a result of performing a coding problem corresponding to a video lecture of the trainee in a predetermined online space.

코딩 분석부(420)는 소정의 온라인 공간상에서 수행되는 코딩의 컴파일 횟수, 컴파일 에러 횟수, 알고리즘 디자인 시간, 알고리즘 디자인 평가 결과, 코딩 수행 시간, 주어진 문제에 대한 질문/답변 횟수, 주어진 문제에 대한 정답 여부, 코딩 수행 결과, 코드가 할당되는 메모리 크기 및 코드의 정답 유무 중 적어도 하나에 기초하여, 영상 강의에 상응하는 코딩 문제의 수행 결과를 분석한다.The coding analysis unit 420 compiles the number of codings performed on a predetermined online space, the number of compile errors, the algorithm design time, the algorithm design evaluation result, the coding execution time, the number of questions / answers for a given problem, and the correct answer for a given problem Based on at least one of whether or not the result of coding, the size of the memory to which the code is allocated, and whether or not the correct answer of the code is present, a result of performing the coding problem corresponding to the video lecture is analyzed.

소정의 온라인 공간상에서 피교육자는 코딩을 하고, 코딩 분석부(420)는 해당 코딩에 대해서 컴파일을 하는 횟수를 카운트할 수 있다. 또한, 코딩 분석부(420)는 피교육자가 컴파일을 하는 경우 컴파일의 에러가 난 횟수를 카운트할 수 있다.The educator performs coding on a predetermined online space, and the coding analysis unit 420 may count the number of times compilation is performed for the corresponding coding. Also, the coding analysis unit 420 may count the number of compile errors when the trainee compiles.

코딩 분석부(420)는 소정의 온라인 공간상에서 피교육자에게 코딩 문제를 주고, 문제에 대한 알고리즘을 제공할 수 있다. 코딩 분석부(420)는 제공된 알고리즘으로 피교육자가 코딩 문제를 디자인하는 시간을 측정할 수 있다. 또한, 코딩 분석부(420)는 제공된 알고리즘으로 디자인한 코딩을 소정의 규칙에 의해 평가하고, 디자인한 코딩에 대한 결과를 점수화할 수 있다.The coding analysis unit 420 may provide a coding problem to the trainee in a predetermined online space and provide an algorithm for the problem. The coding analysis unit 420 may measure the time for the trainee to design a coding problem with the provided algorithm. In addition, the coding analysis unit 420 may evaluate coding designed by the provided algorithm according to a predetermined rule, and score results for the designed coding.

코딩 분석부(420)는 소정의 온라인 공간상에서 피교육자에게 코딩 문제를 주고, 피교육자가 해당 코딩 문제에 대해서 코딩하는 수행 시간을 측정할 수 있다. 또한, 코딩 분석부(420)는 코딩 문제에 대한 정답 및 오답 여부를 판단할 수 있다. 또한, 코딩 분석부(420)는 피교육자가 코딩 문제에 대해서 코딩을 수행하면서 코딩 분석부(420)에 질문 또는 답변을 하는 횟수를 카운트할 수 있다.The coding analysis unit 420 may give a coding problem to an educated person in a predetermined online space, and measure an execution time for the educator to code for the coding problem. Also, the coding analysis unit 420 may determine whether a correct answer or incorrect answer is given to the coding problem. In addition, the coding analysis unit 420 may count the number of times that the educator questions or answers the coding analysis unit 420 while coding the coding problem.

코딩 분석부(420)는 소정의 온라인 공간상에서 피교육자에게 코딩 문제를 주고, 피교육자가 제출한 코딩의 결과를 판단할 수 있다. 코딩 결과는 코딩 문제에 대한 정답 여부뿐 아니라, 사용한 알고리즘, 라이브러리, 함수 등으로 제출된 코딩의 등급을 판단할 수 있다. 또한, 코딩 분석부(420)는 피교육자가 제출한 코딩의 할당되는 메모리 크기로 제출된 코딩의 등급을 판단할 수 있다. 따라서, 코딩 분석부(420)는 코딩의 할당되는 메모리 크기가 작을수록 제출된 코딩의 등급을 높다고 판단할 수 있다.The coding analysis unit 420 may give a coding problem to the trainee in a predetermined online space, and determine a coding result submitted by the trainee. The coding result can determine not only the correct answer to the coding problem, but also the grade of coding submitted by the algorithm, library, and function used. Also, the coding analysis unit 420 may determine the grade of the submitted coding by the allocated memory size of the coding submitted by the trainee. Therefore, the coding analysis unit 420 may determine that the smaller the allocated memory size of coding, the higher the grade of the submitted coding.

힌트 리스트 생성부(430)는 분석된 영상 강의의 수행 결과 및 분석된 코딩 문제의 수행 결과 중 적어도 하나에 기초하여, 힌트 제공 필요도를 산출하고, 힌트 제공 필요도가 임계값을 초과하는 경우 힌트 리스트를 생성한다.The hint list generating unit 430 calculates the need to provide a hint based on at least one of the result of performing the analyzed video lecture and the result of performing the analyzed coding problem, and when the need to provide the hint exceeds a threshold value, the hint Create a list.

힌트 리스트는 도움말 형식 또는 질문 리스트 형식으로 제공될 수 있다. 힌트 리스트 생성부(430)는 피교육자가 듣고 있는 영상 강의에 해당하는 내용 및 코딩 문제에 상응하는 도움말 또는 질문 리스트를 소정의 규칙에 의해서 생성할 수 있다. 힌트 리스트 생성부(430)는 힌트 리스트 데이터베이스에 저장된 도움말 및 질문 리스트를 불러와서 피교육자에게 제공할 수 있다.The hint list may be provided in the form of a help or question list. The hint list generation unit 430 may generate a list of help or questions corresponding to the content and coding problems corresponding to the video lecture that the educator is listening to according to a predetermined rule. The hint list generator 430 may load a list of help and questions stored in the hint list database and provide them to the trainee.

밀착 지도 필요 메시지 생성부(440)는 분석된 영상 강의의 로그파일 및 분석된 코딩 중 적어도 하나에 기초하여, 지도 수행의 필요도를 산출하고, 산출된 지도 수행의 필요도가 임계값을 초과하는 경우 밀착 지도 필요 메시지를 생성한다.The close instruction map request message generation unit 440 calculates the need for performing the map based on at least one of the analyzed video lecture log file and the analyzed coding, and the calculated need for performing the map exceeds a threshold value. In this case, a message requiring a close map is generated.

밀착 지도 필요 메시지는 피교육자의 밀착 지도가 필요한 정도를 나타내는 메시지이다. 밀착 지도 필요 메시지는 퍼센티지, 텍스트, 색깔로 표시될 수 있으며, 이에 제한되지 않는다. 예를 들어, 밀착 지도 필요 메시지는 밀착 지도가 어느 정도 필요한지를 퍼센티지로 표시할 수 있고, 밀착 지도가 필요하다는 텍스트로 표시될 수 있고, 밀착 지도가 필요한 경우 빨간색으로 박스 처리된 해당 학생의 관리창으로 표시될 수 있다.The message that needs close instruction is a message indicating the degree to which the trainee needs close instruction. Messages requiring a close map may be displayed in percentage, text, or color, but are not limited thereto. For example, a message requiring a close map can be displayed as a percentage of how close the map is required, can be displayed as a text that a close map is required, and if a close map is required, the management window of the corresponding student boxed in red It can be displayed as.

통신부(450)는 힌트 리스트를 피교육자의 단말기에 전송한다. 통신부(450)는 힌트 리스트 생성부(430)에서 생성된 힌트 리스트를 피교육자의 단말기에 전송하여 온라인상에서 피교육자가 힌트 리스트를 확인할 수 있도록 한다. 따라서, 온라인 공간상에서 피교육자가 영상 강의 또는 코딩 수행 중에 어려운 점이 생겼을 때 힌트 리스트 생성부(430)는 통신부(450)를 통해서 자동으로 피교육자에게 힌트 리스트를 제공할 수 있다.The communication unit 450 transmits a hint list to the terminal of the trainee. The communication unit 450 transmits the hint list generated by the hint list generation unit 430 to the trainee's terminal so that the trainee can check the hint list online. Accordingly, when a difficulty arises while an educator performs video lecture or coding in an online space, the hint list generation unit 430 may automatically provide the hint list to the educator through the communication unit 450.

또한, 통신부(450)는 지도 수행 알림 메시지를 교육자의 단말기에 전송한다. 통신부(450)는 밀착 지도 필요 메시지 생성부(440)에서 생성된 밀착 지도 필요 메시지의 내용에 상응하는 지도 수행 알림 메시지를 자동으로 교육자의 단말기에 제공할 수 있다.In addition, the communication unit 450 transmits a notification message for performing the instruction to the terminal of the educator. The communication unit 450 may automatically provide a map execution notification message corresponding to the content of the contact map required message generated by the contact map required message generation unit 440 to the educator's terminal.

도 8은 인공지능을 이용한 교육 성취를 향상하는 보조 시스템의 힌트 리스트 생성부에 의해 생성된 힌트 리스트의 예시도이다.8 is an exemplary view of a hint list generated by a hint list generation unit of an auxiliary system for improving educational achievement using artificial intelligence.

도 8을 참조하면, 교육 성취를 향상하는 보조 시스템의 힌트 리스트 생성부(430)는 힌트 리스트를 생성한다.Referring to FIG. 8, the hint list generation unit 430 of the auxiliary system for improving educational achievement generates a hint list.

힌트 리스트 생성부(430)는 피교육자의 단말기에 도움말 형식 또는 질물 리스트 형식으로 힌트 리스트를 제공한다. 힌트 리스트 생성부(430)는 영상 강의 또는 코딩 문제와 관련된 힌트 리스트를 힌트 박스(431)에 제공할 수 있다. 또한, 피교육자는 영상 강의 또는 코딩 문제 중 궁금한 점이 있는 경우 질문 박스(432)에 질문을 입력할 수 있다. 힌트 리스트 생성부(430)는 피교육자의 질문에 상응하는 힌트 리스트를 피교육자의 단말기에 제공할 수 있다.The hint list generation unit 430 provides a hint list to the terminal of the trainee in the form of a help or a list of questions. The hint list generation unit 430 may provide a hint list 431 related to a video lecture or coding problem to the hint box 431. In addition, the trainee may input a question in the question box 432 when there is a question in the video lecture or coding problem. The hint list generation unit 430 may provide a list of hints corresponding to the question of the trainee to the terminal of the trainee.

도 9는 인공지능을 이용한 교육 성취를 향상하는 보조 시스템의 밀착 지도 필요 메시지 생성부에 의해 생성된 밀착 지도 필요 메시지의 예시도이다.9 is an exemplary diagram of a message requiring a close map generated by a message generating unit requiring close maps of an auxiliary system for improving educational achievement using artificial intelligence.

도 9를 참조하면, 인공지능을 이용한 교육 성취를 향상하는 보조 시스템의 밀착 지도 필요 메시지 생성부(440)는 밀착 지도 필요 메시지를 교육자의 단말기에 제공할 수 있다.Referring to FIG. 9, the message generating unit 440 of the instruction for close instruction of the auxiliary system for improving the educational achievement using artificial intelligence may provide the message for the instruction of instruction to the terminal of the educator.

밀착 지도 필요 메시지 생성부(440)는 분석된 영상 강의의 로그파일 및 분석된 코딩 중 적어도 하나에 기초하여, 피교육자의 학습 인지 정도를 판단할 수 있다. 밀착 지도 필요 메시지 생성부(440)는 교육자의 단말기에 밀착 지도 필요 메시지를 제공하여 교육자가 피교육자를 밀착 지도하도록 할 수 있다. 예를 들어, 오프라인 공간의 교육자는 교육자의 단말기를 통해서 특정 피교육자에 대한 95%의 밀착 지도 필요 메시지를 수신할 수 있고, 메시지를 수신한 교육자는 해당 피교육자가 밀착 지도가 필요하다고 판단할 수 있다. 이후, 교육자는 해당 피교육자의 자리로 이동하고, 해당 피교육자의 코딩 문제 풀이에 어려움을 겪고 있는 부분, 취약한 부분, 부족한 부분 등과 관련하여 개별적으로 그리고 집중적으로 지도를 수행할 수 있다.The message generation unit 440 that needs close instruction may determine the degree of learning recognition of the trainee based on at least one of the analyzed video lecture log file and the analyzed coding. The contact instruction-needing message generation unit 440 may provide an instructional instruction-addressing message to the educator's terminal so that the educator can instruct the educator closely. For example, an educator in an offline space may receive a 95% close instructional message for a specific educator through the educator's terminal, and an educator who receives the message may determine that the educator needs close instruction. Subsequently, the educator may move to the position of the educated person and individually and intensively conduct instruction regarding the part, the vulnerable part, and the part lacking in solving the coding problem of the educated person.

따라서, 교육자는 특정 피교육자가 코딩하는 상황에서 어려움을 겪고 있는 부분이 있다는 것을 즉시 교육자의 단말기를 보고 인지할 수 있다.Therefore, the educator can immediately see and recognize the terminal of the educator that there is a part suffering from a situation in which the specific educator codes.

도 10은 본 발명의 다른 실시예에 따른 인공지능을 이용한 교육 성취를 향상하는 보조 방법의 개략적인 순서도이다.10 is a schematic flowchart of an auxiliary method for improving educational achievement using artificial intelligence according to another embodiment of the present invention.

도 10을 참조하면, 인공지능을 이용한 교육 성취를 향상하는 보조 방법은, 영상 강의의 수행 결과를 분석하는 단계(S510), 코딩 문제의 수행 결과를 분석하는 단계(S520), 힌트 리스트를 생성하는 단계(S530), 밀착 지도 필요 메시지를 생성하는 단계(S540) 및 지도 수행 알림 메시지를 전송하는 단계(S550)를 포함한다.Referring to FIG. 10, an assistive method for improving educational achievement using artificial intelligence includes: analyzing a result of performing a video lecture (S510), analyzing a result of performing a coding problem (S520), and generating a hint list It includes a step (S530), a step of generating a close contact map message (S540) and a step of transmitting a map execution notification message (S550).

도 10의 인공지능을 이용한 교육 성취를 향상하는 보조 방법은 도 7 내지 도 9를 참조하여 설명한 보조 시스템의 구성요소에 상응한다. 이하, 방법을 설명함에 있어서, 도 7 내지 도 9의 보조 시스템의 구성요소의 중복된 설명은 생략한다.The auxiliary method for improving educational achievement using artificial intelligence of FIG. 10 corresponds to the components of the auxiliary system described with reference to FIGS. 7 to 9. Hereinafter, in describing the method, duplicate description of components of the auxiliary systems of FIGS. 7 to 9 will be omitted.

단계 S510에서, 강의 분석부(410)는 소정의 온라인 공간상에서 피교육자가 수강한 영상 강의의 수행 결과를 분석한다.In step S510, the lecture analysis unit 410 analyzes the result of performing the video lecture taken by the trainee in a predetermined online space.

단계 S520에서, 코딩 분석부(420)는 소정의 온라인 공간상에서 피교육자의 영상 강의에 상응하는 코딩 문제의 수행 결과를 분석한다.In step S520, the coding analysis unit 420 analyzes the result of performing the coding problem corresponding to the video lecture of the trainee in a predetermined online space.

단계 S530에서, 힌트 리스트 생성부(430)는 분석된 영상 강의의 수행 결과 및 분석된 코딩 문제의 수행 결과 중 적어도 하나에 기초하여, 힌트 제공 필요도를 산출하고, 힌트 제공 필요도가 임계값을 초과하는 경우 힌트 리스트를 생성한다.In step S530, the hint list generation unit 430 calculates the need to provide a hint based on at least one of the result of performing the analyzed video lecture and the result of performing the analyzed coding problem, and the need to provide a hint determines a threshold value. If exceeded, a hint list is generated.

단계 S540에서, 밀착 지도 필요 메시지 생성부(440)는 분석된 영상 강의의 로그파일 및 분석된 코딩 중 적어도 하나에 기초하여, 지도 수행의 필요도를 산출하고, 산출된 지도 수행의 필요도가 임계값을 초과하는 경우 밀착 지도 필요 메시지를 생성한다.In step S540, the close map necessary message generation unit 440 calculates the need for performing the map based on at least one of the analyzed video lecture log file and the analyzed coding, and the calculated need for performing the map is critical If the value is exceeded, a message requiring a close map is generated.

단계 S550에서, 통신부(450)는 힌트 리스트를 피교육자의 단말기에 전송하고, 지도 수행 알림 메시지를 교육자의 단말기에 전송한다.In step S550, the communication unit 450 transmits a hint list to the terminal of the trainee, and transmits a notification message for performing the instruction to the terminal of the educator.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, a software module executed by hardware, or a combination thereof. The software modules may include Random Access Memory (RAM), Read Only Memory (ROM), Erasable Programmable ROM (EPROM), Electrically Erasable Programmable ROM (EEPROM), Flash Memory, Hard Disk, Removable Disk, CD-ROM, or It may reside on any type of computer readable recording medium well known in the art.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.The embodiments of the present invention have been described above with reference to the accompanying drawings, but a person skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing its technical spirit or essential features. You will understand. Therefore, it should be understood that the above-described embodiments are illustrative in all respects and not restrictive.

100 : 카메라 모듈
200 : 서버
100: camera module
200: server

Claims (12)

소정의 오프라인 공간을 촬영하여 비디오 데이터를 생성하는 카메라 모듈; 및
상기 비디오 데이터를 영상처리하여 교육자의 지도 수행 정도를 평가하는 서버를 포함하고,
상기 서버는,
상기 비디오 데이터에 기초하여, 상기 교육자의 특징점을 검출하는 교육자 검출부;
상기 비디오 데이터에 기초하여, 상기 소정의 오프라인 공간 상의 상기 교육자 이외의 사람을 피교육자로 정의하는 피교육자 검출부;
상기 비디오 데이터에 기초하여, 상기 검출된 교육자가 상기 정의된 피교육자를 지도하는 지도 수행의 특징점을 검출하는 지도 수행 검출부;
상기 비디오 데이터에 기초하여, 상기 정의된 피교육자 중 상기 검출된 교육자에게 질문하는 질문 행위의 특징점을 검출하는 질문 행위 검출부; 및
상기 교육자의 특징점, 상기 지도 수행의 특징점 및 상기 질문 행위의 특징점 중 적어도 하나에 기초하여, 상기 교육자의 상기 지도 수행 정도를 평가하는 지도 수행 평가부를 포함하는,
인공지능을 이용한 교육자를 평가하는 시스템.
A camera module that photographs a predetermined offline space to generate video data; And
Includes a server that processes the video data to evaluate the educator's teaching performance
The server,
An educator detector configured to detect a feature point of the educator based on the video data;
An educator detecting unit defining a person other than the educator as the educator on the basis of the video data;
A map performance detection unit based on the video data, the detected educator detects a feature point of a map performance for guiding the defined trainee;
A question action detection unit that detects a feature point of a question action questioning the detected educator among the defined trainees based on the video data; And
And an instructional performance evaluation unit evaluating the degree of instructional performance of the educator based on at least one of the characteristic point of the educator, the characteristic point of the instruction execution, and the characteristic point of the question behavior,
System for evaluating educators using artificial intelligence.
제1 항에 있어서,
상기 서버는, 하나 이상의 상기 교육자의 특징점을 관리 및 저장하는 교육자 데이터베이스를 더 포함하고,
상기 교육자 검출부는,
상기 소정의 오프라인 공간 상의 사람 객체 중 서서 움직이는 사람 객체를 상기 교육자로 판단하거나, 상기 교육자 데이터베이스 상의 상기 교육자의 특징점과 상기 소정의 오프라인 공간 상의 상기 사람 객체의 특징점의 유사도를 측정하여 상기 사람 객체를 상기 교육자로 판단하고, 상기 교육자의 특징점을 검출하는,
인공지능을 이용한 교육자를 평가하는 시스템.
According to claim 1,
The server further includes an educator database for managing and storing one or more feature points of the educator,
The educator detection unit,
The human object standing and moving among the human objects in the predetermined offline space is determined as the educator, or the similarity between the characteristic point of the educator in the educator database and the characteristic point of the human object in the predetermined offline space is measured. Judging by the educator, detecting the feature point of the educator,
System for evaluating educators using artificial intelligence.
제1 항에 있어서,
상기 지도 수행 검출부는,
소정의 시간 이상 동안, 상기 교육자와 상기 피교육자가 소정의 거리 이하에 있는 경우, 상기 교육자가 상기 피교육자를 지도 수행하는 것으로 판단하고, 상기 지도 수행의 특징점을 검출하는,
인공지능을 이용한 교육자를 평가하는 시스템.
According to claim 1,
The map performance detection unit,
If the educator and the trainee are within a predetermined distance or more for a predetermined period of time, the educator determines that the educator is teaching, and detects a feature point of the teaching,
System for evaluating educators using artificial intelligence.
제3 항에 있어서,
상기 지도 수행 검출부는,
상기 교육자의 중심점과 상기 피교육자의 중심점을 검출하고, 소정의 시간 이상 동안, 상기 교육자의 중심점과 상기 피교육자의 중심점이 소정의 거리 이하에 있는 경우, 상기 교육자가 상기 피교육자를 지도 수행하는 것으로 판단하고, 상기 지도 수행의 특징점을 검출하는,
인공지능을 이용한 교육자를 평가하는 시스템.
According to claim 3,
The map performance detection unit,
The center point of the educator and the center point of the trainee are detected, and for a predetermined time or more, when the center point of the educator and the center point of the trainee are less than or equal to a predetermined distance, it is determined that the educator conducts the trainee, Detecting a feature point of the map execution,
System for evaluating educators using artificial intelligence.
제1 항에 있어서,
상기 질문 행위 검출부는,
상기 피교육자 중 사전 결정된 하나 이상의 질문 자세 중 어느 하나의 질문 자세를 소정의 시간 이상 유지하는 경우, 상기 피교육자가 질문 행위를 하는 것으로 판단하고, 상기 질문 행위의 특징점을 검출하는,
인공지능을 이용한 교육자를 평가하는 시스템.
According to claim 1,
The question behavior detection unit,
If one of the pre-determined at least one question posture is maintained for a predetermined time or more, it is determined that the educator is in question and detects a feature point of the question,
System for evaluating educators using artificial intelligence.
제1 항에 있어서,
상기 서버는 교육자 평가부를 더 포함하고,
상기 교육자 평가부는,
하나 이상의 상기 지도 수행 정도에 기초하여, 상기 교육자를 평가하고, 상기 교육자의 관리자의 단말기에 상기 교육자의 평가 결과를 전송하는,
인공지능을 이용한 교육자를 평가하는 시스템.
According to claim 1,
The server further includes an educator evaluation unit,
The educator evaluation unit,
Evaluating the educator and transmitting the evaluation result of the educator to a terminal of the educator's manager, based on one or more of the teaching performance levels,
System for evaluating educators using artificial intelligence.
컴퓨터에 의해서 실현되는 방법으로써,
소정의 오프라인 공간을 촬영하여 비디오 데이터를 생성하는 단계;
상기 비디오 데이터에 기초하여, 상기 교육자의 특징점을 검출하는 단계;
상기 비디오 데이터에 기초하여, 상기 소정의 오프라인 공간 상의 상기 교육자 이외의 사람을 피교육자로 정의하는 단계;
상기 비디오 데이터에 기초하여, 상기 검출된 교육자가 상기 정의된 피교육자를 지도하는 지도 수행의 특징점을 검출하는 단계;
상기 비디오 데이터에 기초하여, 상기 정의된 피교육자 중 상기 검출된 교육자에게 질문하는 질문 행위의 특징점을 검출하는 단계; 및
상기 교육자의 특징점, 상기 지도 수행의 특징점 및 상기 질문 행위의 특징점 중 적어도 하나에 기초하여, 상기 교육자의 상기 지도 수행 정도를 평가하는 단계를 포함하는,
인공지능을 이용한 교육자를 평가하는 방법.
As a method realized by computer,
Generating video data by photographing a predetermined offline space;
Detecting a feature point of the educator based on the video data;
Defining a person other than the educator on the predetermined offline space as an educated person based on the video data;
Detecting, based on the video data, the detected educator's feature point of conducting an instruction to lead the defined educator;
Based on the video data, detecting a feature point of a question behavior of asking the detected educator among the defined educators; And
Evaluating the educator's degree of instruction performance based on at least one of the educator's feature point, the instruction performance characteristic point, and the question behavior characteristic point,
How to evaluate educators using artificial intelligence.
소정의 온라인 공간상에서 피교육자가 수강한 영상 강의의 수행 결과를 분석하는 강의 분석부;
상기 소정의 온라인 공간상에서 상기 피교육자의 상기 영상 강의에 상응하는 코딩 문제의 수행 결과를 분석하는 코딩 분석부;
상기 분석된 영상 강의의 수행 결과 및 상기 분석된 코딩 문제의 수행 결과 중 적어도 하나에 기초하여, 힌트 제공 필요도를 산출하고, 상기 힌트 제공 필요도가 임계값을 초과하는 경우 힌트 리스트를 생성하는 힌트 리스트 생성부;
상기 분석된 영상 강의의 로그파일 및 상기 분석된 코딩 중 적어도 하나에 기초하여, 지도 수행의 필요도를 산출하고, 상기 산출된 지도 수행의 필요도가 임계값을 초과하는 경우 밀착 지도 필요 메시지를 생성하는 밀착 지도 필요 메시지 생성부; 및
상기 힌트 리스트를 상기 피교육자의 단말기에 전송하고, 상기 지도 수행 알림 메시지를 상기 교육자의 단말기에 전송하는 통신부를 포함하는,
인공지능을 이용한 교육 성취를 향상하는 보조 시스템.
A lecture analysis unit that analyzes a result of a video lecture taken by a trainee in a predetermined online space;
A coding analysis unit for analyzing a result of performing a coding problem corresponding to the video lecture of the trainee in the predetermined online space;
A hint for calculating a need to provide a hint and generating a hint list when the need to provide a hint exceeds a threshold based on at least one of the result of performing the analyzed video lecture and the result of performing the analyzed coding problem List generator;
Based on at least one of the analyzed video lecture log file and the analyzed coding, a necessity of performing the map is calculated, and a need for a close map is generated when the calculated necessity of performing the map exceeds a threshold value. A message generating unit that needs a close contact map; And
And a communication unit transmitting the hint list to the terminal of the trainee, and transmitting the instruction execution notification message to the terminal of the educator,
Auxiliary system to improve educational achievement using artificial intelligence.
제8 항에 있어서,
상기 코딩 분석부는,
상기 소정의 온라인 공간상에서 수행되는 코딩의 컴파일 횟수, 컴파일 에러 횟수, 알고리즘 디자인 시간, 알고리즘 디자인 평가 결과, 코딩 수행 시간, 주어진 문제에 대한 질문/답변 횟수, 주어진 문제에 대한 정답 여부, 코딩 수행 결과, 코드가 할당되는 메모리 크기 및 코드의 정답 유무 중 적어도 하나에 기초하여, 상기 영상 강의에 상응하는 코딩 문제의 수행 결과를 분석하는,
인공지능을 이용한 교육 성취를 향상하는 보조 시스템.
The method of claim 8,
The coding analysis unit,
The number of compilations of the coding performed on the predetermined online space, the number of compilation errors, the algorithm design time, the algorithm design evaluation result, the coding execution time, the number of questions / answers for the given problem, the correct answer for the given problem, the coding execution result, Analyzing a result of performing a coding problem corresponding to the video lecture, based on at least one of a size of a memory to which a code is allocated and a presence or absence of a correct answer of the code,
Auxiliary system to improve educational achievement using artificial intelligence.
제8 항에 있어서,
상기 강의 분석부는,
상기 영상 강의의 재생 날짜, 재생 횟수, 평균 재생 완료율, 풀 스크린 버튼 클릭 횟수, 재생바 클릭 횟수 및 로딩 시간 중 적어도 하나에 기초하여, 상기 영상 강의의 수행 결과를 분석하는,
인공지능을 이용한 교육 성취를 향상하는 보조 시스템.
The method of claim 8,
The lecture analysis unit,
Analyzing the result of performing the video lecture based on at least one of the playback date, the number of playback times, the average playback completion rate, the full screen button click count, the playback bar click count, and the loading time of the video lecture,
Auxiliary system to improve educational achievement using artificial intelligence.
제8 항에 있어서,
상기 강의 분석부는,
상기 영상 강의 중 수행되는 퀴즈 결과에 더 기초하여, 상기 영상 강의의 수행 결과를 분석하는,
인공지능을 이용한 교육 성취를 향상하는 보조 시스템.
The method of claim 8,
The lecture analysis unit,
Based on the quiz results performed during the video lecture, analyzing the results of the video lecture,
Auxiliary system to improve educational achievement using artificial intelligence.
컴퓨터에 의해서 실현되는 방법으로써,
소정의 온라인 공간상에서 피교육자가 수강한 영상 강의의 수행 결과를 분석하는 단계;
상기 소정의 온라인 공간상에서 상기 피교육자의 상기 영상 강의에 상응하는 코딩 문제의 수행 결과를 분석하는 단계;
상기 분석된 영상 강의의 수행 결과 및 상기 분석된 코딩 문제의 수행 결과 중 적어도 하나에 기초하여, 힌트 제공 필요도를 산출하고, 상기 힌트 제공 필요도가 임계값을 초과하는 경우 힌트 리스트를 생성하는 단계;
상기 분석된 영상 강의의 로그파일 및 상기 분석된 코딩 중 적어도 하나에 기초하여, 지도 수행의 필요도를 산출하고, 상기 산출된 지도 수행의 필요도가 임계값을 초과하는 경우 밀착 지도 필요 메시지를 생성하는 단계; 및
상기 힌트 리스트를 상기 피교육자의 단말기에 전송하고, 상기 지도 수행 알림 메시지를 상기 교육자의 단말기에 전송하는 단계를 포함하는,
인공지능을 이용한 교육 성취를 향상하는 보조 방법.
As a method realized by computer,
Analyzing a result of performing a video lecture taken by a trainee in a predetermined online space;
Analyzing a result of performing a coding problem corresponding to the video lecture of the trainee in the predetermined online space;
Calculating a need to provide a hint based on at least one of a result of performing the analyzed video lecture and a result of performing the analyzed coding problem, and generating a hint list when the need to provide a hint exceeds a threshold value ;
Based on at least one of the analyzed video lecture log file and the analyzed coding, a necessity of performing the map is calculated, and a need for a close map is generated when the calculated necessity of performing the map exceeds a threshold value. To do; And
Transmitting the hint list to the terminal of the trainee, and transmitting the instruction execution notification message to the terminal of the educator,
Auxiliary methods to improve educational achievement using artificial intelligence.
KR1020180140827A 2018-11-15 2018-11-15 System for evaluating educators and improving the educational achievement of the trainees using artificial intelligence and method thereof KR20200056760A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180140827A KR20200056760A (en) 2018-11-15 2018-11-15 System for evaluating educators and improving the educational achievement of the trainees using artificial intelligence and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180140827A KR20200056760A (en) 2018-11-15 2018-11-15 System for evaluating educators and improving the educational achievement of the trainees using artificial intelligence and method thereof

Publications (1)

Publication Number Publication Date
KR20200056760A true KR20200056760A (en) 2020-05-25

Family

ID=70914562

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180140827A KR20200056760A (en) 2018-11-15 2018-11-15 System for evaluating educators and improving the educational achievement of the trainees using artificial intelligence and method thereof

Country Status (1)

Country Link
KR (1) KR20200056760A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102393246B1 (en) * 2021-08-26 2022-05-02 김동혁 Methods and devices using communication figures
KR102477531B1 (en) * 2021-12-02 2022-12-14 (주)스코넥엔터테인먼트 Virtual reality control system with voice recognition facility
WO2024080796A1 (en) * 2022-10-14 2024-04-18 (주)재능이아카데미 Learning guidance device, and method and computer program for remotely monitoring learner's learning situation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054038A (en) 2000-05-19 2000-09-05 안병익 Method for servicing a pass information between two wireless mobile station by using the internet

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054038A (en) 2000-05-19 2000-09-05 안병익 Method for servicing a pass information between two wireless mobile station by using the internet

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102393246B1 (en) * 2021-08-26 2022-05-02 김동혁 Methods and devices using communication figures
KR102477531B1 (en) * 2021-12-02 2022-12-14 (주)스코넥엔터테인먼트 Virtual reality control system with voice recognition facility
WO2024080796A1 (en) * 2022-10-14 2024-04-18 (주)재능이아카데미 Learning guidance device, and method and computer program for remotely monitoring learner's learning situation

Similar Documents

Publication Publication Date Title
US10643487B2 (en) Communication and skills training using interactive virtual humans
Ochoa et al. The RAP system: Automatic feedback of oral presentation skills using multimodal analysis and low-cost sensors
US20180232567A1 (en) Interactive and adaptive training and learning management system using face tracking and emotion detection with associated methods
US11475788B2 (en) Method and system for evaluating and monitoring compliance using emotion detection
EP2674927A1 (en) Computer-based teaching method
Ochoa et al. Multimodal learning analytics-Rationale, process, examples, and direction
KR20200056760A (en) System for evaluating educators and improving the educational achievement of the trainees using artificial intelligence and method thereof
Miller et al. Automated detection of proactive remediation by teachers in Reasoning Mind classrooms
US20150279220A1 (en) Method and system for analyzing exam-taking behavior and improving exam-taking skills
Barmaki Nonverbal communication and teaching performance
CN111027486A (en) Auxiliary analysis and evaluation system and method for big data of teaching effect of primary and secondary school classroom
CN115205764B (en) Online learning concentration monitoring method, system and medium based on machine vision
WO2019180652A1 (en) Interactive, adaptive, and motivational learning systems using face tracking and emotion detection with associated methods
Girard et al. Defining the behavior of an affective learning companion in the affective meta-tutor project
KR20180076372A (en) E-learning server, e-learnig system and its service method including the same
Bacon et al. A flexible framework for metacognitive modelling and development
CN110991943A (en) Teaching quality evaluation system based on cloud computing
Neto et al. Are we teaching UML according to what IT companies need? A survey on the São Carlos-SP region
KR102622115B1 (en) Method for grouping students in real time video communication system for education
RU2751759C2 (en) Software and hardware complex of the training system with automatic assessment of the student's emotions
Gazawy et al. Deep Learning for Enhanced Education Quality: Assessing Student Engagement and Emotional States
CN111667128B (en) Teaching quality assessment method, device and system
KR20170074083A (en) Interactive abacus educating method using big-data
Ito et al. Detecting Concentration of Students Using Kinect in E-learning
Qureshi et al. Honest Grade-An Online Education Platform

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
E601 Decision to refuse application
E801 Decision on dismissal of amendment