KR102319328B1 - Method of Evaluating Learning Attitudes Using Video Images of Non-face-to-face Learners, and Management Server Used Therein - Google Patents

Method of Evaluating Learning Attitudes Using Video Images of Non-face-to-face Learners, and Management Server Used Therein Download PDF

Info

Publication number
KR102319328B1
KR102319328B1 KR1020200151002A KR20200151002A KR102319328B1 KR 102319328 B1 KR102319328 B1 KR 102319328B1 KR 1020200151002 A KR1020200151002 A KR 1020200151002A KR 20200151002 A KR20200151002 A KR 20200151002A KR 102319328 B1 KR102319328 B1 KR 102319328B1
Authority
KR
South Korea
Prior art keywords
learner
terminal
screen
learner terminal
management server
Prior art date
Application number
KR1020200151002A
Other languages
Korean (ko)
Inventor
이종우
Original Assignee
이종우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이종우 filed Critical 이종우
Priority to KR1020200151002A priority Critical patent/KR102319328B1/en
Application granted granted Critical
Publication of KR102319328B1 publication Critical patent/KR102319328B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00624—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Abstract

Disclosed are a learning attitude evaluation method using an image of a non-face-to-face learner, and a management server used therefor. The learning attitude evaluation method comprises the processes of: receiving, by a management server, an image photographed by a learner from a learner terminal; determining whether the learner views a screen of a learner terminal on the basis of the image; and evaluating a learning attitude of the learner on the basis of a result of determining whether the learner views the screen and a detailed viewing area analysis result of the learner on the screen of the learner terminal, received from the learner terminal. According to the present invention, it is determined whether the learner views the screen of the learner terminal in which learning content is executed, based on the image of a non-face-to-face learner. Also, a learning attitude of the learner can be evaluated and managed by calculating a learning attention level of the learned based on a result of analyzing a gaze area of the learner.

Description

비대면 학습자의 영상 이미지를 이용하는 학습 태도 평가 방법 및 이에 사용되는 관리 서버{Method of Evaluating Learning Attitudes Using Video Images of Non-face-to-face Learners, and Management Server Used Therein}Method of Evaluating Learning Attitudes Using Video Images of Non-face-to-face Learners, and Management Server Used Therein

본 발명은 비대면 학습자의 영상 이미지를 이용하는 학습 태도 평가 방법 및 이에 사용되는 관리 서버에 관한 것으로, 더욱 상세하게는 비대면 학습자의 영상 이미지에 기초하여 학습자가 학습 콘텐츠가 실행되고 있는 학습자 단말기의 화면을 주시하고 있는지 여부를 판단하고, 학습자의 시선 영역을 분석한 결과에 기초하여 학습자의 학습 주목도를 산출함으로써 학습자의 학습 태도를 평가 및 관리할 수 있도록 하는 비대면 학습자의 영상 이미지를 이용하는 학습 태도 평가 방법 및 이에 사용되는 관리 서버에 관한 것이다. The present invention relates to a learning attitude evaluation method using a video image of a non-face-to-face learner and a management server used therefor, and more particularly, to a screen of a learner terminal where a learner is executing learning content based on a video image of a non-face-to-face learner. Learning attitude evaluation using video images of non-face-to-face learners to evaluate and manage learners' learning attitudes by determining whether they are watching It relates to a method and a management server used therein.

코로나 바이러스의 유행에 따라 교육 현장 또한 네트워크를 통한 비대면화가 급속하게 진행되고 있다. 그러나 오프라인 교육 현장에서는 선생님이나 강사 등의 교육 관리자가 학습자들의 학습 태도를 직접 목격하고 관리할 수 있었던 반면 온라인 교육 현장에서는 학습자들의 학습 태도를 점검하고 지도하는 것이 실질적으로 불가능하다는 문제가 있다.With the outbreak of the coronavirus, educational sites are also rapidly becoming non-face-to-face through networks. However, in the offline education field, education managers such as teachers and instructors were able to directly observe and manage the learning attitudes of learners, whereas in the online education field, there is a problem that it is practically impossible to check and guide learners' learning attitudes.

온라인 교육에서의 이와 같은 한계로 인해 학습자들은 단지 교육 콘텐츠가 재생되는 PC 등의 학습자 단말기 앞에 앉아 있는 것만으로 교육 과정을 이수할 수 있게 되며 이는 학습자들의 심각한 학력 저하의 문제로 귀결된다.Due to such limitations in online education, learners can complete the educational process simply by sitting in front of a learner's terminal such as a PC where educational content is played, which leads to a serious deterioration in the learners' academic ability.

따라서, 온라인 학습 과정에서 학습자들의 학습 태도를 평가하고 이를 기초로 온라인 학습자들을 관리할 수 있는 방안이 절실하게 요구되고 있는 상황이다.Therefore, there is an urgent need for a method to evaluate learners' learning attitudes in the online learning process and to manage online learners based on this.

공개특허공보 제10-2018-0107576호(2018.10.02.)Laid-Open Patent Publication No. 10-2018-0107576 (2018.10.02.)

따라서, 본 발명의 목적은, 비대면 학습자의 영상 이미지에 기초하여 학습자가 학습 콘텐츠가 실행되고 있는 학습자 단말기의 화면을 주시하고 있는지 여부를 판단하고, 학습자의 시선 영역을 분석한 결과에 기초하여 학습자의 학습 주목도를 산출함으로써 학습자의 학습 태도를 평가 및 관리할 수 있도록 하는 비대면 학습자의 영상 이미지를 이용하는 학습 태도 평가 방법 및 이에 사용되는 관리 서버를 제공함에 있다.Therefore, an object of the present invention is to determine whether the learner is looking at the screen of the learner terminal where the learning content is being executed based on the video image of the non-face-to-face learner, and based on the result of analyzing the learner's gaze area, the learner An object of the present invention is to provide a learning attitude evaluation method using a non-face-to-face learner's video image that enables evaluation and management of the learner's learning attitude by calculating the learning attention level of the learner, and a management server used therefor.

상기 목적을 달성하기 위한 본 발명에 따른 비대면 학습자의 영상 이미지를 이용하는 학습 태도 평가 방법은, (a) 관리 서버가, 학습자를 촬영한 영상 이미지를 학습자 단말기로부터 수신하는 단계; (b) 상기 관리 서버가, 상기 영상 이미지에 기초하여 상기 학습자의 상기 학습자 단말기의 화면 주시 여부를 판단하는 단계; 및 (c) 상기 관리 서버가, 상기 화면 주시 여부를 판단 결과와 상기 학습자 단말기로부터 수신된 상기 학습자 단말기의 화면에서의 상기 학습자의 세부 주시 영역 분석 결과에 기초하여 상기 학습자의 학습 태도를 평가하는 단계를 포함한다.A method for evaluating a learning attitude using a video image of a non-face-to-face learner according to the present invention for achieving the above object, comprises the steps of: (a) receiving, by a management server, a video image of a learner from a learner terminal; (b) determining, by the management server, whether the learner looks at the screen of the learner terminal based on the video image; and (c) evaluating, by the management server, the learning attitude of the learner based on a result of determining whether to look at the screen and a result of analyzing the detailed gaze area of the learner on the screen of the learner terminal received from the learner terminal. includes

바람직하게는, 상기 (a) 단계 이전에, 상기 관리 서버가, 상기 학습자 단말기로 학습 콘텐츠를 송신하는 단계를 더 포함한다.Preferably, before the step (a), the management server further comprises the step of transmitting the learning content to the learner terminal.

한편, 본 발명에 따른 관리 서버는 학습자를 촬영한 영상 이미지를 학습자 단말기로부터 수신하는 수신부; 및 상기 영상 이미지에 기초하여 상기 학습자의 상기 학습자 단말기의 화면 주시 여부를 판단하고, 상기 화면 주시 여부를 판단 결과와 상기 학습자 단말기로부터 수신된 상기 학습자 단말기의 화면에서의 상기 학습자의 세부 주시 영역 분석 결과에 기초하여 상기 학습자의 학습 태도를 평가하는 판단부를 포함한다.On the other hand, the management server according to the present invention is a receiving unit for receiving a video image of the learner from the learner terminal; and determining whether the learner looks at the screen of the learner terminal based on the video image, and the result of determining whether the learner looks at the screen and the result of analyzing the detailed gaze area of the learner on the screen of the learner terminal received from the learner terminal and a determination unit for evaluating the learner's learning attitude based on the

바람직하게는, 상기 학습자 단말기로 학습 콘텐츠를 송신하는 송신부를 더 포함한다.Preferably, it further comprises a transmitter for transmitting the learning content to the learner terminal.

본 발명에 따르면, 비대면 학습자의 영상 이미지에 기초하여 학습자가 학습 콘텐츠가 실행되고 있는 학습자 단말기의 화면을 주시하고 있는지 여부를 판단하고, 학습자의 시선 영역을 분석한 결과에 기초하여 학습자의 학습 주목도를 산출함으로써 학습자의 학습 태도를 평가 및 관리할 수 있게 된다.According to the present invention, based on the video image of the non-face-to-face learner, it is determined whether the learner is looking at the screen of the learner terminal where the learning content is being executed, and the learner's learning attention level is based on the result of analyzing the learner's gaze area. By calculating , it is possible to evaluate and manage the learning attitude of the learner.

도 1은 본 발명의 일 실시예에 따른 비대면 학습자의 영상 이미지를 이용하는 학습 태도 평가 시스템의 구성도,
도 2는 본 발명의 일 실시예에 따른 학습자를 촬영한 영상 이미지를 이용하는 학습 태도 평가 방법을 실행하는 관리 서버의 구조를 나타내는 기능 블록도,
도 3은 본 발명의 일 실시예에 따른 학습자를 촬영한 영상 이미지를 이용하는 학습 태도 평가 방법의 실행 과정을 설명하는 신호 흐름도,
도 4는 학습자 단말기에 설치된 프로그램에 의한 학습자의 시선 영역의 산출 과정을 설명하는 절차 흐름도, 및
도 5는 본 발명에 따른 동공 위치 산출 방법의 실행 원리를 나타낸 도면이다.1 is a configuration diagram of a learning attitude evaluation system using a video image of a non-face-to-face learner according to an embodiment of the present invention;
2 is a functional block diagram showing the structure of a management server executing a learning attitude evaluation method using a video image of a learner according to an embodiment of the present invention;
3 is a signal flow diagram illustrating an execution process of a learning attitude evaluation method using a video image of a learner according to an embodiment of the present invention;
4 is a flowchart illustrating a process of calculating a learner's gaze area by a program installed in the learner's terminal, and
5 is a view showing the principle of execution of the pupil position calculation method according to the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.Hereinafter, the present invention will be described in more detail with reference to the drawings. It should be noted that the same components in the drawings are denoted by the same reference numerals wherever possible. In addition, detailed descriptions of well-known functions and configurations that may unnecessarily obscure the gist of the present invention will be omitted.

도 1은 본 발명의 일 실시예에 따른 비대면 학습자의 영상 이미지를 이용하는 학습 태도 평가 시스템의 구성도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 비대면 학습자의 영상 이미지를 이용하는 학습 태도 평가 시스템은 학습자 단말기(100) 및 관리 서버(200)를 포함한다.1 is a configuration diagram of a learning attitude evaluation system using a video image of a non-face-to-face learner according to an embodiment of the present invention. Referring to FIG. 1 , a learning attitude evaluation system using a video image of a non-face-to-face learner according to an embodiment of the present invention includes a learner terminal 100 and a management server 200 .

도 1에서와 같이 학습자 단말기(100)에는 학습자의 얼굴을 촬영하는 웹캠 등의 카메라 장치(110)가 구비되어 있으며, 카메라 장치(110)는 학습 콘텐츠가 실행 및 출력되고 있는 학습자 단말기(100)의 모니터 등의 출력 장치의 화면(130)을 주시하고 있는 학습자의 얼굴을 촬영하고, 촬영된 영상 이미지 데이터를 학습자 단말기(100)로 실시간으로 전송한다.As shown in FIG. 1 , the learner terminal 100 is provided with a camera device 110 such as a webcam for photographing the learner's face, and the camera device 110 is the learner terminal 100 in which the learning content is being executed and output. The face of the learner who is watching the screen 130 of the output device such as a monitor is photographed, and the captured video image data is transmitted to the learner terminal 100 in real time.

한편, 학습자 단말기(100)의 본체에는 학습자의 동공 위치 산출 방법과 이를 이용한 학습자의 시선 추적 방법의 각 단계를 실행하는 프로그램이 설치되어 있으며, 이와 같은 프로그램은 프로그램 배포용 서버를 통해 PC, 스마트 폰 등의 통신 기능을 구비한 학습자 단말기(100)로 다운로드되어 설치되어 사용되거나 CD, USB 등 다양한 기록 매체에 기록된 상태에서 양도 또는 대여될 수 있을 것이다.On the other hand, in the main body of the learner terminal 100, a program for executing each step of the method for calculating the pupil position of the learner and the method for tracking the gaze of the learner using the same is installed, and such a program is provided by a PC, a smart phone through a server for program distribution. It may be downloaded to the learner terminal 100 having a communication function, such as, installed and used, or transferred or rented while being recorded on various recording media such as CD or USB.

한편, 학습자 단말기는(100)는 카메라 장치(110)를 통해 실시간으로 획득한 학습자의 촬영 이미지를 관리 서버(200)로 송신하며, 학습자의 촬영 이미지에 기초하여 산출한 학습자의 화면(130) 상에서의 시선 영역 정보 또한 관리 서버(200)로 송신한다.On the other hand, the learner terminal 100 transmits the learner's photographed image acquired in real time through the camera device 110 to the management server 200, and on the learner's screen 130 calculated based on the learner's photographed image Also, the gaze area information is transmitted to the management server 200 .

관리 서버(200)는 학습자 단말기(100)로부터 수신된 학습자의 촬영 이미지에 기초하여 학습자가 학습자 단말기(100)의 화면(130)을 주시하고 있는지 여부를 판단하고, 화면 주시 여부 판단 결과와 학습자 단말기(100)로부터 수신된 학습자 단말기(100)의 화면(130) 상에서의 학습자의 세부 주시 영역 분석 결과에 기초하여 학습자의 학습 태도를 평가한다.The management server 200 determines whether the learner is looking at the screen 130 of the learner terminal 100 based on the learner's photographed image received from the learner terminal 100, and determines whether the learner is watching the screen 130 and the result of determining whether to look at the screen and the learner terminal The learner's learning attitude is evaluated based on the result of the detailed gaze area analysis of the learner on the screen 130 of the learner terminal 100 received from the learner terminal 100 .

도 2는 본 발명의 일 실시예에 따른 학습자를 촬영한 영상 이미지를 이용하는 학습 태도 평가 방법을 실행하는 관리 서버(200)의 구조를 나타내는 기능 블록도이다. 도 2를 참조하면, 본 발명의 일 실시예에 따른 학습자를 촬영한 영상 이미지를 이용하는 학습 태도 평가 방법을 실행하는 관리 서버(200)는 수신부(210), 저장부(230), 판단부(250) 및 송신부(270)를 포함한다.2 is a functional block diagram showing the structure of a management server 200 that executes a learning attitude evaluation method using a video image of a learner according to an embodiment of the present invention. Referring to FIG. 2 , the management server 200 executing the learning attitude evaluation method using a video image of a learner according to an embodiment of the present invention includes a receiving unit 210 , a storage unit 230 , and a determining unit 250 . ) and a transmitter 270 .

관리 서버(200)의 수신부(210)는 학습자 단말기(100)로부터 학습자의 영상 이미지와 학습자의 시선 영역 분석 정보를 수신하며, 관리 서버(200)의 판단부(250)는 학습자의 영상 이미지와 학습자의 시선 영역 분석 정보에 기초하여 학습자의 학습 태도를 평가한다.The receiver 210 of the management server 200 receives the learner's image image and the learner's gaze region analysis information from the learner terminal 100, and the determination unit 250 of the management server 200 receives the learner's video image and the learner. Evaluate the learner's learning attitude based on the analysis information of the gaze area.

관리 서버(200)의 송신부(270)는 학습자 단말기(100)로 학습 콘텐츠와 학습자의 학습 태도 평가 정보를 송신하며, 수신부(210)에서의 각종 수신 정보, 판단부(250)에서의 각종 판단 및 평가 정보 및 송신부(270)에서의 각종 송신 정보는 관리 서버(200)의 저장부(230)에 누적 저장된다.The transmitter 270 of the management server 200 transmits learning content and learning attitude evaluation information to the learner terminal 100 , and various received information from the receiver 210 , various judgments from the determiner 250 and The evaluation information and various types of transmission information from the transmitter 270 are accumulated and stored in the storage 230 of the management server 200 .

도 3은 본 발명의 일 실시예에 따른 학습자를 촬영한 영상 이미지를 이용하는 학습 태도 평가 방법의 실행 과정을 설명하는 신호 흐름도이다. 이하에서는 도 1 내지 도 3을 참조하여, 본 발명의 일 실시예에 따른 학습자를 촬영한 영상 이미지를 이용하는 학습 태도 평가 방법의 실행 과정을 설명하기로 한다.3 is a signal flow diagram illustrating an execution process of a learning attitude evaluation method using a video image of a learner according to an embodiment of the present invention. Hereinafter, an execution process of a learning attitude evaluation method using a video image of a learner according to an embodiment of the present invention will be described with reference to FIGS. 1 to 3 .

먼저, 학습 콘텐츠를 관리 서버(200)가 학습자 단말기(100)로 송신함에 따라 학습자 단말기(100)의 화면(130)에는 학습 콘텐츠 영상이 출력되며 이에 학습자는 학습 콘텐츠 영상을 시청하며 학습을 진행한다(S300).First, as the management server 200 transmits the learning content to the learner terminal 100, the learning content image is output on the screen 130 of the learner terminal 100, and the learner proceeds learning while watching the learning content image. (S300).

한편, 학습자 단말기(100)에 구비된 카메라 장치(110)가 학습자 단말기(100)의 화면(130)을 주시하는 학습자를 촬영함에 따라 학습자 단말기(100)는 학습을 진행하는 학습자의 영상 이미지를 획득하게 된다(S310).On the other hand, as the camera device 110 provided in the learner terminal 100 takes a picture of the learner looking at the screen 130 of the learner terminal 100, the learner terminal 100 acquires a video image of the learner in progress. (S310).

학습자 단말기(100)는 카메라 장치(110)를 통해 획득한 학습자의 영상 이미지를 관리 서버(200)로 실시간으로 송신하며(S320), 이에 관리 서버(200)의 판단부(250)는 학습자 단말기(100)로부터 수신된 비대면 학습자의 영상 이미지에 기초하여 해당 학습자가 학습자 단말기(100)의 화면(130)을 주시하고 있는지 여부를 판단한다(S330).The learner terminal 100 transmits the video image of the learner acquired through the camera device 110 to the management server 200 in real time (S320), and thus the determination unit 250 of the management server 200 is the learner terminal ( Based on the video image of the non-face-to-face learner received from 100), it is determined whether the learner is watching the screen 130 of the learner terminal 100 (S330).

구체적으로, 관리 서버(200)에 설치되어 있는 시선 추적 프로그램은 학습자 단말기(100)로부터 수신되는 학습자의 얼굴 영상 이미지를 분석함으로써 학습 콘텐츠가 출력되고 있는 학습자 단말기(100)의 화면(130) 상에서 학습자의 시선 방향과 일치하는 영역의 위치 정보인 학습자의 시선 영역 정보를 산출한다.Specifically, the eye tracking program installed in the management server 200 analyzes the learner's face image image received from the learner terminal 100 to display the learning content on the screen 130 of the learner terminal 100. Calculate the learner's gaze area information, which is the location information of the area that matches the gaze direction of

관리 서버(200)의 판단부(250)는 이와 같이 산출된 학습자의 시선 영역이 학습자 단말기(100)의 화면(130) 영역에 포함되어 있는 경우에는 학습자가 화면(130)을 주시하고 있는 것으로 판단하며, 학습자의 시선 영역이 학습자 단말기(100)의 화면(130) 영역에 포함되어 있지 않은 경우에 학습자가 화면(130)을 주시하고 있지 않은 것으로 판단할 수 있을 것이다.The determination unit 250 of the management server 200 determines that the learner is gazing at the screen 130 when the calculated learner's gaze area is included in the screen 130 area of the learner terminal 100 . In addition, when the learner's gaze area is not included in the screen 130 area of the learner terminal 100 , it may be determined that the learner is not looking at the screen 130 .

관리 서버(200)의 판단부(250)는 소정의 기준 시간(예를 들면, 10분) 동안 전술한 S330 단계를 연속적으로 실행한 결과, 학습자가 화면(130)을 주시하고 있는 것으로 판단된 시간 구간이 소정의 기준 비율(예를 들면, 50%) 미만인 경우에는 학습자의 학습 태도를 '불량'으로 평가할 수 있을 것이다.The determination unit 250 of the management server 200 continuously executes the above-described step S330 for a predetermined reference time (eg, 10 minutes), and as a result, it is determined that the learner is watching the screen 130 . When the interval is less than a predetermined reference ratio (eg, 50%), the learner's learning attitude may be evaluated as 'poor'.

한편, 관리 서버(200)의 판단부(250)가 소정의 기준 시간(예를 들면, 10분) 동안 전술한 S330 단계를 연속적으로 실행한 결과 학습자가 화면(130)을 주시하고 있는 것으로 판단된 시간 구간이 소정의 기준 비율(예를 들면, 50%) 이상인 경우에 관리 서버(200)는 학습자의 학습 태도에 대한 보다 정밀한 평가를 위해 학습자 단말기(100)로 학습자의 시선 영역 정보 요청을 송신할 수 있을 것이다(S340).On the other hand, as a result of the determination unit 250 of the management server 200 continuously executing the above-described step S330 for a predetermined reference time (eg, 10 minutes), it is determined that the learner is watching the screen 130 . If the time interval is greater than or equal to a predetermined reference ratio (eg, 50%), the management server 200 transmits the learner's gaze area information request to the learner terminal 100 for a more precise evaluation of the learner's learning attitude. It will be possible (S340).

이에 학습자 단말기(100)에 설치되어 있는 학습자의 동공 위치 산출 방법과 이를 이용한 학습자의 시선 추적 방법의 각 단계를 실행하는 프로그램은 전술한 S310 단계에서 획득한 비대면 학습자의 영상 이미지에 기초하여 학습자의 시선 영역을 산출한다(S350).Accordingly, the program for executing each step of the method for calculating the pupil position of the learner installed in the learner terminal 100 and the method for tracking the gaze of the learner using the same is based on the image image of the learner obtained in step S310 described above. A gaze area is calculated (S350).

도 4는 학습자 단말기(100)에 설치된 프로그램에 의한 학습자의 시선 영역의 산출 과정을 설명하는 절차 흐름도이다. 이하에서는 도 4를 참조하여, 학습자 단말기(100)에 설치된 프로그램에 의한 학습자의 시선 영역의 산출 방법의 실행 과정을 상세히 설명하기로 한다.4 is a flow chart illustrating a process of calculating a gaze region of a learner by a program installed in the learner terminal 100 . Hereinafter, with reference to FIG. 4 , the execution process of the method of calculating the gaze region of the learner by the program installed in the learner terminal 100 will be described in detail.

먼저, 학습자 단말기(100)는 카메라 장치(110)로부터 수신된 영상 이미지에 대한 영상 분석 과정을 통해 영상 이미지로부터 학습자의 얼굴 영역을 추출한다(S351).First, the learner terminal 100 extracts the learner's face region from the video image through the video analysis process for the video image received from the camera device 110 (S351).

한편, 본 발명을 실시함에 있어서, 웹캠 등의 다양한 종류의 카메라 장치(110)에 의해 촬영되는 영상 이미지는 다양한 사이즈나 해상도가 될 수 있으며, 이에 학습자 단말기(100)는 DCN(Deep Convolutional Network) 방식을 적용함으로써, 카메라 장치(110)로부터 수신된 영상 이미지에 대한 소정의 이미지 프로세싱 절차를 통해 일정한 사이즈와 해상도를 가진 영상 이미지를 확보함이 바람직할 것이다.Meanwhile, in practicing the present invention, video images captured by various types of camera devices 110 such as webcams may be of various sizes or resolutions, and thus the learner terminal 100 is a DCN (Deep Convolutional Network) method. By applying , it would be desirable to secure a video image having a certain size and resolution through a predetermined image processing procedure for the video image received from the camera device 110 .

이를 통해 학습자 단말기(100)는 학습자의 시선 영역의 산출 과정의 각 절차에서의 연산 속도와 정확도를 높일 수 있게 된다.Through this, the learner terminal 100 can increase the calculation speed and accuracy in each procedure of the calculation process of the learner's gaze region.

아울러, 본 발명을 실시함에 있어서, 전술한 S351 단계에서 학습자 단말기(100)가 학습자의 얼굴 영역을 인식함에 있어서, 컴퓨터 비전 영역(Computer Vision)에서의 제반 알고리즘들을 활용한 방식 또는 생물학의 신경망에서 영감을 얻은 통계학적 학습 알고리즘인 인공 신경망(Artificial neural network)를 활용한 방식 또는 머신 러닝을 통한 얼굴 검출(Face Detection) 방식 등을 사용할 수 있을 것이다.In addition, in carrying out the present invention, when the learner terminal 100 recognizes the learner's face region in the above-described step S351, a method using various algorithms in the computer vision area or a neural network of biology A method using an artificial neural network, which is a statistical learning algorithm obtained by obtaining .

그 다음, 학습자 단말기(100)는 추출된 얼굴 영역으로부터 도 5에서와 같은 학습자의 눈 영역(10)을 추출한다(S352). 구체적으로, 학습자 단말기(100)는 학습자 안구의 외부 노출 영역의 경계에서의 눈꺼풀의 피부 조직과 안구의 흰 자위의 색상값의 차이가 발생하는 지점을 연속적으로 검출함으로써 눈 영역(10)을 추출할 수 있을 것이다.Next, the learner terminal 100 extracts the learner's eye area 10 as shown in FIG. 5 from the extracted face area (S352). Specifically, the learner terminal 100 extracts the eye area 10 by continuously detecting a point at which a difference in color values between the skin tissue of the eyelid and the white color of the eyeball at the boundary of the external exposure area of the learner's eye occurs. will be able

이와 같이 학습자의 눈 영역(10)을 추출한 다음 학습자 단말기(100)는 추출된 눈 영역(10)으로부터 학습자의 눈동자 영역(20)을 추출한다(S353). 구체적으로, 학습자 단말기(100)는 눈 영역(10)에서의 흰 자위와 홍채의 경계에서의 흰 자위의 색상값과 홍채의 색상값의 차이가 발생하는 지점을 연속적으로 검출함으로써 눈동자 영역(20)을 추출할 수 있을 것이다. After extracting the learner's eye region 10 in this way, the learner terminal 100 extracts the learner's pupil region 20 from the extracted eye region 10 (S353). Specifically, the learner terminal 100 continuously detects a point at which a difference between a white masturbation color value and an iris color value at the boundary between the white masturbation and the iris in the eye region 10 occurs in the pupil region 20 . will be able to extract

한편, 학습자 단말기(100)는 이와 같이 추출된 눈동자 영역(20)의 중심 좌표를 산출함으로써 동공의 위치 정보를 산출하게 된다(S354).Meanwhile, the learner terminal 100 calculates the pupil position information by calculating the center coordinates of the pupil region 20 extracted as described above (S354).

구체적으로, 학습자 단말기(100)는 전술한 S353 단계에서 추출한 눈동자 영역(20)에 의해 정의되는 원의 중심 좌표를 산출함으로써 동공의 위치 정보를 산출할 수 있을 것이다.Specifically, the learner terminal 100 may calculate the pupil position information by calculating the center coordinates of the circle defined by the pupil region 20 extracted in step S353 described above.

한편, 본 발명을 실시함에 있어서, 눈동자 영역(20)의 일부가 눈꺼풀에 의해 가려진 경우에 학습자 단말기(100)는 눈 영역(10)에서의 흰 자위와 홍채의 경계에서의 흰 자위의 색상값과 홍채의 색상값의 차이가 발생하는 지점의 환형 연속 검출 구간에 기초하여 나머지 구간에 대한 보간법을 실행함으로써 원의 형상을 갖는 눈동자 영역(20)을 추출할 수 있을 것이다.Meanwhile, in the practice of the present invention, when a part of the pupil region 20 is covered by the eyelid, the learner terminal 100 determines the color value of the white masturbation in the eye region 10 and the white masturbation value at the boundary between the iris and the iris. The pupil region 20 having a circular shape may be extracted by performing interpolation on the remaining sections based on the annular continuous detection section of the point where the difference in color values of the iris occurs.

이와 같이 본 발명에 의하면 적외선 카메라 장비가 아닌 웹캠 등의 일반 카메라 장치(110)를 통해서도 학습자의 동공 위치를 높은 정밀도로 인식할 수 있게 된다.As described above, according to the present invention, it is possible to recognize the pupil position of the learner with high precision even through the general camera device 110 such as a webcam rather than the infrared camera device.

아울러, 본 발명을 실시함에 있어서는 학습자 단말기(100)는 동공의 색상값 정보, 동공의 형상 정보, 동공의 크기 정보 등의 동공을 규정하기 위한 파라미터값을 미리 설정한 상태에서 컴퓨터 비전 계산 방법을 통해 동공의 위치를 산출할 수도 있을 것이다.In addition, in carrying out the present invention, the learner terminal 100 uses a computer vision calculation method in a state in which parameter values for defining the pupil, such as pupil color value information, pupil shape information, and pupil size information, are set in advance. It may be possible to calculate the position of the pupil.

아울러, 본 발명을 실시함에 있어서, 학습자 단말기(100)가 동공의 위치 정보를 산출함에 있어서, 디지털 영상의 밝기나 색 등의 특성을 다른 주변 영역과 비교하는 방식의 알고리즘인 얼룩 감지(Blob Detection) 알고리즘을 사용할 수도 있을 것이다.In addition, in carrying out the present invention, when the learner terminal 100 calculates the location information of the pupil, Blob Detection is an algorithm that compares characteristics such as brightness or color of a digital image with other surrounding areas. You could also use an algorithm.

보다 구체적으로, 학습자 단말기(100)는 컴퓨터 비전 영역의 임계값(thresholding), 블러링(blurring) 등의 기본 알고리즘 기법들을 순차적으로 활용해 동공 위치 이외의 픽셀값들을 필터링하는 방식으로 동공의 위치를 산출할 수도 있을 것이다.More specifically, the learner terminal 100 determines the position of the pupil by sequentially using basic algorithm techniques such as thresholding and blurring of the computer vision area to filter pixel values other than the pupil position. It may be possible to calculate

또한, 이와 같은 방식으로 동공의 후보군이 도출되는 경우에 학습자 단말기(100)는 후보들의 직경값을 소정의 동공 직경 기준값과 비교함으로써 소정의 오차 범위 내에 있는 동공만을 선택하여 위치 좌표를 산출할 수 있을 것이다.In addition, when a candidate group of pupils is derived in this way, the learner terminal 100 selects only pupils within a predetermined error range by comparing the diameter values of the candidates with a predetermined pupil diameter reference value to calculate position coordinates. will be.

전술한 S354 단계에서와 같이 눈동자 영역의 중심 좌표 산출을 통해 동공 위치 정보를 산출한 다음, 학습자 단말기(100)는 산출된 동공 위치 정보에 기초하여 학습자의 시선 벡터(l)를 생성한다(S355).After calculating the pupil position information by calculating the center coordinates of the pupil region as in the above-described step S354, the learner terminal 100 generates the learner's gaze vector l based on the calculated pupil position information (S355) .

구체적으로, 학습자 단말기(100)는 전술한 S351 단계에서 영상 이미지로부터 추출한 학습자 얼굴 영역에 대한 이미지 분석을 통해 학습자 얼굴의 3차원 상에서의 회전 방향과 회전 각도를 연산한다.Specifically, the learner terminal 100 calculates the three-dimensional rotation direction and rotation angle of the learner's face through image analysis of the learner's face region extracted from the video image in step S351 described above.

본 발명을 실시함에 있어서, 학습자 단말기(100)는 얼굴의 특징점 추출(Facial Landmarks Detection) 기법을 통해 학습자 얼굴의 3차원 상에서의 회전 방향과 회전 각도를 연산할 수 있을 것이다.In practicing the present invention, the learner terminal 100 may calculate the rotation direction and rotation angle of the learner's face in three dimensions through the facial landmarks detection technique.

그 다음, 학습자 단말기(100)는 전술한 S354 단계에서 산출한 학습자의 동공 위치 좌표와 학습자 얼굴의 3차원 상에서의 회전 방향과 회전 각도 정보를 기초로 도 1에서와 같이 학습자의 3차원 시선 벡터(l)를 생성한다.Then, the learner terminal 100 is the learner's three-dimensional gaze vector ( l) is created.

한편, 본 발명을 실시함에 있어서 시선 벡터(l)의 크기는 학습자로부터 학습자 단말기(100)의 화면(130)까지의 거리의 약 1.5배 내지 2배가 될 수 있을 것이다.Meanwhile, in implementing the present invention, the size of the gaze vector l may be about 1.5 to 2 times the distance from the learner to the screen 130 of the learner terminal 100 .

이와 같이 생성된 시선 벡터(l)는 학습자 동공의 3차원 위치 좌표를 시작점으로 하고 학습자 얼굴의 3차원 회전 방향각을 따라 전개되는 3차원 반직선의 방정식으로 정의될 수 있을 것이다.The gaze vector (l) generated in this way may be defined as an equation of a three-dimensional radial line that takes the three-dimensional position coordinate of the learner's pupil as the starting point and develops along the three-dimensional rotation direction angle of the learner's face.

한편, 본 발명을 실시함에 있어서, 전술한 S354 단계에서 학습자 단말기(100)가 동공의 3차원 위치 좌표를 산출하기 위해서 카메라 장치(110)로부터 학습자까지의 이격 거리인 촬영 거리를 소정의 기준 거리로 일정하게 유지하고, 학습자 단말기(100)는 학습자 단말기(100)에 기 설정되어 있는 해당 기준 거리 정보에 기초하여 동공의 3차원 위치 좌표를 산출함이 바람직할 것이다.On the other hand, in implementing the present invention, in the above-described step S354, in order for the learner terminal 100 to calculate the three-dimensional position coordinates of the pupil, the shooting distance, which is the separation distance from the camera device 110 to the learner, is set as a predetermined reference distance. It is preferable to keep it constant, and the learner terminal 100 calculates the 3D position coordinates of the pupil based on the reference distance information preset in the learner terminal 100 .

이와 같이 본 발명에 따르면 적외선 카메라 장비가 아닌 웹캠 등의 일반 카메라 장치(110)를 통해도 학습자의 시선을 높은 정밀도로 추적할 수 있게 된다.As described above, according to the present invention, it is possible to track the gaze of the learner with high precision even through the general camera device 110 such as a webcam, not the infrared camera device.

본 발명을 실시함에 있어서, 학습자 단말기(100)에는 학습자가 주시하는 학습자 단말기(100)의 화면(130)에 해당하는 평면의 3차원 좌표 정보가 미리 저장됨이 바람직할 것이다.In carrying out the present invention, it is preferable that the learner terminal 100 stores three-dimensional coordinate information of a plane corresponding to the screen 130 of the learner terminal 100 that the learner watches in advance.

이에 따라 학습자 단말기(100)는 전술한 S355 단계에서 생성된 학습자의 시선 벡터(l)와 학습자의 주시 대상면인 화면(130)과의 교점 좌표를 연산할 수 있게 된다(S356).Accordingly, the learner terminal 100 can calculate the coordinates of the intersection between the learner's gaze vector l generated in step S355 and the screen 130, which is the learner's gaze target surface (S356).

이와 같이 학습자 단말기(100)는 학습자의 시선 벡터(l)가 화면(130)과 만나는 지점을 화면(130)에서 학습자의 시선이 머물고 있는 영역으로 산출할 수 있게 된다(S357).In this way, the learner terminal 100 can calculate the point where the learner's gaze vector l meets the screen 130 as an area where the learner's gaze stays on the screen 130 (S357).

학습자 단말기(100)는 이와 같이 산출된 학습자의 시선 영역 분석 정보를 관리 서버(200)로 송신하게 되며(S360), 이에 관리 서버(200)의 판단부(250)는 학습자 단말기(100)로부터 수신된 학습자의 시선 영역 분석 정보에 기초하여 학습자의 학습 콘텐츠에 대한 주목도를 산출할 수 있을 것이다(S370).The learner terminal 100 transmits the calculated learner's gaze region analysis information to the management server 200 (S360), and the determination unit 250 of the management server 200 receives it from the learner terminal 100. Based on the learner's gaze region analysis information, it will be possible to calculate the degree of attention of the learner to the learning content (S370).

구체적으로, 관리 서버(200)의 판단부(250)는 학습 콘텐츠가 출력되고 있는 화면(130) 상에서 학습자의 시선이 머물고 있는 영역과 학습 콘텐츠에 포함되어 있는 특정 영상 이미지(예를 들면, 강사의 영상 이미지)의 화면(130) 상에서의 표시 영역이 일치하는 지 여부를 판단하고, 일치하는 것으로 판단된 시간 구간의 학습 콘텐츠의 전체 실행 시간 대비 비율을 산출함으로써 학습자의 학습 콘텐츠에의 주목도를 산출할 수 있을 것이다.Specifically, the determination unit 250 of the management server 200 is an area where the learner's gaze stays on the screen 130 on which the learning content is output and a specific video image (eg, the instructor's view) included in the learning content. Image image), it is determined whether the display area on the screen 130 matches, and by calculating the ratio of the total execution time of the learning content in the time section determined to match, it is possible to calculate the degree of attention of the learner to the learning content. will be able

예를 들어, 관리 서버(200)의 판단부(250)는 학습자의 시선이 머물고 있는 영역과 학습 콘텐츠에 포함되어 있는 특정 이미지의 화면(130) 상에서의 표시 영역이 일치하는 시간 구간의 학습 콘텐츠의 전체 실행 시간에서의 비율이 90%인 경우에 해당 학습자의 주목도를 90%로 산출할 수 있을 것이다.For example, the determination unit 250 of the management server 200 may determine the learning content in a time period in which the area where the learner's gaze is staying and the display area on the screen 130 of a specific image included in the learning content match. If the ratio in the total execution time is 90%, the learner's attention level can be calculated as 90%.

이를 위해 관리 서버(200)의 저장부(230)에는 전술한 S300 단계에서 학습자 단말기(100)로 송신되는 각 학습 콘텐츠가 해당 학습 콘텐츠에 포함되어 있는 특정 영상 이미지(예를 들면, 강사의 영상 이미지)의 화면(130) 상에서의 표시 영역 정보와 함께 연관 저장되어 있도록 함이 바람직할 것이다.To this end, in the storage unit 230 of the management server 200, each learning content transmitted to the learner terminal 100 in the above-described step S300 is a specific video image (eg, an instructor's video image) included in the corresponding learning content. ), it would be desirable to store the information in association with the display area information on the screen 130 .

아울러, 관리 서버(200)의 판단부(250)는 전술한 S330 단계에서의 화면 주시 여부 판단 결과와 전술한 S370 단계에서의 학습자의 주목도 산출 결과에 기초하여 학습자의 학습 태도를 평가할 수 있을 것이다(S380).In addition, the determination unit 250 of the management server 200 may evaluate the learning attitude of the learner based on the result of determining whether to look at the screen in step S330 and the result of calculating the degree of attention of the learner in step S370. (S380).

예를 들어, 관리 서버(200)의 판단부(250)는 전술한 S330 단계에서 학습자가 화면(130)을 주시하고 있는 것으로 판단된 시간 구간이 소정의 기준 비율(예를 들면, 50%) 이상인 경우에는 학습자의 학습 태도를 '양호'로 평가하되, 전술한 S370 단계에서 산출된 주목도가 90% 이상인 경우에는 '양호(최우수)', 주목도가 70% 이상 90% 미만인 경우에는 '양호(우수)', 주목도가 50% 이상 70% 미만인 경우에는 '양호(보통)'으로 학습자의 학습 태도를 평가할 수 있을 것이다.For example, the determination unit 250 of the management server 200 determines that the time period in which the learner is gazing at the screen 130 is greater than or equal to a predetermined reference ratio (eg, 50%) in step S330 described above. In this case, the learner's learning attitude is evaluated as 'good', but when the degree of attention calculated in step S370 is 90% or more, it is 'good (excellent)', and when the degree of attention is 70% or more and less than 90%, it is 'good (excellent)'. ', if the degree of attention is 50% or more and less than 70%, the learner's learning attitude can be evaluated as 'good (normal)'.

한편, 관리 서버(200)는 상기와 같은 학습자에 대한 학습 태도 평가 정보를 학습자 단말기(100)로 송신함으로써 학습자가 자신의 학습 태도에 대한 평가를 즉각적으로 인지함으로써 보다 개선된 학습 태도를 가질 수 있도록 함이 바람직할 것이다(S390).On the other hand, the management server 200 transmits the learning attitude evaluation information for the learner as described above to the learner terminal 100 so that the learner can have a more improved learning attitude by immediately recognizing the evaluation of his/her own learning attitude. It would be desirable to do (S390).

본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

이상에서는 본 발명의 바람직한 실시예 및 응용예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In the above, preferred embodiments and applications of the present invention have been shown and described, but the present invention is not limited to the specific embodiments and applications described above, and the present invention is not limited to the scope of the present invention as claimed in the claims. Various modifications may be made by those skilled in the art to which this belongs, of course, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.

10: 눈 영역, 20: 눈동자 영역,
100: 학습자 단말기, 110: 카메라 장치,
130: 화면, 200: 관리 서버.10: eye area, 20: pupil area,
100: learner terminal, 110: camera device,
130: screen, 200: management server.

Claims (4)

(a) 관리 서버가, 학습자를 촬영한 영상 이미지를 학습자 단말기로부터 수신하는 단계;
(b) 상기 관리 서버가, 상기 영상 이미지에 기초하여 상기 학습자의 시선 영역이 상기 학습자 단말기의 화면 영역에 포함되어 있는지 여부를 판단함으로써 상기 학습자의 상기 학습자 단말기의 화면 주시 여부를 판단하는 단계;
(c) 상기 관리 서버가, 상기 학습자가 상기 학습자 단말기의 화면을 주시하고 있는 것으로 판단된 시간 구간이 소정의 기준 비율 미만인 경우에는 상기 학습자의 학습 태도를 '불량'으로 평가하되, 상기 학습자가 상기 학습자 단말기의 화면을 주시하고 있는 것으로 판단된 시간 구간이 소정의 기준 비율 이상인 경우에 상기 학습자 단말기로 상기 학습자의 세부 주시 영역 분석 결과의 송신을 요청하는 단계;
(d) 상기 관리 서버가, 상기 학습자 단말기로부터 상기 학습자의 세부 주시 영역 분석 결과를 수신하는 단계; 및
(e) 상기 관리 서버가, 상기 화면 주시 여부를 판단한 결과와 상기 학습자 단말기로부터 수신된 상기 학습자 단말기의 화면에서의 상기 학습자의 세부 주시 영역 분석 결과에 기초하여 상기 학습자의 학습 태도를 평가하는 단계
를 포함하며,
상기 학습자 단말기가 상기 학습자의 세부 주시 영역을 분석함에 있어서, 상기 학습자의 눈 영역에서 색상값이 변하는 경계를 기준으로 동공 영역을 추출하되, 상기 동공 영역의 일부가 눈꺼풀에 의해 가려진 경우에 상기 눈 영역에서 색상값이 변하는 경계의 환형 연속 검출 구간에 기초하여 상기 눈꺼풀에 의해 가려진 나머지 구간에 대한 보간법을 실행함으로써 원의 형상을 갖는 동공 영역을 추출하고,
상기 학습자 단말기는 기 설정되어 있는 동공의 색상값 정보 및 동공의 크기 정보를 포함하는 파라미터값에 기초하여 상기 학습자의 동공의 위치 좌표를 산출하되, 상기 학습자 단말기에 기 설정되어 있는, 상기 학습자 단말기에 구비되어 있는 카메라 장치로부터 상기 학습자까지의 이격 거리인 기준 거리 정보에 기초해서 상기 학습자의 동공의 3차원 위치 좌표를 산출하며,
상기 학습자 단말기는 얼굴의 특징점 추출(Facial Landmarks Detection) 기법을 통해 상기 학습자의 얼굴의 3차원 상에서의 회전 방향과 회전 각도를 연산하고,
상기 학습자의 세부 주시 영역 분석 결과는, 상기 학습자 단말기가 학습자의 동공 위치 좌표와 학습자 얼굴의 3차원 상에서의 회전 방향과 회전 각도 정보를 기초로 생성한 3차원 시선 벡터의 상기 학습자 단말기의 화면과의 교점 좌표를 포함하고,
상기 (e) 단계에서,
상기 관리 서버는, 상기 학습자 단말기의 화면 상에서의 특정 영상 이미지의 표시 영역과 상기 교점 좌표가 일치하는지 여부를 판단함으로써 상기 학습자의 학습 태도를 평가하는 것인 비대면 학습자의 영상 이미지를 이용하는 학습 태도 평가 방법.
(a) receiving, by the management server, a video image of the learner from the learner terminal;
(b) determining, by the management server, whether the learner gazes at the screen of the learner terminal by determining whether the learner's gaze area is included in the screen area of the learner terminal based on the video image;
(c) the management server evaluates the learner's learning attitude as 'poor' when the time interval in which it is determined that the learner is watching the screen of the learner terminal is less than a predetermined reference ratio, but the learner requesting transmission of a result of analyzing the detailed gaze area of the learner to the learner terminal when the time period in which it is determined that the screen of the learner is looking at the screen is greater than or equal to a predetermined reference ratio;
(d) receiving, by the management server, a result of analyzing the detailed gaze area of the learner from the learner terminal; and
(e) evaluating, by the management server, the learning attitude of the learner based on a result of determining whether to look at the screen and a result of analyzing the detailed gaze area of the learner on the screen of the learner terminal received from the learner terminal
includes,
When the learner terminal analyzes the learner's detailed gaze region, the pupil region is extracted based on the boundary at which the color value changes in the learner's eye region, and when a part of the pupil region is covered by the eyelid, the eye region Extracting a pupil region having a circular shape by executing interpolation on the remaining sections covered by the eyelids based on an annular continuous detection section of the boundary in which the color value changes in
The learner terminal calculates the position coordinates of the learner's pupil based on preset parameter values including color value information and pupil size information, which are preset in the learner terminal, to the learner terminal Calculate the three-dimensional position coordinates of the pupil of the learner based on the reference distance information that is the separation distance from the provided camera device to the learner,
The learner terminal calculates the rotation direction and rotation angle of the learner's face in three dimensions through a facial landmarks detection technique,
The result of the detailed gaze area analysis of the learner is that the three-dimensional gaze vector generated by the learner terminal based on the learner's pupil position coordinates and the three-dimensional rotation direction and rotation angle information of the learner's face is displayed on the screen of the learner terminal. contains the coordinates of the point of intersection,
In step (e),
The management server evaluates the learning attitude of the learner by determining whether the coordinates of the intersection point and the display area of the specific video image on the screen of the learner terminal match the learning attitude of the learner. Way.
 제1항에 있어서,
상기 (a) 단계 이전에,
상기 관리 서버가, 상기 학습자 단말기로 학습 콘텐츠를 송신하는 단계를 더 포함하는 비대면 학습자의 영상 이미지를 이용하는 학습 태도 평가 방법.
According to claim 1,
Before step (a),
Learning attitude evaluation method using the video image of the non-face-to-face learner further comprising the step of the management server transmitting the learning content to the learner terminal.
 관리 서버에 있어서,
학습자를 촬영한 영상 이미지를 학습자 단말기로부터 수신하는 수신부; 및
상기 영상 이미지에 기초하여 상기 학습자의 시선 영역이 상기 학습자 단말기의 화면 영역에 포함되어 있는지 여부를 판단함으로써 상기 학습자의 상기 학습자 단말기의 화면 주시 여부를 판단하는 판단부;
를 포함하며,
상기 관리 서버는 상기 학습자가 상기 학습자 단말기의 화면을 주시하고 있는 것으로 판단된 시간 구간이 소정의 기준 비율 미만인 경우에는 상기 학습자의 학습 태도를 '불량'으로 평가하되, 상기 학습자가 상기 학습자 단말기의 화면을 주시하고 있는 것으로 판단된 시간 구간이 소정의 기준 비율 이상인 경우에 상기 학습자 단말기로 상기 학습자의 세부 주시 영역 분석 결과의 송신을 요청하고,
상기 수신부는, 상기 학습자 단말기로부터 상기 학습자의 세부 주시 영역 분석 결과를 수신하며,
상기 판단부는, 상기 화면 주시 여부를 판단한 결과와 상기 학습자 단말기로부터 수신된 상기 학습자 단말기의 화면에서의 상기 학습자의 세부 주시 영역 분석 결과에 기초하여 상기 학습자의 학습 태도를 평가하고,
상기 학습자 단말기가 상기 학습자의 세부 주시 영역을 분석함에 있어서, 상기 학습자의 눈 영역에서 색상값이 변하는 경계를 기준으로 동공 영역을 추출하되, 상기 동공 영역의 일부가 눈꺼풀에 의해 가려진 경우에 상기 눈 영역에서 색상값이 변하는 경계의 환형 연속 검출 구간에 기초하여 상기 눈꺼풀에 의해 가려진 나머지 구간에 대한 보간법을 실행함으로써 원의 형상을 갖는 동공 영역을 추출하고,
상기 학습자 단말기는 기 설정되어 있는 동공의 색상값 정보 및 동공의 크기 정보를 포함하는 파라미터값에 기초하여 상기 학습자의 동공의 위치 좌표를 산출하되, 상기 학습자 단말기에 기 설정되어 있는, 상기 학습자 단말기에 구비되어 있는 카메라 장치로부터 상기 학습자까지의 이격 거리인 기준 거리 정보에 기초해서 상기 학습자의 동공의 3차원 위치 좌표를 산출하며,
상기 학습자 단말기는 얼굴의 특징점 추출(Facial Landmarks Detection) 기법을 통해 상기 학습자의 얼굴의 3차원 상에서의 회전 방향과 회전 각도를 연산하고,
상기 학습자의 세부 주시 영역 분석 결과는, 상기 학습자 단말기가 학습자의 동공 위치 좌표와 학습자 얼굴의 3차원 상에서의 회전 방향과 회전 각도 정보를 기초로 생성한 3차원 시선 벡터의 상기 학습자 단말기의 화면과의 교점 좌표를 포함하고,
상기 판단부는, 상기 학습자 단말기의 화면 상에서의 특정 영상 이미지의 표시 영역과 상기 교점 좌표가 일치하는지 여부를 판단함으로써 상기 학습자의 학습 태도를 평가하는 것인 관리 서버.
In the management server,
a receiver for receiving a video image of a learner from a learner terminal; and
a determination unit configured to determine whether the learner gazes at the screen of the learner terminal by determining whether the learner's gaze area is included in the screen area of the learner terminal based on the video image;
includes,
The management server evaluates the learner's learning attitude as 'bad' when the time interval in which it is determined that the learner is watching the screen of the learner terminal is less than a predetermined reference ratio, but the learner is the screen of the learner terminal When the time interval in which it is determined that the user is observing is greater than or equal to a predetermined reference ratio, a request is made to transmit the result of analyzing the detailed gaze area of the learner to the learner terminal,
The receiving unit receives, from the learner terminal, a result of analyzing the detailed gaze area of the learner,
The determination unit evaluates the learning attitude of the learner based on a result of determining whether to look at the screen and a result of analyzing the detailed gaze area of the learner on the screen of the learner terminal received from the learner terminal,
When the learner terminal analyzes the learner's detailed gaze region, the pupil region is extracted based on the boundary at which the color value changes in the learner's eye region, and when a part of the pupil region is covered by the eyelid, the eye region Extracting a pupil region having a circular shape by executing interpolation on the remaining sections covered by the eyelids based on an annular continuous detection section of the boundary in which the color value changes in
The learner terminal calculates the position coordinates of the learner's pupil based on preset parameter values including color value information and pupil size information, which are preset in the learner terminal, to the learner terminal Calculate the three-dimensional position coordinates of the pupil of the learner based on the reference distance information that is the separation distance from the provided camera device to the learner,
The learner terminal calculates the rotation direction and rotation angle of the learner's face in three dimensions through a facial landmarks detection technique,
The result of the detailed gaze area analysis of the learner is that the three-dimensional gaze vector generated by the learner terminal based on the learner's pupil position coordinates and the three-dimensional rotation direction and rotation angle information of the learner's face is displayed on the screen of the learner terminal. contains the coordinates of the point of intersection,
The determination unit, a management server that evaluates the learning attitude of the learner by determining whether the coordinates of the intersection point and the display area of the specific video image on the screen of the learner terminal match.
 제3항에 있어서,
상기 학습자 단말기로 학습 콘텐츠를 송신하는 송신부를 더 포함하는 관리 서버.4. The method of claim 3,
Management server further comprising a transmitter for transmitting the learning content to the learner terminal.
KR1020200151002A 2020-11-12 2020-11-12 Method of Evaluating Learning Attitudes Using Video Images of Non-face-to-face Learners, and Management Server Used Therein KR102319328B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200151002A KR102319328B1 (en) 2020-11-12 2020-11-12 Method of Evaluating Learning Attitudes Using Video Images of Non-face-to-face Learners, and Management Server Used Therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200151002A KR102319328B1 (en) 2020-11-12 2020-11-12 Method of Evaluating Learning Attitudes Using Video Images of Non-face-to-face Learners, and Management Server Used Therein

Publications (1)

Publication Number Publication Date
KR102319328B1 true KR102319328B1 (en) 2021-10-29

Family

ID=78231149

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200151002A KR102319328B1 (en) 2020-11-12 2020-11-12 Method of Evaluating Learning Attitudes Using Video Images of Non-face-to-face Learners, and Management Server Used Therein

Country Status (1)

Country Link
KR (1) KR102319328B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230105848A (en) 2022-01-05 2023-07-12 주식회사 엘에이치생활건강 Study attitude valuation system and method based on ai aogorithm
KR102612283B1 (en) * 2022-11-15 2023-12-12 주식회사 화성 Learning concentration analysis system based on eye tracking and method using the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180053108A (en) * 2016-11-11 2018-05-21 삼성전자주식회사 Method and apparatus for extracting iris region
KR101879229B1 (en) * 2017-04-28 2018-07-17 백석대학교산학협력단 Online lecture monitoring system and method using gaze tracking technology
KR20180107576A (en) 2017-03-22 2018-10-02 이화여자대학교 산학협력단 Learning achievement prediction method and system using visual behavior of learner watching to learning video
KR20190030140A (en) * 2017-09-13 2019-03-21 주식회사 비주얼캠프 Method for eye-tracking and user terminal for executing the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180053108A (en) * 2016-11-11 2018-05-21 삼성전자주식회사 Method and apparatus for extracting iris region
KR20180107576A (en) 2017-03-22 2018-10-02 이화여자대학교 산학협력단 Learning achievement prediction method and system using visual behavior of learner watching to learning video
KR101879229B1 (en) * 2017-04-28 2018-07-17 백석대학교산학협력단 Online lecture monitoring system and method using gaze tracking technology
KR20190030140A (en) * 2017-09-13 2019-03-21 주식회사 비주얼캠프 Method for eye-tracking and user terminal for executing the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230105848A (en) 2022-01-05 2023-07-12 주식회사 엘에이치생활건강 Study attitude valuation system and method based on ai aogorithm
KR102612283B1 (en) * 2022-11-15 2023-12-12 주식회사 화성 Learning concentration analysis system based on eye tracking and method using the same

Similar Documents

Publication Publication Date Title
US10546183B2 (en) Liveness detection
CN107292271B (en) Learning monitoring method and device and electronic equipment
US10853677B2 (en) Verification method and system
EP3332403B1 (en) Liveness detection
CN109086726A (en) A kind of topography's recognition methods and system based on AR intelligent glasses
KR102319328B1 (en) Method of Evaluating Learning Attitudes Using Video Images of Non-face-to-face Learners, and Management Server Used Therein
KR102336574B1 (en) Learning Instruction Method Using Video Images of Non-face-to-face Learners, and Management Server Used Therein
CN113808160B (en) Sight direction tracking method and device
KR102309179B1 (en) Reading Comprehension Teaching Method through User's Gaze Tracking, and Management Server Used Therein
KR20160139221A (en) Concentrativeness evaluating system
WO2020020022A1 (en) Method for visual recognition and system thereof
CN105763829A (en) Image processing method and electronic device
CN109885169B (en) Eyeball parameter calibration and sight direction tracking method based on three-dimensional eyeball model
JP2021531601A (en) Neural network training, line-of-sight detection methods and devices, and electronic devices
CN113260299A (en) System and method for eye tracking
KR20170051385A (en) Concentrativeness evaluating system
CN114333046A (en) Dance action scoring method, device, equipment and storage medium
CN107368817B (en) Face recognition method and device
Sidenko et al. Eye-tracking technology for the analysis of dynamic data
CN110554501B (en) Head mounted display and method for determining line of sight of user wearing the same
US9760772B2 (en) Eye image stimuli for eyegaze calibration procedures
CN106708257A (en) Game interaction method and device
CN115937961B (en) Online learning identification method and equipment
CN111192305B (en) Method and apparatus for generating three-dimensional image
CN113093907B (en) Man-machine interaction method, system, equipment and storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant