KR20210062855A - Online lecture concentration analysis system and service - Google Patents
Online lecture concentration analysis system and service Download PDFInfo
- Publication number
- KR20210062855A KR20210062855A KR1020190151023A KR20190151023A KR20210062855A KR 20210062855 A KR20210062855 A KR 20210062855A KR 1020190151023 A KR1020190151023 A KR 1020190151023A KR 20190151023 A KR20190151023 A KR 20190151023A KR 20210062855 A KR20210062855 A KR 20210062855A
- Authority
- KR
- South Korea
- Prior art keywords
- region
- detecting
- concentration
- detected
- pupil
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims description 27
- 210000001747 pupil Anatomy 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 12
- 230000004397 blinking Effects 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000004424 eye movement Effects 0.000 claims 1
- 230000000193 eyeblink Effects 0.000 abstract description 6
- 208000032140 Sleepiness Diseases 0.000 abstract description 2
- 206010041349 Somnolence Diseases 0.000 abstract description 2
- 230000037321 sleepiness Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000004886 head movement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000750002 Nestor Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000036448 vitalisation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 온라인 강의를 수강하는 수강자들의 영상 데이터를 기반으로 온라인 수강에 따른 집중도를 분석하기 위한 시스템 및 서비스에 관한 것으로, 더욱, 상세하게는 카메라에서 촬영한 영상으로부터 눈 깜빡임, 시선과 머리 각도을 계산하고 이를 활용하여 온라인 강의 수강자들의 졸음 및 집중도를 파악하기 위한 온라인 강의 집중도 분석 시스템 및 서비스에 관한 것이다.The present invention relates to a system and service for analyzing concentration according to online lectures based on image data of students taking online lectures, and more particularly, calculating eye blinks, gaze and head angles from images captured by a camera. And it relates to an online lecture concentration analysis system and service for identifying sleepiness and concentration levels of online lecture participants using this.
21세기 정보사회에서 평생교육 환경을 제공할 수 있는 새로운 교육 훈련 체계로 Blended Learning이나 Flipped Learning 등을 기반으로 하는 온라인 형태의 강의가 확대되고 있으며, 국내의 경우 1999년 이후 민간 차원의 적극적인 참여와 정부차원의 정책적 지원에 따라 MOOC 형태의 교육을 다수 제공하고 있다. In the 21st century information society, online lectures based on blended learning and flipped learning are expanding as a new education and training system that can provide a lifelong education environment. A number of MOOC-type educations are provided in accordance with the policy support at the level.
하지만, 오프라인의 면대면 교육에 비해 강의 내용의 온라인 전달력 부족, 무책임한 자기 주도형 학습의 확산, 상호작용성 및 협력학습의 부재 등으로 인해 교육 만족도 및 수료율이 기대에 미치지 못하고 있다.However, compared to offline face-to-face education, the educational satisfaction and completion rate are not meeting expectations due to the lack of online delivery of lecture content, the spread of irresponsible self-directed learning, and the absence of interactivity and cooperative learning.
이러한 문제를 해결하기 위해서는 온라인 강의가 학습자의 클릭만을 강조하는 e-book 형이나 동영상 강의형에서 탈피하여 시뮬레이션이나 협력적 학습과 같은 보다 참여적/능동적 학습환경의 창출이 요구되며 온라인 공간에서의 자기주도적 학습 지원, 온라인 Tutoring 및 Coaching의 활성화가 요구된다.In order to solve this problem, it is required to create a more participatory/active learning environment such as simulation or cooperative learning by breaking away from the e-book type or video lecture type where online lectures emphasize only the clicks of learners. Active learning support, online tutoring and coaching are required.
특히, 영상을 기반으로 한 온라인 강의의 집중도 분석 방법이 많이 시도되고 있다.In particular, many attempts have been made to analyze the concentration level of online lectures based on video.
미국에 본사를 두고 있는 교육 연구소 LCA Learning은 얼굴 분석 시스템과 강의 과정을 동시에 인식하여 학습 효율 향상을 목적으로 하는 인공지능 시스템 Nestor를 개발하였으며, 국내의 경우 비주얼캠프는 시선 추적 기술을 이용하여 온라인으로 공부하는 경우 시선이 다른 곳을 향하거나 집중하지 않으면 알려주는 서비스를 개발하였다.LCA Learning, an educational institute headquartered in the United States, has developed an artificial intelligence system Nestor that aims to improve learning efficiency by recognizing a face analysis system and a lecture course at the same time. We developed a service that notifies you when your eyes are directed to another place or when you are not concentrating while studying.
관련 연구로는 필기 상태에서 강의 학습자의 고개 움직임에 따라 동영상의 속도를 변화시켜 학습자가 강의 조작을 하지 않도록 돕는 기능에 대한 연구가 진행되었으며, 다른 연구로는 얼굴 검출 알고리즘에 ROI(Region of Image)를 만들어 얼굴 탐색을 빠르게 하고 수행할 때 시간 측정 시간을 스케줄링하여 학습자가 집중할 때와 비 집중할 때를 구분하면서 프레임을 검출, 비 검출하여 집중도를 추출하였다.As a related study, a study was conducted on the function to help the learner not to manipulate the lecture by changing the speed of the video according to the head movement of the lecture learner in the writing state. Other studies include ROI (Region of Image) in the face detection algorithm. To speed up face search and schedule the time measurement time when performing face search, the concentration was extracted by detecting and non-detecting the frame while distinguishing between when the learner was focused and when he was not.
본 발명은 이상과 같은 배경의 필요에 따라 이루어진 것으로 그 목적은 온라인 강의 수강자들의 카메라에 촬영된 영상을 기반으로 수강자의 집중도를 분석하고 이를 활용하여 교육 결과 분석, 부족한 내용에 대한 피드백, 수강자의 패턴 분석 등에 대한 다양한 서비스를 제공할 수 있는 온라인 강의 집중도 분석 시스템 및 서비스에 관한 것이다.The present invention has been made in accordance with the needs of the background as described above, and its purpose is to analyze the concentration of the students based on the images captured by the cameras of the online lecture participants, and use this to analyze the training results, give feedback on the insufficient content, and the pattern of the participants. It relates to an online lecture concentration analysis system and service that can provide various services for analysis and the like.
상기와 같은 목적을 달성하기 위하여 본 발명의 실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스는 카메라로 수강자의 얼굴동작을 촬영할 수 있는 촬영 모듈; 촬영된 영상 데이터를 분석하는 분석 모듈; 분석한 결과를 기반으로 수강자에게 피드백 및 알람을 수행하는 서비스 모듈로 구성하는 것을 특징으로 한다.In order to achieve the above object, the online lecture concentration analysis system and service according to an embodiment of the present invention include: a photographing module capable of photographing the facial motion of a student with a camera; an analysis module for analyzing the photographed image data; It is characterized in that it consists of a service module that provides feedback and alarms to students based on the analysis result.
또한, 상기의 분석 모듈은 수강자의 집중도 분석을 위해 얼굴 영역 추출, 눈 영역 추출, 눈 깜빡임 추출, 시선 위치 분석, 머리 움직임 분석을 포함하는 것을 특징으로 한다.In addition, the above analysis module is characterized in that it includes facial region extraction, eye region extraction, eye blink extraction, gaze position analysis, and head movement analysis for the concentration analysis of the student.
또한, 상기의 서비스 모듈은 집중도가 떨어지거나 졸음으로 판단되는 경우에 강의 실행 정지, 소리 알람, 집중하지 못한 강의 부분에 대한 분석 데이터 제공, 보충 내용에 대한 피드백, 수강 통계, 수강자의 수강 패턴 분석 등에 대한 서비스를 포함하는 것을 특징으로 한다.In addition, the above service module may stop lecture execution, sound alarm, provide analysis data for the part of the lecture that is not concentrating, feedback on supplementary content, attendance statistics, analysis of the student's attendance pattern, etc. It is characterized in that it includes a service for.
상기와 같은 구성을 이루는 본 발명의 실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스에 의하면 다음과 같은 효과가 있다.According to the online lecture concentration analysis system and service according to an embodiment of the present invention having the above configuration, the following effects are obtained.
첫째, 온라인 강의 집중도 파악을 통해 수강자들의 수강 패턴 분석,알람, 패드백 등을 통해 수강자들의 강의 만족도 향상을 통해 수료율을 증가시킴으로써 온라인 강의의 활성화에 기여할 수 있을 것이다.First, it will be possible to contribute to the vitalization of online lectures by increasing the completion rate by improving the lecture satisfaction of the students through the analysis of the students' attendance patterns, alarms, and padbacks by understanding the concentration of online lectures.
둘째, 수강자들의 수강 패턴 분석을 통해 강의자의 강의 내용에 대한 문제점 분석 및 보완을 통해 온라인 강의의 질을 향상시킴으로써 수강자들의 만족도를 향상시킬 수 있을 것이다.Second, it will be possible to improve the satisfaction of the students by improving the quality of online lectures by analyzing and supplementing the problems of the lecturers' lecture contents through the analysis of the students' attendance patterns.
셋째, 온라인 강의의 집중도 패턴 분석을 통해 수강자 자신의 온라인 학습 방식을 효율적으로 설계할 수 있어 학습의 효율을 높일 수 있을 것이다.Third, through the analysis of the concentration pattern of online lectures, the learner's own online learning method can be designed efficiently, thereby increasing the learning efficiency.
도 1은 본 발명의 일실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스의 구성을 도시한 것이다.
도 2는 본 발명의 일실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스의 집중하지 못한 상태에 대한 설명을 도시한 것이다.
도 3은 본 발명의 일실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스의 얼굴 영역 검출 및 움직임 검출 방법을 도시한 것이다.
도 4는 본 발명의 일실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스의 시간에 따른 비 집중 상태 판단 방법을 도시한 것이다.
도 5는 본 발명의 일실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스의 눈과 눈동자 영역 검출 및 눈동자 위치와 유지 시간 검출 방법을 도시한 것이다.
도 6은 본 발명의 일실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스의 눈 깜빡임 검출 및 회수에 따른 비 집중 상태 판단 방법을 도시한 것이다.
도 7은 본 발명의 일실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스의 집중 상태 저장 및 서비스 선택 옵션에 따른 동작 방법을 도시한 것이다.1 shows the configuration of an online lecture concentration analysis system and service according to an embodiment of the present invention.
2 is a diagram illustrating an explanation of a non-concentrated state of an online lecture concentration analysis system and service according to an embodiment of the present invention.
3 is a diagram illustrating a face region detection and motion detection method of an online lecture concentration analysis system and service according to an embodiment of the present invention.
4 is a diagram illustrating a non-concentration state determination method according to time of an online lecture concentration analysis system and service according to an embodiment of the present invention.
5 is a diagram illustrating an eye and pupil region detection and pupil position and retention time detection method of an online lecture concentration analysis system and service according to an embodiment of the present invention.
6 is a diagram illustrating a non-concentration state determination method according to eye blink detection and number of an online lecture concentration analysis system and service according to an embodiment of the present invention.
7 is a diagram illustrating an online lecture concentration analysis system according to an embodiment of the present invention and an operation method according to the concentration state storage and service selection option of the service.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.The above objects, other objects, features, and advantages of the present invention will be easily understood through the following preferred embodiments related to the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed content may be thorough and complete, and the spirit of the present invention may be sufficiently conveyed to those skilled in the art.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다' 및/또는 '포함하는'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used herein, 'comprises' and/or 'comprising' does not exclude the presence or addition of one or more other elements in the stated element.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스을 상세히 설명한다. 아래의 특정 실시예를 기술하는데 있어서 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 혼돈을 막기 위해 기술하지 않음을 미리 언급해 둔다.Hereinafter, an online lecture concentration analysis system and service according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings. In describing the specific embodiments below, various specific contents have been prepared to more specifically describe and help the understanding of the invention. However, a reader who has knowledge in this field enough to understand the present invention can recognize that it can be used without these various specific contents. In some cases, it is mentioned in advance that parts that are commonly known in describing the invention and are not significantly related to the invention are not described in order to avoid confusion in describing the invention.
도 1은 본 발명의 일실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스의 구성을 도시한 것으로 온라인 강의를 수강하는 수강자(100)의 얼굴을 촬영(111)하는 촬영모듈(110); 촬영된 이미지로 부터 얼굴 영역을 추출하여 움직임을 분석하는 기능(121)과 눈 영역을 추출하고 깜빡임, 움직임, 시선을 분석하는 기능(122)을 활용하여 집중도를 판단하는 분석모듈(120); 분석 결과를 기반으로 각종 통계 및 패턴을 분석하고(131), 비 집중 상태로 판단되는 경우 알람(132)과 동영상의 실행을 제어(133)하는 서비스 모듈(130); 분석 결과를 수강자(100)에게 피드백을 기능(140)을 포함한다.1 is a diagram illustrating the configuration of an online lecture concentration analysis system and service according to an embodiment of the present invention, and a photographing
도 2는 본 발명의 일실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스의 집중하지 못한 상태에 대한 설명을 도시한 것으로 기준 시간 동안 얼굴 영역이 미 검출되는 경우를 머리를 숙이고 있는 상태로 정의(200)하고, 기준 시간 동안 얼굴 영역의 움직임이 심한 경우를 집중하지 못한 상태로 정의(210)하고, 기준 시간 동안 눈 영역이 미 검출되는 경우 눈을 감고 있는 상태로 정의(220)하고, 기준 시간 동안 눈 깜빡임 및 움직임이 많고 시선 위치가 정면이 아닌 경우를 집중하지 못한 상태로 정의(230)하는 것을 포함한다.2 is a diagram illustrating a description of a non-concentrated state of an online lecture concentration analysis system and service according to an embodiment of the present invention, and a case in which a face region is not detected for a reference time is defined as a state in which the head is bowed (200) ), a case in which the movement of the face region is severe during the reference time is defined as a state of not being focused (210), and when an eye region is not detected during the reference time, it is defined as a state in which the eyes are closed (220), and during the reference time, it is defined as a state with eyes closed. It includes defining (230) a case in which the eye blinks and moves a lot and the gaze position is not the frontal state as an unfocused state (230).
도 3은 본 발명의 일실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스의 얼굴 영역 검출 및 움직임 검출 방법을 도시한 것으로 카메라로부터 영상이 입력되면(300) 얼굴 영역을 검출하여(310) 만약, 얼굴 영역이 검출되지 않았다면(320) 검출되지 않는 시간을 계산하여(400) 설정된 시간 이상이 경과하면(410) 머리를 숙이고 있다고 판단하여 비 집중으로 판단하고(420) 데이터를 저장하는 단계로 넘어가고(700) 설정된 시간이 경과되지 않았다면(410) 얼굴 영역 검출을 재시도한다(310).3 is a diagram illustrating a face region detection and motion detection method of an online lecture concentration analysis system and service according to an embodiment of the present invention. When an image is input from the camera (300), the face region is detected (310). If the area is not detected (320), the time that is not detected is calculated (400), and when more than the set time has elapsed (410), it is determined that the head is bowed and determined to be non-focused (420) and proceeds to the step of storing data ( 700) If the set time has not elapsed ( 410 ), the detection of the face region is retryed ( 310 ).
만약, 얼굴 영역이 검출되었다면(320) 검출된 얼굴 영역으로부터 얼굴의 특징점을 검출하여(330) 검출된 특징점을 기준으로 Optical Flow를 검출하고(340) 얼굴의 움직임을 검출하여(350) 만약, 설정된 값 이상의 움직임이 검출되고(360) 설정된 시간 이상이 경과하면(410) 움직임이 많다고 판단하여 비 집중으로 판단하고(420) 데이터를 저장하는 단계로 넘어가고(700) 만약, 설정된 시간이 경과되지 않았다면(410) 얼굴 영역 검출 단계부터 재시도한다(310). If a face region is detected (320), a feature point of the face is detected from the detected face region (330), an optical flow is detected based on the detected feature point (340), and a movement of the face is detected (350). If a movement of more than a value is detected (360) and more than a set time has elapsed (410), it is determined that there is a lot of movement and is determined to be non-concentrated (420) and proceeds to the step of storing data (700) If the set time has not elapsed In
만약, 설정된 값 이상의 움직임이 검출되지 않았다면(360) 눈 영역 검출 단계로 넘어간다(500).If the movement of more than the set value is not detected (360), the process proceeds to the eye region detection step (500).
도 4는 본 발명의 일실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스의 시간에 따른 비 집중 상태 판단 방법을 도시한 것으로 시간을 계산하여(400) 설정된 시간 이상이 경과되면(410) 비 집중으로 판단하고(420) 데이터를 저장하는 단계로 넘어가고(700) 그렇지 않으면(410) 얼굴 영역 검출 단계부터 재시도한다(310). Figure 4 shows a non-concentration state determination method according to time of the online lecture concentration analysis system and service according to an embodiment of the present invention. Determination (420) proceeds to the step of storing data (700), otherwise (410), and retrying from the face region detection step (310).
도 5는 본 발명의 일실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스의 눈과 눈동자 영역 검출 및 눈동자 위치와 유지 시간 검출 방법을 도시한 것으로 눈 영역을 검출하여(500) 눈 영역이 검출되지 않았다면(510) 설정된 시간 이상이 경과하면(410) 눈을 감았다고 판단하여 비 집중으로 판단하고(420) 데이터를 저장하는 단계로 넘어가고(700) 만약, 설정된 시간이 경과되지 않았다면(410) 얼굴 영역 검출 단계부터 재시도한다(310). 5 is a diagram illustrating a method of detecting eye and pupil region and pupil position and holding time of an online lecture concentration analysis system and service according to an embodiment of the present invention. If the eye region is not detected (500), the eye region is not detected. (510) If more than the set time has elapsed (410), it is determined that the eyes are closed and determined to be non-focused (420), and the data is stored (700). If the set time has not elapsed (410), the face area It retryes from the detection step ( 310 ).
만약, 눈 영역 검출이 되었다면(510) 눈 영역으로부터 눈동자 영역을 검출하여(520) 눈동자 영역이 검출되지 않았다면(530) 눈동자 영역을 다시 검출하고 눈동자 영역이 검출되었다면(530) 눈 영역에서 눈동자의 위치, 유지 시간, 움직임 횟수를 측정하여(540) 위치가 중앙이 아니거나 유지시간이 설정 시간 이하이고 눈동자의 움직임이 설정 횟수 이상이라면(550) 비 집중 상태로 판단하고(560) 데이터를 저장하는 단계로 넘어가고(700) 그렇지 않으면(550) 눈동자 분석 단계로 넘어간다(600).If the eye region is detected (510), the pupil region is detected from the eye region (520). If the pupil region is not detected (530), the pupil region is detected again and if the pupil region is detected (530), the position of the pupil in the eye region , by measuring the holding time, the number of movements (540), if the position is not at the center, or the holding time is less than the set time, and the movement of the pupil is more than the set number of times (550), determining the non-focused state (560) and storing the data (700), otherwise (550), the pupil analysis step proceeds (600).
도 6은 본 발명의 일실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스의 눈 깜빡임 검출 및 회수에 따른 비 집중 상태 판단 방법을 도시한 것으로 눈동자 이미지를 이치화하고(600) 가로/세로 픽셀의 갯수 및 비율의 변화율을 계산하여(610) 픽셀의 갯수가 기준치 이하이거나 가로/세로 비율이 기준치 이하인 경우(620) 눈깜빡임으로 판단하고(630) 깜빡임 횟수를 계수하여(640) 깜빡임 횟수가 기준치보다 많다면(650) 비 집중으로 판단하고(660) 데이터를 저장하는 단계로 넘어가고(700) 그렇지 않으면(650) 집중으로 판단하고(670) 데이터를 저장하는 단계로 넘어간다(700).6 is a diagram illustrating a non-concentration state determination method according to eye blink detection and frequency of an online lecture concentration analysis system and service according to an embodiment of the present invention, and the pupil image is binarized (600) and the number of horizontal/vertical pixels and By calculating the rate of change of the ratio (610), if the number of pixels is less than the reference value or the horizontal/vertical ratio is less than the reference value (620), it is determined as blinking (630) and counting the number of blinks (640) If the number of blinks is greater than the reference value (650) it is determined as non-concentrated (660) and the step of storing data is carried out (700). Otherwise (650), it is determined that it is concentrated (670) and it goes to the step of storing data (700).
만약, 픽셀의 갯수가 기준치 이상이거나 가로/세로 비율이 기준치 이상인 경우(620) 집중으로 판단하고(670) 데이터를 저장하는 단계로 넘어간다(700).If the number of pixels is greater than or equal to the reference value or the horizontal/vertical ratio is greater than or equal to the reference value ( 620 ), it is determined as concentration ( 670 ) and the process proceeds to the step of storing data ( 700 ).
도 7은 본 발명의 일실시예에 따른 온라인 강의 집중도 분석 시스템 및 서비스의 집중 상태 저장 및 서비스 선택 옵션에 따른 동작 방법을 도시한 것으로 집중 상태 판단이 완료되면 상태와 시간을 저장하고(700) 만약, 비 집중 상태에서 정지 옵션이 선택되어 있다면(710) 영상 플레이 및 검출 기능을 중지하고(720) 사용자가 플레이 버튼을 클릭하면(730) 영상 플레이를 재실행하고(740) 얼굴 영역 검출 단계부터 재시도하고(310) 만약, 정지 옵션이 설정되지 않았다면(710) 얼굴 영역 검출 단계부터 재시도한다(310). 7 shows an operation method according to the concentration state storage and service selection option of the online lecture concentration analysis system and service according to an embodiment of the present invention. When the concentration state determination is completed, the state and time are stored (700), and if , if the stop option is selected in the non-focused state (710), the image play and detection function is stopped (720), and when the user clicks the play button (730), the image play is re-executed (740) and retry from the face region detection step and (310), if the stop option is not set (710), retrying from the face region detection step (310).
만약, 비 집중 상태에서 알람 옵션이 선택되어 있다면(750) 알람을 발생하고(760) 사용자가 알람 중지 버튼을 클릭하면(770) 알람을 중지하고(780) 얼굴 영역 검출 단계부터 재시도하고(310) 만약, 정지 옵션이 설정되지 않았다면(750) 얼굴 영역 검출 단계부터 재시도한다(310). If the alarm option is selected in the non-concentration state (750), an alarm is generated (760), and when the user clicks the stop alarm button (770), the alarm is stopped (780) and retrying from the face region detection step (310) ), if the stop option is not set ( 750 ), retrying from the face region detection step ( 310 ).
Claims (5)
온라인 강의를 수강하는 수강자의 얼굴을 촬영하는 촬영모듈과;
촬영된 이미지로 부터 얼굴 영역을 추출하여 움직임을 분석하는 기능과 눈 영역을 추출하고 깜빡임, 움직임, 시선을 분석하는 기능을 활용하여 집중도를 판단하는 분석모듈과;
분석 결과를 기반으로 각종 통계 및 패턴을 분석하고, 비 집중 상태로 판단되는 경우 알람과 동영상의 실행을 제어하는 서비스 모듈과;
분석 결과를 수강자에게 피드백을 기능을 포함하는 것을 특징으로 하는 온라인 강의 집중도 분석 시스템 및 서비스의 구성.In the configuration of the online lecture concentration analysis system and service,
a photographing module for photographing the face of a student taking an online lecture;
an analysis module for determining concentration by extracting a facial region from a photographed image to analyze movement and extracting an eye region and analyzing blinking, movement, and gaze;
a service module that analyzes various statistics and patterns based on the analysis result, and controls the execution of an alarm and a video when it is determined that the state is not focused;
Configuration of an online lecture concentration analysis system and service, characterized in that it includes a function to give feedback to the students of the analysis result.
카메라로부터 영상이 입력되면 얼굴 영역을 검출하는 단계와;
만약, 얼굴 영역이 검출되지 않았다면 검출되지 않는 시간을 계산하는 단계와;
설정된 시간 이상이 경과하면 비 집중으로 판단하고 데이터를 저장하는 단계로 넘어가는 단계와;
설정된 시간이 경과되지 않았다면 얼굴 영역 검출을 재시도하는 단계와;
만약, 얼굴 영역이 검출되었다면 검출된 얼굴 영역으로부터 얼굴의 특징점을 검출하는 단계와;
검출된 특징점을 기준으로 Optical Flow를 검출하고 얼굴의 움직임을 검출하는 단계와;
만약, 설정된 값 이상의 움직임이 검출되고 설정된 시간 이상이 경과하면 움직임이 많다고 판단하여 비 집중으로 판단하고 데이터를 저장하는 단계와;
만약, 설정된 시간이 경과되지 않았다면 얼굴 영역 검출 단계부터 재시도하는 단계와;
만약, 설정된 값 이상의 움직임이 검출되지 않았다면 눈 영역 검출로 넘어가는 단계를 포함하는 것을 특징으로 하는 얼굴 영역 검출 및 움직임 검출 방법.In the analysis module of claim 1,
detecting a face region when an image is input from a camera;
if the face region has not been detected, calculating a non-detection time;
If more than the set time elapses, determining that it is non-concentration and proceeding to the step of storing data;
retrying face region detection if the set time has not elapsed;
if the face region is detected, detecting a feature point of the face from the detected face region;
detecting an optical flow based on the detected feature points and detecting a movement of the face;
If a movement of more than a set value is detected and more than a set time has elapsed, determining that there is a lot of movement, determining that the movement is non-concentrated, and storing data;
if the set time has not elapsed, retrying from the face region detection step;
and moving to eye region detection if no movement greater than the set value is detected.
눈 영역을 검출하는 단계와;
눈 영역이 검출되지 않았다면 설정된 시간 이상이 경과하면 비 집중으로 판단하고 데이터를 저장하는 단계로 넘어가는 단계와;
만약, 설정된 시간이 경과되지 않았다면 얼굴 영역 검출 단계부터 재시도하는 단계와;
만약, 눈 영역 검출이 되었다면 눈 영역으로부터 눈동자 영역을 검출하는 단계와;
만약, 눈동자 영역이 검출되지 않았다면 눈동자 영역을 다시 검출하고 눈동자 영역을 검출하는 단계와;
눈 영역에서 눈동자의 위치, 유지 시간, 움직임 횟수를 측정하는 단계와;
위치가 중앙이 아니거나 유지시간이 설정 시간 이하이고 눈동자의 움직임이 설정 횟수 이상이라면 비 집중 상태로 판단하고 데이터를 저장하는 단계와;
그렇지 않으면 눈동자 분석으로 넘어가는 단계를 포함하는 것을 특징으로 하는 눈 영역 검출과 눈동자 영역 검출 및 움직임 검출 방법.In the eye region detection step of claim 3,
detecting an eye region;
If the eye area is not detected, and when more than a set time has elapsed, determining that the eye area is non-focused and proceeding to the step of storing data;
if the set time has not elapsed, retrying from the face region detection step;
if the eye region is detected, detecting the pupil region from the eye region;
if the pupil region is not detected, detecting the pupil region again and detecting the pupil region;
measuring the position, holding time, and number of movements of the pupil in the eye region;
If the position is not at the center or the holding time is less than the set time, and the eye movement is more than the set number of times, determining the non-focused state and storing data;
otherwise, proceeding to pupil analysis. A method for detecting an eye region and detecting a pupil region and a motion, comprising the step of moving on to the pupil analysis.
눈동자 이미지를 이치화하는 단계와;
가로/세로 픽셀의 갯수 및 비율의 변화율을 계산하는 단계와;
픽셀의 갯수가 기준치 이하이거나 가로/세로 비율이 기준치 이하인 경우 눈깜빡임으로 판단하는 단계와;
깜빡임 횟수를 계수하는 단계와;
깜빡임 횟수가 기준치보다 많다면 비 집중으로 판단하고 데이터를 저장하는 단계와;
그렇지 않으면 집중으로 판단하고 데이터를 저장하는 단계와;
만약, 픽셀의 갯수가 기준치 이상이거나 가로/세로 비율이 기준치 이상인 경우 집중으로 판단하고 데이터를 저장하는 단계를 포함하는 것을 특징으로 하는 눈동자 움직임 분석 방법.In the pupil analysis step of claim 4,
binarizing the pupil image;
calculating a change rate of the number and ratio of horizontal/vertical pixels;
determining as blinking when the number of pixels is less than or equal to the reference value or the horizontal/vertical ratio is less than or equal to the reference value;
counting the number of blinks;
determining that the number of blinks is greater than the reference value as non-concentration and storing data;
otherwise, determining the concentration and storing the data;
If the number of pixels is greater than or equal to the reference value, or when the horizontal/vertical ratio is greater than or equal to the reference value, determining concentration and storing the data.
집중 상태 판단이 완료되면 상태와 시간을 저장하는 단계와;
만약, 비 집중 상태에서 정지 옵션이 선택되어 있다면 영상 플레이 및 검출 기능을 중지하는 단계와;
사용자가 플레이 버튼을 클릭하면 영상 플레이를 재실행하고 얼굴 영역 검출 부터 재시도하는 단계와;
만약, 정지 옵션이 설정되지 않았다면 얼굴 영역 검출부터 재시도하는 단계와;
만약, 비 집중 상태에서 알람 옵션이 선택되어 있다면 알람을 발생하는 단계와;
사용자가 알람 중지 버튼을 클릭하면 알람을 중지하고 얼굴 영역 검출을 재시도하는 단계와;
만약, 정지 옵션이 설정되지 않았다면 얼굴 영역 검출을 재시도하는 단계를 포함하는 것을 특징으로 하는 데이터 저장 및 옵션 설정에 따른 동작 방법.The method according to claim 4, wherein in the step of storing data,
storing the state and time when the concentration state determination is completed;
If the stop option is selected in the non-focused state, stopping the image play and detection function;
when the user clicks the play button, replaying the image and retrying from detecting the face region;
if the stop option is not set, retrying from detecting the face region;
generating an alarm if an alarm option is selected in the non-concentrated state;
stopping the alarm and retrying face region detection when the user clicks the alarm stop button;
and if the stop option is not set, retrying face region detection.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190151023A KR20210062855A (en) | 2019-11-22 | 2019-11-22 | Online lecture concentration analysis system and service |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190151023A KR20210062855A (en) | 2019-11-22 | 2019-11-22 | Online lecture concentration analysis system and service |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210062855A true KR20210062855A (en) | 2021-06-01 |
Family
ID=76375849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190151023A KR20210062855A (en) | 2019-11-22 | 2019-11-22 | Online lecture concentration analysis system and service |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20210062855A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230043302A (en) * | 2021-09-23 | 2023-03-31 | 국민대학교산학협력단 | Non-face-to-face real-time learning management system using deep learning |
| KR102561832B1 (en) | 2022-02-07 | 2023-08-11 | 주식회사 넘버제로 | Method, device and system for providing online education content based on artificial intelligence |
| KR102601717B1 (en) * | 2022-07-20 | 2023-11-13 | 조용현 | Method for implementing virtual environment system connecting with off-line activity |
-
2019
- 2019-11-22 KR KR1020190151023A patent/KR20210062855A/en not_active Application Discontinuation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230043302A (en) * | 2021-09-23 | 2023-03-31 | 국민대학교산학협력단 | Non-face-to-face real-time learning management system using deep learning |
| KR102561832B1 (en) | 2022-02-07 | 2023-08-11 | 주식회사 넘버제로 | Method, device and system for providing online education content based on artificial intelligence |
| KR102601717B1 (en) * | 2022-07-20 | 2023-11-13 | 조용현 | Method for implementing virtual environment system connecting with off-line activity |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ochoa et al. | The RAP system: Automatic feedback of oral presentation skills using multimodal analysis and low-cost sensors | |
| KR20210062855A (en) | Online lecture concentration analysis system and service | |
| KR20100016696A (en) | Student learning attitude analysis systems in virtual lecture | |
| Indi et al. | Detection of malpractice in e-exams by head pose and gaze estimation | |
| Lakshmiprabha et al. | [Poster] An augmented and virtual reality system for training autistic children | |
| Dinesh et al. | Student analytics for productive teaching/learning | |
| Tsangouri et al. | An interactive facial-expression training platform for individuals with autism spectrum disorder | |
| Meriem et al. | Determine the level of concentration of students in real time from their facial expressions | |
| Chen et al. | Riding an Emotional Roller-Coaster: A Multimodal Study of Young Child's Math Problem Solving Activities. | |
| CN115937961B (en) | Online learning identification method and equipment | |
| Binh et al. | Detecting student engagement in classrooms for intelligent tutoring systems | |
| Singh et al. | A cheating detection system in online examinations based on the analysis of eye-gaze and head-pose | |
| Geer et al. | Exploring factors that contribute to successful fingerspelling comprehension. | |
| Das et al. | I Cannot See Students Focusing on My Presentation; Are They Following Me? Continuous Monitoring of Student Engagement through “Stungage” | |
| JP2018060375A (en) | Information processing system, information processing device and program | |
| Saurav et al. | AI Based Proctoring | |
| Oki et al. | CANVAS: A drawing tool for AR-aided special needs education using interactive floor projection | |
| Yan et al. | Inference of student needs in an online learning environment based on facial expression | |
| Vishnumolakala et al. | In-class student emotion and engagement detection system (iSEEDS): an AI-based approach for responsive teaching | |
| Cazzato et al. | Automatic joint attention detection during interaction with a humanoid robot | |
| Nguyen et al. | Student postures and gestures recognition system for adaptive learning improvement | |
| KR102038413B1 (en) | Online lecture monitoring method using face verification and gaze tracking technology | |
| Le et al. | Smart Desk in Hybrid Classroom: Detecting student's lack of concentration when studying | |
| Rao et al. | Teacher assistance system to detect distracted students in online classroom environment | |
| Das et al. | Quantifying Students’ Involvement during Virtual Classrooms: A Meeting Wrapper for the Teachers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application |