KR20230043302A - 딥러닝 기반 비대면 실시간 학습 관리 시스템 - Google Patents

딥러닝 기반 비대면 실시간 학습 관리 시스템 Download PDF

Info

Publication number
KR20230043302A
KR20230043302A KR1020210125949A KR20210125949A KR20230043302A KR 20230043302 A KR20230043302 A KR 20230043302A KR 1020210125949 A KR1020210125949 A KR 1020210125949A KR 20210125949 A KR20210125949 A KR 20210125949A KR 20230043302 A KR20230043302 A KR 20230043302A
Authority
KR
South Korea
Prior art keywords
learning
student
face
learner
real
Prior art date
Application number
KR1020210125949A
Other languages
English (en)
Other versions
KR102591040B1 (ko
Inventor
김남규
문혜영
연진욱
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020210125949A priority Critical patent/KR102591040B1/ko
Publication of KR20230043302A publication Critical patent/KR20230043302A/ko
Application granted granted Critical
Publication of KR102591040B1 publication Critical patent/KR102591040B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/38—Individual registration on entry or exit not involving the use of a pass with central registration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 딥러닝 기반 비대면 실시간 학습 관리 시스템 및 방법에 관한 것으로, 상기 시스템은 학습자의 얼굴인식을 통해 상기 학습자의 얼굴특징을 학습자 식별코드로서 추출하여 학습자 데이터베이스를 구축하는 학습자 데이터베이스 구축부; 수업 과정에서 수강생의 얼굴인식을 통해 상기 수강생이 상기 학습자에 해당하는지를 결정하여 인증하고 상기 수강생의 출석체크를 수행하는 수강생 인증 처리부; 상기 출석체크가 성공적으로 수행되면 상기 수강생의 얼굴 영상을 모니터링하여 상기 수강생의 이탈 및 졸음을 검출하고 상기 수강생의 학습상태에 관한 집중도 분석을 수행하는 수강생 학습 모니터링부; 및 상기 수강생의 학습상태를 학습 컨텐츠에 실시간 반영하여 상기 수강생의 학습 집중도를 관리하는 학습 수행부를 포함한다.

Description

딥러닝 기반 비대면 실시간 학습 관리 시스템{NON-FACE-TO-FACE REAL-TIME LEARNING MANAGEMENT SYSTEM USING DEEP LEARNING}
본 발명은 비대면 학습 관리 기술에 관한 것으로, 보다 상세하게는 딥러닝 기술을 이용하여 비대면 학습자들의 실시간 학습 관리 시스템을 구축함으로써 실시간 모니터링을 통해 학습자들의 집중도를 향상시킬 수 있는 이미지 딥러닝 기반 비대면 실시간 학습 관리 시스템 및 방법에 관한 것이다.
비대면 수업이 일반화되면서 대면 수업에 비해 학생들의 학력 격차가 상대적으로 증가하고 있으며, 특히 중위권의 학력이 평균적으로 낮아지고 있다. 교실에서 교사와 친구들의 격려에 학업 성취도를 높여온 중위권 학생들의 경우 비대면 수업의 장기화로 인해 성적에 직접적인 영향을 받은 결과 하락폭이 상대적으로 크게 나타나고 있다.
비대면 수업이 전면적으로 실시되었던 2020년 한국교육학술정보원이 51,021명의 교사들에게 '원격교육 실시에 따른 교육격차'에 대해 설문조사를 한 결과, 응답자들은 학습 격차가 '커졌다(46.3%)' 혹은 '매우 커졌다(32.7%)'고 답한 것으로 나타났다.
따라서, 예전과 달리 좀 더 철저한 학습관리가 이루어 질 필요가 있으며, 비대면 수업시 화면으로 보여지는 학습자들의 얼굴을 통하여 학습집중도를 분석하고 독려하며 관리할 수 있는 방안이 요구되고 있다.
특히, 수업을 진행하면서 학생들이 화면에서 이탈하는 경우 또는 집중도가 떨어지는 상황이 발생하는 경우 교수자는 학생들이 수업에 보다 집중도 있게 참여하도록 적절한 조치를 취할 필요가 있다. 다만, 교수자의 입장에서 실시간 수업을 진행하는 동안 학생들의 학습집중도를 파악하는 것은 매우 어려울 수 있다.
한국등록특허 제10-1903910호 (2018.09.21)
본 발명의 일 실시예는 딥러닝 기술을 이용하여 비대면 학습자들의 실시간 학습 관리 시스템을 구축함으로써 실시간 모니터링을 통해 학습자들의 집중도를 향상시킬 수 있는 이미지 딥러닝 기반 비대면 실시간 학습 관리 시스템 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 별도의 하드웨어 장치 없이 딥러닝 기술을 이용하여 학습자의 이탈상태, 집중 상태, 졸음 상태, 감정 상태 등을 실시간으로 관리할 수 있고 학생들을 독려하는 음성을 학생들에게 제공함으로써 학습자들이 교수자에게 더 집중할 수 있고 좀 더 긴장된 상태에서 적극적으로 수업에 참여할 수 있도록 하는 시스템 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 학습자들의 집중도를 분석하고 수업 참여를 독려할 수 있으며 특정한 학습 패턴을 분석하여 집중도 향상에 기여할 수 있는 이미지 딥러닝 기반 비대면 실시간 학습 관리 시스템 및 방법을 제공하고자 한다.
실시예들 중에서, 딥러닝 기반 비대면 실시간 학습 관리 시스템은 학습자의 얼굴인식을 통해 상기 학습자의 얼굴특징을 학습자 식별코드로서 추출하여 학습자 데이터베이스를 구축하는 학습자 데이터베이스 구축부; 수업 과정에서 수강생의 얼굴인식을 통해 상기 수강생이 상기 학습자에 해당하는지를 결정하여 인증하고 상기 수강생의 출석체크를 수행하는 수강생 인증 처리부; 상기 출석체크가 성공적으로 수행되면 상기 수강생의 얼굴 영상을 모니터링하여 상기 수강생의 이탈 및 졸음을 검출하고 상기 수강생의 학습상태에 관한 집중도 분석을 수행하는 수강생 학습 모니터링부; 및 상기 수강생의 학습상태를 학습 컨텐츠에 실시간 반영하여 상기 수강생의 학습 집중도를 관리하는 학습 수행부를 포함한다.
상기 학습자 데이터베이스 구축부는 상기 학습자의 얼굴 영상에 대해 왼쪽 눈 및 오른쪽 눈의 중심점을 이용하여 정면을 바라보도록 얼굴 정렬(face alignment)을 수행할 수 있다.
상기 학습자 데이터베이스 구축부는 상기 얼굴 영상을 일정 크기의 셀로 분할하고 각 셀마다 그라디언트 크기(gradient magnitude)가 특정 값 이상인 에지 픽셀들의 방향에 대한 히스토그램을 획득한 다음 상기 히스토그램의 값을 일렬로 연결한 벡터를 얼굴 특성 벡터로서 결정하여 상기 얼굴특징을 추출할 수 있다.
상기 수강생 인증 처리부는 상기 수강생의 얼굴인식 과정에서 생성된 얼굴 특성 벡터와 상기 학습자 데이터베이스에 있는 학습자의 얼굴 특성 벡터 간의 가장 가까운 거리에 있는 학습자를 결정하고, 해당 거리가 특정 기준 이내에 있는 경우에는 상기 수강생을 상기 학습자로 인식할 수 있다.
상기 수강생 학습 모니터링부는 상기 수강생의 이탈이 검출되면 상기 수강생의 모바일 단말에 수업참여 독촉메시지를 제공하여 상기 수강생의 수업 참여를 촉진시킬 수 있다.
상기 수강생 학습 모니터링부는 상기 수업참여 독촉메시지에 모바일 수업참여링크를 포함시켜 상기 모바일 단말을 통해 상기 학습 컨텐츠를 변형한 모바일 학습 컨텐츠를 수강하도록 할 수 있다.
상기 수강생 학습 모니터링부는 상기 수강생의 얼굴 영상에서 눈 및 동공의 특징점을 검출하고 시선 응시점, 시선 유지 시간, 시선 응시 회수 및 동공 크기 변화를 추적하여 상기 수강생의 학습 집중도를 결정할 수 있다.
상기 수강생 학습 모니터링부는 상기 수강생의 얼굴 영상에서 눈동자의 상대적 높이를 검출하고 상기 상대적 높이를 추적하여 상기 수강생의 졸음 상태 또는 수면 상태를 결정할 수 있다.
상기 수강생 학습 모니터링부는 상기 수강생의 졸음이 검출되면 상기 수강생의 사용자 단말을 통해 수업참여 독촉음성을 제공하여 상기 수강생의 수업 참여를 촉진시킬 수 있다.
상기 수강생 학습 모니터링부는 상기 수강생의 얼굴 영상에서 얼굴 이미지를 추출하고 상기 얼굴 이미지를 적어도 하나의 합성곱층과 풀링층을 포함하는 감정 분류 네트워크에 통과시켜 상기 수강생의 감정 상태를 결정할 수 있다.
상기 수강생 학습 모니터링부는 상기 수강생의 학습상태에 따라 결정된 이탈 여부, 졸음 여부 및 산만 여부를 기초로 상기 수강생의 집중도 평가지수(CEI, Concentration Evaluation Index)를 산출하여 상기 집중도 분석을 수행할 수 있다.
상기 수강생 학습 모니터링부는 상기 이탈 여부, 졸음 여부 및 산만 여부 각각과 학습태도의 중요도에 따른 가중치를 기초로 다음의 수학식에 따라 상기 집중도 평가지수를 산출할 수 있다.
[수학식]
CEI = (ADs*w1 + DDs*w2 + ALs*w3) × 1/T
(여기에서, CEI는 집중도 평가지수이고, ADs는 이탈 발생 회수이고, DDs는 졸음 발생 회수이고, ALs는 산만 발생 회수이고, T는 수업시간(분)이다. 또한, w1, w2 및 w3은 가중치이며, w1+w2+w3 = 1이다.)
상기 수강생 학습 모니터링부는 수강생별 집중도 평가지수를 통합하여 상기 수업 과정에 대한 전체 집중도를 산출하고, 상기 학습 수행부는 상기 전체 집중도가 기 설정된 임계값을 초과하는 경우 전체 수강생을 대상으로 학습 집중도 관리를 위한 학습 촉진 컨텐츠를 제공할 수 있다.
상기 학습 수행부는 상기 수강생에 대해 이탈 정도, 졸음 정도, 학습 집중도 및 감정 정도를 포함하는 상기 학습상태를 결정하고 상기 학습자 데이터베이스에 학습 컨텐츠 별로 상기 학습상태를 저장할 수 있다.
상기 학습 수행부는 상기 수강생의 학습상태에 따라 상기 학습 컨텐츠 상에 상기 수강생에게만 전달되는 학습 촉진 컨텐츠를 오버레이하여 제공할 수 있다.
실시예들 중에서, 포함하는 딥러닝 기반 비대면 실시간 학습 관리 방법은 학습자의 얼굴인식을 통해 상기 학습자의 얼굴특징을 학습자 식별코드로서 추출하여 학습자 데이터베이스를 구축하는 단계; 수업 과정에서 수강생의 얼굴인식을 통해 상기 수강생이 상기 학습자에 해당하는지를 결정하여 인증하고 상기 수강생의 출석체크를 수행하는 단계; 상기 출석체크가 성공적으로 수행되면 상기 수강생의 얼굴 영상을 모니터링하여 상기 수강생의 이탈 및 졸음을 검출하고 상기 수강생의 학습상태에 관한 집중도 분석을 수행하는 단계; 및 상기 수강생의 학습상태를 학습 컨텐츠에 실시간 반영하여 상기 수강생의 학습 집중도를 관리하는 단계를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 이미지 딥러닝 기반 비대면 실시간 학습 관리 시스템 및 방법은 딥러닝 기술을 이용하여 비대면 학습자들의 실시간 학습 관리 시스템을 구축함으로써 실시간 모니터링을 통해 학습자들의 집중도를 향상시킬 수 있다.
도 1은 본 발명에 따른 학습 관리 시스템을 설명하는 도면이다.
도 2는 도 1의 학습 관리 장치의 기능적 구성을 설명하는 도면이다.
도 3은 본 발명에 따른 비대면 실시간 학습 관리 과정의 일 실시예를 설명하는 순서도이다.
도 4는 도 3의 학습자 데이터 저장 단계의 구체적 과정을 설명하는 순서도이다.
도 5는 도 3의 수강생 인증 단계의 구체적 과정을 설명하는 순서도이다.
도 6a 및 6b는 도 3의 실시간 모니터링 단계의 구체적 과정을 설명하는 순서도이다.
도 7은 본 발명에 따른 얼굴 정렬 과정을 설명하는 도면이다.
도 8은 본 발명에 따른 졸음 및 수면 상태 감지를 설명하는 도면이다.
도 9는 본 발명에 따른 집중도 평가지수를 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 학습 관리 시스템을 설명하는 도면이다.
도 1을 참조하면, 학습 관리 시스템(100)은 사용자 단말(110), 학습 관리 장치(130) 및 데이터베이스(150)를 포함할 수 있다.
사용자 단말(110)은 학습 관리 장치(130)와 연결되어 비대면 온라인 학습을 참여하거나 또는 제공할 수 있는 컴퓨팅 장치에 해당할 수 있다. 예를 들어, 사용자 단말(110)은 비대면 온라인 학습에 참여하는 학습자(또는 수강생)의 PC, 모바일 단말 등에 해당할 수 있고, 비대면 온라인 학습을 개설하고 수업을 진행하는 교수자의 PC, 모바일 단말 등에 해당할 수 있다. 또한, 사용자 단말(110)은 스마트폰, 노트북 또는 컴퓨터 등으로 한정되지 않으며, 태블릿 PC 등을 포함하여 다양한 디바이스로도 구현될 수 있다. 사용자 단말(110)은 학습 관리 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(110)들이 학습 관리 장치(130)와 동시에 연결될 수도 있다.
학습 관리 장치(130)는 본 발명에 따른 딥러닝 기반 비대면 실시간 학습 관리 방법을 수행하는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 학습 관리 장치(130)는 사용자 단말(110)과 유선 또는 무선 네트워크를 통해 연결될 수 있고 상호 간에 데이터를 주고받을 수 있다. 한편, 학습 관리 장치(130)는 본 발명에 따른 딥러닝 기반 비대면 실시간 학습 관리 방법을 수행하는 과정에서 다양한 외부 시스템(또는 서버)과 연동하여 동작할 수 있다.
데이터베이스(150)는 학습 관리 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 예를 들어, 데이터베이스(150)는 비대면 온라인 학습에 참여하는 학습자들로부터 수집된 학습자 정보를 저장할 수 있고, 비대면 학습 과정에서 학습자 인식, 학습자 인증 및 실시간 모니터링을 위한 정보들을 저장할 수 있으며, 반드시 이에 한정되지 않고, 학습 관리 장치(130)가 본 발명에 따른 딥러닝 기반 비대면 실시간 학습 관리 방법을 수행하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
도 2는 도 1의 학습 관리 장치의 기능적 구성을 설명하는 도면이다.
도 2를 참조하면, 학습 관리 장치(130)는 학습자 데이터베이스 구축부(210), 수강생 인증 처리부(230), 수강생 학습 모니터링부(250), 학습 수행부(270) 및 제어부(290)를 포함할 수 있다.
학습자 데이터베이스 구축부(210)는 학습자의 얼굴인식을 통해 학습자의 얼굴특징을 학습자 식별코드로서 추출하여 학습자 데이터베이스를 구축할 수 있다. 즉, 학습자 데이터베이스 구축부(210)는 비대면 온라인 학습에 참여하는 학습자들에 대한 식별 정보를 DB로 구축하는 동작을 수행할 수 있다. 학습자 데이터베이스는 학습자들에 대한 식별 정보를 포함하여 사전에 구축될 수 있으며, 데이터베이스(150)에 저장되어 관리될 수 있다. 학습자 데이터베이스는 학습자 별로 식별 정보를 포함할 수 있으며, 식별 정보에는 얼굴 영상으로부터 추출된 얼굴특징이나 생체 정보 등이 포함될 수 있다. 학습자 데이터베이스 구축부(210)에 의해 구축된 학습자 데이터베이스는 이후 학습 과정에서 학습자 인증이나 학습자 모니터링을 위한 과정에서 사용될 수 있다.
일 실시예에서, 학습자 데이터베이스 구축부(310)는 학습자의 얼굴 영상에 대해 왼쪽 눈 및 오른쪽 눈의 중심점을 이용하여 정면을 바라보도록 얼굴 정렬(face alignment)을 수행할 수 있다. 학습자 데이터베이스 구축부(310)는 학습자의 식별 정보로서 얼굴 영상으로부터 추출되는 얼굴특징을 수집할 수 있다. 이를 위해, 학습자 데이터베이스 구축부(310)는 사용자 단말(110)로부터 학습자의 얼굴 영상을 수신할 수 있으며, 얼굴 영상으로부터 학습자의 얼굴을 인식할 수 있다. 이때, 학습자 데이터베이스 구축부(310)는 얼굴인식에 따라 학습자의 얼굴 이미지를 획득할 수 있으며, 인식 정확도를 높이기 위하여 얼굴 이미지를 표준화된 상태로 변환하는 전처리 동작을 수행할 수 있다.
보다 구체적으로, 학습자 데이터베이스 구축부(310)는 학습자의 얼굴 영상에 대해 얼굴 정렬(face alignment)을 수행할 수 있다. 즉, 얼굴 정렬은 얼굴 이미지를 소정의 방향에 따라 회전시켜 얼굴 방향이 정면을 응시하도록 조정하는 동작에 해당할 수 있다. 학습자 데이터베이스 구축부(310)는 왼쪽 눈 및 오른쪽 눈의 중심점을 이용하여 얼굴이 기울어진 정도를 도출할 수 있으며, 얼굴이 기울어진 방향과 그 정도에 따라 얼굴 이미지를 회전하는 전처리 동작을 수행할 수 있다.
일 실시예에서, 학습자 데이터베이스 구축부(310)는 얼굴 영상을 일정 크기의 셀로 분할하고 각 셀마다 그라디언트 크기(gradient magnitude)가 특정 값 이상인 에지 픽셀들의 방향에 대한 히스토그램을 획득한 다음 히스토그램의 값을 일렬로 연결한 벡터를 얼굴 특성 벡터로서 결정하여 얼굴특징을 추출할 수 있다. 학습자 데이터베이스 구축부(310)는 얼굴 영상으로부터 학습자 고유의 얼굴특징을 추출할 수 있으며, 얼굴특징은 소정의 크기로 형성되는 특성 벡터로 표현될 수 있다. 예를 들어, 얼굴 특성 벡터는 128 크기를 갖는 특성 벡터로 표현될 수 있으며, 특성 벡터의 크기는 특성값을 추출하는 방법에 따라 다양하게 적용될 수 있다.
수강생 인증 처리부(230)는 수업 과정에서 수강생의 얼굴인식을 통해 수강생이 학습자에 해당하는지를 결정하여 인증하고 수강생의 출석체크를 수행할 수 있다. 즉, 수강생 인증 처리부(230)는 기 구축된 학습자 데이터베이스에 저장된 정보와 수업 과정에 참여한 수강생으로부터 수집된 정보를 서로 비교한 결과에 따라 해당 수강생을 인증할 수 있으며, 인증에 성공한 경우 해당 수강생이 수업에 참여한 것으로 결정할 수 있다. 이때, 수업에 대한 참여 여부는 출석체크에 관한 다양한 방법으로 기록될 수 있다. 수강생 인증 처리부(230)를 통해 인증에 성공한 수강생은 수업 과정에 참여하여 비대면 온라인 학습을 진행할 수 있다.
일 실시예에서, 수강생 인증 처리부(230)는 수강생의 얼굴인식 과정에서 생성된 얼굴 특성 벡터와 학습자 데이터베이스에 있는 학습자의 얼굴 특성 벡터 간의 가장 가까운 거리에 있는 학습자를 결정하고, 해당 거리가 특정 기준 이내에 있는 경우에는 수강생을 학습자로 인식할 수 있다. 얼굴 특성 벡터는 수강생의 얼굴 영상으로부터 추출될 수 있으며, 기 구축되어 등록된 학습자 데이터베이스에서 해당 얼굴 특성 벡터가 존재하는지에 따라 해당 수강생이 기 등록된 학습자인지 결정될 수 있다. 수강생 인증 처리부(230)는 얼굴 특성 벡터 간의 비교를 위해 벡터 간의 거리를 사용할 수 있으며, 다른 예로서, 얼굴 특성 벡터의 각 특성값(encoding) 간의 매칭 카운트(count) 수를 사용할 수도 있다. 즉, 수강생 인증 처리부(230)는 학습자 데이터베이스에 저장된 학습자 정보 중에서 매칭 카운트 값이 가장 큰 카테고리의 이름을 해당 수강생의 이름을 결정할 수 있다.
수강생 학습 모니터링부(250)는 출석체크가 성공적으로 수행되면 수강생의 얼굴 영상을 모니터링하여 수강생의 이탈 및 졸음을 검출하고 수강생의 학습상태에 관한 집중도 분석을 수행할 수 있다. 수강생 학습 모니터링부(250)는 수강생 인증이 완료된 학습자들에 대한 실시간 모니터링을 수행할 수 있으며, 구체적으로, 해당 사용자 단말(110)들에서 수신하는 얼굴 영상을 기초로 학습자들의 행동을 관찰할 수 있다.
예를 들어, 얼굴 영상에서 학습자가 사라지거나 소정의 행동이 관찰되는 경우 수강생 학습 모니터링부(250)는 해당 수강생의 학습 집중도가 낮아진 것으로 판단할 수 있으며 이에 관한 소정의 알림을 수강생 또는 교수자에게 제공할 수 있다. 수강생 학습 모니터링부(250)는 학습자 별로 학습상태를 모니터링하고 학습상태에 관한 집중도를 수치화하여 표현할 수 있으며, 학습자들의 집중도를 통합하여 해당 수업 과정에 대한 전체 집중도를 산출할 수 있다. 이를 통해, 교수자는 개별 수강생들의 집중도뿐만 아니라 해당 수업 과정 전체의 집중도를 직관적으로 이해함으로써 수업 과정의 진행 방향이나 속도 등을 효과적으로 조정할 수 있다.
일 실시예에서, 수강생 학습 모니터링부(250)는 수강생의 이탈이 검출되면 수강생의 모바일 단말에 수업참여 독촉메시지를 제공하여 수강생의 수업 참여를 촉진시킬 수 있다. 수강생 학습 모니터링부(250)는 사전에 설정된 행동 유형을 선별적으로 검출할 수 있으며, 사전 설정된 행동 유형이 검출된 경우 소정의 검출 신호를 생성할 수 있다. 예를 들어, 수강생의 얼굴 영상에서 수강생의 모습이 10초 이상 검출되지 않는 경우 수강생 학습 모니터링부(250)는 해당 수강생의 이탈을 검출하고 이에 관한 이탈 신호를 생성할 수 있다. 수강생 학습 모니터링부(250)는 이탈 신호가 생성된 경우 해당 수강생의 모바일 단말에 '수업에 참여하세요'와 같은 메시지를 전송하여 수강생이 다시 수업에 참여할 수 있도록 유도할 수 있다. 한편, 여기에서는 수업참여 독촉메시지를 예로 들어 설명하지만, 모바일 단말을 통해 제공 가능한 다양한 형태로 변형되어 구현될 수 있음은 물론이다.
일 실시예에서, 수강생 학습 모니터링부(250)는 수업참여 독촉메시지에 모바일 수업참여링크를 포함시켜 모바일 단말을 통해 학습 컨텐츠를 변형한 모바일 학습 컨텐츠를 수강하도록 할 수 있다. 수강생의 이탈이 검출되거나 또는 소정의 시간이 경과된 뒤에도 수강생의 복귀가 감지되지 않는 경우라면 수강생 학습 모니터링부(250)는 모바일 단말을 통해 접속 가능한 수업참여링크를 제공하여 수강생이 다른 장소에서도 이탈한 수업 과정에 직접 참여할 수 있도록 할 수 있다. 즉, 수업참여링크는 모바일 접속 가능한 외부 링크에 해당할 수 있으며, 교수자에 의해 수업 과정이 개설되면 학습 관리 장치(130)에 의해 생성되어 관리될 수 있다. 수강생은 수업참여링크를 통해 진행 중인 수업 과정에 참여할 수 있고, 수업 과정이 종료된 경우에는 학습 컨텐츠에 대응하는 모바일 학습 컨텐츠를 이용할 수 있는 페이지로 이동할 수 있다.
일 실시예에서, 수강생 학습 모니터링부(250)는 수강생의 얼굴 영상에서 눈 및 동공의 특징점을 검출하고 시선 응시점, 시선 유지 시간, 시선 응시 회수 및 동공 크기 변화를 추적하여 수강생의 학습 집중도를 결정할 수 있다. 이때, 학습 집중도는 '집중'과 '산만'으로 표시될 수 있다. 수강생 학습 모니터링부(250)는 수강생의 얼굴 영상에서 추출되는 특징 정보를 기초로 해당 수강생의 수업 과정에 참여하는 정도에 관한 학습 집중도를 분류할 수 있다.
보다 구체적으로, 수강생 학습 모니터링부(250)는 눈과 동공의 특징점을 이용하여 시선 응시점, 시선이 머무는 시간(시선 유지 시간), 특정영역에서 시선이 머무르는 회수(시선 응시 회수), 동공의 크기 변화를 판단할 수 있다. 집중 상태인 경우 시선이 특정 영역에서 머무는 시간이 길고, 머무는 회수가 많으며, 동공의 크기는 일반 상태일 때보다 증가하게 되고, 학습자의 얼굴 움직임이 적은 것으로 판단될 수 있다. 산만 상태인 경우 시선이 특정영역에서 머무는 시간이 짧고, 머무는 회수가 적으며, 동공의 크기는 일반 상태일 때보다 작거나 같고, 학습자의 얼굴 움직임이 많은 것으로 판단될 수 있다. 수강생 학습 모니터링부(250)는 수강생의 집중 또는 산만 여부를 판단하여 주의집중이 필요할 때에는 학습 수행부(270)를 통해 새로운 자극이 제공됨으로써 학습 내용에 대한 지속적인 관심을 유도하도록 할 수 있다.
일 실시예에서, 수강생 학습 모니터링부(250)는 수강생의 얼굴 영상에서 눈동자의 상대적 높이를 검출하고 상대적 높이를 추적하여 수강생의 졸음 상태 또는 수면 상태를 결정할 수 있다. 즉, 수강생 학습 모니터링부(350)는 학습자가 정상적으로 수업 과정에 참여하는 경우의 얼굴 자세를 기준으로 졸음 또는 수면 상태의 얼굴 자세를 눈동자의 상대적 높이 변화를 통해 검출할 수 있다. 이에 대해서는 도 8에서 보다 자세히 설명한다.
일 실시예에서, 수강생 학습 모니터링부(250)는 수강생의 졸음이 검출되면 수강생의 사용자 단말(110)을 통해 수업참여 독촉음성을 제공하여 수강생의 수업 참여를 촉진시킬 수 있다. 이를 위해, 사용자 단말(110)에는 독촉음성에 관한 음성 파일이 사전에 설치될 수 있으며, 수강생 학습 모니터링부(350)는 사용자 단말(110)과 연동하여 독촉음성의 제공을 위한 음성 파일의 재생을 제어할 수 있다. 사용자 단말(110)은 비대면 온라인 학습을 위한 전용 프로그램이 설치되어 실행될 수 있으며, 수강생 학습 모니터링부(250)는 전용 프로그램의 동작에 관한 제어 명령을 사용자 단말(110)에게 전송하여 관련 동작의 개시를 제어할 수 있다. 한편, 여기에서는 수업참여 독촉음성을 예로 들어 설명하지만, 사용자 단말(110)을 통해 제공 가능한 다양한 형태로 변형되어 구현될 수 있음은 물론이다.
일 실시예에서, 수강생 학습 모니터링부(250)는 수강생의 얼굴 영상에서 얼굴 이미지를 추출하고 얼굴 이미지를 적어도 하나의 합성곱층과 풀링층을 포함하는 감정 분류 네트워크에 통과시켜 수강생의 감정 상태를 결정할 수 있다. 예를 들어, 감정 분류 네트워크는 이미지 분석을 위한 CNN 모델을 통해 구현될 수 있다. 감정 분류 네트워크는 얼굴 이미지를 입력으로 수신하여 얼굴 이미지에 대응하는 감정 상태를 분류 결과로서 생성할 수 있다. 이때, 감정 상태는 '기쁨', '행복', '차분함', '싫음' 및 '슬픔'으로 정의될 수 있으며, 필요에 따라 다른 감정 상태를 선택적으로 추가할 수도 있다.
보다 구체적으로, 수강생 학습 모니터링부(250)는 학습자 실시간 모니터링을 통하여 추출된 동영상에서 얼굴인식을 수행하여 감정 분석에 관한 동작을 진행할 수 있다. 동영상에서 추출된 얼굴 이미지는 합성곱층(convolutional layer)과 풀링층(pooling layer)을 거쳐서 다양한 수준의 특징 정보로 추출될 수 있다. 합성곱층은 필터(Filter 또는 Kernel)라는 행렬로 Height×Width 크기의 이미지를 처음부터 끝까지 겹쳐가면서, 겹쳐지는 부분의 각 이미지와 필터의 원소값을 곱해서 모두 더한 결과값인 특성맵(Feature Map)을 출력할 수 있다.
합성곱 연산 후에는 ReLU(Rectified Linear Unit) 활성화 함수가 적용되어 다음 층의 활성화 값들이 생성될 수 있다. 또한, 2×2 맥스풀링(Max Pooling)을 이용하여 필터와 겹치는 영역 안에서 최대값을 추출하는 방식으로 다운 샘플링(Down Sampling)이 진행될 수 있다. 이러한 과정을 통해 계산된 값은 마지막으로 완전연결계층(fully connected layer)을 통해 집약될 수 있으며, 최종적으로 이 값이 소프트맥스(Softmax)를 거쳐 카테고리 분류에 사용될 수 있다. 즉, 소프트맥스는 기 설정된 감정 상태들에 관한 확률 정보를 출력으로 생성할 수 있으며, 수강생 학습 모니터링부(250)는 이를 기초로 학습자의 감정 상태를 최종적으로 결정할 수 있다.
일 실시예에서, 수강생 학습 모니터링부(250)는 수강생의 학습상태에 따라 결정된 이탈 여부, 졸음 여부 및 산만 여부를 기초로 수강생의 집중도 평가지수(CEI, Concentration Evaluation Index)를 산출하여 집중도 분석을 수행할 수 있다. 일 실시예에서, 수강생 학습 모니터링부(250)는 이탈 여부, 졸음 여부 및 산만 여부 각각과 학습태도의 중요도에 따른 가중치를 기초로 다음의 수학식 1에 따라 집중도 평가지수를 산출할 수 있다.
[수학식 1]
CEI = (ADs*w1 + DDs*w2 + ALs*w3) × 1/T
여기에서, CEI는 집중도 평가지수이고, ADs는 이탈 발생 회수이고, DDs는 졸음 발생 회수이고, ALs는 산만 발생 회수이고, T는 수업시간(분)이다. 또한, w1, w2 및 w3은 가중치이며, w1+w2+w3=1이다. 이에 대해서는 도 9를 통해 보다 자세히 설명한다.
일 실시예에서, 수강생 학습 모니터링부(250)는 수강생별 집중도 평가지수를 통합하여 수업 과정에 대한 전체 집중도를 산출할 수 있다. 수강생 학습 모니터링부(250)는 수강생 별로 집중도 평가지수를 산출할 수 있으며, 해당 수업 과정에 참여하는 모든 수강생에 대한 집중도 평가지수를 통합하여 해당 수업 과정에 대한 전체 집중도를 산출할 수 있다. 예를 들어, 전체 집중도는 모든 수강생에 대한 집중도 평가지수를 평균하여 산출될 수 있으며, 반드시 이에 한정되지 않고, 다양한 방법이 적용될 수도 있다. 또한, 수강생 학습 모니터링부(250)는 전체 집중도가 기 설정된 임계값을 초과하는 경우 교수자 또는 학습자에게 소정의 알림을 생성하여 제공할 수 있다.
학습 수행부(270)는 수강생의 학습상태를 학습 컨텐츠에 실시간 반영하여 수강생의 학습 집중도를 관리할 수 있다. 수업 과정은 교수자에 의해 진행될 수 있고, 교수자는 수강생 학습 모니터링부(250)에 의해 제공되는 모니터링 정보를 실시간으로 확인할 수 있다. 교수자는 모니터링 정보에 따라 수업 진행 방향을 설정할 수 있고, 수정 내용이나 진행 속도를 동적으로 조절할 수 있다. 학습 수행부(270)는 교수자의 수업 진행을 보조하여 수강생의 학습 집중도를 관리하기 위한 동작을 수행할 수 있다.
예를 들어, 특정 수강생의 학습 집중도가 떨어지면 해당 수강생에게만 소정의 컨텐츠를 제공할 수 있고, 수업 전체의 학습 집중도가 떨어지면 교수자 또는 전체 수강생에게 소정의 컨텐츠를 자동으로 제공할 수도 있다. 다만, 여기에서는 컨텐츠의 제공이라는 방법을 사용하여 학습 집중도 관리를 위한 동작을 설명하고 있으나, 반드시 이에 한정되지 않고, 다양한 방법들이 적용되어 학습 집중도 관리를 위한 동작이 수행될 수도 있다.
일 실시예에서, 학습 수행부(270)는 전체 집중도가 기 설정된 임계값을 초과하는 경우 전체 수강생을 대상으로 학습 집중도 관리를 위한 학습 촉진 컨텐츠를 제공할 수 있다. 여기에서, 학습 촉진 컨텐츠는 실제 수업이 진행 중인 학습 컨텐츠와 연관된 컨텐츠에 해당할 수 있고, 필요에 따라 학습 컨텐츠와 상이한 컨텐츠에 해당할 수도 있다. 예를 들어, 학습 촉진 컨텐츠는 학습자들의 연령대에서 인기 있는 음악, 관심도 높은 뉴스 등을 포함할 수 있다. 학습 수행부(270)는 학습 촉진 컨텐츠로서 단일 컨텐츠를 반복적으로 제공하거나 또는 복수의 컨텐츠들을 순차적으로 제공할 수 있다. 학습 수행부(270)는 학습 촉진 컨텐츠를 통해 수업 진행 도중에 학습자들의 주의를 환기시킴으로써 이후 학습 컨텐츠에 대한 집중도를 높일 수 있다.
일 실시예에서, 학습 수행부(270)는 수강생에 대해 이탈 정도, 졸음 정도, 학습 집중도 및 감정 정도를 포함하는 학습상태를 결정하고 학습자 데이터베이스에 학습 컨텐츠 별로 학습상태를 저장할 수 있다. 이후, 학습자의 학습상태에 관한 데이터는 수업에 참여하는 학습자들의 패턴을 분석하는데 활용될 수 있으며, 학습자 개인별 학습관리를 위한 자료로 활용될 수 있다. 또한, 학습 컨텐츠 별로 구축된 데이터를 통해 교수자가 수업을 계획하는 과정에서 참고 자료로 활용될 수도 있다.
일 실시예에서, 학습 수행부(270)는 수강생의 학습상태에 따라 학습 컨텐츠 상에 수강생에게만 전달되는 학습 촉진 컨텐츠를 오버레이하여 제공할 수 있다. 학습 수행부(270)는 수강생 별로 학습상태를 관리할 수 있으며, 수강생의 학습상태에 따라 학습 촉진 컨텐츠를 단계적으로 제공할 수 있다. 예를 들어, 학습 촉진 컨텐츠는 반복 회수에 따라 서로 다른 컨텐츠들로 구성될 수 있으며, 학습 수행부(270)는 동일 수강생에게 학습 촉진 컨텐츠가 제공된 이후 학습상태의 개선이 이루어지지 않은 경우 단계적으로 설정된 컨텐츠들을 반복하여 제공할 수 있다. 특히, 학습 촉진 컨텐츠는 수강생의 단말을 통해 제공되는 학습 컨텐츠 상에서 오버레이되어 표시될 수 있고, 수강생은 해당 학습 촉진 컨텐츠에 대한 집중을 학습 컨텐츠로 자연스럽게 유지할 수 있어 수업에 대한 학습 집중도를 높일 수 있다.
제어부(290)는 학습 관리 장치(130)의 전체적인 동작을 제어하고, 학습자 데이터베이스 구축부(210), 수강생 인증 처리부(230), 수강생 학습 모니터링부(250) 및 학습 수행부(270) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 3은 본 발명에 따른 비대면 실시간 학습 관리 과정의 일 실시예를 설명하는 순서도이다.
도 3을 참조하면, 학습 관리 장치(130)는 학습자 데이터베이스 구축부(310)를 통해 학습자의 얼굴인식을 통해 학습자의 얼굴특징을 학습자 식별코드로서 추출하여 학습자 데이터베이스를 구축할 수 있다(단계 S310). 학습 관리 장치(130)는 수강생 인증 처리부(230)를 통해 수업 과정에서 수강생의 얼굴인식을 통해 수강생이 학습자에 해당하는지를 결정하여 인증하고 수강생의 출석체크를 수행할 수 있다(단계 S330).
또한, 학습 관리 장치(130)는 수강생 학습 모니터링부(250)를 통해 출석체크가 성공적으로 수행되면 수강생의 얼굴 영상을 모니터링하여 수강생의 이탈 및 졸음을 검출하고 수강생의 학습상태에 관한 집중도 분석을 수행할 수 있다(단계 S350). 학습 관리 장치(130)는 학습 수행부(270)를 통해 수강생의 학습상태를 학습 컨텐츠에 실시간 반영하여 수강생의 학습 집중도를 관리할 수 있다(단계 S370).
도 4는 도 3의 학습자 데이터 저장 단계의 구체적 과정을 설명하는 순서도이다.
도 4를 참조하면, 학습 관리 장치(130)는 학습자 데이터베이스 구축부(210)를 통해 학습자 인증을 위한 데이터를 수집하고 정확도 높은 학습자 얼굴을 분류하기 위한 동작을 수행할 수 있다. 보다 구체적으로, 학습 관리 장치(130)는 첫 수업(예를 들어, 오리엔테이션 수업 등)에서 학생들의 영상을 추출하여 각 프레임 별로 이미지 파일을 생성하여 저장할 수 있다(S410). 동영상에서 초당 30장의 이미지를 추출할 수 있으므로, 짧은 시간의 동영상에서도 충분한 양의 이미지가 추출될 수 있다. 한편, 첫 수업 이외에도 수동으로 영상 추출을 새롭게 진행하여 관련 데이터를 수집할 수도 있다.
또한, 학습 관리 장치(130)는 추출된 이미지로부터 얼굴인식(face detection)을 수행할 수 있다. 예를 들어, 학습 관리 장치(130)는 Haarcascade 모듈을 이용하여 학생별 얼굴 이미지를 각각 추출할 수 있다. 학습 관리 장치(130)는 추출된 학습자들을 분류하는데 정확도를 높이기 위하여 전처리 과정인 얼굴 정렬(face alignment)을 수행할 수 있다(S450). 이에 대해서는 도 7에서 보다 자세히 설명한다.
전처리 동작 이후, 학습 관리 장치(130)는 얼굴 이미지로부터 얼굴특징을 추출할 수 있다(S430). 얼굴특징은 얼굴의 특성(encoding) 값에 해당할 수 있으며, 128 크기의 벡터로 표현될 수 있다. 학습 관리 장치(130)는 학습자 ID 별로 전처리된 특징값을 학습자 데이터베이스에 저장할 수 있다(S470). 이때, 학습자 데이터베이스는 데이터베이스(150)의 논리적 DB로 구현될 수 있다.
도 5는 도 3의 수강생 인증 단계의 구체적 과정을 설명하는 순서도이다.
도 5를 참조하면, 학습 관리 장치(130)는 수강생 인증 처리부(230)를 통해 학습자 인증을 수행하여 학습자에 대한 출석체크를 자동으로 처리할 수 있다. 먼저, 학습 관리 장치(130)는 수업 과정이 개시된 이후 설정된 수업 시간에 입장하는 학생들의 영상을 추출하여 각 프레임을 이미지 파일로 저장할 수 있다(S510). 만약 설정된 수업 시간이 경과된 이후 새로운 학습자의 입장이 감지되면 학습 관리 장치(130)는 학습자 인증 과정을 재수행할 수 있으며, 새로 감지된 학습자는 자동으로 지각 처리될 수 있다.
이후, 학습 관리 장치(130)는 학습자 ID별 특징을 추출할 수 있으며(S530), 해당 과정은 도 4의 단계 S430 및 S450와 동일하게 수행될 수 있다. 학습 관리 장치(130)는 추출된 데이터와 학습된 데이터 간의 비교 분석을 수행할 수 있다(S550). 보다 구체적으로, 학습 관리 장치(130)는 설정된 수업 시간에 입장한 학습자의 추출된 데이터와 첫 수업에 추출된 데이터를 비교 분석하여 학습자의 이름을 매칭할 수 있다. 즉, 학습 관리 장치(130)는 학습자가 입장할 때마다 학습자 데이터베이스(DB)에 저장된 특성값(encoding)과 매칭되는 것이 있는지 검출할 수 있으며, 매칭된 얼굴 별로 이름과 겹친 count수를 저장하여 최종적으로 가장 값이 큰 카테고리의 이름을 학습자로 결정할 수 있다.
또한, 학습 관리 장치(130)는 비교 분석된 결과에 따라 자동 출석체크를 수행할 수 있다(S570). 예를 들어, 비교 분석된 데이터의 정확도가 높은 경우 출석부 DB에 자동으로 출석 인정이 체크될 수 있다. 여기에서, 출석부 DB는 수업 별로 참여하는 학습자들에 대한 출석 관리에 사용되는 독립된 데이터베이스에 해당할 수 있다. 만약 비교 분석된 데이터의 정확도가 낮은 경우 출석부 DB에는 감지 불가로 기록될 수 있으며, 감지 불가로 처리된 데이터는 별도로 구분되어 표시될 수 있다.
도 6a 및 6b는 도 3의 실시간 모니터링 단계의 구체적 과정을 설명하는 순서도이다.
도 6a 및 6b를 참조하면, 학습 관리 장치(130)는 수강생 학습 모니터링부(250)를 통해 비대면 온라인 수업 진행 과정에서 실시간으로 학습자를 모니터링하는 동작을 수행할 수 있다. 학습 관리 장치(130)는 학습자 인증에 따른 자동 출석체크 이후 실시간으로 학습자 ID 별로 특징 정보를 추출할 수 있으며(S610 및 S620), 특징 추출 과정은 도 4의 단계 S430 및 S450와 동일하게 수행될 수 있다.
이후, 학습 관리 장치(130)는 학습 진행 중에 화면 이탈이 되어 학습자의 얼굴이 화면에서 사라지는 경우 학생 이름칸이 빈칸으로 변경되면서 '참여하세요'와 같은 음성 또는 채팅 문자를 해당 학습자에게 전송할 수 있다(S63). 또한, 학습 관리 장치(130)는 교수자 화면에 표시되는 해당 학습자의 이름칸을 빈칸으로 변경하여 표시할 수 있다.
또한, 학습 관리 장치(130)는 학습자 별로 학습 집중도를 분석하여 집중과 산만으로 표시할 수 있다(S650). 이를 위해, 학습 관리 장치(130)는 얼굴의 특징 벡터 중 눈 및 동공에 해당하는 특징점을 검출할 수 있다. 학습 관리 장치(130)는 눈과 동공의 특징점을 이용하여 시선 응시점, 시선이 머무는 시간, 특정 영역에서 시선이 머무르는 회수 및 동공의 크기 변화를 기초로 집중도 분석을 수행할 수 있다.
또한, 학습 관리 장치(130)는 학습자 별로 졸음과 수면 상태를 검출할 수 있다(S640). 보다 구체적으로, 졸음과 수면상태의 판단은 검출된 눈동자의 높이가 평상시 눈의 50% 미만이고 20% 이상일 경우 졸린 상태로 인식될 수 있고, 평상시의 눈의 20% 미만일 경우에는 눈이 감긴 상태로서 수면 상태로 인식될 수 있다. 또한, 눈동자의 높이가 평상시 눈의 50% 미만인 상태로 10초 이상 유지되는 경우에는 졸음 상태로 인식될 수 있다. 한편, 고개숙임에 대한 판단은 코끝과 턱의 거리에 대한 코의 시작과 코끝의 거리의 비를 이용하여 인식될 수 있으며, 이에 대해서는 도 8에서 보다 자세히 설명한다.
또한, 학습 관리 장치(130)는 학습자 ID 별로 실시간 감지 결과를 기초로 집중도 평가지수를 산출할 수 있다(S670). 즉, 학습 관리 장치(130)는 실시간 추출된 데이터를 바탕으로 학습자 ID별 추출된 이미지, 학습자 아이디, 학습 상태인 이탈 여부(AD), 졸음 여부(DD), 산만 여부(AL)를 판단하여 집중도 평가지수(CEI, Concentration Evaluation Index)를 산출하여 집중도를 분석할 수 있다. 이에 대해서는 도 9를 통해 보다 자세히 설명한다.
도 6b를 참조하면, 학습 관리 장치(130)는 학습자의 감정 상태를 기쁨, 행복, 차분함, 싫음 및 슬픔으로 분류할 수 있다(S680, 도 6a의 S660에 대응됨). 즉, 학습 관리 장치(130)는 학습자 실시간 모니터링을 통하여 추출된 동영상에서 얼굴인식을 하여 감정분석을 진행할 수 있다. 이러한 학습자들의 감정 상태에 관한 분석 데이터는 수업에 참여하는 학습자의 패턴을 파악하는데 사용될 수 있으며 학습자 개인별 학습관리 자료로 활용될 수 있다(S690).
도 7은 본 발명에 따른 얼굴 정렬 과정을 설명하는 도면이다.
도 7을 참조하면, 학습 관리 장치(130)는 학습자들을 분류하는데 정확도를 높이기 위하여 전처리 과정인 얼굴 정렬(face alignment)을 수행할 수 있다(도 4의 S450). 학습 관리 장치(130)는 얼굴에 68개의 점 번호를 부여할 수 있으며, 이때 눈에 부여된 6개의 점들(P1 ~ P6)을 이용하여 왼쪽 눈동자와 오른쪽 눈동자 각각의 중심점을 연결한 직선(730)과 x축(710)과의 각도(α)를 산출할 수 있다. 학습 관리 장치(130)는 회전되어 있는 얼굴의 방향을 각도(α)만큼 회전시켜 얼굴 이미지가 정면을 바라보도록 정렬시킬 수 있다.
도 8은 본 발명에 따른 졸음 및 수면 상태 감지를 설명하는 도면이다.
도 8을 참조하면, 학습 관리 장치(130)는 학습자 별로 졸음과 수면 상태를 검출할 수 있다(도 6a의 S640). 보다 구체적으로, 졸음과 수면상태의 판단은 검출된 눈동자의 높이가 평상시 눈의 50% 미만이고 20% 이상일 경우 졸린 상태로 인식될 수 있고, 평상시의 눈의 20% 미만일 경우에는 눈이 감긴 상태로서 수면 상태로 인식될 수 있다. 또한, 눈동자의 높이가 평상시 눈의 50% 미만인 상태로 10초 이상 유지되는 경우에는 졸음 상태로 인식될 수 있다. 이때, EAR(Eye Aspect ratio)가 활용될 수 있으며, 다음의 수학식 2와 같이 표현될 수 있다.
[수학식 2]
Figure pat00001
여기에서, p1 내지 p6은 도 7의 p1 내지 p6에 해당한다. 학습자가 눈을 감게 되면 눈의 세로 비율이 작아짐에 따라 EAR 비율 역시 작아질 수 있다.
한편, 고개숙임에 대한 판단은 코끝과 턱의 거리에 대한 코의 시작과 코끝의 거리의 비를 이용하여 인식될 수 있다. 도 8에서, Xn은 평소 코 시작과 코끝 사이의 거리이고, Yn은 평소 코끝과 턱 사이의 거리이며, Xd는 고개를 숙였을 때의 코 시작과 코끝 사이의 거리이고, Yd는 고개를 숙였을 때의 코끝과 턱 사이의 거리이다. 즉, 평상시 코끝과 턱의 거리에 대한 코의 시작과 코끝의 거리의 비(Normal HeadRate = Xn/Yn)를 기준으로 1.8배 이상의 비(Drowsy HeadRate = Xd/Yd)가 특정되었을 때 고개숙임으로 인식될 수 있으며, 다음의 수학식 3과 같이 표현될 수 있다.
[수학식 3]
DHR > NHR × 1.8
여기에서, DHR은 졸음시 코끝과 턱의 거리에 대한 코의 시작과 코끝의 거리의 비이고, NHR은 평상시 코끝과 턱의 거리에 대한 코의 시작과 코끝의 거리의 비이다.
도 9는 본 발명에 따른 집중도 평가지수를 설명하는 도면이다.
도 9를 참조하면, 학습 관리 장치(130)는 실시간 모니터링에 따라 추출된 데이터를 바탕으로 학습자 ID별 추출된 이미지, 학습자 아이디, 학습 상태인 이탈 여부(AD), 졸음 여부(DD), 산만 여부(AL)를 판단할 수 있다. 학습 관리 장치(130)는 상기의 데이터를 기초로 집중도 평가지수(CEI, Concentration Evaluation Index)를 산출하여 학습자별 집중도를 분석할 수 있다. 이때, 집중도 평가지수 산출을 위하여 학습태도의 중요도에 따라 이탈 여부(AD)에 0.5, 졸음 여부(DD)에 0.3, 산만여부(AL)에 0.2의 가중치가 각각 적용될 수 있으며, 상기의 수학식 1과 같이 표현될 수 있다. 상기의 수학식 1은 실시간으로 검출되는 이벤트 발생회수를 기준으로 정의될 수 있으며, 각 상황에 따라 수업시간이 다르다는 점을 반영하여 최종 수업시간(분)으로 나누어질 수 있다.
예를 들어 이탈 3회, 졸음 2회, 산만1회이고 수업시간이 30분인 경우 집중도 평가지수(CEI)는 다음의 수학식 4와 같이 산출될 수 있다.
[수학식 4]
집중도 평가지수(CEI) = (3*0.5 + 2*0.3 + 1*0.2) × 1/30 = 0.07
한편, 이탈, 졸음 및 산만의 이벤트 발생여부에 따른 계산값들이 도 9와 같은 표로 표현될 수 있다. 각 표들은 순서대로 이탈, 졸음 및 산만의 이벤트 발생 회수에 따른 집중도 평가지수를 나타낼 수 있다. 이탈, 졸음 및 산만의 이벤트 발생 회수가 증가할수록 집중도 평가지수 역시 증가할 수 있다. 즉, 집중도 평가지수의 값이 작을수록 학습자의 학습 집중도가 높다는 것을 의미할 수 있다.
본 발명에 따른 딥러닝 기반 비대면 실시간 학습 관리 시스템 및 방법은 비대면 학습 과정에서 학습자들의 집중도 평가지수와 학습자들의 학습패턴을 분석하여 학습능력을 분석할 수 있고, 학습자들에게 맞춤형 학습계획을 제공할 수 있어 학업상태를 최대화할 수 있다. 즉, 학습 집중 정도는 학업 성취를 예견하는 주요한 변인이라는 점에서, 실시간 수업을 진행하는 동안 학습자들의 집중도를 효과적으로 파악할 수 있다면 교수자는 적시에 분위기를 전환하여 학습자들이 수업에 보다 집중할 수 있도록 유도할 수 있다. 또한, 본 발명은 특별한 장치없이 스마트폰에 장착된 카메라를 이용하고, 컴퓨터의 어느 장치에서도 학습자의 학업상태를 모니터링할 수 있다는 점에서 비대면 수업이 일반화된 상황에서 많은 비용을 들이지 않고도 효과적인 학습 관리를 제공할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 학습 관리 시스템
110: 사용자 단말 130: 학습 관리 장치
150: 데이터베이스
210: 학습자 데이터베이스 구축부
230: 수강생 인증 처리부 250: 수강생 학습 모니터링부
270: 학습 수행부 290: 제어부

Claims (16)

  1. 학습자의 얼굴인식을 통해 상기 학습자의 얼굴특징을 학습자 식별코드로서 추출하여 학습자 데이터베이스를 구축하는 학습자 데이터베이스 구축부;
    수업 과정에서 수강생의 얼굴인식을 통해 상기 수강생이 상기 학습자에 해당하는지를 결정하여 인증하고 상기 수강생의 출석체크를 수행하는 수강생 인증 처리부;
    상기 출석체크가 성공적으로 수행되면 상기 수강생의 얼굴 영상을 모니터링하여 상기 수강생의 이탈 및 졸음을 검출하고 상기 수강생의 학습상태에 관한 집중도 분석을 수행하는 수강생 학습 모니터링부; 및
    상기 수강생의 학습상태를 학습 컨텐츠에 실시간 반영하여 상기 수강생의 학습 집중도를 관리하는 학습 수행부를 포함하는 딥러닝 기반 비대면 실시간 학습 관리 시스템.
  2. 제1항에 있어서, 상기 학습자 데이터베이스 구축부는
    상기 학습자의 얼굴 영상에 대해 왼쪽 눈 및 오른쪽 눈의 중심점을 이용하여 정면을 바라보도록 얼굴 정렬(face alignment)을 수행하는 것을 특징으로 하는 딥러닝 기반 비대면 실시간 학습 관리 시스템.
  3. 제2항에 있어서, 상기 학습자 데이터베이스 구축부는
    상기 얼굴 영상을 일정 크기의 셀로 분할하고 각 셀마다 그라디언트 크기(gradient magnitude)가 특정 값 이상인 에지 픽셀들의 방향에 대한 히스토그램을 획득한 다음 상기 히스토그램의 값을 일렬로 연결한 벡터를 얼굴 특성 벡터로서 결정하여 상기 얼굴특징을 추출하는 것을 특징으로 하는 딥러닝 기반 비대면 실시간 학습 관리 시스템.
  4. 제1항에 있어서, 상기 수강생 인증 처리부는
    상기 수강생의 얼굴인식 과정에서 생성된 얼굴 특성 벡터와 상기 학습자 데이터베이스에 있는 학습자의 얼굴 특성 벡터 간의 가장 가까운 거리에 있는 학습자를 결정하고, 해당 거리가 특정 기준 이내에 있는 경우에는 상기 수강생을 상기 학습자로 인식하는 것을 특징으로 하는 딥러닝 기반 비대면 실시간 학습 관리 시스템.
  5. 제1항에 있어서, 상기 수강생 학습 모니터링부는
    상기 수강생의 이탈이 검출되면 상기 수강생의 모바일 단말에 수업참여 독촉메시지를 제공하여 상기 수강생의 수업 참여를 촉진시키는 것을 특징으로 하는 딥러닝 기반 비대면 실시간 학습 관리 시스템.
  6. 제5항에 있어서, 상기 수강생 학습 모니터링부는
    상기 수업참여 독촉메시지에 모바일 수업참여링크를 포함시켜 상기 모바일 단말을 통해 상기 학습 컨텐츠를 변형한 모바일 학습 컨텐츠를 수강하도록 하는 것을 특징으로 하는 딥러닝 기반 비대면 실시간 학습 관리 시스템.
  7. 제1항에 있어서, 상기 수강생 학습 모니터링부는
    상기 수강생의 얼굴 영상에서 눈 및 동공의 특징점을 검출하고 시선 응시점, 시선 유지 시간, 시선 응시 회수 및 동공 크기 변화를 추적하여 상기 수강생의 학습 집중도를 결정하는 것을 특징으로 하는 딥러닝 기반 비대면 실시간 학습 관리 시스템.
  8. 제1항에 있어서, 상기 수강생 학습 모니터링부는
    상기 수강생의 얼굴 영상에서 눈동자의 상대적 높이를 검출하고 상기 상대적 높이를 추적하여 상기 수강생의 졸음 상태 또는 수면 상태를 결정하는 것을 특징으로 하는 딥러닝 기반 비대면 실시간 학습 관리 시스템.
  9. 제8항에 있어서, 상기 수강생 학습 모니터링부는
    상기 수강생의 졸음이 검출되면 상기 수강생의 사용자 단말을 통해 수업참여 독촉음성을 제공하여 상기 수강생의 수업 참여를 촉진시키는 것을 특징으로 하는 딥러닝 기반 비대면 실시간 학습 관리 시스템.
  10. 제1항에 있어서, 상기 수강생 학습 모니터링부는
    상기 수강생의 얼굴 영상에서 얼굴 이미지를 추출하고 상기 얼굴 이미지를 적어도 하나의 합성곱층과 풀링층을 포함하는 감정 분류 네트워크에 통과시켜 상기 수강생의 감정 상태를 결정하는 것을 특징으로 하는 딥러닝 기반 비대면 실시간 학습 관리 시스템.
  11. 제1항에 있어서, 상기 수강생 학습 모니터링부는
    상기 수강생의 학습상태에 따라 결정된 이탈 여부, 졸음 여부 및 산만 여부를 기초로 상기 수강생의 집중도 평가지수(CEI, Concentration Evaluation Index)를 산출하여 상기 집중도 분석을 수행하는 것을 특징으로 하는 딥러닝 기반 비대면 실시간 학습 관리 시스템.
  12. 제11항에 있어서, 상기 수강생 학습 모니터링부는
    상기 이탈 여부, 졸음 여부 및 산만 여부 각각과 학습태도의 중요도에 따른 가중치를 기초로 다음의 수학식에 따라 상기 집중도 평가지수를 산출하는 것을 특징으로 하는 딥러닝 기반 비대면 실시간 학습 관리 시스템.
    [수학식]
    CEI = (ADs*w1 + DDs*w2 + ALs*w3) × 1/T

    여기에서, CEI는 집중도 평가지수이고, ADs는 이탈 발생 회수이고, DDs는 졸음 발생 회수이고, ALs는 산만 발생 회수이고, T는 수업시간(분)이다. 또한, w1, w2 및 w3은 가중치이며, w1+w2+w3 = 1이다.
  13. 제11항에 있어서,
    상기 수강생 학습 모니터링부는
    수강생별 집중도 평가지수를 통합하여 상기 수업 과정에 대한 전체 집중도를 산출하고,
    상기 학습 수행부는
    상기 전체 집중도가 기 설정된 임계값을 초과하는 경우 전체 수강생을 대상으로 학습 집중도 관리를 위한 학습 촉진 컨텐츠를 제공하는 것을 특징으로 하는 딥러닝 기반 비대면 실시간 학습 관리 시스템.
  14. 제1항에 있어서, 상기 학습 수행부는
    상기 수강생에 대해 이탈 정도, 졸음 정도, 학습 집중도 및 감정 정도를 포함하는 상기 학습상태를 결정하고 상기 학습자 데이터베이스에 학습 컨텐츠 별로 상기 학습상태를 저장하는 것을 특징으로 하는 딥러닝 기반 비대면 실시간 학습 관리 시스템.
  15. 제1항에 있어서, 상기 학습 수행부는
    상기 수강생의 학습상태에 따라 상기 학습 컨텐츠 상에 상기 수강생에게만 전달되는 학습 촉진 컨텐츠를 오버레이하여 제공하는 것을 특징으로 하는 딥러닝 기반 비대면 실시간 학습 관리 시스템.
  16. 학습자의 얼굴인식을 통해 상기 학습자의 얼굴특징을 학습자 식별코드로서 추출하여 학습자 데이터베이스를 구축하는 단계;
    수업 과정에서 수강생의 얼굴인식을 통해 상기 수강생이 상기 학습자에 해당하는지를 결정하여 인증하고 상기 수강생의 출석체크를 수행하는 단계;
    상기 출석체크가 성공적으로 수행되면 상기 수강생의 얼굴 영상을 모니터링하여 상기 수강생의 이탈 및 졸음을 검출하고 상기 수강생의 학습상태에 관한 집중도 분석을 수행하는 단계; 및
    상기 수강생의 학습상태를 학습 컨텐츠에 실시간 반영하여 상기 수강생의 학습 집중도를 관리하는 단계를 포함하는 딥러닝 기반 비대면 실시간 학습 관리 방법.
KR1020210125949A 2021-09-23 2021-09-23 딥러닝 기반 비대면 실시간 학습 관리 시스템 KR102591040B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210125949A KR102591040B1 (ko) 2021-09-23 2021-09-23 딥러닝 기반 비대면 실시간 학습 관리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210125949A KR102591040B1 (ko) 2021-09-23 2021-09-23 딥러닝 기반 비대면 실시간 학습 관리 시스템

Publications (2)

Publication Number Publication Date
KR20230043302A true KR20230043302A (ko) 2023-03-31
KR102591040B1 KR102591040B1 (ko) 2023-10-20

Family

ID=86005399

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210125949A KR102591040B1 (ko) 2021-09-23 2021-09-23 딥러닝 기반 비대면 실시간 학습 관리 시스템

Country Status (1)

Country Link
KR (1) KR102591040B1 (ko)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100016696A (ko) * 2008-08-05 2010-02-16 주식회사 리얼맨토스 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스스케줄링방법
KR20130012320A (ko) * 2011-07-25 2013-02-04 이재은 학습자 맞춤형 학습 서비스 제공 방법
KR101876458B1 (ko) * 2016-11-17 2018-07-09 주식회사 에스티유니타스 학습 컨텐츠 표시 방법, 장치 및 어플리케이션
KR101903910B1 (ko) 2017-11-14 2018-10-02 전누리 학습 관리 시스템 및 방법
KR102009844B1 (ko) * 2018-02-06 2019-08-12 한림대학교 산학협력단 표정 인식 장치 및 이를 이용한 치매환자 관리서비스 서버
KR20200012355A (ko) * 2018-07-27 2020-02-05 백석대학교산학협력단 Clm과 가버 웨이블렛을 이용한 얼굴 인증 과정을 구비한 온라인 강의 모니터링 방법
KR102137060B1 (ko) * 2020-03-04 2020-07-23 씨엠아이텍주식회사 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법
KR20210062855A (ko) * 2019-11-22 2021-06-01 사단법인 스마트미디어인재개발원 온라인 강의 집중도 분석 시스템 및 서비스
KR102266479B1 (ko) * 2021-01-12 2021-06-17 (주)이루미에듀테크 온라인 학습 능력 분석을 위한 시선 추적 방법, 장치 및 시스템

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100016696A (ko) * 2008-08-05 2010-02-16 주식회사 리얼맨토스 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스스케줄링방법
KR20130012320A (ko) * 2011-07-25 2013-02-04 이재은 학습자 맞춤형 학습 서비스 제공 방법
KR101876458B1 (ko) * 2016-11-17 2018-07-09 주식회사 에스티유니타스 학습 컨텐츠 표시 방법, 장치 및 어플리케이션
KR101903910B1 (ko) 2017-11-14 2018-10-02 전누리 학습 관리 시스템 및 방법
KR102009844B1 (ko) * 2018-02-06 2019-08-12 한림대학교 산학협력단 표정 인식 장치 및 이를 이용한 치매환자 관리서비스 서버
KR20200012355A (ko) * 2018-07-27 2020-02-05 백석대학교산학협력단 Clm과 가버 웨이블렛을 이용한 얼굴 인증 과정을 구비한 온라인 강의 모니터링 방법
KR20210062855A (ko) * 2019-11-22 2021-06-01 사단법인 스마트미디어인재개발원 온라인 강의 집중도 분석 시스템 및 서비스
KR102137060B1 (ko) * 2020-03-04 2020-07-23 씨엠아이텍주식회사 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법
KR102266479B1 (ko) * 2021-01-12 2021-06-17 (주)이루미에듀테크 온라인 학습 능력 분석을 위한 시선 추적 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR102591040B1 (ko) 2023-10-20

Similar Documents

Publication Publication Date Title
CN108717663B (zh) 基于微表情的面签欺诈判断方法、装置、设备及介质
Li et al. Massive open online proctor: Protecting the credibility of MOOCs certificates
US20150044657A1 (en) Video-based teacher assistance
US12001434B2 (en) Method for monitoring user behavior when interacting with content and a system for its implementation
CN109685007B (zh) 用眼习惯的预警方法、用户设备、存储介质及装置
Dubbaka et al. Detecting learner engagement in MOOCs using automatic facial expression recognition
Maniar et al. Automated proctoring system using computer vision techniques
KR20200049262A (ko) 온라인 블라인드 채용 시험 제공 시스템 및 그 방법
KR102245319B1 (ko) 원격지 학습자의 집중도를 분석하는 시스템
CN117033141A (zh) 一种计算机教学装置实时可视化监控模块
KR102591040B1 (ko) 딥러닝 기반 비대면 실시간 학습 관리 시스템
WO2022168185A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022168180A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
KR102622115B1 (ko) 실시간 화상 교육 시스템에서의 학습자 그루핑 방법
KR102681182B1 (ko) 인공지능 기반 학습 관리 방법 및 장치
CN114493952A (zh) 一种基于大数据的教育软件数据处理系统及方法
Gupta et al. An adaptive system for predicting student attentiveness in online classrooms
Dissanayake et al. AI-based Behavioural Analyser for Interviews/Viva
Swathi et al. Student Engagement Prediction in an E-Learning Platform
Shenoy et al. A Study on various Applications of Computer Vision for Teaching Learning in Classroom
KR102577559B1 (ko) 온라인 학습 집중도 측정 장치 및 방법
WO2022168179A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022168182A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022168178A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022168184A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right