KR102609500B1 - 온라인 수업 학생 모니터링 방법 및 시스템 - Google Patents
온라인 수업 학생 모니터링 방법 및 시스템 Download PDFInfo
- Publication number
- KR102609500B1 KR102609500B1 KR1020210115729A KR20210115729A KR102609500B1 KR 102609500 B1 KR102609500 B1 KR 102609500B1 KR 1020210115729 A KR1020210115729 A KR 1020210115729A KR 20210115729 A KR20210115729 A KR 20210115729A KR 102609500 B1 KR102609500 B1 KR 102609500B1
- Authority
- KR
- South Korea
- Prior art keywords
- student
- learning
- real
- gaze
- online
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 259
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 claims description 35
- 230000003993 interaction Effects 0.000 claims description 21
- 230000008921 facial expression Effects 0.000 claims description 16
- 238000013136 deep learning model Methods 0.000 claims description 15
- 230000001939 inductive effect Effects 0.000 claims description 13
- 238000000926 separation method Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 description 34
- 238000012937 correction Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 208000022119 inability to concentrate Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- Signal Processing (AREA)
- Ophthalmology & Optometry (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명의 실시예에 따른 온라인 수업 학생 모니터링 방법은, 학생 단말의 적어도 하나 이상의 프로세서에 의하여 실행되는 모니터링 애플리케이션이 온라인 수업 학생을 모니터링하는 방법으로서, 온라인 강의를 수강하는 학생을 촬영한 학생 촬영영상을 획득하는 단계; 상기 획득된 학생 촬영영상 내 제1 시선위치를 기준으로 상기 학생이 학습을 목적으로 응시하는 가용 범위 영역인 학습영역을 설정하는 단계; 상기 제1 시선위치에 기준한 시선방향의 각도값을 기초로 상기 학생이 상기 학습영역 내 지점을 응시하는지 여부를 판별하는 기준치의 집합인 사방 임계치 각도를 결정하는 단계; 상기 학생 촬영영상을 기초로 실시간 시선위치를 감지하는 단계; 상기 감지된 실시간 시선위치에 기준한 실시간 시선방향을 감지하는 단계; 상기 실시간 시선위치 및 상기 실시간 시선방향 중 적어도 하나를 기초로 상기 사방 임계치 각도를 보정하는 단계; 상기 실시간 시선위치 및 상기 실시간 시선방향 중 적어도 하나를 기초로 상기 학생의 상기 온라인 강의에 대한 집중 여부를 판단한 학습상태를 검출하는 단계; 및 상기 검출된 학습상태에 따른 피드백을 제공하는 단계를 포함한다.
Description
본 발명은 온라인 수업 학생 모니터링 방법 및 시스템에 관한 것이다. 보다 상세하게는, 딥러닝 모델을 이용하여 온라인 강의를 수강하는 학생의 신체상태 변화를 검출하고, 이를 기초로 상기 학생의 집중도를 분석하여 상기 학생 및 상기 온라인 강의를 진행하는 강사에게 양방향 피드백을 제공하는 온라인 수업 학생 모니터링 방법 및 시스템에 관한 것이다.
일반적으로 교육 또는 강의 시스템은, 학생과 강사가 학교나 학원 등에서 직접 대면하여 수업을 진행하는 오프라인 기반 교육 시스템과, 강사가 수업을 진행하는 영상을 인터넷을 통해 전송하여 학생이 가정이나 원격지에서 컴퓨터를 이용하여 이를 재생함으로써 수업이 이루어지는 온라인 기반 교육 시스템으로 구분될 수 있다.
오프라인 기반 교육 시스템은, 강사와 학생이 직접 마주보며 수업을 진행하기 때문에 학생이 수업에 참여하는 상태를 직접 확인하고 관리하며 수업을 효율적으로 진행할 수 있다는 장점이 있다.
온라인 기반 교육 시스템은, 다수의 학생이 컴퓨터와 같은 디스플레이 수단이 있으면 시간과 장소를 불문하고 편리하게 원격에서 수강할 수 있다는 장점이 있다.
그러나 온라인 기반 교육 시스템은, 오프라인 기반 교육 시스템에서와 같이 학생의 수업 참여상태에 대한 직접적인 관리를 수행하는데 한계가 있어 학생의 집중도나 의지가 저하된 상태를 일일이 인지하기 어렵고, 이로 인하여 학생의 학습 효율이 저하될 수 있다는 문제점을 내포하고 있다.
본 발명은, 상술된 바와 같은 문제점들을 해결하기 위하여 안출된 것으로서, 딥러닝 모델을 이용하여 온라인 강의를 수강하는 학생의 신체상태 변화를 검출하고 이를 기초로 상기 학생의 집중도를 분석하여 상기 학생 및 상기 온라인 강의를 진행하는 강사에게 양방향 피드백을 제공하는 온라인 수업 학생 모니터링 방법 및 시스템을 제공하는데 그 목적이 있다.
다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 실시예에 따른 온라인 수업 학생 모니터링 방법은, 학생 단말의 적어도 하나 이상의 프로세서에 의하여 실행되는 모니터링 애플리케이션이 온라인 수업 학생을 모니터링하는 방법으로서, 온라인 강의를 수강하는 학생을 촬영한 학생 촬영영상을 획득하는 단계; 상기 획득된 학생 촬영영상 내 제1 시선위치를 기준으로 상기 학생이 학습을 목적으로 응시하는 가용 범위 영역인 학습영역을 설정하는 단계; 상기 제1 시선위치에 기준한 시선방향의 각도값을 기초로 상기 학생이 상기 학습영역 내 지점을 응시하는지 여부를 판별하는 기준치의 집합인 사방 임계치 각도를 결정하는 단계; 상기 학생 촬영영상을 기초로 실시간 시선위치를 감지하는 단계; 상기 감지된 실시간 시선위치에 기준한 실시간 시선방향을 감지하는 단계; 상기 실시간 시선위치 및 상기 실시간 시선방향 중 적어도 하나를 기초로 상기 사방 임계치 각도를 보정하는 단계; 상기 실시간 시선위치 및 상기 실시간 시선방향 중 적어도 하나를 기초로 상기 학생의 상기 온라인 강의에 대한 집중 여부를 판단한 학습상태를 검출하는 단계; 및 상기 검출된 학습상태에 따른 피드백을 제공하는 단계를 포함한다.
이때, 상기 사방 임계치 각도를 결정하는 단계는, 상기 학습영역의 사방 경계선을 응시하는 상기 제1 시선위치에 기준한 시선방향의 각도값에 기초하여 상기 사방 임계치 각도를 결정하는 단계를 포함한다.
또한, 상기 학습영역을 설정하는 단계는, 기 설정된 위치에 배치된 객체를 응시하는 상기 학생의 초기 시선방향의 각도값을 기초로 상기 학습영역을 설정하는 단계를 포함한다.
또한, 상기 학습영역을 설정하는 단계는, 상기 초기 시선방향에 대응되는 응시점을 중심으로 소정의 반경을 가지는 영역을 상기 학습영역으로 설정하는 단계를 더 포함한다.
또한, 상기 학습영역을 설정하는 단계는, 상기 학생 단말의 디스플레이 화면의 엣지(edge)를 따라서 이동하며 표시되는 소정의 시선유도 객체를 추적하며 응시하는 상기 학생의 시선방향의 각도값을 기초로 상기 학습영역을 설정하는 단계를 포함한다.
또한, 상기 사방 임계치 각도를 보정하는 단계는, 상기 학생 단말의 이미지 센서와 상기 실시간 시선위치 간의 거리를 소정의 고정거리로 유지시키는 제1 반경영역에 기초하여 상기 사방 임계치 각도를 보정하는 단계를 포함한다.
또한, 상기 사방 임계치 각도를 보정하는 단계는, 상기 실시간 시선방향의 각도값이 고정된 경우, 상기 학생의 제1 눈 객체 및 제2 눈 객체 간의 이격거리를 기초로 상기 사방 임계치 각도를 보정하는 단계를 포함한다.
또한, 상기 학습상태를 검출하는 단계는, 상기 보정된 사방 임계치 각도 이내에 상기 실시간 시선방향의 각도값이 포함되는지 여부를 기초로 상기 학습상태를 검출하는 단계를 포함한다.
또한, 상기 학습상태를 검출하는 단계는, 상기 실시간 시선위치가 상기 학생 단말의 이미지 센서와 상기 실시간 시선위치 간의 거리를 소정의 고정거리로 유지시키는 제1 반경영역을 초과하여 이동하는지 여부와, 상기 학생의 제1 눈 객체 및 제2 눈 객체 간의 이격거리가 유지되는지 여부를 기초로 상기 학습상태를 검출하는 단계를 포함한다.
또한, 상기 학습상태를 검출하는 단계는, 상기 학생의 상기 온라인 강의에 대한 집중상태가 지속된 경과 시간을 측정한 학습시간 및 상기 학생의 상기 온라인 강의에 대한 비집중상태가 지속된 경과 시간을 측정한 비학습시간을 산출하는 단계를 포함한다.
또한, 상기 학습상태를 검출하는 단계는, 상기 학생 촬영영상 내 학생과 소정의 학습방해 객체 간의 상호작용 여부를 기초로 상기 학습상태를 검출하는 단계를 포함한다.
또한, 상기 학습상태를 검출하는 단계는, 상기 학생 촬영영상 내 학생의 얼굴 표정 변화를 기초로 상기 학습상태를 검출하는 단계를 포함한다.
또한, 상기 검출된 학습상태에 따른 피드백을 제공하는 단계는, 상기 학생의 상기 온라인 강의에 대한 비집중상태가 검출되면, 상기 검출된 비집중상태를 알림하는 텍스트 알람, 오디오 알람 및 그래픽 이미지 알람 중 적어도 하나의 알람을 제공하는 단계를 포함한다.
또한, 상기 검출된 학습상태에 따른 피드백을 제공하는 단계는, 상기 온라인 강의를 수강하는 전체 학생 각각에 대하여 검출된 학습상태를 기초로 도출되는 통계 데이터를 시각화한 정보인 학습상태 통계 데이터를 제공하는 단계를 포함한다.
또한, 상기 검출된 학습상태에 따른 피드백을 제공하는 단계는, 상기 학생 단말 및 상기 온라인 강의를 제공하는 강사의 단말 중 적어도 하나의 단말을 기초로 상기 피드백을 제공하는 단계를 포함한다.
한편, 본 발명의 실시예에 따른 온라인 수업 학생 모니터링 방법은, 학생 단말의 적어도 하나 이상의 프로세서에 의하여 실행되는 모니터링 애플리케이션이 온라인 수업 학생을 모니터링하는 방법으로서, 온라인 강의를 수강하는 학생을 촬영한 학생 촬영영상을 획득하는 단계; 상기 획득된 학생 촬영영상에서 검출된 상기 학생의 시선위치를 기준으로 상기 학생 촬영영상에서 소정의 영역을 학습영역으로 설정하는 단계; 상기 획득된 학생 촬영영상에서 검출된 시선방향을 기초로 상기 학생의 학습상태를 판단하기 위한 상기 시선방향의 임계범위를 설정하는 단계; 실시간 획득된 학생 촬영영상을 기초로 실시간 시선위치 및 실시간 시선방향을 검출하는 단계; 상기 실시간 시선위치 및 상기 실시간 시선방향 중 적어도 하나를 기초로 상기 학생의 학습상태를 검출하는 단계; 및 상기 검출된 학습상태에 따른 피드백을 제공하는 단계를 포함한다.
다른 한편, 본 발명의 실시예에 따른 온라인 수업 학생 모니터링 시스템은, 적어도 하나 이상의 메모리; 및 적어도 하나 이상의 프로세서; 를 포함하고, 상기 메모리에 저장되고 상기 프로세서에 의해 실행되어 온라인 수업 학생을 모니터링하는 적어도 하나의 애플리케이션으로서 상기 적어도 하나의 애플리케이션은, 온라인 강의를 수강하는 학생을 촬영한 학생 촬영영상을 획득하고, 상기 획득된 학생 촬영영상 내 제1 시선위치를 기준으로 상기 학생이 학습을 목적으로 응시하는 가용 범위 영역인 학습영역을 설정하고, 상기 제1 시선위치에 기준한 시선방향의 각도값을 기초로 상기 학생이 상기 학습영역 내 지점을 응시하는지 여부를 판별하는 기준치의 집합인 사방 임계치 각도를 결정하고, 상기 학생 촬영영상을 기초로 실시간 시선위치를 감지하고, 상기 감지된 실시간 시선위치에 기준한 실시간 시선방향을 감지하고, 상기 실시간 시선위치 및 상기 실시간 시선방향 중 적어도 하나를 기초로 상기 사방 임계치 각도를 보정하고, 상기 실시간 시선위치 및 상기 실시간 시선방향 중 적어도 하나를 기초로 상기 학생의 상기 온라인 강의에 대한 집중 여부를 판단한 학습상태를 검출하고, 상기 검출된 학습상태에 따른 피드백을 제공한다.
본 발명의 실시예에 따른 온라인 수업 학생 모니터링 방법 및 시스템은, 딥러닝 모델을 이용하여 온라인 강의를 수강하는 학생의 신체상태 변화를 검출하고 이를 기초로 상기 학생의 집중도를 분석하여 상기 학생 및 상기 온라인 강의를 진행하는 강사에게 양방향 피드백을 제공함으로써, 상기 온라인 강의를 수강하는 학생의 수업 참여상태나 집중도를 명확한 근거를 기초로 판단하고, 이에 대한 대처를 수행하게 할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 온라인 수업 학생 모니터링 방법 및 시스템은, 상기 온라인 강의를 수강하는 학생의 수업 참여상태나 집중도를 명확한 근거를 기초로 판단하고 이에 대한 대처를 수행하게 함으로써, 원격에서 온라인을 통해 강의를 수강하는 학생의 학습 효율을 향상시킬 수 있는 효과가 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 온라인 수업 학생 모니터링 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 단말의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 온라인 수업 학생 모니터링 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 온라인 수업 학생 모니터링 방법을 설명하기 위한 개념도이다.
도 5는 본 발명의 실시예에 따른 일 시선위치에 기준한 시선방향의 사방 임계치 각도를 결정하는 방법을 설명하기 위한 도면의 일례이다.
도 6은 본 발명의 실시예에 따른 학생의 초기 시선을 기초로 학습영역을 설정하는 방법을 설명하기 위한 도면의 일례이다.
도 7은 본 발명의 실시예에 따른 시선유도 객체를 따라서 이동하는 학생의 시선을 추적하여 학습영역을 설정하는 방법을 설명하기 위한 도면의 일례이다.
도 8은 본 발명의 실시예에 따른 학생의 초기 시선을 기초로 사방 임계치 각도를 결정하는 방법을 설명하기 위한 도면의 일례이다.
도 9는 본 발명의 실시예에 따른 시선유도 객체에 기초하여 사방 임계치 각도를 결정하는 방법을 설명하기 위한 도면의 일례이다.
도 10은 본 발명의 실시예에 따른 제1 반경영역을 기초로 사방 임계치 각도를 보정하는 방법을 설명하기 위한 도면의 일례이다.
도 11은 본 발명의 실시예에 따른 시선객체에 기초하여 사방 임계치 각도를 보정하는 방법을 설명하기 위한 도면의 일례이다.
도 12 및 도 13은 본 발명의 실시예에 따른 실시간 시선위치와 실시간 시선방향을 기초로 학생의 학습상태를 검출하는 방법을 설명하기 위한 도면의 일례이다.
도 14는 본 발명의 실시예에 따른 상호작용 탐지 딥러닝을 설명하기 위한 도면의 일례이다.
도 15는 본 발명의 실시예에 따른 표정 탐지 딥러닝을 설명하기 위한 도면의 일례이다.
도 16은 본 발명의 실시예에 따른 강사용 강의 인터페이스를 나타내는 모습의 일례이다.
도 17은 본 발명의 실시예에 따른 학습상태 통계 데이터를 나타내는 모습의 일례이다.
도 2는 본 발명의 실시예에 따른 단말의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 온라인 수업 학생 모니터링 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 온라인 수업 학생 모니터링 방법을 설명하기 위한 개념도이다.
도 5는 본 발명의 실시예에 따른 일 시선위치에 기준한 시선방향의 사방 임계치 각도를 결정하는 방법을 설명하기 위한 도면의 일례이다.
도 6은 본 발명의 실시예에 따른 학생의 초기 시선을 기초로 학습영역을 설정하는 방법을 설명하기 위한 도면의 일례이다.
도 7은 본 발명의 실시예에 따른 시선유도 객체를 따라서 이동하는 학생의 시선을 추적하여 학습영역을 설정하는 방법을 설명하기 위한 도면의 일례이다.
도 8은 본 발명의 실시예에 따른 학생의 초기 시선을 기초로 사방 임계치 각도를 결정하는 방법을 설명하기 위한 도면의 일례이다.
도 9는 본 발명의 실시예에 따른 시선유도 객체에 기초하여 사방 임계치 각도를 결정하는 방법을 설명하기 위한 도면의 일례이다.
도 10은 본 발명의 실시예에 따른 제1 반경영역을 기초로 사방 임계치 각도를 보정하는 방법을 설명하기 위한 도면의 일례이다.
도 11은 본 발명의 실시예에 따른 시선객체에 기초하여 사방 임계치 각도를 보정하는 방법을 설명하기 위한 도면의 일례이다.
도 12 및 도 13은 본 발명의 실시예에 따른 실시간 시선위치와 실시간 시선방향을 기초로 학생의 학습상태를 검출하는 방법을 설명하기 위한 도면의 일례이다.
도 14는 본 발명의 실시예에 따른 상호작용 탐지 딥러닝을 설명하기 위한 도면의 일례이다.
도 15는 본 발명의 실시예에 따른 표정 탐지 딥러닝을 설명하기 위한 도면의 일례이다.
도 16은 본 발명의 실시예에 따른 강사용 강의 인터페이스를 나타내는 모습의 일례이다.
도 17은 본 발명의 실시예에 따른 학습상태 통계 데이터를 나타내는 모습의 일례이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 온라인 수업 학생 모니터링 시스템의 개념도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 온라인 수업 학생 모니터링 시스템(10: 이하, 학생 모니터링 시스템)은, 딥러닝 모델을 이용하여 온라인 강의를 수강하는 학생의 신체상태 변화를 검출하고, 이를 기초로 상기 학생의 집중도를 분석하여 상기 학생 및 상기 온라인 강의를 진행하는 강사에게 양방향 피드백을 제공하는 온라인 수업 학생 모니터링 서비스(이하, 학생 모니터링 서비스)를 구현할 수 있다.
실시예에서, 위와 같은 학생 모니터링 서비스를 제공하는 학생 모니터링 시스템(10)은, 단말(100), 모니터링 서버(200) 및 네트워크(300: Metwork)를 포함할 수 있다.
이때, 상기 단말(100) 및 모니터링 서버(200)는, 상기 네트워크(300)를 통하여 연결될 수 있다.
여기서, 실시예에 따른 상기 네트워크(300)는, 단말(100) 및/또는 모니터링 서버(200) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(300)의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
이하, 첨부된 도면을 참조하여 학생 모니터링 시스템(10)을 구현하는 단말(100) 및 모니터링 서버(200)에 대해 상세히 설명한다.
- 단말(100: Terminal)
본 발명의 실시예에 따른 단말(100)은, 상술된 바와 같은 학생 모니터링 서비스를 제공하는 모니터링 애플리케이션이 설치된 소정의 컴퓨팅 장치일 수 있다.
자세히, 실시예에서 이러한 단말(100)은, 학생 단말(100-1) 및 강사 단말(100-2)을 포함할 수 있다.
여기서, 실시예에 따른 상기 학생 단말(100-1)은, 학생이 소정의 온라인 강의를 수강하기 위한 목적으로 사용하는 단말(100)일 수 있다.
실시예에서, 상기 학생 단말(100-1)은, 학생이 온라인 상에서 소정의 수업을 수강할 수 있는 온라인 학습 서비스 환경을 제공할 수 있다.
이러한 학생 단말(100-1)은, 일반적인 온라인 강의를 수강하는데 용이한 데스크탑 타입 컴퓨팅 장치로 구현됨이 가장 바람직한 실시예일 수 있으며, 이하의 실시예에서는 상기 학생 단말(100-1)을 상기 데스크탑 타입 컴퓨팅 장치에 기준하여 설명하나 이에 한정되는 것은 아니다.
한편, 실시예에 따른 상기 강사 단말(100-2)은, 강사가 소정의 온라인 강의를 제공하기 위한 목적으로 사용하는 단말(100)일 수 있다.
실시예에서, 상기 강사 단말(100-2)은, 온라인을 통하여 원격에 위치하는 적어도 하나 이상의 학생과 소정의 수업을 진행할 수 있는 온라인 강의 서비스 환경을 제공할 수 있다.
이러한 강사 단말(100-2)은, 일반적인 온라인 강의를 제공하기 용이한 데스크탑 타입 컴퓨팅 장치로 구현됨이 가장 바람직한 실시예일 수 있으며, 이하의 실시예에서는 상기 강사 단말(100-2)을 상기 데스크탑 타입 컴퓨팅 장치에 기준하여 설명하나 이에 한정되는 것은 아니다.
이때, 실시예에서 상기 학생 단말(100-1) 및 강사 단말(100-2) 각각에는, 상술된 바와 같은 모니터링 애플리케이션이 설치될 수 있다.
자세히, 실시예에 따른 상기 모니터링 애플리케이션은, 학생용 애플리케이션 및 강사용 애플리케이션을 포함할 수 있다.
여기서, 상기 학생용 애플리케이션 및 강사용 애플리케이션은, 단일 애플리케이션이나 서로 다른 단말(100) 상에서 단말(100) 별로 특화된 기능 동작을 수행하는 점을 구별하기 위한 것일 수 있다.
실시예에서, 상기 학생용 애플리케이션은, 상술된 학생 단말(100-1)에 설치될 수 있고, 상기 학생 단말(100-1)에서 수행하는 각종 기능동작(예컨대, 온라인 수강 기능 등)을 수행할 수 있다.
또한, 실시예에서 상기 강사용 애플리케이션은, 상술된 강사 단말(100-2)에 설치될 수 있고, 상기 강사 단말(100-2)에서 수행하는 각종 기능동작(예컨대, 온라인 강의 기능 등)을 수행할 수 있다.
한편, 하드웨어적 관점에서 단말(100)은, 모니터링 애플리케이션이 설치된 데스크탑 타입 컴퓨팅 장치 및/또는 모바일 타입 컴퓨팅 장치 등을 포함할 수 있다.
여기서, 데스크탑 타입 컴퓨팅 장치는, 모니터링 애플리케이션이 설치된 고정형 데스크탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 학생 모니터링 서비스를 실행하기 위한 프로그램이 설치된 장치 등을 포함할 수 있다.
또한, 모바일 타입 컴퓨팅 장치는, 모니터링 애플리케이션이 설치된 스마트 폰이나 테블릿 PC와 같은 모바일 장치일 수 있다.
예를 들어, 모바일 타입 컴퓨팅 장치는, 스마트 폰(smart phone), 휴대폰, 디지털방송용 단말(100)이기, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC) 등이 포함될 수 있다.
또한, 실시예에 따라서 단말(100)은, 학생 모니터링 서비스 환경을 제공하는 소정의 서버(Server) 컴퓨팅 디바이스를 더 포함할 수도 있다.
도 2는 본 발명의 실시예에 따른 단말(100)의 내부 블록도이다.
다른 한편, 도 2를 참조하면, 기능적 관점에서 단말(100)은, 메모리(110), 프로세서 어셈블리(120), 통신 모듈(130), 인터페이스 모듈(140), 입력 시스템(150), 센서 시스템(160) 및 디스플레이 시스템(170)을 포함할 수 있다. 이러한 구성요소들은 단말(100)의 하우징 내에 포함되도록 구성될 수 있다.
자세히, 메모리(110)에는, 모니터링 애플리케이션(111)이 저장되며, 상기 모니터링 애플리케이션(111)은 학생 모니터링 서비스 환경을 제공하기 위한 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.
즉, 메모리(110)는, 학생 모니터링 서비스 환경을 생성하기 위하여 사용될 수 있는 명령 및 데이터를 저장할 수 있다.
또한, 상기 메모리(110)는, 프로그램 영역과 데이터 영역을 포함할 수 있다.
여기서, 실시예에 따른 프로그램 영역은, 단말(100)을 부팅하는 운영체제(OS: Operating System) 및 기능요소들 사이에 연계될 수 있으며, 데이터 영역은, 단말(100)의 사용에 따라 발생하는 데이터가 저장될 수 있다.
또한, 메모리(110)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다.
예를 들어, 메모리(110)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet) 상에서 상기 메모리(110)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.
프로세서 어셈블리(120)는, 학생 모니터링 서비스 환경을 생성하기 위한 다양한 작업을 수행하기 위해, 메모리(110)에 저장된 모니터링 애플리케이션(111)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.
실시예에서 프로세서 어셈블리(120)는, 학생 모니터링 서비스를 제공하기 위하여 메모리(110)의 모니터링 애플리케이션(111)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다.
이러한 프로세서 어셈블리(120)는, 중앙처리장치(CPU) 및/또는 그래픽처리장치(GPU) 등이 포함된 단말(100)에 적합한 시스템 온 칩(SOC)일 수 있으며, 메모리(110)에 저장된 운영체제(OS) 및/또는 애플리케이션 프로그램 등을 실행할 수 있고, 단말(100)에 탑재된 각 구성요소들을 제어할 수 있다.
또한, 프로세서 어셈블리(120)는, 각 구성요소와 내부적으로 시스템 버스(System Bus)에 의해 통신을 수행할 수 있고, 로컬 버스(Local Bus)를 비롯한 소정의 버스 구조들을 하나 이상 포함할 수 있다.
또한, 프로세서 어셈블리(120)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.
통신 모듈(130)은, 외부의 장치와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(130)은, 무선 네트워크를 통해 통신할 수 있다.
자세히, 통신 모듈(130)은, 학생 모니터링 서비스 환경을 구현하기 위한 콘텐츠 소스를 저장한 소정의 컴퓨팅 장치와 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다.
실시예에서, 통신 모듈(130)은, 학생 모니터링 서비스와 관련된 각종 데이터를 타 단말(100) 및/또는 외부의 서버 등과 송수신할 수 있다.
이러한 통신 모듈(130)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말(100), 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.
센서 시스템(160)은, 이미지 센서(161), 위치 센서(IMU, 163), 오디오 센서(165), 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다.
여기서, 이미지 센서(161)는, 단말(100) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다.
실시예에서, 이미지 센서(161)는, 학생 모니터링 서비스와 관련된 영상(실시예로, 정면뷰 영상 및/또는 측면뷰 영상 등)을 촬영하여 획득할 수 있다.
또한, 이미지 센서(161)는, 단말(100)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 단말(100)의 외부를 향해 배치된 카메라를 통해 물리적 공간을 촬영할 수 있다.
이러한 이미지 센서(161)는, 이미지 센서장치와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(161)는, 이미지 센서장치(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.
또한, 이미지 센서(161)는, 영상 처리 모듈을 이용하여 이미지 센서장치를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.
이러한 이미지 센서(161)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다.
또한, 위와 같은 이미지 센서(161)는, 실시예에 따라서 단말(100)에 포함되어 동작할 수도 있고, 외부의 장치(예컨대, 외부의 서버 등)에 포함되어 상술된 통신 모듈(130) 및/또는 인터페이스 모듈(140)에 기초한 연동을 통하여 동작할 수도 있다.
실시예로, 상기 이미지 센서(161)는, 학생 단말(100-1)이 포함하는 이미지 센서인 경우, 소정의 웹캠(webcam) 형태로 구현되는 카메라일 수 있다.
위치 센서(IMU, 163)는, 단말(100)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어질 수 있다.
또한, 위치 센서(IMU, 163)는, 통신 모듈(130)의 GPS와 같은 위치 통신 모듈(130)과 연동하여, 단말(100) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다.
오디오 센서(165)는, 단말(100) 주변의 소리를 인식할 수 있다.
자세히, 오디오 센서(165)는, 단말(100)을 사용하는 사용자의 음성 입력 및/또는 단말(100)의 주변 환경으로부터 감지되는 오디오 신호 등을 감지할 수 있는 마이크로폰을 포함할 수 있다.
실시예에서 오디오 센서(165)는, 학생 모니터링 서비스를 위해 필요한 오디오 데이터를 사용자 및/또는 사용자의 주변 환경으로부터 획득할 수 있다.
인터페이스 모듈(140)은, 단말(100)을 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. 자세히, 인터페이스 모듈(140)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다.
이러한 인터페이스 모듈(140)을 통해 단말(100)은, 여러 입출력 장치들과 연결될 수 있다.
예를 들어, 인터페이스 모듈(140)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다.
예시적으로 오디오 출력장치가 인터페이스 모듈(140)을 통해 연결되는 것으로 설명하였으나, 단말(100) 내부에 설치되는 실시예도 포함될 수 있다.
또한, 예를 들면 인터페이스 모듈(140)은, 키보드 및/또는 마우스와 같은 입력장치와 연결되어, 사용자 입력을 획득할 수 있다.
예시적으로 키보드 및/또는 마우스가 인터페이스 모듈(140)을 통해 연결되는 것으로 설명하였으나, 단말(100) 내부에 설치되는 실시예도 포함될 수 있다.
이러한 인터페이스 모듈(140)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다.
입력 시스템(150)은 학생 모니터링 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.
자세히, 입력 시스템(150)은 소정의 버튼, 터치 센서 및/또는 사용자 모션 입력을 수신하는 이미지 센서(161) 등을 포함할 수 있다.
또한, 입력 시스템(150)은, 인터페이스 모듈(140)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다.
디스플레이 시스템(170)은, 학생 모니터링 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.
실시예에서, 디스플레이 시스템(170)은, 학생 촬영영상(실시예로, 정면뷰 영상 및/또는 측면뷰 영상 등), 초기시선 결정 객체, 시선유도 객체, 학생의 학습상태에 따른 피드백 정보 및/또는 학습상태 통계 데이터 등을 표시할 수 있다.
이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
이때, 실시예에 따른 단말(100)의 사용자 인터페이스는, 사용자 터치 입력을 수신하도록 구성된 디스플레이(171) 상에 터치 센서(173)를 포함할 수 있다.
자세히, 디스플레이 시스템(170)은, 이미지를 출력하는 디스플레이(171)와, 사용자의 터치 입력을 감지하는 터치 센서(173)를 포함할 수 있다.
예시적으로 디스플레이(171)는 터치 센서(173)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다. 이러한 터치 스크린은, 단말(100)과 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 단말(100)과 사용자 사이의 출력 인터페이스를 제공할 수 있다.
또한, 실시예에 따른 단말(100)의 하우징 내에는 상술된 바와 같은 구성요소들이 배치될 수 있다.
한편, 본 발명의 실시예에 따른 단말(100)은, 딥러닝 뉴럴 네트워크(Deep-learning Neural Network)와 연동하여 학생 모니터링 서비스에 필요한 딥러닝을 수행할 수 있다.
여기서, 실시예에 따른 상기 딥러닝 뉴럴 네트워크는, 시선 탐지 모델(Gaze detection model), 인간-객체 상호작용 탐지 모델(Human Object interaction detection) 및/또는 얼굴 키 포인트 감지 모델(Facial key points detection) 등을 구현하는 적어도 하나 이상의 딥러닝 뉴럴 네트워크를 포함할 수 있으며, 이에 한정되지 않는다.
또한, 실시예에 따라서 단말(100)은, 후술되는 모니터링 서버(200)에서 수행하는 기능 동작의 적어도 일부를 더 수행할 수도 있다.
- 모니터링 서버(200: Monitoring Server)
한편, 본 발명의 실시예에 따른 모니터링 서버(200)는, 학생 모니터링 서비스를 제공하기 위한 일련의 프로세스를 수행할 수 있다.
자세히, 실시예에서 모니터링 서버(200)는, 단말(100)과 같은 외부의 장치에서 온라인 수업 학생 모니터링 프로세스가 구동되게 하기 위해 필요한 데이터를, 상기 외부의 장치와 교환함으로써 상기 학생 모니터링 서비스를 제공할 수 있다.
보다 상세히, 실시예에서 모니터링 서버(200)는, 외부의 장치(실시예에서, 학생 단말(100-1) 및/또는 강사 단말(100-2) 등)에서 모니터링 애플리케이션(111)이 동작할 수 있는 환경을 제공할 수 있다.
이를 위해, 모니터링 서버(200)는, 모니터링 애플리케이션(111)이 동작하기 위한 응용 프로그램, 데이터 및/또는 명령어 등을 포함할 수 있고, 이에 기초한 데이터를 상기 외부의 장치와 송수신할 수 있다.
또한, 실시예에서 모니터링 서버(200)는, 외부의 장치(실시예에서, 학생 단말(100-1) 등)와 연동하여, 온라인 수강을 수행하는 학생을 촬영한 영상인 학생 촬영영상을 획득할 수 있다.
또한, 실시예에서 모니터링 서버(200)는, 상기 획득된 학생 촬영영상 내 학생의 일 시선위치에 기준한 시선방향의 사방 임계치 각도를 결정할 수 있다.
여기서, 실시예에 따른 상기 사방 임계치 각도란, 상기 시선위치 및 상기 시선방향을 기초로 설정되는 학습영역의 사방 경계선에 대한 임계치 각도를 의미할 수 있다. 이에 대한 자세한 설명은 후술되는 온라인 수업 학생 모니터링 방법에서 기재한다.
또한, 실시예에서 모니터링 서버(200)는, 상기 학생 촬영영상을 기초로 실시간 변화하는 학생의 시선위치를 감지할 수 있다.
또한, 실시예에서 모니터링 서버(200)는, 상기 감지된 실시간 시선위치에 기초하여 상술된 사방 임계치 각도를 보정할 수 있다.
또한, 실시예에서 모니터링 서버(200)는, 상기 학생 촬영영상에 기반하여 실시간 변화하는 학생의 시선방향을 감지할 수 있다.
또한, 실시예에서 모니터링 서버(200)는, 위와 같이 감지된 실시간 시선위치와 실시간 시선방향에 따른 학생의 학습상태를 검출할 수 있다.
여기서, 실시예에 따른 상기 학습상태란, 학생이 온라인 상에서 진행되는 강의에 집중도 있게 참여하고 있는지를 판단한 정보일 수 있다.
또한, 실시예에서 모니터링 서버(200)는, 상기 검출된 학습상태에 따른 피드백을 생성 및 제공할 수 있다.
실시예로, 모니터링 서버(200)는, 상기 학습상태에 기초하여 생성된 소정의 피드백을 본 발명의 실시예에 따른 학생 단말(100-1) 및/또는 강사 단말(100-2)로 송신하여 제공할 수 있다.
또한, 실시예에서 모니터링 서버(200)는, 소정의 딥러닝 뉴럴 네트워크(Deep-learning Neural Network)와 연동하여 학생 모니터링 서비스에 필요한 딥러닝을 수행할 수 있다.
자세히, 실시예에서 모니터링 서버(200)는, 상기 딥러닝을 수행하기 위해 구축되어 있는 소정의 딥러닝 뉴럴 네트워크 구동 프로그램을 메모리 모듈로부터 독출하여, 상기 독출된 소정의 딥러닝 뉴럴 네트워크 시스템에 따라 하기 기술하는 딥러닝을 수행할 수 있다.
여기서, 실시예에 따른 상기 딥러닝 뉴럴 네트워크는, 시선 탐지 모델(Gaze detection model), 인간-객체 상호작용 탐지 모델(Human Object interaction detection) 및/또는 얼굴 키 포인트 감지 모델(Facial key points detection) 등을 구현하는 적어도 하나 이상의 딥러닝 뉴럴 네트워크를 포함할 수 있으며, 이에 한정되지 않는다.
이때, 실시예에 따라서 위와 같은 딥러닝 뉴럴 네트워크는, 모니터링 서버(200)에 직접 포함되거나, 또는 모니터링 서버(200)와는 별도의 장치 및/또는 서버로서 구현되어 상기 학생 모니터링 서비스를 위한 딥러닝을 수행할 수 있다.
이하의 설명에서는, 딥러닝 뉴럴 네트워크가 모니터링 서버(200)에 포함되어 구현되는 것으로 설명하나 이에 한정되는 것은 아니다.
또한, 실시예에서 모니터링 서버(200)는, 학생 모니터링 서비스를 구현하기 위한 각종 응용 프로그램, 프로세스 로직, 명령어 및/또는 데이터 등을 저장하고 관리할 수 있다.
실시예로, 모니터링 서버(200)는, 학생 촬영영상, 학습영역, 사방 임계치 각도, 학습상태, 학습시간, 비학습시간, 학습객체, 학습방해 객체, 소정의 딥러닝 모델 알고리즘 및/또는 각종 피드백 정보(실시예에서, 학습상태 통계 데이터 등) 등을 저장 및 관리할 수 있다.
한편, 도 1을 더 참조하면, 실시예에서 위와 같은 모니터링 서버(200)는, 데이터 처리를 위한 적어도 하나 이상의 프로세서 모듈(210: Processor Module)과, 외부의 장치와의 데이터 교환을 위한 적어도 하나 이상의 커뮤니케이션 모듈(220: Communication Module)과, 학생 모니터링 서비스의 제공을 위한 각종 응용 프로그램, 데이터 및/또는 명령어들을 저장하는 적어도 하나 이상의 메모리 모듈(230: Memory Module)을 포함하는 소정의 컴퓨팅 장치로 구현될 수 있다.
여기서, 상기 메모리 모듈(230)은, 학생 모니터링 서비스를 제공하기 위한 운영체제(OS), 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.
또한, 상기 메모리 모듈(230)은, 프로그램 영역과 데이터 영역을 포함할 수 있다.
여기서, 실시예에 따른 프로그램 영역은, 단말(100)을 부팅하는 운영체제(OS: Operating System) 및 기능요소들 사이에 연계될 수 있으며, 데이터 영역은, 단말(100)의 사용에 따라 발생하는 데이터가 저장될 수 있다.
실시예에서, 이러한 메모리 모듈(230)은, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리 모듈(230)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.
또한, 메모리 모듈(230)은, 모니터링 서버(200) 상에 탈착 가능한 형태의 기록매체일 수 있다.
한편, 상기 프로세서 모듈(210)은, 학생 모니터링 서비스를 구현하기 위하여 전술한 각 유닛(unit)의 전반적인 동작을 컨트롤할 수 있다.
이러한 프로세서 모듈(210)은, 중앙처리장치(CPU) 및/또는 그래픽처리장치(GPU) 등이 포함된 단말(100)에 적합한 시스템 온 칩(SOC)일 수 있으며, 메모리 모듈(230)에 저장된 운영체제(OS) 및/또는 애플리케이션 프로그램 등을 실행할 수 있고, 단말(100)에 탑재된 각 구성요소들을 제어할 수 있다.
또한, 프로세서 모듈(210)은, 각 구성요소와 내부적으로 시스템 버스(System Bus)에 의해 통신을 수행할 수 있고, 로컬 버스(Local Bus)를 비롯한 소정의 버스 구조들을 하나 이상 포함할 수 있다.
또한, 프로세서 모듈(210)은, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
이상의 설명에서는, 본 발명의 실시예에 따른 모니터링 서버(200)가 상술된 바와 같은 기능 동작을 수행한다고 설명하였으나, 실시예에 따라서 모니터링 서버(200)에서 수행하는 기능 동작의 적어도 일부를 외부의 장치(예컨대, 단말(100) 등)에서 수행할 수도 있고, 상기 외부의 장치에서 수행하는 기능 동작의 적어도 일부를 상기 모니터링 서버(200)에서 더 수행할 수도 있는 등 다양한 실시예가 가능할 수 있다.
- 온라인 수업 학생 모니터링 방법
이하, 본 발명의 실시예에 따른 학생 단말(100-1)의 적어도 하나 이상의 프로세서에 의하여 실행되는 모니터링 애플리케이션(111)이 온라인 수강 학생을 모니터링하는 방법을 첨부된 도 3 내지 도 17을 참조하여 상세히 설명한다.
본 발명의 실시예에서 상기 학생 단말(100-1)의 적어도 하나 이상의 프로세서는, 적어도 하나 이상의 메모리(110)에 저장된 적어도 하나 이상의 모니터링 애플리케이션(111)을 실행하거나 백그라운드 상태로 동작하게 할 수 있다.
이하, 상기 적어도 하나 이상의 프로세서가, 상기 모니터링 애플리케이션(111)의 명령어를 실행하기 위해 동작하여 상술된 학생 모니터링 서비스를 제공하는 방법을 수행하는 것을 상기 모니터링 애플리케이션(111)이 수행하는 것으로 단축하여 설명한다.
도 3은 본 발명의 실시예에 따른 온라인 수업 학생 모니터링 방법을 설명하기 위한 흐름도이고, 도 4는 본 발명의 실시예에 따른 온라인 수업 학생 모니터링 방법을 설명하기 위한 개념도이다.
도 3 및 도 4를 참조하면, 실시예에서 상기 학생 단말(100-1)의 적어도 하나 이상의 프로세서에 의하여 실행되거나 백그라운드 상태로 동작하는 모니터링 애플리케이션(111)은, 학생 촬영영상을 획득할 수 있다. (S101)
자세히, 실시예에서 모니터링 애플리케이션(111)은, 상기 학생 단말의 이미지 센서(161-1) 및/또는 외부의 카메라 시스템(예컨대, 타 단말(100)의 이미지 센서 등)과 연동하여, 온라인 수강을 수행하는 학생을 촬영한 영상인 학생 촬영영상을 획득할 수 있다.
이때, 모니터링 애플리케이션(111)은, 학생의 정면을 촬영한 영상인 정면뷰 영상 및/또는 학생의 측면을 촬영한 영상인 측면뷰 영상 중 적어도 하나 이상의 영상을 상기 학생 촬영영상으로서 획득할 수 있다.
여기서, 실시예에 따른 상기 학생의 측면은, 상기 학생의 정면 이외의 모든 방면을 포함할 수 있다.
즉, 상기 모니터링 애플리케이션(111)은, 상기 학생의 정면을 촬영한 정면뷰 영상 및/또는 상기 학생의 정면을 제외한 모든 방면 중 어느 하나의 방면에서 상기 학생을 촬영한 측면뷰 영상을 상기 학생 촬영영상으로 획득할 수 있다.
도 5는 본 발명의 실시예에 따른 일 시선위치에 기준한 시선방향의 사방 임계치 각도를 결정하는 방법을 설명하기 위한 도면의 일례이다.
또한, 도 5를 참조하면, 실시예에서 모니터링 애플리케이션(111)은, 상기 획득된 학생 촬영영상(10)에 기초하여 일 시선위치(1)에 기준한 시선방향의 사방 임계치 각도(ATA)를 결정할 수 있다. (S103)
자세히, 실시예에서 모니터링 애플리케이션(111)은, 상기 획득된 학생 촬영영상(10) 내 학생의 일 시선위치(1)에서 소정의 학습영역의 사방을 응시하는 시선방향에 대한 임계치 각도를 결정할 수 있다.
여기서, 실시예에 따른 상기 학습영역이란, 온라인 강의를 수행하는 학생이 학습을 목적으로 응시하는 가용 범위의 영역을 의미할 수 있다.
실시예에서 이러한 학습영역은, 상기 학생 단말(100-1)의 디스플레이 화면에 대응되는 영역인 화면영역(20) 및/또는 학습시 요구되는 기 설정된 학습객체(예컨대, 학습서 등)에 대응되는 영역인 학습객체 영역 중 적어도 하나 이상의 영역을 포함할 수 있다.
이하에서는, 효과적인 설명을 위하여 실시예에 따른 상기 학습영역을 상술된 화면영역(20)에 기준하여 설명하나 이에 한정되는 것은 아니며, 실시예에 따라서 상술된 학습객체 영역을 더 포함할 수 있는 등 다양한 실시예가 가능할 수 있다.
또한, 실시예에 따른 상기 시선위치란, 소정의 영상 내 제1 눈 객체(예컨대, 오른쪽 눈 객체)와 제2 눈 객체(예컨대, 왼쪽 눈 객체)를 포함하는 시선객체에 기반한 시선(視線)의 원점 위치를 의미할 수 있다.
즉, 실시예에서 상기 시선위치는, 상기 학생 촬영영상(10) 내 시선객체에 기초한 시선의 원점 위치를 의미할 수 있으며, 상기 시선객체가 상기 학생 촬영영상(10) 내 위치하는 좌표값을 의미할 수 있다.
또한, 실시예에 따른 상기 시선방향이란, 상기 시선객체에 기반한 시선의 응시 방향을 의미할 수 있다.
즉, 실시예에서 상기 시선방향은, 상기 학생 촬영영상(10) 내 학생의 시선객체를 기초로 획득되는 시선의 응시 방향을 의미할 수 있으며, 소정의 각도로 수치화되어 측정될 수 있다.
실시예로, 상기 시선방향의 각도값은, 학생이 정면을 응시할 시의 시선방향의 각도값을 기준각(예컨대, 0도(˚))으로 하여 소정의 각도로 추정될 수 있다.
또한, 실시예에 따른 상기 임계치 각도란, 상기 시선위치(즉, 상기 시선의 원점)에 기준한 상기 시선방향에 따른 소정의 응시점(즉, 상기 시선의 종점)이 상기 학습영역의 사방 경계선 이내에 존재하는지 결정하는 각도값일 수 있다.
보다 상세히, 실시예에서 모니터링 애플리케이션(111)은, 상기 학생에 대한 시선위치 및 시선방향을 기초로 상술된 학습영역을 설정할 수 있고, 상기 설정된 학습영역의 사방 경계선에 대한 임계치 각도(이하, 사방 임계치 각도(ATA))를 상기 시선위치 및 상기 시선방향에 기초하여 결정할 수 있다.
즉, 실시예에서 상기 사방 임계치 각도(ATA)란, 상기 시선위치 및 상기 시선방향을 기초로 설정되는 학습영역의 사방 경계선에 대한 임계치 각도를 의미할 수 있다.
구체적으로, 실시예에서 모니터링 애플리케이션(111)은, 상기 학생의 고유한 학습환경 조건(예컨대, 디스플레이 화면의 크기 및/또는 위치 등)에 따라서 상술된 학습영역을 설정하는 학습영역 설정 프로세스를 실행할 수 있다.
도 6은 본 발명의 실시예에 따른 학생의 초기 시선을 기초로 학습영역을 설정하는 방법을 설명하기 위한 도면의 일례이다.
자세히, 도 6을 참조하면, 실시예로 모니터링 애플리케이션(111)은, 1) 학생의 초기 시선(2)을 기초로 학습영역(30)을 설정할 수 있다.
보다 상세히, 모니터링 애플리케이션(111)은, 상기 초기 시선(2)을 결정하는 소정의 객체(21: 이하, 초기시선 결정 객체)를 출력하여 제공할 수 있다.
여기서, 실시예에 따른 상기 초기시선 결정 객체(21)는, 디스플레이 화면 내 기 설정된 고정위치 상에 출력되도록 정해진 소정의 객체일 수 있다.
예를 들면, 모니터링 애플리케이션(111)은, 온라인 수강 서비스에 접속하기 위한 소정의 로그인 창을 상기 초기시선 결정 객체(21)로서 출력하여 학생에게 제공할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 제공된 객체를 응시하는 학생의 시선을 상기 초기 시선(2)으로 결정할 수 있다.
이때, 모니터링 애플리케이션(111)은, 위와 같은 초기 시선(2)을 가지고 상기 제공된 초기시선 결정 객체(21)를 응시하는 학생을 촬영한 상기 학생 촬영영상(10)을 획득할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 획득된 학생 촬영영상(10)을 기초로 상기 결정된 초기 시선(2)에 대한 시선위치 및 시선방향을 검출할 수 있다.
자세히, 모니터링 애플리케이션(111)은, 소정의 딥러닝 모델과 연동하여, 상기 학생 촬영영상(10) 내에서 초기 시선(2)을 가지는 학생의 시선위치 및 시선방향을 검출할 수 있다.
구체적으로, 모니터링 애플리케이션(111)은, 소정의 영상 내 사람의 시선위치 및 시선방향을 추정하는 딥러닝 모델인 시선 탐지 모델(Gaze detection model)과 연동할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 연동된 시선 탐지 모델(Gaze detection model)을 이용하여, 상기 학생 촬영영상(10)을 입력으로 하고 상기 학생 촬영영상(10) 내 학생의 시선위치 및 시선방향을 출력으로 하는 시선 탐지 딥러닝을 수행할 수 있다.
그리하여 모니터링 애플리케이션(111)은, 상기 시선 탐지 모델로부터 측정된 상기 학생의 시선위치 및 시선방향을 획득함으로써, 상기 딥러닝을 기초로 상기 초기 시선(2)을 가지는 학생의 시선위치 및 시선방향을 검출할 수 있다.
또한, 모니터링 애플리케이션(111)은, 위와 같이 검출된 시선위치 및 시선방향에 기초하여 상기 학생에 대한 학습영역(30)을 설정할 수 있다.
자세히, 모니터링 애플리케이션(111)은, 상기 검출된 시선위치에 기준한 시선방향에 대응되는 응시점을 센터 포인트(CP)로 설정할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 설정된 센터 포인트(CP)를 중심으로 하는 소정의 영역(예컨대, 상기 센터 포인트(CP)를 중심으로 기 설정된 반경(r)을 가지는 영역 등)을 상기 학생에 대한 학습영역(30)으로 설정할 수 있다.
예를 들면, 모니터링 애플리케이션(111)은, 소정의 로그인 창을 응시하는 학생의 초기 시선(2)에 따른 응시점을 센터 포인트(CP)로 하고, 상기 센터 포인트(CP)를 기준으로 기 설정된 반경(r)만큼의 영역을 포함하는 영역을 상기 학생에 대한 학습영역(30)으로 설정할 수 있다.
이와 같이, 모니터링 애플리케이션(111)은, 기 설정된 특정 지점(실시예에서, 초기시선 결정 객체(21) 표시지점 등)을 응시하는 학생의 초기 시선(2)에 기초한 소정의 영역을 해당 학생에 대한 학습영역(30)으로 설정함으로써, 해당 학생의 학습환경 조건(예컨대, 디스플레이 화면의 위치 등)을 고려하는 학습영역(30)을 빠르고 간편하게 설정할 수 있다.
도 7은 본 발명의 실시예에 따른 시선유도 객체를 따라서 이동하는 학생의 시선을 추적하여 학습영역(30)을 설정하는 방법을 설명하기 위한 도면의 일례이다.
한편, 도 7을 참조하면, 다른 실시예로 모니터링 애플리케이션(111)은, 2) 소정의 시선유도 객체(22)를 따라서 이동하는 학생의 시선(3)을 추적하여 학습영역(30)을 설정할 수 있다.
여기서, 실시예에 따른 상기 시선유도 객체(22)란, 디스플레이 화면 상에 출력되어 학생의 시선방향을 안내하는 소정의 객체(예컨대, 기 설정된 형상의 부호 및/또는 도형 등)일 수 있다.
자세히, 모니터링 애플리케이션(111)은, 상기 시선유도 객체(22)를 디스플레이 화면의 엣지(edge)를 따라서 이동시키며 표시할 수 있다.
실시예로, 모니터링 애플리케이션(111)은, 디스플레이 화면의 엣지에 대응되는 테두리 영역 상의 제1 출력지점(SP)으로부터 시작하여, 상기 테두리 영역을 따라서 소정의 간격으로 이동하는 시선유도 객체(22)를 표시할 수 있다.
또한, 모니터링 애플리케이션(111)은, 위와 같이 표시되는 시선유도 객체(22)를 지속적으로 추적하며 응시하는 학생을 촬영한 상기 학생 촬영영상(10)을 획득할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 획득된 학생 촬영영상(10)을 기초로 상기 시선유도 객체(22)를 응시하는 학생에 대한 시선위치 및 시선방향을 검출할 수 있다.
즉, 모니터링 애플리케이션(111)은, 상기 시선유도 객체(22)가 이동함에 따라서 변화하는 학생의 시선위치 및/또는 시선방향을 실시간으로 검출할 수 있다.
자세히, 모니터링 애플리케이션(111)은, 소정의 딥러닝 모델과 연동하여, 상기 학생 촬영영상(10) 내에서 실시간으로 변화하는 학생의 시선위치 및 시선방향을 검출할 수 있다.
구체적으로, 모니터링 애플리케이션(111)은, 상술된 바와 같이 소정의 영상 내 사람의 시선위치 및 시선방향을 추정하는 딥러닝 모델인 시선 탐지 모델(Gaze detection model)과 연동할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 연동된 시선 탐지 모델(Gaze detection model)을 이용하여, 상기 학생 촬영영상(10)을 입력으로 하고 상기 학생 촬영영상(10) 내 학생의 시선위치 및 시선방향을 출력으로 하는 시선 탐지 딥러닝을 수행할 수 있다.
그리하여 모니터링 애플리케이션(111)은, 상기 시선 탐지 모델로부터 측정된 상기 학생의 시선위치 및 시선방향을 획득함으로써, 상기 딥러닝을 기초로 상기 시선유도 객체(22)의 이동에 따라서 실시간으로 변화하는 학생의 시선위치 및 시선방향을 검출할 수 있다.
또한, 모니터링 애플리케이션(111)은, 위와 같이 검출된 시선위치 및 시선방향에 기초하여 상기 학생에 대한 학습영역(30)을 설정할 수 있다.
자세히, 모니터링 애플리케이션(111)은, 상기 시선유도 객체(22)의 이동에 따라서 실시간으로 검출되는 시선방향의 각도값을 기초로, 상기 시선방향에 대응되는 응시점(GP)들을 도출할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 도출된 응시점(GP)들에 기초하여 상기 학생에 대한 학습영역(30)을 설정할 수 있다.
보다 상세히, 모니터링 애플리케이션(111)은, 상기 디스플레이 화면의 엣지를 따라서 이동하는 시선유도 객체(22)를 따르는 응시점들을 기초로 형성되는 영역을 응시 경계영역으로 정립할 수 있다.
예를 들면, 모니터링 애플리케이션(111)은, 상기 시선유도 객체(22)를 따라서 이동하는 응시점이 사각박스 영역을 형성하는 경우, 상기 형성된 사각박스가 포함하는 영역을 상기 응시 경계영역으로 정립할 수 있다.
또한, 모니터링 애플리케이션(111)은, 위와 같이 정립된 응시 경계영역에 포함되는 영역을 상기 학생에 대한 학습영역(30)으로 설정할 수 있다.
이와 같이, 모니터링 애플리케이션(111)은, 디스플레이 화면의 경계선을 따라서 이동하는 학생의 시선(3)을 토대로 해당 학생에 대한 학습영역(30)을 설정하여, 해당 학생이 사용하는 디스플레이 화면의 크기와 위치 등과 같은 학습환경 조건을 보다 정확하게 반영한 학습영역(30)을 설정할 수 있다.
이때, 실시예에 따라서 모니터링 애플리케이션(111)은, 상기 응시 경계영역을 기초로 설정된 학습영역(30)을 포함하며, 상기 설정된 학습영역(30) 주변의 소정의 영역을 더 포함하는 보다 큰 범위의 영역을 상기 학습영역(30)으로 설정할 수도 있다.
예를 들면, 모니터링 애플리케이션(111)은, 상기 응시 경계영역을 기초로 설정된 학습영역(30)을 포함하는 동시에 상기 설정된 학습영역(30) 대비 소정의 비율 이상 큰 크기를 가지는 영역을 상기 학생에 대한 학습영역(30)으로 설정할 수 있다.
따라서, 모니터링 애플리케이션(111)은, 학생에 대하여 설정된 학습영역(30)에 따른 응시 허용범위를 유연하게 조정할 수 있고, 이를 통해 추후 해당 학습영역(30)을 주시하고 있는지를 판단하여 학생의 수업 참여상태를 추정할 시의 융통성을 부여할 수 있다.
또한, 실시예에서 모니터링 애플리케이션(111)은, 상술된 바와 같은 학습영역(30) 설정 프로세스에서 검출된 시선위치 및 시선방향에 기초하여 상기 학생에 대한 사방 임계치 각도(ATA)를 결정할 수 있다.
자세히, 모니터링 애플리케이션(111)은, 상기 학습영역(30) 설정 시의 시선위치 및 시선방향에 매칭하여 상기 학생에 대한 사방 임계치 각도(ATA)를 결정할 수 있다.
보다 상세히, 모니터링 애플리케이션(111)은, 상기 학습영역(30) 설정 시의 시선위치에 기준한 시선방향을 나타내는 각도값에 기초하여, 상기 사방 임계치 각도(ATA)를 결정할 수 있다.
도 8은 본 발명의 실시예에 따른 학생의 초기 시선(2)을 기초로 사방 임계치 각도(ATA)를 결정하는 방법을 설명하기 위한 도면의 일례이다.
구체적으로, 도 8을 참조하면, 실시예에서 모니터링 애플리케이션(111)은, 1) 상술된 초기 시선(2)에 대한 시선위치 및 시선방향의 각도값(이하, 초기 각도값)에 기초하여 상기 사방 임계치 각도(ATA)를 결정할 수 있다.
자세히, 모니터링 애플리케이션(111)은, 상기 시선위치에서 상기 초기 시선(2)을 기초로 설정된 학습영역(30)(이하, 초기 시선 기반 학습영역)의 경계선 내 소정의 제1 지점을 응시할 시 형성되는 제1 각도값을, 상기 초기 각도값을 기초로 산출할 수 있다.
실시예로, 모니터링 애플리케이션(111)은, 상기 초기 각도값을 이용한 소정의 연산(예컨대, 기 설정된 수식 및/또는 알고리즘을 이용한 연산 등)을 수행하여, 상기 제1 각도값을 산출할 수 있다.
또한, 모니터링 애플리케이션(111)은, 위와 동일한 방식으로 상기 초기 시선 기반 학습영역의 경계선 내 제2 지점, 제3 지점, …, 제n 지점 즉, 상기 경계선을 형성하는 복수의 각 지점을 응시할 시의 복수의 각 각도값(이하, 연속 각도값)을 상기 초기 각도값에 기초한 소정의 연산을 수행하여 산출할 수 있다.
또한, 모니터링 애플리케이션(111)은, 위와 같이 산출된 연속 각도값에 기초하여 상기 사방 임계치 각도(ATA)를 결정할 수 있다.
즉, 모니터링 애플리케이션(111)은, 상기 연속 각도값이 포함하는 복수의 각 각도값을, 상기 각 각도값에 대응되는 상기 경계선 내 각 지점에 대한 임계치 각도로 하여 상기 사방 임계치 각도(ATA)를 결정할 수 있다.
도 9는 본 발명의 실시예에 따른 시선유도 객체(22)에 기초하여 사방 임계치 각도(ATA)를 결정하는 방법을 설명하기 위한 도면의 일례이다.
한편, 도 9를 참조하면, 다른 실시예에서 모니터링 애플리케이션(111)은, 2) 상술된 시선유도 객체(22)에 기초한 시선위치 및 시선방향의 각도값을 기반으로 상기 사방 임계치 각도(ATA)를 결정할 수 있다.
자세히, 모니터링 애플리케이션(111)은, 상기 시선유도 객체(22)의 이동에 따라서 실시간으로 검출되는 시선방향을 기초로 설정된 학습영역(30)(이하, 시선유도 객체 기반 학습영역)의 경계선에 대응되는 연속적인 각도값들에 기초하여, 상기 사방 임계치 각도(ATA)를 결정할 수 있다.
보다 상세히, 모니터링 애플리케이션(111)은, 상기 시선유도 객체 기반 학습영역의 경계선을 따라서 이동하는 시선방향에 대응되는 연속적인 각도값들(이하, 각도 시퀀스값)을 상기 시선방향을 검출함에 따라서 획득할 수 있다.
예를 들면, 모니터링 애플리케이션(111)은, 상기 시선유도 객체 기반 학습영역이 소정의 사각박스 형상인 경우, 상기 시선유도 객체 기반 학습영역의 제1 경계선(예컨대, 상기 사각박스의 좌변)을 따라서 이동하는 시선방향에 대응되는 제1 각도 시퀀스값, 상기 시선유도 객체 기반 학습영역의 제2 경계선(예컨대, 상기 사각박스의 하변)을 따라서 이동하는 시선방향에 대응되는 제2 각도 시퀀스값, 상기 시선유도 객체 기반 학습영역의 제3 경계선(예컨대, 상기 사각박스의 우변)을 따라서 이동하는 시선방향에 대응되는 제3 각도 시퀀스값 및 상기 시선유도 객체 기반 학습영역의 제4 경계선(예컨대, 상기 사각박스의 상변)을 따라서 이동하는 시선방향에 대응되는 제4 각도 시퀀스값을 획득할 수 있다.
또한, 모니터링 애플리케이션(111)은, 위와 같이 획득된 각도 시퀀스값이 포함하는 복수의 각 각도값을, 상기 각 각도값에 대응되는 상기 경계선 내 각 지점에 대한 임계치 각도로 설정할 수 있다.
즉, 모니터링 애플리케이션(111)은, 상술된 바와 같은 각도 시퀀스값 내 복수의 각 각도값을 상기 시선유도 객체 기반 학습영역의 경계선 내 각 지점마다 매칭되는 임계치 각도로 설정하여 상기 사방 임계치 각도(ATA)를 결정할 수 있다.
이상의 설명에서는, 효과적인 설명을 위하여 모니터링 애플리케이션(111)이 학습영역(30)을 설정하고, 설정된 학습영역(30)을 기초로 사방 임계치 각도(ATA)를 결정하는 실시예들을 상술된 바와 같이 구분하여 설명하였으나, 실시예에 따라서 상기 실시예들 중 적어도 일부가 상호 유기적으로 결합하여 동작할 수도 있는 등 다양한 실시예 또한 가능할 수 있다.
이와 같이, 모니터링 애플리케이션(111)은, 학생이 해당 학생에 대하여 설정된 학습영역(30) 이내의 영역을 응시하고 있는지를 판별하기 위한 사방 임계치 각도(ATA)를 상술된 바와 같은 방식으로 결정함으로써, 추후 이를 기초로 해당 학생이 온라인 수업에 집중하고 있는지를 판단하기 위한 신뢰성 있는 근거 데이터를 구축할 수 있다.
또한, 실시예에서 모니터링 애플리케이션(111)은, 실시간 시선위치의 변경을 감지하고 사방 임계치 각도(ATA)를 보정할 수 있다. (S105)
자세히, 실시예에서 상술된 바와 같이 일 시선위치(1)에 기준한 시선방향의 사방 임계치 각도(ATA)를 결정한 모니터링 애플리케이션(111)은, 상기 학생 촬영영상(10) 내 학생의 시선위치를 지속적으로 추적하며 모니터링할 수 있다.
또한, 모니터링 애플리케이션(111)은, 위와 같은 지속적인 모니터링을 통하여 상기 학생 촬영영상(10) 내 학생의 시선위치의 변경을 실시간으로 감지할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 실시간 감지되는 시선위치(이하, 실시간 시선위치)의 변경에 따라서 상기 결정된 사방 임계치 각도(ATA)에 대한 실시간 보정을 수행할 수 있다.
도 10은 본 발명의 실시예에 따른 제1 반경영역을 기초로 사방 임계치 각도(ATA)를 보정하는 방법을 설명하기 위한 도면의 일례이다.
보다 상세히, 도 10을 참조하면, 제1 실시예에서 모니터링 애플리케이션(111)은, 1) 상기 학생 단말의 이미지 센서(161-1)와 상기 실시간 시선위치 간의 거리를 소정의 고정거리(d)로 유지시키는 제1 반경영역(40)을 기준으로 상기 사방 임계치 각도(ATA)를 보정할 수 있다.
구체적으로, 모니터링 애플리케이션(111)은, 상기 학생 단말의 이미지 센서(161-1)와 상기 실시간 시선위치 간의 거리를 소정의 고정거리(d)로 유지시키는 제1 반경영역(40) 내에서 상기 실시간 시선위치의 이동이 감지되면, 상기 실시간 시선위치의 이동방향(DM) 및 이동량(AM)에 기초하여 상기 사방 임계치 각도(ATA)를 보정할 수 있다.
이때, 모니터링 애플리케이션(111)은, 상기 실시간 시선위치의 이동방향(DM)을 기초로 상기 사방 임계치 각도(ATA) 내에서 보정을 수행할 소정의 임계치 각도(이하, 보정 임계치 각도)를 결정할 수 있다.
자세히, 모니터링 애플리케이션(111)은, 상기 이동방향(DM)과 동일한 방면에 대응되는 적어도 하나 이상의 임계치 각도와, 상기 이동방향(DM)에 대비되는 방면에 대한 적어도 하나 이상의 임계치 각도를 상기 보정 임계치 각도로 결정할 수 있다.
실시예로, 모니터링 애플리케이션(111)은, 상기 실시간 시선위치가 학생으로부터 디스플레이 화면을 향하는 측(이하, 학생측)에 기준하여 좌측으로 X만큼 이동하면, 상기 사방 임계치 각도(ATA) 내에서 상기 실시간 시선위치의 이동방향(DM)(즉, 여기서 좌측)에 대응되는 좌측 방면에 포함되는 적어도 하나 이상의 임계치 각도(이하, 좌측 임계치 각도(LTA))와, 이에 대비되는 우측 방면에 포함되는 적어도 하나 이상의 임계치 각도(이하, 우측 임계치 각도(RTA))를 보정 임계치 각도로 결정할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 실시간 시선위치의 이동량(AM)에 기초하여 상기 보정 임계치 각도에 대한 보정값을 결정할 수 있다.
자세히, 실시예에서 모니터링 애플리케이션(111)은, 상기 이동량(AM)에 비례하여 상기 보정 임계치 각도를 감소시키는 마이너스 보정 또는 증가시키는 플러스 보정을 수행할 수 있다.
보다 상세히, 모니터링 애플리케이션(111)은, 상기 실시간 시선위치의 이동방향(DM)과 동일한 방면에 대응되는 적어도 하나 이상의 임계치 각도에 대해서는 상기 이동량(AM)에 따른 마이너스 보정을 수행하고, 상기 실시간 시선위치의 이동방향(DM)과 대비되는 방면에 대응되는 적어도 하나 이상의 임계치 각도에 대해서는 상기 이동량(AM)에 따른 플러스 보정을 수행할 수 있다.
실시예로, 모니터링 애플리케이션(111)은, 상기 실시간 시선위치가 학생측에 기준하여 좌측으로 X만큼 이동하면, 상술된 바와 같이 결정된 좌측 임계치 각도(LTA)를 상기 이동량(AM)(즉, X값)에 비례하여 감소시키는 마이너스(-) 보정을 수행할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 실시간 시선위치가 학생측에 기준하여 좌측으로 X만큼 이동하면, 상기 결정된 우측 임계치 각도(RTA)를 상기 이동량(AM)(즉, X값)에 비례하여 증가시키는 플러스(+) 보정을 수행할 수 있다.
동일한 방식으로, 모니터링 애플리케이션(111)은, 상기 실시간 시선위치가 학생측에 기준하여 우측으로 Y만큼 이동하면, 상기 이동량(AM)(즉, Y값)에 비례하여 상기 사방 임계치 각도(ATA) 내 우측 임계치 각도(RTA)를 감소시키는 마이너스(-) 보정을 수행할 수 있고, 상기 이동량(AM)(즉, Y값)에 비례하여 상기 사방 임계치 각도(ATA) 내 좌측 임계치 각도(LTA)를 증가시키는 플러스(+) 보정을 수행할 수 있다.
즉, 모니터링 애플리케이션(111)은, 상기 학생 단말의 이미지 센서(161-1)와 상기 실시간 시선위치 간의 거리가 소정의 고정거리(d)를 유지하는 경우, 상기 제1 반경영역(40) 내 상기 실시간 시선위치의 이동방향(DM)과 이동량(AM)을 기초로, 상기 사방 임계치 각도(ATA) 내 소정의 임계치 각도에 대한 마이너스 보정 또는 플러스 보정을 수행할 수 있다.
도 11은 본 발명의 실시예에 따른 시선객체에 기초하여 사방 임계치 각도(ATA)를 보정하는 방법을 설명하기 위한 도면의 일례이다.
한편, 도 11을 참조하면, 제2 실시예에서 모니터링 애플리케이션(111)은, 2) 상기 시선방향의 각도값이 고정된 경우, 상기 실시간 시선위치를 구현하는 상기 시선객체(즉, 실시예에서 제1 눈 객체(E1) 및 제2 눈 객체(E2))를 기초로 상기 사방 임계치 각도(ATA)를 보정할 수 있다.
자세히, 모니터링 애플리케이션(111)은, 상기 시선방향의 각도값이 고정된 경우, 상기 학생 촬영영상(10) 내 시선객체가 포함하는 제1 눈 객체(E1)(예컨대, 오른쪽 눈 객체) 및 제2 눈 객체(E2)(예컨대, 왼쪽 눈 객체) 간의 거리(이하, 시선객체 이격거리(SD))에 기초하여 상기 사방 임계치 각도(ATA)를 보정할 수 있다.
보다 상세히, 모니터링 애플리케이션(111)은, 상기 학생 촬영영상(10) 내 시선객체 이격거리(SD)를 실시간으로 측정하며 추적 모니터링할 수 있다.
이때, 모니터링 애플리케이션(111)은, 상기 학생 촬영영상(10) 내 학생의 시선방향에 따른 각도값이 유지되는 상황에서, 상기 모니터링 중인 시선객체 이격거리(SD)가 감소하는 경우(즉, 상기 실시간 시선위치와 상기 학생 단말의 이미지 센서(161-1) 간의 거리(ID)가 증가하는 경우), 상기 사방 임계치 각도(ATA) 내 모든 임계치 각도에 대한 마이너스 보정을 수행할 수 있다.
즉, 모니터링 애플리케이션(111)은, 상기 시선객체 이격거리(SD)가 감소하면(즉, 상기 학생 촬영영상(10) 내에서 해당 학생이 멀어지면) 해당하는 실시간 시선위치에서 상술된 학습영역(30)에 대한 사방을 응시하는 시선방향의 각도값이 감소하는 점을 고려하여, 상기 사방 임계치 각도(ATA) 내 모든 임계치 각도의 값을 감소시키는 마이너스 보정을 수행할 수 있다.
반면, 모니터링 애플리케이션(111)은, 상기 학생 촬영영상(10) 내 학생의 시선방향에 따른 각도값이 유지되는 상황에서, 상기 모니터링 중인 시선객체 이격거리(SD)가 증가하는 경우(즉, 상기 실시간 시선위치와 상기 학생 단말의 이미지 센서(161-1) 간의 거리(ID)가 감소하는 경우), 상기 사방 임계치 각도(ATA) 내 모든 임계치 각도에 대한 플러스 보정을 수행할 수 있다.
다시 말해서, 모니터링 애플리케이션(111)은, 상기 시선객체 이격거리(SD)가 증가하면(즉, 상기 학생 촬영영상(10) 내에서 해당 학생이 가까워지면) 해당하는 실시간 시선위치에서 상술된 학습영역(30)의 사방을 응시하는 시선방향의 각도값이 증가하는 점을 고려하여, 상기 사방 임계치 각도(ATA) 내 모든 임계치 각도의 값을 증가시키는 플러스 보정을 수행할 수 있다.
다른 한편, 제3 실시예에서 모니터링 애플리케이션(111)은, 3) 상기 제1 반경영역(40) 내에서 상기 실시간 시선위치가 이동함과 동시에 상기 시선객체 이격거리(SD)가 변경되는 경우, 즉 상술된 제1 실시예 및 제2 실시예의 실행 조건이 동시에 충족되는 경우, 상술된 제1 실시예 및 제2 실시예에 따른 기능 동작을 상호 유기적으로 결합하여 수행할 수 있다.
그리하여 모니터링 애플리케이션(111)은, 상기 학생 촬영영상(10) 내 실시간 시선위치가 변경되면, 상술된 바와 같은 방식으로 상기 결정된 사방 임계치 각도(ATA)에 대한 실시간 보정을 수행할 수 있다.
이와 같이, 모니터링 애플리케이션(111)은, 일정 조건 하에서 온라인 수업을 진행하는 도중에 학생의 자세가 변경되는 등의 이유로 눈의 위치가 변화하면 이에 따라서 해당 눈의 위치(즉, 실시예에서 실시간 시선위치)를 새로운 기준점으로 하여 해당하는 학습영역(30) 이내의 영역을 응시하고 있는지를 판별하기 위한 사방 임계치 각도(ATA)를 보정할 수 있고, 이를 통해 추후 상기 사방 임계치 각도(ATA)를 기초로 도출되는 상기 학생의 수업 참여상태 분석결과에 대한 품질과 정확성을 증진시킬 수 있다.
또한, 실시예에서 모니터링 애플리케이션(111)은, 실시간 시선방향을 감지할 수 있다. (S107)
자세히, 실시예에서 모니터링 애플리케이션(111)은, 상기 학생 촬영영상(10) 내 학생의 시선방향을 지속적으로 추적하며 모니터링할 수 있다.
이때, 모니터링 애플리케이션(111)은, 상기 학생 촬영영상(10) 내 실시간 시선위치에 기준하여 실시간으로 변화하는 상기 학생의 시선방향(이하, 실시간 시선방향)을 지속적으로 추적 및 모니터링할 수 있다.
또한, 모니터링 애플리케이션(111)은, 위와 같은 지속적인 모니터링을 통하여 상기 실시간 시선방향의 각도값에 대한 유지 또는 변경 여부를 감지할 수 있다.
또한, 실시예에서 모니터링 애플리케이션(111)은, 실시간 시선위치 및 실시간 시선방향에 따른 학습상태를 검출할 수 있다. (S109)
여기서, 실시예에 따른 상기 학습상태란, 학생이 온라인 상에서 진행되는 강의에 집중도 있게 참여하고 있는지를 판단한 정보로서, 실시예에서 학생이 해당하는 학습영역(30)을 지속적으로 집중도 있게 응시하며 학습을 수행하고 있는 상태인 집중상태와, 상기 집중상태 이외의 상태인 비집중상태를 포함할 수 있다.
도 12 및 도 13은 본 발명의 실시예에 따른 실시간 시선위치와 실시간 시선방향을 기초로 학생의 학습상태를 검출하는 방법을 설명하기 위한 도면의 일례이다.
자세히, 도 12를 참조하면, 실시예에서 모니터링 애플리케이션(111)은, 상기 감지된 실시간 시선위치(R1)에 따라서 보정된 사방 임계치 각도(이하, 실시간 사방 임계치 각도(RATA)) 및 상기 감지된 실시간 시선방향(R4)에 기초하여, 상기 학생에 대한 학습상태를 검출할 수 있다.
보다 상세히, 실시예로 모니터링 애플리케이션(111)은, 상기 실시간 사방 임계치 각도(RATA) 이내에 상기 실시간 시선방향(R4)에 따른 각도값이 포함되는지 여부를 산출할 수 있다.
즉, 모니터링 애플리케이션(111)은, 상기 실시간 시선위치(R1)에서 해당 학생에 대하여 설정된 학습영역(30)을 응시한다고 판단되는 시선방향의 각도값들의 집합을 한정하는 실시간 사방 임계치 각도(RATA) 이내에 상기 실시간 시선방향(R4)에 따른 각도값이 포함되는지 여부를 판단할 수 있다.
이때, 실시예에서 모니터링 애플리케이션(111)은, 상기 실시간 시선방향(R4)의 각도값이 상기 실시간 사방 임계치 각도(RATA) 이내에 존재하는 경우, 해당 상태를 집중상태로 결정할 수 있다.
반면, 실시예에서 모니터링 애플리케이션(111)은, 상기 실시간 시선방향(R4)의 각도값이 상기 실시간 사방 임계치 각도(RATA)를 초과하는 경우, 상기 사방 임계치 각도(ATA)를 초과한 상태의 지속시간(이하, 제1 초과 상태 지속시간)을 측정할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 측정된 제1 초과 상태 지속시간이 소정의 시간을 경과하면, 해당 상태를 비집중상태로 결정할 수 있다.
따라서, 모니터링 애플리케이션(111)은, 원격에서 온라인 강의를 수강하는 학생을 촬영한 영상 내 학생의 시선이 응시하는 방향을 이용하여 해당 학생이 온라인 수업에 집중하며 참여하고 있는지를 판별할 수 있다.
또한, 모니터링 애플리케이션(111)은, 위와 같이 비집중상태가 활성화되면 상기 학생에 대한 비학습시간을 산출할 수 있다.
여기서, 실시예에 따른 상기 비학습시간이란, 비집중상태로 경과된 시간을 측정한 데이터일 수 있다.
자세히, 실시예로 모니터링 애플리케이션(111)은, 상기 비집중상태가 활성화된 시점부터 상기 비집중상태가 종료되는 시점까지(즉, 상술된 집중상태가 되는 시점까지)의 경과 시간을 측정하여 상기 비학습시간을 산출할 수 있다.
또는, 실시예에 따라서 모니터링 애플리케이션(111)은, 상기 비집중상태가 활성화된 시점부터 상기 비집중상태가 종료되는 시점까지(즉, 상술된 집중상태가 되는 시점까지)의 경과 시간에 상술된 제1 초과 상태 지속시간을 더 합산하여 상기 비학습시간을 산출할 수 있다.
따라서, 모니터링 애플리케이션(111)은, 학생에 대한 학습상태 판단의 근거가 되는 수치화된 데이터를 제공할 수 있음과 동시에, 이를 활용한 각종 피드백을 생성하여 제공할 수 있다.
한편, 도 13을 참조하면, 실시예에서 모니터링 애플리케이션(111)은, 상술된 실시간 시선위치(R1), 제1 반경영역(40) 및 시선객체 이격거리(SD)에 기초하여 상기 학생에 대한 학습상태를 검출할 수 있다.
자세히, 실시예에서 모니터링 애플리케이션(111)은, 상기 감지되는 실시간 시선위치(R1)가 상기 학생 단말의 이미지 센서(161-1)와 상기 실시간 시선위치(R1) 간의 거리를 소정의 고정거리(d)로 유지시키는 제1 반경영역(40)을 초과하여 이동함과 동시에 상술된 시선객체 이격거리(SD)는 변경되지 않는 경우, 해당 상태의 지속시간(이하, 제2 초과 상태 지속시간)을 측정할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 측정된 제2 초과 상태 지속시간이 소정의 시간을 경과하면, 해당 상태를 비집중상태로 결정할 수 있다.
또한, 모니터링 애플리케이션(111)은, 위와 같이 비집중상태가 활성화되면 상기 학생에 대한 비학습시간을 산출할 수 있다.
자세히, 모니터링 애플리케이션(111)은, 상기 비집중상태가 활성화된 시점부터 상기 비집중상태가 종료되는 시점까지(즉, 상술된 집중상태가 되는 시점까지)의 경과 시간을 측정하여 상기 비학습시간을 산출할 수 있다.
또는, 실시예에 따라서 모니터링 애플리케이션(111)은, 상기 비집중상태가 활성화된 시점부터 상기 비집중상태가 종료되는 시점까지(즉, 상술된 집중상태가 되는 시점까지)의 경과 시간에 상술된 제2 초과 상태 지속시간을 더 합산하여 상기 비학습시간을 산출할 수 있다.
따라서, 모니터링 애플리케이션(111)은, 상술된 학생 촬영영상(10) 내 학생의 시선에 대한 원점위치를 분석하여 해당 학생이 온라인 상에서 진행되는 수업에 집중력을 가지고 참여하고 있는지를 판단할 수 있으며, 이에 대한 수치화된 데이터를 제공할 수 있다.
다른 한편, 실시예에서 모니터링 애플리케이션(111)은, 소정의 딥러닝 모델과 연동하여 상기 학생에 대한 학습상태를 검출할 수 있다.
자세히, 실시예에서 모니터링 애플리케이션(111)은, 소정의 영상 내 사람과 기 설정된 객체 간의 상호작용 관계를 탐지하는 딥러닝 모델인 인간-객체 상호작용 탐지 모델(Human Object interaction detection)과 연동하여, 상기 학생과 소정의 학습방해 객체 간의 상호작용 여부를 검출할 수 있다.
여기서, 실시예에 따른 상기 학습방해 객체란, 학습에 요구되지 않는 불필요한 소정의 오브젝트로서, 예컨대 스마트폰, 술병 및/또는 담배 등일 수 있다.
보다 상세히, 모니터링 애플리케이션(111)은, 상기 인간-객체 상호작용 탐지 모델을 이용하여 상기 학생 촬영영상(10)을 입력으로 하고 상기 학생 촬영영상(10) 내 학생과 소정의 학습방해 객체 간의 상호작용 여부를 출력으로 하는 상호작용 탐지 딥러닝을 수행할 수 있다.
그리하여 모니터링 애플리케이션(111)은, 상기 수행된 상호작용 탐지 딥러닝을 통해 상기 학생 촬영영상(10) 내 학생이 소정의 학습방해 객체와 상호작용하는지 여부를 검출할 수 있다.
도 14는 본 발명의 실시예에 따른 상호작용 탐지 딥러닝을 설명하기 위한 도면의 일례이다.
예를 들어, 도 14를 참조하면, 모니터링 애플리케이션(111)은, 상기 학생 촬영영상(10)에 기초한 상기 상호작용 탐지 딥러닝을 수행하여, 상기 학생 촬영영상(10) 내 학생이 술병 객체와 상호작용하는 상태를 검출할 수 있다.
또한, 실시예에서 모니터링 애플리케이션(111)은, 상기 상호작용 탐지 딥러닝을 통하여 상기 학생과 소정의 학습방해 객체 간의 상호작용이 검출되면, 해당 상태를 비집중상태로 결정할 수 있다.
반면, 실시예에서 모니터링 애플리케이션(111)은, 상기 상호작용 탐지 딥러닝을 통하여 상기 학생과 소정의 학습방해 객체 간의 상호작용이 미검출되면, 해당 상태를 집중상태로 결정할 수 있다.
즉, 모니터링 애플리케이션(111)은, 학생과 소정의 학습방해 객체가 상호작용하는 상태를 딥러닝을 통해 탐지함으로써, 해당 학생이 온라인 수강 중에 스마트폰을 이용하거나 기타 학습에 방해가 되는 물건을 사용하며 학습에 집중하지 못하는 상태를 검출할 수 있고, 이를 기초로 해당 학생의 학습상태를 판단할 수 있다.
또한, 실시예에서 모니터링 애플리케이션(111)은, 소정의 영상 내 사람의 얼굴 표정 변화를 탐지하는 딥러닝 모델인 얼굴 키 포인트 감지 모델(Facial key points detection)과 연동하여, 상기 학생 촬영영상(10) 내 학생의 얼굴 표정이 급변하는 현상을 검출할 수 있다.
자세히, 실시예에서 모니터링 애플리케이션(111)은, 상기 얼굴 키 포인트 감지 모델을 이용하여 상기 학생 촬영영상(10)을 입력으로 하고 상기 학생 촬영영상(10) 내 학생의 얼굴 표정 변화가 급변하는 현상을 탐지하여 출력으로 하는 표정 탐지 딥러닝을 수행할 수 있다.
도 15는 본 발명의 실시예에 따른 표정 탐지 딥러닝을 설명하기 위한 도면의 일례이다.
실시예로, 도 15를 참조하면, 상기 모니터링 애플리케이션(111)은, 상기 얼굴 키 포인트 감지 모델을 통하여 상기 학생 촬영영상(10) 내 학생의 얼굴 표정 감지를 위한 복수의 키 포인트를 추출하고, 추출된 복수의 키 포인트에 기초하여 상기 학생의 급변하는 얼굴 표정을 탐지할 수 있다.
또한, 실시예에서 모니터링 애플리케이션(111)은, 상기 표정 탐지 딥러닝을 통하여 급변하는 학생의 표정 변화가 검출되면, 해당 상태를 비집중상태로 결정할 수 있다.
반면, 실시예에서 모니터링 애플리케이션(111)은, 상기 표정 탐지 딥러닝을 통하여 급변하는 학생의 표정 변화가 미검출되면, 해당 상태를 집중상태로 결정할 수 있다.
즉, 모니터링 애플리케이션(111)은, 학생의 얼굴 표정이 급변하는 상태를 딥러닝을 통해 탐지함으로써, 온라인 학습을 수행하는 학생의 집중도 및/또는 이해도가 저하된 의심상황을 검출할 수 있고, 이에 기반하여 해당 학생의 학습상태를 판단할 수 있다.
또한, 실시예에서 모니터링 애플리케이션(111)은, 상술된 인간-객체 상호작용 탐지 모델 및/또는 얼굴 키 포인트 감지 모델에 기초한 딥러닝을 통하여 상기 학생에 대한 비집중상태가 활성화되면, 상기 학생에 대한 비학습시간을 산출할 수 있다.
자세히, 모니터링 애플리케이션(111)은, 상기 비집중상태가 활성화된 시점부터 상기 비집중상태가 종료되는 시점까지(즉, 상술된 집중상태가 되는 시점까지)의 경과 시간을 측정하여 상기 비학습시간을 산출할 수 있다.
따라서, 모니터링 애플리케이션(111)은, 다각도적 관점에서 판단된 학생의 학습상태를 뒷받침하는 정량적인 데이터를 용이하게 제공할 수 있고, 이에 기초한 다양한 피드백 또한 생성 및 제공할 수 있다.
또한, 실시예에서 모니터링 애플리케이션(111)은, 위와 같이 검출된 학습상태에 따른 피드백을 제공할 수 있다. (S111)
자세히, 실시예에서 모니터링 애플리케이션(111)은, 상술된 바와 같이 검출된 학습상태가 비집중상태이면, 상기 비집중상태를 알림하는 피드백을 제공할 수 있다.
보다 상세히, 실시예에서 모니터링 애플리케이션(111)은, 1) 상기 학생 단말(100-1)을 기초로 상기 비집중상태를 알림하는 피드백을 제공할 수 있다.
구체적으로, 모니터링 애플리케이션(111)은, 상기 비집중상태를 알림하는 소정의 텍스트 및/또는 오디오 알람을 상기 학생 단말(100-1)의 디스플레이 및/또는 오디오 출력장치에 기반하여 제공할 수 있다.
이때, 실시예에 따른 상기 텍스트 및/또는 오디오 알람은, 상기 비집중상태에 대하여 기 설정된 특정 텍스트 데이터 및/또는 오디오 신호를 출력하는 기본 알람 및/또는 상기 비집중상태의 활성화 요인을 텍스트 및/또는 음성으로 안내하는 원인요소 알람 등을 포함할 수 있다.
예를 들면, 모니터링 애플리케이션(111)은, 상기 비집중상태가 상술된 실시간 시선방향(R4)의 각도값이 상술된 실시간 사방 임계치 각도(RATA)를 초과함으로 인하여 활성화된 경우, “허용되는 시선 범위를 벗어났습니다.” 등과 같이 상기 비집중상태가 활성화된 요인을 텍스트 및/또는 음성으로 안내하는 원인요소 알람을 상기 학생 단말(100-1)의 디스플레이 및/또는 오디오 출력장치를 통하여 제공할 수 있다.
또한, 실시예에서 모니터링 애플리케이션(111)은, 상기 학생 촬영영상(10) 내에서 상기 비집중상태가 지속된 구간(즉, 실시예에서 비학습시간 구간)에 대응되는 영상(이하, 비집중상태 촬영영상)을 상기 학생 단말(100-1)의 디스플레이를 기초로 출력하여 제공할 수 있다.
자세히, 모니터링 애플리케이션(111)은, 상기 학생 촬영영상(10)에서 상술된 비학습 시간을 산출한 구간에 대응되는 영상을 상기 비집중상태 촬영영상으로서 추출할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 추출된 비집중상태 촬영영상을 상기 학생 단말(100-1)의 디스플레이를 통해 출력하여 제공할 수 있다.
이와 같이, 모니터링 애플리케이션(111)은, 비집중상태가 검출된 학생의 단말(100)로 이를 알림하는 피드백을 제공함으로써, 온라인 강의에서의 집중력 저하에 대한 학생의 경각심을 높이고 수업에 주의를 기울이도록 유도할 수 있으며, 이를 통해 온라인 학습의 효율을 향상시킬 수 있다.
한편, 실시예에서 모니터링 애플리케이션(111)은, 2) 상기 강사 단말(100-2)을 기초로 상기 비집중상태를 알림하는 피드백을 제공할 수 있다.
도 16은 본 발명의 실시예에 따른 강사용 강의 인터페이스를 나타내는 모습의 일례이다.
자세히, 도 16을 참조하면, 실시예에서 모니터링 애플리케이션(111)은, 상기 강사 단말(100-2)의 강사용 애플리케이션과 연동하여, 온라인 수강을 수행하는 적어도 하나 이상의 학생 각각에 대한 학생 촬영영상(10)을 일괄 표시하는 강사용 강의 인터페이스(LI)를 제공할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 강사용 강의 인터페이스(LI)를 통해 표시되는 적어도 하나 이상의 학생 촬영영상(10) 중에서, 상기 비집중상태가 활성화된 학생에 대한 학생 촬영영상(10)을 강조 표시하는 시각적 피드백을 제공할 수 있다.
예를 들어, 도 16을 더 참조하면, 모니터링 애플리케이션(111)은, 상기 비집중상태가 활성화된 학생에 대한 학생 촬영영상(10)의 테두리 영역을 붉은색으로 강조 표시하는 시각적 피드백(H)을 제공할 수 있다.
또한, 실시예에서 모니터링 애플리케이션(111)은, 상기 강사 단말(100-2)의 강사용 애플리케이션과 연동하여, 상술된 비집중상태 촬영영상을 상기 강사 단말(100-2)의 디스플레이를 기초로 출력하여 제공할 수 있다.
또한, 실시예에서 모니터링 애플리케이션(111)은, 상기 강사 단말(100-2)의 강사용 애플리케이션과 연동하여, 상기 비집중상태의 활성화 요인을 소정의 방식(예컨대, 텍스트 및/또는 음성 등)으로 안내하는 원인요소 알람을 상기 강사 단말(100-2)의 디스플레이 및/또는 오디오 출력장치를 통해 출력하여 제공할 수 있다.
이와 같이, 모니터링 애플리케이션(111)은, 온라인 강의를 진행하는 강사의 단말(100)로 집중력 저하 상태가 검출된 적어도 하나의 학생에 대한 알림을 다양한 방식으로 제공하는 피드백을 구현함으로써, 비집중상태로 의심되는 학생의 수업 참여상태를 강사가 빠르고 직관적으로 확인하게 할 수 있고, 해당 온라인 강의를 수강하는 학생 각각에 대한 수업 참여상태의 지속적 관리 및 감찰 기능을 구현할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 강사 단말(100-2)의 강사용 애플리케이션과 연동하여, 상기 비집중상태가 활성화된 학생의 학생 단말(100-1)로 소정의 메시지를 송신하는 피드백 입력 인터페이스를 제공할 수 있다.
그리고 모니터링 애플리케이션(111)은, 상기 피드백 입력 인터페이스에 기초한 강사의 입력(예컨대, “자세를 바르게 하세요” 또는 “집중하세요” 등)을 수신해 출력하여 제공할 수 있다.
이때, 실시예에서 모니터링 애플리케이션(111)은, 상기 강사 단말(100-2)의 강사용 애플리케이션과 연동하여, 상기 비집중상태의 활성화 요인에 매칭하여 기 설정된 소정의 텍스트 데이터를 상기 피드백 입력 인터페이스를 통해 제공할 수도 있다.
예를 들면, 모니터링 애플리케이션(111)은, 상기 비집중상태가 상술된 실시간 시선방향(R4)의 각도값이 상술된 실시간 사방 임계치 각도(RATA)를 초과함으로 인하여 활성화된 경우, 상기 비집중상태의 활성화 요인에 매칭하여 기 설정되어 있는 텍스트 데이터(예컨대, “허용되는 시선 범위를 벗어났습니다.” 등)를 상기 피드백 입력 인터페이스를 통하여 제공할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 피드백 입력 인터페이스를 통해 제공되는 기 설정된 텍스트 데이터에 대한 강사의 선택 입력에 따라서, 상기 기 설정된 텍스트 데이터를 수신하여 출력해 제공할 수 있다.
따라서, 모니터링 애플리케이션(111)은, 비집중상태가 검출된 학생에 대한 강사의 직접적인 피드백(예컨대, 온라인 수강 참여태도 지침 안내 및/또는 경고 메시지 등)을 빠르게 생성하여 손 쉽게 전달하도록 할 수 있고, 이를 통해 상기 직접적 피드백을 제공하는데 소요되는 시간이나 노력을 절감하여 온라인 강의의 효율성 및 그 퀄리티를 제고할 수 있다.
도 17은 본 발명의 실시예에 따른 학습상태 통계 데이터를 나타내는 모습의 일례이다.
또한, 도 17을 참조하면, 실시예에서 모니터링 애플리케이션(111)은, 상기 강사 단말(100-2)의 강사용 애플리케이션과 연동하여, 상기 온라인 강의를 수강하는 전체 학생에 대한 학습상태 통계 데이터를 제공할 수 있다.
여기서, 실시예에 따른 상기 학습상태 통계 데이터란, 상기 온라인 강의를 수강하는 전체 학생 각각에 대한 집중상태 및/또는 비집중상태에 따른 데이터들에 기초하여 도출되는 통계 데이터를 시각화한 정보를 의미할 수 있다.
자세히, 실시예로 모니터링 애플리케이션(111)은, 상기 전체 학생 각각에 대한 집중상태 및/또는 비집중상태를 기초로 산출된 학습시간 및/또는 비학습시간 데이터에 기반하여, 상기 전체 학생에 대한 학습상태 통계 데이터를 생성할 수 있다.
여기서, 실시예에 따른 상기 학습시간이란, 집중상태로 경과된 시간을 측정한 데이터일 수 있다.
실시예로, 모니터링 애플리케이션(111)은, 가로축에 시간의 경과를 표시하고 세로축에 각 학생을 식별하여 표시하며, 상기 각 학생별로 산출된 학습시간 및/또는 비학습시간 데이터를 해당 데이터에 대응되는 시간에 매칭하여 표시하는 그래프 형식의 학습상태 통계 데이터를 생성할 수 있다.
또한, 모니터링 애플리케이션(111)은, 상기 강사 단말(100-2)의 강사용 애플리케이션과 연동하여, 상기 생성된 그래프 형식의 학습상태 통계 데이터를 상기 강사 단말(100-2)의 디스플레이를 통해 출력하여 제공할 수 있다.
이상에서는, 모니터링 애플리케이션(111)이 상술된 바와 같은 그래프 형식으로 상기 학습상태 통계 데이터를 제공한다고 설명하였으나 이는 일례일 뿐 이에 제한되는 것은 아니며, 상기 전체 학생에 대한 집중상태 및/또는 비집중상태에 따른 데이터들을 시각화할 수 있는 방식이라면 어떠한 방식으로도 상기 학습상태 통계 데이터를 생성하여 제공할 수 있다.
이와 같이, 모니터링 애플리케이션(111)은, 온라인 강의를 수강하는 적어도 하나 이상의 전체 학생에 대한 학습상태를 일괄적으로 확인 가능한 통계 데이터를 제공할 수 있고, 이를 통해 해당 온라인 강의의 전반적인 품질에 대한 평가를 제공할 수 있으며, 해당 학생들의 수업 집중 및 참여도에 대한 체계적인 대처/관리 프로세스를 구현할 수 있다.
이상, 본 발명의 실시예에 따른 온라인 수업 학생 모니터링 방법 및 시스템은, 딥러닝 모델을 이용하여 온라인 강의를 수강하는 학생의 신체상태 변화를 검출하고 이를 기초로 상기 학생의 집중도를 분석하여 상기 학생 및 상기 온라인 강의를 진행하는 강사에게 양방향 피드백을 제공함으로써, 상기 온라인 강의를 수강하는 학생의 수업 참여상태나 집중도를 명확한 근거를 기초로 판단하고, 이에 대한 대처를 수행하게 할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 온라인 수업 학생 모니터링 방법 및 시스템은, 상기 온라인 강의를 수강하는 학생의 수업 참여상태나 집중도를 명확한 근거를 기초로 판단하고 이에 대한 대처를 수행하게 함으로써, 원격에서 온라인을 통해 강의를 수강하는 학생의 학습 효율을 향상시킬 수 있는 효과가 있다.
또한, 이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
Claims (17)
- 학생 단말의 적어도 하나 이상의 프로세서에 의하여 실행되는 모니터링 애플리케이션이 온라인 수업 학생을 모니터링하는 방법으로서,
온라인 강의를 수강하는 학생을 촬영한 학생 촬영영상을 획득하는 단계;
상기 획득된 학생 촬영영상 내 제1 시선위치를 기준으로 상기 학생이 학습을 목적으로 응시하는 가용 범위 영역인 학습영역을 설정하는 단계;
상기 제1 시선위치에 기준한 시선방향의 각도값을 기초로 상기 학생이 상기 학습영역 내 지점을 응시하는지 여부를 판별하는 기준치의 집합인 사방 임계치 각도를 결정하는 단계;
상기 학생 촬영영상을 기초로 실시간 시선위치를 감지하는 단계;
상기 감지된 실시간 시선위치에 기준한 실시간 시선방향을 감지하는 단계;
상기 실시간 시선위치 및 상기 실시간 시선방향을 기초로 상기 사방 임계치 각도를 보정하는 단계;
상기 실시간 시선위치 및 상기 실시간 시선방향을 기초로 상기 학생의 상기 온라인 강의에 대한 집중 여부를 판단한 학습상태를 검출하는 단계; 및
상기 검출된 학습상태에 따른 피드백을 제공하는 단계를 포함하고,
상기 온라인 강의에 대한 집중 여부를 판단한 학습상태를 검출하는 단계는, 상기 학생 촬영영상을 딥러닝 모델인 인간-객체 상호작용 탐지 모델에 입력하여 상기 학생과 상호작용하는 소정의 오브젝트를 검출하는 단계와, 상기 검출된 소정의 오브젝트가 학습방해 객체인지 판단하는 단계와, 상기 판단된 학습방해 객체와 상기 학생이 상호작용하는 상태를 검출하는 단계와, 상기 학습방해 객체와 상기 학생의 상호작용 상태에 따라서 비집중상태를 결정하는 단계를 더 포함하는
온라인 수업 학생 모니터링 방법. - 제1 항에 있어서,
상기 사방 임계치 각도를 결정하는 단계는,
상기 학습영역의 사방 경계선을 응시하는 상기 제1 시선위치에 기준한 시선방향의 각도값에 기초하여 상기 사방 임계치 각도를 결정하는 단계를 포함하는
온라인 수업 학생 모니터링 방법. - 제2 항에 있어서,
상기 학습영역을 설정하는 단계는,
기 설정된 위치에 배치된 객체를 응시하는 상기 학생의 초기 시선방향의 각도값을 기초로 상기 학습영역을 설정하는 단계를 포함하는
온라인 수업 학생 모니터링 방법. - 제3 항에 있어서,
상기 학습영역을 설정하는 단계는,
상기 초기 시선방향에 대응되는 응시점을 중심으로 소정의 반경을 가지는 영역을 상기 학습영역으로 설정하는 단계를 더 포함하는
온라인 수업 학생 모니터링 방법. - 제2 항에 있어서,
상기 학습영역을 설정하는 단계는,
상기 학생 단말의 디스플레이 화면의 엣지(edge)를 따라서 이동하며 표시되는 소정의 시선유도 객체를 추적하며 응시하는 상기 학생의 시선방향의 각도값을 기초로 상기 학습영역을 설정하는 단계를 포함하는
온라인 수업 학생 모니터링 방법. - ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈제1 항에 있어서,
상기 사방 임계치 각도를 보정하는 단계는,
상기 학생 단말의 이미지 센서와 상기 실시간 시선위치 간의 거리를 소정의 고정거리로 유지시키는 제1 반경영역에 기초하여 상기 사방 임계치 각도를 보정하는 단계를 포함하는
온라인 수업 학생 모니터링 방법. - ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈제1 항에 있어서,
상기 사방 임계치 각도를 보정하는 단계는,
상기 실시간 시선방향의 각도값이 고정된 경우, 상기 학생의 제1 눈 객체 및 제2 눈 객체 간의 이격거리를 기초로 상기 사방 임계치 각도를 보정하는 단계를 포함하는
온라인 수업 학생 모니터링 방법. - ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈제1 항에 있어서,
상기 학습상태를 검출하는 단계는,
상기 보정된 사방 임계치 각도 이내에 상기 실시간 시선방향의 각도값이 포함되는지 여부를 기초로 상기 학습상태를 검출하는 단계를 포함하는
온라인 수업 학생 모니터링 방법. - ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈제1 항에 있어서,
상기 학습상태를 검출하는 단계는,
상기 실시간 시선위치가 상기 학생 단말의 이미지 센서와 상기 실시간 시선위치 간의 거리를 소정의 고정거리로 유지시키는 제1 반경영역을 초과하여 이동하는지 여부와, 상기 학생의 제1 눈 객체 및 제2 눈 객체 간의 이격거리가 유지되는지 여부를 기초로 상기 학습상태를 검출하는 단계를 포함하는
온라인 수업 학생 모니터링 방법. - ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈제1 항에 있어서,
상기 학습상태를 검출하는 단계는,
상기 학생의 상기 온라인 강의에 대한 집중상태가 지속된 경과 시간을 측정한 학습시간 및 상기 학생의 상기 온라인 강의에 대한 비집중상태가 지속된 경과 시간을 측정한 비학습시간을 산출하는 단계를 포함하는
온라인 수업 학생 모니터링 방법. - 삭제
- ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈제1 항에 있어서,
상기 학습상태를 검출하는 단계는,
상기 학생 촬영영상 내 학생의 얼굴 표정 변화를 기초로 상기 학습상태를 검출하는 단계를 포함하는
온라인 수업 학생 모니터링 방법. - 제1 항에 있어서,
상기 검출된 학습상태에 따른 피드백을 제공하는 단계는,
상기 학생의 상기 온라인 강의에 대한 비집중상태가 검출되면, 상기 검출된 비집중상태를 알림하는 텍스트 알람, 오디오 알람 및 그래픽 이미지 알람 중 적어도 하나의 알람을 제공하는 단계를 포함하는
온라인 수업 학생 모니터링 방법. - 제1 항에 있어서,
상기 검출된 학습상태에 따른 피드백을 제공하는 단계는,
상기 온라인 강의를 수강하는 전체 학생 각각에 대하여 검출된 학습상태를 기초로 도출되는 통계 데이터를 시각화한 정보인 학습상태 통계 데이터를 제공하는 단계를 포함하는
온라인 수업 학생 모니터링 방법. - 제1 항에 있어서,
상기 검출된 학습상태에 따른 피드백을 제공하는 단계는,
상기 학생 단말 및 상기 온라인 강의를 제공하는 강사의 단말 중 적어도 하나의 단말을 기초로 상기 피드백을 제공하는 단계를 포함하는
온라인 수업 학생 모니터링 방법. - 적어도 하나 이상의 메모리; 및
적어도 하나 이상의 프로세서; 를 포함하고,
상기 메모리에 저장되고 상기 프로세서에 의해 실행되어 온라인 수업 학생을 모니터링하는 적어도 하나의 애플리케이션으로서 상기 적어도 하나의 애플리케이션은,
온라인 강의를 수강하는 학생을 촬영한 학생 촬영영상을 획득하고,
상기 획득된 학생 촬영영상 내 제1 시선위치를 기준으로 상기 학생이 학습을 목적으로 응시하는 가용 범위 영역인 학습영역을 설정하고,
상기 제1 시선위치에 기준한 시선방향의 각도값을 기초로 상기 학생이 상기 학습영역 내 지점을 응시하는지 여부를 판별하는 기준치의 집합인 사방 임계치 각도를 결정하고,
상기 학생 촬영영상을 기초로 실시간 시선위치를 감지하고,
상기 감지된 실시간 시선위치에 기준한 실시간 시선방향을 감지하고,
상기 실시간 시선위치 및 상기 실시간 시선방향을 기초로 상기 사방 임계치 각도를 보정하고,
상기 실시간 시선위치 및 상기 실시간 시선방향을 기초로 상기 학생의 상기 온라인 강의에 대한 집중 여부를 판단한 학습상태를 검출하고,
상기 검출된 학습상태에 따른 피드백을 제공하고,
상기 적어도 하나의 애플리케이션은,
상기 온라인 강의에 대한 집중 여부를 판단한 학습상태를 검출하기 위하여,
상기 학생 촬영영상을 딥러닝 모델인 인간-객체 상호작용 탐지 모델에 입력하여 상기 학생과 상호작용하는 소정의 오브젝트를 검출하고,
상기 검출된 소정의 오브젝트가 학습방해 객체인지 판단하며,
상기 판단된 학습방해 객체와 상기 학생이 상호작용하는 상태를 검출하고,
상기 학습방해 객체와 상기 학생의 상호작용 상태에 따라서 비집중상태를 결정하는
온라인 수업 학생 모니터링 시스템.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210115729A KR102609500B1 (ko) | 2021-08-31 | 2021-08-31 | 온라인 수업 학생 모니터링 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210115729A KR102609500B1 (ko) | 2021-08-31 | 2021-08-31 | 온라인 수업 학생 모니터링 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230032665A KR20230032665A (ko) | 2023-03-07 |
| KR102609500B1 true KR102609500B1 (ko) | 2023-12-04 |
Family
ID=85513150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210115729A KR102609500B1 (ko) | 2021-08-31 | 2021-08-31 | 온라인 수업 학생 모니터링 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102609500B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101775974B1 (ko) * | 2014-10-15 | 2017-09-19 | 한국과학기술연구원 | 학생 수업태도 분석 시스템 및 분석 방법 |
| KR102266479B1 (ko) * | 2021-01-12 | 2021-06-17 | (주)이루미에듀테크 | 온라인 학습 능력 분석을 위한 시선 추적 방법, 장치 및 시스템 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110058270A (ko) | 2009-11-26 | 2011-06-01 | 신윤범 | 인터넷 강의를 보완한 온라인 교육 관리 시스템 |
| KR20130012320A (ko) * | 2011-07-25 | 2013-02-04 | 이재은 | 학습자 맞춤형 학습 서비스 제공 방법 |
| KR102011887B1 (ko) * | 2017-11-30 | 2019-08-20 | 주식회사 꿀비 | 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템 |
| KR20190143742A (ko) * | 2018-06-21 | 2019-12-31 | 조승희 | 학습 집중도 향상 장치 |
-
2021
- 2021-08-31 KR KR1020210115729A patent/KR102609500B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101775974B1 (ko) * | 2014-10-15 | 2017-09-19 | 한국과학기술연구원 | 학생 수업태도 분석 시스템 및 분석 방법 |
| KR102266479B1 (ko) * | 2021-01-12 | 2021-06-17 | (주)이루미에듀테크 | 온라인 학습 능력 분석을 위한 시선 추적 방법, 장치 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230032665A (ko) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9696859B1 (en) | Detecting tap-based user input on a mobile device based on motion sensor data | |
| Niehorster et al. | The accuracy and precision of position and orientation tracking in the HTC vive virtual reality system for scientific research | |
| US9563272B2 (en) | Gaze assisted object recognition | |
| US10885802B2 (en) | System and method for validating honest test taking | |
| US10146414B2 (en) | Augmented physical and virtual manipulatives | |
| WO2020224479A1 (zh) | 目标的位置获取方法、装置、计算机设备及存储介质 | |
| US9529428B1 (en) | Using head movement to adjust focus on content of a display | |
| TW202105331A (zh) | 一種人體關鍵點檢測方法及裝置、電子設備和電腦可讀儲存介質 | |
| US11043135B2 (en) | Systems and methods for monitoring learner engagement during a learning event | |
| US20100060713A1 (en) | System and Method for Enhancing Noverbal Aspects of Communication | |
| CN109313812A (zh) | 具有上下文增强的共享体验 | |
| US9682477B2 (en) | Robot communication of intent and functioning | |
| JP2015520471A (ja) | ジェスチャー入力のための指先の場所特定 | |
| KR102336574B1 (ko) | 비대면 학습자의 영상 이미지를 이용하는 학습 지도 방법 및 이에 사용되는 관리 서버 | |
| US11812152B2 (en) | Method and apparatus for controlling video frame image in live classroom | |
| KR20190109654A (ko) | 심장 박동을 측정하기 위한 전자 장치 및 방법 | |
| JP6525150B2 (ja) | テレプレゼンス・ロボットに用いる制御シグナルを発生させるための方法、テレプレゼンス・システムおよびコンピュータ・プログラム | |
| Toyoshima et al. | Analysis of a soldering motion for dozing state and attention posture detection | |
| CN112307323B (zh) | 信息推送方法和装置 | |
| KR102609500B1 (ko) | 온라인 수업 학생 모니터링 방법 및 시스템 | |
| KR20190119205A (ko) | 전자 장치 및 그 제어 방법 | |
| Montanha et al. | A context-aware artificial intelligence-based system to support street crossings for pedestrians with visual impairments | |
| CN114296627A (zh) | 内容显示方法、装置、设备及存储介质 | |
| KR20230049179A (ko) | 가상 현실 교육 플랫폼 시스템 및 그 동작방법 | |
| Ahmad et al. | Towards a low-cost teacher orchestration using ubiquitous computing devices for detecting student’s engagement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |