KR20220075908A - 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치 - Google Patents
온라인 가상 교실 학습을 지원하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR20220075908A KR20220075908A KR1020200164516A KR20200164516A KR20220075908A KR 20220075908 A KR20220075908 A KR 20220075908A KR 1020200164516 A KR1020200164516 A KR 1020200164516A KR 20200164516 A KR20200164516 A KR 20200164516A KR 20220075908 A KR20220075908 A KR 20220075908A
- Authority
- KR
- South Korea
- Prior art keywords
- learner
- learning
- image
- emotion
- intensity
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000008451 emotion Effects 0.000 claims abstract description 133
- 230000002996 emotional effect Effects 0.000 claims abstract description 62
- 238000004891 communication Methods 0.000 claims abstract description 27
- 230000008859 change Effects 0.000 claims description 9
- 230000002349 favourable effect Effects 0.000 claims description 9
- 238000009423 ventilation Methods 0.000 claims description 9
- 230000035945 sensitivity Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 description 32
- 230000001815 facial effect Effects 0.000 description 31
- 238000007654 immersion Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 25
- 230000014509 gene expression Effects 0.000 description 23
- 230000008909 emotion recognition Effects 0.000 description 20
- 210000001097 facial muscle Anatomy 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000008921 facial expression Effects 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 9
- 210000003205 muscle Anatomy 0.000 description 8
- 230000007935 neutral effect Effects 0.000 description 7
- 208000003443 Unconsciousness Diseases 0.000 description 5
- 230000000747 cardiac effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000007619 statistical method Methods 0.000 description 5
- 238000009411 base construction Methods 0.000 description 4
- 230000006998 cognitive state Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 108091027981 Response element Proteins 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000002820 sympathetic nervous system Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 210000003403 autonomic nervous system Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000001002 parasympathetic nervous system Anatomy 0.000 description 2
- 210000001013 sinoatrial node Anatomy 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 208000027534 Emotional disease Diseases 0.000 description 1
- 238000012351 Integrated analysis Methods 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000000540 analysis of variance Methods 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 208000006218 bradycardia Diseases 0.000 description 1
- 230000036471 bradycardia Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 229940088597 hormone Drugs 0.000 description 1
- 239000005556 hormone Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000004457 myocytus nodalis Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 238000013105 post hoc analysis Methods 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 208000011726 slow pulse Diseases 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000008700 sympathetic activation Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Multimedia (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 학습자의 학습 중 시간별 화상 이미지로부터 학습자의 감정 상태 및 집중도 정보를 분석하여 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치에 관한 것이다. 본 발명의 다양한 실시 예들에 따르면, 통신 시스템에서 서버의 동작 방법에 있어서, 학습자 단말에게 학습 컨텐츠를 전송하는 단계, 상기 학습자 단말로부터 상기 학습 컨텐츠에 기반한 학습 중 시간별 학습자의 얼굴에 대한 화상 이미지를 수신하는 단계, 상기 학습자 단말로부터 수신한 상기 화상 이미지에 기반하여 상기 학습자의 학습 중 시간별 감정의 강도를 미리 결정된 복수의 감정 종류별로 결정하는 단계, 상기 학습 컨텐츠에 기반한 학습 중 상기 복수의 감정 종류별 상기 학습자의 감정의 강도가 가장 높은 순간에 대한 화상 이미지를 저장하는 단계, 학부모 단말로부터 상기 학습자의 학습 정보에 대한 요청 메시지를 수신하는 단계, 및 상기 학부모 단말에게 상기 복수의 감정 종류별 상기 학습자의 감정의 강도가 가장 높은 순간에 대한 화상 이미지를 포함하는 상기 학습 정보를 전송하는 단계를 포함하는 방법이 제공된다.
Description
본 발명은 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 학습자의 학습 중 시간별 화상 이미지로부터 학습자의 감정 상태 및 집중도 정보를 분석하여 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치에 관한 것이다.
온라인 기술의 발전에 따라서 통신 시스템을 지원하는 단말 장치를 이용한 비대면의 가상 교실을 통한 학습 환경이 조성되고 있다.
가상 교실을 통한 학습 환경은 기존의 대면 학습 환경과 비교할 때 학습 컨텐츠의 제작 및 배포 등에 있어 효율성이 좋지만, 교사의 대면을 통한 집중력 환기, 학습자의 학습 상태에 대한 파악이 이루어지기 어려운 문제점이 있다.
따라서, 온라인 가상 교실을 이용한 학습 중 학습자의 시간별 감정 상태 및 집중도를 분석함으로써 학습자의 학습 정보를 파악할 수 있는 장치 및 방법이 필요한 실정이다.
본 발명은 전술한 문제점을 해결하기 위하여 다음과 같은 해결 과제를 목적으로 한다.
본 발명은 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 학습자의 학습 중 시간별 화상 이미지로부터 학습자의 감정 상태 및 집중도 정보를 분석하여 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자가 명확하게 이해할 수 있을 것이다.
본 발명의 다양한 실시 예들에 따르면, 통신 시스템에서 서버의 동작 방법에 있어서, 학습자 단말에게 학습 컨텐츠를 전송하는 단계, 상기 학습자 단말로부터 상기 학습 컨텐츠에 기반한 학습 중 시간별 학습자의 얼굴에 대한 화상 이미지를 수신하는 단계, 상기 학습자 단말로부터 수신한 상기 화상 이미지에 기반하여 상기 학습자의 학습 중 시간별 감정의 강도를 미리 결정된 복수의 감정 종류별로 결정하는 단계, 상기 학습 컨텐츠에 기반한 학습 중 상기 복수의 감정 종류별 상기 학습자의 감정의 강도가 가장 높은 순간에 대한 화상 이미지를 저장하는 단계, 학부모 단말로부터 상기 학습자의 학습 정보에 대한 요청 메시지를 수신하는 단계, 및 상기 학부모 단말에게 상기 복수의 감정 종류별 상기 학습자의 감정의 강도가 가장 높은 순간에 대한 화상 이미지를 포함하는 상기 학습 정보를 전송하는 단계를 포함하는 방법이 제공된다.
본 발명의 다양한 실시 예들에 따르면, 통신 시스템에서 서버에 있어서, 메모리, 송수신기 및 프로세서를 포함하고, 상기 프로세서는, 본 발명의 다양한 실시 예들에 따른 서버의 동작 방법을 수행하도록 구성된 서버가 제공된다.
본 발명의 다양한 실시 예들에 따르면, 서버의 동작 방법을 수행하도록 구성되며, 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명은 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치를 제공할 수 있다.
본 발명은 학습자의 학습 중 시간별 화상 이미지로부터 학습자의 감정 상태 및 집중도 정보를 분석하여 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치를 제공할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자가 명확하게 이해할 수 있을 것이다.
도 1은 본 발명의 다양한 실시 예들에 따른 통신 시스템을 도시한다.
도 2는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성에 대한 블록도를 도시한다.
도 3은 본 발명의 다양한 실시 예들에 따른 서버의 구성에 대한 블록도를 도시한다.
도 4는 본 발명의 다양한 실시 예들에 따른 서버의 동작 방법을 도시한다.
도 5는 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 컨텐츠를 도시한다.
도 6은 본 발명의 다양한 실시 예들에 따른 가상 교실의 자유 시간 화면을 도시한다.
도 7은 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 시간 화면을 도시한다.
도 8은 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 시간 화면을 도시한다.
도 9는 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 시간 화면을 도시한다.
도 10은 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 시간 화면을 도시한다.
도 11은 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 시간 화면을 도시한다.
도 12는 본 발명의 다양한 실시 예들에 따른 학습자의 학습 정보를 도시한다.
도 13은 본 발명의 다양한 실시 예들에 따른 학습자의 학습 정보를 도시한다.
도 14는 본 발명의 다양한 실시 예들에 따른 학습자의 학습 정보를 도시한다.
도 15는 본 발명의 다양한 실시 예들에 따른 학습자 단말이 학습자의 얼굴에 대한 화상 이미지를 획득하는 과정의 일 예를 도시한다.
도 16은 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 17은 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 18은 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 19는 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 20은 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 21은 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 22는 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반하여 심장 반응 정보 및 학습자 표정 정보를 인식하는 과정의 일 예를 도시한다.
도 23은 본 발명의 다양한 실시 예들에 따라서, 서버가 감정 인식에 기초하여 데이터를 수집하고 서비스 솔루션을 제공하는 과정을 도시한다.
도 24는 본 발명의 다양한 실시 예들에 따라서, 서버가 학습자의 감정 인식에 기초하여 데이터를 수집하고 서비스 솔루션을 제공하는 과정을 도시한다.
도 25는 본 발명의 다양한 실시 예들에 따른 서버가 분석한 학습자의 생체 정보의 일 예를 도시한다.
도 26은 본 발명의 다양한 실시 예들에 따른 서버가 분석한 학습자의 생체 정보의 일 예를 도시한다.
도 27은 본 발명의 다양한 실시 예들에 따라서 서버가 분석한 학습자의 집중도(focus) 및 몰입도(engagement)의 관계를 도시한다.
도 2는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성에 대한 블록도를 도시한다.
도 3은 본 발명의 다양한 실시 예들에 따른 서버의 구성에 대한 블록도를 도시한다.
도 4는 본 발명의 다양한 실시 예들에 따른 서버의 동작 방법을 도시한다.
도 5는 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 컨텐츠를 도시한다.
도 6은 본 발명의 다양한 실시 예들에 따른 가상 교실의 자유 시간 화면을 도시한다.
도 7은 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 시간 화면을 도시한다.
도 8은 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 시간 화면을 도시한다.
도 9는 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 시간 화면을 도시한다.
도 10은 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 시간 화면을 도시한다.
도 11은 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 시간 화면을 도시한다.
도 12는 본 발명의 다양한 실시 예들에 따른 학습자의 학습 정보를 도시한다.
도 13은 본 발명의 다양한 실시 예들에 따른 학습자의 학습 정보를 도시한다.
도 14는 본 발명의 다양한 실시 예들에 따른 학습자의 학습 정보를 도시한다.
도 15는 본 발명의 다양한 실시 예들에 따른 학습자 단말이 학습자의 얼굴에 대한 화상 이미지를 획득하는 과정의 일 예를 도시한다.
도 16은 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 17은 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 18은 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 19는 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 20은 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 21은 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 22는 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반하여 심장 반응 정보 및 학습자 표정 정보를 인식하는 과정의 일 예를 도시한다.
도 23은 본 발명의 다양한 실시 예들에 따라서, 서버가 감정 인식에 기초하여 데이터를 수집하고 서비스 솔루션을 제공하는 과정을 도시한다.
도 24는 본 발명의 다양한 실시 예들에 따라서, 서버가 학습자의 감정 인식에 기초하여 데이터를 수집하고 서비스 솔루션을 제공하는 과정을 도시한다.
도 25는 본 발명의 다양한 실시 예들에 따른 서버가 분석한 학습자의 생체 정보의 일 예를 도시한다.
도 26은 본 발명의 다양한 실시 예들에 따른 서버가 분석한 학습자의 생체 정보의 일 예를 도시한다.
도 27은 본 발명의 다양한 실시 예들에 따라서 서버가 분석한 학습자의 집중도(focus) 및 몰입도(engagement)의 관계를 도시한다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
도 1은 본 발명의 다양한 실시 예들에 따른 통신 시스템을 도시한다.
도 1을 참조하면, 본 발명의 다양한 실시 예들에 따른 통신 시스템은 학습자 단말(110), 교사 단말(120), 학부모 단말(130), 서버(140)를 포함한다.
학습자 단말(110)은 온라인 가상 교실을 통한 학습 컨텐츠의 학습을 수행하는 학습자에 의하여 제어되는 단말이다. 학습자 단말(110)은 유/무선 통신 네트워크를 통하여 서버(140)로부터 학습 컨텐츠를 수신하고, 서버(140)에게 학습자의 학습 컨텐츠에 기반한 학습 중 시간별 학습자의 얼굴에 대한 화상 이미지를 촬영 및 전송할 수 있는 단말 장치이다. 학습자 단말(110)은 학습 컨텐츠에 기반한 동일한 학습을 진행하는 복수의 학습자들의 단말들, 즉, 학급(class)를 구성하는 복수의 학습자 단말들로 구성될 수 있다.
교사 단말(120)은 학습자의 교사에 의하여 제어되는 단말이다. 교사 단말(120)은 유/무선 통신 네트워크를 통하여 서버(140)에게 학습 컨텐츠 관련 교사의 설명 영상을 전송하고, 서버(140)로부터 학습 컨텐츠에 기반한 동일한 학습을 진행 중인 복수의 학습자에 대한 학습자 그룹 정보를 수신할 수 있는 단말 장치이다.
학부모 단말(130)은 학습자의 학부모에 의하여 제어되는 단말이다. 학부모 단말(130)은 복수의 학습자 단말들 각각에 대응되는 복수의 학부모 단말들로 구성될 수 있다. 학부모 단말(130)은 서버(140)에게 학습자의 학습 정보에 대한 요청 메시지를 전송하고, 서버(140)로부터 학습자의 학습 정보를 수신할 수 있는 단말 장치이다.
학습자 단말(110), 교사 단말(120), 학부모 단말(130)은 퍼스널 컴퓨터, 셀룰러 폰, 스마트 폰 및 태블릿 컴퓨터 등과 같이, 정보를 저장할 수 있는 메모리, 정보의 송수신을 수행할 수 있는 송수신부, 학습자의 얼굴에 대한 화상 이미지를 촬영할 수 있는 카메라, 학습 컨텐츠를 출력할 수 있는 출력 장치, 정보의 연산을 수행할 수 있는 적어도 하나의 프로세서를 포함하는 전자 장치일 수 있다.
서버(140)는, 유/무선 통신 네트워크를 통하여 학습자 단말(110), 교사 단말(120), 학부모 단말(130)과 학습 관련 정보를 송수신할 수 있는 단말 장치이다. 서버(140)는 정보를 저장할 수 있는 메모리, 정보의 송수신을 수행할 수 있는 송수신부, 정보의 연산을 수행할 수 있는 적어도 하나의 프로세서를 포함하는 전자 장치일 수 있다.
학습자 단말(110), 교사 단말(120), 학부모 단말(130), 서버(140)가 통신을 수행하는 유/무선 통신 네트워크는, 학습자 단말(110), 교사 단말(120), 학부모 단말(130), 서버(140)가 서로 신호 및 데이터를 송수신할 수 있는 통신 경로를 제공한다. 유/무선 통신 네트워크는 특정한 통신 프로토콜에 따른 통신 방식에 한정되지 않으며, 구현 예에 따라 적절한 통신 방식이 사용될 수 있다. 예를 들어, 인터넷 프로토콜(IP) 기초의 시스템으로 구성되는 경우 유/무선 통신 네트워크는 유무선 인터넷망으로 구현될 수 있다. 또한, 학습자 단말(110), 교사 단말(120), 학부모 단말(130), 서버(140)가 이동 통신 단말로서 구현되는 경우 유/무선 통신 네트워크는 셀룰러 네트워크 또는 WLAN(wireless local area network) 네트워크와 같은 무선망으로 구현될 수 있다.
도 2는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성에 대한 블록도를 도시한다.
도 2는 학습자 단말(110), 교사 단말(120), 학부모 단말(130)의 구성을 도시한다.
도 2를 참조하면, 본 발명의 다양한 실시 예들에 따른 학습자 단말(110), 교사 단말(120), 학부모 단말(130)은 메모리(111), 송수신부(112), 프로세서(113), 카메라(114) 및 출력장치(115)를 포함한다.
메모리(111)는, 송수신부(112)와 연결되고 통신을 통해 서버(130)로부터 수신한 학습 관련 정보 등을 저장할 수 있다. 또한, 메모리(111)는, 프로세서(113)와 연결되고 프로세서(113)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(113)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 메모리(111)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(111)는 프로세서(113)의 요청에 따라 저장된 데이터를 제공할 수 있다.
송수신부(112)는, 프로세서(113)와 연결되고 신호를 전송 및/또는 수신한다. 송수신부(113)의 전부 또는 일부는 송신기(transmitter), 수신기(receiver), 또는 송수신기(transceiver)로 지칭될 수 있다. 송수신기(112)는 유선 접속 시스템, 또는 무선 접속 시스템들인 IEEE(institute of electrical and electronics engineers) 802.xx 시스템, IEEE Wi-Fi 시스템, 3GPP(3rd generation partnership project) 시스템, 3GPP LTE(long term evolution) 시스템, 3GPP 5G NR(new radio) 시스템, 3GPP2 시스템, 블루투스(bluetooth) 등 다양한 무선 통신 규격 중 적어도 하나를 지원할 수 있다.
프로세서(113)는, 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(113)는 온라인 가상 교실 학습을 지원하기 위한 학습자 단말(110), 교사 단말(120), 학부모 단말(130)의 전반적인 동작들을 제어한다. 예를 들어, 프로세서(113)는 송수신부(112)를 통해 정보 등을 전송 또는 수신한다. 또한, 프로세서(113)는 메모리(111)에 데이터를 기록하고, 읽는다. 프로세서(113)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.
카메라(114)는, 학습자의 얼굴을 포함하는 상반신에 대한 화상 이미지를 획득하도록 구성될 수 있다. 카메라(114)에 의하여 획득된 화상 이미지는 메모리(111)에 저장될 수 있고 프로세서(113)에 의하여 분석될 수 있다.
출력 장치(115)는, 디스플레이 및 스피커 중 하나 이상을 포함한다. 출력 장치(115)는 프로세서(113)의 제어에 따라서 학습 컨텐츠를 출력하거나 또는 환기 컨텐츠를 출력하도록 구성될 수 있다.
도 3은 본 발명의 다양한 실시 예들에 따른 서버의 구성에 대한 블록도를 도시한다.
도 3을 참조하면, 본 발명의 다양한 실시 예들에 따른 서버(140)는 메모리(141), 송수신부(142) 및 프로세서(143)를 포함한다.
서버(140)는 사용자의 컨텐츠 시청에 따른 생체 정보 변화와 컨텐츠 정보의 맵핑에 대한 누적 데이터를 저장하고, 학습자 단말(110), 교사 단말(120), 학부모 단말(130)의 요청에 따라서 학습 관련 정보를 전송할 수 있는 서버를 의미한다.
메모리(141)는, 송수신부(142)와 연결되고 통신을 통해 수신한 정보 등을 저장할 수 있다. 또한, 메모리(141)는, 프로세서(143)와 연결되고 프로세서(143)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(143)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 메모리(141)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(141)는 프로세서(143)의 요청에 따라 저장된 데이터를 제공할 수 있다.
송수신부(142)는, 프로세서(143)와 연결되고 신호를 전송 및/또는 수신한다. 송수신부(142)의 전부 또는 일부는 송신기(transmitter), 수신기(receiver), 또는 송수신기(transceiver)로 지칭될 수 있다. 송수신기(142)는 유선 접속 시스템, 또는 무선 접속 시스템들인 IEEE(institute of electrical and electronics engineers) 802.xx 시스템, IEEE Wi-Fi 시스템, 3GPP(3rd generation partnership project) 시스템, 3GPP LTE(long term evolution) 시스템, 3GPP 5G NR(new radio) 시스템, 3GPP2 시스템, 블루투스(bluetooth) 등 다양한 무선 통신 규격 중 적어도 하나를 지원할 수 있다.
프로세서(143)는, 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(143)는 온라인 가상 교실 학습을 지원하기 위한 서버(140)의 전반적인 동작들을 제어한다. 예를 들어, 프로세서(143)는 송수신부(142)를 통해 정보 등을 전송 또는 수신한다. 또한, 프로세서(143)는 메모리(141)에 데이터를 기록하고, 읽는다. 프로세서(135)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.
도 4는 본 발명의 다양한 실시 예들에 따른 서버의 동작 방법을 도시한다.
도 4의 실시 예에서, 서버는 메모리, 송수신부 및 프로세서를 포함한다.
도 4를 참조하면, S401 단계에서, 서버는 송수신부를 통해 학습자 단말에게 학습 컨텐츠를 전송한다.
S402 단계에서, 서버는 송수신부를 통해 학습자 단말로부터 학습 컨텐츠에 기반한 학습 중 시간별 학습자의 얼굴에 대한 화상 이미지를 수신한다.
S403 단계에서, 서버는 프로세서를 통해 학습자 단말로부터 수신한 화상 이미지에 기반하여 학습자의 학습 중 시간별 감정의 강도를 미리 결정된 복수의 감정 종류별로 결정한다.
S404 단계에서, 서버는 메모리를 통해 학습 컨텐츠에 기반한 학습 중 복수의 감정 종류별 학습자의 감정의 강도가 가장 높은 순간에 대한 화상 이미지를 저장한다.
본 발명의 다양한 실시 예들에 따르면, S404 단계에서, 서버는 학습자 단말로부터 수신한 화상 이미지를 미리 결정된 단위 시간별 분리하고, 단위 시간별 분리된 복수의 화상 이미지 중 복수의 감정 종류별 학습자의 감정의 강도가 가장 높은 순간에 대한 화상 이미지를 포함하는 단위 시간별 분리된 화상 이미지를 저장할 수 있다.
S405 단계에서, 서버는 송수신부를 통해 학부모 단말로부터 학습자의 학습 정보에 대한 요청 메시지를 수신한다.
S406 단계에서, 서버는 송수신부를 통해 학부모 단말에게 복수의 감정 종류별 학습자의 감정의 강도가 가장 높은 순간에 대한 화상 이미지를 포함하는 학습 정보를 전송한다.
본 발명의 다양한 실시 예들에 따르면, 서버는 학습자 단말로부터 수신한 화상 이미지에 기반하여 학습자의 학습 중 시간별 집중도를 결정하고, 학습 컨텐츠에 기반한 학습 중 학습자의 집중도가 가장 높은 순간에 대한 화상 이미지를 저장할 수 있으며, 학습 정보는 학습자의 집중도가 가장 높은 순간에 대한 화상 이미지를 더 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 서버는 학습 컨텐츠에 기반한 학습 중 복수의 감정 종류별 학습자의 감정의 강도에 기반하여 학습자의 학습 컨텐츠에 대한 호감도를 결정하고, 호감도에 기반하여 복수의 학습 컨텐츠 중 추천 학습 컨텐츠를 결정하며, 학습자 단말에게 추천 학습 컨텐츠의 정보를 전송할 수 있다. 호감도가 미리 결정된 임계 호감도 이상인 경우, 추천 학습 컨텐츠는 수업 패턴, 교사 유형 중 적어도 하나에 대한 학습 컨텐츠와의 유사도가 임계 유사도 이상일 수 있다. 호감도가 임계 호감도 미만인 경우, 추천 학습 컨텐츠는 수업 패턴, 교사 유형 중 적어도 하나에 대한 학습 컨텐츠와의 유사도가 임계 유사도 미만일 수 있다. 유사도는 각각의 학습 컨텐츠의 수업 패턴, 교사 유형에 대하여 미리 결정된 카테고리 정보에 기반하여 결정될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 서버는 학습자 단말과 동시에 학습 컨텐츠에 기반한 동일한 학습을 진행 중인 복수의 학습자 단말로부터 학습 컨텐츠에 기반한 학습 중 시간별 복수의 학습자들의 얼굴에 대한 복수의 화상 이미지를 수신하고, 복수의 학습자 단말로부터 수신한 복수의 화상 이미지에 기반하여 복수의 학습자의 학습 중 시간별 감정의 강도 및 집중도를 결정하며, 시간별 감정의 강도는 미리 결정된 복수의 감정 종류별로 결정되고, 복수의 학습자의 학습 중 시간별 감정의 강도 및 집중도에 기반하여 학습자 그룹 정보를 결정하며, 학습자 그룹 정보를 학습 컨텐츠에 대응하는 교사 단말에게 전송할 수 있다. 학습자 그룹 정보는, 복수의 학습자의 학습 중 특정 감정의 평균 감정 강도, 평균 집중도, 특정 감정의 감정 강도가 임계 감정 강도 미만인 제1 학습자의 정보, 집중도가 임계 집중도 미만인 제2 학습자의 정보를 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 서버는 복수의 학습자의 학습 중 특정 감정의 평균 감정 강도가 임계 강도 미만이거나, 평균 집중도가 임계 집중도 미만인 경우, 복수의 학습자 단말에게 환기 컨텐츠를 전송하고, 제1 학습자 또는 제2 학습자에 대응하는 학습자 단말에게 환기 컨텐츠를 전송할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 서버는 사용자의 상기 집중도 수치의 분당 평균 값이 임계 집중도 수치 이하로 떨어지는지 여부 및 상기 몰입도 수치의 분당 평균 값이 임계 몰입도 수치 이하로 떨어지는지 여부에 기반하여 환기 컨텐츠의 출력 여부를 결정할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 환기 컨텐츠는 학습 휴식의 권고 메시지 출력, 스트레칭 동영상의 출력, 휴식 시간의 카운팅 표시 출력, 학습 컨텐츠를 출력하는 화면의 배경 색깔 변화 출력, 비프 사운드(beep sound)의 출력, 백색 소음의 출력 중 적어도 하나의 시퀀스를 포함할 수 있다. 환기 컨텐츠는 평균 감정 강도, 평균 집중도, 제1 학습자의 감정 강도, 제2 학습자의 집중도 중 적어도 하나에 따라서 시퀀스의 종류 개수, 시퀀스의 출력 강도 중 적어도 하나가 조정되도록 구성될 수 있다. 출력 강도는, 시퀀스의 단위 시간 당 출력 빈도, 시퀀스의 시청각적 출력 강도 중 적어도 하나와 관련될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 시퀀스의 종류 개수, 시퀀스의 출력 강도 중 적어도 하나는 평균 감정 강도, 평균 집중도, 제1 학습자의 감정 강도, 제2 학습자의 집중도 중 적어도 하나의 구간 및 하락 기울기에 따라서 조정될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 서버는 집중도 수치의 분당 평균 값 및 상기 몰입도 수치의 분당 평균 값이 임계 집중도 수치 및 임계 몰입도 수치 이상으로 회복된 경우, 학습자 단말에 대하여 환기 시퀀스의 출력에 대한 중단을 지시하는 신호를 전송할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 통신 시스템에서 서버에 있어서, 메모리, 송수신기 및 프로세서를 포함하고, 상기 프로세서는 상술한 서버의 동작 방법을 수행하도록 구성된 서버가 제공될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상술한 서버의 동작 방법을 수행하도록 구성되며, 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램이 제공될 수 있다.
도 5는 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 컨텐츠를 도시한다.
도 5를 참조하면 온라인 가상 교실을 통해 진행될 수업들이 제공된다. 본 발명의 다양한 실시 예들에 따르면, 학습자의 과거 학습에서의 감정 분포, 집중도 등에 기반하여 서버에서 맞춤형으로 수업을 학습자에게 제안할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 서버는 학습 컨텐츠에 기반한 학습 중 복수의 감정 종류별 학습자의 감정의 강도에 기반하여 학습자의 학습 컨텐츠에 대한 호감도를 결정하고, 호감도에 기반하여 복수의 학습 컨텐츠 중 추천 학습 컨텐츠를 결정하며, 학습자 단말에게 추천 학습 컨텐츠의 정보를 전송할 수 있다. 호감도가 미리 결정된 임계 호감도 이상인 경우, 추천 학습 컨텐츠는 수업 패턴, 교사 유형 중 적어도 하나에 대한 학습 컨텐츠와의 유사도가 임계 유사도 이상일 수 있다. 호감도가 임계 호감도 미만인 경우, 추천 학습 컨텐츠는 수업 패턴, 교사 유형 중 적어도 하나에 대한 학습 컨텐츠와의 유사도가 임계 유사도 미만일 수 있다. 유사도는 각각의 학습 컨텐츠의 수업 패턴, 교사 유형에 대하여 미리 결정된 카테고리 정보에 기반하여 결정될 수 있다.
도 6은 본 발명의 다양한 실시 예들에 따른 가상 교실의 자유 시간 화면을 도시한다.
도 6을 참조하면, 학습자는 온라인 가상 교실에서 아바타로 동작할 수 있다. 학습자는 가상의 공간 내 아바타를 조작함으로써 다른 학습자와 대화를 나누고 정보를 교환할 수 있다.
도 7은 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 시간 화면을 도시한다.
도 7을 참조하면, 학습자는 온라인 가상 교실에서 아바타의 형태로 다른 복수의 학습자들과 함께 동일한 학습 컨텐츠에 대하여 학습을 할 수 있다.
오프라인에서 학급 배정이 고정적인 것과 달리, 온라인에서 학급 배정은 학습자들간 호감도 등에 기반하여 유동적으로 수행될 수 있다. 온라인 가상 교실에서는 학업 성취도, 긍정적 감정 반응, 집중도의 향상 등을 고려하여 상승 효과가 나올 수 있는 학습자 조합으로 학급 구성을 조정할 수 있다.
도 8은 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 시간 화면을 도시한다.
도 8을 참조하면, 학습자의 얼굴에 대한 화상 이미지의 분석 기술을 학습자의 감정 등의 분석에 사용하는 것 외에 다양한 학습 컨텐츠로서 활용하는 예가 도시된다.
행복한 감정의 표정을 하고 있는 얼굴에 대한 예시 이미지를 제공하고 학습자에게 동일 유사한 표정을 유도함으로써 학습자의 감성적 발달을 기대할 수 있는 학습 컨텐츠를 제공할 수 있다.
도 9는 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 시간 화면을 도시한다.
도 9를 참조하면, 교사와 학습자의 1 대 1 대면 교육을 수행하는 예가 도시된다. 본 발명의 다양한 실시 예들에 따른 온라인 가상 교실은 아바타의 형태 외에도 도 9와 같이 실제 얼굴의 형태로 전환하여 수업을 진행할 수 있다.
즉, 아바타의 형태로 재미를 추구하면서도, 필요한 경우 대면 형태로 전환함으로써 정보 전달의 정확성을 높일 수 있다.
도 10은 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 시간 화면을 도시한다.
도 10을 참조하면, 교사는 아바타의 형태로 온라인 가상 교실 내 학습자들의 현재 상태를 쉽게 파악할 수 있다. 서버는 복수의 학습자 단말들로부터 수신된 복수의 학습자들의 얼굴에 대한 화상 이미지들을 분석함으로써 복수의 학습자들 각각의 감정 상태, 집중도 또는 몰입도, 자리 이탈 여부 등을 파악할 수 있다. 각각의 아바타는 학습자들의 현재 수업 참여 상태를 표현할 수 있다.
도 10에서, 아바타의 표정 또는 아바타 머리 위의 표정 아이콘은 복수의 학습자들 각각의 감정 상태 또는 집중도가 긍정적인지 또는 부정적인지 여부를 표현할 수 있다. 예를 들어, 행복 감정의 강도가 임계 감정 강도 이상이거나, 또는 집중도 또는 몰입도가 임계 집중도 또는 임계 몰입도 이상인 경우, 아바타의 표정 또는 아바타 머리 위의 표정 아이콘은 웃는 표정을 표현할 수 있다. 또한, 행복 감정의 강도가 임계 감정 강도 미만이거나, 또는 집중도가 임계 집중도 미만인 경우, 아바타의 표정 또는 아바타 머리 위의 표정 아이콘은 찌푸린 표정을 표현할 수 있다.
또한, 서버는 학습자 얼굴에 대한 화상 이미지를 분석하였으나 사람의 얼굴이 없는 경우, 학습자가 자리를 이탈한 것으로 판단할 수 있다. 자리에서 이탈한 학습자가 존재하는 경우, 교사에게 학습자의 자리 이탈 관련 정보 알림을 표시할 수 있다.
도 11은 본 발명의 다양한 실시 예들에 따른 가상 교실의 학습 시간 화면을 도시한다.
도 11을 참조하면, 서버는 학습자의 얼굴에 대한 화상 이미지를 분석함으로써, 교사에게 학습자의 감정 상태, 집중도, 몰입도 등의 정보를 실시간으로 제공할 수 있다. 화상으로 대화를 하더라도 실제 대면하지 않으면 파악하기 어려운 상대방의 감정 등에 대한 느낌이 존재할 수 있다. 도 11의 실시 예는 화상 이미지의 분석 정보를 실시간으로 교사에게 제공함으로써 비대면 수업에 대한 보완을 할 수 있다. 도 11에서, 서버는 교사에게 수업 참여도, 순간 집중도, 몰입 지속도, 복수의 감정들에 대한 감정 강도의 정보를 제공한다. 일 실시 예에 따르면, 복수의 감정들은 행복, 슬픔, 놀람, 화남, 역겨움, 두려움을 포함할 수 있다.
도 12는 본 발명의 다양한 실시 예들에 따른 학습자의 학습 정보를 도시한다.
도 12를 참조하면, 서버는 학습자의 학습에 대한 종합적인 분석 결과를 학부모 단말 및/또는 교사 단말에게 제공할 수 있다. 도 12의 모든 정보는 학습 중 획득한 학습자의 얼굴에 대한 화상 이미지를 분석함으로써 도출될 수 있다.
도 12의 실시 예에서 서버가 제공하는 분석 결과는 학습자의 주간 수업 일정, 수업 참여율, 과목 또는 영역별 학습자의 집중도, 행복 감정의 강도, 타 학습자들 평균과의 비교, 동일 연령대 타 학습자들 데이터와의 비교, 학습자의 학습 시간별 분석 결과 등의 정보를 포함한다.
도 13은 본 발명의 다양한 실시 예들에 따른 학습자의 학습 정보를 도시한다.
도 13을 참조하면, 서버는 학습자의 시간대별 집중도 및/또는 몰입도에 대한 변화 곡선의 정보를 제공할 수 있다. 또한, 서버는 학습자의 집중도 및/또는 몰입도가 가장 높았던 구간 및/또는 가장 낮았던 구간에 대한 학습자의 단위 시간별 화상 이미지를 제공할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 단위 시간은 임의 시간 구간, 예를 들어, 1분, 또는 30초, 또는 5초 등으로 설정될 수 있다. 즉, 서버는 1분 단위, 또는 30초 단위, 또는 5초 단위로 동영상 형식의 화상 이미지를 저장하고, 저장된 동영상 형식의 화상 이미지를 제공할 수 있다.
다른 실시 예로, 서버는 학습자의 복수의 감정들에 대한 시간대별 감정 강도의 변화 곡선을 제공할 수 있다. 또한, 서버는 복수의 감정들 각각에 대하여 학습자의 감정 강도가 가장 높았던 구간 및/또는 가장 낮았던 구간에 대한 단위 시간별 화상 이미지를 제공할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 서버는 학습자 단말로부터 수신한 화상 이미지를 단위 시간별로 그룹화 하고, 최근 수신한 단위 시간별 화상 이미지에 대하여 저장할 대상인지 여부를 결정한 뒤, 저장할 대상이 아니면 해당 단위 시간별 화상 이미지를 삭제한다. 최근 수신한 단위 시간별 화상 이미지에 대하여 저장할 대상인지 여부를 결정하는 것은, 최근 수신한 단위 시간별 화상 이미지가 학습 시간 중 학습자의 집중도 및/또는 몰입도가 가장 높았던 구간 및/또는 가장 낮았던 구간인지, 또는 복수의 감정들 각각에 대하여 학습자의 감정 강도가 가장 높았던 구간 및/또는 가장 낮았던 구간인지 여부에 기반한다.
최근 수신한 단위 시간별 화상 이미지가 학습 시간 중 학습자의 집중도 및/또는 몰입도가 가장 높았던 구간 및/또는 가장 낮았던 구간이거나, 또는 복수의 감정들 각각에 대하여 학습자의 감정 강도가 가장 높았던 구간 및/또는 가장 낮았던 구간인 경우, 서버는 학습 시간 중 학습자의 집중도 및/또는 몰입도가 가장 높았던 구간 및/또는 가장 낮았던 구간, 또는 복수의 감정들 각각에 대하여 학습자의 감정 강도가 가장 높았던 구간 및/또는 가장 낮았던 구간인 경우, 기존의 학습 시간 중 학습자의 집중도 및/또는 몰입도가 가장 높았던 구간 및/또는 가장 낮았던 구간, 또는 복수의 감정들 각각에 대하여 학습자의 감정 강도가 가장 높았던 구간 및/또는 가장 낮았던 구간에 대하여 기존에 저장된 단위 시간별 화상 이미지를 삭제하고, 그 대신 최근 수신한 단위 시간별 화상 이미지를 저장할 수 있다. 이를 통해, 서버는 불필요하게 용량을 많이 차지하는 화상 이미지의 저장을 지양하고, 필요한 화상 이미지만을 저장할 수 있다.
도 14는 본 발명의 다양한 실시 예들에 따른 학습자의 학습 정보를 도시한다.
도 14를 참조하면, 서버는 학습자의 학습 중 특이 시점마다의 단위 시간별 화상 데이터를 제공할 수 있다. 또한, 서버는 해당 화상 데이터 시점에서 학습자의 감정 상태, 집중도, 몰입도 등의 데이터를 함께 제공할 수 있다. 상기 특이 시점은 각 학습 컨텐츠 별 임의의 시점, 또는, 감정 상태 및/또는 집중도 및/또는 몰입도가 가장 높거나 낮은 시점 등에 해당할 수 있다. 또는, 상기 특이 시점은 각 학습 컨텐츠에 따른 감정 상태 및/또는 집중도 및/또는 몰입도가 가장 높거나 낮은 시점, 또는 전체 학습 컨텐츠 통틀어서 감정 상태 및/또는 집중도 및/또는 몰입도가 가장 높거나 낮은 시점 등에 해당할 수 있다.
이하의 도 15 내지 도 27은 본 발명의 다양한 실시 예들에 따라서 서버가 학습자 단말로부터 수신한 학습자의 얼굴에 대한 화상 이미지에 기반하여 감정 강도, 집중도, 몰입도 등을 분석하는 과정을 도시한다.
도 15는 본 발명의 다양한 실시 예들에 따른 학습자 단말이 학습자의 얼굴에 대한 화상 이미지를 획득하는 과정의 일 예를 도시한다.
도 15를 참조하면, 학습자의 얼굴을 포함하는 상반신에 대한 화상 이미지를 획득하는 과정의 일 예를 도시한다.
서버는 학습자 단말에서 획득되어 전송된 학습자의 화상 이미지 중 얼굴 내 특정 감정 점들의 패턴, 상반신 내 특정 움직임 점들의 패턴을 분석함으로써 학습자의 감정 종류, 감정 비율의 정보를 획득할 수 있다. 보다 상세하게는, 학습자로부터 기본 표정(무표정)과 이에 비교되는 다수의 감정상태에 따르는 감정 표정의 안면 영상을 획득하고, 기본 표정 또는 감정 표현의 안면 영상에, 안면 부위별 기준 정점을 정의하는 표준 모델을 마스킹(매칭)하여 학습자의 안면 영상에 안면 부위별로 다수의 정점들을 맵핑한 이후에 기본 표정과 감정 표현의 안면 영상에서 동일 안면 부위에서의 정점간의 좌표 변화 값을 추출하고 상기 정점들을 인체 안면에 정의되어 있는 표정단위(Action Unit)으로 별로 그룹화하고, 표정단위 그룹별 정점들의 중점(Centroid)의 변화 값을 포함하는 표정단위 안면 움직임 정보를 추출하고 추출한 안면 움직임 정보를 다수의 감정 상태 별로 데이터 베이스화 하여 감정의 종류와 감정 비율의 정보를 획득할 수 있다.
이 때, 표정단위 안면 움직임 정보는 행복(happy), 중립(neutral), 분노(angry), 공포(fear), 놀람(surprise), 슬픔(sad), 혐오(disgust) 등에 대한 정보를 포함할 수 있다.
도 16은 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
본 발명의 다양한 실시 예들에서, 감정과 감성은 서로 대체할 수 있는 용어, 즉, emotion의 동일한 의미를 지칭하는 용어로 사용한다.
본 발명의 다양한 실시 예들에 따르면, 서버는 학습자의 화상 이미지로부터 i) 화상 이미지 중 얼굴 검출, ii) 얼굴 포인트 검출, iii) 얼굴 근육 정의, iv) 근육 움직임 추적, v) 유효 감성 파라미터 추출, vi) 룰 베이스 구축, vii) 감성 인식을 수행할 수 있다.
i) 얼굴 검출에 대하여, 전자 장치는 얼굴 특징 기반 Haar 모델을 이용한 Viola-Jones 알고리즘을 이용한다. 이에 따라, 얼굴 특징 기반으로 기존 색상 기반 모델에 비해 조명으로 인한 항계를 극복하고, 얼굴 모델 기반의 통계적 접근법인 AAM 기반 방법보다 적은 컴퓨팅 비용을 보여 실시간 프로세스에 적용 가능하다.
ii) 얼굴 포인트 검출에 대하여, 전자 장치는 DLIB 기반 Regression Trees 앙상블 알고리즘을 사용하여, 눈, 코, 입에 대한 얼굴 포인트 68개를 검출할 수 있다.
iii) 얼굴 근육 정의에 대하여, 전자 장치는, facial action coding system에 따른 얼굴 포인트 기반 얼굴 근육 정의에 따라서, 표정에 민감한 얼굴 근육 39개를 정의할 수 있다.
iv) 근육 움직임 추적에 대하여, 전자 장치는 영상 프레임에 따른 얼굴 근육의 움직임을 추적하고, 표정에 따른 얼굴 근육의 XY 좌표 및 면적 변화량을 추적할 수 있다.
v) 유효 감성 파라미터 추출에 대하여, 전자 장치는 6가지 기본 감성에 대한 얼굴 근육의 움직임 특징 기반 유효 감성 파라미터를 추출하여, 행복, 슬픔, 놀람, 화남, 역겨움, 두려움의 감정을 추출할 수 있다.
v) 룰 베이스 구축에 대하여, 전자 장치는 실제 얼굴 표정 데이터로부터 감성 인식을 위한 룰 베이스를 구축하여, 보편적 중립 얼굴 모델을 이용해 개인화 문제를 극복하고, 통계 분석 기반 룰 베이스 구축을 통해 감성 인식을 위한 얼굴 모델을 구축할 수 있다.
vi) 감성 인식에 대하여, 전자 장치는 Fuzzy 기반 감성 인식 알고리즘을 이용해, 룰 베이스 기반 각성 별 확률을 계산하고, 각 감성의 확률적 접근을 통해 감성 인식의 민감성을 최소화할 수 있다.
도 17은 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 17은 서버가 학습자의 얼굴을 포함한 상반신에 대한 화상 이미지로부터 얼굴 이미지 데이터를 추출하는 과정을 도시한다.
우선, 서버는 Haar 특징 추출을 수행한다. 구체적으로, 서버는 눈, 코와 같은 얼굴 특징에 해당하는 커널을 이용해 이미지의 각 부분을 픽셀 단위로 비교하여 입력 영상 이미지로부터 얼굴이 존재할 확률을 계산한다. 서버는 입력 영상에서 검정 영역과 흰색 영역에 해당하는 밝기 값을 빼서 임계 값 이상인 것을 찾는다.
다음으로, 서버는 캐스케이드(cascade) 분류를 수행한다. 구체적으로, 서버는 Haar 특징으로 얼굴 여부를 인식할 수 있는 캐스케이드 분류기를 사용하여 얼굴을 검출한다. 도 8의 실시 예에서는 미리 트레이닝된 Frontalface_alt2 모델을 적용하였다. 서버는 눈과 같은 확실한 Haar 특징으로부터 후보를 축소한 후, 자세한 얼굴 요소의 Haar 특징으로 최종 얼굴을 검출한다.
다음으로, 서버는 랜드마크를 검출한다. 도 8의 실시 예에서는, 서버가 iBUG 300-W 데이터셋으로 트레이닝 된 DLIB 기반 Regression Trees 앙상블 모델을 적용하였다. Haar 모델로부터 검출된 정면 얼굴에 대해 눈, 코, 입, 눈썹, 턱 등에 대한 얼굴 포인트 68개를 검출한다. 각 얼굴 포인트는 2차원 공간에서 x, y 좌표 값을 지니고 있다.
다음으로, 서버는 좌표계 정규화를 수행한다. 구체적으로, 검출된 얼굴 포인트는 화면의 왼쪽 상단을 원점으로 하는 좌표계에 위치하고 있다. 이는 동일한 표정임에도 불구하고 얼굴의 위치에 따라 다른 값을 보일 수 있어 노이즈로 작용한다. 따라서 미간을 원점으로 하는 상대좌표계로 정규화하여 이러한 문제를 해결할 수 있다.
도 18은 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 18은 AU(action unit)의 명칭 별 얼굴 포인트 인덱스를 도시한다.
Facial Action Coding System(FACS)에 따른 얼굴 포인트 기반 얼굴 근육 정의는 다음과 같다. Facial Action Coding System(FACS)은 감성을 표현하는데 사용되는 얼굴 근육의 움직임을 정의한 기준 시스템이다 (Ekman P, 1978). 이에 대응하는 얼굴 근육을 분석하기 위해 얼굴 포인트 68개를 기반으로 얼굴 근육(Action Unit) 39개를 정의한다. 이 때, 얼굴의 해부학적 요인을 고려하여 FACS에서 정의된 근육의 움직임을 적합하게 표현할 수 있도록 고려한다.
도 19는 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 19는 폴리곤(polygon) 형태의 얼굴 근육의 예시를 도시한다.
본 발명의 다양한 실시 예들에 따르면, 서버는 얼굴 근육 특징 추출할 수 있다. 구체적으로, 서버는 얼굴 포인트의 XY 좌표로부터 얼굴 근육의 면적과 중심 x, y 좌표를 계산하고, 정형화되지 않은 얼굴 근육의 Polygon 형태를 고려하여 면적을 계산하며, 중심 x, y 좌표 또한 Polygon 형태를 고려하여 무게중심을 계산할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 서버는 얼굴 근육의 움직임을 추적할 수 있다. 구체적으로, 서버는 얼굴 근육의 움직임을 추적하기 위해 매 프레임마다 각 근육의 면적과 중심 x, y 좌표를 추출하고, 평상시 얼굴을 기준으로 현재 얼굴과의 근육 특징의 변화량을 계산하며, 이를 이용해 영상 프레임에 따라 변화하는 근육 움직임을 추적할 수 있다.
도 20은 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 20은 서버가 얼굴 근육의 움직임에 기초하여 각 감정 또는 감성의 데이터를 획득하는 과정을 도시한다.
본 발명의 다양한 실시 예들에 따르면, 서버는 기본 감성 또는 기본 감정에 따른 얼굴 근육 움직임 특징을 결정할 수 있다. FACS에 의해 정의된 감성에 따른 얼굴 근육의 움직임 특징을 정의한다. 6가지 기본감성인 행복, 슬픔, 놀람, 화남, 역겨움, 두려움을 모두 고려한다.
도 21은 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 21은 감정 인식을 위한 룰 베이스를 도시한다. 도 21의 룰 베이스는 통계 분석 및 룰 베이스 구축을 통해 도출된 결과이다.
구체적으로, 통계 분석은 다음과 같이 수행되었다. 감성 인식을 위한 룰 베이스를 구축하기 위해 실제 얼굴 표정 데이터로부터 근육 움직임 특징 변수에 대한 통계 분석을 실시하고, 62명에 대해 6가지 기본감성인 행복, 슬픔, 놀람, 화남, 역겨움, 두려움의 얼굴 표정 사진을 각각 취득하며, 평상시 사진을 포함하여 7그룹에 대한 특징 변수들의 비교를 위해 ANOVA를 실시하였다. 각 감성의 샘플의 수가 동일하기 때문에 Tukey를 이용해 사후분석을 실시하였다.
또한, 룰 베이스 구축은 다음과 같이 수행되었다. 통계 분석 결과, 감성에 따라 차이를 보이는 근육 움직임 특징 변수들을 감성 인식을 위한 룰 베이스로 구축하였다. 또한 개인마다 약간씩 차이를 보이는 얼굴 구조의 한계를 극복하기 위해 보편적 중립 얼굴 모델을 구축하였다.
최종적으로, 본 발명의 다양한 실시 예들에 따르면, 서버는 Fuzzy 기반 감성 인식 알고리즘으로 감정을 계산한다. 구체적으로, 서버는 실제 데이터로부터 구축된 룰 베이스를 기반으로 현재 얼굴에 대해 각 감성 별로 확률을 계산하고, 최종 감성을 인식하기 위해 하나의 감성이 다른 감성들에 비해 각각 얼마나 높은 확률을 보이는지를 모두 고려하여 최종 확률을 계산한다. 예를 들어, 서버는 현재 얼굴이 행복일 확률을 계산하기 위해서 다음과 같은 조건들을 모두 고려한다. i) 현재 얼굴이 평상시와 비교해 행복일 확률은? ii) 현재 얼굴이 슬픔과 비교해 행복일 확률은? iii) 현재 얼굴이 놀람과 비교해 행복일 확률은? iv) 현재 얼굴이 화남과 비교해 행복일 확률은? v) 현재 얼굴이 역겨움과 비교해 행복일 확률은? vi) 현재 얼굴이 두려움과 비교해 행복일 확률은? 상기 사항들을 고려한 결과, 최종적으로 서버는 가장 확률이 높은 감정을 현재 감정으로 인식한다.
도 22는 본 발명의 다양한 실시 예들에 따른 서버가 학습자의 화상 이미지에 기반하여 심장 반응 정보 및 학습자 표정 정보를 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 22는 본 발명의 다양한 실시 예들에 따른 비접촉 영상 기반 센싱 기술을 도시한다.
본 발명의 다양한 실시 예들에 따르면, 서버는 영상 기반 비접촉으로 학습자의 내면 반응을 실시간으로 센싱하고, 영상에서 감지된 얼굴의 미세 떨림에 기반하여 학습자의 심장 반응, 감정 반응을 분석할 수 있다.
도 22를 참조하면, 1 단계로, 서버는 영상 기반 비접촉 실시간 얼굴 이미지를 검출 및 추적할 수 있다. 서버는 영상 기반 비접촉식 얼굴 특징 영역을 검출할 수 있다. 서버는 학습자의 얼굴 특징 영역 별 실시간 신호를 추적해서 분석할 수 있다.
2 단계로, 서버는 얼굴 미세 떨림 추출 및 의식적 움직임 노이즈 제거를 수행할 수 있다. 구체적으로, 서버는 1 단계에서 분석한 신호에 대하여 주파수 스펙트럼을 분석하고, 움직임을 노이즈 필터링하여, 학습자의 무의식적인 미세 움직임을 추출할 수 있다.
3 단계로, 서버는 학습자의 무의식적 미세 떨림에 기반하여 학습자의 심장 반응을 분석할 수 있다. 구체적으로, 학습자의 무의식적 미세 움직임 데이터에 기반하여 ECG(electrocardiogram), RRI(R-R interval)을 추출하고, ECG, RRI에 대한 시간 도메인 분석하며, ECG, RRI를 주파수 파워 스펙트럼 변환 후 주파수 도메인 분석함으로써, 심장 반응의 유효 변수들을 추출할 수 있다. 서버는 심장 반응의 유효 변수들에 기반하여 학습자의 심장 반응을 분석할 수 있다.
4 단계로, 서버는 학습자의 무의식적 미세 떨림에 기반하여 학습자의 표정을 분석할 수 있다. 구체적으로, 서버는 얼굴 이미지 내 AU(action units)-특징점을 맵핑하고, 모든 AU에 대하여 프레임 평균을 도출하며, 임계 값에 기반하여 모든 AU 후보 중 특정 AU를 선택하고, 선택된 AU로부터 표정 유효 변수들을 추출할 수 있다. 서버는 표정 유효 변수들에 기반하여 학습자의 감정을 분석할 수 있다.
본 발명의 다양한 실시 예들에 따른 서버는 화상 이미지에 기반하여 학습자의 심장 반응, 표정, 시선, 음성 등 여러 변수들의 유기적인 관계를 고려하여 학습자의 내면 반응을 비접촉으로 분석할 수 있다.
서버는 화상 이미지 중 얼굴의 미세 떨림 정보를 이용하여 심박수 정보 및 진폭 정보를 포함하는 심전도 정보를 획득할 수 있다. 이 때, 비접촉 형태의 카메라를 이용하여 영상으로부터 미세한 움직임 정보를 추출하여 이로부터 심전도 정보를 획득할 수 있다. 구체적으로, 아래와 같은 방법으로 심전도 정보를 획득할 수 있다.
1) (영상 획득) 학습자의 얼굴이 포함되는 상반신 화상 이미지로부터 연속적인 영상 데이터를 생성한다.
2) (안면 트랙킹-Face Tracking) 인체의 미세한 움직임을 머리에서 추출하기 위하여 OpenCV를 이용한 안면인식을 통하여 영상정보를 분리한다. OpenCV에 기반을 둔 안면인식시스템(facial recognition system)은 디지털 이미지를 통해 각 사람을 자동으로 식별하는 컴퓨터 지원 응용 프로그램을 말하며, 이는 화상 이미지에 나타나는 선택된 얼굴 특징과 안면 데이터베이스를 서로 비교함으로써 이루어진다. 도 6의 원본 영상에 나타나는 사각형이 안면부분의 트랙킹 영역을 나타낸다. 이것은 학습자의 움직임에 대응하여 안면 부분에 대한 트랙킹이 수행된다.
3) (공간 분리-Spatial Decomposition) 잘 알려진 영상의 공간 분리 기법으로 가우시안(Gaussian blur)와 다운 샘플링(down sample)을 통하여 각 주파수(Frequency)별 공간을 분리한다.
4) (미세움직임 정보 추출) 생체신호간 상관성이 있는 주파수 대역을 선정하고 그 선정된 대역의 미세움직임 정보를 취득한다.
5) (시간 처리-Temporal Processing) 상기 추출된 미세움직임 정보를 시간처리를 이용해 시간의 흐름에 따른 미세움직임 정보와 관련된 주파수 대역의 데이터를 추출하고 추출된 데이터를 증폭한다.
6) (심전도 정보 추출) 미세움직임 정보와 관련된 주파수 대역의 데이터 값을 매 일정 시간마다 측정되는 영상의 움직임 데이터의 1프레임의 평균의 차이 값을 계산하여 이전 상태와 현 상태의 평균적으로 움직임의 차이 값을 계산하여 미세 움직임의 양을 추출하여 이를 심전도 정보로 변환할 수 있다.
나아가, 서버는 심전도 정보인 심박수 및 진폭 정보에 기반하여 학습자의 집중도 수치에 대한 정보를 획득할 수 있다.
일 예로, 학습자는 게임과 같은 흥미로운 컨텐츠를 통해 자극을 받게 되는데, 이때 퀘스트 등이 주어지는 경우 교감적 활성화가 나타내게 되고, 집중도 수준에 따라 심박과 진폭 간의 특정 관계가 도출될 수 있다.
즉, 일반적으로 학습자에게 자극이 적은 중립상태에서는 서맥(느린 맥박) 범위에서는 심박 빠르기가 느리며 이에 따라 1회 심박출량이 커져야 하는 반면에, 고몰입(High Engagement) 및 저몰입(Low Engagement)에서는 중립상태에 비해 상대적으로 심박수가 높아지고 진폭이 작아지는 패턴을 보이게 된다.
구체적으로, 심박수와 진폭의 상호작용의 룰을 분석하여 집중도를 정량적으로 해석할 수 있으며, 특정 자극에 대해 집중하고 있는 학습자의 심전도 신호를 검출하고, 심전도 신호로부터 심박수(BPM)과 실제 진폭(actual amplitude) 데이터를 검출한다. 검출된 데이터를 분석하여 심박수와 실제 진폭 간의 상관관계를 통해 집중도를 도출해 낼 수 있다.
본 발명의 다양한 실시 예들에 따르면, 서버는, 화상 이미지를 획득하면서 동시에 추가적으로 학습자의 음성 정보를 획득할 수 있다. 이 경우, 학습자 단말은 녹음 장치를 더 포함하며, 학습자의 학습 중 음성 정보를 획득한 후 서버에게 전송할 수 있다.
서버는 음성 정보 내 운율 특성, 음성 스펙트럼 특성을 분석함으로써 학습자의 감정 종류, 감정 비율의 정보를 획득할 수 있다. 즉, 서버는 화상 이미지 중 얼굴 내 특정 감정 점들의 패턴, 상반신 내 특정 움직임 점들의 패턴과 함께 음성 정보 내 운율 특성, 음성 스펙트럼 특성에 기반하여 학습자의 감정 종류, 감정 비율의 정보를 획득할 수 있다.
한편, 본 발명의 다른 실시예에서, 서버는 웨어러블 디바이스로부터 수신한 심전도 정보, 영상정보 및 음성정보에 따라 학습자의 생체정보를 획득할 수 있다. 즉, 학습자가 스마트 와치(smart watch)와 같은 웨어러블 장치를 착용하고, 웨어러블 장치가 학습자의 신체와 접촉하면서 심전도 정보를 측정할 수 있다. 이 경우, 서버는 웨어러블 장치로부터 블루투스 등의 무선 통신을 통해 측정된 심전도 정보를 수신할 수 있다. 서버는 수신한 심전도 정보에 기반하여 학습자의 심박수, 집중도 등의 생체 정보를 산출할 수 있다. 또한, 서버는 상술한 화상 이미지와 웨어러블 장치로부터 수신한 심전도 정보를 함께 고려하여 학습자의 심박수, 집중도 등의 생체 정보를 산출할 수 있다.
도 23은 본 발명의 다양한 실시 예들에 따라서, 서버가 감정 인식에 기초하여 데이터를 수집하고 서비스 솔루션을 제공하는 과정을 도시한다.
본 발명의 다양한 실시 예들에 따르면, 서버는 메모리에 저장된 프로그램 및 프로세서의 구동을 통하여 비대면 학습 시 발생하는 학습자의 비언어적 표현, 학습매체와의 상호작용 등을 인공지능 기술로 분석하여 학습자 감정 및 인지 상태를 정량적으로 측정하는 감정인식 엔진을 구현할 수 있다. 예를 들어, 서버는 i) 카메라 및 마이크 기반 학습자의 영상 및/또는 음성 데이터를 수집 및 축적하고, ii) 얼굴의 반응 요소(표정, 시선 처리), 생체 반응 요소(몰입도, 긴장도, 집중도), 음성 반응 요소(운율 특성, 스펙트럼 특성, 음가/음질 특성, 강세, 발음, 억양)를 추출 및 분석하며, iii) 반응 요소 별 데이터를 처리 및 가공(반응 요소 별 측정 값 통합, 유효 변수 분석, 유효 변수 별 감정 인식 판별, 필터링 및 통합 분석, 멀티 모달 데이터 정제 및 가공)하며, iv) 감정 데이터를 분석 및 연동 연계(감정 분석 결과 기반 리포트 생성, 맞춤형 활동 교수 설계 및 추천)를 할 수 있다.
도 24는 본 발명의 다양한 실시 예들에 따라서, 서버가 학습자의 감정 인식에 기초하여 데이터를 수집하고 서비스 솔루션을 제공하는 과정을 도시한다.
본 발명의 다양한 실시 예들에 따르면, 서버는 감정, 인지 상태 판별을 위한 표정, 행동 및 발화 등의 반응요소를 카메라 및 마이크로 수집하고, 학습자의 감정과 학습성과를 통합적으로 분석하여 학습효과 향상을 지원할 수 있는 콘텐츠를 제공할 수 있다. 예를 들어, 서버는 i) 반응 요소 센싱 및 데이터 수집 단계에서, 별도의 바이오 센서 없이 카메라 및 마이크 만으로 학습자의 반응 요소를 인식 및 추출하고, ii) 반응 요소 별 대응 감정 분석 단계에서, 영상 정보, 생체 정보, 음성 정보의 멀티 모달 분석으로 감정 인식률 및 정확도를 제고하며, iii) 감정 결과 데이터 활용 단계에서, 감정, 인지 상태에 따라 학습 몰입을 유도(감정 및 인지 상태의 실시간 분석에 기초하여 재미 요소를 추가하여 학습 완료를 장려)하거나, 흥미 유발 콘텐츠를 제공(학습자 감정 및 인지 상태에 따라 맞춤형 콘텐츠를 제공 및 추천)할 수 있다. 추가적으로, 서버는 iv) 학습자 반응 인식 결과(몰입도, 집중도 등)에 기반하여 학부모 용 분석 리포트를 제공할 수 있다.
도 25는 본 발명의 다양한 실시 예들에 따른 서버가 분석한 학습자의 생체 정보의 일 예를 도시한다.
도 25의 그래프들은 본 발명의 다양한 실시 예들에 따라서 서버가 분석한 학습자의 생체 정보 중 감정의 종류, 감정의 비율에 대한 정보를 나타낸다.
도 25의 좌측 그래프는 학습자의 시간별 감정의 분포를 나타낸다. 즉, 도 25의 좌측 그래프는 학습자의 각 시간별 행복(happy), 중립(neutral), 분노(angry), 공포(fear), 놀람(surprise), 슬픔(sad), 혐오(disgust)의 감정의 비율을 도시한다. 구체적으로, y 축은 각각의 감정 종류의 비율을 나타내며, x 축은 시간을 나타낸다. 도 25의 좌측 그래프의 하단은 특정 시점, 예를 들어, 2020년 8월 14일 13시 35분 14.336초의 시점에서 학습자의 감정 분포 비율을 나타낸다. 도 25를 참조하면, 해당 시점에서 학습자의 감정 중 행복이 46.47%, 중립이 39.93%, 분노가 10%, 공포가 2.7%의 비율을 갖는다.
도 25의 우측 그래프는 학습자의 시간별 감정 상태를 나타낸다. 도 25의 우측 그래프는 도 25의 좌측 그래프에 기초하여 시간별 판정된 감정 상태를 나타낸다. 구체적으로, y축은 판정된 감정의 비율을 종류를 나타내며, x 축은 시간을 나타낸다. y 축에서 0부터 6까지의 수치는 감정의 종류를 나열한 것이다. 예를 들어, 0은 분노의 감정을 의미하며, 도 25의 좌측 그래프에서 분노의 감정이 가장 비율이 높은 경우 최종적으로 해당 시점에 학습자의 감정이 분노라고 판정되었음을 의미한다. 예를 들어, 6은 놀람의 감정을 의미하며, 도 25의 좌측 그래프에서 놀람의 감정이 가장 비율이 높은 경우 최종적으로 해당 시점에 학습자의 감정이 놀람이라고 판정되었음을 의미한다.
본 발명의 다양한 실시 예들은, 도 25의 그래프들과 같이 추출한 학습자의 감정 중 행복 감정의 비율을 높이는 것을 목적으로 한다.
도 26은 본 발명의 다양한 실시 예들에 따른 서버가 분석한 학습자의 생체 정보의 일 예를 도시한다.
도 26의 그래프들은 본 발명의 다양한 실시 예들에 따라서 서버가 분석한 학습자의 생체 정보 중 심박수(heart rate, HR), 집중도(focus), 몰입도(engagement)에 대한 정보를 나타낸다.
도 26의 좌측 그래프는 학습자의 시간별 심박수(heart rate, HR), 집중도(focus), 몰입도(engagement)의 평균 값 대비 시간별 상대적 변화를 도시한다. 구체적으로, y축은 심박수, 집중도의 평균 값을 50으로 하였을 때 시간 별 상대적 수치를 도시하며, x 축은 시간을 나타낸다. 도 26의 좌측 그래프에 따르면, 집중(focused) 상태가 일정 시간 지속되면 몰입(engagement) 상태가 나타남을 알 수 있다. 즉, 집중도가 증가하고 유지가 되어야 일정 시간 후 몰입도가 상승한다.
도 26의 우측 그래프는 학습자의 시간별 집중도를 나타낸다. 구체적으로, y축은 집중도의 수치를 나타내며, x 축은 시간을 나타낸다. y 축에서 2는 가장 높은 집중도를 의미하고, 0은 가장 낮은 집중도를 의미한다. y 축 값에 대하여, 0은 노말(normal), 1은 집중(focus), 2는 몰입(engage)을 의미할 수 있다. 예를 들어, 0의 노말 상태에서 집중도가 높아지면 학습자는 집중 상태에 들어가고, 학습자의 집중도가 집중 상태에서 더 높아져 2에 이르면 몰입 상태에 들어갈 수 있다.
본 발명의 다양한 실시 예들은, 도 26의 그래프들과 같이 추출한 학습자의 집중도를 높이는 것을 목적으로 한다.
도 27은 본 발명의 다양한 실시 예들에 따라서 서버가 분석한 학습자의 집중도(focus) 및 몰입도(engagement)의 관계를 도시한다.
본 발명의 다양한 실시 예들에 따르면, 서버는 심장 반응 기반 감정 인식을 수행할 수 있다. 본 발명의 다양한 실시 예들에 따른 심장 반응 메커니즘은 다음과 같다. 심박수(heart rate, HR)는 동방결절의 심박 조율 세포의 자발성에 자율 신경계가 영향을 줌으로써 결정된다. 동방 결절은 자율 신경계(autonomic nervous system)의 교감 신경계(sympathetic)와 부교감 신경계(parasympathetic)의 균형 상태에 의해 심박 수를 결정한다. 교감 신경계는 각성 상태로 향하게 하는 반면, 부교감 신경계는 신체를 조용하고 이완 상태로 향하게 하는 특징을 보인다. 본 발명의 다양한 실시 예들에 따른 심장 반응과 감정의 분석은 다음과 같다. 호흡, 혈압, 호르몬, 감정 등에 대한 반응으로 심장의 변동성이 발생하고, 그에 따른 심박수의 상승이 이루어지면 교감 신경계 반응을 통한 각성 상태인 집중(focused)으로 판단한다. 이러한 집중 상태가 일정 시간 지속되면, 몰입(engagement) 상태로 판단한다. 따라서, 서버는 i) 학습자 단말의 카메라를 이용한 학습자의 얼굴을 포함한 상반신 화상 이미지 획득, ii) 화상 이미지를 통한 학습자의 심박수 추출, iii) 심박수 기반 감정 인식을 통해, 심장 반응을 통한 감정 인식을 수행할 수 있다.
몰입(engagement)이란 헝가리 심리학자인 Csikszentmihalyi Mihaly에 의해 정의되었으며, 주위의 모든 잡념, 방해물들을 차단하고 원하는 어느 한 곳에 자신의 모든 정신을 집중하는 일을 의미한다. 몰입은 활동에 의해 만들어지는 어떤 즐거움과 관련이 있으며, 이런 감정이 동기 부여를 유발해 활동을 다시 하도록 유도하는 것이다. 따라서, 몰입의 상태는 즐거움(enjoyment) 및 주의력 집중(focused attention)과 밀접한 연관이 있다.
심리적 몰입의 상태에서 신체 반응은 다음과 같다. 사람의 감정은 신체적 무의식적 생리 반응을 유발하여, 관찰과 측정이 가능하다. 역-U 이론(Inverted-U theory)에 따르면, 각성 상태를 통해 작업 효율(performance)을 높일 수 있다. 따라서, 몰입은 각성으로 인해 평상시보다 집중이 이루어지는 상태로 정의할 수 있다. 도 27의 우측 그래프에 따르면, 집중(focused) 상태가 일정 시간 지속되면 몰입(engagement) 상태가 나타남을 알 수 있다.
하드웨어를 이용하여 본 발명의 실시 예를 구현하는 경우에는, 본 발명을 수행하도록 구성된 ASICs(application specific integrated circuits) 또는 DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays) 등이 본 발명의 프로세서에 구비될 수 있다.
한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능한 저장 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 포함하는 저장 디바이스를 설명하기 위해 사용될 수 있는 프로그램 저장 디바이스들은, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능한 저장 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.
이상에서 설명된 실시 예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시 예를 구성하는 것도 가능하다. 발명의 실시 예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시 예의 일부 구성이나 특징은 다른 실시 예에 포함될 수 있고, 또는 다른 실시 예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명이 본 발명의 기술적 사상 및 본질적인 특징을 벗어나지 않고 다른 형태로 구체화될 수 있음은 본 발명이 속한 분야 통상의 기술자에게 명백할 것이다. 따라서, 상기 실시 예는 제한적인 것이 아니라 예시적인 모든 관점에서 고려되어야 한다. 본 발명의 권리범위는 첨부된 청구항의 합리적 해석 및 본 발명의 균등한 범위 내 가능한 모든 변화에 의하여 결정되어야 한다.
110: 학습자 단말 111: 메모리
112: 송수신부 113: 프로세서
114: 카메라 115: 출력장치
120: 교사 단말 130: 학부모 단말
140: 서버 141: 메모리
142: 송수신부 143: 프로세서
112: 송수신부 113: 프로세서
114: 카메라 115: 출력장치
120: 교사 단말 130: 학부모 단말
140: 서버 141: 메모리
142: 송수신부 143: 프로세서
Claims (10)
- 통신 시스템에서 서버의 동작 방법에 있어서,
학습자 단말에게 학습 컨텐츠를 전송하는 단계;
상기 학습자 단말로부터 상기 학습 컨텐츠에 기반한 학습 중 시간별 학습자의 얼굴에 대한 화상 이미지를 수신하는 단계;
상기 학습자 단말로부터 수신한 상기 화상 이미지에 기반하여 상기 학습자의 학습 중 시간별 감정의 강도를 미리 결정된 복수의 감정 종류별로 결정하는 단계;
상기 학습 컨텐츠에 기반한 학습 중 상기 복수의 감정 종류별 상기 학습자의 감정의 강도가 가장 높은 순간에 대한 화상 이미지를 저장하는 단계;
학부모 단말로부터 상기 학습자의 학습 정보에 대한 요청 메시지를 수신하는 단계; 및
상기 학부모 단말에게 상기 복수의 감정 종류별 상기 학습자의 감정의 강도가 가장 높은 순간에 대한 화상 이미지를 포함하는 상기 학습 정보를 전송하는 단계를 포함하는,
방법.
- 제1 항에 있어서,
상기 학습 컨텐츠에 기반한 학습 중 상기 복수의 감정 종류별 상기 학습자의 감정의 강도가 가장 높은 순간에 대한 화상 이미지를 저장하는 단계는,
상기 학습자 단말로부터 수신한 상기 화상 이미지를 미리 결정된 단위 시간별 분리하는 단계;
상기 단위 시간별 분리된 복수의 화상 이미지 중 상기 복수의 감정 종류별 상기 학습자의 감정의 강도가 가장 높은 순간에 대한 화상 이미지를 포함하는 상기 단위 시간별 분리된 화상 이미지를 저장하는 단계를 포함하는,
방법.
- 제1 항에 있어서,
상기 학습자 단말로부터 수신한 상기 화상 이미지에 기반하여 상기 학습자의 학습 중 시간별 집중도를 결정하는 단계; 및
상기 학습 컨텐츠에 기반한 학습 중 상기 학습자의 집중도가 가장 높은 순간에 대한 화상 이미지를 저장하는 단계를 더 포함하고,
상기 학습 정보는 상기 학습자의 집중도가 가장 높은 순간에 대한 화상 이미지를 더 포함하는,
방법.
- 제1 항에 있어서,
상기 학습 컨텐츠에 기반한 학습 중 상기 복수의 감정 종류별 상기 학습자의 감정의 강도에 기반하여 상기 학습자의 상기 학습 컨텐츠에 대한 호감도를 결정하는 단계;
상기 호감도에 기반하여 복수의 학습 컨텐츠 중 추천 학습 컨텐츠를 결정하는 단계; 및
상기 학습자 단말에게 상기 추천 학습 컨텐츠의 정보를 전송하는 단계를 더 포함하고,
상기 호감도가 미리 결정된 임계 호감도 이상인 경우, 상기 추천 학습 컨텐츠는 수업 패턴, 교사 유형 중 적어도 하나에 대한 상기 학습 컨텐츠와의 유사도가 임계 유사도 이상이고,
상기 호감도가 상기 임계 호감도 미만인 경우, 상기 추천 학습 컨텐츠는 수업 패턴, 교사 유형 중 적어도 하나에 대한 상기 학습 컨텐츠와의 유사도가 임계 유사도 미만이며,
상기 유사도는 각각의 학습 컨텐츠의 수업 패턴, 교사 유형에 대하여 미리 결정된 카테고리 정보에 기반하여 결정되는,
방법.
- 제1 항에 있어서,
상기 학습자 단말과 동시에 상기 학습 컨텐츠에 기반한 동일한 학습을 진행 중인 복수의 학습자 단말로부터 상기 학습 컨텐츠에 기반한 학습 중 시간별 복수의 학습자들의 얼굴에 대한 복수의 화상 이미지를 수신하는 단계;
상기 복수의 학습자 단말로부터 수신한 상기 복수의 화상 이미지에 기반하여 상기 복수의 학습자의 학습 중 시간별 감정의 강도 및 집중도를 결정하는 단계 - 상기 시간별 감정의 강도는 상기 미리 결정된 복수의 감정 종류별로 결정됨 -;
상기 복수의 학습자의 학습 중 시간별 감정의 강도 및 집중도에 기반하여 학습자 그룹 정보를 결정하는 단계; 및
상기 학습자 그룹 정보를 상기 학습 컨텐츠에 대응하는 교사 단말에게 전송하는 단계를 더 포함하고,
상기 학습자 그룹 정보는, 상기 복수의 학습자의 학습 중 특정 감정의 평균 감정 강도, 평균 집중도, 상기 특정 감정의 감정 강도가 임계 감정 강도 미만인 제1 학습자의 정보, 집중도가 임계 집중도 미만인 제2 학습자의 정보를 포함하는,
방법.
- 제5 항에 있어서,
상기 복수의 학습자의 학습 중 특정 감정의 상기 평균 감정 강도가 상기 임계 강도 미만이거나, 상기 평균 집중도가 상기 임계 집중도 미만인 경우, 상기 복수의 학습자 단말에게 환기 컨텐츠를 전송하는 단계;
상기 제1 학습자 또는 상기 제2 학습자에 대응하는 학습자 단말에게 상기 환기 컨텐츠를 전송하는 단계를 더 포함하는,
방법.
- 제6 항에 있어서,
상기 환기 컨텐츠는 학습 휴식의 권고 메시지 출력, 스트레칭 동영상의 출력, 휴식 시간의 카운팅 표시 출력, 상기 학습 컨텐츠를 출력하는 화면의 배경 색깔 변화 출력, 비프 사운드(beep sound)의 출력, 백색 소음의 출력 중 적어도 하나의 시퀀스를 포함하고,
상기 환기 컨텐츠는 상기 평균 감정 강도, 상기 평균 집중도, 상기 제1 학습자의 상기 감정 강도, 상기 제2 학습자의 상기 집중도 중 적어도 하나에 따라서 상기 시퀀스의 종류 개수, 상기 시퀀스의 출력 강도 중 적어도 하나가 조정되도록 구성되고,
상기 출력 강도는, 상기 시퀀스의 단위 시간 당 출력 빈도, 상기 시퀀스의 시청각적 출력 강도 중 적어도 하나와 관련되는,
방법.
- 제7 항에 있어서,
상기 시퀀스의 종류 개수, 상기 시퀀스의 출력 강도 중 적어도 하나는 상기 평균 감정 강도, 상기 평균 집중도, 상기 제1 학습자의 상기 감정 강도, 상기 제2 학습자의 상기 집중도 중 적어도 하나의 구간 및 하락 기울기에 따라서 조정되는,
방법.
- 통신 시스템에서 서버에 있어서,
메모리, 송수신기 및 프로세서를 포함하고,
상기 프로세서는, 제1 항 내지 제8 항 중 어느 한 항에 따른 동작 방법을 수행하도록 구성된,
서버.
- 제1 항 내지 제8 항 중 어느 한 항에 따른 서버의 동작 방법을 수행하도록 구성되며, 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200164516A KR20220075908A (ko) | 2020-11-30 | 2020-11-30 | 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200164516A KR20220075908A (ko) | 2020-11-30 | 2020-11-30 | 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220075908A true KR20220075908A (ko) | 2022-06-08 |
Family
ID=81980807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200164516A KR20220075908A (ko) | 2020-11-30 | 2020-11-30 | 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220075908A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115993796A (zh) * | 2023-02-21 | 2023-04-21 | 杭州集联科技有限公司 | 一种基于环境信息分析的智慧黑板系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101289870B1 (ko) | 2012-08-27 | 2013-07-26 | 권장환 | 스마트단말기를 이용한 스마트 수업 진행시스템 |
-
2020
- 2020-11-30 KR KR1020200164516A patent/KR20220075908A/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101289870B1 (ko) | 2012-08-27 | 2013-07-26 | 권장환 | 스마트단말기를 이용한 스마트 수업 진행시스템 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115993796A (zh) * | 2023-02-21 | 2023-04-21 | 杭州集联科技有限公司 | 一种基于环境信息分析的智慧黑板系统 |
| CN115993796B (zh) * | 2023-02-21 | 2024-04-26 | 杭州集联科技有限公司 | 一种基于环境信息分析的智慧黑板系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vinola et al. | A survey on human emotion recognition approaches, databases and applications | |
| US10517521B2 (en) | Mental state mood analysis using heart rate collection based on video imagery | |
| US20200175262A1 (en) | Robot navigation for personal assistance | |
| KR102277820B1 (ko) | 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법 | |
| US11151610B2 (en) | Autonomous vehicle control using heart rate collection based on video imagery | |
| Gunes et al. | Bodily expression for automatic affect recognition | |
| Petrantonakis et al. | Emotion recognition from EEG using higher order crossings | |
| US20170011258A1 (en) | Image analysis in support of robotic manipulation | |
| Ramirez et al. | Color analysis of facial skin: Detection of emotional state | |
| KR102531002B1 (ko) | 웨어러블 장치를 이용하여 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 | |
| CN108904163A (zh) | 轮椅控制方法及系统 | |
| Krumhuber et al. | The role of facial movements in emotion recognition | |
| US11430561B2 (en) | Remote computing analysis for cognitive state data metrics | |
| CN105105771B (zh) | 潜能值测验的认知指标分析方法 | |
| CN112766173A (zh) | 一种基于ai深度学习的多模态情感分析方法及其系统 | |
| Monkaresi et al. | Classification of affects using head movement, skin color features and physiological signals | |
| KR102285482B1 (ko) | 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치 | |
| Savadi et al. | Face based automatic human emotion recognition | |
| KR20220075908A (ko) | 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치 | |
| Bhatia et al. | A multimodal system to characterise melancholia: cascaded bag of words approach | |
| Mousannif et al. | The human face of mobile | |
| Nakagawa et al. | A telecare system that estimates quality of life through communication | |
| Buck et al. | Measuring the dynamic stream of display: Spontaneous and intentional facial expression and communication. | |
| US20210236032A1 (en) | Robot-aided system and method for diagnosis of autism spectrum disorder | |
| Stöckli et al. | A practical guide for automated facial emotion classification 1 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |