KR102467774B1 - 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 - Google Patents
사용자의 학습 집중력을 지원하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR102467774B1 KR102467774B1 KR1020200110447A KR20200110447A KR102467774B1 KR 102467774 B1 KR102467774 B1 KR 102467774B1 KR 1020200110447 A KR1020200110447 A KR 1020200110447A KR 20200110447 A KR20200110447 A KR 20200110447A KR 102467774 B1 KR102467774 B1 KR 102467774B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- concentration
- output
- intensity
- electronic device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000009423 ventilation Methods 0.000 claims abstract description 54
- 238000007654 immersion Methods 0.000 claims abstract description 53
- 230000008859 change Effects 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 38
- 230000015654 memory Effects 0.000 claims description 29
- 230000004044 response Effects 0.000 claims description 29
- 230000001815 facial effect Effects 0.000 claims description 28
- 230000008451 emotion Effects 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 15
- 230000014509 gene expression Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 9
- 206010044565 Tremor Diseases 0.000 claims description 8
- 230000008921 facial expression Effects 0.000 claims description 8
- 230000008909 emotion recognition Effects 0.000 claims description 6
- 230000002996 emotional effect Effects 0.000 claims description 6
- 238000011017 operating method Methods 0.000 claims description 6
- 208000003443 Unconsciousness Diseases 0.000 claims description 5
- 230000000747 cardiac effect Effects 0.000 claims description 5
- 230000006998 cognitive state Effects 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims description 5
- 108091027981 Response element Proteins 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 208000030287 facial tremor Diseases 0.000 claims 1
- 238000003754 machining Methods 0.000 claims 1
- 230000000630 rising effect Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 210000003403 autonomic nervous system Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 210000001013 sinoatrial node Anatomy 0.000 description 2
- 210000002820 sympathetic nervous system Anatomy 0.000 description 2
- 238000012351 Integrated analysis Methods 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008512 biological response Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 208000006218 bradycardia Diseases 0.000 description 1
- 230000036471 bradycardia Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 229940088597 hormone Drugs 0.000 description 1
- 239000005556 hormone Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 210000004457 myocytus nodalis Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001734 parasympathetic effect Effects 0.000 description 1
- 210000001002 parasympathetic nervous system Anatomy 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 208000011726 slow pulse Diseases 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000008700 sympathetic activation Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02444—Details of sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/002—Denoising; Smoothing
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
- G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
- A61M2230/06—Heartbeat rate only
Abstract
본 발명은 사용자의 학습 집중력을 지원하기 위한 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 사용자가 학습 컨텐츠를 시청하는 동안 생체 정보를 획득 및 분석하고, 사용자의 집중도 및 몰입도가 떨어진 경우 환기 시퀀스를 출력하며, 사용자의 집중도 변화에 따라서 환기 시퀀스의 강도 및 출력 요소 종류를 적응적으로 조정하기 위한 방법 및 장치에 관한 것이다.
Description
본 발명은 사용자의 학습 집중력을 지원하기 위한 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 사용자가 학습 컨텐츠를 시청하는 동안 생체 정보를 획득 및 분석하고, 사용자의 집중도 및 몰입도가 떨어진 경우 환기 시퀀스를 출력하며, 사용자의 집중도 변화에 따라서 환기 시퀀스의 강도 및 출력 요소 종류를 적응적으로 조정하기 위한 방법 및 장치에 관한 것이다.
최근 코로나 19 바이러스의 유행 등으로 인하여 그룹 모임 학습이 줄어들고 각 사용자가 혼자 공부하면서 공부 영상을 타임 랩스(time lapse) 형식으로 남기거나 또는 SNS(social network service)로 공유하는 추세이다. 이와 같이 혼자 공부하는 방식은 타인과 함께 공부를 하는 것이 아니기 때문에 사용자 본인이 스스로 집중 및 몰입 여부를 확인하기 어렵다.
전자 장치를 이용하여 비대면으로 사용자의 학습 중 집중도 및 몰입도를 포함한 생체 정보를 획득하고 집중도 하락이 감지되는 경우 UI/UX(user interface/user experience)에 특수 효과 시퀀스를 출력할 수 있다면, 사용자에게 학습 의욕을 다시금 고취시킴으로써 전체적인 학습 집중도를 향상시킬 수 있다.
따라서, 사용자의 집중도가 떨어진 경우 환기 시퀀스를 출력하며, 사용자의 집중도 및 몰입도 변화에 따라서 시퀀스의 강도 및 출력 요소 종류를 적응적으로 조정하기 위한 방법 및 장치가 필요한 실정이다.
본 발명은 전술한 문제점을 해결하기 위하여 다음과 같은 해결 과제를 목적으로 한다.
본 발명은 심전도 정보, 집중도, 몰입도 등 비언어적 요소에 따른 생체 정보를 파악함으로써 사용자가 직접 표현하지 않더라도 정확한 생체 정보를 파악하고, 이에 기반하여 학습 집중력을 지원하기 위한 환기 시퀀스를 제공하는 것을 목적으로 한다.
본 발명은 사용자의 집중도가 떨어진 경우 환기 시퀀스를 출력하며, 사용자의 집중도 및 몰입도 변화에 따라서 시퀀스의 강도 및 출력 요소 종류를 적응적으로 조정하기 위한 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자가 명확하게 이해할 수 있을 것이다.
본 발명의 다양한 실시 예들에 따르면, 사용자의 학습 집중력을 지원하기 위한 전자 장치의 동작 방법이 제공된다. 상기 전자장치는 카메라, 출력장치, 메모리, 송수신기 및 적어도 하나의 프로세서를 포함하며, 상기 출력장치는 디스플레이 및 스피커 중 하나 이상을 포함한다. 상기 동작 방법은, 컨텐츠를 출력하는 과정과, 사용자의 얼굴을 포함하는 상반신에 대한 화상 이미지를 획득하는 과정과, 상기 화상 이미지에서 상기 사용자의 얼굴 미세 움직임으로부터 하나 이상의 심장 반응 유효 변수를 포함하는 생체 정보를 획득하는 과정과, 상기 하나 이상의 심장 반응 유효 변수로부터 상기 사용자의 집중도 수치 및 몰입도 수치를 획득하는 과정과, 상기 사용자의 상기 집중도 수치의 분당 평균 값이 임계 집중도 수치 이하로 떨어지는지 여부 및 상기 몰입도 수치의 분당 평균 값이 임계 몰입도 수치 이하로 떨어지는지 여부에 기반하여 환기 시퀀스의 출력 여부를 결정하는 과정과, 상기 환기 시퀀스는 복수의 요소들로 구성되며, 상기 환기 시퀀스의 출력을 결정한 경우, 상기 환기 시퀀스를 초기 설정된 강도 및 출력 요소 종류로 출력하는 과정과, 상기 출력 요소 종류는 상기 복수의 요소들 중 출력되는 하나 이상의 요소이며, 상기 집중도 수치의 변화에 기반하여 상기 환기 시퀀스의 강도 및 상기 출력 요소 종류를 조정하는 과정과, 상기 집중도 수치의 분당 평균 값 및 상기 몰입도 수치의 분당 평균 값이 상기 임계 집중도 수치 및 상기 임계 몰입도 수치 이상으로 회복된 경우, 상기 환기 시퀀스의 출력을 중단하는 과정을 포함한다.
본 발명의 다양한 실시 예들에 따르면, 사용자의 학습 집중력을 지원하기 위한 전자 장치가 제공된다. 상기 전자 장치는, 카메라, 출력장치, 메모리, 송수신기 및 적어도 하나의 프로세서를 포함하고, 상기 프로세서는, 본 발명의 다양한 실시 예들에 따른 사용자의 학습 집중력을 지원하기 위한 전자 장치의 동작 방법을 수행하도록 구성된다.
본 발명의 다양한 실시 예들에 따르면, 사용자의 학습 집중력을 지원하기 위한 전자 장치의 동작 방법을 수행하도록 구성되며, 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명은 심전도 정보, 집중도, 몰입도 등 비언어적 요소에 따른 생체 정보를 파악함으로써 사용자가 직접 표현하지 않더라도 정확한 생체 정보를 파악하고, 이에 기반하여 학습 집중력을 지원하기 위한 환기 시퀀스를 제공할 수 있다.
본 발명은 사용자의 집중도가 떨어진 경우 환기 시퀀스를 출력하며, 사용자의 집중도 및 몰입도 변화에 따라서 시퀀스의 강도 및 출력 요소 종류를 적응적으로 조정하기 위한 방법 및 장치를 제공할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자가 명확하게 이해할 수 있을 것이다.
도 1은 본 발명의 다양한 실시 예들에 따른 통신 시스템을 도시한다.
도 2는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성에 대한 블록도를 도시한다.
도 3은 본 발명의 다양한 실시 예들에 따른 서버의 구성에 대한 블록도를 도시한다.
도 4는 본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시한다.
도 5는 본 발명의 다양한 실시 예들에 따른 생체 정보 획득 과정의 일 예를 도시한다.
도 6은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지로부터 얼굴 포인트들을 검출하는 과정의 일 예를 도시한다.
도 7은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반하여 심장 반응 정보 및 사용자 표정 정보를 인식하는 과정의 일 예를 도시한다.
도 8은 본 발명의 다양한 실시 예들에 따라서, 사용자의 생체 정보를 수집하고 서비스 솔루션을 제공하는 과정을 도시한다.
도 9는 본 발명의 다양한 실시 예들에 따른 생체 정보의 일 예를 도시한다.
도 10은 본 발명의 다양한 실시 예들에 따라서 집중도(focus) 몰입도(engagement)의 관계를 도시한다.
도 2는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성에 대한 블록도를 도시한다.
도 3은 본 발명의 다양한 실시 예들에 따른 서버의 구성에 대한 블록도를 도시한다.
도 4는 본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시한다.
도 5는 본 발명의 다양한 실시 예들에 따른 생체 정보 획득 과정의 일 예를 도시한다.
도 6은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지로부터 얼굴 포인트들을 검출하는 과정의 일 예를 도시한다.
도 7은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반하여 심장 반응 정보 및 사용자 표정 정보를 인식하는 과정의 일 예를 도시한다.
도 8은 본 발명의 다양한 실시 예들에 따라서, 사용자의 생체 정보를 수집하고 서비스 솔루션을 제공하는 과정을 도시한다.
도 9는 본 발명의 다양한 실시 예들에 따른 생체 정보의 일 예를 도시한다.
도 10은 본 발명의 다양한 실시 예들에 따라서 집중도(focus) 몰입도(engagement)의 관계를 도시한다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
도 1은 본 발명의 다양한 실시 예들에 따른 통신 시스템을 도시한다.
도 1을 참고하면, 본 발명의 다양한 실시 예들에 따른 통신 시스템은 전자 장치(110), 유/무선 통신 네트워크(120), 서버(130)를 포함한다. 전자 장치(110)는 사용자(100)의 생체 정보를 획득하고, 사용자(100)에게 시청각 컨텐츠를 출력한다.
전자 장치(110)는, 유/무선 통신 네트워크(120)를 통하여 서버(130)로부터 사용자의 집중도 수치와 환기 시퀀스의 강도 및 환기 시퀀스 중 출력 요소 종류에 대한 시계열 맵핑 정보를 수신하고, 서버(130)에게 사용자의 새로 획득된 집중도 및 몰입도 수치의 정보를 전송할 수 있는 단말 장치이다. 전자 장치(110)는 퍼스널 컴퓨터, 셀룰러 폰, 스마트 폰 및 태블릿 컴퓨터 등과 같이, 정보를 저장할 수 있는 메모리, 정보의 송수신을 수행할 수 있는 송수신부, 정보의 연산을 수행할 수 있는 적어도 하나의 프로세서를 포함하는 전자 장치일 수 있다.
유/무선 통신 네트워크(120)는, 전자 장치(110) 및 서버(130)가 서로 신호 및 데이터를 송수신할 수 있는 통신 경로를 제공한다. 유/무선 통신 네트워크(120)는 특정한 통신 프로토콜에 따른 통신 방식에 한정되지 않으며, 구현 예에 따라 적절한 통신 방식이 사용될 수 있다. 예를 들어, 인터넷 프로토콜(IP) 기초의 시스템으로 구성되는 경우 유/무선 통신 네트워크(120)는 유무선 인터넷망으로 구현될 수 있으며, 전자 장치(110) 및 서버(130)가 이동 통신 단말로서 구현되는 경우 유/무선 통신 네트워크(120)는 셀룰러 네트워크 또는 WLAN(wireless local area network) 네트워크와 같은 무선망으로 구현될 수 있다.
서버(130)는, 유/무선 통신 네트워크(120)를 통하여 전자 장치(110)에게 사용자의 집중도 수치와 환기 시퀀스의 강도 및 환기 시퀀스 중 출력 요소 종류에 대한 시계열 맵핑 정보를 전송하고, 전자 장치(110)로부터 사용자의 새로 획득된 집중도 및 몰입도 수치의 정보를 수신할 수 있는 단말 장치이다. 서버(130)는 정보를 저장할 수 있는 메모리, 정보의 송수신을 수행할 수 있는 송수신부, 정보의 연산을 수행할 수 있는 적어도 하나의 프로세서를 포함하는 전자 장치일 수 있다.
도 2는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성에 대한 블록도를 도시한다.
도 2를 참고하면, 본 발명의 다양한 실시 예들에 따른 전자 장치(110)는 메모리(111), 송수신부(112), 프로세서(113), 카메라(114) 및 출력장치(115)를 포함한다.
메모리(111)는, 송수신부(112)와 연결되고 통신을 통해 서버(130)로부터 수신한 사용자의 집중도 수치와 환기 시퀀스의 강도 및 환기 시퀀스 중 출력 요소 종류에 대한 시계열 맵핑 정보, 환기 시퀀스 데이터 등을 저장할 수 있다. 또한, 메모리(111)는, 프로세서(113)와 연결되고 프로세서(113)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(113)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 메모리(111)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(111)는 프로세서(113)의 요청에 따라 저장된 데이터를 제공할 수 있다.
송수신부(112)는, 프로세서(113)와 연결되고 신호를 전송 및/또는 수신한다. 송수신부(113)의 전부 또는 일부는 송신기(transmitter), 수신기(receiver), 또는 송수신기(transceiver)로 지칭될 수 있다. 송수신기(112)는 유선 접속 시스템 및 무선 접속 시스템들인 IEEE(institute of electrical and electronics engineers) 802.xx 시스템, IEEE Wi-Fi 시스템, 3GPP(3rd generation partnership project) 시스템, 3GPP LTE(long term evolution) 시스템, 3GPP 5G NR(new radio) 시스템, 3GPP2 시스템, 블루투스(bluetooth) 등 다양한 무선 통신 규격 중 적어도 하나를 지원할 수 있다.
프로세서(113)는, 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(113)는 사용자의 학습 집중력을 지원하기 위한 전자 장치(110)의 전반적인 동작들을 제어한다. 예를 들어, 프로세서(113)는 송수신부(112)를 통해 정보 등을 전송 또는 수신한다. 또한, 프로세서(113)는 메모리(111)에 데이터를 기록하고, 읽는다. 프로세서(113)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.
카메라(114)는, 사용자의 얼굴을 포함하는 상반신에 대한 화상 이미지를 획득하도록 구성될 수 있다. 카메라(114)에 의하여 획득된 화상 이미지는 메모리(111)에 저장될 수 있고 프로세서(113)에 의하여 분석될 수 있다.
출력 장치(115)는, 디스플레이 및 스피커 중 하나 이상을 포함한다. 출력 장치(115)는 프로세서(113)의 제어에 따라서 컨텐츠를 출력하거나 또는 환기 시퀀스를 출력하도록 구성될 수 있다.
도 3은 본 발명의 다양한 실시 예들에 따른 서버의 구성에 대한 블록도를 도시한다.
도 3을 참고하면, 본 발명의 다양한 실시 예들에 따른 서버(130)는 메모리(131), 송수신부(132) 및 프로세서(133)를 포함한다.
서버(130)는 사용자의 컨텐츠 시청에 따른 생체 정보 변화와 컨텐츠 정보의 맵핑에 대한 누적 데이터를 저장하고, 전자 장치(110)의 요청에 따라서 컨텐츠의 데이터를 전송할 수 있는 서버를 의미한다.
메모리(131)는, 송수신부(132)와 연결되고 통신을 통해 수신한 정보 등을 저장할 수 있다. 또한, 메모리(131)는, 프로세서(133)와 연결되고 프로세서(133)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(133)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 메모리(131)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(131)는 프로세서(133)의 요청에 따라 저장된 데이터를 제공할 수 있다.
송수신부(132)는, 프로세서(133)와 연결되고 신호를 전송 및/또는 수신한다. 송수신부(132)의 전부 또는 일부는 송신기(transmitter), 수신기(receiver), 또는 송수신기(transceiver)로 지칭될 수 있다. 송수신기(132)는 유선 접속 시스템 및 무선 접속 시스템들인 IEEE(institute of electrical and electronics engineers) 802.xx 시스템, IEEE Wi-Fi 시스템, 3GPP(3rd generation partnership project) 시스템, 3GPP LTE(long term evolution) 시스템, 3GPP 5G NR(new radio) 시스템, 3GPP2 시스템, 블루투스(bluetooth) 등 다양한 무선 통신 규격 중 적어도 하나를 지원할 수 있다.
프로세서(133)는, 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(133)는 사용자의 학습 집중력을 지원하기 위하여 서버(130)의 전반적인 동작들을 제어한다. 예를 들어, 프로세서(133)는 송수신부(132)를 통해 정보 등을 전송 또는 수신한다. 또한, 프로세서(133)는 메모리(131)에 데이터를 기록하고, 읽는다. 프로세서(135)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.
도 4는 본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시한다. 도 4의 실시 예에서, 전자 장치는 카메라, 출력 장치, 메모리, 송수신기 및 적어도 하나의 프로세서를 포함하며, 상기 출력 장치는 디스플레이 및 스피커 중 하나 이상을 포함한다.
도 4를 참조하면, S401 단계에서, 전자 장치는 출력 장치를 통해 컨텐츠를 출력한다.
S402 단계에서, 전자 장치는 카메라를 통해 사용자의 얼굴을 포함하는 상반신에 대한 화상 이미지를 획득한다.
S403 단계에서, 전자 장치는 프로세서를 통해 화상 이미지에서 상기 사용자의 얼굴 미세 움직임으로부터 하나 이상의 심장 반응 유효 변수를 포함하는 생체 정보를 획득한다.
본 발명의 다양한 실시 예들에 따르면, S403 단계는, 상기 화상 이미지에서 상기 사용자의 얼굴 특징 영역을 검출하는 과정과, 상기 얼굴 특징 영역에서 무의식적 얼굴 미세 떨림 데이터를 추출하고 의식적 움직임으로 인한 노이즈의 제거를 수행하는 과정과, 상기 무의식적 얼굴 미세 떨림 데이터로부터 상기 사용자의 심박수 및 진폭 정보를 획득하는 과정을 포함할 수 있다.
S404 단계에서, 전자 장치는 프로세서를 통해 하나 이상의 심장 반응 유효 변수로부터 상기 사용자의 집중도 수치 및 몰입도 수치를 획득한다.
본 발명의 다양한 실시 예들에 따르면, S404 단계는, 상기 사용자의 심박수 및 진폭 정보를 포함하는 상기 하나 이상의 심장 반응 유효 변수로부터 상기 사용자의 집중도 수치를 획득하는 과정과, 상기 집중도 수치의 임계 값 이상 유지 정도에 따라서 상기 몰입도 수치를 획득하는 과정을 포함할 수 있다.
S405 단계에서, 전자 장치는 프로세서를 통해 사용자의 상기 집중도 수치의 분당 평균 값이 임계 집중도 수치 이하로 떨어지는지 여부 및 상기 몰입도 수치의 분당 평균 값이 임계 몰입도 수치 이하로 떨어지는지 여부에 기반하여 환기 시퀀스의 출력 여부를 결정한다. 상기 환기 시퀀스는 복수의 요소들로 구성된다.
본 발명의 다양한 실시 예들에 따르면, 환기 시퀀스를 구성하는 상기 복수의 요소들은 학습 휴식의 권고 메시지 출력, 스트레칭 동영상의 출력, 휴식 시간의 카운팅 표시 출력, 상기 학습 컨텐츠를 출력하는 화면의 배경 색깔 변화 출력, 비프 사운드(beep sound)의 출력, 백색 소음의 출력을 포함하고, 상기 환기 시퀀스의 강도는, 상기 환기 시퀀스의 단위 시간 당 출력 빈도, 상기 환기 시퀀스의 시청각적 출력 강도 중 적어도 하나와 관련될 수 있다.
S406 단계에서, 전자 장치는 환기 시퀀스의 출력을 결정한 경우, 출력 장치를 통해 상기 환기 시퀀스를 초기 설정된 강도 및 출력 요소 종류로 출력한다. 상기 출력 요소 종류는 상기 복수의 요소들 중 출력되는 하나 이상의 요소이다.
S407 단계에서, 전자 장치는 프로세서를 통해 집중도 수치의 변화에 기반하여 상기 환기 시퀀스의 강도 및 상기 출력 요소 종류를 조정한다.
본 발명의 다양한 실시 예들에 따르면, S407 단계는, 집중도 수치가 상기 임계 집중도 수치에서 하락하는 경우, 상기 비프 사운드의 출력 강도를 조정하는 과정과, 상기 집중도 수치가 상기 임계 집중도 수치 이하에서 상승하는 경우, 상기 백색 소음의 출력 강도를 조정하는 과정을 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, S407 단계는, 복수의 요소들 중 상기 출력 요소 종류의 개수를 상기 집중도 수치의 구간 및 하락 기울기에 따라서 조정하는 과정을 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 도 4의 실시 예는, 집중도 수치의 변화, 상기 환기 시퀀스의 강도 및 상기 출력 요소 종류에 대한 시계열 맵핑 정보를 저장하는 과정과, 상기 시계열 맵핑 정보를 서버에게 송신하는 과정과, 상기 서버로부터 누적된 시계열 맵핑 정보를 수신하는 과정을 더 포함할 수 있으며, S407 단계는 상기 누적된 맵핑 정보에 기반하여 수행될 수 있다.
본 발명의 다양한 실시 예들에 따르면, S407 단계는, 상기 누적된 맵핑 정보에 기반하여 상기 환기 시퀀스의 강도 및 상기 출력 요소 종류의 조정 전후 상기 집중도 수치가 하락에서 상승으로 전환된 강도 및 출력 요소 종류 중 가장 낮은 강도 및 상기 출력 요소 종류부터 순서대로 적용함으로써 수행될 수 있다. 이와 같은 동작을 통해, 집중도 및 몰입도가 떨어졌더라도, 필요 이상의 강도 또는 필요 이상의 많은 종류의 출력 요소를 출력하기 보다는, 집중도 및 몰입도의 상승이라는 목적을 달성할 수 있는 최소의 강도 또는 최소의 종류의 출력 요소를 출력할 수 있다.
S408 단계에서, 전자 장치는 프로세서를 통해 집중도 수치의 분당 평균 값 및 상기 몰입도 수치의 분당 평균 값이 상기 임계 집중도 수치 및 상기 임계 몰입도 수치 이상으로 회복되었는지 여부를 결정한다.
S409 단계에서, 전자 장치는 집중도 수치의 분당 평균 값 및 상기 몰입도 수치의 분당 평균 값이 상기 임계 집중도 수치 및 상기 임계 몰입도 수치 이상으로 회복된 경우, 출력 장치를 통해 상기 환기 시퀀스의 출력을 중단한다.
도 5는 본 발명의 다양한 실시 예들에 따른 생체 정보 획득 과정의 일 예를 도시한다.
도 5를 참조하면, 사용자의 얼굴을 포함하는 상반신에 대한 화상 이미지로부터 사용자의 생체 정보를 획득하는 과정의 일 예를 도시한다.
구체적으로, 전자 장치는 화상 이미지 중 얼굴 내 특정 감정 점들의 패턴, 상반신 내 특정 움직임 점들의 패턴을 분석함으로써 사용자의 감정 종류, 감정 비율의 정보를 획득할 수 있다. 보다 상세하게는, 사용자로부터 기본 표정(무표정)과 이에 비교되는 다수의 감정상태에 따르는 감정 표정의 안면 영상을 획득하고, 기본 표정 또는 감정 표현의 안면 영상에, 안면 부위별 기준 정점을 정의하는 표준 모델을 마스킹(매칭)하여 사용자의 안면 영상에 안면 부위별로 다수의 정점들을 맵핑한 이후에 기본 표정과 감정 표현의 안면 영상에서 동일 안면 부위에서의 정점간의 좌표 변화 값을 추출하고 상기 정점들을 인체 안면에 정의되어 있는 표정단위(Action Unit)으로 별로 그룹화하고, 표정단위 그룹별 정점들의 중점(Centroid)의 변화 값을 포함하는 표정단위 안면 움직임 정보를 추출하고 추출한 안면 움직임 정보를 데이터 베이스화 하여 사용자의 생체 정보를 획득할 수 있다.
도 6은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지로부터 얼굴 포인트들을 검출하는 과정의 일 예를 도시한다.
구체적으로, 도 6은 사용자의 얼굴을 포함한 상반신에 대한 화상 이미지로부터 얼굴 이미지 데이터를 추출하는 과정을 도시한다.
우선, 전자 장치는 Haar 특징 추출을 수행한다. 구체적으로, 전자 장치는 눈, 코와 같은 얼굴 특징에 해당하는 커널을 이용해 이미지의 각 부분을 픽셀 단위로 비교하여 입력 영상 이미지로부터 얼굴이 존재할 확률을 계산한다. 전자 장치는 입력 영상에서 검정 영역과 흰색 영역에 해당하는 밝기 값을 빼서 임계 값 이상인 것을 찾는다.
다음으로, 전자 장치는 캐스케이드(cascade) 분류를 수행한다. 구체적으로, 전자 장치는 Haar 특징으로 얼굴 여부를 인식할 수 있는 캐스케이드 분류기를 사용하여 얼굴을 검출한다. 도 6의 실시 예에서는 미리 트레이닝된 Frontalface_alt2 모델을 적용하였다. 전자 장치는 눈과 같은 확실한 Haar 특징으로부터 후보를 축소한 후, 자세한 얼굴 요소의 Haar 특징으로 최종 얼굴을 검출한다.
다음으로, 전자 장치는 랜드마크를 검출한다. 도 6의 실시 예에서는, 전자 장치가 iBUG 300-W 데이터셋으로 트레이닝 된 DLIB 기반 Regression Trees 앙상블 모델을 적용하였다. Haar 모델로부터 검출된 정면 얼굴에 대해 눈, 코, 입, 눈썹, 턱 등에 대한 얼굴 포인트 68개를 검출한다. 각 얼굴 포인트는 2차원 공간에서 x, y 좌표 값을 지니고 있다.
다음으로, 전자 장치는 좌표계 정규화를 수행한다. 구체적으로, 검출된 얼굴 포인트는 화면의 왼쪽 상단을 원점으로 하는 좌표계에 위치하고 있다. 이는 동일한 표정임에도 불구하고 얼굴의 위치에 따라 다른 값을 보일 수 있어 노이즈로 작용한다. 따라서 미간을 원점으로 하는 상대좌표계로 정규화하여 이러한 문제를 해결할 수 있다.
도 7은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반하여 심장 반응 정보 및 사용자 표정 정보를 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 7은 본 발명의 다양한 실시 예들에 따른 비접촉 영상 기반 센싱 기술을 도시한다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 영상 기반 비접촉으로 사용자의 내면 반응을 실시간으로 센싱하고, 영상에서 감지된 얼굴의 미세 떨림에 기반하여 사용자의 심장 반응, 감정 반응을 분석할 수 있다.
도 7을 참조하면, 1 단계로, 전자 장치는 영상 기반 비접촉 실시간 얼굴 이미지를 검출 및 추적할 수 있다. 전자 장치는 영상 기반 비접촉식 얼굴 특징 영역을 검출할 수 있다. 전자 장치는 사용자의 얼굴 특징 영역 별 실시간 신호를 추적해서 분석할 수 있다.
2 단계로, 전자 장치는 얼굴 미세 떨림 추출 및 의식적 움직임 노이즈 제거를 수행할 수 있다. 구체적으로, 전자 장치는 1 단계에서 분석한 신호에 대하여 주파수 스펙트럼을 분석하고, 움직임을 노이즈 필터링하여, 사용자의 무의식적인 미세 움직임을 추출할 수 있다.
3 단계로, 전자 장치는 사용자의 무의식적 미세 떨림에 기반하여 사용자의 심장 반응을 분석할 수 있다. 구체적으로, 사용자의 무의식적 미세 움직임 데이터에 기반하여 ECG(electrocardiogram), RRI(R-R interval)을 추출하고, ECG, RRI에 대한 시간 도메인 분석하며, ECG, RRI를 주파수 파워 스펙트럼 변환 후 주파수 도메인 분석함으로써, 심장 반응의 유효 변수들을 추출할 수 있다. 전자 장치는 심장 반응의 유효 변수들에 기반하여 사용자의 심장 반응을 분석할 수 있다.
4 단계로, 전자 장치는 사용자의 무의식적 미세 떨림에 기반하여 사용자의 표정을 분석할 수 있다. 구체적으로, 전자 장치는 얼굴 이미지 내 AU(action units)-특징점을 맵핑하고, 모든 AU에 대하여 프레임 평균을 도출하며, 임계 값에 기반하여 모든 AU 후보 중 특정 AU를 선택하고, 선택된 AU로부터 표정 유효 변수들을 추출할 수 있다. 전자 장치는 표정 유효 변수들에 기반하여 사용자의 감정을 분석할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치는 카메라에 기반하여 사용자의 심장 반응, 표정, 시선, 음성 등 여러 변수들의 유기적인 관계를 고려하여 사용자의 내면 반응을 비접촉으로 분석할 수 있다.
전자 장치는 화상 이미지 중 얼굴의 미세 떨림 정보를 이용하여 심박수 정보 및 진폭 정보를 포함하는 심전도 정보를 획득할 수 있다. 이 때, 비접촉 형태의 카메라를 이용하여 영상으로부터 미세한 움직임 정보를 추출하여 이로부터 심전도 정보를 획득할 수 있다. 구체적으로, 아래와 같은 방법으로 심전도 정보를 획득할 수 있다.
1) (영상 획득) 사용자의 얼굴이 포함되는 상반신 화상 이미지로부터 연속적인 영상 데이터를 생성한다.
2) (안면 트랙킹-Face Tracking) 인체의 미세한 움직임을 머리에서 추출하기 위하여 OpenCV를 이용한 안면인식을 통하여 영상정보를 분리한다. OpenCV에 기반을 둔 안면인식시스템(facial recognition system)은 디지털 이미지를 통해 각 사람을 자동으로 식별하는 컴퓨터 지원 응용 프로그램을 말하며, 이는 화상 이미지에 나타나는 선택된 얼굴 특징과 안면 데이터베이스를 서로 비교함으로써 이루어진다. 도 6의 원본 영상에 나타나는 사각형이 안면부분의 트랙킹 영역을 나타낸다. 이것은 사용자의 움직임에 대응하여 안면 부분에 대한 트랙킹이 수행된다.
3) (공간 분리-Spatial Decomposition) 잘 알려진 영상의 공간 분리 기법으로 가우시안(Gaussian blur)와 다운 샘플링(down sample)을 통하여 각 주파수(Frequency)별 공간을 분리한다.
4) (미세움직임 정보 추출) 생체신호간 상관성이 있는 주파수 대역을 선정하고 그 선정된 대역의 미세움직임 정보를 취득한다.
5) (시간 처리-Temporal Processing) 상기 추출된 미세움직임 정보를 시간처리를 이용해 시간의 흐름에 따른 미세움직임 정보와 관련된 주파수 대역의 데이터를 추출하고 추출된 데이터를 증폭한다.
6) (심전도 정보 추출) 미세움직임 정보와 관련된 주파수 대역의 데이터 값을 매 일정 시간마다 측정되는 영상의 움직임 데이터의 1프레임의 평균의 차이 값을 계산하여 이전 상태와 현 상태의 평균적으로 움직임의 차이 값을 계산하여 미세 움직임의 양을 추출하여 이를 심전도 정보로 변환할 수 있다.
나아가, 전자 장치는 심전도 정보인 심박수 및 진폭 정보에 기반하여 사용자의 집중도 수치에 대한 정보를 획득할 수 있다.
일 예로, 사용자는 게임과 같은 흥미로운 컨텐츠를 통해 자극을 받게 되는데, 이때 퀘스트 등이 주어지는 경우 교감적 활성화가 나타내게 되고, 집중도 수준에 따라 심박과 진폭 간의 특정 관계가 도출될 수 있다.
즉, 일반적으로 사용자에게 자극이 적은 중립상태에서는 서맥(느린 맥박) 범위에서는 심박 빠르기가 느리며 이에 따라 1회 심박출량이 커져야 하는 반면에, 고몰입(High Engagement) 및 저몰입(Low Engagement)에서는 중립상태에 비해 상대적으로 심박수가 높아지고 진폭이 작아지는 패턴을 보이게 된다.
구체적으로, 심박수와 진폭의 상호작용의 룰을 분석하여 집중도를 정량적으로 해석할 수 있으며, 특정 자극에 대해 집중하고 있는 사용자의 심전도 신호를 검출하고, 심전도 신호로부터 심박수(BPM)과 실제 진폭(actual amplitude) 데이터를 검출한다. 검출된 데이터를 분석하여 심박수와 실제 진폭 간의 상관관계를 통해 집중도를 도출해 낼 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는, 화상 이미지를 획득하면서 동시에 추가적으로 사용자의 음성 정보를 획득할 수 있다. 전자 장치는 음성 정보 내 운율 특성, 음성 스펙트럼 특성을 분석함으로써 사용자의 감정 종류, 감정 비율의 정보를 획득할 수 있다. 즉, 전자 장치는 화상 이미지 중 얼굴 내 특정 감정 점들의 패턴, 상반신 내 특정 움직임 점들의 패턴과 함께 음성 정보 내 운율 특성, 음성 스펙트럼 특성에 기반하여 사용자의 감정 종류, 감정 비율의 정보를 획득할 수 있다.
한편, 본 발명의 다른 실시예에서 전자 장치는 웨어러블 디바이스로부터 수신한 심전도 정보, 영상정보 및 음성정보에 따라 사용자의 생체정보를 획득할 수 있다. 즉, 사용자가 스마트 와치(smart watch)와 같은 웨어러블 장치를 착용하고, 웨어러블 장치가 사용자의 신체와 접촉하면서 심전도 정보를 측정할 수 있다. 이 경우, 전자 장치는 웨어러블 장치로부터 블루투스 등의 무선 통신을 통해 측정된 심전도 정보를 수신할 수 있다. 전자 장치는 수신한 심전도 정보에 기반하여 사용자의 심박수, 집중도 등의 생체 정보를 산출할 수 있다. 또한, 전자 장치는 상술한 화상 이미지와 웨어러블 장치로부터 수신한 심전도 정보를 함께 고려하여 사용자의 심박수, 집중도 등의 생체 정보를 산출할 수 있다.
도 8은 본 발명의 다양한 실시 예들에 따라서, 사용자의 생체 정보를 수집하고 서비스 솔루션을 제공하는 과정을 도시한다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 메모리에 저장된 프로그램 및 프로세서의 구동을 통하여 비대면 학습 시 발생하는 학습자의 비언어적 표현, 학습매체와의 상호작용 등을 인공지능 기술로 분석하여 사용자 감정 및 인지 상태를 정량적으로 측정하는 감정인식 엔진을 구현할 수 있다. 예를 들어, 전자 장치는 i) 카메라 및 마이크 기반 사용자의 영상 및/또는 음성 데이터를 수집 및 축적하고, ii) 얼굴의 반응 요소(표정, 시선 처리), 생체 반응 요소(몰입도, 긴장도, 집중도), 음성 반응 요소(운율 특성, 스펙트럼 특성, 음가/음질 특성, 강세, 발음, 억양)를 추출 및 분석하며, iii) 반응 요소 별 데이터를 처리 및 가공(반응 요소 별 측정 값 통합, 유효 변수 분석, 유효 변수 별 감정 인식 판별, 필터링 및 통합 분석, 멀티 모달 데이터 정제 및 가공)하며, iv) 감정 데이터를 분석 및 연동 연계(감정 분석 결과 기반 리포트 생성, 맞춤형 활동 교수 설계 및 추천)를 할 수 있다.
도 9는 본 발명의 다양한 실시 예들에 따른 생체 정보의 일 예를 도시한다.
도 9의 그래프들은 본 발명의 다양한 실시 예들에 따라서 획득한 사용자의 생체 정보 중 심박수(heart rate, HR), 집중도(focus), 몰입도(engagement)에 대한 정보를 나타낸다.
도 9의 좌측 그래프는 사용자의 시간별 심박수(heart rate, HR), 집중도(focus), 몰입도(engagement)의 평균 값 대비 시간별 상대적 변화를 도시한다. 구체적으로, y축은 심박수, 집중도의 평균 값을 50으로 하였을 때 시간 별 상대적 수치를 도시하며, x 축은 시간을 나타낸다. 도 9의 좌측 그래프에 따르면, 집중(focused) 상태가 일정 시간 지속되면 몰입(engagement) 상태가 나타남을 알 수 있다. 즉, 집중도가 증가하고 유지가 되어야 일정 시간 후 몰입도가 상승한다.
도 9의 우측 그래프는 사용자의 시간별 집중도를 나타낸다. 구체적으로, y축은 집중도의 수치를 나타내며, x 축은 시간을 나타낸다. y 축에서 2는 가장 높은 집중도를 의미하고, 0은 가장 낮은 집중도를 의미한다. y 축 값에 대하여, 0은 노말(normal), 1은 집중(focus), 2는 몰입(engage)을 의미할 수 있다. 예를 들어, 0의 노말 상태에서 집중도가 높아지면 사용자는 집중 상태에 들어가고, 사용자의 집중도가 집중 상태에서 더 높아져 2에 이르면 몰입 상태에 들어갈 수 있다.
본 발명의 다양한 실시 예들은, 도 9의 그래프들과 같이 추출한 사용자의 집중도를 높이는 것을 목적으로 한다.
도 10은 본 발명의 다양한 실시 예들에 따라서 집중도(focus) 몰입도(engagement)의 관계를 도시한다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 심장 반응 기반 감정 인식을 수행할 수 있다. 본 발명의 다양한 실시 예들에 따른 심장 반응 메커니즘은 다음과 같다. 심박수(heart rate, HR)는 동방결절의 심박 조율 세포의 자발성에 자율 신경계가 영향을 줌으로써 결정된다. 동방 결절은 자율 신경계(autonomic nervous system)의 교감 신경계(sympathetic)와 부교감 신경계(parasympathetic)의 균형 상태에 의해 심박 수를 결정한다. 교감 신경계는 각성 상태로 향하게 하는 반면, 부교감 신경계는 신체를 조용하고 이완 상태로 향하게 하는 특징을 보인다. 본 발명의 다양한 실시 예들에 따른 심장 반응과 감정의 분석은 다음과 같다. 호흡, 혈압, 호르몬, 감정 등에 대한 반응으로 심장의 변동성이 발생하고, 그에 따른 심박수의 상승이 이루어지면 교감 신경계 반응을 통한 각성 상태인 집중(focused)으로 판단한다. 이러한 집중 상태가 일정 시간 지속되면, 몰입(engagement) 상태로 판단한다. 따라서, 전자 장치는 i) 카메라를 이용한 사용자의 얼굴을 포함한 상반신 영상 입력, ii) 영상을 통한 사용자의 심박수 추출, iii) 심박수 기반 감정 인식을 통해, 심장 반응을 통한 감정 인식을 수행할 수 있다.
몰입(engagement)이란 헝가리 심리학자인 Csikszentmihalyi Mihaly에 의해 정의되었으며, 주위의 모든 잡념, 방해물들을 차단하고 원하는 어느 한 곳에 자신의 모든 정신을 집중하는 일을 의미한다. 몰입은 활동에 의해 만들어지는 어떤 즐거움과 관련이 있으며, 이런 감정이 동기 부여를 유발해 활동을 다시 하도록 유도하는 것이다. 따라서, 몰입의 상태는 즐거움(enjoyment) 및 주의력 집중(focused attention)과 밀접한 연관이 있다.
심리적 몰입의 상태에서 신체 반응은 다음과 같다. 사람의 감정은 신체적 무의식적 생리 반응을 유발하여, 관찰과 측정이 가능하다. 역-U 이론(Inverted-U theory)에 따르면, 각성 상태를 통해 작업 효율(performance)을 높일 수 있다. 따라서, 몰입은 각성으로 인해 평상시보다 집중이 이루어지는 상태로 정의할 수 있다. 도 10의 우측 그래프에 따르면, 집중(focused) 상태가 일정 시간 지속되면 몰입(engagement) 상태가 나타남을 알 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 심박수, 집중도, 몰입도 등 비언어적 요소에 따라 감성 데이터와 집중 데이터를 수집한다. 전자 장치는 심박수 등의 생체 정보 인식을 통해 획득한 집중도, 몰입도 등의 생체 정보 데이터를 누적하여 사용자의 반응도가 높은 환기 시퀀스를 분석 및 매칭할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 사용자의 활동 중 심박수와 같은 바이오 로그를 데이터로 수집하여 사용자의 집중도 및 몰입도가 높은 시점과 낮은 시점을 분석하고, 사용자의 집중도 및 몰입도가 떨어졌을 때 등 적절한 환기 시퀀스를 제공할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 사용자의 집중도 및 몰입도가 임계 집중도 및 임계 몰입도 이상을 일정 시간 이상 지속할 경우, 높은 집중 상태 및 몰입 상태가 지속되고 있음을 알리는 메시지를 출력함으로써, 사용자에게 집중 상태 및 몰입 상태를 계속하여 지속시킬 수 있는 동기를 유발할 수 있다. 이와 같은 메시지는 일종의 응원 메시지와 같이 사용자에게 학습 집중 및 몰입을 더욱 유지하도록 할 수 있다. 일 실시 예에 따르면, 사용자의 집중도 및 몰입도가 임계 집중도 및 임계 몰입도 이상을 지속하는 동안 정해진 시간 도과 후, 또는 정해진 주기마다 집중 상태 및 몰입 상태를 얼마나 유지하고 있는지를 알리는 메시지를 출력할 수 있다. 또한, 사용자가 집중 상태 및 몰입 상태에 돌입한 경우 출력 장치의 학습 컨텐츠 부분 외 UI/UX의 배경 이미지 또는 색을 변경함으로써, 사용자 스스로 학습 컨텐츠를 보면서 자신이 집중 상태 및 몰입 상태에 돌입하였다는 사실을 인지하도록 할 수 있다. 또한, 사용자가 집중 상태 및 몰입 상태에 돌입한 경우 출력 장치의 학습 컨텐츠 부분 외 UI/UX의 배경 이미지 또는 색을 변경함으로써, 사용자 스스로 학습 컨텐츠를 보면서 자신의 집중도 및 몰입도가 임계 집중도 및 임계 몰입도 이하로 떨어졌다는 사실을 인지하도록 할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 사용자의 감정 및 인지 상태에 대한 생체 정보를 실시간으로 분석하고, 일정 구간 집중이 높은 경우 사용자가 어떤 활동 또는 컨텐츠를 즐기고 있는지에 대한 데이터를 누적하여 저장할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치를 아동 학습 서비스 애플리케이션 분야에 적용할 경우, 전자 장치는 사용자의 학습 중 평균 집중도가 일정 수치 이하로 낮아질 때 미리 준비해둔 환기 시퀀스를 무작위로 제공하고 흥미도를 체크할 수 있다. 전자 장치는 누적된 데이터에 기반하여 높은 흥미도를 달성한 카테고리에 맞는 환기 시퀀스를 노출함으로써 사용자의 평균 집중도를 향상시킬 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 사용자의 컨텐츠 별 데이터가 장기적으로 쌓이면 기계 학습을 통해 빅데이터 분석을 하여 컨텐츠 조정 후 예상되는 사용자의 생체 정보 반응을 도출하고 사용자의 현재 생태 정보에 미루어 긍정적 변화가 높은 확률로 예상되는 환기 시퀀스를 제공할 수 있다.
하드웨어를 이용하여 본 발명의 실시 예를 구현하는 경우에는, 본 발명을 수행하도록 구성된 ASICs(application specific integrated circuits) 또는 DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays) 등이 본 발명의 프로세서에 구비될 수 있다.
한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능한 저장 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 포함하는 저장 디바이스를 설명하기 위해 사용될 수 있는 프로그램 저장 디바이스들은, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능한 저장 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.
이상에서 설명된 실시 예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시 예를 구성하는 것도 가능하다. 발명의 실시 예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시 예의 일부 구성이나 특징은 다른 실시 예에 포함될 수 있고, 또는 다른 실시 예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명이 본 발명의 기술적 사상 및 본질적인 특징을 벗어나지 않고 다른 형태로 구체화될 수 있음은 본 발명이 속한 분야 통상의 기술자에게 명백할 것이다. 따라서, 상기 실시 예는 제한적인 것이 아니라 예시적인 모든 관점에서 고려되어야 한다. 본 발명의 권리범위는 첨부된 청구항의 합리적 해석 및 본 발명의 균등한 범위 내 가능한 모든 변화에 의하여 결정되어야 한다.
100: 사용자 110: 전자 장치
111: 메모리 112: 송수신부
113: 프로세서 114: 카메라
115: 출력 장치 120: 유/무선 네트워크
130: 서버 131: 메모리
132: 송수신부 133: 프로세서
111: 메모리 112: 송수신부
113: 프로세서 114: 카메라
115: 출력 장치 120: 유/무선 네트워크
130: 서버 131: 메모리
132: 송수신부 133: 프로세서
Claims (10)
- 사용자의 학습 집중력을 지원하기 위한 전자 장치의 동작 방법에 있어서, 상기 전자장치는 카메라, 출력장치, 메모리, 송수신기 및 적어도 하나의 프로세서를 포함하며, 상기 출력장치는 디스플레이 및 스피커 중 하나 이상을 포함하고,
컨텐츠를 출력하는 과정과,
사용자의 얼굴을 포함하는 상반신에 대한 화상 이미지를 획득하는 과정과,
상기 화상 이미지에서 상기 사용자의 얼굴 미세 움직임으로부터 하나 이상의 심장 반응 유효 변수 및 감정 정보를 포함하는 생체 정보를 획득하는 과정, 상기 하나 이상의 심장 반응 유효 변수로부터 상기 사용자의 집중도 수치 및 몰입도 수치를 획득하는 과정,
상기 사용자의 상기 집중도 수치의 분당 평균 값이 임계 집중도 수치 이하로 떨어지는지 여부 및 상기 몰입도 수치의 분당 평균 값이 임계 몰입도 수치 이하로 떨어지는지 여부에 기반하여 환기 시퀀스의 출력 여부를 결정하는 과정 - 상기 환기 시퀀스는 복수의 요소들로 구성됨,
상기 환기 시퀀스의 출력을 결정한 경우, 상기 환기 시퀀스를 초기 설정된 강도 및 출력 요소 종류로 출력하는 과정 - 상기 출력 요소 종류는 상기 복수의 요소들 중 출력되는 하나 이상의 요소임,
상기 집중도 수치의 변화에 기반하여 상기 환기 시퀀스의 강도 및 상기 출력 요소 종류를 조정하는 과정,
상기 집중도 수치의 분당 평균 값이 상기 임계 집중도 수치 이상으로 회복된 경우 사용자의 인지 상태를 집중 상태로 판단하고 집중 상태의 사용자의 상기 몰입도 수치의 분당 평균 값이 상기 임계 몰입도 수치 이상으로 회복된 경우 사용자의 인지 상태를 몰입 상태로 판단하는 과정과,
상기 사용자의 인지 상태가 몰입 상태인 것으로 판단되면 상기 환기 시퀀스의 출력을 중단하는 과정을 포함하고,
상기 몰입 상태로 판단하는 과정은,
상기 사용자의 심박수 및 진폭 정보를 포함하는 상기 하나 이상의 심장 반응 유효 변수로부터 상기 사용자의 집중도 수치를 획득하는 과정과,
획득된 사용자의 집중도 수치가 임계 집중도 수치 이상 유지 정도에 따라서 상기 집중도 수치와 구별되는 상기 몰입도 수치를 획득하는 과정을 포함하고,
상기 사용자의 몰입 상태는 사용자의 집중도 수치로부터 획득된 사용자의 몰입도 수치가 상기 임계 몰입도 수치 이상으로 회복되고 사용자의 감정 정보가 즐거움일 경우에 판단되는 것이며,
상기 전자 장치는,
상기 사용자가 즐거운 감정을 갖는 지를 판단하기 위해, 사용자의 영상을 수집하는 동작, 수집된 영상으로부터 표정 반응 요소를 추출하여 표정 유효 변수에 따른 감정 정보를 산출하는 영상 기반 감정 인식 동작, 수집된 영상으로부터 심박수를 포함한 심장 반응 유효 변수를 추출하여 상기 심장 반응 유효 변수에 따른 감정 정보를 산출하는 심장 반응 기반 감정 인식 동작, 및 각 유효 변수에 따른 감정 정보를 처리하여 사용자의 감정 정보를 산출하는 멀티 모달 데이터 가공 동작을 수행하도록 구성되고,
상기 동작 방법은,
상기 집중도 수치의 변화, 상기 환기 시퀀스의 강도 및 상기 출력 요소 종류에 대한 시계열 맵핑 정보를 저장하는 과정,
상기 시계열 맵핑 정보를 서버에게 송신하는 과정과,
상기 서버로부터 누적된 시계열 맵핑 정보를 수신하는 과정을 더 포함하고,
상기 집중도 수치의 변화에 기반하여 상기 환기 시퀀스의 강도 및 상기 출력 요소 종류를 조정하는 과정은 상기 누적된 맵핑 정보에 기반하여 수행되는 것으로서, 상기 누적된 맵핑 정보에 포함된, 조정 전후에 따라 상기 집중도 수치가 하락에서 상승으로 전환된 복수의 강도 및 출력 요소 종류 중에서 가장 낮은 강도 및 가장 적은 출력 요소 종류로부터 보다 높은 순서대로 적용함으로써 상기 환기 시퀀스의 강도 및 상기 출력 요소 종류를 조정하는 것이고,
상기 환기 시퀀스의 강도는, 상기 환기 시퀀스의 단위 시간 당 출력 빈도, 상기 환기 시퀀스의 시청각적 출력 강도 중 적어도 하나와 관련되는 것을 특징으로 하는,
동작 방법.
- 청구항 1에 있어서,
상기 화상 이미지에서 상기 사용자의 얼굴 미세 움직임으로부터 상기 하나 이상의 심장 반응 유효 변수를 포함하는 상기 생체 정보를 획득하는 과정은,
상기 화상 이미지에서 상기 사용자의 얼굴 특징 영역을 검출하는 과정과,
상기 얼굴 특징 영역에서 무의식적 얼굴 미세 떨림 데이터를 추출하고 의식적 움직임으로 인한 노이즈의 제거를 수행하는 과정과,
상기 무의식적 얼굴 미세 떨림 데이터로부터 상기 사용자의 심박수 및 진폭 정보를 획득하는 과정을 포함하는,
동작 방법.
- 삭제
- 청구항 1에 있어서,
상기 환기 시퀀스를 구성하는 상기 복수의 요소들은 학습 휴식의 권고 메시지 출력, 스트레칭 동영상의 출력, 휴식 시간의 카운팅 표시 출력, 학습 컨텐츠를 출력하는 화면의 배경 색깔 변화 출력, 비프 사운드(beep sound)의 출력, 백색 소음의 출력을 포함하는,
동작 방법.
- 청구항 4에 있어서,
상기 집중도 수치의 변화에 기반하여 상기 환기 시퀀스의 강도를 조정하는 과정은,
상기 집중도 수치가 상기 임계 집중도 수치에서 하락하는 경우, 상기 비프 사운드의 출력 강도를 조정하는 과정과,
상기 집중도 수치가 상기 임계 집중도 수치 이하에서 상승하는 경우, 상기 백색 소음의 출력 강도를 조정하는 과정을 포함하는,
동작 방법.
- 청구항 1에 있어서,
상기 집중도 수치의 변화에 기반하여 상기 환기 시퀀스의 상기 출력 요소 종류를 조정하는 과정은,
상기 복수의 요소들 중 상기 출력 요소 종류의 개수를 상기 집중도 수치의 구간 및 하락 기울기에 따라서 조정하는 과정을 포함하는,
동작 방법.
- 삭제
- 삭제
- 사용자의 학습 집중력을 지원하기 위한 전자 장치에 있어서,
카메라, 출력장치, 메모리, 송수신기 및 적어도 하나의 프로세서를 포함하고,
상기 프로세서는, 제1 항, 제2 항, 제4 항 내지 제6 항 중 어느 한 항에 따른 동작 방법을 수행하도록 구성된,
전자 장치.
- 제1 항, 제2 항, 제4 항 내지 제6 항 중 어느 한 항에 따른 전자 장치의 동작 방법을 수행하도록 구성되며, 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200110447A KR102467774B1 (ko) | 2020-08-31 | 2020-08-31 | 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 |
KR1020220149817A KR102531002B1 (ko) | 2020-08-31 | 2022-11-10 | 웨어러블 장치를 이용하여 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 |
KR1020220149816A KR102528595B1 (ko) | 2020-08-31 | 2022-11-10 | 사용자의 음성 분석에 기반하여 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200110447A KR102467774B1 (ko) | 2020-08-31 | 2020-08-31 | 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220149816A Division KR102528595B1 (ko) | 2020-08-31 | 2022-11-10 | 사용자의 음성 분석에 기반하여 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 |
KR1020220149817A Division KR102531002B1 (ko) | 2020-08-31 | 2022-11-10 | 웨어러블 장치를 이용하여 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220029850A KR20220029850A (ko) | 2022-03-10 |
KR102467774B1 true KR102467774B1 (ko) | 2022-11-17 |
Family
ID=80816500
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200110447A KR102467774B1 (ko) | 2020-08-31 | 2020-08-31 | 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 |
KR1020220149816A KR102528595B1 (ko) | 2020-08-31 | 2022-11-10 | 사용자의 음성 분석에 기반하여 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 |
KR1020220149817A KR102531002B1 (ko) | 2020-08-31 | 2022-11-10 | 웨어러블 장치를 이용하여 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220149816A KR102528595B1 (ko) | 2020-08-31 | 2022-11-10 | 사용자의 음성 분석에 기반하여 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 |
KR1020220149817A KR102531002B1 (ko) | 2020-08-31 | 2022-11-10 | 웨어러블 장치를 이용하여 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 |
Country Status (1)
Country | Link |
---|---|
KR (3) | KR102467774B1 (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102616230B1 (ko) * | 2023-01-26 | 2023-12-20 | (주)대교씨엔에스 | 사용자 이미지에 기반하여 사용자의 집중력을 판단하는방법 및 이를 수행하는 운영 서버 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013097311A (ja) * | 2011-11-04 | 2013-05-20 | Zenrin Datacom Co Ltd | 学習支援装置、学習支援方法および学習支援プログラム |
JP2019143955A (ja) * | 2018-02-23 | 2019-08-29 | パナソニックIpマネジメント株式会社 | 環境制御システム、環境制御方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100980470B1 (ko) * | 2008-02-27 | 2010-09-07 | 주식회사 글맥학원 | 책상형 학습 장치 및 이를 이용한 학습 방법 |
US9031293B2 (en) | 2012-10-19 | 2015-05-12 | Sony Computer Entertainment Inc. | Multi-modal sensor based emotion recognition and emotional interface |
KR101656072B1 (ko) | 2014-01-22 | 2016-09-09 | 공주대학교 산학협력단 | 유아보육환경 내의 집중도 향상을 위한 다감각 서비스 시스템 및 이를 이용한 다감각 서비스 방법 |
CN108883335A (zh) | 2015-04-14 | 2018-11-23 | 约翰·詹姆斯·丹尼尔斯 | 用于人与机器或人与人的可穿戴式的电子多感官接口 |
KR102389361B1 (ko) * | 2015-04-16 | 2022-04-21 | 상명대학교산학협력단 | 신체 미동 이용한 사용자의 몰입도 평가 방법 및 그 장치 |
KR102214460B1 (ko) * | 2018-10-02 | 2021-02-09 | 상명대학교산학협력단 | 심전도를 이용한 집중도 인식 방법 및 장치 |
EP3834716A1 (en) * | 2019-12-11 | 2021-06-16 | Koninklijke Philips N.V. | Wearable sensor device and a sensing method |
-
2020
- 2020-08-31 KR KR1020200110447A patent/KR102467774B1/ko active Application Filing
-
2022
- 2022-11-10 KR KR1020220149816A patent/KR102528595B1/ko active IP Right Grant
- 2022-11-10 KR KR1020220149817A patent/KR102531002B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013097311A (ja) * | 2011-11-04 | 2013-05-20 | Zenrin Datacom Co Ltd | 学習支援装置、学習支援方法および学習支援プログラム |
JP2019143955A (ja) * | 2018-02-23 | 2019-08-29 | パナソニックIpマネジメント株式会社 | 環境制御システム、環境制御方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
KR20220155561A (ko) | 2022-11-23 |
KR102528595B1 (ko) | 2023-05-08 |
KR102531002B1 (ko) | 2023-05-12 |
KR20220029850A (ko) | 2022-03-10 |
KR20220155562A (ko) | 2022-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zenonos et al. | HealthyOffice: Mood recognition at work using smartphones and wearable sensors | |
CN109585021B (zh) | 基于全息投影技术的精神状态评估方法 | |
Canento et al. | Multimodal biosignal sensor data handling for emotion recognition | |
CN105105771B (zh) | 潜能值测验的认知指标分析方法 | |
CN108904163A (zh) | 轮椅控制方法及系统 | |
Mikhail et al. | Using minimal number of electrodes for emotion detection using brain signals produced from a new elicitation technique | |
KR20160095464A (ko) | 얼굴 감정 인식 방법을 적용한 사이니지용 콘텐츠 추천 장치 및 그 동작 방법 | |
KR102528595B1 (ko) | 사용자의 음성 분석에 기반하여 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 | |
CN111353366A (zh) | 一种情绪检测方法及装置、电子设备 | |
Chen et al. | NeuroBiometric: An eye blink based biometric authentication system using an event-based neuromorphic vision sensor | |
KR102285482B1 (ko) | 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치 | |
Zhuang et al. | Real-time emotion recognition system with multiple physiological signals | |
Tong et al. | EEG-based emotion recognition using nonlinear feature | |
Uluyagmur-Ozturk et al. | ADHD and ASD classification based on emotion recognition data | |
Yusuf et al. | Evolving an emotion recognition module for an intelligent agent using genetic programming and a genetic algorithm | |
Mantri et al. | Real time multimodal depression analysis | |
Dumitriu et al. | Experimental analysis of emotion classification techniques | |
Seanglidet et al. | Mood prediction from facial video with music “therapy” on a smartphone | |
Stöckli et al. | A practical guide for automated facial emotion classification 1 | |
KR20220075908A (ko) | 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치 | |
JP2015039487A (ja) | 生理指標を用いる視線分析システムおよび方法 | |
CN113033387A (zh) | 一种自动识别老年人慢性疼痛程度的智能评估方法及系统 | |
CN112869743A (zh) | 一种考虑认知分心的运动起始意图神经解析方法 | |
CN111760194A (zh) | 一种智能闭环神经调控系统和方法 | |
Song | Effect of sound in videos on gaze: contribution to audio-visual saliency modelling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
A107 | Divisional application of patent |