KR102546207B1 - Method and device for providing ai-based online learning using wearable devices - Google Patents
Method and device for providing ai-based online learning using wearable devices Download PDFInfo
- Publication number
- KR102546207B1 KR102546207B1 KR1020210127346A KR20210127346A KR102546207B1 KR 102546207 B1 KR102546207 B1 KR 102546207B1 KR 1020210127346 A KR1020210127346 A KR 1020210127346A KR 20210127346 A KR20210127346 A KR 20210127346A KR 102546207 B1 KR102546207 B1 KR 102546207B1
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- user
- state
- information
- customized
- Prior art date
Links
- 230000013016 learning Effects 0.000 title claims abstract description 164
- 238000000034 method Methods 0.000 title abstract description 12
- 230000033001 locomotion Effects 0.000 claims abstract description 52
- 210000004556 brain Anatomy 0.000 claims abstract description 41
- 230000001133 acceleration Effects 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 19
- 238000007654 immersion Methods 0.000 claims description 8
- 230000001149 cognitive effect Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006999 cognitive decline Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008717 functional decline Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000031836 visual learning Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
- A61B5/0533—Measuring galvanic skin response
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Psychology (AREA)
- Dermatology (AREA)
- Artificial Intelligence (AREA)
- Developmental Disabilities (AREA)
- Cardiology (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Social Psychology (AREA)
- Primary Health Care (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Hospice & Palliative Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Child & Adolescent Psychology (AREA)
Abstract
웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치 및 방법이 개시된다. 웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치는, 사용자로부터 사용자 정보를 입력받고, 입력받은 상기 사용자 정보를 기반으로 상기 사용자를 등록하는 정보 관리부; PPG 신호와 GSR 신호를 포함하는 생체 정보를 감지하는 생체신호 감지부; 움직임 가속도와 방향을 포함하는 움직임 정보를 감지하는 움직임 감지부; 상기 생체 정보와 상기 움직임 정보를 기초로 상기 사용자의 뇌파 상태를 예측하는 뇌파 예측부; 예측된 상기 뇌파 상태로부터 집중도 및 피로도를 도출하고, 도출된 상기 집중도 및 상기 피로도를 기초로 학습 콘텐츠에 대한 상기 사용자의 학습상태를 판단하는 학습상태 결정부; 및 결정된 상기 학습상태 및 상기 사용자 정보에 따라 맞춤 학습환경 및 맞춤 학습 콘텐츠를 결정하고, 결정된 상기 맞춤 학습환경 및 상기 맞춤 학습 콘텐츠를 상기 사용자에게 제공하는 맞춤환경 및 맞춤콘텐츠 제공부를 포함한다.An AI-based online learning providing device and method using a wearable device are disclosed. An AI-based online learning providing apparatus using a wearable device includes: an information management unit that receives user information from a user and registers the user based on the received user information; a bio-signal detector for sensing bio-information including a PPG signal and a GSR signal; a motion detector for sensing motion information including motion acceleration and direction; an EEG prediction unit that predicts an EEG state of the user based on the biometric information and the motion information; a learning state determining unit for deriving a degree of concentration and fatigue from the predicted brain wave state, and determining a learning state of the user with respect to learning content based on the derived degree of concentration and the degree of fatigue; and a customized environment and customized content providing unit that determines a customized learning environment and customized learning contents according to the determined learning state and the user information, and provides the determined customized learning environment and customized learning contents to the user.
Description
본 발명은 웨어러블 기기를 이용하여 AI 기반의 온라인 학습을 제공하는 기술에 관한 것이다.The present invention relates to a technology for providing AI-based online learning using a wearable device.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.Unless otherwise indicated herein, material described in this section is not prior art to the claims in this application, and inclusion in this section is not an admission that it is prior art.
기존의 인공지능을 활용한 온라인 학습 솔루션 및 플랫폼은 학습자의 학습결과를 인공지능 기술을 이용하여 분석하고, 학습자에게 필요한 개인화된 맞춤형 교육과정 및 콘텐츠를 제공하는 서비스로, '문제 풀이 정답 여부', '문제 풀이 시간', '오답 종류', '오답 문항들의 공통점' 등 온라인 학습과정에서 수집할 수 있는 정보만을 활용하여 분석하고 있다.Online learning solutions and platforms using existing artificial intelligence are services that analyze learners' learning results using artificial intelligence technology and provide personalized and customized curriculum and contents necessary for learners. Only the information that can be collected in the online learning process, such as 'problem solving time', 'types of incorrect answers', and 'common points of incorrect answers', is used for analysis.
온라인 학습과정에서 수집할 수 있는 정보뿐만 아니라, 학습자의 생체정보 및 손목 움직임 정보를 활용하여 학습자의 실제 학습역량을 정확하게 예측하는 생체신호 기반 인공지능 온라인 학습 솔루션 서비스의 필요성이 대두되었다.The need for a biosignal-based artificial intelligence online learning solution service that accurately predicts the learner's actual learning ability by using not only the information that can be collected in the online learning process but also the learner's biometric information and wrist movement information has emerged.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치 및 방법을 제공하는 데 있다.An object of the present invention to solve the above problems is to provide an AI-based online learning providing apparatus and method using a wearable device.
상기 목적을 달성하기 위한 본 발명의 일 측면은, 웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치를 제공한다.One aspect of the present invention for achieving the above object provides an AI-based online learning providing device using a wearable device.
웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치는, 사용자로부터 사용자 정보를 입력받고, 입력받은 상기 사용자 정보를 기반으로 상기 사용자를 등록하는 정보 관리부; PPG 신호와 GSR 신호를 포함하는 생체 정보를 감지하는 생체신호 감지부; 움직임 가속도와 방향을 포함하는 움직임 정보를 감지하는 움직임 감지부; 상기 생체 정보와 상기 움직임 정보를 기초로 상기 사용자의 뇌파 상태를 예측하는 뇌파 예측부; 예측된 상기 뇌파 상태로부터 집중도 및 피로도를 도출하고, 도출된 상기 집중도 및 상기 피로도를 기초로 학습 콘텐츠에 대한 상기 사용자의 학습상태를 판단하는 학습상태 결정부; 및 결정된 상기 학습상태 및 상기 사용자 정보에 따라 맞춤 학습환경 및 맞춤 학습 콘텐츠를 결정하고, 결정된 상기 맞춤 학습환경 및 상기 맞춤 학습 콘텐츠를 상기 사용자에게 제공하는 맞춤환경 및 맞춤콘텐츠 제공부를 포함한다.An AI-based online learning providing apparatus using a wearable device includes: an information management unit that receives user information from a user and registers the user based on the received user information; a bio-signal detector for sensing bio-information including a PPG signal and a GSR signal; a motion detector for sensing motion information including motion acceleration and direction; an EEG prediction unit that predicts an EEG state of the user based on the biometric information and the motion information; a learning state determining unit for deriving a degree of concentration and fatigue from the predicted brain wave state, and determining a learning state of the user with respect to learning content based on the derived degree of concentration and the degree of fatigue; and a customized environment and customized content providing unit that determines a customized learning environment and customized learning contents according to the determined learning state and the user information, and provides the determined customized learning environment and customized learning contents to the user.
상기 뇌파 예측부는, 상기 생체 정보와 상기 움직임 정보를 미리 지도학습(supervised learning)된 뇌파 예측 모델에 입력하여 상기 사용자의 뇌파 상태를 예측할 수 있다.The EEG prediction unit may predict the EEG state of the user by inputting the biometric information and the motion information to a pre-supervised EEG prediction model.
상기 뇌파 상태는, 뇌전도 신호(EEG, electroencephalogram)에서 미리 정의된 주파수 대역들 각각에 대한 수치적분 값으로 얻어지는, SMR파, Mid-베타파, 세타파, 알파파 각각에 대한 크기를 포함할 수 있다.The brain wave state may include magnitudes for each of the SMR wave, mid-beta wave, theta wave, and alpha wave, which are obtained as numerical integration values for each of predefined frequency bands in an electroencephalogram (EEG) signal.
상기 뇌파 예측 모델은, 생체 정보 및 움직임 정보를 변환하여 얻어지는 제1 특징 벡터를 입력값으로 하고, 뇌파 상태를 변환하여 얻어지는 제2 특징 벡터를 출력값으로 하는 학습 데이터를 이용하여 미리 지도학습될 수 있다.The brain wave prediction model may be trained in advance using learning data having a first feature vector obtained by converting biometric information and motion information as an input value and a second feature vector obtained by converting the brain wave state as an output value. .
상기 학습상태 결정부는, 상기 집중도 및 피로도에 기초하여 학습 콘텐츠에 대한 사용자의 학습상태를 집중, 산만, 인지스트레스, 몰입의 4가지 학습상태 중 하나의 학습상태로 결정할 수 있다.The learning state determiner may determine the user's learning state for the learning content as one of four learning states of concentration, distraction, cognitive stress, and immersion based on the degree of concentration and fatigue.
본 발명은 학습자의 생체 정보 및 손목 움직임 정보를 통하여 뇌파 상태를 예측하고, 예측된 뇌파 상태에 따라서 학습자의 집중도와 피로도를 산출할 수 있는 효과가 있다.The present invention has the effect of predicting the brain wave state through the learner's biometric information and wrist movement information, and calculating the degree of concentration and fatigue of the learner according to the predicted brain wave state.
또한, 본 발명은 산출된 학습자의 집중도와 피로도에 따라서, 학습자에게 적합한 맞춤 학습환경 및 맞춤 학습콘텐츠를 제공하여, 학습자의 학습 효과성과 효율성을 극대화할 수 있다.In addition, the present invention can maximize the learning effectiveness and efficiency of the learner by providing a customized learning environment and customized learning contents suitable for the learner according to the calculated degree of concentration and fatigue of the learner.
실시예들로부터 얻을 수 있는 효과들은 이상에서 언급된 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 이하의 상세한 설명을 기반으로 당해 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다.Effects obtainable from the embodiments are not limited to the effects mentioned above, and other effects not mentioned are clearly derived and understood by those skilled in the art based on the detailed description below. It can be.
실시예들에 대한 이해를 돕기 위해 상세한 설명의 일부로 포함된, 첨부 도면은 다양한 실시예들을 제공하고, 상세한 설명과 함께 다양한 실시예들의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른 웨어러블 기기를 이용한 AI기반의 온라인 제공 방법 및 장치에 대한 개요도이다.
도 2는 도 1에 따른 웨어러블 기기의 기능적 모듈을 예시적으로 나타낸 블록도이다.
도 3은 일 실시 예에 따른 뇌파 예측 모델을 설명하기 위한 도면이다.
도 4는 도 1에 따른 웨어러블 기기(예: 뇌파 예측 모델)에서 이용하는 인공 신경망의 구조와 동작을 설명하기 위한 개념도이다.
도 5은 본 발명의 일 실시예에 따른 웨어러블 기기의 하드웨어 구성을 예시적으로 나타낸 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS Included as part of the detailed description to aid understanding of the embodiments, the accompanying drawings provide various embodiments and, together with the detailed description, describe technical features of the various embodiments.
1 is a schematic diagram of an AI-based online providing method and apparatus using a wearable device according to an embodiment of the present invention.
FIG. 2 is a block diagram showing functional modules of the wearable device according to FIG. 1 as an example.
3 is a diagram for explaining an EEG prediction model according to an embodiment.
FIG. 4 is a conceptual diagram for explaining the structure and operation of an artificial neural network used in the wearable device (eg, brain wave prediction model) according to FIG. 1 .
5 is a diagram showing a hardware configuration of a wearable device according to an embodiment of the present invention by way of example.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. Like reference numerals have been used for like elements throughout the description of each figure.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention. The terms and/or include any combination of a plurality of related recited items or any of a plurality of related recited items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요가 존재하지 않는 것으로 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that it does not preclude the possibility of addition or existence of numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 웨어러블 기기를 이용한 AI기반의 온라인 제공 방법 및 장치에 대한 개요도이다.1 is a schematic diagram of an AI-based online providing method and apparatus using a wearable device according to an embodiment of the present invention.
도 1을 참조하면, 웨어러블 기기를 이용한 AI기반의 온라인 제공 장치(이하 '웨어러블 기기', 100)는 사용자의 생체 정보 및 움직임 정보를 감지하고, 감지된 생체 정보 및 움직임 정보를 기초로 하여 사용자에게 맞춤 학습 콘텐츠 및 맞춤 학습환경을 제공할 수 있다.Referring to FIG. 1, an AI-based online providing device using a wearable device (hereinafter, 'wearable device', 100) detects user's biometric information and motion information, and provides information to the user based on the detected biometric information and motion information. Customized learning content and customized learning environment can be provided.
웨어러블 기기(100)는, 인공 신경망(10)을 내부 저장소에 저장하고, 인공 신경망(10)을 구동시킬 수 있으나, 인공 신경망(10)을 구동하는 독립한 서버와 통신함으로써 인공 신경망(10)에 생체 정보와 움직임 정보를 입력하고, 인공 신경망(10)의 출력으로 뇌파 상태에 대한 예측 결과를 수신할 수도 있다.The
또한, 웨어러블 기기(100)는 미리 획득된 생체 정보, 움직임 정보, 뇌파 상태를 포함한 학습 데이터를 이용하여 인공신경망(10)을 미리 지도학습(supervised learning)시킬 수 있다.In addition, the
도 2는 도 1에 따른 웨어러블 기기의 기능적 모듈을 예시적으로 나타낸 블록도이다.FIG. 2 is a block diagram showing functional modules of the wearable device according to FIG. 1 as an example.
도 2를 참조하면, 웨어러블 기기(100)는, 정보 관리부(101), 생체신호 감지부(102), 움직임 감지부(103), 뇌파 예측부(104), 학습상태 결정부(105), 환경 및 콘텐츠 제공부(106)를 포함할 수 있다.Referring to FIG. 2 , the
정보 관리부(101)는 사용자로부터 사용자 정보를 입력받고, 입력받은 사용자 정보를 기반으로 상기 사용자를 등록할 수 있다. 이때, 사용자는 웨어러블 기기(100)를 이용하고자 하는 사용자(학습자)이다.The
생체신호 감지부(102)는, 사용자의 생체 정보를 감지하는 기능을 수행한다. 예를 들어 생체 정보는, PPG(맥파), GSR(피부 전기 전도도)를 포함한다. The
또한, 생체신호 감지부(102)는, 사용자의 학습상황에서 생체 정보를 감지할 수 있다. 이때, 생체신호 감지부(102)는, 사용자의 입력 신호(학습을 시작한다는 신호)에 따라서 생체 정보를 감지하기 시작할 수 있고, 사용자의 입력 신호(학습을 종료한다는 신호)에 따라서 생체 정보에 대한 감지를 종료할 수 있다. In addition, the
생체신호 감지부(102)는 PPG(맥파)를 검출하기 위해서 발광부(빛을 발광하는 기능을 수행하는 장치) 및 수광부(예로 포토다이오드 또는 포토센서)를 포함할 수 있으며, 발광부로부터 출사된 광이 체내 혈류들에서 반사된 광을 수광부에서 검출하여 전기적 신호로 변환하며, 이 전기적 신호를 맥파로서 출력할 수 있다. 특히, PPG 신호의 PPI(Peak to Peak Interval)는 스트레스 정도에 따라 변화되는 간격을 나타낼 수 있는데, 스트레스 상태에서는 심장박도수가 증가하므로 PPI는 감소하고, 이완상태에서는 심장박동수가 감소하므로 PPI는 증가한다. 즉, 스트레스자극에 따라 변화하는 PPI를 변화하여 스트레스 정도를 평가할 수 있다.The
생체신호 감지부(102)는 GSR(피부 전기 전도도)를 검출하기 위해서 피부에 미세전류를 흘리는 전류전극과, 상기 미세전류에 반응된 피부 전압을 검출하는 전압전극을 포함할 수 있으며, 상기 전류전극이 피부에 미세전류를 흘려 상기 전압전극이 미세전류에 반응된 피부 전압을 측정함으로써 피부 전기 전도도를 검출할 수 있다.The
움직임 감지부(103)는 사용자의 움직임 정보를 감지하는 기능을 수행한다. 예를 들어, 움직임 정보는, 웨어러블 기기가 사용자의 손목에 착용될 경우, 손목의 움직임 가속도와 방향을 포함할 수 있다. 움직임 감지부(103)는 사용자의 움직임 정보를 감지하기 위해서 자이로 센서와 가속도 센서를 구비할 수 있다.The
움직임 감지부(103)는 각속도를 측정하는 자이로 센서를 구비하여, 한 축을 기준으로 단위시간 동안 웨어러블 기기(100)가 회전한 각도의 값을 구할 수 있다. 상기 각속도는 단위시간당 회전하는 각도를 의미하고, 통상적인 방법으로 측정할 수 있다. 또한, 상기 자이로 센서는 온도의 변화에 따라 데이터 값이 상이해질 우려가 있어, 필요에 따라, 온도의 변화를 확인하여 데이터 값을 보정하기 위한 온도 센서를 더욱 구비할 수 있다.The
움직임 감지부(103)는 선형 가속도를 측정하는 가속도 센서를 구비하여, 웨어러블 기기(100)가 3차원에서 움직일 때, x축, y축, z축의 방향의 가속도를 측정할 수 있다.The
움직임 감지부(103)는 자이로 센서와 가속도 센서로부터 감지한 테이터 값을 분석하여 움직임 가속도와 방향을 포함하는 움직임 정보를 획득할 수 있다.The
또한, 움직임 감지부(103)는, 사용자의 학습상황에서 움직임 정보를 감지할 수 있다. 이때, 움직임 감지부(103)는, 사용자의 입력 신호(학습을 시작한다는 신호)에 따라서 움직임 정보를 감지하기 시작할 수 있고, 사용자의 입력 신호(학습을 종료한다는 신호)에 따라서 움직임 정보에 대한 감지를 종료할 수 있다. 이때, 사용자의 입력 신호는, 사용자가 서버가 운영하는 온라인 AI 수학 교육 솔루션 또는 플랫폼에 로그인하는 행위에 대응하여, 상기 서버에서 보내오는 신호일 수 있다.Also, the
뇌파 예측부(104)는 생체 정보와 움직임 정보를 기초로 사용자의 뇌파 상태를 예측하는 기능을 수행한다.The brain
뇌파 예측부(104)는 생체신호 감지부(102)로부터 수신된 생체 정보 및 움직임 감지부(103)로부터 수신된 움직임 정보를 이용하여 뇌파 상태를 예측한다. 이때, 뇌파 상태는, 뇌전도 신호(EEG, electroencephalogram)에서 미리 정의된 주파수 대역들 각각에 대한 수치적분 값으로 얻어지는, SMR파, Mid-베타파, 세타파, 알파파 각각에 대한 크기(또는 강도)를 포함한다.The brain
관련하여, SMR파(Sensory Motor Rhythm)는 12~15Hz 주파수 대역을 갖으며, 주의 상태로 외부정보에 대한 집중력이 강화될 때 나타나는 뇌파이다. 또한, Mid 베타파는 16~20Hz 주파수 대역을 갖으며, 각성상태로 과제 수행시에 나타나는 뇌파이다. 즉, Mid 베타파는 계산이나 암산과 같이 한 가지 주제에 집중하면서 비교적 정신부하가 높은 사고활동을 수행할 때 우세해진다. 또한, 세타파는 4~8Hz 주파수 대역을 갖으며, 졸리거나 의식이 흐릿할 때 나타나는 뇌파이다. 또한, 알파파는 8~13Hz 주파수 대역을 갖으며, 시각 영역과 매우 밀접한 관계를 갖으며, 알파파에 대한 크기 증가는 시각 주의 기능 및 인식 저하로 해석할 수 있다.In relation to this, SMR waves (Sensory Motor Rhythm) have a frequency band of 12 to 15 Hz and are brain waves that appear when concentration on external information is strengthened in a state of attention. In addition, Mid beta waves have a frequency band of 16 to 20 Hz and are brain waves that appear when performing tasks in an awake state. In other words, mid beta waves become dominant when performing thinking activities with relatively high mental load while concentrating on one subject, such as calculation or mental arithmetic. In addition, theta waves have a frequency band of 4 to 8 Hz and are brain waves that appear when you are sleepy or unconscious. In addition, alpha waves have a frequency band of 8 to 13 Hz and have a very close relationship with the visual area, and an increase in the size of alpha waves can be interpreted as visual attention function and cognitive decline.
관련하여, 예측된 뇌파 상태에서 각 주파수 성분이 얼마만큼의 비중을 차지하고 있는 지를 정량적으로 파악하기 위해서 파워스펙트럼에 의해 분석될 수 있다. 파워스펙트럼이란, 자기상관함수를 퓨리에변환하는 것으로, 일반적으로 뇌파신호를 단기 퓨리에 변환(STFT)나 웨이블릿 변환(wavelet transform) 등을 행하여. Log 스케일의 파워(단위는 dB)로 나타낸 것을 말한다. In this regard, in order to quantitatively determine how much weight each frequency component occupies in the predicted EEG state, power spectrum analysis may be used. A power spectrum is a Fourier transform of an autocorrelation function, and in general, an EEG signal is subjected to short-term Fourier transform (STFT) or wavelet transform. It refers to the power expressed in log scale (unit: dB).
일 실시예에서, 뇌파 예측부(104)는 미리 지도학습된 뇌파 예측 모델(104b)을 이용하여 뇌파 상태를 예측할 수 있다. 즉, 뇌파 예측부(104)는 생체 정보 및 움직임 정보를 미리 지도학습된 뇌파 예측 모델(104b)에 입력하여 사용자의 뇌파 상태를 예측할 수 있다.In one embodiment, the brain
도 3은 일 실시 예에 따른 뇌파 예측 모델을 설명하기 위한 도면이다.3 is a diagram for explaining an EEG prediction model according to an embodiment.
도 3을 참고하면, 뇌파 예측부(104)는 뇌파 예측 모델 학습부(104a) 및 뇌파 예측 모델(104b)를 포함할 수 있다. 뇌파 예측 모델 학습부(104a) 및 뇌파 에측 모델(104b)는 뇌파 예측부(104)의 기능에 따라 나눠진 구성으로, 뇌파 예측부(104)는 해당 기능을 모두 실시 가능함은 자명하다 하겠다.Referring to FIG. 3 , the
뇌파 예측 모델 학습부(104a)는 복수의 사용자들이 학습 시에 검출되는, 미리 획득된 생체 정보, 움직임 정보, 및 뇌파 상태를 학습 데이터로 사용하여 뇌파 예측 모델(104b)을 미리 지도학습시킬 수 있다. 일 실시 예의 뇌파 예측 모델(104b)로서 인공 신경망(Artificial Neural Network)이 이용될 수 있다. 인공 신경망은 많은 수의 인공 뉴런(또는, 노드)들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 소프트웨어나 하드웨어로 구현된 예측 모델이다. The EEG prediction
이때, 생체 정보, 움직임 정보, 뇌파 상태는 미리 획득될 수 있는데, 관리자의 입력에 의해 획득되거나, 웨어러블 기기(100)가 뇌파 검출부를 더 포함하여 생체 정보 및 움직임 정보에 따른 뇌파 상태를 웨어러블 기기(100)가 직접 획득할 수도 있다.In this case, the biometric information, motion information, and brainwave state may be obtained in advance. They are obtained by input from a manager, or the
뇌파 예측 모델 학습부(104a)는, 뇌파 예측 모델(104b)이 생체 정보 및 움직임 정보를 입력 받아 뇌파 상태를 예측할 수 있도록, 생체 정보 및 움직임 정보를 변환하여 얻어지는 제1 특징 벡터를 입력값으로 하고, 뇌파 상태를 변환하여 얻어지는 제2 특징 벡터를 출력값으로 하는 학습 데이터를 사용하여 뇌파 예측 모델(104b)을 지도학습시킬 수 있다. The EEG prediction
이때, 지도학습이란, 입력값과 그에 따른 출력값이 있는 데이터를 학습 데이터로 이용하여 주어진 입력값에 따른 출력값을 찾는 학습을 의미하며, 정답을 알고 있는 상태에서 이루어지는 학습을 의미한다. 지도 학습에서 주어지는 입력값과 출력값 세트를 학습 데이터(Training Data)라고 한다. 즉, 상술한 생체 정보 및 움직임 정보를 변환한 제1 특징 벡터와 뇌파 상태를 변환한 제2 특징 벡터는 각각 입력값과 출력값으로서, 뇌파 예측 모델(104b)의 지도학습을 위한 학습 데이터로 사용될 수 있다.At this time, supervised learning means learning to find an output value according to a given input value by using data with input values and corresponding output values as learning data, and means learning that takes place in a state where the correct answer is known. The set of input values and output values given in supervised learning is called training data. That is, the first feature vector obtained by converting the aforementioned biometric information and motion information and the second feature vector obtained by converting the EEG state are input values and output values, respectively, and can be used as learning data for supervised learning of the
도 4는 도 1에 따른 웨어러블 기기(예: 뇌파 예측 모델)에서 이용하는 인공 신경망의 구조와 동작을 설명하기 위한 개념도이다.FIG. 4 is a conceptual diagram for explaining the structure and operation of an artificial neural network used in the wearable device (eg, brain wave prediction model) according to FIG. 1 .
도 4를 참조하면, 인공신경망(10)은 입력층(11), 은닉층(12), 및 출력층(13)을 포함할 수 있다.Referring to FIG. 4 , the artificial
일 실시 예에서, 뇌파 예측 모델(104b)은, 입력값을 입력받고 제1 특징 벡터의 성분갯수에 상응하는 노드들을 갖는 입력층(10), 입력층(10)의 출력값 각각에 대하여 연결강도(또는 가중치)를 곱하고, 바이어스(bias)를 더하여 출력하는 하나 이상의 은닉층(hidden layer, 12); 및 은닉층(12)의 출력값 각각에 대하여 연결강도(또는 가중치)를 곱하고, 그 결과를 활성화 함수를 이용하여 출력하는 출력층(output layer, 13)을 포함할 수 있다. 예를 들어, 활성화 함수는 LeRU 함수 또는 Softmax 함수일 수 있으나 이에 한정되는 것은 아니다. 연결강도와 바이어스는 지도학습에 의해 지속적으로 갱신될 수 있다.In one embodiment, the brain
구체적으로, 뇌파 예측 모델(104b)은, 주어진 입력값(제1 특징 벡터)와 출력값(제2 특징 벡터)에 따른 손실 함수(loss function)의 출력값이 최소화되도록 지도학습될 수 있다. 예를 들어, 손실 함수(H(Y,Y`))는, 다음의 수학식 1과 같이 정의될 수 있다.Specifically, the
수학식 1에서 Ym은 제2 특징 벡터의 m번째 성분이고, Y`m은 뇌파 예측 모델(104b)에서 제1 특징 벡터를 입력받아 출력된 출력 벡터의 m번째 성분일 수 있다.In Equation 1, Ym may be the m-th component of the second feature vector, and Y'm may be the m-th component of the output vector that is output by receiving the first feature vector from the
종합하면, 뇌파 예측부(104)는 사용자에 대한 생체 정보 및 움직임 정보를 입력 벡터로 변환하여 미리 지도학습된 뇌파 예측 모델(104b)에 입력하고, 뇌파 예측 모델의 출력으로 얻어지는 출력 벡터를 변환하여 상기 사용자에 대한 뇌파 상태를 예측할 수 있다. 이때, 뇌파 상태는, 뇌전도 신호(EEG, electroencephalogram)에서 미리 정의된 주파수 대역들 각각에 대한 수치적분 값으로 얻어지는, SMR파, Mid-베타파, 세타파, 알파파 각각에 대한 크기(또는 강도)를 포함한다.In summary, the brain
학습상태 결정부(105)는 예측된 뇌파 상태를 기초로 집중도, 피로도를 포함하는 학습상태를 판단하는 기능을 수행한다. 이때 집중도는 학습자가 학습 능력을 유지하는 정도를 의미하며, 피로도는 학습자의 학습 능력을 감소시키는 정도를 의미한다.The learning
학습상태 결정부(105)는 생체 정보와 움직임 정보를 감지 시 사용자에게 제공된 학습 콘텐츠를 획득하고, 획득된 학습 콘텐츠 및 상기 예측된 뇌파 상태에 기초하여 제공된 학습 콘텐츠에 대한 학습상태를 판단할 수 있다. 이때, 사용자에게 제공된 학습 콘텐츠는 웨어러블 기기가 사용자에게 제공한 콘텐츠일 수도 있고, 사용자가 임의로 학습한 콘텐츠를 웨어러블 기기에 입력한 콘텐츠일 수 있다. 또한, 사용자에게 제공된 학습 콘텐츠는, 서버가 운영하는 온라인 AI 학습 솔루션 또는 플랫폼에서 학습 콘텐츠를 사용자 단말에 제공하여, 사용자의 사용자 단말에서 제공되는 콘텐츠일 수 있다.The learning
학습상태 결정부(105)는 예측된 뇌파 상태로부터 집중도 및 피로도를 도출하고, 도출된 집중도 및 피로도를 기초로 학습 콘텐츠에 대한 사용자의 학습상태를 판단할 수 있다.The learning
관련하여, 학습상태 결정부(105)는 SMR파에 대한 크기, Mid 베타파에 대한 크기, 및 세타파에 대한 크기를 포함한 예측된 뇌파 상태를 기초로 학습 콘텐츠에 대한 집중도를 판단할 수 있다. 이때 집중도는 다음의 수학식 2에 의하여 결정된다.In this regard, the learning
또한, 학습상태 결정부(105)는 세타파에 대한 크기 및 알파파에 대한 크기를 포함한 예측된 뇌파 상태를 기초로 학습 콘텐츠에 대한 피로도를 판단할 수 있다. 이때 피로도는 세타파 및 알파파와 관련성이 높은 것으로 알려져 있으나, 피로도가 높을수록 집중도는 상대적으로 낮게 측정될 가능성이 높으므로, 본 발명의 경우 집중도와 알파파 및 세타파 사이의 상관관계를 나타내는 상관 계수를 산출하고, 산출된 상관 계수를 기반으로 피로도를 정의한다.In addition, the learning
알파파 및 세타파와 수학식 2에 따른 집중도 사이의 상관관계를 나타내는 상관계수를 산출하면, 다음의 표 1과 같다.A correlation coefficient representing a correlation between alpha waves and theta waves and concentration according to Equation 2 is calculated as shown in Table 1 below.
표 1을 참조하면, 알파파와 집중도 사이의 상관계수는, 5회의 측정결과에 대한 평균값인 0.84로 결정할 수 있으며, 세타파와 집중도 사이의 상관계수는, 5회의 측정결과에 대한 평균값인 2.94로 결정할 수 있다.상술한 표에 의해 결정되는 상관계수를 기초로, 피로도는 다음의 수학식 3에 따라 산출될 수 있다.Referring to Table 1, the correlation coefficient between alpha waves and concentration can be determined as 0.84, which is the average value for 5 measurement results, and the correlation coefficient between theta waves and concentration can be determined as 2.94, which is the average value for 5 measurement results. Based on the correlation coefficient determined by the above table, the degree of fatigue can be calculated according to Equation 3 below.
일 실시 예에서, 학습상태 결정부(105)는 예측된 뇌파 상태로부터 도출된 학습 콘텐츠에 대한 집중도 및 피로도에 따라서 학습 콘텐츠에 대한 사용자의 학습상태를 집중, 산만, 인지스트레스, 몰입의 4가지 학습상태 중 하나의 학습상태로 결정할 수 있다. 이때, 몰입은 고도의 집중된 상태, 학습에 깊이 빠져든 상태를 의미한다.In one embodiment, the learning
구체적으로, 학습상태 결정부(105)는 상기 집중도가 미리 설정된 제1 값보다 크고 상기 피로도가 미리 설정된 제2 값보다 큰 경우 학습 콘텐츠에 대한 사용자의 학습상태를 '몰입'으로 판단할 수 있고, 상기 집중도가 미리 설정된 제1 값보다 크고, 상기 피로도가 미리 설정된 제3 값보다 작은 경우 학습 콘텐츠에 대한 사용자의 학습상태를 '집중'으로 판단할 수 있고, 상기 집중도가 미리 설정된 제4 값보다 작고, 상기 피로도가 미리 설정된 제2 값보다 큰 경우 학습 콘텐츠에 대한 사용자의 학습상태를 '인지스트레스'로 판단할 수 있고, 상기 집중도가 미리 설정된 제4 값보다 작고, 상기 피로도가 미리 설정된 제3 값보다 작은 경우 학습 콘텐츠에 대한 사용자의 학습상태를 '산만'으로 판단할 수 있다. 이때, 제1 값이 제4 값보다 크게 설정되고, 제2 값이 제3 값보다 크게 설정되는 것이 바람직하다.Specifically, the learning
즉, 학습상태 결정부(105)는, 학습 콘텐츠에 대한 사용자의 학습상태 관련하여, 집중도와 피로도가 둘다 낮으면 산만으로, 집중도가 높고 피로도가 낮으면 집중으로, 집중도가 낮고 피로도가 높으면 인지스트레스로, 집중도가 높고 피로도가 높으면 몰입으로 결정할 수 있다.That is, in relation to the learning state of the user with respect to the learning content, the learning
맞춤환경 및 맞춤콘텐츠 제공부(106)는 결정된 학습상태 및 사용자 정보에 따라 맞춤 학습환경 및 맞춤 학습 콘텐츠를 결정하고, 결정된 맞춤 학습환경 및 맞춤 학습 콘텐츠 중 적어도 하나를 사용자에게 제공하는 기능을 수행한다.The customized environment and customized
맞춤환경 및 맞춤콘텐츠 제공부(106)는 복수의 사용자에게 다양한 학습 콘텐츠들을 제공하고, 제공된 학습 콘텐츠들 각각에 대한 복수의 사용자들 각각의 뇌파 상태를 예측하고, 예측된 뇌파 상태로부터 도출된 학습상태들을 모아 놓은 데이터베이스를 미리 생성할 수 있다. The customized environment and customized
즉, 사용자마다 학습 콘텐츠로부터 도출되는 학습상태가 다양하게 존재하므로, 맞춤환경 및 맞춤 콘텐츠 제공부(106)는 데이터베이스에 사용자 정보에 기반하여 학습 콘텐츠마다 학습상태를 매핑하여 학습 콘텐츠를 저장할 수 있다.That is, since there are various learning states derived from learning content for each user, the customized environment and customized
맞춤환경 및 맞춤콘텐츠 제공부(106)는 미리 생성된 데이터베이스에서 사용자와 유사한 사용자를 도출하고, 유사한 사용자의 학습이력에 기초하여 맞춤학습 콘텐츠를 결정하고, 결정된 맞춤학습 콘텐츠를 사용자에게 제공할 수 있다. 예를 들어, 학습이력은, 사용자가 과거에 학습했던 학습 콘텐츠에 관련된 정보로, 학습과정, 학습문항, 문항난도, 풀이시간 등을 포함한다.The customized environment and customized
예를 들어, 사용자의 학습상태가 '산만' 또는 '인지스트레스'또는 '몰입'으로 판단된 경우, 맞춤환경 및 맞춤콘텐츠 제공부(106)는 미리 생성된 데이터베이스에서 사용자와 유사한 사용자가 학습했던 학습 콘텐츠들 중에서 '집중'인 학습상태로 매핑된 학습 콘텐츠를 맞춤학습 콘텐츠로 결정할 수 있다.For example, when the user's learning state is determined to be 'distraction', 'cognitive stress', or 'immersion', the customized environment and customized
이때, 사용자와 유사한 사용자를 도출하는 방법은, 사용자 정보들을 표현한 벡터들 사이의 유사도를 계산하는 방식으로 이루어질 수 있다. In this case, a method of deriving a user similar to the user may be performed by calculating a degree of similarity between vectors expressing user information.
예를 들어, 사용자 정보는 사용자를 다른 사용자와 구분하기 위해, 사용자의 특성을 나타내는 정보로서, 나이, 성별, 기존 학습 이력, 지능 지수(IQ) 등 다양한 정보가 포함될 수 있다.For example, the user information is information indicating the characteristics of the user in order to distinguish the user from other users, and may include various information such as age, gender, previous learning history, and intelligence quotient (IQ).
유사도는 수학식 4에 의하여 결정될 수 있다. The degree of similarity can be determined by Equation 4.
여기서, SA,B는 사용자 A와 사용자 B 사이의 유사도를 의미하고, A는 사용자 A에 대한 정보를 표현한 벡터를 의미하고, B는 사용자 B에 대한 정보를 표현한 벡터를 의미한다. 계산된 SA,B가 미리 설정된 값보다 높은 경우, A와 B는 유사하다고 판단할 수 있다.Here, S A,B denote similarities between user A and user B, A denotes a vector representing information about user A, and B denotes a vector representing information about user B. When the calculated S A and B are higher than preset values, it can be determined that A and B are similar.
또한, 맞춤환경 및 맞춤콘텐츠 제공부(106)가 사용자에게 제공하는 맞춤 학습환경 및 맞춤 학습 콘텐츠는 다양하게 존재할 수 있다.In addition, the customized learning environment and customized learning contents provided to the user by the customized environment and customized
일 실시 예에서, 맞춤환경 및 맞춤콘텐츠 제공부(106)는 학습 콘텐츠에 대한 사용자의 학습상태가 '산만'으로 판단된 경우, 상기 사용자에게 집중도를 올릴 수 있는 시각적인 학습 콘텐츠를 제공할 수 있다.In one embodiment, the customized environment and customized
다른 실시 예에서, 맞춤환경 및 맞춤콘텐츠 제공부(106)는 학습 콘텐츠에 대한 사용자의 학습상태가 '집중'으로 판단된 경우, 상기 사용자에게 난도가 한단계 높은 학습 콘텐츠를 제공할 수 있다.In another embodiment, the customized environment and customized
또 다른 실시 예에서, 맞춤환경 및 맞춤콘텐츠 제공부(106)는 학습 콘텐츠에 대한 사용자의 학습상태가 '인지스트레스'로 판단된 경우, 상기 사용자에게 피로도를 낮출 수 있도록 난도가 한단계 낮은 학습 콘텐츠를 제공할 수 있다.In another embodiment, the customized environment and customized
또 다른 실시 예에서, 맞춤환경 및 맞춤콘텐츠 제공부(106)는 학습 콘텐츠에 대한 사용자의 학습상태가 '몰입'으로 판단된 경우, 상기 사용자에게 휴식을 취할 수 있게 학습 환경을 재조정하라는 내용의 정보를 제공할 수 있다. 예를 들어, 사용자에게 적합한 학습환경에 대한 정보에는, 집중력 향상을 위해서 조명 밝기를 특정 밝기로 조절하는 내용이나, 백색소음을 발생시키는 내용 등이 포함될 수 있다.In another embodiment, the customized environment and customized
도 5은 본 발명의 일 실시예에 따른 웨어러블 기기의 하드웨어 구성을 예시적으로 나타낸 도면이다.5 is a diagram showing a hardware configuration of a wearable device according to an embodiment of the present invention by way of example.
도 5을 참조하면, 웨어러블 기기(100)는, 적어도 하나의 프로세서(110); 및 상기 적어도 하나의 프로세서(110)가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.Referring to FIG. 5 , the
상기 적어도 하나의 동작은, 도 1 내지 도 4를 참조하여 설명한 웨어러블 기기(100)의 동작을 포함할 수 있다.The at least one operation may include the operation of the
여기서 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.Here, the at least one
메모리(120)는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.The
저장 장치(160)는, 예를 들어 HDD(hard disk drive), SSD(solid state drive) 등일 수 있다.The storage device 160 may be, for example, a hard disk drive (HDD) or a solid state drive (SSD).
또한, 웨어러블 기기(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(130)를 포함할 수 있다. 또한, 웨어러블 기기(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 웨어러블 기기(100)에 포함된 각각의 구성 요소들은 버스(bus, 170)에 의해 연결되어 서로 통신을 수행할 수 있다.Also, the
웨어러블 기기(100)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant), 디지털 팬(Digital Pen) 등일 수 있다.For example, the
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The methods according to the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded on a computer readable medium. Computer readable media may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on a computer readable medium may be specially designed and configured for the present invention or may be known and usable to those skilled in computer software.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer readable media may include hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions may include not only machine language codes generated by a compiler but also high-level language codes that can be executed by a computer using an interpreter and the like. The hardware device described above may be configured to operate with at least one software module to perform the operations of the present invention, and vice versa.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다. In addition, the above-described method or device may be implemented by combining all or some of its components or functions, or may be implemented separately.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. You will understand that it can be done.
100: 웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치
101: 정보 관리부 102: 생체신호 감지부
103: 움직임 감지부 104: 뇌파 예측부
105: 학습상태 결정부 106: 맞춤환경 및 맞춤콘텐츠 제공부100: AI-based online learning providing device using a wearable device
101: information management unit 102: biosignal detection unit
103: motion sensor 104: EEG prediction unit
105: learning state determining unit 106: customized environment and customized content providing unit
Claims (5)
사용자로부터 사용자 정보를 입력받고, 입력받은 상기 사용자 정보를 기반으로 상기 사용자를 등록하는 정보 관리부;
PPG 신호와 GSR 신호를 포함하는 생체 정보를 감지하는 생체신호 감지부;
움직임 가속도와 방향을 포함하는 움직임 정보를 감지하는 움직임 감지부;
상기 생체 정보와 상기 움직임 정보를 기초로 상기 사용자의 뇌파 상태를 예측하는 뇌파 예측부;
예측된 상기 뇌파 상태로부터 집중도 및 피로도를 도출하고, 도출된 상기 집중도 및 상기 피로도를 기초로 학습 콘텐츠에 대한 상기 사용자의 학습상태를 판단하는 학습상태 결정부; 및
결정된 상기 학습상태 및 상기 사용자 정보에 따라 맞춤 학습환경 및 맞춤 학습 콘텐츠를 결정하고, 결정된 상기 맞춤 학습환경 및 상기 맞춤 학습 콘텐츠를 상기 사용자에게 제공하는 맞춤환경 및 맞춤콘텐츠 제공부를 포함하고,
상기 뇌파 예측부는,
상기 생체 정보와 상기 움직임 정보를 미리 지도학습(supervised learning)된 뇌파 예측 모델에 입력하여 상기 사용자의 뇌파 상태를 예측하되,
상기 뇌파 상태는,
뇌전도 신호(EEG, electroencephalogram)에서 미리 정의된 주파수 대역들 각각에 대한 수치적분 값으로 얻어지는, SMR파, Mid-베타파, 세타파, 알파파 각각에 대한 크기를 포함하며,
상기 뇌파 예측 모델은,
생체 정보 및 움직임 정보를 변환하여 얻어지는 제1 특징 벡터를 입력값으로 하고, 상기 뇌파 상태를 변환하여 얻어지는 제2 특징 벡터를 출력값으로 하는 학습 데이터를 이용하여 미리 지도학습되고,
상기 학습상태 결정부는, 하기 수학식 1에 기초하여 상기 집중도를 결정하고,
[수학식 1]
상기 수학식 1에서 SMR파의 크기는, Mid베타파의 크기, 및 세타파의 크기는 상기 뇌파 예측 모델에 의해 예측된 상기 뇌파 상태에 포함된 값이고,
상기 학습상태 결정부는, 하기 수학식 2에 기초하여 상기 피로도를 결정하고,
[수학식 2]
상기 수학식 2에서, 세타파의 크기 및 알파파의 크기는 상기 뇌파 예측 모델에 의해 예측된 상기 뇌파 상태에 포함된 값이고, 세타파와 상기 집중도 사이의 상관계수 및 알파파와 상기 집중도 사이의 상관계수는 상기 수학식 1에 따른 집중도와 상기 뇌파 상태에 포함된 세타파와 알파파 사이의 상관계수를 실험적으로 산출한 값으로 결정되는, 웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치.As an AI-based online learning providing device using a wearable device,
an information management unit that receives user information from a user and registers the user based on the received user information;
a bio-signal detector for sensing bio-information including a PPG signal and a GSR signal;
a motion detector for sensing motion information including motion acceleration and direction;
an EEG prediction unit that predicts an EEG state of the user based on the biometric information and the motion information;
a learning state determining unit for deriving a degree of concentration and fatigue from the predicted brain wave state, and determining a learning state of the user with respect to learning content based on the derived degree of concentration and the degree of fatigue; and
A customized environment and customized content providing unit determining a customized learning environment and customized learning contents according to the determined learning state and the user information, and providing the determined customized learning environment and customized learning contents to the user,
The brain wave prediction unit,
Predicting the user's brain wave state by inputting the biometric information and the motion information to a supervised learning EEG prediction model,
The brain wave state,
Including the magnitude of each of the SMR wave, Mid-beta wave, theta wave, and alpha wave, obtained as a numerical integral value for each of the predefined frequency bands in the electroencephalogram (EEG),
The brain wave prediction model,
Supervised learning in advance using learning data having a first feature vector obtained by converting biometric information and motion information as an input value and a second feature vector obtained by converting the brain wave state as an output value,
The learning state determination unit determines the concentration based on Equation 1 below,
[Equation 1]
In Equation 1, the magnitude of the SMR wave, the magnitude of the Mid beta wave, and the magnitude of the theta wave are values included in the EEG state predicted by the EEG prediction model,
The learning state determination unit determines the degree of fatigue based on Equation 2 below,
[Equation 2]
In Equation 2, the magnitude of the theta wave and the magnitude of the alpha wave are values included in the EEG state predicted by the EEG prediction model, and the correlation coefficient between the theta wave and the concentration and the correlation coefficient between the alpha wave and the concentration are An AI-based online learning providing device using a wearable device, which is determined by an experimentally calculated value of a correlation coefficient between the degree of concentration according to Equation 1 and theta and alpha waves included in the brain wave state.
상기 학습상태 결정부는,
상기 집중도 및 피로도에 기초하여 학습 콘텐츠에 대한 사용자의 학습상태를 집중, 산만, 인지스트레스, 몰입의 4가지 학습상태 중 하나의 학습상태로 결정하는, 웨어러블 기기를 이용한 AI 기반의 온라인 학습 제공 장치.In claim 1,
The learning state determination unit,
Based on the degree of concentration and fatigue, the user's learning state for the learning content is determined as one of four learning states of concentration, distraction, cognitive stress, and immersion. An AI-based online learning providing device using a wearable device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210127346A KR102546207B1 (en) | 2021-09-27 | 2021-09-27 | Method and device for providing ai-based online learning using wearable devices |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210127346A KR102546207B1 (en) | 2021-09-27 | 2021-09-27 | Method and device for providing ai-based online learning using wearable devices |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230045681A KR20230045681A (en) | 2023-04-05 |
KR102546207B1 true KR102546207B1 (en) | 2023-06-22 |
Family
ID=85884322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210127346A KR102546207B1 (en) | 2021-09-27 | 2021-09-27 | Method and device for providing ai-based online learning using wearable devices |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102546207B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102265734B1 (en) * | 2020-08-25 | 2021-06-16 | 라이트하우스(주) | Method, device, and system of generating and reconstructing learning content based on eeg analysis |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102143343B1 (en) * | 2018-05-15 | 2020-08-13 | 연세대학교 원주산학협력단 | Attention/fatigue/drowsiness monitoring system based on autonomic nervous system signal reflecting brain activity |
-
2021
- 2021-09-27 KR KR1020210127346A patent/KR102546207B1/en active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102265734B1 (en) * | 2020-08-25 | 2021-06-16 | 라이트하우스(주) | Method, device, and system of generating and reconstructing learning content based on eeg analysis |
Also Published As
Publication number | Publication date |
---|---|
KR20230045681A (en) | 2023-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Nahavandi et al. | Application of artificial intelligence in wearable devices: Opportunities and challenges | |
Balli et al. | Human activity recognition from smart watch sensor data using a hybrid of principal component analysis and random forest algorithm | |
US10561321B2 (en) | Continuous monitoring of a user's health with a mobile device | |
Lin et al. | Advanced artificial intelligence in heart rate and blood pressure monitoring for stress management | |
Mishra et al. | Continuous detection of physiological stress with commodity hardware | |
Khowaja et al. | Toward soft real-time stress detection using wrist-worn devices for human workspaces | |
Elzeiny et al. | Machine learning approaches to automatic stress detection: A review | |
Long et al. | A scoping review on monitoring mental health using smart wearable devices | |
CN109480835B (en) | Mental fatigue detection method based on long-term and short-term memory neural network | |
Sharma et al. | Modeling a stress signal | |
US20130172693A1 (en) | Diagnosing system for consciousness level measurement and method thereof | |
Chandra et al. | Comparative study of physiological signals from empatica e4 wristband for stress classification | |
US20240008785A1 (en) | Information processing system, information processing device, information processing method, and information processing program | |
Chahal | The critical application of internet of things (IoT) in the overall development of education | |
Zhao et al. | Attention‐based sensor fusion for emotion recognition from human motion by combining convolutional neural network and weighted kernel support vector machine and using inertial measurement unit signals | |
Thanasekhar et al. | Machine learning based academic stress management system | |
Poli et al. | Exploiting blood volume pulse and skin conductance for driver drowsiness detection | |
KR102546207B1 (en) | Method and device for providing ai-based online learning using wearable devices | |
Cernian et al. | Mood detector-on using machine learning to identify moods and emotions | |
Hwang et al. | Hierarchical deep learning model with inertial and physiological sensors fusion for wearable-based human activity recognition | |
Ogbuabor et al. | Context-aware support for cardiac health monitoring using federated machine learning | |
Husom et al. | Machine learning for fatigue detection using Fitbit fitness trackers | |
Yauri et al. | Mental workload detection based on EEG analysis | |
Ren et al. | Clinical human activity recognition based on a wearable patch of combined tri-axial ACC and ECG sensors | |
Hadhri et al. | A voting ensemble classifier for stress detection |