KR20190135315A - 사용자의 집중도를 판단하는 방법 및 이를 위한 웨어러블 디바이스 - Google Patents
사용자의 집중도를 판단하는 방법 및 이를 위한 웨어러블 디바이스 Download PDFInfo
- Publication number
- KR20190135315A KR20190135315A KR1020180060627A KR20180060627A KR20190135315A KR 20190135315 A KR20190135315 A KR 20190135315A KR 1020180060627 A KR1020180060627 A KR 1020180060627A KR 20180060627 A KR20180060627 A KR 20180060627A KR 20190135315 A KR20190135315 A KR 20190135315A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- concentration
- wave
- processor
- pulse wave
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 51
- 230000000007 visual effect Effects 0.000 claims abstract description 39
- 238000000537 electroencephalography Methods 0.000 claims description 69
- 210000004556 brain Anatomy 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 19
- 206010041349 Somnolence Diseases 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000000638 stimulation Effects 0.000 abstract description 4
- 238000005259 measurement Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 10
- 230000007423 decrease Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 210000003128 head Anatomy 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000004397 blinking Effects 0.000 description 4
- 210000001061 forehead Anatomy 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 208000032140 Sleepiness Diseases 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000004070 electrodeposition Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009532 heart rate measurement Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 102100032581 Caprin-2 Human genes 0.000 description 1
- 101000867742 Homo sapiens Caprin-2 Proteins 0.000 description 1
- 101000740107 Homo sapiens Equilibrative nucleobase transporter 1 Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001652 frontal lobe Anatomy 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 210000005037 parasympathetic nerve Anatomy 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 230000002360 prefrontal effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000003478 temporal lobe Anatomy 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A61B5/04012—
-
- A61B5/0476—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
Abstract
본 발명의 일 실시예에 따른 웨어러블 디바이스는 영상을 시청하는 사용자의 뇌파를 측정하여 측정된 뇌파 데이터에 대한 정보를 제공하는 뇌파 센서부; 상기 뇌파 센서부로부터 제공된 상기 뇌파 데이터에 대한 정보를 이용하여 상기 사용자의 집중도를 1차적으로 판단하는 프로세서; 및 상기 1차적인 판단에 따라 상기 사용자가 집중하고 있지 않는 것으로 판단되고 비 집중도가 소정 시간 이상 관측되는 경우 상기 사용자의 맥파를 측정하여 측정된 맥파 데이터에 대한 정보를 상기 프로세서로 제공하는 맥파 센서부를 포함하되, 상기 비 집중도가 소정 시간 이상 관측되는 경우 상기 뇌파 센서부는 특정 시각 자극에 따른 정상상태 시각 유발 전위를 측정하여 측정된 정상상태 시각 유발 전위에 대한 정보를 상기 프로세서에 제공하고, 상기 프로세서는 상기 맥파 센서부로부터 제공된 상기 맥파 데이터에 대한 정보 및 상기 측정된 정상상태 시각 유발 전위에 대한 정보를 이용하여 상기 사용자의 집중도를 2차적으로 판단할 수 있다.
Description
본 발명은 사용자의 집중도를 판단하는 방법 및 이를 위한 웨어러블 디바이스에 관한 것이다
학습에 있어서 가장 중요한 요소 중 하나는 집중도이며 수업 중 졸음은 집중도를 가장 저해하는 요인 중 하나임을 감안하면, 기존 E러닝 시스템 혹은 스마트 러닝 시스템은 학습 효과 면에서 큰 문제가 있다. 이와 같이, 기존의 E러닝 시스템이나 스마트 러닝 시스템은 학습자의 집중도를 알 수 없어서 학습 효과가 떨어진다는 문제가 있지만, 아직까지 교육과 연관지어 사용자의 집중도 혹은 졸음 정도를 강화시키거나 정량적으로 측정할 수 있는 수단이 없는 실정이다.
또한, 종래의 기존 뇌파를 이용한 집중도 측정은 70% 정도의 집중 정확도를 판단하는 알고리즘을 통해서 이루어지므로 정확도가 완벽하지 않기 때문에 피험자의 의지와 반대의 경우(예를 들어, 피험자는 집중상태이나 데이터는 비 집중상태로 표시될 수 있음) 그 데이터에 대한 신뢰성을 의심할 수 있는 문제가 있었다.
본 발명에서 이루고자 하는 기술적 과제는 사용자의 집중도를 판단하는 웨어러블 디바이스를 제공하는 데 있다.
본 발명에서 이루고자 하는 다른 기술적 과제는 웨어러블 디바이스가 사용자의 집중도를 판단하는 방법을 제공하는 데 있다.
본 발명에서 이루고자 하는 또 다른 기술적 과제는 사용자의 집중도를 판단하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 웨어러블 디바이스는 영상을 시청하는 사용자의 뇌파를 측정하여 측정된 뇌파 데이터에 대한 정보를 제공하는 뇌파 센서부; 상기 뇌파 센서부로부터 제공된 상기 뇌파 데이터에 대한 정보를 이용하여 상기 사용자의 집중도를 1차적으로 판단하는 프로세서; 및 상기 1차적인 판단에 따라 상기 사용자가 집중하고 있지 않는 것으로 판단되고 비 집중도가 소정 시간 이상 관측되는 경우 상기 사용자의 맥파를 측정하여 측정된 맥파 데이터에 대한 정보를 상기 프로세서로 제공하는 맥파 센서부를 포함하되, 상기 비 집중도가 소정 시간 이상 관측되는 경우 상기 뇌파 센서부는 특정 시각 자극에 따른 정상상태 시각 유발 전위를 측정하여 측정된 정상상태 시각 유발 전위에 대한 정보를 상기 프로세서에 제공하고, 상기 프로세서는 상기 맥파 센서부로부터 제공된 상기 맥파 데이터에 대한 정보 및 상기 측정된 정상상태 시각 유발 전위에 대한 정보를 이용하여 상기 사용자의 집중도를 2차적으로 판단한다.
상기 프로세서는 상기 뇌파 센서부로부터 제공된 베타파 및 세타파에 대한 정보를 처리하여 상기 사용자의 집중도를 1차적으로 판단할 수 있다. 상기 프로세서는 베타파 및 세타파에 대해 각각 해당 주파수 영역에서 대역 통과 필터링(band pass filtering)을 적용하여 베타파와 세타파를 검출할 수 있다.
상기 프로세서는 다음 수학식 A를 이용하여 상기 사용자의 집중도를 1차적으로 판단할 수 있다. 수학식 A는 다음과 같다.
[수학식 A]
여기서, θ는 세타파의 세기, SMR은 SMR 파의 세기, midβ는 midβ 파의 세기를 나타낸다.
상기 웨어러블 디바이스는 통신부를 더 포함하되, 상기 프로세서는 상기 사용자의 집중도를 2차적으로 판단한 결과 상기 사용자가 비집중 상태이고 이후 특정 시간 이상 상기 사용자의 비집중 상태가 계속 관측되면 상기 사용자의 비집중 상태를 알리는 신호 혹은 상기 영상의 재생을 종료시키도록 하는 신호를 상기 통신부로 제공할 수 있다. 상기 통신부는 상기 사용자의 비집중 상태를 알리는 신호 혹은 상기 영상의 재생을 종료시키도록 하는 신호를 상기 영상을 제공하는 장치로 송신할 수 있다.
상기 프로세서는 상기 사용자의 집중도를 2차적으로 판단하기 위해, 상기 측정된 정상상태 시각 유발 전위의 신호 대 잡음비(Signal to Noise Ration, SNR)를 산출하고 상기 맥파 데이터로부터 LF/HF 비(low frequency 대역의 파워/high frequency 대역의 파워)를 산출할 수 있다. 상기 프로세서는, 상기 측정된 정상상태 시각 유발 전위의 SNR이 상기 영상 시청 전의 SNR 보다 작아지거나 소정의 제 1 평균값 보다 작아진 경우와, 그리고 상기 맥파 데이터로부터 추출된 LF/HF 비(low frequency가 상기 영상 시청 전의 LF/HF 비 보다 작거나 소정의 제 2 평균값 보다 작아진 경우에 상기 사용자의 집중도를 비 집중으로 2차적으로 판단할 수 있다. 상기 산출된 LF/HF 비가 상기 영상 시청 전의 LF/HF 비 보다 상기 소정의 제 2 평균값 보다 작아진 경우에는 상기 프로세서는 상기 사용자가 졸음 상태라고 판단할 수 있다.
상기 뇌파 센서부는 Electroencephalography (EEG) 센서를 포함할 수 있고, 상기 맥파 센서부는 PPG Photoplethysmograph (PPG) 센서를 포함할 수 있다.
상기의 다른 기술적 과제를 달성하기 위한, 웨어러블 디바이스가 사용자의 집중도를 판단하는 방법은, 영상을 시청하는 사용자의 뇌파를 측정하여 측정된 뇌파 데이터에 대한 정보를 생성하는 단계; 상기 뇌파 데이터에 대한 정보를 이용하여 상기 사용자의 집중도를 1차적으로 판단하는 단계; 상기 1차적인 판단에 따라 상기 사용자가 집중하고 있지 않는 것으로 판단되고 비 집중도가 소정 시간 이상 관측되는 경우 상기 사용자의 맥파를 측정하여 측정된 맥파 데이터에 대한 정보를 생성하는 단계; 상기 비 집중도가 소정 시간 이상 관측되는 경우 특정 시각 자극에 따른 정상상태 시각 유발 전위를 측정하여 측정된 정상상태 시각 유발 전위에 대한 정보를 생성하는 단계; 및 상기 맥파 데이터에 대한 정보 및 상기 측정된 정상상태 시각 유발 전위에 대한 정보를 이용하여 상기 사용자의 집중도를 2차적으로 판단하는 단계를 포함할 수 있다.
상기 사용자의 집중도를 1차적으로 판단하는 단계는 상기 사용자의 뇌에서 측정된 베타파 및 세타파에 대한 정보를 처리하여 상기 사용자의 집중도를 1차적으로 판단할 수 있다. 상기 사용자의 집중도를 1차적으로 판단하는 단계는 상기 베타파 및 세타파에 대해 각각 해당 주파수 영역에서 대역 통과 필터링(band pass filtering)을 적용하여 베타파와 세타파를 검출하는 단계를 포함할 수 있다.
상기 사용자의 집중도를 1차적으로 판단하는 단계는 다음 수학식 A를 이용하여 상기 사용자의 집중도를 1차적으로 판단할 수 있다.
[수학식 A]
여기서, θ는 세타파의 세기, SMR은 SMR 파의 세기, midβ는 midβ 파의 세기를 나타낸다.
상기 방법은, 상기 사용자의 집중도를 2차적으로 판단한 결과 상기 사용자가 비집중 상태이고 이후 특정 시간 이상 상기 사용자의 비집중 상태가 계속 관측되면 상기 사용자의 비집중 상태를 알리는 신호 혹은 상기 영상의 재생을 종료시키도록 하는 신호를 생성하여 통신부로 송신하는 단계를 더 포함할 수 있다. 상기 방법은 상기 사용자의 비집중 상태를 알리는 신호 혹은 상기 영상의 재생을 종료시키도록 하는 신호를 상기 영상을 제공하는 장치로 송신하는 단계를 더 포함할 수 있다.
상기 사용자의 집중도를 2차적으로 판단하기 단계는, 상기 측정된 정상상태 시각 유발 전위의 신호 대 잡음비(Signal to Noise Ration, SNR)를 산출하는 단계; 및 상기 맥파 데이터로부터 LF/HF 비(low frequency 대역의 파워/high frequency 대역의 파워)를 산출하는 단계를 더 포함할 수 있다. 상기 사용자의 집중도를 2차적으로 판단하기 단계에서, 상기 측정된 정상상태 시각 유발 전위의 SNR이 상기 영상 시청 전의 SNR 보다 작아지거나 소정의 제 1 평균값 보다 작아진 경우와, 그리고 상기 맥파 데이터로부터 추출된 LF/HF 비(low frequency가 상기 영상 시청 전의 LF/HF 비 보다 작거나 소정의 제 2 평균값 보다 작아진 경우에를 상기 사용자의 집중도를 비 집중이라고 2차적으로 판단할 수 이다. 상기 사용자의 집중도를 2차적으로 판단하는 단계는 상기 산출된 LF/HF 비가 상기 영상 시청 전의 LF/HF 비 보다 상기 소정의 제 2 평균값 보다 작아진 경우에는 상기 사용자가 졸음 상태라고 판단하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 웨어러블 디바이스는 맥파 및 정상상태 시각 유발 전위를 이용하여 사용자의 집중도를 판단/분류하여 측정된 집중도의 정확성을 상승시키고 사용자의 영상 시청을 제어함으로써 사용자의 학습 효과 혹은 집중도를 향상시킬 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 뇌파 센서 시스템의 일 예로서 10-20 EEG 시스템를 나타낸 도면이다.
도 2는 본 발명에 따른 일 실시예로서 사용자의 집중도를 측정하기 위한 웨어러블 디바이스의 구성을 블록도로 예시한 도면이다.
도 3은 본 발명에 따른 일 실시예로서 웨어러블 디바이스(200)가 뇌파를 이용한 집중도 분류의 정확도를 높이기 위해 맥파 및 정상상태시각유발전위를 이용한 뇌파 활용한 집중도 분류 시스템의 정확도롤 상승시키는 방법과 이를 활용한 영상 제어를 수행하는 과정을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 1차적인 사용자 집중도 판단/분류와 관련된 시스템을 예시한 도면이다.
도 5는 본 발명의 실시예에 따른 2차적인 사용자의 집중도 판단/분류와 관련된 시스템을 예시한 도면이다.
도 6은 사용자(420)가 15Hz의 자극 영상을 시청하는 경우에 뇌파 센서부(210)에서 검출되는 뇌파에 대한 그래프를 나타낸 것이다.
도 7은 본 발명에 따른 사용자(420)의 집중도를 2차적으로 판단한 후 최종적으로 사용자(420)의 집중도 판단/분류 시스템을 통하여 사용자(420)의 집중도 상태에 따라서 영상을 제어하는 방법을 예시한 도면이다.
도 1은 뇌파 센서 시스템의 일 예로서 10-20 EEG 시스템를 나타낸 도면이다.
도 2는 본 발명에 따른 일 실시예로서 사용자의 집중도를 측정하기 위한 웨어러블 디바이스의 구성을 블록도로 예시한 도면이다.
도 3은 본 발명에 따른 일 실시예로서 웨어러블 디바이스(200)가 뇌파를 이용한 집중도 분류의 정확도를 높이기 위해 맥파 및 정상상태시각유발전위를 이용한 뇌파 활용한 집중도 분류 시스템의 정확도롤 상승시키는 방법과 이를 활용한 영상 제어를 수행하는 과정을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 1차적인 사용자 집중도 판단/분류와 관련된 시스템을 예시한 도면이다.
도 5는 본 발명의 실시예에 따른 2차적인 사용자의 집중도 판단/분류와 관련된 시스템을 예시한 도면이다.
도 6은 사용자(420)가 15Hz의 자극 영상을 시청하는 경우에 뇌파 센서부(210)에서 검출되는 뇌파에 대한 그래프를 나타낸 것이다.
도 7은 본 발명에 따른 사용자(420)의 집중도를 2차적으로 판단한 후 최종적으로 사용자(420)의 집중도 판단/분류 시스템을 통하여 사용자(420)의 집중도 상태에 따라서 영상을 제어하는 방법을 예시한 도면이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.
기존의 집중도(혹은 집중력 등으로도 다양하게 호칭 가능)를 측정하고 졸음을 예측하는 장치는 뇌파 정보에만 의존하였기 때문에 정확한 집중도 측정 및 졸음 측정이 불가능하였다. 학습 보조 기구 중 뇌파와 심박수를 동시에 측정하고 졸음을 예측하는 기기가 존재하지 않는다. 또한, 기존 제품은 학습 분야에서 집중도를 측정하거나 졸음을 예측하여 나타내기만 하고 피드백을 주지 않았다.
본 발명에서는 사용자가 뇌파와 맥파 측정이 가능한 웨어러블 디바이스(예를 들어, 헤드 마운트 디바이스)를 착용하고 특정 영상을 시청하는 과정에서 전달된 뇌파 신호(예를 들어, Electroencephalography (EEG) 센서 등으로 센싱)를 이용하여 사용자의 집중도를 1차적으로 판단 혹은 분류하고, 이후 사용자의 비 집중상태가 소정 시간 지속적으로 관측될 경우 맥파 센서부(예를 들어, Photoplethysmography (PPG) 센서)를 이용하여 맥파 신호를 측정하고, 측정된 맥파 신호와 뇌파의 정상상태 시각 유발 전위(steady-state visually evoked potentials, SSVEP)를 이용하여 사용자의 집중도를 2차적으로 판단 혹은 분류하는 것을 제안한다. 본 발명은 이러한 순차적 판단/분류에 따라 1차적 판단 혹은 분류의 시스템을 수정 보완하거나 최종적으로는 집중도 판단/분류 시스템을 통하여 사용자의 집중도 상태에 따라서 영상을 제어하는 방법을 제공하고자 한다.
뇌파 센서부(일 예로서 electroencephalography (EEG) 센서)는 신경계에서 뇌신경 사이에 신호가 전달될 때 생기는 전기의 흐름을 측정한다. 뇌의 전기적 활동에 대한 신경생리학적 측정 방법에는 두피에 부착한 전극을 통해 기록하는 방법이 있다.
도 1은 뇌파 센서 시스템의 일 예로서 10-20 EEG 시스템를 나타낸 도면이다.
EEG를 측정하기 위해서는 두피 위의 전극 위치가 필요한데, 그 측정 방법을 위한 시스템으로 10-20 EEG 시스템을 사용할 수 있다. 10-20 EEG 시스템은 도 1에 도시한 것과 같고 이름은 기술적(descriptive)으로 붙여진 것이다. "10-20"의 10과 20은 NASION(anterior)과 INION(posterior) 사이의 거리의 10%와 20%를 참고한 것이다.
도 1에서 표시한 채널 명칭에서 홀수는 항상 머리의 왼쪽 편의 전극위치를 말하며, 짝수는 머리의 오른쪽 편의 전극 위치를 말한다. "z"라는 글자는 NASION(Nz)와 INION(Iz)간의 중심 혹인 중앙선 사이의 어떤 점을 표시할 때 사용된다. F, C, P, O, T는 뇌 영역을 뜻하는 머리글자로서, F는 전두엽(Frontal), C는 중추신경(Central), P는 측두엽(Parietal), O는 후두엽(Occipital), T는 두정엽(Temporal)을 나타낸다.
도 1에서 NASION은 이마 아래, 코 위에 있는 작은 notch를 말하고, INION은 목 위, 후두부(occiput) 기저의 작은 bump 혹은 융기를 말한다. 이 두 점의 거리는 줄자 등을 이용하여 측정할 수 있으며, 센티미터로 측정하는 것이 정확하고 전형적인 측정치는 36 센치미터이다.
NASION에서 이 거리의 10% 위가 FP1과 FP2라고 불리는 두 개의 prefrontal lobe site 간의 중간점이다. 또한, NASION과 INION 간 거리의 20%를 더 간 곳이 Fz이다. Fz에서 NASION과 INION이 20%를 더 움직이면 NASION과 INION의 중간 지점인 Cz이다.
일 예로서, 뇌파는 진동하는 주파수의 범위에 따라 인위적으로 델타 (δ)파(0.2 ~ 3.99 Hz), 쎄타(θ)파(4 ~ 7.99 Hz), 알파(α) 파(8 ~ 12.99 Hz), 베타 β파(13 ~ 29.99 Hz), 감마 g파(30~50 Hz)로 구분한다. 델타파는 주로 정상인의 깊은 수면 시나 신생아의 경우 두드러지게 나타난다. 쎄타파는 정서 안정 또는 수면으로 이어지는 과정에서 주로 나타나는 파이며 기억력, 창의력, 집중도 등의 다양한 상태와 관련되어 있다. 알파파는 긴장이완과 같은 편안한 상태에서 주로 나타나며, 안정되고 편안한 상태일수록 진폭이 증가한다. 베타파는 주로 전두부에서 많이 나타나며, 깨어 있을 때, 말할 때와 같이 모든 의식적인 활동을 할 때 나타난다. 특히 불안한 상태나 긴장시, 복잡한 계산처리 시에 우세하게 나타난다. 감마파는 베타파보다 더 빠르게 진동하는 형태로 정서적으로 더욱 초조한 상태이거나, 추리, 판단 등의 고도의 인지정보처리와 관련된다.
도 1에서는 본 발명에 따른 웨어러블 디바이스의 뇌파 센서가 측정하는 뇌파 측정 채널을 예시하고 있다. 뇌파 채널로서 Fp1, A1, A2, Cz 총 4개가 사용될 수 있고, 뇌파 센서 중 EEG1은 Fp1 채널에서 졸음과 집중도를 측정하며, EEG 2는 Cz 채널 (EEG2) 에서 졸음을 측정한다. A1 채널은 REF (Reference)로 사용되며 A2 채널은 GND(Ground)로 사용된다.
다음으로, 맥파 센서(혹은 심박수 센서)의 일 예로서 PPG(Photoplethysmograph) 센서를 설명한다. PPG 센서는 광용 적맥파 센서라고 한다. 광용 적맥파 측정법 (Photoplethysmograph, PPG)은 생체 조직의 광학적 특성을 이용하여 혈관에 흐르는 혈류량을 측정함으로써 심박 활동 상태 혹은 심박수를 알 수 있는 맥파 측정 방법이다. 맥파는 혈액이 심장에서 파상하며 나타내는 맥동성 파형으로, 심장의 이완 수축 작용에 따라 나타나는 혈류량의 변화, 즉 혈관의 용적 변화를 통하여 측정 가능하다. 광용 적맥파 측정법은 빛을 이용하여 맥파를 측정하는 방법으로, 용적 변화시 나타나는 생체조직의 반사, 흡수 투과비 등의 광학적 특성의 변화를 광 센서에서 감지하여 측정하며, 이를 통해 맥박 측정이 가능하다. 이 방법은 비침습적인 맥박 측정이 가능하고 소형화, 사용편의성 등의 장점을 가지고 있어 널리 사용되고 있으며 웨어러블 (wearable) 디바이스에서 생체 신호 감지 센서로 사용될 수 있다.
도 2는 본 발명에 따른 일 실시예로서 사용자의 집중도를 측정하기 위한 웨어러블 디바이스의 구성을 블록도로 예시한 도면이다.
도 2를 참조하면, 사용자의 집중도를 측정하기 위한 웨어러블 디바이스(200)는 뇌파 센서부(210), 프로세서(220), 맥파 센서부(230), 통신부(240) 및 전원부(250)(미도시)를 포함할 수 있다.
뇌파 센서부(210)는 학습 중인(예를 들어, 온라인 강의 시청 중인) 사용자의 생체 신호를 센싱하여 뇌파 신호 데이터에 대한 정보를 추출 혹은 획득할 수 있고, 추출 혹은 획득한 뇌파 신호 데이터에 대한 정보를 프로세서(220)로 제공할 수 있다. 뇌파 센서부(210)가 프로세서(220)로 제공하는 뇌파 신호 데이터에 대한 정보에 대한 구체적인 사항은 도 3과 관련된 설명 부분에서 기술하도록 한다. 뇌파 센서부(210)는 인체의 생체 신호 센싱을 위해 적어도 두 개 이상의 전극을 포함할 수 있다. 본 발명에서 사용자의 집중도를 측정하기 위해 중요하게 다뤄지는 뇌파는 베타파와 세타파로 각각 긴장과 졸음에 관련된 뇌파들이다.
맥파 센서부(230)는 학습 중인 사용자의 생체 신호를 센싱하여 맥파 신호 데이터에 대한 정보를 추출 혹은 획득할 수 있고, 추출 혹은 획득한 맥파 신호 데이터에 대한 정보를 프로세서로 제공할 수 있다. 맥파 센서부(230)가 프로세서(220)로 제공하는 맥파 신호 데이터에 대한 정보의 구체적 사항은 이하 도 3과 관련된 설명 부분에서 기술하도록 한다. 맥파 센서부(230)는 추출 혹은 획득한 맥파(혹은 심박수 신호)에 대한 데이터를 아날로그 신호의 형태로 프로세서(220)로 제공할 수 있다. 맥파 센서부(230)는 하나의 전극을 이용하여 맥파(혹은 심박수)를 측정할 수 있다. 생체 신호는 인체의 움직임에 민감하므로, 움직임이 적은 상황에서 생체 신호를 측정하는 것이 중요하다. 본 발명의 경우에도 주로 사용자가 학습하는 상황과 같이 움직임이 적은 상황에서 생체 신호를 측정하지만, 그 중에서도 움직임이 적은 사용자의 이마(forehead)에서 센싱하는 것이 바람직할 수 있다. 맥파 센서부(230)는 하나의 전극을 포함할 수 있으며, 이 하나의 전극을 이마에 부착하여 맥파(혹은 심박수)를 센싱할 수 있다. 맥파 센서부(220)는 forehead PPG 센서로도 불릴 수 있다. 일 예로서, 맥파 센서부(230)는 PPG에서 매 구간당 발생하는 피크(Peak)를 검출하여 실제 심박수를 산출할 수도 있다.
통신부(240)는 웨어러블 디바이스(200)가 다른 디바이스와 (무선) 신호를 송수신하기 위한 구성요소이다. 일 예로서, 통신부(240)는 다른 무선 통신 장치와 근거리에서 블루투스 방식 등으로 무선 통신을 가능하게 하기 위한 블루투스 기기일 수도 있다. 전원부(250)는 도 2에 도시하지는 않았으나 충전 회로를 통해 웨어러블 디바이스(200)에 전원을 공급할 수 있다.
도 3은 본 발명에 따른 일 실시예로서 웨어러블 디바이스(200)가 뇌파를 이용한 집중도 분류의 정확도를 높이기 위해 맥파 및 정상상태시각유발전위를 이용한 뇌파 활용한 집중도 분류 시스템의 정확도롤 상승시키는 방법과 이를 활용한 영상 제어를 수행하는 과정을 도시한 도면이다.
도 3을 참조하면, 사용자는 뇌파와 맥파가 측정이 가능한 웨어러블 디바이스(예를 들어, 헤드마운트)를 착용한다(S305). 사용자는 특정 영상(예를 들어, 온라인 강의 영상)을 시청한다(S310). 본 발명에 따른 사용자의 집중도 판단을 위해 사용자는 7 ~15Hz의 주파수를 영상을 시청하는 것이 바람직할 수 있다.
뇌파 센서부(210)는 상기 사용자의 뇌파를 검출하는 동작을 수행하고 검출된 혹은 측정된 뇌파 데이터 신호에 대한 정보를 프로세서(220)로 제공할 수 있다(S315). 본 발명에서 뇌파 측정에서 중요한 것은 베타파와 세타파이다. 뇌파 센서부(201)는 베타파와 세타파에 대한 센싱을 수행한다. 따라서, 뇌파 센서부(210)은 검출된 혹은 측정된 베타파, 세타파에 대한 정보를 프로세서(220)로 제공할 수 있다.
프로세서(220)는 베타파, 세타파 각각의 뇌파 추출 값 계산을 위해 주파수 별로 필터링하고 EEG 신호를 FFT 기법으로 추출하는 과정을 수행할 수 있다(S320). 프로세서(220)는 제공받은 뇌파 데이터 신호에 대한 정보에 기초하여 집중도 측정에 사용될 소정의 주파수에 해당하는 주파수 성분을 추출하기 위한 전처리(pre-filtering)를 수행할 수 있다(S320). 일반적으로 집중도의 산출에 사용될 소정의 주파수에 해당하는 주파수 성분은 1Hz 내지 50Hz 영역의 주파수 성분일 수 있으며, 이 경우 최소 100Hz 이상의 샘플링 주파수를 사용한다. 프로세서(220)는 전처리 과정으로서 14~30㎐에서의 band pass filtering을 통해 베타파를, 4~7㎐에서의 band Pass Filtering을 통해 세타파를 추출할 수 있다.
인체로부터 취득할 수 있는 대부분의 생체 신호는 비선형(nonlinear), 비정상(nonstationary)적인 특징을 지니고 있다. 즉, 생체 신호의 세기와 주파수가 시간에 따라 변화하며, 뇌파의 경우 이와 같은 특성 때문에 고정된 기저 함수를 사용하는 기존의 푸리에 기반 주파수 분석 방법은 적합하지 않다. 이러한 비선형, 비정상적 신호의 주파수 분석을 위해 시주파수 분석(time frequency analysis) 방법을 사용한다. 프로세서(220)는 기존의 주파수 분석 방법에 시간 축을 추가하여 시간에 따른 주파수 성분의 변화를 관찰하고, 이 중 졸음 및/또는 집중도 측정/분석에 사용될 수 있는 해당 주파수 영역 (베타파는 14～30㎐, 세타파는 4～7㎐)에 해당하는 주파수 성분을 추출한다. 본 발명에서 프로세서(220)가 베타파를 14～30㎐에서, 세타파를 4～7㎐에서 Band Pass Filtering을 통해 특징 값을 추출할 수 있다(S320).
이하에서 프로세서(220)가 뇌파 신호 데이터에 대한 전처리(pre-filtering)하는 다양한 방법에 대해 간략히 설명한다. 구체적으로, 뇌파 신호 데이터의 전처리 수행 방법으로 Short-Time Fourier Transform (STFT) 방법, Wavelet 방법 및 Multivariate Empirical Mode Decomposition (MEMD) 방법 등이 있다. STFT 방법은 신호를 여러 짧은 구간으로 나누어 푸리에 변환을 적용함으로써 시간에 따른 신호의 주파수 및 위상 정보의 변화를 관찰할 수 있는 푸리에 분석 방법이다. 신호를 짧은 구간으로 나누어 푸리에 변환을 적용할 시 각각의 구간에 하나의 푸리에 스펙트럼이 생성되는데, 일반적으로 이렇게 생성된 푸리에 스펙트럼들을 시간에 따른 스펙트럼의 변화로 나타낸다.
FFT(Fast Fourier transform)는 시간에 따른 신호를 주파수 영역으로 바꾸고 변화에 따른 신호를 판단할 때 사용된다. FFT를 통해 주파수를 성분 별로 분류하며 분류된 성분들의 밀도와 분포들을 알 수 있다. FFT 분석으로 얻은 파워 스펙트럼은 시계열 신호가 주파수 영역에서 뇌파 파장대에 따라 분리하여 수치로 변환한다. 상기 프로세서(220)는 다음 수학식 1을 이용하여 사용자의 집중도(T)를 구할 수 있다(S325).
상기 수학식 1에서 θ는 세타파의 세기, SMR은 SMR 파의 세기, midβ는 midβ 파의 세기를 나타낸다. SMR파는 뇌의 감각운동피질에서 발생하는 12~15Hz의 뇌파이다. 사용자가 집중 상태인 때에는 세타(θ)파는 줄어들면서 unfocused attention을 의미하는 SMR파(12~16Hz)와 focused attention을 의미하는 mid베타파(16~20Hz)가 증가하게 된다. midβ는 β파의 중간 영역을 의미한다.
프로세서(220)는 상기 수학식 1에 기초하여 1차적으로 사용자의 집중도를 판단/분류할 수 있다. 예를 들어, 프로세서(220)는 T 값이 소정의 임계값 이하인 경우에 사용자가 집중하고 있지 않는 비(non) 집중 상태로 판단할 수 있다. 이후, 프로세서(220)는 소정 시간 동안 사용자의 비 집중상태가 계속 되는지를 판단/관측할 수 있다(S330).
비 집중상태가 소정 시간 동안 지속적으로 확인될 경우, 프로세서(220)는 맥파 센서부(230)가 상기 사용자의 맥파 센싱을 수행하여 맥파를 측정하고 뇌파 센서부(210)가 정상상태 시각 유발 전위를 측정하도록 제어할 수 있다. 이와 달리, 상기 1차적 판단 이후 소정 시간 동안 사용자의 비 집중상태가 지속되지 않으면 프로세서(220)는 사용자가 집중 상태인 것으로 판단할 수 있고(S335), 이 경우 프로세서(220)는 통신부(240)로 제어 신호 (예를 들어, 사용자가 현재 시청중인 영상을 재생하는 영상 디바이스(예를 들어, 모니터)가 계속 재생하도록 명령하는 신호, 사용자가 집중 상태임을 지시하는 신호 등)를 전송하고, 통신부(240)는 상기 제어 신호를 영상 디바이스에 전달하여 영상 디바이스를 제어할 수도 있다(S390).
맥파 센서부(230)는 LED 광원과 센서를 이용하여 말초 모세혈관에 빛을 쏘아 흡수 반사되는 양을 신호로 변환하여 분석하며 맥파를 분석하기 위해서는 심장박동에 영향을 미치는 교감 신경과 부교감 신경의 활동 지표를 이용한다. 이때 R-R-interval를 분석한다. R-R interval은 심전도에서 R파에서 다음의 R파까지의 간격을 말하는데 맥파 센서부(230)는 LF (Low Frequency) 와 HF(High Frequency) 값을 검출하여 프로세서(220)에 제공할 수 있다. LF 값은 LF 대역(일 예로서, 0.04-0.15Hz)의 파워이고, HF 값은 HF 대역(예를 들어, 0.15-0.4Hz)의 파워를 나타낸다. 관측에 의하면, 일반적으로 수면 시 LF 값은 감소하며 HF 값은 증가한다. LF/HF 비의 값은 수면과 졸음 시(혹은 집중도 감소 시) LF 값은 감소하고 HF 값은 증가하기에 LF/HF의 비는 감소한다.
프로세서(220)는 맥파 센서부(220)로부터 맥파 신호 데이터(Raw data)에 대한 정보를 수신하고, 맥파 신호 데이터(Raw data)에서 집중도 측정에 사용될 소정의 주파수에 해당하는 주파수 성분을 추출하기 위한 전처리(pre-filtering)를 수행할 수 있다(S340). 이때, 프로세서(220)는 소정의 주파수에 해당하는 주파수 성분 (일 예로서 1Hz 내지 100Hz 영역의 주파수 성분)일 수 있으며, 이 경우 최소 200Hz 이상의 샘플링 주파수를 사용한다. 프로세서(220)는 전처리된 데이터로부터 아래와 같은 적어도 하나의 특징 값들은 추출할 수 있다(S340).
1. 측정한 PPG 신호의 Peak값 (PPG의 Peak와 ECG의 R파형은 깊은 연관을 가지고 있다)
2. 상기 측정된 PPG 신호의 피크 값 데이터를 일정한 시간 (window)로 나눈 신호
3. PPG 신호의 피크 값들로부터 아래와 같은 특징 값들을 구한다(NN interval이란 PPG 신호의 피크 점과 그 다음 피크 점의 간격이다)
(1) meanNN : NN Interval의 기대값
(2) SDNN : NN interval의 표준 편차
(3) SDSD : NN Interval의 차분값 (difference)에 대한 표준 편차
(4) NNx_Count : NN intervals 로 유도된 값(mean number of times an hour in which the change in successive normal sinus (NN) intervals exceeds x ms) x의 값으로 10, 20, 30, 40, 50을 테스트함
(5) pNNx : Percentage of absolute differences in successive NN values > x (ms) x의 값으로 10, 20, 30, 40, 50을 테스트함
(6) TF : NN interval의 PSD에서 TF (total frequency)대역 (0.14-0.4Hz)의 Power
(7) VLF : VLF (very low frequency) 대역(0-0.04Hz)의 Power
(8) LF : LF (low frequency) 대역(0.04-0.15Hz)의 Power
(9) HF : HF (high frequency) 대역(0.15-0.4Hz)의 Power
(10) LFn : LF+HF 대역 (0.04-0.4Hz)에 대한 LF대역의 비율
(11) HFn : LF+HF 대역 (0.04-0.4Hz)에 대한 HF대역의 비율
(12) LFHF : HF대역에 대한 LF대역의 비율
뇌파 센서부(210)는 시청중인 영상(예를 들어, 온라인 강의)을 제공하는 디바이스에서 특정 시각 자극의 주파수에 따라 뇌에서 해당 주파수의 세기가 증가하는 현상을 이용하여 정상상태 시각 유발 전위를 측정할 수 있다(S340). 정상상태 시각 유발 전위를 측정하는 사항에 대해서는 이하 도 5과 관련된 설명 부분에서 구체적으로 기술한다.
프로세서(220)는 맥파 센서부(230)으로부터 수신한 맥파 신호 데이터로부터 산출한 상기 12가지 특징 값 중 적어도 하나 이상과 상기 측정된 정상상태 시각 유발 전위에 대한 정보를 소정의 알고리즘(예를 들어, 머신 러닝 알고리즘)에 적용하여 2차적으로 사용자의 집중도를 판단할 수 있다(S340). 일 예로서, 프로세서(220)은 상기 12가지의 특징 값 중에서도 사용자의 집중도를 2차적으로 판단하는 경우에 있어서 LF/HF 값의 비를 이용할 수 있다.
일 실시예로서, 프로세서(220)는 다음 두 가지 조건이 만족되는 경우를 사용자의 비 집중상태로 판단할 수 있다. 첫 번째 조건으로서, 정상상태 유발 전위(SSVEP)의 신호 대 잡음 비(Signal to Noise Ratio, SNR)이 상기 영상 시청 전의 SNR 보다 작거나 혹은 소정의 평균값보다 (현저히) 감소한 경우이다. 두 번째 조건으로서, 맥파 신호에서의 LF/HF 비가 상기 영상 시청 전의 LF/HF 비 보다 작아지거나 혹은 소정의 평균값보다 (현저히) 감소한 경우이다. 이때, 맥파 신호에서의 LF/HF 비가 사전에 정의된 값만큼 현저히 감소한 경우에는 프로세서(220)는 사용자가 집중 상태가 졸음 상태라고 판단할 수 있다. 상기 두 가지 조건 중 어느 한 조건이라도 만족되지 않으면, 프로세서(220)는 사용자가 집중 상태인 것으로 판단한다(S340).
2차적으로 판단한 사용자의 집중도가 비 집중상태이고 소정 시간 동안 비 집중상태가 계속되는 경우(S350), 프로세서(220)는 상기 수학식 1에서 사용된 측정 파라미터들의 값(3가지 파라미터 값)을 조정하여 알고리즘을 임계값을 수정할 수 있다(S370). 한편, 2차적으로 판단한 사용자의 집중도가 비 집중상태이나 소정 시간 동안 비 집중상태가 계속되는 경우가 아니라면(S350), 프로세서(220)는 상기 수학식 1에서 사용된 측정 파라미터들의 값을 유지할 수 있다. 상기 알고리즘 임계값을 수정하는 사항에 대해서는 이하 관련 부분에서 기술한다.
프로세서(220)는 2차적으로 판단한 사용자의 집중도가 비 집중상태이고 소정 시간 동안 비 집중상태가 계속되는 경우라고 판단되면, 사용자의 집중도 상태에 따라 시청 중인 영상의 제어를 위한 제어 신호(예를 들어, 사용자의 휴식이 필요하다는 알림 신호, 재측정 준비 신호, 상기 영상 디바이스를 종료시킬 수 있는 신호 등)를 생성하여 통신부(240)로 전달한다(S380). 통신부(240)는 상기 제어 신호를 영상 디바이스로 전송하여 영상 디바이스의 재생을 제어할 수 있다.
도 4는 본 발명의 실시예에 따른 1차적인 사용자 집중도 판단/분류와 관련된 시스템을 예시한 도면이고, 도 5는 본 발명의 실시예에 따른 2차적인 사용자의 집중도 판단/분류와 관련된 시스템을 예시한 도면이다.
도 4에 도시한 바와 같이, 사용자(420)는 웨어러블 디바이스(예를 들어, 헤드마운트 디바이스)(200)를 착용한 상태에서 모니터(410)에 보여지는 온라인 강의를 시청한다. 그 후, 웨어러블 디바이스(200)의 뇌파 센서부(210)는 측정되는 뇌파 신호 데이터(예를 들어, EEG의 값)을 검출 혹은 측정하고, 프로세서(220)는 상기 도 3에서 설명한 바와 같이 주파수 별로 필터링해 사용자(420)를 집중도를 1차적으로 판단/분류한다. 상기 1차적 판단/분류 이후 소정 시간 동안 사용자의 비 집중상태가 지속되지 않으면 프로세서(220)는 사용자가 집중 상태인 것으로 판단할 수 있고, 이 경우 프로세서(220)는 통신부(240)로 제어 신호 (예를 들어, 사용자가 현재 시청중인 영상을 재생하는 영상 디바이스가 계속 재생하도록 명령하는 신호, 사용자가 집중 상태임을 지시하는 신호 등)를 전송하고, 통신부(240)는 상기 제어 신호를 영상 디바이스에 전달하여 영상 디바이스를 제어할 수도 있다.
만약, 상기 1차적 판단/분류 이후 소정 시간 동안 사용자의 비 집중상태가 지속되면 프로세서(220)는 상술한 바와 같이 맥파 센서부(230)에서 측정한 맥파 신호 데이터와 정상상태시각유발전위(SSVEP)에 대한 정보를 이용하여 사용자의 집중도를 2차적으로 판단/분류할 수 있다.
도 5는 사용자의 집중도를 2차적으로 판단/분류하기 위한 시스템을 도시한 것으로서, 도 5의 시스템에서 모니터(410)는 뇌파 센서부(210)에서 정상상태 시각 유발 전위를 측정할 수 있도록 하기 위한 특정 시각 자극을 발생시킬 수 있다. 정상상태 시각 유발 전위 측정 방법은 사용자의 입력 자극의 주파수와 동조된 반응 주파수가 뇌에서 측정된다는 것을 이용하는 것이다.
사용자의 시각 자극의 주파수에 따라 뇌에서 해당 주파수의 세기가 증가하는 현상이 생긴다. 도 5에서와 같이 사용자(420)가 웨어러블 디바이스(예를 들어, 헤드마운트 디바이스)(200)를 착용한 상태에서 모니터(410)에 보여지는 온라인 강의를 시청한다. 그 후 일정 시간마다 출현되고 미리 설정된 7~15Hz의 주파수 범위가 있는 흑과 백을 교번 전환하며 점멸배경 자극을 하는 장치(430)를 일 예로서 모니터(410)의 좌측 구석에 배치하고, 이때 점멸배경 자극 장치(430)이 출현할 경우에는 사용자(420)는 온라인 강의 시청 중 즉시 점멸 배경 자극 장치를 활용하여 자극을 확인할 수 있다. 웨어러블 디바이스(200)의 뇌파 센서부(210)는 점멸배경 자극 장치(430)로부터의 시각 자극에 대한 뇌에서의 정상상태 시각 유발 전위를 측정할 수 있다.
도 6은 사용자(420)가 15Hz의 자극 영상을 시청하는 경우에 뇌파 센서부(210)에서 검출되는 뇌파에 대한 그래프를 나타낸 것이다.
도 6에서는 일 예로서 정상상태 시각 유발 전위를 검출하기 위해 모니터(4410)의 왼쪽 하단부 지점에 소정의 주파수 범위(일 예로서, 7~15 Hz)의 다양한 속도로 흰색(RGB: 255,255,255)과 검정색(RGB:0,0,0)이 교번 전환되는 배경 점멸(Background Flicker) 자극을 발생시키는 장치가 배치되어 있다. 예를 들어, 사용자(420)가 15Hz의 자극 영상을 시청하는 경우 자극 영상의 주파수의 비례하는 주파수가 뇌에 관측된다. 예를 들어, 뇌파 센서부(210)는 15Hz의 배수인 15Hz, 30Hz, 45Hz의 뇌파(예를 들어, EEG의 주파수)를 도 6에서와 같이 검출할 수 있다. 프로세서(220)는 SSVEP로부터 사용자(420)가 점멸배경 자극 장치(430)로부터의 시각 자극 영역에 대응하는 파워의 진폭 스펙트럼, SNR(Signal to Noise Ratio), PLV(Phase-Locking Value)를 산출할 수 있다.
다음 수학식 2는 프로세서(220)가 점멸 배경 자극 장치(430)로부터의 시각 자극에 대해 사용자(420)가 집중한 주파수 영역에 해당하는 파워의 진폭 스펙트럼을 구하기 위한 식으로서, FFT 스펙트럼의 절대값을 구하는 식이다.
여기서 yi(f,t)는, FFT 스펙트럼의 절대값을 정의하기 위한 식이며, 이 식에 정의된 f는 주파수이고, t는 시간이다. 또한 Xi(t)는 i번째 채널에서 획득한 뇌전도 신호이다. 식 yi(f,t)는 절대값으로 나타낸 Xi(f,t)과 같으며, 또한 절대값으로 나타낸 FFT(Xi(t))와도 같다고 정의할 수 있다.
다음 수학식 3은 정상상태 시각 유발 전위의 신호 대 잡음비 (Signal to Noise Ration, SNR)를 산출하는 식으로서, 프로세서(220)는 다음 수학식 3을 이용하여 정상상태 시각 유발 전위의 SNR을 산출할 수 있다.
여기서 사용된 SNR은 진폭 스펙트럼 및 평균 n개의 인접 지점 사이의 비율로 정의된다. 인접 지점은 임의의 개수로 지정될 수 있으며 r은 특정한 Hz의 범위 내에서 어떠한 숫자로 정의할 수 있는 값이다. yi(f,t)는 상기 수학식 2와 같은 FFT 스펙트럼의 절대값을 정의하기 위한 식이다. 여기서, f는 주파수이고, t는 시간이다. 또한 k는 주파수에 해당하는 파워값과 조화 주파수들에 해당하는 파워 값의 합을 구하기 위해 지정된 값이다.
수학식 3에서, 사용자(420)가 집중한 방향의 주파수에 해당하는 파워 값과 조화주파수들에 해당하는 파워 값의 합이며, 잡음은 무시된 방향의 주파수 해당하는 파워 값과 조화주파수들에 해당하는 파워 값의 합이다.
수학식 4는 PLV(Phase-Locking Value)를 구하는 식이다.
또한 PLV는 수학식 4처럼 EEG 데이터에서 특정 주파수의 작업 유도 변경 및 위상 안정성 정도를 나타내는 데 사용될 수 있다. 본 발명에서 PLV는 시간 t에서 자극 주파수에서 N 개의 채널의 평균값으로 정의된다. 여기서 j는 허수 단위이고 θ는 뇌파 신호와 자극 신호 간의 위상차이며, 이는 다음과 같은 수학식 5로 계산할 수 있다.
프로세서는(220)는 맥파 신호 데이터 (예를 들어, PPG 데이터)와 정상상태 시각 유발 전위를 이용하여 사용자(420)의 집중도를 2차적으로 판단/분류하고 난 뒤, 소정 기간 계속 비 집중상태가 계속 관측될 경우, 기존 알고리즘 유지 혹은 집중 상태인 경우 알고리즘의 임계점을 수정한다. 기존 알고리즘은 상기 수학식 1과 같다.
알고리즘의 임계점 수정을 기술하자면 사용자(420)의 집중 상태에서는 세타파는 줄어들면서 SMR파와 mid베타파가 증가하게 되므로 세타파가 늘어나고 SMR파와 mid베타파의 값이 줄어들 수 있도록 유도한다. 혹은 정상상태 시각 유발 전위(SSVEP)의 SNR을 시청 전 혹은 사전에 정의된 평균값보다 값을 조금씩 상승시켜 집중상태에 맞출 수 있도록 한다.
도 7은 본 발명에 따른 사용자(420)의 집중도를 2차적으로 판단한 후 최종적으로 사용자(420)의 집중도 판단/분류 시스템을 통하여 사용자(420)의 집중도 상태에 따라서 영상을 제어하는 방법을 예시한 도면이다.
도 7을 참조하면, 영상(예를 들어, 온라인 강의)이 시작되면, 사용자(420)는 영상을 시청한다. 사용자(420)의 영상 시청 중 정상상태 시각 유발 전위의 SNR이 상기 영상 시청 전보다 감소 혹은 맥파의 LF/HF의 비가 상기 영상 시청전보다 사전에 정의된 값만큼 현저히 감소한 것이 판단되면, 프로세서(220)는 사용자(420)가 집중하지 않고 있다는 알림 혹은 휴식 권유 알림 등을 사용자(420)에게 피드백해 줄 수 있고, 상기 영상 재생 종료를 위한 신호 등을 통신부(240)로 전송해 주어, 통신부(240)는 영상 디바이스가 상기 영상 재생을 종료하도록 하는 신호를 영상 디바이스로 전송해 줄 수 있다.
이후, 상기 영상이 강제로 종료된 후 사용자(420)가 소정 시간 동안 휴식하지 않고 상기 영상의 재생 버튼을 작동하면, 프로세서(220)는 정상상태 시각 유발 전위의 SNR 또는 맥파의 LF/HF의 비가 상기 영상 시청 전의 SNR 또는 LF/HF의 비와 일치하는지 (예를 들어, 시청 전 및 시청 후의 값이 소정 값 범위 내에서 있는 경우에는 일치로 볼 수 있음) 여부를 판단할 수 있다. 일치하지 않는 다면, 프로세서(220)는 사용자(420)가 집중하지 않고 있다는 알림 혹은 휴식 권유 알림 등을 사용자(420)에게 피드백해 줄 수 있고, 상기 영상 재생 종료를 위한 신호 등을 통신부(240)로 전송해 주어, 영상 디바이스가 상기 영상 재생을 종료하도록 하는 신호를 영상 디바이스로 전송해 줄 수 있다.
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명은 본 발명의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
Claims (21)
- 영상을 시청하는 사용자의 뇌파를 측정하여 측정된 뇌파 데이터에 대한 정보를 제공하는 뇌파 센서부;
상기 뇌파 센서부로부터 제공된 상기 뇌파 데이터에 대한 정보를 이용하여 상기 사용자의 집중도를 1차적으로 판단하는 프로세서; 및
상기 1차적인 판단에 따라 상기 사용자가 집중하고 있지 않는 것으로 판단되고 비 집중도가 소정 시간 이상 관측되는 경우 상기 사용자의 맥파를 측정하여 측정된 맥파 데이터에 대한 정보를 상기 프로세서로 제공하는 맥파 센서부를 포함하되,
상기 비 집중도가 소정 시간 이상 관측되는 경우 상기 뇌파 센서부는 특정 시각 자극에 따른 정상상태 시각 유발 전위를 측정하여 측정된 정상상태 시각 유발 전위에 대한 정보를 상기 프로세서에 제공하고,
상기 프로세서는 상기 맥파 센서부로부터 제공된 상기 맥파 데이터에 대한 정보 및 상기 측정된 정상상태 시각 유발 전위에 대한 정보를 이용하여 상기 사용자의 집중도를 2차적으로 판단하는, 웨어러블 디바이스. - 제 1항에 있어서,
상기 프로세서는 상기 뇌파 센서부로부터 제공된 베타파 및 세타파에 대한 정보를 처리하여 상기 사용자의 집중도를 1차적으로 판단하는, 웨어러블 디바이스. - 제 2항에 있어서,
상기 프로세서는 베타파 및 세타파에 대해 각각 해당 주파수 영역에서 대역 통과 필터링(band pass filtering)을 적용하여 베타파와 세타파를 검출하는, 웨어러블 디바이스. - 제 1항에 있어서,
상기 프로세서는 다음 수학식 A를 이용하여 상기 사용자의 집중도를 1차적으로 판단하는, 웨어러블 디바이스:
[수학식 A]
여기서, θ는 세타파의 세기, SMR은 SMR 파의 세기, midβ는 midβ 파의 세기를 나타낸다. - 제 1항에 있어서,
통신부를 더 포함하되,
상기 프로세서가 상기 사용자의 집중도를 2차적으로 판단한 결과 상기 사용자가 비집중 상태이고 이후 특정 시간 이상 상기 사용자의 비집중 상태가 계속 관측되면 상기 사용자의 비집중 상태를 알리는 신호 혹은 상기 영상의 재생을 종료시키도록 하는 신호를 상기 통신부로 제공하는, 웨어러블 디바이스. - 제 5항에 있어서,
상기 통신부는 상기 사용자의 비집중 상태를 알리는 신호 혹은 상기 영상의 재생을 종료시키도록 하는 신호를 상기 영상을 제공하는 장치로 송신하는, 웨어러블 디바이스. - 제 1항에 있어서,
상기 프로세서는 상기 사용자의 집중도를 2차적으로 판단하기 위해,
상기 측정된 정상상태 시각 유발 전위의 신호 대 잡음비(Signal to Noise Ration, SNR)를 산출하고 상기 맥파 데이터로부터 LF/HF 비(low frequency 대역의 파워/high frequency 대역의 파워)를 산출하는, 웨어러블 디바이스. - 제 7항에 있어서,
상기 프로세서는,
상기 측정된 정상상태 시각 유발 전위의 SNR이 상기 영상 시청 전의 SNR 보다 작아지거나 소정의 제 1 평균값 보다 작아진 경우와, 그리고
상기 맥파 데이터로부터 추출된 LF/HF 비(low frequency가 상기 영상 시청 전의 LF/HF 비 보다 작거나 소정의 제 2 평균값 보다 작아진 경우에 상기 사용자의 집중도를 비 집중으로 2차적으로 판단하는, 웨어러블 디바이스. - 제 8항에 있어서,
상기 산출된 LF/HF 비가 상기 영상 시청 전의 LF/HF 비 보다 상기 소정의 제 2 평균값 보다 작아진 경우에는 상기 프로세서는 상기 사용자가 졸음 상태라고 판단하는, 웨어러블 디바이스. - 제 1항에 있어서,
상기 뇌파 센서부는 Electroencephalography (EEG) 센서를 포함하는, 웨어러블 디바이스. - 제 1항에 있어서,
상기 맥파 센서부는 PPG (Photoplethysmograph) 센서를 포함하는, 웨어러블 디바이스. - 웨어러블 디바이스가 사용자의 집중도를 판단하는 방법에 있어서,
영상을 시청하는 사용자의 뇌파를 측정하여 측정된 뇌파 데이터에 대한 정보를 생성하는 단계;
상기 뇌파 데이터에 대한 정보를 이용하여 상기 사용자의 집중도를 1차적으로 판단하는 단계;
상기 1차적인 판단에 따라 상기 사용자가 집중하고 있지 않는 것으로 판단되고 비 집중도가 소정 시간 이상 관측되는 경우 상기 사용자의 맥파를 측정하여 측정된 맥파 데이터에 대한 정보를 생성하는 단계;
상기 비 집중도가 소정 시간 이상 관측되는 경우 특정 시각 자극에 따른 정상상태 시각 유발 전위를 측정하여 측정된 정상상태 시각 유발 전위에 대한 정보를 생성하는 단계; 및
상기 맥파 데이터에 대한 정보 및 상기 측정된 정상상태 시각 유발 전위에 대한 정보를 이용하여 상기 사용자의 집중도를 2차적으로 판단하는 단계를 포함하는, 사용자의 집중도를 판단하는 방법. - 제 12항에 있어서,
상기 사용자의 집중도를 1차적으로 판단하는 단계는 상기 사용자의 뇌에서 측정된 베타파 및 세타파에 대한 정보를 처리하여 상기 사용자의 집중도를 1차적으로 판단하는, 사용자의 집중도를 판단하는 방법. - 제 13항에 있어서,
상기 사용자의 집중도를 1차적으로 판단하는 단계는 상기 베타파 및 세타파에 대해 각각 해당 주파수 영역에서 대역 통과 필터링(band pass filtering)을 적용하여 베타파와 세타파를 검출하는 단계를 포함하는, 사용자의 집중도를 판단하는 방법. - 제 12항에 있어서,
상기 사용자의 집중도를 1차적으로 판단하는 단계는 다음 수학식 A를 이용하여 상기 사용자의 집중도를 1차적으로 판단하는, 사용자의 집중도를 판단하는 방법:
[수학식 A]
여기서, θ는 세타파의 세기, SMR은 SMR 파의 세기, midβ는 midβ 파의 세기를 나타낸다. - 제 12항에 있어서,
상기 사용자의 집중도를 2차적으로 판단한 결과 상기 사용자가 비집중 상태이고 이후 특정 시간 이상 상기 사용자의 비집중 상태가 계속 관측되면 상기 사용자의 비집중 상태를 알리는 신호 혹은 상기 영상의 재생을 종료시키도록 하는 신호를 생성하여 통신부로 송신하는 단계를 더 포함하는, 사용자의 집중도를 판단하는 방법. - 제 16항에 있어서,
상기 사용자의 비집중 상태를 알리는 신호 혹은 상기 영상의 재생을 종료시키도록 하는 신호를 상기 영상을 제공하는 장치로 송신하는 단계를 더 포함하는, 사용자의 집중도를 판단하는 방법. - 제 12항에 있어서,
상기 사용자의 집중도를 2차적으로 판단하기 단계는,
상기 측정된 정상상태 시각 유발 전위의 신호 대 잡음비(Signal to Noise Ration, SNR)를 산출하는 단계; 및
상기 맥파 데이터로부터 LF/HF 비(low frequency 대역의 파워/high frequency 대역의 파워)를 산출하는 단계를 더 포함하는, 사용자의 집중도를 판단하는 방법. - 제 18항에 있어서,
상기 사용자의 집중도를 2차적으로 판단하기 단계에서,
상기 측정된 정상상태 시각 유발 전위의 SNR이 상기 영상 시청 전의 SNR 보다 작아지거나 소정의 제 1 평균값 보다 작아진 경우와, 그리고
상기 맥파 데이터로부터 추출된 LF/HF 비(low frequency가 상기 영상 시청 전의 LF/HF 비 보다 작거나 소정의 제 2 평균값 보다 작아진 경우에를 상기 사용자의 집중도를 비 집중이라고 2차적으로 판단하는, 사용자의 집중도를 판단하는 방법. - 제 19항에 있어서,
상기 사용자의 집중도를 2차적으로 판단하는 단계는 상기 산출된 LF/HF 비가 상기 영상 시청 전의 LF/HF 비 보다 상기 소정의 제 2 평균값 보다 작아진 경우에는 상기 사용자가 졸음 상태라고 판단하는 단계를 더 포함하는, 사용자의 집중도를 판단하는 방법. - 제 12항 내지 제 20항 중 어느 한 항에 기재된 사용자의 졸음의 정도 또는 집중도의 정도를 측정하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180060627A KR102231979B1 (ko) | 2018-05-28 | 2018-05-28 | 사용자의 집중도를 판단하는 방법 및 이를 위한 웨어러블 디바이스 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180060627A KR102231979B1 (ko) | 2018-05-28 | 2018-05-28 | 사용자의 집중도를 판단하는 방법 및 이를 위한 웨어러블 디바이스 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190135315A true KR20190135315A (ko) | 2019-12-06 |
| KR102231979B1 KR102231979B1 (ko) | 2021-03-24 |
Family
ID=68837205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180060627A KR102231979B1 (ko) | 2018-05-28 | 2018-05-28 | 사용자의 집중도를 판단하는 방법 및 이를 위한 웨어러블 디바이스 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102231979B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102265734B1 (ko) * | 2020-08-25 | 2021-06-16 | 라이트하우스(주) | 뇌파 분석 기반 학습 콘텐츠 생성 및 재구성 방법, 장치, 및 시스템 |
| CN114246593A (zh) * | 2021-12-15 | 2022-03-29 | 山东中科先进技术研究院有限公司 | 一种融合脑电、眼电、心率的疲劳检测方法及系统 |
| CN117331442A (zh) * | 2023-10-16 | 2024-01-02 | 廊坊市珍圭谷科技有限公司 | 一种基于脑波信号的多人协同控制装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009033187A1 (en) * | 2007-09-07 | 2009-03-12 | Emsense Corporation | System and method for detecting viewer attention to media delivery devices |
| KR20110012298A (ko) * | 2009-07-30 | 2011-02-09 | 주식회사 다이나믹플러스 | 뇌파를 이용한 집중력 강화 시스템 및 그 동작방법 |
| KR20110023424A (ko) * | 2009-08-31 | 2011-03-08 | 연세대학교 산학협력단 | 안정-상태 시각 유발전위를 이용한 집중력 테스트 방법과, 이를 이용한 집중력 테스트 장치 및 이를 이용한 집중력 트레이닝 방법 |
| JP2014100227A (ja) * | 2012-11-19 | 2014-06-05 | Toyota Motor Corp | 集中度推定装置、集中度推定方法、運転支援装置及び運転支援方法 |
| KR20140075049A (ko) * | 2012-12-07 | 2014-06-19 | 상명대학교서울산학협력단 | 집중력 평가 방법 및 이를 적용하는 장치 |
| KR20160110807A (ko) * | 2015-03-12 | 2016-09-22 | 주식회사 소소 | 다중 생체신호 검출용 헤드셋 장치 |
| KR20180124327A (ko) * | 2017-05-11 | 2018-11-21 | 광운대학교 산학협력단 | 사용자의 졸음의 정도 혹은 집중력의 정도를 측정하기 위한 방법 및 이를 위한 웨어러블 디바이스 |
-
2018
- 2018-05-28 KR KR1020180060627A patent/KR102231979B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009033187A1 (en) * | 2007-09-07 | 2009-03-12 | Emsense Corporation | System and method for detecting viewer attention to media delivery devices |
| KR20110012298A (ko) * | 2009-07-30 | 2011-02-09 | 주식회사 다이나믹플러스 | 뇌파를 이용한 집중력 강화 시스템 및 그 동작방법 |
| KR20110023424A (ko) * | 2009-08-31 | 2011-03-08 | 연세대학교 산학협력단 | 안정-상태 시각 유발전위를 이용한 집중력 테스트 방법과, 이를 이용한 집중력 테스트 장치 및 이를 이용한 집중력 트레이닝 방법 |
| JP2014100227A (ja) * | 2012-11-19 | 2014-06-05 | Toyota Motor Corp | 集中度推定装置、集中度推定方法、運転支援装置及び運転支援方法 |
| KR20140075049A (ko) * | 2012-12-07 | 2014-06-19 | 상명대학교서울산학협력단 | 집중력 평가 방법 및 이를 적용하는 장치 |
| KR20160110807A (ko) * | 2015-03-12 | 2016-09-22 | 주식회사 소소 | 다중 생체신호 검출용 헤드셋 장치 |
| KR20180124327A (ko) * | 2017-05-11 | 2018-11-21 | 광운대학교 산학협력단 | 사용자의 졸음의 정도 혹은 집중력의 정도를 측정하기 위한 방법 및 이를 위한 웨어러블 디바이스 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102265734B1 (ko) * | 2020-08-25 | 2021-06-16 | 라이트하우스(주) | 뇌파 분석 기반 학습 콘텐츠 생성 및 재구성 방법, 장치, 및 시스템 |
| CN114246593A (zh) * | 2021-12-15 | 2022-03-29 | 山东中科先进技术研究院有限公司 | 一种融合脑电、眼电、心率的疲劳检测方法及系统 |
| CN117331442A (zh) * | 2023-10-16 | 2024-01-02 | 廊坊市珍圭谷科技有限公司 | 一种基于脑波信号的多人协同控制装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102231979B1 (ko) | 2021-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3102094B1 (en) | System and method for determining timing of sensory stimulation delivered to a subject during a sleep session | |
| US8706206B2 (en) | Human fatigue assessment device and human fatigue assessment method | |
| US20030225340A1 (en) | Repetitive visual stimulation to EEG neurofeedback protocols | |
| KR102037970B1 (ko) | 뇌파 측정 장치, 이를 포함하는 치매 진단 및 예방 시스템 및 방법 | |
| KR101480536B1 (ko) | 헤어밴드 타입의 휴대용 뇌파 측정 장치를 포함한 뇌파 측정 시스템 및 이를 이용한 수면 관리 방법 | |
| Pihko et al. | Somatosensory evoked potentials and magnetic fields elicited by tactile stimulation of the hand during active and quiet sleep in newborns | |
| KR102038151B1 (ko) | 사용자의 졸음의 정도 혹은 집중력의 정도를 측정하기 위한 방법 및 이를 위한 웨어러블 디바이스 | |
| CN104665824A (zh) | 穿戴式生理检测装置 | |
| KR20180001367A (ko) | 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법 | |
| Poltavski | The use of single-electrode wireless EEG in biobehavioral investigations | |
| KR102075503B1 (ko) | 치매 예측 시스템 및 그 구동방법 | |
| Surangsrirat et al. | Analysis of the meditation brainwave from consumer EEG device | |
| KR102231979B1 (ko) | 사용자의 집중도를 판단하는 방법 및 이를 위한 웨어러블 디바이스 | |
| CN104665788A (zh) | 穿戴式生理检测装置 | |
| CN110612059A (zh) | 头戴式设备 | |
| TWM530132U (zh) | 穿戴式生理檢測裝置 | |
| KR20140103560A (ko) | 수면 뇌파 학습 메모리 강화 분석 기능을 제공하는 헤어밴드 타입 뇌파 측정 장치와 단말기를 포함하는 시스템 | |
| GB2381586A (en) | Electro-Oculographic Sleep Monitoring | |
| CN104665827A (zh) | 穿戴式生理检测装置 | |
| Saidin et al. | Study of electroencephalography signal of autism and down syndrome children using FFT | |
| KR101693716B1 (ko) | 뇌파를 이용한 졸음정도 및 집중정도의 판단 방법 및 이를 이용한 집중력저감 알림 시스템 | |
| CN109147951A (zh) | 一种大脑警觉度的监测报警方法 | |
| TWI650105B (zh) | 穿戴式生理檢測裝置 | |
| KR20080039805A (ko) | 뉴로 피드백 장치 및 방법 | |
| KR102159637B1 (ko) | 웨어러블 디바이스가 근전도 패턴을 이용하여 사용자가 원하는 액션을 수행하는 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |