KR102201263B1 - 개인화 인지 상태 예측 장치 및 방법 - Google Patents
개인화 인지 상태 예측 장치 및 방법 Download PDFInfo
- Publication number
- KR102201263B1 KR102201263B1 KR1020180149177A KR20180149177A KR102201263B1 KR 102201263 B1 KR102201263 B1 KR 102201263B1 KR 1020180149177 A KR1020180149177 A KR 1020180149177A KR 20180149177 A KR20180149177 A KR 20180149177A KR 102201263 B1 KR102201263 B1 KR 102201263B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- user
- state
- unit
- learning data
- Prior art date
Links
- 230000006998 cognitive state Effects 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims description 23
- 210000004556 brain Anatomy 0.000 claims abstract description 60
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000004913 activation Effects 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims description 36
- 230000008447 perception Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 210000003478 temporal lobe Anatomy 0.000 description 9
- 210000001320 hippocampus Anatomy 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 3
- 210000001652 frontal lobe Anatomy 0.000 description 3
- 210000000869 occipital lobe Anatomy 0.000 description 3
- 230000001936 parietal effect Effects 0.000 description 3
- 210000001152 parietal lobe Anatomy 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 210000004720 cerebrum Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000000971 hippocampal effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 210000003926 auditory cortex Anatomy 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003715 limbic system Anatomy 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007087 memory ability Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000000977 primary visual cortex Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 210000004092 somatosensory cortex Anatomy 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 210000001779 taste bud Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Neurology (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Power Engineering (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Neurosurgery (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치는, 사용자의 뇌의 각 영역의 뇌파를 센싱하기 위한 센싱부; 및 상기 센싱부에 의해 센싱된 뇌의 각 영역의 뇌파에 기반하여 정보에 대한 사용자의 인지 상태를 예측하기 위한 인지 상태 예측부를 포함하고, 상기 인지 상태 예측부는, 상기 센싱된 뇌파에서 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 사용자 특정적인 특징들을 추출하기 위한 특징 추출부; 정보에 대한 사용자의 인지 상태에 대한 개인화된 학습 데이터를 저장하고 있는 학습 데이터 모델링부; 및 상기 특징 추출부에서 출력되는 사용자 특정적인 특징들에 기반하여 정보에 대한 사용자의 인지 상태와 관련하여 사용자에 따라 특정적으로 활성화되는 적어도 하나의 뇌 영역을 결정하고 센싱된 뇌파 중 상기 결정된 뇌 영역의 뇌파에서 추출된 특징들을 상기 학습 데이터로서 학습 데이터 모델링부에 저장하며, 상기 특징 추출부에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여 사용자의 인지 상태를 분류하기 위한 분류부를 포함한다.
Description
본 발명은 개인화 인지 상태 예측 장치 및 방법에 관한 것이다.
학습의 성과를 높이기 위해서는 사용자의 학습 성취도를 정확히 측정하는 것이 중요하다. 이를 위해 미리 준비된 시험 문항에 대한 사용자의 반응을 측정하여 성취도를 예측하는 기법이 널리 사용되고 있다.
현재 사용되고 있는 방법들은 다수의 모집단의 성취도를 개인의 성취도와 비교하여 단순한 수치로서 제시하는데 그치고 있다.
이렇게 개인의 성취도를 모집단의 성취도와 단순 비교하여 개인의 성취도를 측정하는 경우, 학습 정보에 대한 개인의 인지 상태가 어떤 단계에 있는지를 정확히 파악할 수 없어 개인의 학습 성취도를 정확히 예측할 수 없다.
따라서, 개인별 학습 성취도를 정확히 예측하기 위하여, 학습 정보에 대한 사용자의 인지 상태를 실시간으로 세분화하여 예측할 수 있는 장치 및 방법이 요구된다.
본 발명이 해결하고자 하는 과제는 개인별 학습 성취도를 정확히 예측하기 위하여, 학습 정보에 대한 사용자의 인지 상태를 실시간으로 세분화하여 예측할 수 있는 개인화 인지 상태 예측 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 개인별 학습 성취도를 정확히 예측하기 위하여, 학습 정보에 대한 사용자의 인지 상태를 실시간으로 세분화하여 예측할 수 있는 개인화 인지 상태 예측 방법을 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치는,
사용자의 뇌의 각 영역의 뇌파를 센싱하기 위한 센싱부; 및
상기 센싱부에 의해 센싱된 뇌의 각 영역의 뇌파에 기반하여 정보에 대한 사용자의 인지 상태를 예측하기 위한 인지 상태 예측부를 포함하고,
상기 인지 상태 예측부는,
상기 센싱된 뇌파에서 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 사용자 특정적인 특징들을 추출하기 위한 특징 추출부;
정보에 대한 사용자의 인지 상태에 대한 개인화된 학습 데이터를 저장하고 있는 학습 데이터 모델링부; 및
상기 특징 추출부에서 출력되는 사용자 특정적인 특징들에 기반하여 정보에 대한 사용자의 인지 상태와 관련하여 사용자에 따라 특정적으로 활성화되는 적어도 하나의 뇌 영역을 결정하고 센싱된 뇌파 중 상기 결정된 뇌 영역의 뇌파에서 추출된 특징들을 상기 학습 데이터로서 학습 데이터 모델링부에 저장하며, 상기 특징 추출부에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여 사용자의 인지 상태를 분류하기 위한 분류부를 포함한다.
본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치에 있어서, 상기 정보에 대한 사용자의 인지 상태는 정보의 감지, 저장 및 인출로 세분화되고,
상기 인지 상태 예측부는,
상기 정보에 대한 사용자의 인지 상태를, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3) 중 하나의 상태로 분류할 수 있다.
또한, 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치에 있어서, 상기 인지 상태 예측부는, 상기 특징 추출부에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여,
정보에 대한 감지, 저장, 인출이 모두 실패로 판단되는 경우, 인지 상태를 상태 0으로 분류하고,
정보에 대한 감지, 저장, 인출이 각각 성공, 실패, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며,
정보에 대한 감지, 저장, 인출이 각각 성공, 성공, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며,
정보에 대한 감지, 저장, 인출이 모두 성공으로 판단되는 경우, 인지 상태를 상태 3으로 분류할 수 있다.
또한, 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치는, 상기 센싱부에 의해 센싱된 뇌파에서 노이즈를 제거하고 노이즈가 제거된 뇌파를 주파수 영역의 신호로 변환하기 위한 전처리부를 더 포함할 수 있다.
상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 방법은,
(A) 분류부가, 사용자의 뇌의 각 영역에서 센싱된 뇌파에 기반하여 정보에 대한 사용자의 인지 상태와 관련하여 사용자에 따라 특정적으로 활성화되는 적어도 하나의 뇌 영역을 결정하고 상기 센싱된 뇌파 중 상기 결정된 뇌 영역의 뇌파에서 추출된 특징들을 학습 데이터로서 학습 데이터 모델링부에 저장하는 단계;
(B) 특징 추출부가, 상기 사용자의 뇌의 각 영역에서 센싱된 뇌파에서 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 사용자 특정적인 특징들을 추출하는 단계; 및
(C) 상기 분류부가, 상기 특징 추출부에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여 사용자의 인지 상태를 예측하는 단계를 포함한다.
본 발명의 일 실시예에 의한 개인화 인지 상태 예측 방법에 있어서, 상기 정보에 대한 사용자의 인지 상태는 정보의 감지, 저장 및 인출로 세분화되고,
상기 단계 (C)는,
상기 분류부가, 상기 센싱된 사용자의 뇌파에 기반하여, 상기 정보에 대한 사용자의 인지 상태를, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3) 중 하나의 상태로 분류하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 방법에 있어서, 상기 단계 (C)는,
상기 분류부가, 특징 추출부에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여,
정보에 대한 감지, 저장, 인출이 모두 실패로 판단되는 경우, 인지 상태를 상태 0으로 분류하고,
정보에 대한 감지, 저장, 인출이 각각 성공, 실패, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며,
정보에 대한 감지, 저장, 인출이 각각 성공, 성공, 실패로 판단되는 경우, 인지 상태를 상태 2로 분류하며,
정보에 대한 감지, 저장, 인출이 모두 성공으로 판단되는 경우, 인지 상태를 상태 3으로 분류하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 방법에 있어서, 상기 센싱된 뇌파는 전처리부에 의해 노이즈가 제거되고 주파수 영역의 신호로 변환될 수 있다.
본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치 및 방법에 의하면, 개인별 학습 성취도를 정확히 예측하기 위하여, 학습 정보에 대한 사용자의 인지 상태를 실시간으로 세분화하여 예측할 수 있다.
도 1은 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치의 블록도.
도 2는 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 방법의 흐름도.
도 2는 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 방법의 흐름도.
본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다.
이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.
본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
또한, "제1", "제2", "일면", "타면" 등의 용어는, 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.
이하, 본 발명을 설명함에 있어, 본 발명의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.
본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치 및 방법에서는, 사용자의 인지 상태를 인지 과학적 지식에 기반하여 보다 세밀하게 측정한다.
본 발명의 일 실시예에서는 학습 정보와 같은 정보에 대한 사용자의 인지 상태를 정보의 감지(percept), 저장(encoding) 및 인출(retrieval)로 세분화하고, 센싱된 뇌파에 기반하여 상기 세분화된 인지 상태인 감지, 저장 및 인출의 성공 또는 실패 여부를 판단하여 정보에 대한 사용자의 인지 상태를, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3)로 분류한다.
한편, 학습 정보에 대한 사용자의 반응은 개인별로 상이할 수 있다. 즉, 정보를 인지할 때 어떤 사용자는 뇌의 영역 중 전두엽의 소정 영여과 두정엽의 소정 영역이 활성화될 수 있고, 다른 사용자는 뇌의 영역 중 측두엽의 소정 영역과 후두엽의 소정 영역이 활성화될 수 있다. 또 다른 사용자는 뇌의 영역 중 측두엽의 소정 영역과 해마 영역이 활성화될 수 있다.
또한, 정보에 대해 뇌가 활성화되는 패턴도 개인별 그리고 상기한 세부적인인지 상태, 즉 정보의 감지, 저장 또는 인출의 성공 여부에 따라 상이할 수 있다.
따라서, 본 발명에서는 모든 사용자에게 일률적인 기준을 적용하여 인지 상태를 예측하는 것이 아니라, 우선, 정보를 인식할 때 사용자 개인별로 활성화되는 뇌의 영역들을 결정하고, 결정된 뇌의 영역들에서 감지된 뇌파 신호에서 인지 상태의 세분화된 상태인 감지, 저장, 인출 성공 시의 활성 패턴을 검출하며, 검출된 활성 패턴에 기반하여 개인에 특정적인 특징들을 추출하여, 이를 학습 데이터로서 저장한다.
이후, 테스트하고자 하는 학습 정보를 사용자에게 노출하여 사용자가 감지하도록 후, 사용자의 뇌의 결정된 영역의 뇌파에 기반하여 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 특징들을 추출하며, 추출된 특징들을 학습 데이터와 비교하여, 정보에 대한 사용자의 인지 상태가 인지 상태의 세분화된 상태인 감지의 성공 또는 실패, 저장의 성공 또는 실패, 그리고 인출의 성공 또는 실패에 해당하는지를 판단한다.
그리고 이러한 판단에 따라 정보에 대한 사용자의 인지 상태가, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3) 중 어느 하나의 상태에 해당하는지를 결정하여, 학습 정보에 대한 사용자의 인지 상태를 실시간으로 세밀하게 분류하여 정확하게 예측한다.
도 1은 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치의 블록도이다. 도 1에 도시된 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치는, 사용자의 뇌(112)의 각 영역의 뇌파를 센싱하기 위한 센싱부(100), 및 상기 센싱부(100)에 의해 센싱된 뇌의 각 영역의 뇌파에 기반하여 정보에 대한 사용자의 인지 상태를 예측하기 위한 인지 상태 예측부(102)를 포함한다.
상기 인지 상태 예측부(102)는, 상기 센싱부(100)에 의해 센싱된 뇌파에서 노이즈를 제거하고 노이즈가 제거된 뇌파를 주파수 영역의 신호로 변환하기 위한 전처리부(104), 상기 전처리부(104)에서 출력되는 주파수 변환된 뇌파에서 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 사용자 특정적인 특징들을 추출하기 위한 특징 추출부(106), 정보에 대한 사용자의 인지 상태에 대한 개인화된 학습 데이터를 저장하고 있는 학습 데이터 모델링부(110), 및 상기 특징 추출부(106)에서 출력되는 사용자 특정적인 특징들에 기반하여 정보에 대한 사용자의 인지 상태와 관련하여 사용자에 따라 특정적으로 활성화되는 적어도 하나의 뇌 영역을 결정하고 센싱된 뇌파 중 상기 결정된 뇌 영역의 뇌파에서 추출된 특징들을 상기 학습 데이터로서 학습 데이터 모델링부(110)에 저장하며, 상기 특징 추출부(106)에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부(110)에 저장된 학습 데이터와 비교하여 사용자의 인지 상태를 분류하기 위한 분류부(108)를 포함한다.
상기 정보에 대한 사용자의 인지 상태는 정보의 감지(percept), 저장(encoding) 및 인출(retrieval)로 세분화된다.
상기 인지 상태 예측부(102)는, 상기 정보에 대한 사용자의 인지 상태를, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3) 중 하나의 상태로 분류한다.
상기 정보에 대한 사용자의 인지 상태는 하기의 표 1과 같이 구분될 수 있다.
| 인지 상태 | 감지 | 저장 | 인출 |
| 상태 3 | 성공 | 성공 | 성공 |
| 상태 2 | 성공 | 성공 | 실패 |
| 상태 1 | 성공 | 실패 | 실패 |
| 상태 0 | 실패 | 실패 | 실패 |
따라서, 상기 인지 상태 예측부(102)는, 표 1에 기재된 바와 같이, 정보에 대한 감지, 저장, 인출이 모두 실패로 판단되는 경우, 인지 상태를 상태 0으로 분류하고, 정보에 대한 감지, 저장, 인출이 각각 성공, 실패, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며, 정보에 대한 감지, 저장, 인출이 각각 성공, 성공, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며, 정보에 대한 감지, 저장, 인출이 모두 성공으로 판단되는 경우, 인지 상태를 상태 3으로 분류한다.
상기와 같이 구성된 본 발명의 일 실시예에 의한 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치의 동작을, 도 2에 도시된 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 방법의 흐름도를 참조하여 설명하기로 한다.
도 1 및 도 2를 참조하면, 단계 S200에서, 분류부(108)는 사용자의 뇌(112)의 각 영역에서 센싱된 뇌파에 기반하여 정보에 대한 사용자의 인지 상태와 관련하여 사용자에 따라 특정적으로 활성화되는 적어도 하나의 뇌 영역을 결정하고 상기 센싱된 뇌파 중 상기 결정된 뇌 영역의 뇌파에서 추출된 특징들을 학습 데이터로서 학습 데이터 모델링부(110)에 저장한다.
앞서 언급한 바와 같이, 학습 정보에 대한 사용자의 반응은 개인별로 상이할 수 있다. 즉, 정보를 인지할 때 어떤 사용자는 뇌의 영역 중 전두엽의 소정 영역과 두정엽의 소정 영역이 활성화될 수 있고, 다른 사용자는 뇌의 영역 중 측두엽의 소정 영역과 후두엽의 소정 영역이 활성화될 수 있다. 또 다른 사용자는 뇌의 영역 중 측두엽의 소정 영역과 해마 영역이 활성화될 수 있다.
참고로, 전두엽은 대뇌반구의 전방에 있는 부분으로 기억력 및 사고력 등의 고등 행동을 관장하며 다른 다른 연합영역으로부터 들어오는 정보를 조정하고 행동을 조절하며, 추리, 계획, 운동, 감정, 문제해결에 관여한다.
두정엽은 중심고랑과 두정후두고랑 사이, 바깥쪽 틈새 상부에 있으며. 기관에 운동 명령을 내리는 운동 중추가 있고, 체감각 피질과 감각연합영역이 있어 촉각, 압각, 통증 등의 체감각 처리에 관여하며, 피부, 근골격계, 내장 미뢰로부터의 감각 신호를 담당한다.
측두엽은 대뇌반구의 양쪽 가에 있는 부분으로 청각연합영역과 청각피질이 있어 청각정보의 처리와 감정, 사실적 기억, 시각적 기억 정보를 처리하며, 오른쪽 측두엽이 손상된 환자는 비언어적 청각자극에 대한 해석 능력을 상실하고, 왼쪽 측두엽이 손상되면 언어의 형성과 기억, 인지능력에 크게 방해받는다.
후두엽은 바깥쪽 표면에서 두정후두고랑 위쪽 끝부분과 후두전패임을 잇는 가상적인 선의 뒤쪽 부분이고, 안쪽 표면에서는 두정후두고랑의 뒤쪽 부분으로, 시각연합영역과 일차시각피질이라고 하는 시각 중추가 있어, 시각정보의 처리를 담당한다. 눈으로 들어온 시각정보가 시각피질에 도착하면 사물의 위치, 모양, 운동 상태를 분석하고, 여기에 장애가 생기면 눈의 다른 부위에 이상이 없더라도 볼 수 없게 된다.
해마는 대뇌변연계의 양쪽 측두엽에 존재하며 기억을 담당한다. 해마는 장기기억을 처리하는 장소로 단기기억이나 감정에 관한 기억은 담당하지 않는다. 해마는 측두엽 양쪽에 2개가 존재하는데 좌측 해마는 최근의 일을 기억하고 우측의 해마는 태어난 이후의 모든 일을 기억한다.
상기와 같이, 뇌의 각 영역이 담당하는 기능은 일반적으로 정해져 있는 것으로 여겨지지만, 학습 정보에 대해 개개인이 반응하는 뇌의 영역은 고정된 것이 개인별로 상이할 수 있다.
또한, 정보에 대해 뇌가 활성화되는 패턴도 개인별 그리고 상기한 세부적인인지 상태, 즉 정보의 감지, 저장 또는 인출의 성공 여부에 따라 상이할 수 있다.
한편, 본 발명의 일 실시예에서 인지 실험을 통해 상기 세분화된 인지 상태인 감지, 저장 및 인출의 성공 또는 실패 여부는 도 3에 도시된 바와 같이, 숫자로 표시된 영역의 뇌파와 큰 상관 관계를 보이는 것으로 확인되었다.
따라서, 도 3에 숫자로 표시된 영역의 뇌파에 기반하여 추출된 특징들에 기반하여, 상기 세분화된 인지 상태인 감지, 저장 및 인출의 성공 또는 실패 여부를 판단할 수 있다.
이와 같이, 본 발명의 일 실시예에서는 모든 사용자에게 일률적인 기준을 적용하여 인지 상태를 예측하는 것이 아니라, 우선, 정보를 인식할 때 사용자 개인별로 활성화되는 뇌의 영역들을 결정하고, 결정된 뇌의 영역들에서 감지된 뇌파 신호에서 인지 상태의 세분화된 상태인 감지, 저장, 인출의 성공 시의 활성 패턴을 검출하며, 검출된 활성 패턴에 기반하여 개인에 특정적인 특징들을 추출하여, 이를 학습 데이터로서 학습 데이터 모델링부(110)에 저장한다. 즉, 본 단계에서는, 개인별로 정보를 인지하는 인지 상태에 대한 판단 기준을 학습하여 이를 학습 데이터로서 학습 데이터 모델링부(110)에 저장한다.
다음, 단계 S202에서, 특징 추출부(106)는, 상기 사용자의 뇌(112)의 각 영역에서 센싱된 뇌파에서 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 사용자 특정적인 특징들을 추출한다.
다음, 단계 S204에서, 분류부(108)는, 상기 특징 추출부(106)에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부(110)에 저장된 학습 데이터와 비교하여 사용자의 인지 상태를 예측한다.
본 발명의 일 실시예에서, 상기 정보에 대한 사용자의 인지 상태는 정보의 감지, 저장 및 인출로 세분화되고, 상기 정보에 대한 사용자의 인지 상태는, 표 1에 기재된 바와 같이, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3)로 분류된다.
따라서, 상기 분류부(108)는 상기 특징 추출부(106)에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부(110)에 저장된 학습 데이터와 비교하여, 표 1에 기재된 바와 같이, 정보에 대한 감지, 저장, 인출이 모두 실패로 판단되는 경우, 인지 상태를 상태 0으로 분류하고, 정보에 대한 감지, 저장, 인출이 각각 성공, 실패, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며, 정보에 대한 감지, 저장, 인출이 각각 성공, 성공, 실패로 판단되는 경우, 인지 상태를 상태 2로 분류하며, 정보에 대한 감지, 저장, 인출이 모두 성공으로 판단되는 경우, 인지 상태를 상태 3으로 분류한다.
앞서 언급한 바와 같이, 인지 실험을 통해 상기 세분화된 인지 상태인 감지, 저장 및 인출의 성공 또는 실패 여부가 도 3에 도시된 바와 같이, 숫자로 표시된 영역의 뇌파와 큰 상관 관계를 보이므로, 도 3에 숫자로 표시된 영역의 뇌파에 기반하여 추출된 특징들에 기반하여, 상기 세분화된 인지 상태인 감지, 저장 및 인출의 성공 또는 실패 여부를 판단할 수 있다.
상기와 같이 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치 및 방법에 의하면, 학습 정보에 대한 사용자의 인지 상태를 실시간으로 세분화하여 예측할 수 있기 때문에, 추후 개인별 학습 성취도를 정확히 예측하는데 유용하게 사용될 수 있다.
이상 본 발명을 구체적인 실시예를 통하여 상세하게 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함은 명백하다고 할 것이다.
본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로, 본 발명의 구체적인 보호 범위는 첨부된 청구범위에 의하여 명확해질 것이다.
100 : 센싱부 102 : 인지 상태 예측부
104 : 전처리부 106 : 특징 추출부
108 : 분류부 110 : 학습 데이터 모델링부
112 : 사용자의 뇌
104 : 전처리부 106 : 특징 추출부
108 : 분류부 110 : 학습 데이터 모델링부
112 : 사용자의 뇌
Claims (8)
- 사용자의 뇌의 각 영역의 뇌파를 센싱하기 위한 센싱부; 및
상기 센싱부에 의해 센싱된 뇌의 각 영역의 뇌파에 기반하여 정보에 대한 사용자의 인지 상태를 예측하기 위한 인지 상태 예측부를 포함하고,
상기 인지 상태 예측부는,
상기 센싱된 뇌파에서 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 상기 센싱된 뇌파의 특징들을 추출하기 위한 특징 추출부;
정보에 대한 사용자의 인지 상태에 대한 개인화된 학습 데이터를 저장하고 있는 학습 데이터 모델링부; 및
상기 특징 추출부에서 출력되는 상기 센싱된 뇌파의 특징들에 기반하여 정보에 대한 사용자의 인지 상태와 관련하여 사용자에 따라 특정적으로 활성화되는 적어도 하나의 뇌 영역을 결정하고 센싱된 뇌파 중 상기 결정된 뇌 영역의 뇌파에서 추출된 특징들을 상기 학습 데이터로서 학습 데이터 모델링부에 저장하며, 상기 특징 추출부에 의해 추출된 상기 센싱된 뇌파의 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여 사용자의 인지 상태를 분류하기 위한 분류부를 포함하고,
상기 정보에 대한 사용자의 인지 상태는 정보의 감지, 저장 및 인출로 세분화되며,
상기 인지 상태 예측부는,
상기 정보에 대한 사용자의 인지 상태를, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3) 중 하나의 상태로 분류하는, 개인화 인지 상태 예측 장치. - 삭제
- 청구항 1에 있어서,
상기 인지 상태 예측부는, 상기 특징 추출부에 의해 추출된 상기 센싱된 뇌파의 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여,
정보에 대한 감지, 저장, 인출이 모두 실패로 판단되는 경우, 인지 상태를 상태 0으로 분류하고,
정보에 대한 감지, 저장, 인출이 각각 성공, 실패, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며,
정보에 대한 감지, 저장, 인출이 각각 성공, 성공, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며,
정보에 대한 감지, 저장, 인출이 모두 성공으로 판단되는 경우, 인지 상태를 상태 3으로 분류하는, 개인화 인지 상태 예측 장치. - 청구항 1에 있어서,
상기 센싱부에 의해 센싱된 뇌파에서 노이즈를 제거하고 노이즈가 제거된 뇌파를 주파수 영역의 신호로 변환하기 위한 전처리부를 더 포함하는, 개인화 인지 상태 예측 장치. - (A) 분류부가, 사용자의 뇌의 각 영역에서 센싱된 뇌파에 기반하여 정보에 대한 사용자의 인지 상태와 관련하여 사용자에 따라 특정적으로 활성화되는 적어도 하나의 뇌 영역을 결정하고 상기 센싱된 뇌파 중 상기 결정된 뇌 영역의 뇌파에서 추출된 특징들을 학습 데이터로서 학습 데이터 모델링부에 저장하는 단계;
(B) 특징 추출부가, 상기 사용자의 뇌의 각 영역에서 센싱된 뇌파에서 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 상기 센싱된 뇌파의 특징들을 추출하는 단계; 및
(C) 상기 분류부가, 상기 특징 추출부에 의해 추출된 상기 센싱된 뇌파의 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여 사용자의 인지 상태를 예측하는 단계를 포함하고,
상기 정보에 대한 사용자의 인지 상태는 정보의 감지, 저장 및 인출로 세분화되며,
상기 단계 (C)는,
상기 분류부가, 상기 센싱된 사용자의 뇌파에 기반하여, 상기 정보에 대한 사용자의 인지 상태를, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3) 중 하나의 상태로 분류하는 단계를 포함하는, 개인화 인지 상태 예측 방법. - 삭제
- 청구항 5에 있어서,
상기 단계 (C)는,
상기 분류부가, 상기 특징 추출부에 의해 추출된 상기 센싱된 뇌파의 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여,
정보에 대한 감지, 저장, 인출이 모두 실패로 판단되는 경우, 인지 상태를 상태 0으로 분류하고,
정보에 대한 감지, 저장, 인출이 각각 성공, 실패, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며,
정보에 대한 감지, 저장, 인출이 각각 성공, 성공, 실패로 판단되는 경우, 인지 상태를 상태 2로 분류하며,
정보에 대한 감지, 저장, 인출이 모두 성공으로 판단되는 경우, 인지 상태를 상태 3으로 분류하는 단계를 포함하는, 개인화 인지 상태 예측 방법. - 청구항 5에 있어서,
상기 센싱된 뇌파는 전처리부에 의해 노이즈가 제거되고 주파수 영역의 신호로 변환되는, 개인화 인지 상태 예측 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180149177A KR102201263B1 (ko) | 2018-11-28 | 2018-11-28 | 개인화 인지 상태 예측 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180149177A KR102201263B1 (ko) | 2018-11-28 | 2018-11-28 | 개인화 인지 상태 예측 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200063478A KR20200063478A (ko) | 2020-06-05 |
| KR102201263B1 true KR102201263B1 (ko) | 2021-01-12 |
Family
ID=71088886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180149177A KR102201263B1 (ko) | 2018-11-28 | 2018-11-28 | 개인화 인지 상태 예측 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102201263B1 (ko) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101551169B1 (ko) * | 2012-08-30 | 2015-09-08 | 한국과학기술원 | 생체신호를 이용한 보안 서비스 제공 방법 및 장치 |
| KR20150078032A (ko) * | 2013-12-30 | 2015-07-08 | (주)가바플러스 | 치매 예방 서비스 제공 장치 및 방법 |
| KR102089137B1 (ko) | 2018-02-08 | 2020-03-13 | 인체항노화표준연구원 주식회사 | 뇌파 기반 인지기능 평가 장치 |
-
2018
- 2018-11-28 KR KR1020180149177A patent/KR102201263B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200063478A (ko) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | Resting state EEG-based biometrics for individual identification using convolutional neural networks | |
| Hu et al. | Real-time sensing of trust in human-machine interactions | |
| Costa et al. | Epileptic seizure classification using neural networks with 14 features | |
| KR20140029332A (ko) | 생체신호를 이용한 보안 서비스 제공 방법 및 장치 | |
| Agarwal et al. | Classification of alcoholic and non-alcoholic EEG signals based on sliding-SSA and independent component analysis | |
| Das et al. | A statistical method for automatic detection of seizure and epilepsy in the dual tree complex wavelet transform domain | |
| Reshmi et al. | A novel approach to brain biometric user recognition | |
| WO2016113717A1 (en) | A novel system and method for person identification and personality assessment based on eeg signal | |
| Pawar et al. | EEG-based covert speech decoding using random rotation extreme learning machine ensemble for intuitive BCI communication | |
| Gilanie et al. | An Automated and Real-time Approach of Depression Detection from Facial Micro-expressions. | |
| Shri et al. | Characterization of EEG signals for identification of alcoholics using ANOVA ranked approximate entropy and classifiers | |
| Pazhanirajan et al. | EEG signal classification using linear predictive cepstral coefficient features | |
| Bastos et al. | Discovering patterns in brain signals using decision trees | |
| KR102201263B1 (ko) | 개인화 인지 상태 예측 장치 및 방법 | |
| Arslan et al. | Vision-based drowsiness detection system using convolutional neural networks | |
| Behnam et al. | Spectral correlation power-based seizure detection using statistical multi-level dimensionality reduction and PSO-PNN optimization algorithm | |
| Hasan et al. | EEG biometrics based on small intra-individual and large inter-individual difference of extracted features | |
| Özbeyaz et al. | Familiar/unfamiliar face classification from EEG signals by utilizing pairwise distant channels and distinctive time interval | |
| Choubey et al. | Classification of healthy, inter-ictal and seizure signal using various classification techniques. | |
| Farooq et al. | Motor imagery based multivariate EEG signal classification for brain controlled interface applications | |
| Prabakaran et al. | EMAP: A cloud-edge hybrid framework for EEG monitoring and cross-correlation based real-time anomaly prediction | |
| Yazdani et al. | Classification of EEG signals correlated with alcohol abusers | |
| KR20230170466A (ko) | 딥러닝 모델을 이용하여 뇌파 기준으로 시각 객체를 분류하는 방법 및 분석장치 | |
| Fisher et al. | Epilepsy detection and monitoring | |
| Direito et al. | Automatic warning of epileptic seizures by SVM: the long road ahead to success |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20181128 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200609 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20201223 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20210105 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20210106 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20231221 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20241226 Start annual number: 5 End annual number: 5 |