KR20200063478A - 개인화 인지 상태 예측 장치 및 방법 - Google Patents

개인화 인지 상태 예측 장치 및 방법 Download PDF

Info

Publication number
KR20200063478A
KR20200063478A KR1020180149177A KR20180149177A KR20200063478A KR 20200063478 A KR20200063478 A KR 20200063478A KR 1020180149177 A KR1020180149177 A KR 1020180149177A KR 20180149177 A KR20180149177 A KR 20180149177A KR 20200063478 A KR20200063478 A KR 20200063478A
Authority
KR
South Korea
Prior art keywords
user
information
state
cognitive
unit
Prior art date
Application number
KR1020180149177A
Other languages
English (en)
Other versions
KR102201263B1 (ko
Inventor
유용석
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020180149177A priority Critical patent/KR102201263B1/ko
Publication of KR20200063478A publication Critical patent/KR20200063478A/ko
Application granted granted Critical
Publication of KR102201263B1 publication Critical patent/KR102201263B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A61B5/04012—
    • A61B5/0476—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Power Engineering (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Neurosurgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치는, 사용자의 뇌의 각 영역의 뇌파를 센싱하기 위한 센싱부; 및 상기 센싱부에 의해 센싱된 뇌의 각 영역의 뇌파에 기반하여 정보에 대한 사용자의 인지 상태를 예측하기 위한 인지 상태 예측부를 포함하고, 상기 인지 상태 예측부는, 상기 센싱된 뇌파에서 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 사용자 특정적인 특징들을 추출하기 위한 특징 추출부; 정보에 대한 사용자의 인지 상태에 대한 개인화된 학습 데이터를 저장하고 있는 학습 데이터 모델링부; 및 상기 특징 추출부에서 출력되는 사용자 특정적인 특징들에 기반하여 정보에 대한 사용자의 인지 상태와 관련하여 사용자에 따라 특정적으로 활성화되는 적어도 하나의 뇌 영역을 결정하고 센싱된 뇌파 중 상기 결정된 뇌 영역의 뇌파에서 추출된 특징들을 상기 학습 데이터로서 학습 데이터 모델링부에 저장하며, 상기 특징 추출부에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여 사용자의 인지 상태를 분류하기 위한 분류부를 포함한다.

Description

개인화 인지 상태 예측 장치 및 방법{APPARATUS AND METHOD FOR INDIVIDUALIZED COGNITIVE STATE ESTIMATION}
본 발명은 개인화 인지 상태 예측 장치 및 방법에 관한 것이다.
학습의 성과를 높이기 위해서는 사용자의 학습 성취도를 정확히 측정하는 것이 중요하다. 이를 위해 미리 준비된 시험 문항에 대한 사용자의 반응을 측정하여 성취도를 예측하는 기법이 널리 사용되고 있다.
현재 사용되고 있는 방법들은 다수의 모집단의 성취도를 개인의 성취도와 비교하여 단순한 수치로서 제시하는데 그치고 있다.
이렇게 개인의 성취도를 모집단의 성취도와 단순 비교하여 개인의 성취도를 측정하는 경우, 학습 정보에 대한 개인의 인지 상태가 어떤 단계에 있는지를 정확히 파악할 수 없어 개인의 학습 성취도를 정확히 예측할 수 없다.
따라서, 개인별 학습 성취도를 정확히 예측하기 위하여, 학습 정보에 대한 사용자의 인지 상태를 실시간으로 세분화하여 예측할 수 있는 장치 및 방법이 요구된다.
KR 10-2018-0021017 A
본 발명이 해결하고자 하는 과제는 개인별 학습 성취도를 정확히 예측하기 위하여, 학습 정보에 대한 사용자의 인지 상태를 실시간으로 세분화하여 예측할 수 있는 개인화 인지 상태 예측 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 개인별 학습 성취도를 정확히 예측하기 위하여, 학습 정보에 대한 사용자의 인지 상태를 실시간으로 세분화하여 예측할 수 있는 개인화 인지 상태 예측 방법을 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치는,
사용자의 뇌의 각 영역의 뇌파를 센싱하기 위한 센싱부; 및
상기 센싱부에 의해 센싱된 뇌의 각 영역의 뇌파에 기반하여 정보에 대한 사용자의 인지 상태를 예측하기 위한 인지 상태 예측부를 포함하고,
상기 인지 상태 예측부는,
상기 센싱된 뇌파에서 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 사용자 특정적인 특징들을 추출하기 위한 특징 추출부;
정보에 대한 사용자의 인지 상태에 대한 개인화된 학습 데이터를 저장하고 있는 학습 데이터 모델링부; 및
상기 특징 추출부에서 출력되는 사용자 특정적인 특징들에 기반하여 정보에 대한 사용자의 인지 상태와 관련하여 사용자에 따라 특정적으로 활성화되는 적어도 하나의 뇌 영역을 결정하고 센싱된 뇌파 중 상기 결정된 뇌 영역의 뇌파에서 추출된 특징들을 상기 학습 데이터로서 학습 데이터 모델링부에 저장하며, 상기 특징 추출부에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여 사용자의 인지 상태를 분류하기 위한 분류부를 포함한다.
본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치에 있어서, 상기 정보에 대한 사용자의 인지 상태는 정보의 감지, 저장 및 인출로 세분화되고,
상기 인지 상태 예측부는,
상기 정보에 대한 사용자의 인지 상태를, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3) 중 하나의 상태로 분류할 수 있다.
또한, 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치에 있어서, 상기 인지 상태 예측부는, 상기 특징 추출부에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여,
정보에 대한 감지, 저장, 인출이 모두 실패로 판단되는 경우, 인지 상태를 상태 0으로 분류하고,
정보에 대한 감지, 저장, 인출이 각각 성공, 실패, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며,
정보에 대한 감지, 저장, 인출이 각각 성공, 성공, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며,
정보에 대한 감지, 저장, 인출이 모두 성공으로 판단되는 경우, 인지 상태를 상태 3으로 분류할 수 있다.
또한, 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치는, 상기 센싱부에 의해 센싱된 뇌파에서 노이즈를 제거하고 노이즈가 제거된 뇌파를 주파수 영역의 신호로 변환하기 위한 전처리부를 더 포함할 수 있다.
상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 방법은,
(A) 분류부가, 사용자의 뇌의 각 영역에서 센싱된 뇌파에 기반하여 정보에 대한 사용자의 인지 상태와 관련하여 사용자에 따라 특정적으로 활성화되는 적어도 하나의 뇌 영역을 결정하고 상기 센싱된 뇌파 중 상기 결정된 뇌 영역의 뇌파에서 추출된 특징들을 학습 데이터로서 학습 데이터 모델링부에 저장하는 단계;
(B) 특징 추출부가, 상기 사용자의 뇌의 각 영역에서 센싱된 뇌파에서 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 사용자 특정적인 특징들을 추출하는 단계; 및
(C) 상기 분류부가, 상기 특징 추출부에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여 사용자의 인지 상태를 예측하는 단계를 포함한다.
본 발명의 일 실시예에 의한 개인화 인지 상태 예측 방법에 있어서, 상기 정보에 대한 사용자의 인지 상태는 정보의 감지, 저장 및 인출로 세분화되고,
상기 단계 (C)는,
상기 분류부가, 상기 센싱된 사용자의 뇌파에 기반하여, 상기 정보에 대한 사용자의 인지 상태를, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3) 중 하나의 상태로 분류하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 방법에 있어서, 상기 단계 (C)는,
상기 분류부가, 특징 추출부에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여,
정보에 대한 감지, 저장, 인출이 모두 실패로 판단되는 경우, 인지 상태를 상태 0으로 분류하고,
정보에 대한 감지, 저장, 인출이 각각 성공, 실패, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며,
정보에 대한 감지, 저장, 인출이 각각 성공, 성공, 실패로 판단되는 경우, 인지 상태를 상태 2로 분류하며,
정보에 대한 감지, 저장, 인출이 모두 성공으로 판단되는 경우, 인지 상태를 상태 3으로 분류하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 방법에 있어서, 상기 센싱된 뇌파는 전처리부에 의해 노이즈가 제거되고 주파수 영역의 신호로 변환될 수 있다.
본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치 및 방법에 의하면, 개인별 학습 성취도를 정확히 예측하기 위하여, 학습 정보에 대한 사용자의 인지 상태를 실시간으로 세분화하여 예측할 수 있다.
도 1은 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치의 블록도.
도 2는 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 방법의 흐름도.
본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다.
이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.
본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
또한, "제1", "제2", "일면", "타면" 등의 용어는, 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.
이하, 본 발명을 설명함에 있어, 본 발명의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.
본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치 및 방법에서는, 사용자의 인지 상태를 인지 과학적 지식에 기반하여 보다 세밀하게 측정한다.
본 발명의 일 실시예에서는 학습 정보와 같은 정보에 대한 사용자의 인지 상태를 정보의 감지(percept), 저장(encoding) 및 인출(retrieval)로 세분화하고, 센싱된 뇌파에 기반하여 상기 세분화된 인지 상태인 감지, 저장 및 인출의 성공 또는 실패 여부를 판단하여 정보에 대한 사용자의 인지 상태를, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3)로 분류한다.
한편, 학습 정보에 대한 사용자의 반응은 개인별로 상이할 수 있다. 즉, 정보를 인지할 때 어떤 사용자는 뇌의 영역 중 전두엽의 소정 영여과 두정엽의 소정 영역이 활성화될 수 있고, 다른 사용자는 뇌의 영역 중 측두엽의 소정 영역과 후두엽의 소정 영역이 활성화될 수 있다. 또 다른 사용자는 뇌의 영역 중 측두엽의 소정 영역과 해마 영역이 활성화될 수 있다.
또한, 정보에 대해 뇌가 활성화되는 패턴도 개인별 그리고 상기한 세부적인인지 상태, 즉 정보의 감지, 저장 또는 인출의 성공 여부에 따라 상이할 수 있다.
따라서, 본 발명에서는 모든 사용자에게 일률적인 기준을 적용하여 인지 상태를 예측하는 것이 아니라, 우선, 정보를 인식할 때 사용자 개인별로 활성화되는 뇌의 영역들을 결정하고, 결정된 뇌의 영역들에서 감지된 뇌파 신호에서 인지 상태의 세분화된 상태인 감지, 저장, 인출 성공 시의 활성 패턴을 검출하며, 검출된 활성 패턴에 기반하여 개인에 특정적인 특징들을 추출하여, 이를 학습 데이터로서 저장한다.
이후, 테스트하고자 하는 학습 정보를 사용자에게 노출하여 사용자가 감지하도록 후, 사용자의 뇌의 결정된 영역의 뇌파에 기반하여 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 특징들을 추출하며, 추출된 특징들을 학습 데이터와 비교하여, 정보에 대한 사용자의 인지 상태가 인지 상태의 세분화된 상태인 감지의 성공 또는 실패, 저장의 성공 또는 실패, 그리고 인출의 성공 또는 실패에 해당하는지를 판단한다.
그리고 이러한 판단에 따라 정보에 대한 사용자의 인지 상태가, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3) 중 어느 하나의 상태에 해당하는지를 결정하여, 학습 정보에 대한 사용자의 인지 상태를 실시간으로 세밀하게 분류하여 정확하게 예측한다.
도 1은 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치의 블록도이다. 도 1에 도시된 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치는, 사용자의 뇌(112)의 각 영역의 뇌파를 센싱하기 위한 센싱부(100), 및 상기 센싱부(100)에 의해 센싱된 뇌의 각 영역의 뇌파에 기반하여 정보에 대한 사용자의 인지 상태를 예측하기 위한 인지 상태 예측부(102)를 포함한다.
상기 인지 상태 예측부(102)는, 상기 센싱부(100)에 의해 센싱된 뇌파에서 노이즈를 제거하고 노이즈가 제거된 뇌파를 주파수 영역의 신호로 변환하기 위한 전처리부(104), 상기 전처리부(104)에서 출력되는 주파수 변환된 뇌파에서 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 사용자 특정적인 특징들을 추출하기 위한 특징 추출부(106), 정보에 대한 사용자의 인지 상태에 대한 개인화된 학습 데이터를 저장하고 있는 학습 데이터 모델링부(110), 및 상기 특징 추출부(106)에서 출력되는 사용자 특정적인 특징들에 기반하여 정보에 대한 사용자의 인지 상태와 관련하여 사용자에 따라 특정적으로 활성화되는 적어도 하나의 뇌 영역을 결정하고 센싱된 뇌파 중 상기 결정된 뇌 영역의 뇌파에서 추출된 특징들을 상기 학습 데이터로서 학습 데이터 모델링부(110)에 저장하며, 상기 특징 추출부(106)에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부(110)에 저장된 학습 데이터와 비교하여 사용자의 인지 상태를 분류하기 위한 분류부(108)를 포함한다.
상기 정보에 대한 사용자의 인지 상태는 정보의 감지(percept), 저장(encoding) 및 인출(retrieval)로 세분화된다.
상기 인지 상태 예측부(102)는, 상기 정보에 대한 사용자의 인지 상태를, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3) 중 하나의 상태로 분류한다.
상기 정보에 대한 사용자의 인지 상태는 하기의 표 1과 같이 구분될 수 있다.
인지 상태 감지 저장 인출
상태 3 성공 성공 성공
상태 2 성공 성공 실패
상태 1 성공 실패 실패
상태 0 실패 실패 실패
따라서, 상기 인지 상태 예측부(102)는, 표 1에 기재된 바와 같이, 정보에 대한 감지, 저장, 인출이 모두 실패로 판단되는 경우, 인지 상태를 상태 0으로 분류하고, 정보에 대한 감지, 저장, 인출이 각각 성공, 실패, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며, 정보에 대한 감지, 저장, 인출이 각각 성공, 성공, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며, 정보에 대한 감지, 저장, 인출이 모두 성공으로 판단되는 경우, 인지 상태를 상태 3으로 분류한다.
상기와 같이 구성된 본 발명의 일 실시예에 의한 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치의 동작을, 도 2에 도시된 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 방법의 흐름도를 참조하여 설명하기로 한다.
도 1 및 도 2를 참조하면, 단계 S200에서, 분류부(108)는 사용자의 뇌(112)의 각 영역에서 센싱된 뇌파에 기반하여 정보에 대한 사용자의 인지 상태와 관련하여 사용자에 따라 특정적으로 활성화되는 적어도 하나의 뇌 영역을 결정하고 상기 센싱된 뇌파 중 상기 결정된 뇌 영역의 뇌파에서 추출된 특징들을 학습 데이터로서 학습 데이터 모델링부(110)에 저장한다.
앞서 언급한 바와 같이, 학습 정보에 대한 사용자의 반응은 개인별로 상이할 수 있다. 즉, 정보를 인지할 때 어떤 사용자는 뇌의 영역 중 전두엽의 소정 영역과 두정엽의 소정 영역이 활성화될 수 있고, 다른 사용자는 뇌의 영역 중 측두엽의 소정 영역과 후두엽의 소정 영역이 활성화될 수 있다. 또 다른 사용자는 뇌의 영역 중 측두엽의 소정 영역과 해마 영역이 활성화될 수 있다.
참고로, 전두엽은 대뇌반구의 전방에 있는 부분으로 기억력 및 사고력 등의 고등 행동을 관장하며 다른 다른 연합영역으로부터 들어오는 정보를 조정하고 행동을 조절하며, 추리, 계획, 운동, 감정, 문제해결에 관여한다.
두정엽은 중심고랑과 두정후두고랑 사이, 바깥쪽 틈새 상부에 있으며. 기관에 운동 명령을 내리는 운동 중추가 있고, 체감각 피질과 감각연합영역이 있어 촉각, 압각, 통증 등의 체감각 처리에 관여하며, 피부, 근골격계, 내장 미뢰로부터의 감각 신호를 담당한다.
측두엽은 대뇌반구의 양쪽 가에 있는 부분으로 청각연합영역과 청각피질이 있어 청각정보의 처리와 감정, 사실적 기억, 시각적 기억 정보를 처리하며, 오른쪽 측두엽이 손상된 환자는 비언어적 청각자극에 대한 해석 능력을 상실하고, 왼쪽 측두엽이 손상되면 언어의 형성과 기억, 인지능력에 크게 방해받는다.
후두엽은 바깥쪽 표면에서 두정후두고랑 위쪽 끝부분과 후두전패임을 잇는 가상적인 선의 뒤쪽 부분이고, 안쪽 표면에서는 두정후두고랑의 뒤쪽 부분으로, 시각연합영역과 일차시각피질이라고 하는 시각 중추가 있어, 시각정보의 처리를 담당한다. 눈으로 들어온 시각정보가 시각피질에 도착하면 사물의 위치, 모양, 운동 상태를 분석하고, 여기에 장애가 생기면 눈의 다른 부위에 이상이 없더라도 볼 수 없게 된다.
해마는 대뇌변연계의 양쪽 측두엽에 존재하며 기억을 담당한다. 해마는 장기기억을 처리하는 장소로 단기기억이나 감정에 관한 기억은 담당하지 않는다. 해마는 측두엽 양쪽에 2개가 존재하는데 좌측 해마는 최근의 일을 기억하고 우측의 해마는 태어난 이후의 모든 일을 기억한다.
상기와 같이, 뇌의 각 영역이 담당하는 기능은 일반적으로 정해져 있는 것으로 여겨지지만, 학습 정보에 대해 개개인이 반응하는 뇌의 영역은 고정된 것이 개인별로 상이할 수 있다.
또한, 정보에 대해 뇌가 활성화되는 패턴도 개인별 그리고 상기한 세부적인인지 상태, 즉 정보의 감지, 저장 또는 인출의 성공 여부에 따라 상이할 수 있다.
한편, 본 발명의 일 실시예에서 인지 실험을 통해 상기 세분화된 인지 상태인 감지, 저장 및 인출의 성공 또는 실패 여부는 도 3에 도시된 바와 같이, 숫자로 표시된 영역의 뇌파와 큰 상관 관계를 보이는 것으로 확인되었다.
따라서, 도 3에 숫자로 표시된 영역의 뇌파에 기반하여 추출된 특징들에 기반하여, 상기 세분화된 인지 상태인 감지, 저장 및 인출의 성공 또는 실패 여부를 판단할 수 있다.
이와 같이, 본 발명의 일 실시예에서는 모든 사용자에게 일률적인 기준을 적용하여 인지 상태를 예측하는 것이 아니라, 우선, 정보를 인식할 때 사용자 개인별로 활성화되는 뇌의 영역들을 결정하고, 결정된 뇌의 영역들에서 감지된 뇌파 신호에서 인지 상태의 세분화된 상태인 감지, 저장, 인출의 성공 시의 활성 패턴을 검출하며, 검출된 활성 패턴에 기반하여 개인에 특정적인 특징들을 추출하여, 이를 학습 데이터로서 학습 데이터 모델링부(110)에 저장한다. 즉, 본 단계에서는, 개인별로 정보를 인지하는 인지 상태에 대한 판단 기준을 학습하여 이를 학습 데이터로서 학습 데이터 모델링부(110)에 저장한다.
다음, 단계 S202에서, 특징 추출부(106)는, 상기 사용자의 뇌(112)의 각 영역에서 센싱된 뇌파에서 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 사용자 특정적인 특징들을 추출한다.
다음, 단계 S204에서, 분류부(108)는, 상기 특징 추출부(106)에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부(110)에 저장된 학습 데이터와 비교하여 사용자의 인지 상태를 예측한다.
본 발명의 일 실시예에서, 상기 정보에 대한 사용자의 인지 상태는 정보의 감지, 저장 및 인출로 세분화되고, 상기 정보에 대한 사용자의 인지 상태는, 표 1에 기재된 바와 같이, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3)로 분류된다.
따라서, 상기 분류부(108)는 상기 특징 추출부(106)에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부(110)에 저장된 학습 데이터와 비교하여, 표 1에 기재된 바와 같이, 정보에 대한 감지, 저장, 인출이 모두 실패로 판단되는 경우, 인지 상태를 상태 0으로 분류하고, 정보에 대한 감지, 저장, 인출이 각각 성공, 실패, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며, 정보에 대한 감지, 저장, 인출이 각각 성공, 성공, 실패로 판단되는 경우, 인지 상태를 상태 2로 분류하며, 정보에 대한 감지, 저장, 인출이 모두 성공으로 판단되는 경우, 인지 상태를 상태 3으로 분류한다.
앞서 언급한 바와 같이, 인지 실험을 통해 상기 세분화된 인지 상태인 감지, 저장 및 인출의 성공 또는 실패 여부가 도 3에 도시된 바와 같이, 숫자로 표시된 영역의 뇌파와 큰 상관 관계를 보이므로, 도 3에 숫자로 표시된 영역의 뇌파에 기반하여 추출된 특징들에 기반하여, 상기 세분화된 인지 상태인 감지, 저장 및 인출의 성공 또는 실패 여부를 판단할 수 있다.
상기와 같이 본 발명의 일 실시예에 의한 개인화 인지 상태 예측 장치 및 방법에 의하면, 학습 정보에 대한 사용자의 인지 상태를 실시간으로 세분화하여 예측할 수 있기 때문에, 추후 개인별 학습 성취도를 정확히 예측하는데 유용하게 사용될 수 있다.
이상 본 발명을 구체적인 실시예를 통하여 상세하게 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함은 명백하다고 할 것이다.
본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로, 본 발명의 구체적인 보호 범위는 첨부된 청구범위에 의하여 명확해질 것이다.
100 : 센싱부 102 : 인지 상태 예측부
104 : 전처리부 106 : 특징 추출부
108 : 분류부 110 : 학습 데이터 모델링부
112 : 사용자의 뇌

Claims (8)

  1. 사용자의 뇌의 각 영역의 뇌파를 센싱하기 위한 센싱부; 및
    상기 센싱부에 의해 센싱된 뇌의 각 영역의 뇌파에 기반하여 정보에 대한 사용자의 인지 상태를 예측하기 위한 인지 상태 예측부를 포함하고,
    상기 인지 상태 예측부는,
    상기 센싱된 뇌파에서 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 사용자 특정적인 특징들을 추출하기 위한 특징 추출부;
    정보에 대한 사용자의 인지 상태에 대한 개인화된 학습 데이터를 저장하고 있는 학습 데이터 모델링부; 및
    상기 특징 추출부에서 출력되는 사용자 특정적인 특징들에 기반하여 정보에 대한 사용자의 인지 상태와 관련하여 사용자에 따라 특정적으로 활성화되는 적어도 하나의 뇌 영역을 결정하고 센싱된 뇌파 중 상기 결정된 뇌 영역의 뇌파에서 추출된 특징들을 상기 학습 데이터로서 학습 데이터 모델링부에 저장하며, 상기 특징 추출부에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여 사용자의 인지 상태를 분류하기 위한 분류부를 포함하는, 개인화 인지 상태 예측 장치.
  2. 청구항 1에 있어서,
    상기 정보에 대한 사용자의 인지 상태는 정보의 감지, 저장 및 인출로 세분화되고,
    상기 인지 상태 예측부는,
    상기 정보에 대한 사용자의 인지 상태를, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3) 중 하나의 상태로 분류하는, 개인화 인지 상태 예측 장치.
  3. 청구항 2에 있어서,
    상기 인지 상태 예측부는, 상기 특징 추출부에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여,
    정보에 대한 감지, 저장, 인출이 모두 실패로 판단되는 경우, 인지 상태를 상태 0으로 분류하고,
    정보에 대한 감지, 저장, 인출이 각각 성공, 실패, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며,
    정보에 대한 감지, 저장, 인출이 각각 성공, 성공, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며,
    정보에 대한 감지, 저장, 인출이 모두 성공으로 판단되는 경우, 인지 상태를 상태 3으로 분류하는, 개인화 인지 상태 예측 장치.
  4. 청구항 1에 있어서,
    상기 센싱부에 의해 센싱된 뇌파에서 노이즈를 제거하고 노이즈가 제거된 뇌파를 주파수 영역의 신호로 변환하기 위한 전처리부를 더 포함하는, 개인화 인지 상태 예측 장치.
  5. (A) 분류부가, 사용자의 뇌의 각 영역에서 센싱된 뇌파에 기반하여 정보에 대한 사용자의 인지 상태와 관련하여 사용자에 따라 특정적으로 활성화되는 적어도 하나의 뇌 영역을 결정하고 상기 센싱된 뇌파 중 상기 결정된 뇌 영역의 뇌파에서 추출된 특징들을 학습 데이터로서 학습 데이터 모델링부에 저장하는 단계;
    (B) 특징 추출부가, 상기 사용자의 뇌의 각 영역에서 센싱된 뇌파에서 활성 패턴을 검출하고 검출된 활성 패턴에 기반하여 사용자 특정적인 특징들을 추출하는 단계; 및
    (C) 상기 분류부가, 상기 특징 추출부에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여 사용자의 인지 상태를 예측하는 단계를 포함하는, 개인화 인지 상태 예측 방법.
  6. 청구항 1에 있어서,
    상기 정보에 대한 사용자의 인지 상태는 정보의 감지, 저장 및 인출로 세분화되고,
    상기 단계 (C)는,
    상기 분류부가, 상기 센싱된 사용자의 뇌파에 기반하여, 상기 정보에 대한 사용자의 인지 상태를, 사용자가 정보를 감지, 저장 및 인출하지 못하는 상태(상태 0), 사용자가 정보를 감지하지만 저장 및 인출하지 못하는 상태(상태 1), 사용자가 정보를 감지하고 감지된 정보를 저장하지만 인출하지 못하는 상태(상태 2), 사용자가 정보를 감지하고 감지된 정보를 저장하며 저장된 정보를 인출하는 상태(상태 3) 중 하나의 상태로 분류하는 단계를 포함하는, 개인화 인지 상태 예측 방법.
  7. 청구항 6에 있어서,
    상기 단계 (C)는,
    상기 분류부가, 특징 추출부에 의해 추출된 사용자 특정적인 특징들을 상기 학습 데이터 모델링부에 저장된 학습 데이터와 비교하여,
    정보에 대한 감지, 저장, 인출이 모두 실패로 판단되는 경우, 인지 상태를 상태 0으로 분류하고,
    정보에 대한 감지, 저장, 인출이 각각 성공, 실패, 실패로 판단되는 경우, 인지 상태를 상태 1로 분류하며,
    정보에 대한 감지, 저장, 인출이 각각 성공, 성공, 실패로 판단되는 경우, 인지 상태를 상태 2로 분류하며,
    정보에 대한 감지, 저장, 인출이 모두 성공으로 판단되는 경우, 인지 상태를 상태 3으로 분류하는 단계를 포함하는, 개인화 인지 상태 예측 방법.
  8. 청구항 5에 있어서,
    상기 센싱된 뇌파는 전처리부에 의해 노이즈가 제거되고 주파수 영역의 신호로 변환되는, 개인화 인지 상태 예측 방법.
KR1020180149177A 2018-11-28 2018-11-28 개인화 인지 상태 예측 장치 및 방법 KR102201263B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180149177A KR102201263B1 (ko) 2018-11-28 2018-11-28 개인화 인지 상태 예측 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180149177A KR102201263B1 (ko) 2018-11-28 2018-11-28 개인화 인지 상태 예측 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200063478A true KR20200063478A (ko) 2020-06-05
KR102201263B1 KR102201263B1 (ko) 2021-01-12

Family

ID=71088886

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180149177A KR102201263B1 (ko) 2018-11-28 2018-11-28 개인화 인지 상태 예측 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102201263B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140029332A (ko) * 2012-08-30 2014-03-10 한국과학기술원 생체신호를 이용한 보안 서비스 제공 방법 및 장치
KR20150078032A (ko) * 2013-12-30 2015-07-08 (주)가바플러스 치매 예방 서비스 제공 장치 및 방법
KR20180021017A (ko) 2018-02-08 2018-02-28 인체항노화표준연구원 주식회사 뇌파 기반 인지기능 평가 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140029332A (ko) * 2012-08-30 2014-03-10 한국과학기술원 생체신호를 이용한 보안 서비스 제공 방법 및 장치
KR20150078032A (ko) * 2013-12-30 2015-07-08 (주)가바플러스 치매 예방 서비스 제공 장치 및 방법
KR20180021017A (ko) 2018-02-08 2018-02-28 인체항노화표준연구원 주식회사 뇌파 기반 인지기능 평가 장치

Also Published As

Publication number Publication date
KR102201263B1 (ko) 2021-01-12

Similar Documents

Publication Publication Date Title
Fridman et al. Cognitive load estimation in the wild
Cairney et al. Memory consolidation is linked to spindle-mediated information processing during sleep
Bracci et al. On the partnership between neural representations of object categories and visual features in the ventral visual pathway
CN106897659B (zh) 眨眼运动的识别方法和装置
US10789458B2 (en) Human behavior recognition apparatus and method
US20090062679A1 (en) Categorizing perceptual stimuli by detecting subconcious responses
US9113837B2 (en) Drowsiness detection method and associated device
US11301775B2 (en) Data annotation method and apparatus for enhanced machine learning
KR20140029332A (ko) 생체신호를 이용한 보안 서비스 제공 방법 및 장치
US11992331B2 (en) Neonatal pain identification from neonatal facial expressions
US10441172B2 (en) Brain image reconstruction apparatus
Anishchenko Machine learning in video surveillance for fall detection
CN112016367A (zh) 一种情绪识别系统、方法及电子设备
CN114648354A (zh) 一种基于眼动追踪和情绪状态的广告测评方法和系统
Clarke Dynamic information processing states revealed through neurocognitive models of object semantics
Hossain et al. Using temporal features of observers’ physiological measures to distinguish between genuine and fake smiles
Yildirim A review of deep learning approaches to EEG-based classification of cybersickness in virtual reality
Aly et al. Neural correlates of state-and strength-based perception
US8810362B2 (en) Recognition system and recognition method
KR20200063478A (ko) 개인화 인지 상태 예측 장치 및 방법
Tzovara et al. Quantifying the time for accurate EEG decoding of single value-based decisions
KR20200059129A (ko) 딥러닝 기반의 뇌-컴퓨터 인터페이스를 위한 공간-주파수 특징맵을 생성하는 장치 및 방법
Moctezuma et al. Towards an API for EEG-based imagined speech classification
KR20230154380A (ko) 행동 및 발화 패턴 기반 감성 인식 결과에 의해 사용자의 감성 상태에 적합한 헬스케어 서비스를 제공하는 시스템 및 방법
KR20230170466A (ko) 딥러닝 모델을 이용하여 뇌파 기준으로 시각 객체를 분류하는 방법 및 분석장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant