KR20210092507A - 뇌 신호 기반 범용 인지 상태 디코더 및 그에 기반한 초고성능 복잡 행동 예측 방법 및 장치 - Google Patents

뇌 신호 기반 범용 인지 상태 디코더 및 그에 기반한 초고성능 복잡 행동 예측 방법 및 장치 Download PDF

Info

Publication number
KR20210092507A
KR20210092507A KR1020200005994A KR20200005994A KR20210092507A KR 20210092507 A KR20210092507 A KR 20210092507A KR 1020200005994 A KR1020200005994 A KR 1020200005994A KR 20200005994 A KR20200005994 A KR 20200005994A KR 20210092507 A KR20210092507 A KR 20210092507A
Authority
KR
South Korea
Prior art keywords
cognitive state
decision
decoder
state decoder
making
Prior art date
Application number
KR1020200005994A
Other languages
English (en)
Other versions
KR102305124B1 (ko
Inventor
이상완
김동재
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020200005994A priority Critical patent/KR102305124B1/ko
Priority to US16/950,095 priority patent/US20210219858A1/en
Publication of KR20210092507A publication Critical patent/KR20210092507A/ko
Application granted granted Critical
Publication of KR102305124B1 publication Critical patent/KR102305124B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Psychology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Databases & Information Systems (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Pure & Applied Mathematics (AREA)

Abstract

뇌 신호 기반 범용 인지 상태 디코더 및 그에 기반한 초고성능 복잡 행동 예측 방법 및 장치가 제시된다. 일 실시예에 따른 복잡 행동 예측 방법은, 인간의 고위 수준의 핵심 인지 상태를 구분하는 뇌 신호 기반 고위 수준의 인지 상태 디코더를 구성하는 단계; 상기 고위 수준의 인지 상태 디코더의 산출 값을 다른 인지 상태 디코더에 입력 값으로 산입하여 범용 인지 상태 디코더를 구성하는 단계; 및 상기 범용 인지 상태 디코더를 통해 인간의 복잡 행동을 예측하는 단계를 포함하여 이루어질 수 있다.

Description

뇌 신호 기반 범용 인지 상태 디코더 및 그에 기반한 초고성능 복잡 행동 예측 방법 및 장치{METHOD AND APPARATUS FOR PREDICTING ULTRA-HIGH PERFORMANCE COMPLEX BEHAVIOR BASED ON BRAIN SIGNAL BASED UNIVERSAL COGNITIVE STATE DECODER}
아래의 실시예들은 뇌 신호 기반 범용 인지 상태 디코더 및 그에 기반한 초고성능 복잡 행동 예측 방법 및 장치에 관한 것이다.
기존 뇌 신호 기반의 공학적 응용 시스템들은 마비 환자 등의 운동기능을 재활하기 위한 목적으로 개발되어 왔다. 그러나, 이러한 시스템에는 다음과 같은 한계가 있다. 뇌 신호 기반의 공학적 응용 시스템은 능동적, 의식적 발생 신호이다. 집중을 통해 뇌로부터 능동적 운동기능 신호를 생산해야 하며, 이 집중 과정에서 사용자에게 과도한 피로를 누적시키므로 범용성이 떨어진다. 또한, 뇌 신호 기반의 공학적 응용 시스템은 운동 기능신호의 낮은 공간 해상능에 따른 활용성이 제한된다. 뇌파로부터의 운동기능 재활은 신호의 낮은 공간 해상능으로 인해 간단한 운동 기능만 구분 가능하며(예컨대, 왼팔과 오른팔의 움직임 구분함.), 인간의 복잡한 행동과 의사결정을 예측하는 것이 불가능하다. 그리고, 뇌 신호 기반의 공학적 응용 시스템은 범용 불가하다. 운동 종류나 작업 종류에 따라 뇌파 신호적 특성이 완전히 다르므로 하나의 시스템이 다른 종류의 운동 기능을 분류하는데 이용될 수 없다.
그러나 이러한 뇌 신호 기반의 공학적 응용 시스템의 한계는 작업이나 운동 수준에 비해 훨씬 고차원적인 뇌의 기능인 ‘인지 상태’에 대해서는 적용되지 않는다. 이러한 작업 비의존적인 고위 수준의 인지 상태는 다음과 같은 장점을 가진다.
고위 수준의 인지 상태는 자연스러운 무의식적 발생 신호이다. 근육을 조절하기 위해 능동적 신호를 보내야 하는 운동기능과는 달리, 불수의(不隨意)적, 무의식적으로 뇌에서 수행되는 고등 기능이므로, 사용자에게 피로가 누적되지 않아 관련 잡음 등의 이슈가 적다. 또한, 고위 수준의 인지 상태는 고차원의 뇌 기능의 높은 활용성을 갖는다. 단순한 운동 기능을 넘어서는 복잡한 행동 양식은 전략, 추론, 계획, 감정 등과 같은 고차원적인 인지 기능으로 인해 조절되므로, 인지 기능을 직접적으로 읽어 냄으로써 인간의 복잡한 행동을 자세히 예측할 수 있다. 그리고, 고위 수준의 인지 상태는 범용적 신호 특성을 갖는다. 인지 기능의 종류는 언어로는 구분된다 하여도 뇌 신호적으로, 또한 맥락적으로 완전히 구분되지 않는 유사한 종류가 많기 때문에 (예컨대, 피로, 스트레스, 졸림, 비각성, 불안 등) 특정 인지 상태를 구분하기 위한 시스템이 다른 종류의 인지 상태를 분류하는데 이용될 수 있다.
한국등록특허 10-1285821호는 이러한 인지 피로 측정 방법 및 이를 적용하는 장치에 관한 것으로, 저차원적 인지 반응과 고차원적 인지반응을 포함하는 인지적 관점에서 피로를 평가할 수 있는 기술을 기재하고 있다.
한국등록특허 10-1285821호
실시예들은 뇌 신호 기반 범용 인지 상태 디코더 및 그에 기반한 초고성능 복잡 행동 예측 방법 및 장치에 관하여 기술하며, 보다 구체적으로 인지 상태의 기능적 특성에 기반하여 뇌파와 같은 신경 신호를 입력으로 하는 범용 인지 상태 디코딩 기술과, 이를 활용한 복잡한 행동 예측 시스템의 구현 기술을 제공한다.
실시예들은 인간의 고위 수준의 핵심 인지 상태를 구분하는 뇌 신호 기반 고위 수준의 인지 상태 디코더를 이용하여 범용 인지 상태 디코더를 제공하고, 범용 인지 상태 디코더를 통해 인간의 복잡한 행동 양식을 예측할 수 있는, 뇌 신호 기반 범용 인지 상태 디코더 및 그에 기반한 초고성능 복잡 행동 예측 방법 및 장치를 제공하는데 있다.
일 실시예에 따른 복잡 행동 예측 방법은, 인간의 고위 수준의 핵심 인지 상태를 구분하는 뇌 신호 기반 고위 수준의 인지 상태 디코더를 구성하는 단계; 상기 고위 수준의 인지 상태 디코더의 산출 값을 다른 인지 상태 디코더에 입력 값으로 산입하여 범용 인지 상태 디코더를 구성하는 단계; 및 상기 범용 인지 상태 디코더를 통해 인간의 복잡 행동을 예측하는 단계를 포함하여 이루어질 수 있다.
상기 고위 수준의 인지 상태 디코더를 구성하기 이전에, 작업에 비의존적인 핵심 인지 상태의 추출을 위한 마르코프 의사결정 작업을 설계하는 단계를 더 포함하여 이루어질 수 있다.
상기 인간의 고위 수준의 핵심 인지 상태를 구분하는 뇌 신호 기반 고위 수준의 인지 상태 디코더를 구성하는 단계는, 작업에 비의존적인 핵심 인지 상태인 목표 지향성(goal-directed) 인지 상태 및 습관성(habitual) 인지 상태를 통해 상기 고위 수준의 인지 상태 디코더를 학습시킬 수 있다.
상기 인간의 고위 수준의 핵심 인지 상태를 구분하는 뇌 신호 기반 고위 수준의 인지 상태 디코더를 구성하는 단계는, 상기 고위 수준의 인지 상태 디코더를 이용하여 인간 행동을 의사결정 신경과학 연구로부터 도출되는 계산 모델(computational model)을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 핵심 인지 상태를 추정하는 단계를 포함할 수 있다.
또한, 상기 인간의 고위 수준의 핵심 인지 상태를 구분하는 뇌 신호 기반 고위 수준의 인지 상태 디코더를 구성하는 단계는, 상기 고위 수준의 인지 상태 디코더를 이용하여 행동에 대한 의사결정에 내재된 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 핵심 인지 상태를 추정하는 단계를 포함할 수 있다.
상기 행동에 대한 의사결정에 내재된 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 핵심 인지 상태를 추정하는 단계는, 합성곱 신경망(Convolution Neural Network, CNN)을 이용하여 각　의사결정 전략을 분류함에 따라 의사결정에 대한 인지 상태를 추정할 수 있다.
또한, 상기 행동에 대한 의사결정에 내재된 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 핵심 인지 상태를 추정하는 단계는, 클래스 활성맵(Class Activation Map, CAM)으로 각　의사결정 전략과 연관되어 있는 뇌 신호의 특징을 시각화 하여, 의사결정에 대한 인지 상태를 추정할 수 있다.
상기 고위 수준의 인지 상태 디코더의 산출 값을 다른 인지 상태 디코더에 입력 값으로 산입하여 범용 인지 상태 디코더를 구성하는 단계는, 상기 고위 수준의 인지 상태 디코더의 산출 값을 복수개의 다른 인지 상태 디코더에 입력 값으로 산입하여 범용 인지 상태 디코더를 구성할 수 있다.
여기서, 상기 고위 수준의 인지 상태 디코더 및 상기 범용 인지 상태 디코더는, 합성곱 신경망(Convolution Neural Network, CNN) 기반 디코더로 이루어질 수 있다.
상기 범용 인지 상태 디코더를 통해 인간의 복잡 행동을 예측하는 단계는, 상기 범용 인지 상태 디코더를 이용하여 강화학습 전략에 따른 복잡 행동을 예측하고, 컴퓨터가 인식할 수 있는 각성 및 비각성에 따른 행동을 추론할 수 있다.
다른 실시예에 따른 복잡 행동 예측 장치는, 인간의 고위 수준의 핵심 인지 상태를 구분하는 뇌 신호 기반 고위 수준의 인지 상태 디코더; 및 상기 고위 수준의 인지 상태 디코더의 산출 값을 다른 인지 상태 디코더에 입력 값으로 산입하여 인간의 복잡 행동을 예측하는 범용 인지 상태 디코더를 포함하여 이루어질 수 있다.
작업에 비의존적인 핵심 인지 상태의 추출을 위한 마르코프 의사결정 작업을 설계하는 마르코프 의사결정 작업부를 더 포함할 수 있다.
상기 고위 수준의 인지 상태 디코더는, 작업에 비의존적인 핵심 인지 상태인 목표 지향성(goal-directed) 인지 상태 및 습관성(habitual) 인지 상태를 통해 상기 고위 수준의 인지 상태 디코더를 학습시킬 수 있다.
상기 고위 수준의 인지 상태 디코더는, 상기 고위 수준의 인지 상태 디코더를 이용하여 인간 행동을 의사결정 신경과학 연구로부터 도출되는 계산 모델(computational model)을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 핵심 인지 상태를 추정하는 행동전략 예측부를 포함할 수 있다.
또한, 상기 고위 수준의 인지 상태 디코더는, 상기 고위 수준의 인지 상태 디코더를 이용하여 행동에 대한 의사결정에 내재된 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 핵심 인지 상태를 추정하는 의사결정 예측부를 포함할 수 있다.
상기 의사결정 예측부는, 합성곱 신경망(Convolution Neural Network, CNN)을 이용하여 각　의사결정 전략을 분류함에 따라 의사결정에 대한 인지 상태를 추정할 수 있다.
또한, 상기 의사결정 예측부는, 클래스 활성맵(Class Activation Map, CAM)으로 각　의사결정 전략과 연관되어 있는 뇌 신호의 특징을 시각화 하여, 의사결정에 대한 인지 상태를 추정할 수 있다.
상기 범용 인지 상태 디코더는, 상기 고위 수준의 인지 상태 디코더의 산출 값을 복수개의 다른 인지 상태 디코더에 입력 값으로 산입하여 구성될 수 있다.
여기서, 상기 고위 수준의 인지 상태 디코더 및 상기 범용 인지 상태 디코더는, 합성곱 신경망(Convolution Neural Network, CNN) 기반 디코더로 이루어질 수 있다.
상기 범용 인지 상태 디코더는, 강화학습 전략에 따른 복잡 행동을 예측하고, 컴퓨터가 인식할 수 있는 각성 및 비각성에 따른 행동을 추론할 수 있다.
실시예들에 따르면 인간의 고위 수준의 핵심 인지 상태를 구분하는 뇌 신호 기반 고위 수준의 인지 상태 디코더를 이용하여 범용 인지 상태 디코더를 제공하고, 범용 인지 상태 디코더를 통해 인간의 복잡한 행동 양식을 예측할 수 있는, 뇌 신호 기반 범용 인지 상태 디코더 및 그에 기반한 초고성능 복잡 행동 예측 방법 및 장치를 제공할 수 있다.
실시예들에 따르면 사용에 피로감이 없는 수동적 신호를 타겟으로 하여 뇌의 고등 기능인 인지 상태를 직접적으로 읽어 냄으로써, 복잡한 인간 행동 양식을 예측 가능하게 하는, 뇌 신호 기반 범용 인지 상태 디코더 및 그에 기반한 초고성능 복잡 행동 예측 방법 및 장치를 제공할 수 있다.
도 1은 종래의 BCI 시스템을 개략적으로 나타내는 도면이다.
도 2는 일 실시예에 따른 BCI 시스템을 개략적으로 나타내는 도면이다.
도 3은 일 실시예에 따른 행동전략 및 의사결정의 추론을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 BCI 시스템을 설명하기 위한 도면이다.
도 5a는 일 실시예에 따른 1-D CNN 모델의 EEG 채널 정보를 나타내는 도면이다.
도 5b는 일 실시예에 따른 2-D CNN 모델의 EEG 채널 정보를 나타내는 도면이다.
도 5c는 일 실시예에 따른 3-D CNN 모델의 EEG 채널 정보를 나타내는 도면이다.
도 6a는 일 실시예에 따른 1-D CNN 모델의 구조를 나타내는 도면이다.
도 6b는 일 실시예에 따른 2-D CNN 모델의 구조를 나타내는 도면이다.
도 6c는 일 실시예에 따른 3-D CNN 모델의 구조를 나타내는 도면이다.
도 7a는 일 실시예에 따른 2-D CNN 클래스 활성맵을 설명하기 위한 도면이다.
도 7b는 일 실시예에 따른 2-D CNN 클래스 활성맵의 시뮬레이션 결과를 나타내는 도면이다.
도 8a는 일 실시예에 따른 3-D CNN 클래스 활성맵을 설명하기 위한 도면이다.
도 8b는 일 실시예에 따른 3-D CNN 클래스 활성맵의 시뮬레이션 결과를 나타내는 도면이다.
도 9는 일 실시예에 따른 고위 수준의 인지 상태를 이용한 복잡 행동 디코딩 개념도를 나타내는 도면이다.
도 10은 일 실시예에 따른 고위 수준의 인지 상태 디코더 및 이에 기반한 행동 신호 디코더의 설계를 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 고위 수준의 인지 상태 디코더 및 이에 기반한 행동 신호 디코딩 방법을 나타낸다.
도 12a는 일 실시예에 따른 의사결정 전략 예측 디코더의 성능을 나타내는 도면이다.
도 12b는 일 실시예에 따른 행동 예측 디코더의 성능을 나타내는 도면이다.
도 13은 일 실시예에 따른 고위 수준의 인지 상태 디코더를 이용한 범용 인지 상태 디코더의 설계를 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 뇌 신호 기반 범용 인지 상태 디코더에 기반한 초고성능 복잡 행동 예측 장치를 나타내는 도면이다.
도 15는 일 실시예에 따른 뇌 신호 기반 범용 인지 상태 디코더에 기반한 초고성능 복잡 행동 예측 방법을 나타내는 흐름도이다.
도 16a는 일 실시예에 따른 범용 복잡 행동 디코더의 예시를 나타내는 도면이다.
도 16b는 일 실시예에 따른 범용 인지 상태 디코더의 성능 평가를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
인간의 의사결정 전략을 뇌 신호로 검출하는 BCI(Brain-Computer Interface)를 만드는 데는 다음과 같은 제한이 있다. 의사결정 전략은 고차원적인 과정으로 인간 심리에 내재되어 있어, 상대적으로 신뢰성이 떨어지는 자기보고(自己報告)로 검출할 수 밖에 없다. 그리고 자기보고를 통해 만들어진 인간 의사결정 전략 추론 BCI는 의사결정 전략에 대한 신경과학적 증거가 없다. 또한 뇌 신호는 그 종류에 따라 각기 특성이 다르며, 일부의 신호만 측정 가능하므로, BCI를 만들기 위해 적합한 뇌 신호를 찾는 과정이 선행되어야 한다.
위와 같은 제한들을 해결하기 위하여, 본 발명에서는 인간 의사결정 전략에 대한 심리학, 신경과학 연구에서 활용하는 이론들이 BCI에 적극적으로 활용된 형태의 새로운 BCI 시스템을 제시한다.
인간의 학습에 대한 심리학 및 신경과학 연구는 인간 행동 기저에 존재하는 의사결정 전략을 이론적으로 증명한다. 결과로, 인간의 복잡한 의사결정 과정을 이해할 수 있다. 여기에서 각각의 연구결과는 다음과 같은 특징을 갖는다. 심리학 연구는 특징적인 인간의 의사결정 전략과 그 행동적 특성을 밝힌다. 그리고 신경과학 연구는 심리학 연구에서 탐구된 인간 의사결정 과정에 대한 이론을 통해 인간의 뇌 내에서 의사결정 과정에 대한 증거를 제시한다.
결론적으로 제안하는 새로운 BCI 시스템은 다음과 같이 구성된다. 1) 인간 의사결정에 대한 심리학적 사전 연구는 인간이 갖는 의사결정 전략이 어떻게 인간의 행동 패턴에 영향을 주는지 이론적 기반을 제공한다. 2) 또한, 이에 대한 신경과학적 연구는 해당 의사결정 전략이 뇌에 실제로 존재하는지의 여부를 포함하여 뇌의 어느 영역에서 일어나는지에 대해 근거를 마련한다. 3) 앞선 두 개의 연구에서 의사결정 전략에 따른 인간의 행동 및 뇌 신호를 찾기 위해 적용했던 이론을 통해 인간의 의사결정 전략을 추론하는 BCI 시스템을 만들 수 있다.
제안하는 BCI 시스템은 의사결정 전략을 직접적으로 추론하는 계산 모델을 통해 학습된다. 특히, 합성곱 신경망(Convolution Neural Network, CNN)을 활용하여 각　의사결정 전략을 분류할 수 있을 뿐만 아니라, 클래스 활성맵(Class Activation Map, CAM)으로 각　의사결정 전략과 연관되어 있는 뇌 신호의 특징을 시각화 할 수 있는 특징을 지녔다. 이를 통해 BCI 시스템이　의사결정 전략을 분류하는 과학적 근거에 대한 분석 또한 가능하다.
따라서 본 시스템은 앞서 말했던 제한들을 다음과 같이 해결할 수 있다. 자기보고 과정을 삭제하고, 인간의 행동패턴 및 뇌 신호에서 검출된 인간 의사결정에 대한 이론을 활용하여 인지 상태를 유추하므로 신뢰성이 높다. 의사결정 전략을 유추하는데 활용된 이론이 뇌 신호와 통계적인 유의미성을 가지므로 자연히 신경과학적 근거를 갖는다. 그리고 의사결정과정에 참여하는 뇌 영역을 통해 의사결정 전략의 추론이 가능한 뇌 신호를 판별할 수 있다.
실시예들에 따르면 단순히 인간의 내재적인 인지 상태를 추론하는 것이 아닌, 인간 행동의 근원적인 행동전략(예컨대, 학습전략)을 뇌파만으로 추론하는 장치로 인간의 행동 및 행동 전략을 행동 이전의 뇌파를 통해 유추 가능하다. 인간의 내재적인 상태를 유추하는 것만은 동일하나, 그 목표에 있어서 행동 및 행동의 근원이 되는 행동전략까지 유추하는 것에서 다르며, 특히 감정과 같은 특정 인지 '상태'가 아닌 다양한 뇌 영역의 결합과 상호작용으로 이루어지는 학습 과정과 그 전략에 대한 추론이라는 점에서 특별하다. 의사결정을 읽어내는 BCI 기술 개발 사례는 많으나, 행동전략을 읽어내는 기술 개발은 전례가 없다.
아래의 본 실시예들은 인간의 의사결정에 내재된 “행동전략”과 “의사결정”을 동시에 추정하는 새로운 개념의 BCI 시스템에 관한 것이다. 의사결정 신경과학 연구로부터 도출되는 계산 모델을 이용하여 “행동전략”을 추정할 수 있다. 그리고 추정된 “행동전략”을 뇌 신호의 특징과 결합하여 “의사결정”을 추정할 수 있다.
기존의 전통적 BCI 시스템이 인간의 운동 기능과 같이 겉으로 명확히 확인 가능한 외재적 신호들에 대한 분류 등을 목표하고 있다면, 본 발명에서는 겉으로 나타나는 “행동”의 기저에 깔린 “행동전략”, 또한 “의사결정”과 같은 내재적인 신호를 읽어내고 활용하는 것에 목표를 두고 있다.
도 1은 종래의 BCI 시스템을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 종래의 BCI 시스템은 실험 환경(Experimental Environment)(10)에서 추출된 신경 신호(neural signal)(20) 및 사용 정의된 클래스 출력 라벨(label)(30)로 BCI 디코더(40)는 학습된다.
전통적인 BCI가 운동 기능(오른팔/왼팔)을 읽어내는 것을 목표로 했던 것은 그 효용성도 있으나, 일반적으로 운동기능과 관련된 EEG(Electroencephalogram) 신호의 세기가 강하고 겉으로 명확히 드러나는 라벨(label) 값이 있기 때문이다. 예컨대, 오른팔/왼팔을 움직일 때의 EEG 측정 후 각 EEG 데이터를 오른팔/왼팔의 움직임으로 라벨(label)지어 BCI 디코더를 학습시키는 방식이다.
그러나 이런 구분이 외부적으로 명확히 나타나지 않는, 인지(cognitive) 상태에 대한 BCI에 대해서는 다른 접근 방식이 필요하다. 대표적인 EEG를 통한 인지 상태 분류 연구는 “감정(emotion) 분류” 및 “피로 상태 분류”가 있다. 그러나 이런 연구들에서는 뇌 신호와 전혀 무관하게 실험자가 각 EEG 데이터(data)의 라벨(label)을 결정한다. 즉, 눈에 보이지 않는 인지 상태에 대해서는 분류 기준이 없다.
이런 점에서 신경과학 연구는 인지 상태 EEG 데이터를 분류하기 좋은 기준을 제공하며, 이것이 바로 계산 모델(computational model)이다. 일반적인 신경과학 연구는 각 인지 상태에 대해 계산 모델을 만들어 fMRI(기능성 자기공명영상) 데이터를 분석한다. 마찬가지로 내재적이기 때문이다. 본 발명에서는 fMRI 신경과학 연구 결과 및 이 연구에 활용된 계산 모델을 활용하여 적절한 인지 상태 EEG 데이터(data) 분류 기준을 세울 수 있다.
도 2는 일 실시예에 따른 BCI 시스템을 개략적으로 나타내는 도면이다.
도 2를 참조하면, 인지 상태를 분류하기 위한 데이터에 라벨을 붙일 표준이 없다는 문제를 해결하기 위해 모델 기반 BCI(model-based BCI) 시스템을 제안할 수 있다. 이 방법에서는 인지 과정의 별도의 계산 모델(220)을 사용하여 클래스 출력 라벨(240)을 생성할 수 있다. 인지 상태를 분류하기 위한 모델 기반 BCI 시스템의 절차는 다음과 같이 나타낼 수 있다. 여기서, 모델 기반 BCI 시스템은 간단히 BCI 시스템 또는 메타 BCI 시스템으로 언급될 수 있다.
먼저, 라벨링 모델을 결정할 수 있다. 뇌의 타켓 인지 기능을 조사하는 모델 기반 fMRI 연구에서 적절한 계산 모델(220)을 선택할 수 있다. 다음으로, EEG 채널을 선택할 수 있다. 대상 인지 기능과 관련된 피질(cortices)의 위치에 가까운 EEG 채널을 선택할 수 있다. 그리고, 라벨링 및 학습을 수행할 수 있다. 데이터에 계산 모델(220)로 라벨을 지정할 수 있다.
계산 모델(220)은 실험 환경(Experimental Environment)(210)으로부터 나오는 수치 값을 통해서 2개의 행동전략(예컨대, MB(model-based RL) 및 MF(model-free RL))을 통해 학습시킬 수 있다. 여기서, 실험 환경(Experimental Environment)(210)은 2단계 마르코프 의사결정 작업(two-stage Markov decision task)이 될 수 있으며, 2단계 마르코프 의사결정 작업은 EEG 데이터를 수집하는데 사용될 수 있다. 계산 모델(220)은 이를 통해서 인간이 어떤 행동전략(학습전략)을 활용하고 있을지 꾸준히 수정하는 메타 컨트롤(Meta control) 과정을 담고 있다. 이후, 계산 모델(220)은 출력 라벨(output label)(240)을 제공할 수 있다. 여기서, 계산 모델(220)을 통해 출력 라벨(output label)(240)을 제공하는 구성은 후술하는 도 4의 행동전략 예측부(410)에 포함될 수 있다. 그리고 실험 환경(Experimental Environment)(210)에서 신경 신호(neural signal)(230)를 추출하는 구성은 후술하는 도 4의 의사결정 예측부(420)에 포함될 수 있다.
이와 같이, BCI 시스템에서 실험 환경(Experimental Environment)(210)에서 추출된 신경 신호(neural signal)(230)와 실험 환경(210)에서 추출된 계산 모델(220)을 통해 결정된 출력 라벨(output label)(240)에 의해 BCI 디코더(250)가 학습될 수 있다. BCI 디코더(250)는 인지 상태를 분류하는 분류기로, CNN 모델을 포함할 수 있다.
도 3은 일 실시예에 따른 행동전략 및 의사결정의 추론을 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 따른 BCI 시스템은 인간의 의사결정에 내재된 행동전략과 의사결정을 추정할 수 있다. 여기서, 의사결정 신경과학 연구로부터 도출되는 계산 모델을 이용하여 행동전략을 추정할 수 있다. 그리고 추정된 행동전략을 뇌 신호의 특징과 결합하여 의사결정을 추정할 수 있다. 이 때, 적절한 분류기준을 갖고 행동전략이라는 인지 상태(내재적임)의 추정이 가능하게 되면, 전통적 BCI 시스템과 마찬가지로 의사결정(외재적임)도 동시에 분류하여, 인간 의사결정과 그 기저에 존재하는 행동전략까지 동시에 추정이 가능하게 된다.
이러한 인간 행동(310)은 목표 지향성(goal-directed) 행동(320)과 습관성(habitual) 행동(330)으로 구분될 수 있으며, 습관성 행동(330)에 따른 목표 의존적 습관성 행동(340)과 목표 지향성 행동(320)을 통해 인간의 행동패턴 및 그 기저의 행동전략을 추론(350)할 수 있다.
일 실시예에 따른 인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 BCI 방법은, 인간 행동을 의사결정 신경과학 연구로부터 도출되는 계산 모델(computational model)을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정하는 단계(S110)를 포함하여 이루어질 수 있다. 또한, 추정된 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 인지 상태를 추정하는 단계(S120)를 더 포함할 수 있다.
아래에서 일 실시예에 따른 인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 BCI 시스템(간단히 BCI 시스템이라 함)을 이용하여 보다 구체적으로 설명하기로 한다.
도 4는 일 실시예에 따른 BCI 시스템을 설명하기 위한 도면이다.
도 4를 참조하면, 일 실시예에 따른 BCI 시스템은 행동전략 예측부(410) 및 의사결정 예측부(420)를 포함할 수 있고, 실시예에 따라 학습상태 추정 모델(430)을 더 포함할 수 있다.
단계(S110)에서, 행동전략 예측부(410)는 인간 행동을 의사결정 신경과학 연구로부터 도출되는 계산 모델(computational model)을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 인지 상태를 추정할 수 있다. 여기서, 행동전략 예측부(410)는 뇌파(electroencephalography, brain-wave) 또는 fMRI로부터 사용자의 행동전략을 추론할 수 있다.
계산 모델은 신경과학 연구를 이용하여 인지 상태 EEG 데이터를 분류하기 위한 기준을 제공하는 것이다. 일반적인 신경과학 연구는 각 인지 상태에 대해 계산 모델을 만들어 fMRI(기능성 자기공명영상) 데이터를 분석한다. 이에, 기존의 fMRI 신경과학 연구 결과 및 이 연구에 활용된 계산 모델을 이용하여 인지 상태 EEG 데이터 분류 기준을 세울 수 있다.
행동전략 예측부(410)는 계산 모델을 실험 환경(Experimental Environment)으로부터 나오는 수치 값을 통해서 목표 지향성(goal-directed) 및 습관성(habitual) 인지 상태를 통해 학습시킬 수 있다. 그리고 행동전략 예측부(410)는 인지 상태에 대한 라벨(label)을 제공하는 수치 값의 변화에 따라 계산 모델을 수정하는 메타 컨트롤(Meta control)을 수행할 수 있다. 이후, 행동전략 예측부(410)의 계산 모델이 인지 상태에 대한 수치 값인 출력 라벨(output label)을 제공할 수 있다.
단계(S120)에서, 의사결정 예측부(420)는 추정된 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 인지 상태를 추정할 수 있다.
의사결정 예측부(420)는 합성곱 신경망(Convolution Neural Network, CNN)을 이용하여 각　의사결정 전략을 분류함에 따라 의사결정에 대한 인지 상태를 추정할 수 있다. 또한, 의사결정 예측부(420)는 클래스 활성맵(Class Activation Map, CAM)으로 각　의사결정 전략과 연관되어 있는 뇌 신호의 특징을 시각화 하여, 의사결정에 대한 인지 상태를 추정할 수 있다.
그리고, 학습상태 추정 모델(430)을 통해 행동전략 예측부(410) 및 의사결정 예측부(420)의 결과를 전달 받아 핵심 채널을 추출할 수 있다.
한편, 행동전략 예측부(410)는 다음과 같은 계산 모델을 통해 행동전략에 대한 인지 상태를 추정하고, 인지 상태에 대한 수치 값인 출력 라벨(output label)을 제공할 수 있다.
강화학습(Reinforcement Learning, RL) 문제는 에이전트가 받을 미래의 보상(reward)에 대한 기대치를 최대화(또는 비용을 최소화)하는 행동 전략을 찾는 과정으로 표현할 수 있다. 여기서 행동 전략은 매 상황(state) 또는 상황에서의 행동(action)에 대한 가치값(value)으로 표현되며, 가치값(value)은 일반적으로 에이전트가 받을 미래의 보상의 총 합에 대한 기대치로 정의된다. MDP 문제에서 보상의 기대치는 에이전트와 환경이 상호작용하는 경험으로부터 얻어지는 샘플을 이용하게 된다. 이 문제가 어려운 이유는 매 상황에서의 입력(에이전트의 행동)-출력(환경으로부터의 피드백)에 대한 보상이 간헐적으로 주어진다는 점이다(sparseness). 보상신호는 이러한 입력-출력이 반복되는 인터렉션 중간, 또는 가장 마지막에 주어지게 된다. 더구나 보상은 보상을 받는 시점의 상태에만 의존적이 아니라, 과거에 일어난 일련의 입출력 집합(episode)에 의존적이다.
MDP 세팅에서는 매 상황의 입출력은 바로 이전 상황의 입출력 쌍에 의존적인 형태로 표현된다. 만일 모든 상황(S)에 대한 피드백/보상치(R)의 정보와 상황들 간의 확률적인 관계를 나타내는 상태천이 행렬(P)이 주어진다면 아래와 같이 최적의 전략을 상태의 가치값 행렬로 표현할 수 있다.
[수학식 1]
Figure pat00001
그러나 위와 같은 해법은 다음과 같은 이유로 일반적인 상황에 적용할 수 없는 경우가 많다. 우선적으로 생각해 볼 수 있는 문제는 환경에 대한 완벽한 정보인 P가 주어지지 않는다는 것이다. 환경 안에서 무한한 시간 동안 탐험하면서 샘플링(sampling)을 한다면 P를 추정할 수 있으나, 위 식의 적용은 작은 규모의 이산적 공간에 국한되므로, 복잡한 문제에 대해서는 전체 R을 얻기도 어렵다. 앞서 언급한 여러 가지 일반적인 최적제어의 문제에서는 고려해야 할 상황의 개수가 너무 많고, 이에 비해 샘플링(sampling)할 수 있는 기회는 상대적으로 적기 때문에 현실적으로 위와 같은 행렬 자체를 구하기가 어렵다.
Principle of optimality는 이러한 문제 해결을 위한 이론적 기틀을 제공한다. 최초 상황(S0) 에서 최종 보상을 받는 상황(Sn)을 이어주는 최적의 전략 M*가 존재한다고 가정하였을 때, 상황(Sn-1)에서 Sn을 이어주는 최적의 해 Mn-1*는 M*의 부분집합이 된다. Mi-1*는 Mi*의 부분집합이 되며, 이를 풀어서 설명하면 보상을 획득한 시점에서의 부분전략을 재귀적(recursive)으로 확장해 나가면 임의의 상황(Si)에서부터 시작되는 전체 전략과 같게 된다고 할 수 있다. 결국, 최종적으로 얻은 보상에 대한 정보는 그 보상을 얻기까지 이루어진 과거의 에피소드(episode) 상에 놓인 상황-행동-피드백 세트들로 역전파가 가능하다고 할 수 있다. 물론, 이러한 이상적인 결론은 특정한 가정 하에 보장되는 것이다.
Bellman equation은 위와 같은 원리를 이용하여 전략으로부터 샘플링되는 상황 또는 행동의 가치값을 미래에 받을 보상의 총합의 기대치로 표현한다. Bellman optimality equation은 최적 전략에 대한 가치와 기대값의 관계를 의미한다. 기대치는 MDP의 특성을 이용하여 반복적(recursive)인 형태로 풀어 쓸 수 있으며, 식을 정리해 보면 다음에 이어질 상황(s')에 대한 행동(a')의 가치값(Q(s',a'))을 현재 상황(S)에 대한 행동 가치값(Q(s,a))에 반영하는 단순한 형태의 업데이트 식으로 표현할 수 있다.
[수학식 2]
Figure pat00002
여기서 두 가지 특징에 주목해 볼 필요가 있다. 하나는 다음 상황(s')에서의 행동 가치값 중 최대치(max)를 선택하여 업데이트에 반영한다. 이는 에이전트 본인의 전략이 최적이라고 가정하는 것을 뜻한다(optimistic). 또 하나는 기대값을 추정하기 위해서는 환경에 대한 모델, 즉 (s,a,s')에 대한 확률분포가 필요하다는 점이다.
아래에서는 인지 상태, 즉 “행동전략”을 학습전략(learning strategy)으로 정한 상태를 하나의 예를 들어 보다 구체적으로 설명하기로 한다. 여기에서는 인지 상태를 학습전략을 예시로써 설명하고 있으나, 이에 제한되지 않으며 일반적인 인지 상태 모두에 적용 가능하다.
인간의 학습전략은 강화학습(Reinforcement Learning, RL)으로 나타나며, 크게 MB/MF로 나눌 수 있다. MB/MF는 목표 지향성(goal-directed)/습관성(habitual) 학습전략과 행동적으로 관계되어 있다. 여기서 MB/MF는 학습전략의 이름에 해당되며, 예시로써 목표 지향성(goal-directed)/습관성(habitual) 학습전략을 의미할 수 있다.
행동전략 예측부(410)는 계산 모델을 통해 뇌 수준의 문맥정보를 추출할 수 있다. 계산 모델을 실험 환경(Experimental Environment)으로부터 나오는 수치 값을 통해서 2개의 학습전략(MB/MF)을 통해 학습시킬 수 있다. 계산 모델은 이를 통해서 인간이 어떤 학습전략을 활용하고 있을지 꾸준히 수정하는 메타 컨트롤(Meta control) 과정을 담고 있다.
이러한 행동전략 예측부(410)를 통해 메타 인지 상태에 대한 문맥정보를 제공할 수 있다. 즉, 계산 모델이 출력 라벨(output label)을 제공할 수 있다.
의사결정 예측부(420)는 문맥에 의존적인 뇌파 특징을 추출할 수 있다. 앞서 문맥정보가 인지 상태에 대한 라벨(label)을 제공하는 수치 값이라 말했던 것과 마찬가지로, 각 학습전략에 특징적으로 나타나는 뇌파 신호를 찾을 수 있다.
이에 따라 학습상태 추정 모듈(430)은 메타 인지 상태(2개의 학습전략에서 꾸준히 우점적인 학습전략이 변동하는 상태)에서 어떤 학습전략이 활용되고 있는지(문맥정보)를 알고, 그에 특징적인 뇌파 신호를 찾는 기술적 알고리즘(즉, 클래스 활성맵(Class Activation Map, CAM))을 통해서 각 학습전략에 핵심적으로 활용되는 뇌파 채널을 특정 지을 수 있다. 여기서, 클래스 활성맵은 핵심적인 뇌파 채널뿐만 아니라, 뇌파 주파수(frequency) 대역, 시간대(timing)까지 포함할 수 있다. 실제로 행동전략이 메타 컨트롤(meta control)에 의해 변할 때 어떤 시간대에서 그 변화가 일어나고, 어떤 주파수를 통해 정보의 이동이 어디로 향하는지(뇌파 채널)를 볼 수 있기 때문에 중요하다.
아래에서는 인지 상태 추정을 위한 BCI 디코더 및 신경 프로파일 추출 기술을 설명한다.
도 5a는 일 실시예에 따른 1-D CNN 모델의 EEG 채널 정보를 나타내는 도면이고, 도 5b는 일 실시예에 따른 2-D CNN 모델의 EEG 채널 정보를 나타내는 도면이다. 또한, 도 5c는 일 실시예에 따른 3-D CNN 모델의 EEG 채널 정보를 나타내는 도면이다. 즉, 일 실시예에 따른 BCI 디코더(1-D/2-D/3-D CNN 모델)에 사용된 채널 정보를 나타낸다.
도 6a는 일 실시예에 따른 1-D CNN 모델의 구조를 나타내는 도면이다. 도 6a를 참조하면, 1-D CNN 모델의 컨벌루션 신경망 구조를 나타내며, 1-D CNN 모델은 연결된 특징 매트릭스로 학습되었다. 도 6b는 일 실시예에 따른 2-D CNN 모델의 구조를 나타내는 도면이고, 도 6c는 일 실시예에 따른 3-D CNN 모델의 구조를 나타내는 도면이다. 이러한 일 실시예에 따른 BCI 디코더는 1-D/2-D/3-D CNN 모델로 표현될 수 있고, 특히 2-D CNN 모델 및 3-D CNN 모델의 구조와 같이 CNN과 클래스 활성맵(CAM)의 결합으로 표현될 수 있다.
도 7a는 일 실시예에 따른 2-D CNN 클래스 활성맵을 설명하기 위한 도면이다. 도 7a를 참조하면, 2-D CNN을 활용한 모델 기반 BCI의 목표 지향성(goal-directed) 및 습관성(habitual) 행동에서의 실제 클래스 활성맵(class activation map)을 확인할 수 있다.
도 7b는 일 실시예에 따른 2-D CNN 클래스 활성맵의 시뮬레이션 결과를 나타내는 도면이다. 도 7b를 참조하면, 색상을 통해 상대적인 활성비(relative activation rate)가 얼마나 의미 있는 정보를 포함하고 있는지 확인할 수 있다.
도 8a는 일 실시예에 따른 3-D CNN 클래스 활성맵을 설명하기 위한 도면이다. 도 8a를 참조하면, 3-D CNN을 활용한 모델 기반 BCI의 목표 지향성(goal-directed) 및 습관성(habitual) 행동에서의 실제 클래스 활성맵(class activation map)을 확인할 수 있다.
도 8b는 일 실시예에 따른 3-D CNN 클래스 활성맵의 시뮬레이션 결과를 나타내는 도면이다. 도 8b를 참조하면, 색상을 통해 상대적인 활성비(relative activation rate)가 얼마나 의미 있는 정보를 포함하고 있는지 확인할 수 있다. 이와 같이, 3-D CNN 클래스 활성맵을 통해 인지 상태를 시각화 할 수 있고, 온라인 BCI 시스템으로 확장될 수 있다.
표 1은 기존 시스템과 본 발명의 실시예에 따른 모델 기반 BCI 시스템의 분류기(Classifier)의 인지 상태 추정 성능을 비교한 결과이다. 여기서 분류기(Classifier)는 BCI 디코더를 의미할 수 있다.
[표 1]
Figure pat00003
표 1을 참조하면, 5개의 서로 다른 BCI 디코더(여기에서는 분류기(Classifier)로 표기)가 사용되었으며, 이를 통해 종래의 BCI 시스템과 본 발명의 실시예들에 따른 모델 기반 BCI 시스템을 비교하였다. 비교 결과, 본 발명의 실시예들에 따른 모델 기반 BCI 시스템을 통해 초고성능 인지 상태 추정기를 설계할 수 있음을 확인할 수 있다.
SVM(Support Vector Machine)은 종래의 BCI 시스템으로 학습된 경우를 나타내며, 즉 인간이 수작업으로 라벨을 결정한 경우에 해당한다. 그리고, SVM* 및 1-D/2-D/3-D CNN은 본 발명의 실시예들에 따른 모델 기반 BCI 시스템으로 학습된 경우를 나타낸다. 즉, 행동전략 예측부의 계산 모델에 의해 추정된 인지 상태를 라벨로 사용하는 경우를 나타낸다.
SVM과 SVM*는 매우 간단하며 동일한 SVM이라는 행동전략 예측의 알고리즘을 활용한다. 그러나 SVM은 인간이 수작업으로 라벨을 결정하는 반면, SVM*는 계산 모델을 이용하는 모델 기반 BCI 시스템을 활용함으로써 성능이 보다 향상된 결과를 보여준다. 다시 말하면, SVM*는 행동전략 예측부의 계산 모델에 의해 추정된 라벨을 활용하면서 성능의 비약적인 향상을 보여준다.
1-D/2-D/3-D CNN의 경우, 일반적인 딥러닝 모델이므로 이전 두 SVM 모델에 비해 성능이 좋을 것으로 기대된다. 여기서 1-D CNN은 적은 차원(dimension) 데이터를 활용하므로 빠르게 예측하기 위한 모델이나, 이 때문에 클래스 활성맵(class activation map)을 적용시킬 수 없다. 2-D/3-D CNN은 클래스 활성맵(class activation map)을 적용시킬 수 있으면서 고성능을 보인다. 이에 따라 행동전략 예측 및 클래스 활성맵을 통해 각 학습전략에 핵심적으로 활용되는 뇌파 채널을 특정 지을 수 있다.
실시예들은 인간의 의사결정 행동의 기저에 존재하는 고차원적인 의사결정 전략에 대한 선행연구의 결과를 바탕으로 한 BCI 시스템으로, 사용자의 의사결정 전략을 뇌파(electroencephalography, brain-wave), fMRI 등으로부터 추론하여 인간 생활 보조장치로서 다양한 응용이 가능하다. 대표적으로 이 기술을 활용한 인공지능 비서는 사용자가 놓치는 정보를 제공하여 인간 중심적이고 사용자 맞춤형인 인공지능 시스템을 구축할 수 있다. 사용자의 상태를 읽어 사용자에게 중요한 정보를 선별적으로 제공 가능한 측면이 IoT(Internet of Things) 환경에 매우 유효하며, 이는 광고 제안 시스템으로도 확장 가능하다. 또한, 인간의 의사결정 전략과 그에 기반한 행동 패턴의 추론은 감정 컴퓨팅(affective computing) 분야에서와 유사하게 인간 친화적인 인공 지능 및 기술 개발에 핵심적이다. 현재 개발되고 있는 인간 보조 인공지능들은 인간의 상태와는 상관없이 가능한 기술의 가짓수를 늘리는 것에 지나지 않지만, 본 발명을 통하여 인간을 이해하는 인공지능의 개발이 가능해진다. 또한 인간의 의사결정 전략을 추론하는 부분뿐만 아니라, 전통적으로 활용되었던 다른 BCI 기술들과의 통합은 인간 생활 전반의 향상을 도모할 수 있다.
앞에서 언급된 BCI 시스템은 고위 수준의 인지 상태 디코더를 포함할 수 있다. 아래에서 고위 수준의 인지 상태 디코더와 이를 이용한 뇌 신호 기반 범용 인지 상태 디코더에 대해 설명하고, 범용 인지 상태 디코더에 기반한 초고성능 복잡 행동 예측 방법 및 장치에 대해 보다 상세히 설명한다.
도 9는 일 실시예에 따른 고위 수준의 인지 상태를 이용한 복잡 행동 디코딩 개념도를 나타내는 도면이다.
도 9를 참조하면, 인간의 인지 상태(cognitive state)는 행동의 기저에 존재하는 신호로서, 행동 패턴의 복잡성을 만들어 내는 요소로 알려져 있다. 인간의 인지 상태는 다양한 종류가 서로 맥락적으로 유사한 경우가 많기 때문에 작업 비의존적인 '고위 수준의 인지 상태'가 존재하고, 이를 전두엽으로부터 비침습적으로 디코딩(910)할 수 있다. 예컨대, 고위 수준의 인지 상태 디코딩을 위한 전두엽 위치는 측전전두피질 및 전두극피질이다. 이러한 '고위 수준의 인지 상태'의 디코더는 작업의 종류에 상관없이 현재 작업 수행에 직/간접적으로 영향을 미치는 인지 상태를 구분하기 위해서 활용될 수 있으며, 범용성이 있다.
아래의 실시예들은 이러한 특징을 통해 범용 인지 상태 디코더를 제공하고, 범용 인지 상태 디코더를 통해 인간의 복잡한 행동 양식을 예측할 수 있다. 실시예들에 따르면 인지 상태와 그에 따른 행동 선택을 약 98% 정도의 정확도로 읽어낼 수 있다. 이는 기존 딥러닝 기반 디코더에 비해 약 38% 정도 향상된 세계 최고 수준의 성능이라 볼 수 있다.
아래에서는 이러한 인지 상태의 기능적 특성에 기반하여 뇌파와 같은 신경 신호를 입력으로 하는 범용 인지 상태 디코딩 기술과, 이를 활용한 복잡한 행동 예측 시스템 구현 기술을 다룬다. 이러한 신경 신호 디코딩 기술은 핵심 인지 상태 추정과 관련 뇌 부위 특정을 위한 신경과학 연구와 딥러닝 기술을 이용한 효율적 디코더 설계를 위한 공학 연구가 밀접하게 결합된 것으로, 기존에 유사한 연구 사례가 없다.
도 10은 일 실시예에 따른 고위 수준의 인지 상태 디코더 및 이에 기반한 행동 신호 디코더의 설계를 설명하기 위한 도면이다.
도 10을 참조하면, BCI 시스템을 위한 신경과학-인공지능 융합형 디코딩 기술을 제공하며, 특히 전두엽-기저핵 메타 강화학습 프로세스에 종속적인 뇌 디코더의 학습을 나타낸다.
고위 수준의 인지 상태 디코더는 마르코프 의사결정 작업(1010)으로부터 추출된 행동(1022) 및 fMRI(1123)로부터 메타 강화학습(1030)을 하여, BCI 디코더(1040)를 통해 인지 상태를 추정할 수 있다. 또한, 고위 수준의 인지 상태 디코더는 마르코프 의사결정 작업(1010)으로부터 추출된 EEG(1121)로부터 BCI 디코더(1040)를 통해 사용자의 의사결정을 추정할 수 있다. 여기서, BCI 디코더(1040)는 CNN 및/또는 LSTM을 포함할 수 있다.
도 11은 일 실시예에 따른 고위 수준의 인지 상태 디코더 및 이에 기반한 행동 신호 디코딩 방법을 나타낸다.
도 11을 참조하면, 도 10에서 설명한 고위 수준의 인지 상태 디코더의 실시예로써 의사결정 전략(행동전략) 및 선택 신호 판독을 위한 모델 기반 BCI 시스템을 나타낸다.
의사결정 전략에 대한 계산 모델(1130)은 모델 기반 fMRI 연구에서 EEG 데이터의 의사결정 전략에 라벨을 지정할 수 있다. 여기서 의사결정 전략은 행동전략을 의미할 수 있다.
CNN 기반 의사결정 전략 예측 디코더(1140)는 뇌파(EEG, 1121)에서 추출된 입력으로서 스펙트로그램(spectrogram)을 가지고 있다. 의사결정 전략 예측 디코더(1140)는 마르코프 의사결정 작업(1110)으로부터 추출된 뇌파(1121) 또는 fMRI(1123)로부터 사용자의 의사결정 전략을 예측할 수 있다.
LSTM(Long Short Term Memory) 기반 행동 예측 디코더(1150)는 명시적 행동 단서(상태 및 목표)와 의사결정 전략 예측 디코더(1140)에서 디코딩된 의사결정 전략을 입력으로 사용할 수 있다. 행동 예측 디코더(1150)는 추정된 의사결정 전략을 fMRI(1122) 및 행동(1123)과 같은 뇌 신호의 특징과 결합하여 의사결정에 대한 인지 상태를 추정할 수 있다. 즉, 행동 예측 디코더(1150)는 사용자가 어떤 의사결정을 내릴지 (예컨대, 어떤 버튼을 누를지) 예측할 수 있다.
도 12a는 일 실시예에 따른 의사결정 전략 예측 디코더의 성능을 나타내는 도면이다. 도 12a를 참조하면, 고위 수준의 인지 상태 디코더 및 이에 기반한 행동 신호 디코더의 성능 평가를 나타내는 것으로, 2-D CNN 및 3-D CNN 기반의 의사결정 전략 예측 디코더의 성능 평가 결과이다.
도 12b는 일 실시예에 따른 행동 예측 디코더의 성능을 나타내는 도면이다. 도 12b를 참조하면, 고위 수준의 인지 상태 디코더 및 이에 기반한 행동 신호 디코더의 성능 평가를 나타내는 것으로, 2-D/3-D CNN 및 메타 디코더 기반의 의사결정 전략 예측 디코더의 성능이 3-D CNN 및 LSTM과 3-D CNN보다 우수하다.
도 13은 일 실시예에 따른 고위 수준의 인지 상태 디코더를 이용한 범용 인지 상태 디코더의 설계를 설명하기 위한 도면이다.
도 13을 참조하면, 도 11에서 설명한 의사결정 전략 예측 디코더(1140)는 의사결정에 관련된 핵심 인지 상태를 디코딩하고 있기 때문에, 다른 종류의 인지 상태를 디코딩하는데 효용성이 있으며, 이를 통해 다른 복잡한 행동 역시 예측 가능하다. 여기서, 의사결정 전략 예측 디코더를 고위 수준 핵심 인지 기능 디코더(1310)라 언급할 수 있다.
다시 말하면, 의사결정에 관련된 핵심 인지 상태를 디코딩하고 있는 고위 수준의 인지 상태 디코더(1310)를 이용하여 다른 종류의 인지 상태를 디코딩할 수 있는 범용 인지 상태 디코더(1320)를 구성할 수 있고, 이러한 범용 인지 상태 디코더(1320)를 통해 인간의 복잡 행동을 예측(1330)할 수 있다.
범용 인지 상태 디코더(1320)는 다음과 같은 순서로 구성될 수 있다. 다양한 인지 상태의 종류의 교집합에 해당하는 핵심 인지 상태를 선정하고, 상기 핵심 인지 상태를 분류하기 위한 고위 수준의 인지 상태 디코더(1310)를 구성할 수 있다. 고위 수준의 인지 상태 디코더(1310)의 산출 값을 또 다른 인지 상태 디코더의 입력 값으로 산입하여 짧은 시간 안에 (혹은 zero-training으로) 새로운 범용 인지 상태 디코더(1320)를 구성할 수 있다. 이러한 범용 인지 상태 디코더(1320)는 인간 행동 예측 및 행동 보조 시스템으로 활용될 수 있다.
도 14는 일 실시예에 따른 뇌 신호 기반 범용 인지 상태 디코더에 기반한 초고성능 복잡 행동 예측 장치를 나타내는 도면이다.
도 14를 참조하면, 고위 수준의 인지 상태 디코더(1410)의 출력 값을 다른 종류의 인지 기능을 디코딩하는 인지 상태 디코더에 하이브리드시킴으로써, 범용 복잡 행동 디코더(1420)를 구성할 수 있다.
보다 구체적으로, 일 실시예에 따른 뇌 신호 기반 범용 인지 상태 디코더에 기반한 초고성능 복잡 행동 예측 장치는 고위 수준의 인지 상태 디코더(1410) 및 범용 인지 상태 디코더(1420)를 포함하여 이루어질 수 있다. 실시예에 따라 복잡 행동 예측 장치는 마르코프 의사결정 작업부를 더 포함하여 이루어질 수 있다. 여기서, 고위 수준의 인지 상태 디코더(1410)는 행동전략 예측부 및 의사결정 예측부를 포함하여 이루어질 수 있다. 또한, 범용 인지 상태 디코더(1420) 역시 행동전략 예측부 및 의사결정 예측부를 포함하여 이루어질 수 있다.
먼저, 마르코프 의사결정 작업부는 작업에 비의존적인 핵심 인지 상태의 추출을 위한 마르코프 의사결정 작업을 설계할 수 있다.
고위 수준의 인지 상태 디코더(1410)는 인간의 고위 수준의 핵심 인지 상태를 구분할 수 있다. 고위 수준의 인지 상태 디코더(1410)는 작업에 비의존적인 핵심 인지 상태인 목표 지향성(goal-directed) 인지 상태 및 습관성(habitual) 인지 상태를 통해 고위 수준의 인지 상태 디코더를 학습시킬 수 있다.
이러한 고위 수준의 인지 상태 디코더(1410)는 고위 수준의 인지 상태 디코더를 이용하여 인간 행동을 의사결정 신경과학 연구로부터 도출되는 계산 모델(computational model)을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 핵심 인지 상태를 추정하는 행동전략 예측부를 포함할 수 있다. 또한, 고위 수준의 인지 상태 디코더(1410)는 고위 수준의 인지 상태 디코더를 이용하여 행동에 대한 의사결정에 내재된 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 핵심 인지 상태를 추정하는 의사결정 예측부를 포함할 수 있다. 여기서, 의사결정 예측부는 합성곱 신경망(CNN)을 이용하여 각　의사결정 전략을 분류함에 따라 의사결정에 대한 인지 상태를 추정할 수 있다. 또한, 의사결정 예측부는 클래스 활성맵(CAM)으로 각　의사결정 전략과 연관되어 있는 뇌 신호의 특징을 시각화 하여, 의사결정에 대한 인지 상태를 추정할 수 있다.
범용 인지 상태 디코더(1420)는 고위 수준의 인지 상태 디코더의 산출 값을 다른 인지 상태 디코더에 입력 값으로 산입하여 인간의 복잡 행동을 예측할 수 있다. 범용 인지 상태 디코더(1420)는 고위 수준의 인지 상태 디코더의 산출 값을 복수개의 다른 인지 상태 디코더에 입력 값으로 산입하여 구성될 수 있다. 여기서, 고위 수준의 인지 상태 디코더(1410) 및 범용 인지 상태 디코더(1420)는 합성곱 신경망(CNN) 기반 디코더로 이루어질 수 있다.
그리고, 범용 인지 상태 디코더(1420)는 강화학습 전략에 따른 복잡 행동을 예측하고, 컴퓨터가 인식할 수 있는 각성 및 비각성에 따른 행동을 추론할 수 있다.
도 15는 일 실시예에 따른 뇌 신호 기반 범용 인지 상태 디코더에 기반한 초고성능 복잡 행동 예측 방법을 나타내는 흐름도이다.
도 15를 참조하면, 일 실시예에 따른 뇌 신호 기반 범용 인지 상태 디코더에 기반한 초고성능 복잡 행동 예측 방법은, 인간의 고위 수준의 핵심 인지 상태를 구분하는 뇌 신호 기반 고위 수준의 인지 상태 디코더를 구성하는 단계(1520), 고위 수준의 인지 상태 디코더의 산출 값을 다른 인지 상태 디코더에 입력 값으로 산입하여 범용 인지 상태 디코더를 구성하는 단계(1530), 및 범용 인지 상태 디코더를 통해 인간의 복잡 행동을 예측하는 단계(1540)를 포함하여 이루어질 수 있다.
또한, 고위 수준의 인지 상태 디코더를 구성하기 이전에, 작업에 비의존적인 핵심 인지 상태의 추출을 위한 마르코프 의사결정 작업을 설계하는 단계(1510)를 더 포함하여 이루어질 수 있다.
일 실시예에 따른 뇌 신호 기반 범용 인지 상태 디코더에 기반한 초고성능 복잡 행동 예측 방법의 각 단계에 대해 설명한다. 일 실시예에 따른 뇌 신호 기반 범용 인지 상태 디코더에 기반한 초고성능 복잡 행동 예측 방법은 일 실시예에 따른 뇌 신호 기반 범용 인지 상태 디코더에 기반한 초고성능 복잡 행동 예측 장치에 의해 수행될 수 있다.
단계(1510)에서, 마르코프 의사결정 작업부는 작업에 비의존적인 핵심 인지 상태의 추출을 위한 마르코프 의사결정 작업을 설계할 수 있다.
단계(1520)에서, 인간의 고위 수준의 핵심 인지 상태를 구분하는 뇌 신호 기반 고위 수준의 인지 상태 디코더를 구성할 수 있다. 특히, 작업에 비의존적인 핵심 인지 상태인 목표 지향성(goal-directed) 인지 상태 및 습관성(habitual) 인지 상태를 통해 고위 수준의 인지 상태 디코더를 학습시킬 수 있다.
여기서, 고위 수준의 인지 상태 디코더를 이용하여 인간 행동을 의사결정 신경과학 연구로부터 도출되는 계산 모델(computational model)을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 핵심 인지 상태를 추정할 수 있다. 또한, 고위 수준의 인지 상태 디코더를 이용하여 행동에 대한 의사결정에 내재된 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 핵심 인지 상태를 추정할 수 있다. 이 때, 합성곱 신경망(CNN)을 이용하여 각　의사결정 전략을 분류함에 따라 의사결정에 대한 인지 상태를 추정할 수 있다. 또한, 클래스 활성맵(CAM)으로 각　의사결정 전략과 연관되어 있는 뇌 신호의 특징을 시각화 하여, 의사결정에 대한 인지 상태를 추정할 수 있다.
단계(1530)에서, 고위 수준의 인지 상태 디코더의 산출 값을 복수개의 다른 인지 상태 디코더에 입력 값으로 산입하여 범용 인지 상태 디코더를 구성할 수 있다. 여기서, 고위 수준의 인지 상태 디코더 및 범용 인지 상태 디코더는 합성곱 신경망(CNN) 기반 디코더로 이루어질 수 있다.
단계(1540)에서, 범용 인지 상태 디코더를 통해 인간의 복잡 행동을 예측할 수 있다. 또한, 범용 인지 상태 디코더를 이용하여 강화학습 전략에 따른 복잡 행동을 예측하고, 나아가 컴퓨터가 인식할 수 있는 각성 및 비각성에 따른 행동을 추론할 수 있다.
도 16a는 일 실시예에 따른 범용 복잡 행동 디코더의 예시를 나타내는 도면이다.
도 16a를 참조하면, 일 실시예에 따른 범용 복잡 행동 디코더를 팩맨(Pac-Man)이라는 게임의 EEG DB에 적용할 수 있다. 예를 들어, 일반 조건에서 사용자가 버튼을 누르는 대로 동작될 수 있고, 주의 조건에서 15% 정도의 확률로 버튼 입력을 무시하여 동작될 수 있다.
도 16b는 일 실시예에 따른 범용 인지 상태 디코더의 성능 평가를 나타내는 도면이다.
도 16b를 참조하면, 팩맨(Pac-Man) 게임 플레이 중 뇌파를 측정한 것으로, 두 종류의 인지 상태를 구분하기 위해서 일 실시예에 따른 하이브리드 모델인 범용 인지 상태 디코더(1620)와 별개로 인지 상태를 디코딩하는 개별 인지 상태 디코더(1610)를 비교한 결과, 범용 인지 상태 디코더(1620)가 훨씬 좋은 성능을 보이는 것을 확인할 수 있다.
실시예들에 따르면 사용에 피로감이 없는 수동적 신호를 타겟으로 하여, 뇌의 고등 기능인 인지 상태를 직접적으로 읽어 냄으로써 복잡한 인간 행동 양식을 예측 가능하게 하며, 뇌의 인지 기능 특성상 다양한 종류가 서로 불가분의 관계에 있어 범용에 특화되어 있다.
실시예들은 인간-로봇/컴퓨터 상호작용 분야에 적용될 수 있다. 보다 구체적으로, 인간의 모든 행동은 고차원적인 인지 기능에 근거하여 일어나므로, 인간의 행동을 예측하여 활용할 가치가 있는 모든 분야에서 응용될 수 있다. 대표적인 예로, 감정 컴퓨팅(affective computing) 분야에서는 인간의 인지 상태의 종류 중 하나인 감정을 읽어 내어 상황에 맞게 인간의 행동을 보조할 수 있다. 실시예들은 단순히 감정을 읽어내는 것을 넘어서 컴퓨터가 인식할 수 있는 감정과 맥락적으로 유사한 다른 인지 상태 (예컨대, 각성과 비각성)의 예측을 통해서 인간 행동의 보조에 있어서 효율적으로 대응하는 시스템을 구축하여 인간이 훌륭한 성과를 거둘 수 있도록 보조할 수 있다.
또한, IoT(Internet-of-things) 분야에서는 다양한 기기를 컨트롤 해야 하므로 각 기기의 컨트롤에 활용되는 인지 기능이 다양할 수 있다. 이 때, 실시예들의 범용성은 각 기기를 제어함에 있어서 요구되는 인지 상태의 종류 차이에 관계없이 인간을 보조할 수 있을 뿐만 아니라, 이미 구축된 IoT 생태계에 새로운 기기가 포함이 되었을 때도 다른 인지 상태 디코더로 부터 쉽게 번역될 수 있기 때문에 유용하다.
또한, 핵심 고위 인지 상태는 인간의 작업 수행 지능과도 직결되므로, 실시예들에 따른 디코딩 기술을 통해 복잡한 의사결정이 중요한 판사, 의사, 금융 전문가, 군사 작전 지휘관 등에 대한 작업 수행능력 프로파일링이 가능하다. 또한 스마트 교육을 위한 맞춤형 시스템을 위한 사전 프로파일링이 가능하다. 더 나아가 작업 수행 능력 모니터링을 통한 작업 수행 능력 향상도 가능하다.
인간의 인지 상태와 그에 기반한 행동 패턴의 추론은 IoT 분야를 포함하여, 인공지능 비서와 같은 인간 보조 시스템 전반에 추가 기능으로 활용될 수 있다. 현재 개발되고 있는 인간 보조 인공지능들은 인간의 실제 인지적 상태 및 상황을 고려하지 않고 무감각한 응답을 하기 일쑤이며 단순히 기능을 늘리는 방식으로 개발, 발전되고 있다. 그러나 인간의 뇌파를 통해 인지 상태와 행동의 예측이라는 관점에서 접근하는 실시예들에 따른 기술은 인간 중심적인 기술의 개발을 통해 인간에게 더 친근하게, 또한 유용한 도움을 줄 수 있기에 인간을 이해하는 시스템의 개발이 가능하다.
실시예들은 뇌파 측정 장비를 개발하는 기업, 헬스케어 및 웨어러블 디바이스들을 개발하는 기업들의 핵심 응용 소프트웨어 및 기능으로 제공될 수 있다. 인공지능 비서, IoT 시스템과 직접적인 커뮤니케이션에 활용될 수 있다. 이외에 실시예들은 적절한 인지 상태의 유지가 필요한 사업장에서 인지 상태(예컨대, 각성 상태)가 중요한 직업군 (예컨대, 운전, 위험기기를 조작하는 공장 등) 사고 위험을 줄이기 위해 활용될 수 있다. 또한 실시예들은 개인화 스마트 교육을 위한 사전 프로파일링에도 활용될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 인간의 고위 수준의 핵심 인지 상태를 구분하는 뇌 신호 기반 고위 수준의 인지 상태 디코더를 구성하는 단계;
    상기 고위 수준의 인지 상태 디코더의 산출 값을 다른 인지 상태 디코더에 입력 값으로 산입하여 범용 인지 상태 디코더를 구성하는 단계; 및
    상기 범용 인지 상태 디코더를 통해 인간의 복잡 행동을 예측하는 단계
    를 포함하는, 복잡 행동 예측 방법.
  2. 제1항에 있어서,
    상기 고위 수준의 인지 상태 디코더를 구성하기 이전에, 작업에 비의존적인 핵심 인지 상태의 추출을 위한 마르코프 의사결정 작업을 설계하는 단계
    를 더 포함하는, 복잡 행동 예측 방법.
  3. 제1항에 있어서,
    상기 인간의 고위 수준의 핵심 인지 상태를 구분하는 뇌 신호 기반 고위 수준의 인지 상태 디코더를 구성하는 단계는,
    작업에 비의존적인 핵심 인지 상태인 목표 지향성(goal-directed) 인지 상태 및 습관성(habitual) 인지 상태를 통해 상기 고위 수준의 인지 상태 디코더를 학습시키는 것
    을 특징으로 하는, 복잡 행동 예측 방법.
  4. 제1항에 있어서,
    상기 인간의 고위 수준의 핵심 인지 상태를 구분하는 뇌 신호 기반 고위 수준의 인지 상태 디코더를 구성하는 단계는,
    상기 고위 수준의 인지 상태 디코더를 이용하여 인간 행동을 의사결정 신경과학 연구로부터 도출되는 계산 모델(computational model)을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 핵심 인지 상태를 추정하는 단계
    를 포함하는, 복잡 행동 예측 방법.
  5. 제1항에 있어서,
    상기 인간의 고위 수준의 핵심 인지 상태를 구분하는 뇌 신호 기반 고위 수준의 인지 상태 디코더를 구성하는 단계는,
    상기 고위 수준의 인지 상태 디코더를 이용하여 행동에 대한 의사결정에 내재된 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 핵심 인지 상태를 추정하는 단계
    를 포함하는, 복잡 행동 예측 방법.
  6. 제5항에 있어서,
    상기 행동에 대한 의사결정에 내재된 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 핵심 인지 상태를 추정하는 단계는,
    합성곱 신경망(Convolution Neural Network, CNN)을 이용하여 각　의사결정 전략을 분류함에 따라 의사결정에 대한 인지 상태를 추정하는 것
    을 특징으로 하는, 복잡 행동 예측 방법.
  7. 제5항에 있어서,
    상기 행동에 대한 의사결정에 내재된 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 핵심 인지 상태를 추정하는 단계는,
    클래스 활성맵(Class Activation Map, CAM)으로 각　의사결정 전략과 연관되어 있는 뇌 신호의 특징을 시각화 하여, 의사결정에 대한 인지 상태를 추정하는 것
    을 특징으로 하는, 복잡 행동 예측 방법.
  8. 제1항에 있어서,
    상기 고위 수준의 인지 상태 디코더의 산출 값을 다른 인지 상태 디코더에 입력 값으로 산입하여 범용 인지 상태 디코더를 구성하는 단계는,
    상기 고위 수준의 인지 상태 디코더의 산출 값을 복수개의 다른 인지 상태 디코더에 입력 값으로 산입하여 범용 인지 상태 디코더를 구성하는 것
    을 특징으로 하는, 복잡 행동 예측 방법.
  9. 제1항에 있어서,
    상기 고위 수준의 인지 상태 디코더 및 상기 범용 인지 상태 디코더는,
    합성곱 신경망(Convolution Neural Network, CNN) 기반 디코더인 것
    을 특징으로 하는, 복잡 행동 예측 방법.
  10. 제1항에 있어서,
    상기 범용 인지 상태 디코더를 통해 인간의 복잡 행동을 예측하는 단계는,
    상기 범용 인지 상태 디코더를 이용하여 강화학습 전략에 따른 복잡 행동을 예측하고, 컴퓨터가 인식할 수 있는 각성 및 비각성에 따른 행동을 추론하는 것
    을 특징으로 하는, 복잡 행동 예측 방법.
  11. 인간의 고위 수준의 핵심 인지 상태를 구분하는 뇌 신호 기반 고위 수준의 인지 상태 디코더; 및
    상기 고위 수준의 인지 상태 디코더의 산출 값을 다른 인지 상태 디코더에 입력 값으로 산입하여 인간의 복잡 행동을 예측하는 범용 인지 상태 디코더
    를 포함하는, 복잡 행동 예측 장치.
  12. 제11항에 있어서,
    작업에 비의존적인 핵심 인지 상태의 추출을 위한 마르코프 의사결정 작업을 설계하는 마르코프 의사결정 작업부
    를 더 포함하는, 복잡 행동 예측 장치.
  13. 제11항에 있어서,
    상기 고위 수준의 인지 상태 디코더는,
    작업에 비의존적인 핵심 인지 상태인 목표 지향성(goal-directed) 인지 상태 및 습관성(habitual) 인지 상태를 통해 상기 고위 수준의 인지 상태 디코더를 학습시키는 것
    을 특징으로 하는, 복잡 행동 예측 장치.
  14. 제11항에 있어서,
    상기 고위 수준의 인지 상태 디코더는,
    상기 고위 수준의 인지 상태 디코더를 이용하여 인간 행동을 의사결정 신경과학 연구로부터 도출되는 계산 모델(computational model)을 이용하여 행동에 대한 의사결정에 내재된 행동전략에 대한 핵심 인지 상태를 추정하는 행동전략 예측부
    를 포함하는, 복잡 행동 예측 장치.
  15. 제11항에 있어서,
    상기 고위 수준의 인지 상태 디코더는,
    상기 고위 수준의 인지 상태 디코더를 이용하여 행동에 대한 의사결정에 내재된 행동전략을 뇌 신호의 특징과 결합하여 의사결정에 대한 핵심 인지 상태를 추정하는 의사결정 예측부
    를 포함하는, 복잡 행동 예측 장치.
  16. 제15항에 있어서,
    상기 의사결정 예측부는,
    합성곱 신경망(Convolution Neural Network, CNN)을 이용하여 각　의사결정 전략을 분류함에 따라 의사결정에 대한 인지 상태를 추정하는 것
    을 특징으로 하는, 복잡 행동 예측 장치.
  17. 제15항에 있어서,
    상기 의사결정 예측부는,
    클래스 활성맵(Class Activation Map, CAM)으로 각　의사결정 전략과 연관되어 있는 뇌 신호의 특징을 시각화 하여, 의사결정에 대한 인지 상태를 추정하는 것
    을 특징으로 하는, 복잡 행동 예측 장치.
  18. 제11항에 있어서,
    상기 범용 인지 상태 디코더는,
    상기 고위 수준의 인지 상태 디코더의 산출 값을 복수개의 다른 인지 상태 디코더에 입력 값으로 산입하여 구성되는 것
    을 특징으로 하는, 복잡 행동 예측 장치.
  19. 제1항에 있어서,
    상기 고위 수준의 인지 상태 디코더 및 상기 범용 인지 상태 디코더는,
    합성곱 신경망(Convolution Neural Network, CNN) 기반 디코더인 것
    을 특징으로 하는, 복잡 행동 예측 장치.
  20. 제11항에 있어서,
    상기 범용 인지 상태 디코더는,
    강화학습 전략에 따른 복잡 행동을 예측하고, 컴퓨터가 인식할 수 있는 각성 및 비각성에 따른 행동을 추론하는 것
    을 특징으로 하는, 복잡 행동 예측 장치.
KR1020200005994A 2020-01-16 2020-01-16 뇌 신호 기반 범용 인지 상태 디코더 및 그에 기반한 초고성능 복잡 행동 예측 방법 및 장치 KR102305124B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200005994A KR102305124B1 (ko) 2020-01-16 2020-01-16 뇌 신호 기반 범용 인지 상태 디코더 및 그에 기반한 초고성능 복잡 행동 예측 방법 및 장치
US16/950,095 US20210219858A1 (en) 2020-01-16 2020-11-17 Universal cognitive state decoder based on brain signal and method and apparatus for predicting ultra-high performance complex behavior using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200005994A KR102305124B1 (ko) 2020-01-16 2020-01-16 뇌 신호 기반 범용 인지 상태 디코더 및 그에 기반한 초고성능 복잡 행동 예측 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210092507A true KR20210092507A (ko) 2021-07-26
KR102305124B1 KR102305124B1 (ko) 2021-09-27

Family

ID=76857762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200005994A KR102305124B1 (ko) 2020-01-16 2020-01-16 뇌 신호 기반 범용 인지 상태 디코더 및 그에 기반한 초고성능 복잡 행동 예측 방법 및 장치

Country Status (2)

Country Link
US (1) US20210219858A1 (ko)
KR (1) KR102305124B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230127031A1 (en) * 2021-10-21 2023-04-27 Battelle Memorial Institute Robust framework for intelligent neural interface systems
CN117243569B (zh) * 2023-10-12 2024-05-07 国家康复辅具研究中心 一种基于多源信息融合的认知功能评估方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101285821B1 (ko) 2012-01-17 2013-07-12 상명대학교 천안산학협력단 인지 피로 측정 방법 및 이를 적용하는 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014102722A1 (en) * 2012-12-26 2014-07-03 Sia Technology Ltd. Device, system, and method of controlling electronic devices via thought

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101285821B1 (ko) 2012-01-17 2013-07-12 상명대학교 천안산학협력단 인지 피로 측정 방법 및 이를 적용하는 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Kim D, Lee S W, Model-based BCI: A novel brain-computer interface framework. IEEE International Conference on Systems, Man, and Cybernetics. pp.480~484, (2018) 1부.* *
Pereira F etc., Toward a universal decoder of linguistic meaning from brain activation. Nature Communications. Vol.9, No.963, pp.1~13, (2018) 1부.* *

Also Published As

Publication number Publication date
US20210219858A1 (en) 2021-07-22
KR102305124B1 (ko) 2021-09-27

Similar Documents

Publication Publication Date Title
KR102130211B1 (ko) 인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 bci 시스템 및 그 방법
Saeed et al. Federated self-supervised learning of multisensor representations for embedded intelligence
Botvinick et al. Deep reinforcement learning and its neuroscientific implications
Friston What is optimal about motor control?
KR102305124B1 (ko) 뇌 신호 기반 범용 인지 상태 디코더 및 그에 기반한 초고성능 복잡 행동 예측 방법 및 장치
Rubio et al. ANFIS system for classification of brain signals
Liu et al. Multimodal data-driven robot control for human–robot collaborative assembly
Li et al. Brain-based computer interfaces in virtual reality
KR20200017595A (ko) 뇌 기반 인공지능 기술을 이용한 행동 및 신경 수준에서의 인간의 학습/추론 과정 비침습적 제어 방법 및 시스템
Li et al. Continual driver behaviour learning for connected vehicles and intelligent transportation systems: Framework, survey and challenges
Helaly et al. Deep convolution neural network implementation for emotion recognition system
Li et al. Multi-Agent Dynamic Relational Reasoning for Social Robot Navigation
Kumar et al. A CNN based graphical user interface controlled by imagined movements
Berrueta et al. Dynamical system segmentation for information measures in motion
Lutes et al. Convolutional spiking neural networks for intent detection based on anticipatory brain potentials using electroencephalogram
Bordel et al. A two-phase algorithm for recognizing human activities in the context of Industry 4.0 and human-driven processes
CN116956108A (zh) 脑电信号的处理方法、装置、计算机可读介质及电子设备
KR20200037492A (ko) 생성모델을 이용한 실험 최적화 및 실험 가설 생성 시스템 및 방법
Lughofer Human-inspired evolving machines—the next generation of evolving intelligent systems
Tanev et al. Evolution, generality and robustness of emerged surrounding behavior in continuous predators-prey pursuit problem
Albuquerque et al. Adaptive fuzzy learning vector quantization (AFLVQ) for time series classification
Cox et al. Experimental Design of Artificial Neural-Network Solutions for Traffic Sign Recognition
KR20220043509A (ko) 일반화 가능한 인간 모사형 강화학습 알고리즘 설계를 위한 정책 신뢰도, 정보처리 효율 및 일반화 능력의 정량화 방법 및 장치
de Sa An interactive control strategy is more robust to non-optimal classification boundaries
Manolova et al. Challenges in the design of smart vehicular cyber physical systems with human in the loop

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant