KR20180113451A - 전전두엽 기반 인지적 뇌-기계 인터페이스 장치 및 방법 - Google Patents

전전두엽 기반 인지적 뇌-기계 인터페이스 장치 및 방법 Download PDF

Info

Publication number
KR20180113451A
KR20180113451A KR1020180032121A KR20180032121A KR20180113451A KR 20180113451 A KR20180113451 A KR 20180113451A KR 1020180032121 A KR1020180032121 A KR 1020180032121A KR 20180032121 A KR20180032121 A KR 20180032121A KR 20180113451 A KR20180113451 A KR 20180113451A
Authority
KR
South Korea
Prior art keywords
brain
prefrontal
eeg
signal
measurement
Prior art date
Application number
KR1020180032121A
Other languages
English (en)
Other versions
KR102031958B1 (ko
Inventor
민병경
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to US15/946,882 priority Critical patent/US10890972B2/en
Publication of KR20180113451A publication Critical patent/KR20180113451A/ko
Application granted granted Critical
Publication of KR102031958B1 publication Critical patent/KR102031958B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/0476—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0006—ECG or EEG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

전두엽 기반 인지적 뇌-기계 인터페이스 장치 및 방법을 제공하며, 전전두엽 기반 인지적 뇌-기계 인터페이스 장치는, 측정 대상의 전전두엽의 뇌파 신호를 측정하는 뇌파 측정기, 인지적 뇌-기계 인터페이스 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 이때, 프로세서는 인지적 뇌-기계 인터페이스 프로그램의 실행에 따라, 사전에 구분된 전전두엽 상의 복수의 뇌 지역 중 뇌파 측정기를 통해 측정된 전전두엽의 뇌파 신호에 대응하는 뇌 지역을 인식하고, 인식된 뇌 지역 별 활동성 정도를 검출하고, 뇌 지역 별 활동성 정도에 기초하여 둘 이상의 뇌 지역 간 인과적 연결성을 계산하여 전전두엽 활성화 패턴을 추출하고, 사전에 측정 대상에 대한 복수의 전전두엽 활성화 패턴을 기계학습하여 생성된 분류기에 해당 전전두엽 활성화 패턴을 입력하여 기설정된 뇌-기계 인터페이스 구동 조건들 중 해당하는 구동 조건을 식별하고, 식별된 결과에 기초하여 기설정된 기계 구동 제어 신호를 생성 및 출력한다.

Description

전전두엽 기반 인지적 뇌-기계 인터페이스 장치 및 방법{PREFRONTAL BASED COGNITIVE BRAIN-MACHINE INTERFACING APPARATUS AND METHOD THEREOF}
본 발명은 뇌와 기계 간의 인터페이스(Brain-Machin Interface, BMI)를 처리하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 전전두엽의 뇌파 신호를 이용한 인지적 뇌-기계 인터페이스 장치 및 그 방법에 관한 것이다.
뇌파 신호를 이용하여 사람의 의도(intention)에 따라 기계를 제어하는 뇌-기계 인터페이스(Brain-machine interface, BMI) 또는 컴퓨터를 제어하는 뇌-컴퓨터 인터페이스(Brain-computer interface, BCI) 기술에 대한 연구가 활발히 진행되고 있다. 그 중에서도, 뇌파 신호의 인지적 속성(cognitive feature)에 따른 매개 변수들을 분석하여 뇌와 기계(또는 컴퓨터) 간 인터페이스를 처리하는 기술들이 개발되고 있다.
이와 관련하여, 대한민국 등록특허 제 10-1518575 호(발명의 명칭: BCI를 위한 사용자 의도인지 분석 방법)에는, 전처리부에서 EEG(electroencephalogram) 측정 장치로부터 측정된 사용자의 뇌파 데이터를 획득하고, 식별부에서 뇌파 데이터를 주파수 신호로 변환한 후 변환된 주파수 신호의 대역에 따라 운동 감각과 관련된 주파수 영역을 분류하고, 검출부에서 주파수 영역의 뇌파 데이터에서 사용자의 움직임 상상(motor imagery)에 따라 나타나는 특징을 분석하여 사용자의 의도인지(intention recognition)를 검출하며, 표시부에서 의도인지에 대한 검출 결과를 사용자가 확인 가능하도록 표시하는 방법이 개시되어 있다. 구체적으로, 뇌파 데이터는 128SPS(2048Hz)의 샘플링 레이트(sampling rate)를 가지는 14개 채널의 전극을 사용자에게 부착하여 측정된 뇌파 신호이고, 전극은 국제 표준법인 10-20법(ten-twenty electrode system)에 의거하여 두피의 14개 부위인 AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4에 부착되며, 운동 감각과 관련된 주파수 영역의 분류 시 DNF(digital notch filter)를 이용하여 뇌파의 뮤리듬(μ) 영역을 분류하는 것인, 사용자 의도인지 분석 방법이 개시되어 있다.
위와 같이, 기존의 BMI(또는 BCI) 기술은 후두엽이나 두정엽에서의 뇌파 신호를 이용하는 것이 대부분이었다. 그러나 후두엽 또는 두정엽의 뇌파 신호에 기초한 의도 인식 방법으로는 인간의 다양한 의도를 구분하여 표현하기 어려우며, 이에 따라 사용할 수 있는 BMI 구동 신호의 종류가 제한적인 한계가 있다. 즉, 후두엽 또는 두정엽의 뇌파 신호를 이용한 의도 인식 방법으로는 사용자의 생각의 내용과 BMI 구동의 내용을 일치시킬 수 없다.
인간의 고차원적인 인지 기능은 뇌의 전두엽(frontal area)(더 구체적으로는 전전두엽(prefrontal area))에서 일어나고 있다. 따라서, 해당 뇌 지역의 뇌파 신호를 BMI(또는 BCI) 신호로 사용하면, 사용자의 고차원적인 의도를 인식 및 구분할 수 있어 좀 더 다양한(multi-class) 신호를 BMI 구동 신호로서 사용할 수 있다. 더욱이, 전두엽은 인간의 의사 결정을 담당하는 영역이어서, 사용자의 생각의 내용이 그대로 전두엽의 뇌파 신호로 잡히면, BMI 구동의 내용과 일치시킬 수 있다. 따라서, 이와 같은 전두엽의 뇌파 신호에 기반하여 고차원적인 의도 인식이 가능한 BMI 기술이 필요한 실정이다.
한편, 뇌파는 인간의 뇌 활동 상태를 보여주는 중요한 생체 신호로서, 뇌파는 수행 중인 인지 기능의 종류에 따라 그 진동이 빠르거나 느려진다. 그러나 만일 뇌의 기능이 비정상적일 경우(예: 주의력결핍증(attention deficit disorder, ADD) 환자 또는 지능이 낮은 경우)는 뇌파가 정상인에 비해 느리다. 또한, 질병에 따라 다양한 특성의 비정상적인 뇌파가 나타날 수 있다. 예를 들면, 간질은 3Hz 뇌파가 강하게 나타나고, 자폐, 정신지체, 주의력 결핍 및 과잉행동장애(attention deficit/hyperactivity disorder, ADHD), 주의력 결핍증(ADD) 또는 치매 등은 모두 세타파가 아주 강해진다. 또한, 우울증은 우뇌가 좌뇌보다 뇌파의 진동이 더 빨라진다.
이러한 비정상적인 뇌의 리듬을 조절해 정상적인 리듬으로 바꿀 수 있도록 제어하는 기술로서 바이오피드백(biofeedback) 기술이 개발되고 있다. 특히 뇌파를 통제하는 바이오피드백 기술을 신경이란 의미의 접두사 뉴로(neuro-)와 결합해 뉴로피드백(neurofeedback)이라 한다. 이러한 뉴로피드백 재활(neurofeedback rehabilitation)에 적용할 수 있는 BMI(또는 BCI) 기술에 대한 필요성이 매우 커지고 있다. 따라서, 고차원적인 의도 인식이 가능한 BMI 기술에서 더 나아가 뉴로피드백 재활에 적용할 수 있는 BMI 기술의 개발이 필요하다.
본 발명의 일 실시예는 전두엽의 뇌파 신호를 이용하여 인지적 뇌-기계 인터페이싱을 처리하는 전전두엽 기반 인지적 뇌-기계 인터페이스 장치 및 그 방법을 제공하고자 한다.
또한, 본 발명의 일 실시예는 전두엽 뇌파 신호를 이용하여 인지적 뇌-기계 인터페이싱을 처리하는 과정을 뉴로피드백 재활에 적용할 수 있는 뇌-기계 인터페이스 장치 및 그 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기와 같은 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 장치는, 측정 대상의 전전두엽의 뇌파 신호를 측정하는 뇌파 측정기; 인지적 뇌-기계 인터페이스 프로그램이 저장된 메모리; 및 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 인지적 뇌-기계 인터페이스 프로그램의 실행에 따라, 사전에 구분된 전전두엽 상의 복수의 뇌 지역 중 상기 뇌파 측정기를 통해 측정된 전전두엽의 뇌파 신호에 대응하는 뇌 지역을 인식하고, 상기 검출된 뇌 지역 별 활동성 정도를 검출하고, 상기 뇌 지역 별 활동성 정도에 기초하여 둘 이상의 뇌 지역 간 인과적 연결성을 계산하여 전전두엽 활성화 패턴을 추출하고, 사전에 상기 측정 대상에 대한 복수의 전전두엽 활성화 패턴을 기계학습하여 생성된 분류기에 상기 추출된 전전두엽 활성화 패턴을 입력하여 기설정된 뇌-기계 인터페이스 구동 조건들 중 해당하는 구동 조건을 식별하고, 상기 식별된 결과에 기초하여 기설정된 기계 구동 제어 신호를 생성 및 출력한다. 이때, 상기 분류기는, 상기 측정 대상의 전전두엽의 뇌파 신호에 기초하여 복수의 의도의 내용 별로 각각 라벨링된 전전두엽 활성화 패턴을 기계학습하여 생성된 것이다.
또한, 본 발명의 다른 측면에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 방법은, 뇌파 측정기로부터 측정 대상의 전전두엽의 뇌파 신호를 수신하는 단계; 사전에 구분된 전전두엽 상의 복수의 뇌 지역 중 상기 뇌파 측정기를 통해 측정된 전전두엽의 뇌파 신호에 대응하는 뇌 지역을 인식하는 단계; 인식된 뇌 지역 별 활동성 정도를 검출하고, 상기 뇌 지역 별 활동성 정도에 기초하여 둘 이상의 뇌 지역 간 인과적 연결성을 계산하여 전전두엽 활성화 패턴을 추출하는 단계; 사전에 상기 측정 대상에 대한 복수의 전전두엽 활성화 패턴을 기계학습하여 생성된 분류기에 상기 추출된 전전두엽 활성화 패턴을 입력하여 기설정된 뇌-기계 인터페이스 구동 조건들 중 해당하는 구동 조건을 식별하는 단계; 및 상기 식별된 결과에 기초하여 기설정된 기계 구동 제어 신호를 생성 및 출력하는 단계를 포함한다. 이때, 상기 분류기는 상기 측정 대상의 전전두엽의 뇌파 신호에 기초하여 복수의 의도의 내용 별로 각각 라벨링된 전전두엽 활성화 패턴을 기계학습하여 생성된 것이다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 전두엽의 뇌파 신호에 기반하여 뇌-기계 인터페이싱의 구동 신호를 획득함으로써, 사용자의 고차원적인 의도를 인식할 수 있다. 이에 따라, 사용자의 의도에 대응하는 다양한 신호를 구분할 수 있다.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자가 의도한 바를 직접 상상한 경우에 대응하는 뇌파 신호를 전전두엽 지역에서 직접 추출하여 뇌-기계 인터페이싱의 구동 신호로서 사용할 수 있어, 사용자의 생각의 내용과 BMI 구동의 내용을 일치시킬 수 있다.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 전전두엽 기반 뇌-기계 인터페이싱의 결과를 사용자에게 실시간으로 피드백하여 사용자가 임의의 목적을 달성하기 위한 의도를 직접적으로 연상하는 과정을 반복적 또는 지속적으로 수행하도록 함으로써, 전두엽의 기능 증진 및 뉴로피드백을 활용한 재활에 사용될 수 있다.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 머리카락 등에 의한 뇌파 신호 측정의 방해 요소가 상대적으로 적은 전두엽 지역에서의 신호를 사용함으로써, 뇌파 신호에 대한 획득 효율 및 정확성이 높아지며 비침습적 BMI 방식의 진보적 성능 개선에 기여할 수 있으며, 침습적인 BMI에서도 적용이 가능하다.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 3D 스캐너를 통한 뇌파 측정 위치 확인을 수행함으로써, 반복 측정에 의해 발생될 수 있는 전전두엽 신호가 검출될 각 해부학적 근원 위치별 오차를 최소화하여, 뇌파 신호의 속성 추출 및 분류의 신뢰도 및 정확도을 높일 수 있다.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 뇌파 신호 처리 및 제어를 수행하는 신호 처리단과 뇌파측정기가 일체형으로 구현 가능하며, 뇌-기계 인터페이스 장치가 외부 장치와 무선 통신을 수행함으로써, 휴대용 EEG 기반 BMI 기기로서 사용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이싱의 전반적인 개념을 설명하기 위한 예시도다.
도 3은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이싱 방식의 기존의 방식 간의 차이를 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이싱 과정을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 뇌파 신호를 획득하는 뇌 지역을 설명하기 위한 브로드만 영역의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 장치의 전극 부착 위치 확인 기능을 설명하기 위한 구성도이다.
도 7은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)' 또는 ‘모듈’이란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.
도 1은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 장치의 구성도이다.
전전두엽 기반 인지적 뇌-기계 인터페이스 장치(이하, 설명의 편의상 '뇌-기계 인터페이스 장치'라고 약칭함)(100)는 뇌파 측정기(110), 메모리(120), 프로세서(130) 및 통신모듈(140)을 포함한다.
부가적으로, 도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치(100)는 3D 스캐너(150)를 더 포함할 수 있다. 이때, 뇌-기계 인터페이스 장치(100)의 프로세서(130)는 통신모듈(140)을 통해 3D 스캐너(150)와 유선 또는 무선 통신하여 데이터를 송수신할 수 있다.
이와 같은 뇌-기계 인터페이스 장치(100)의 각 구성에 대해 설명하기에 앞서, 도 2 및 도 3을 참조하여 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치(100)를 통해 처리되는 전전두엽 기반 인지적 뇌-기계 인터페이싱 과정에 대해서 간략하게 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이싱의 전반적인 개념을 설명하기 위한 예시도다. 그리고 도 3은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이싱 방식과 기존의 인지적 뇌-기계 인터페이싱 방식 간의 차이를 설명하기 위한 예시도이다.
도 2를 참조하면, 뇌-기계 인터페이스 장치(100)는, 의사 결정, 계획, 진행 중인 동작의 평가, 오류 모니터링, 의도적 판단 등을 반영하는 전두엽(특히, 전두엽 영역)(P10)의 뇌파 신호(electroencephalogram, EEG)를 추출하는 'EEG 획득(EEG acquisition)' 처리를 수행한다. 이처럼, 획득된 전전두엽 EEG에 기초하여 BMI를 구동하게 되면, 측정 대상(subject)의 생각과 BMI 구동을 통한 외부 장치의 동작이 직접적으로 일치하는 '외부 장치 제어(external-device control)' 처리를 수행할 수 있다. 이때, 뇌-기계 인터페이스 장치(100)는 획득한 전전두엽 EEG에 기초하여 '특성 추출 및 분류(feature extraction and classification)' 처리를 수행하고, 그 처리 결과에 기초하여 외부 장치 제어를 수행한다. 이를 통해, 외부 장치에서 구동된 결과는 측정 대상에게 실시간 피드백(real-time feedback)됨으로써, 측정 대상이 자신이 연상한 의도와 직접 대응하는 외부 장치의 구동 상태를 확인할 수 있다.
이러한 BMI 구동 패러다임은 “목적 지향적 BMI (goal-oriented BMI)” 기술로서, 사용자의 고차원적인 의도를 직접 반영하는 뇌파 신호를 BMI 구동 신호로 사용한다. 전전두엽의 뇌파 신호(brainwave signal)는 시각, 청각, 촉각 등의 말초 감각의 종류(modality)로부터 자유로운(modality-independent) 신호로서 측정 대상의 고차원적인 인지적 의도(higher-order cognitive intention)만을 담고 있다. 따라서, 전전두엽의 EEG를 이용한 BMI 구동 방식에서는, 특정 제어를 위해 측정 대상이 수행해야 하는 BMI 과제(즉, 기설정된 기기 구동 방향과 무관한 행위 또는 상상)의 종류에 영향을 적게 받는다.
도 3을 참조하면, EEG에 기반하여 창문을 좌측으로 여는 BMI 구동을 수행하는 것을 예로서 나타냈다.
도 3의 (A)에 도시된 예는 기존의 인지적 BMI 기술을 사용한 경우로서, 창문을 여는 행위와 전혀 무관한 손의 움직임을 상상하는 등의 간접적 사고에 대응하는 EEG를 BMI 구동에 사용한다. 예를 들어, 기존의 운동 심상(motor-imagery) 기반의 BMI 기술에서는 BMI 구동 신호로서 뇌운동관련전위(Movement-Related Cortical Potential)를 사용하였다.
반면, 도 3의 (B)에 도시된 예는 본 발명의 일 실시예에 따른 전전두엽 기반의 인지적 BMI 기술을 사용한 경우로서, 전전두엽의 EEG를 BMI 구동에 사용한다. 즉, 사용자가 창문을 좌측으로 여는 동작 자체를 직접적으로 상상할 때 발생되는 전전두엽의 뇌파 신호(brainwave signal)에 기반하여 직관적인 BMI 구동이 가능하다.
더 나아가, 전전두엽에 손상을 입은 환자에 대해 해당 뇌 영역 재활에 적용하거나 또는 정상인의 해당 영역 기능 증진시키기 위해, 전전두엽 기반의 인지적 BMI를 실시간 뉴로피드백에 적용할 수 있다. 예를 들어, 사용자가 제어하고자 하는 외부 장치의 동작들에 대한 상상을 반복하도록 하고, 해당 상상의 내용과 직접적으로 대응하는 내용의 동작을 외부 장치가 실행하도록 제어함으로써, 강박증 또는 ADHD 등에서 재활의 효과를 얻을 수 있다. 즉, 기능적으로 혹은 신경학적으로 손상된 전두엽 지역의 뇌신경 활동성(neural activity)을 뉴로피드백을 통해서 지속적으로 증진시킴으로써, 해당 뇌 지역의 뇌신경 가소성(neural plasticity)의 변화에 의한 신경학적 재활 및 기능적 재활을 유도할 수 있다. 또한, 기존의 BMI기술에서 주로 뇌파(brainwave)를 획득하는 영역인 후두엽 또는 두정엽에 손상을 입은 환자일지라도, 정상적인 전전두엽에서 발생된 뇌파(brainwave)를 사용하여 BMI를 구동할 수 있는 장점도 있다.
다시 도 1로 돌아가서, 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치(100)의 구성 및 동작에 대해서 상세히 설명하도록 한다.
뇌파 측정기(110)는 측정 대상의 EEG를 측정한다. 이때, 뇌파 측정기(110)는 측정 대상의 전두엽(특히, 전전두엽)의 EEG에 비중을 두어 측정한다.
뇌파 측정기(110)는 접촉식 또는 비접촉식으로 EEG를 측정할 수 있으며, 그 측정 방식의 종류는 한정되지 않는다. 또한 뇌파 측정기(110)는 뇌파 측정 수단(즉, 뇌파 센싱용 전극 등)을 포함하는 뇌파 측정 장비 그 자체이거나 또는 뇌파 측정 장비와 연결되어 그 동작을 제어함으로써 측정된 뇌파 신호를 획득할 수도 있다.
참고로, 아래의 도 6에 도시된 바와 같이, 뇌-기계 인터페이스 장치(100)의 적어도 일 구성(100-1)은 뇌파 측정 장비(도 6에서는 뇌파 측정기(110) 자체인 것을 나타냄)와 일체형으로 구현될 수 있다. 예를 들어, 뇌파 측정 장비(110)는 기설정된 복수의 위치에 뇌파 측정 수단(즉, 전극(111) 등)이 장착된 헤드셋 형태로 구현될 수 있다.
뇌파 측정기(110)는 기설정된 전두엽 상의 복수의 뇌 지역에서의 뇌파 크기를 연속하여 측정할 수 있다. 이때, 뇌파 측정기(110)의 뇌파 측정 수단은 기설정된 복수의 뇌 지역에 각각 대응하는 위치에서 작용할 수 있다.
메모리(120)에는 뇌파 측정기(110)를 통해 측정된 전전두엽 EEG에 기초하여 측정 대상의 직접적 의도에 따른 뇌-기계 인터페이스 구동 신호를 생성하는 인지적 뇌-기계 인터페이스 프로그램이 저장되어 있다. 이러한 인지적 뇌-기계 인터페이스 프로그램에 의한 처리들에 대해서는 아래 프로세서(130)에 대한 설명에서 상세히 다루도록 한다.
메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행하여 그에 따른 처리들을 수행한다.
이하, 도 4 및 도 5를 참조하여, 인지적 뇌-기계 인터페이스 프로그램의 실행에 따른 프로세서(130)의 처리에 대해서 상세히 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이싱 과정을 설명하기 위한 예시도이다. 그리고 도 5는 본 발명의 일 실시예에 따른 뇌파 신호를 획득하는 전전두엽 지역을 설명하기 위한 브로드만 영역의 예시도이다.
본 발명의 일 실시예에서는 뇌-기계 인터페이스 장치(100)가 측정 대상의 두피 상에 부착된 다수의 전극(이하, '센서 전극'이라고 지칭함)들을 통해 EEG를 측정하는 것을 설명하도록 한다. 도 4에 도시한 바와 같이, 기설정된 뇌 영역들에 대응하는 복수의 위치에 전극이 배치된 헤드셋(즉, 뇌파 측정기(110))을 측정 대상이 착용할 수 있다.
전전두엽 기반의 BMI를 처리하기 위해서는, 전전두엽의 뇌파 신호(brainwave)를 정확하게 해당 해부학적 위치에서 추출하여 구분하는 것이 중요하다. 예를 들어, 전전두엽 영역 중에서도, 배외측 전전두피질(dorsolateral PFC) 지역(예를 들어, 브로드만 영역(Brodmann area, BA)의 9와 46 등)은 비감정적이거나 동적인 정보 처리의 최종 분석을 담당하고, 복내측 전전두피질(ventromedial PFC) 지역(예를 들어, 브로드만 영역의 10, 11, 12, 13, 14, 25, 32 등)은 감정적이거나 정적인 정보 처리의 최종 분석을 담당한다. 이를 기반으로, 뇌-기계 인터페이스 장치(100)는 전전두엽의 서로 다른 지역별 활동성(activity)을 구분하여 BMI 구동에 사용한다.
이때, 프로세서(130)는 두피 레벨(scalp-level)에서 측정된 EEG를 분석하여 해부학적으로 뇌파(brainwave)의 발생 위치를 정확히 추적하고, 추적된 소스 레벨(source-level)의 해부학적 해당 뇌 지역의 활동성을 BMI 특성(feature)으로서 사용한다.
뇌의 다양한 피질 영역(cortical region)의 활동성은 두피 영역에서의 전자기적인 활동성을 유발하며, 이에 따라 각각의 두피 영역의 활동성은 여러 근원 지역의 구성 및 조합으로 인해 생성되는 것으로 유추된다. 일반적으로, 뇌 속의 근원에서 발생된 뇌파 신호(brainwave signal)에 의한 결과로서 두피에서 EEG가 측정되는 위치는 한정되나, 반면에 두피에서 측정된 EEG를 기반으로 뇌파(brainwave)의 근원을 역 계산하는 것은 무한한 해(infinite solution)가 존재하는 "역 문제(inverse problem)"이다. 이러한 역 문제를 해결하기 위하여, 프로세서(130)는 뇌파(brainwave)의 근원으로부터 두피 상의 센서 전극으로의 최적화된 포워드 모형(forwarding model)을 모델링하고, 이를 기반으로 다시 수학적으로 백워드(backward) 계산을 진행하여, BMI 특성 분석에 필요한 근원에서의 뇌파 신호(brainwave signal)를 구한다. 프로세서(130)는 최적화된 포워드 모형을 통해 전전두엽의 신호를 공간 정밀도가 높게, 해당 해부학적 지역별로 신호 구분을 가장 잘 할 수 있는 형태의 모델링을 수행한다.
프로세서(130)는 뇌파 측정기(110)로부터 측정 대상의 전전두엽 영역의 두피 상에서 측정된 EEG(이하, '센서 레벨(sensor-level) 신호'라고 지칭함)를 수신한 후, 센서 레벨 신호에 대해 근원 분석(source-localization)을 처리하여 피질 레벨(cortical level)(즉, 소스 레벨(source-level))의 전전두엽 피질(prefrontal cortex, PFC) 신호로 변환한다.
프로세서(130)는 뇌파 신호(brainwave signal)의 근원 부위를 파악하기 위해, 역-프로그램(inverse program)을 사용하여 두피 영역에서의 EEG(즉, 센서 레벨 신호)에 대응하는 근원 부위의 PFC 신호(즉, 소스 레벨 신호)를 계산할 수 있다. 역-프로그램은 뇌의 활동성 정도를 피질 수준에서 검출할 수 있는 기법으로서, 예를 들어 쌍극 모형(dipolar model) 및 분포된 근원 모형(distributed source model) 등이 사용될 수 있다.
구체적으로, 프로세서(130)는 복수의 전전두엽 지역 별로 측정된 센서 레벨 신호에 기초하여 근원 국소화(source localization) 분석을 수행한다. 이때, 국소화 분석 기법으로서 '분포된 근원 모형'인 저해상 전자기 단층촬영(Low resolution electromagnetic tomography, LORETA) 기법 및 피질 전류 밀도 소스 모델 (cortical current density source model) 등을 사용할 수 있다. 그리고 프로세서(130)는 EEG 근원 국소화 분석의 결과로서 근원의 활동성(source activity) 정도를 구한다. 즉, 측정 대상의 두피 수준에서 측정된 EEG에 대응된 활성화된 뇌 근원 부위 및 각 부위의 활동성 정도를 계산한다.
프로세서(130)는 측정 대상의 두피에서 측정된 EEG를 실시간으로 소스 레벨인 브로드만 영역의 뇌 신호로 변환할 수 있다. 예를 들어, 프로세서(130)는 좌/우반구의 전전두엽을 각각 다음의 표 1에서와 같이 다섯군데의 지역별로 구분하여 해당하는 브로드만 영역과 매칭하고, 각 지역의 활동성을 BMI 구동에 활용할 수 있다. 참고로, 브로드만 영역은 피질(cortex)을 신경 세포 유형 및 특징 별로 그룹핑한 지역으로서, 같은 브로드만 영역은 기능적으로 동일 또는 유사한 역할을 한다. 또한, 도 5에는 아래 표 1에 포함된 전전두엽 지역의 브로드만 영역 상의 위치를 표시하였다. 다만, 도 5는 뇌를 일측(좌측)에서 바라본 측면도로서, 편의를 위해 직접적 표현이 곤란한 위치(즉, 뇌의 타측 부위)의 일부 전전두엽 지역들은 생략되었다.
전전두엽 명칭 브로드만 영역 및 기능
배외측 전전두엽
(Dorsolateral PFC)		 BA 9, 46
(억제 기능, 조작 기능, 감시 기능, 지속적 주의 집중 기능 등)
복외측 전전두엽
(Ventrolateral PFC)		 BA 44, 45
(정보 인출 및 유지 기능, 행동 계획 갱신 기능 등)
복내측 전전두엽
(Ventromedial PFC)		 BA 12, 13, 14, 25, 32
(의사 결정 기능, 감정 조절 기능 등)
전방 전전두엽
(Anterior PFC)		 BA 10
(멀티 태스크 (multi-task) 기능, 의도 유지 기능 등)
안와 전두엽
(Orbitofrontal cortex)		 BA 11, 47
(평가/보상/처벌에 의한 강화 행동 기능, 감정 조절 기능 등)
그리고 프로세서(130)는 PFC 신호에 기초하여 서로 다른 전전두엽 지역의 뇌 신호 간 인과적 연결성(Granger causality)을, 측정 대상의 고차원적인 의도에 따른 뇌 신호 특성(즉, BMI 특성)으로서 추출한다.
측정 대상이 연상하는 내용에 따른 인지적 속성에 따라 측정 대상으로부터 측정된 전전두엽 뇌파에는 유의한 차이가 유발된다. 이를 통해, 측정 대상의 복수의 전전두엽 지역 중 중심적으로 활성화된 뇌 지역을 검출할 수 있다. 이때, 프로세서(130)는 인과적 연결성을 보이는 둘 이상의 뇌 지역을 선택하여 뇌 신호 특성을 추출한다. 프로세서(130)는 가장 활성화된 뇌 지역(즉, 활동성이 가장 높은 뇌 지역)부터 가장 큰 인과적 연결성을 보이는 둘 이상의 뇌 지역을 순차적으로 선택할 수 있다.
그리고 프로세서(130)는 선택된 둘 이상의 뇌 지역에 대해 시간에 따른 방향성 있는 인과 관계를 분석하며, 이를 통해 선택된 둘 이상의 뇌 지역 간 인과적 연결성을 검출한다. 이때, 프로세서(130)는 선택된 둘 이상의 전전두엽 지역 별 뇌파 신호(PFC)를 그랜저 인과관계(Granger causality) 기법을 통해 분석하여 인과적인 기능적 연결성을 검출할 수 있다.
참고로, 그랜저 인과관계 분석을 통해 어떤 두 현상 사이에 인과관계가 존재하는지 여부를 판단할 수 있다. 이에 따라, 프로세서(130)는 그랜저 인과관계 분석을 통해, 측정 대상의 활성화된 둘 이상의 전전두엽 지역 간의 방향성 있는 인과관계(즉, 인과적 연결성) 특성을 검출한다. 예를 들어, 복수의 센서 전극으로부터 획득된 EEG들에 대해 다변량 자기회귀적 모델(multivariate autoregressive model)을 사용하여, 방향성 전달 함수(directed transfer function)를 통해 인과적 연결성의 정도를 구할 수 있다.
도 4에 도시된 바와 같이, 활성화된 복수의 근원 부위, 및 활성화된 근원 부위 간 인과적 연결성은, 인과적 연결 정도가 화살표의 색상으로 표시될 수 있고 그 연결 방향은 화살표의 방향으로 표시될 수 있다. 이러한 그랜저 인과관계 기법을 사용할 경우, 전전두엽 지역 간의 "방향성 있는 연관성(즉, 인과적 연결성)"은 모자이크 모양의 매트릭스 형태로 표시될 수 있다. 도 4에 도시된 "분류" 단계에서와 같이, 모자이크 모양의 매트릭스 상에서 j로부터 i 방향으로의 인과적 연결성의 정도가 다양한 색으로 표시되어 있다. 모자이크 모양의 매트릭스에서 i 축 및 j 축의 번호는 각각의 브로드만 영역을 나타낸다.
이처럼, 측정 대상의 연상에 대응하여 활성화된 전전두엽 지역 간에 인과적 연결성 특성이 상이하게 나타나게 된다. 예를 들어, 측정 대상이 임의의 동작에 대해 연상하고 있을 경우 제 1 전전두엽 지역 및 제 2 전전두엽 지역이 가장 활성화되되, 그 활성화 순서가 임의의 방향성을 갖는 인과적 연결성 특성을 가질 수 있다. 또한, 측정 대상이 다른 동작에 대해서 연상할 경우 제 1 및 제 2 전전두엽과는 다른 전전두엽 지역이 가장 활성화되거나 또는 동일한 전전두엽 지역이 활성화되더라도 그 활성화 정도 또는 방향성이 상이할 수 있다. 이에 따라, 측정 대상이 연상하고 있는 각각의 내용 별로 상이한 인과적 연결성 특성(즉, BMI 특성)을 보인다.
이처럼, 프로세서(130)는 전전두엽 지역 간 인과적 연결성에 따른 전전두엽 활성화 패턴을 인식한다. 그리고 프로세서(130)는 인식된 전전두엽 활성화 패턴에 기초하여 기설정된 BMI 제어 동작을 식별한다.
구체적으로, 프로세서(130)는 추출된 뇌 신호 특성을 기계 학습(machine learning)을 통해 서로 다른 BMI 신호로 분류(classification)한다. 이때, 프로세서(130)는 LDA(Linear discriminant analysis), SVM(Support Vector Machine), 딥러닝(deep-learning) 등의 기계학습 방식을 사용하여 전전두엽의 뇌 신호 특성을 서로 다른 BMI 신호로 분류할 수 있다. 참고로, 프로세서(130)가 분류기로서 사용하는 기계학습 방식의 종류는 제한되지 않는다.
프로세서(130)는 일종의 분류기로서의 동작을 처리하되, 사전에 복수의 측정 대상 별로 기설정된 뇌파 발생 조건(즉, 측정 대상이 목적하는 바를 연상하는 것)에 대해 라벨링된 전전두엽 활성화 패턴을 기계학습한다. 그리고 프로세서(130)는 기계학습된 분류기를 통해 현재 측정 대상의 EEG에 따른 전전두엽 활성화 패턴을 식별하여 제어 신호를 생성한다.
즉, 프로세서(130)는 측정 대상의 EEG를 분석하여 측정 대상의 고차원적 인지적 속성에 대응하는 BMI 구동을 수행하기에 앞서, 복수의 측정 대상 별로 임의의 기준 목적(즉, BMI를 통해 처리하고자 하는 목적)들에 대한 전전두엽 활성화 패턴을 학습하는 초기 처리를 수행한다. 이때, 프로세서(130)는 측정 대상 별로 측정된 라벨링된 학습용 뇌파 신호(labeled training EEG)로부터 추출된 특성을 기계학습하여 분류기의 표준값을 세팅하는 칼리브레이션(calibration)을 처리할 수 있다. 또한, 분류기를 통해 식별되는 전전두엽 활성화 패턴은 각각 복수의 외부 장치에 대한 동작을 제어하는 제어 신호와 매칭될 수 있다.
이를 통해, 측정 대상이 연상한 내용에 대응하는 고차원적인 뇌 신호 특성을 구별하고, 구별된 뇌 신호 특성에 매칭된 제어 신호를 BMI 구동 신호(예를 들어, 기설정된 기계 구동 제어 신호)로서 사용함에 따라 BMI 구동의 정확도(performance accuracy)를 높일 수 있다.
한편, 다시 도 1로 돌아가서, 뇌-기계 인터페이스 장치(100)는 측정 대상의 두피 상에서 측정된 EEG를 대뇌 피질 레벨의 뇌파 근원 신호로 공간 정밀도가 정확하게 변환하기 위하여 3D 스캐너(150)를 사용할 수 있다. 이와 관련하여 도 6을 통해 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 장치의 전극 부착 위치 확인 기능을 설명하기 위한 구성도이다.
뇌파는 매번 측정할 때마다 뇌파 측정 위치(즉, 전극의 위치)에 변이(variation)가 발생할 수 있다. 이러한 변이는 센서 레벨 신호를 소스 레벨 신호로 변환할 때에 정확도를 감소시키는 요인이 된다. 따라서, 뇌파 측정 시마다 전극의 측정 위치의 변이를 최소화하기 위해서, 뇌-기계 인터페이스 장치(100)는 전극과 측정 대상의 두상 전체를 3차원 스캐닝한다.
도 6을 참조하면, 뇌파 측정기(110)에는 뇌 근원 신호 추출에 유리하도록 전두엽 영역(P10) 상에 전극(111)들이 조밀하게 배치되어 있다. 도 6에서와 같이 전두엽 영역(P10) 이외의 뇌 영역 상에도 다수의 전극(111)들이 배치될 수 있다.
예를 들어, 뇌파 측정기(110) 상에는, 뇌파 전극 위치에 대한, 일례로 10-10 국제 시스템(10-10 international system)을 적용하여 복수의 전극(111)들이 배치될 수 있다. 10-10 국제 시스템은, 두상에서의 두 축인 비근점(nasion)과 뒤통수점(inion)을 연결한 중심선(제 1 축)과 양쪽 귀를 정수리(vertex)를 지나도록 연결한 선(제 2 축)을 각각 100%로 보았을 때에 10% 간격마다 배분된 위치에 전극을 배열하는 고밀도 뇌파 전극 위치법이다.
그리고, 3D 스캐너(150)에서 다수의 전극(111)들의 3차원 좌표값을 인식할 수 있도록, 뇌파 측정기(110) 상에는 앞이마, 좌/우 관자놀이 등에 대응된 기설정된 하나 이상의 부분에 랜드마크 전극(113)이 부착되어 있다. 이때, 3D 스캐너(150)는 랜드마크 전극(113)과의 거리 및 각도 등에 기준하여 각각의 전극(111)들의 위치를 확인 또는 추정할 수 있다.
3D 스캐너(150)는 측정 대상의 두상 위치 및 측정 대상이 착용한 뇌파 측정기(110)의 각 전극(111, 113)들의 위치를 스캐닝하여, 두상 위치에 기준하여 각 전극(111, 113)들의 3차원 좌표값을 생성한다. 그리고 3D 스캐너(150)는 생성된 각각의 3차원 좌표값을 프로세서(130)로 전달한다.
프로세서(130)는 3D 스캐너(150)를 통해 각 전극(111, 113) 별 3차원 좌표값을 수신하면, 기설정된 기준 위치와 각 전극(111, 113)의 스캐닝된 위치가 동일한지 여부를 확인한다. 그리고 프로세서(130)는 그 확인 결과에 따른 정보(시각 또는 오디오 정보 등)를 출력 수단(모니터 등, 미도시)을 통해 출력할 수 있다.
예를 들어, 전극 위치 확인 정보는 뇌파 측정기(110)의 각 전극(111, 113) 별로 기설정된 기준 위치와 동일한지 위치에 배치되었는지 여부를 알리는 정보일 수 있으며, 측정 대상의 두상에 대한 3차원 모델 상에 각 전극(111, 113)의 3차원 좌표값을 정합하여 시각적으로 표시한 정보일 수도 있다. 이러한 전극 위치 확인 정보의 종류 및 출력 방식은 한정되지 않는다.
프로세서(130)는 해당 측정 대상의 두상을 스캐닝한 결과에 기초하여 전극 위치에 대한 기준 위치를 설정할 수 있다. 예를 들어, 프로세서(130)는 3차원 스캐닝된 측정 대상의 두상에 대해 기설정된 뇌 영역 모델(예를 들어, 브로드만 영역 모델)을 정합하고, 뇌 영역 모델 상에 기설정된 뇌 지역 별로 대응되는 위치를 기준 위치로 설정할 수 있다. 또한, 프로세서(130)는 해당 측정 대상에 대해 최초로 수행한 뇌파 측정 위치, 전전두엽 활성화 패턴을 학습하는 초기 처리시 수행한 뇌파 측정 위치, 또는 직전에 수행한 뇌파 측정 위치 등의 이전 뇌파 측정 위치에 기초하여 기준 위치를 설정할 수도 있다.
프로세서(130)는 뇌파의 반복 측정 시 전극 위치 변이를 최소화하기 위해, BMI 구동을 위한 뇌파 측정을 수행하기에 앞서 전극 위치 보정용 뇌파 측정을 수행할 수 있다. 이때, 프로세서(130)는 뇌파 측정기(110)의 전극 위치가 기설정된 기준 위치와 일치할 때까지 뇌파 측정을 반복하도록 하는 제어 신호를 출력하고, 뇌파 측정기(110)의 전극 위치가 기준 위치와 일치하는 것으로 확인된 이후 실제 BMI 구동을 위한 뇌파 측정 및 분석을 수행할 수 있다.
이처럼, BMI 구동을 위한 뇌파 측정 당시의 뇌파 전극 위치가 기준 위치와 동일한지 확인함으로써, 반복 측정에 의한 뇌파 전극 위치 변이로 인한 뇌신호 근원 국소화(source-localization) 시의 문제를 방지한다. 또한, 위와 같은 뇌파 전극 위치의 고정화 작업은 뇌 영상 사진과 EEG 신호를 정합(co-registration) 시에 활용될 수 있다.
한편, 도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치(100)는 3D 스캐너(150)와 별도의 장치로 구비될 수 있다. 이때, 뇌-기계 인터페이스 장치(100)는 휴대용 뇌파 측정기(110) 자체에 일종의 실시간 신호 분석 장치로서의 나머지 구성들(즉, 메모리(120), 프로세서(130) 및 통신모듈(140)을 의미하며, 이하 뇌파 분석부(100-1)라고 지칭함)가 탑재된 형태로 구현될 수 있다.
예를 들어, 뇌파 분석부(100-1)는 실시간 전전두엽 브로드만 영역별 활동성에 기초하여 생성한 구동 신호를 통신모듈(140)을 통해 유/무선으로 BMI 기기(즉, 외부 장치)에 전송하는 하드웨어로 구현될 수 있다. 이때, 뇌파 측정기(110) 상에서 후두부에 뇌파 분석부(100-1)가 장착될 수 있다.
이러한 뇌-기계 인터페이스 장치(100)는 다양한 BMI 장비와 연동될 수 있다. 예를 들어, 연동된 BMI 장비로서 보안 장치 중 하나인 도어락(doorlock)을 적용할 수 있다. 참고로, 도어락은 도어를 개폐하기 위한 수단(미도시)을 포함하며, 개폐 수단의 동작을 제어하는 제어모듈(미도시) 및 뇌-기계 인터페이스 장치(100)의 프로세서(130)와의 데이터 송수신을 위한 통신모듈(미도시)을 더 포함할 수 있다. 이때, 측정 대상이 도어락에 대한 특정 동작(예를 들어, 도어락의 비밀 번호를 누르는 연상)을 연상하면, 해당 연상에 대응하여 측정 대상의 두피에서 측정된 EEG 신호를 분석하여 전전두엽 활성화 패턴을 추출하고, 추출된 전전두엽 활성화 패턴을 기계학습된 분류기를 통해 식별하여 매칭된 제어 신호를 생성할 수 있다. 뇌-기계 인터페이스 장치(100)는 측정 대상이 도어락을 오픈하는 연상을 수행한 경우, 도어락으로 오픈을 위한 정보를 입력받기 위한 모드를 수행하도록 하는 제어 신호를 전송할 수 있다. 그리고 측정 대상이 도어락의 비밀 번호에 대응하는 번호들을 순차적으로 연상할 경우, 뇌-기계 인터페이스 장치(100)는 해당 번호들을 순차적으로 도어락으로 전송하여 오픈되도록 제어할 수 있다.
뇌-기계 인터페이스 장치(100)와 연동된 BMI 장비는 통신 기능을 탑재한 로봇, 스마트폰 등 그 종류가 한정되지 않으며, BMI 장비를 구동하기 위한 구동 신호의 종류 또한 한정되지 않는다.
이하, 도 7을 참조하여 본 발명의 일 실시예에 따른 전전두엽 기반 뇌-기계 인터페이스 방법에 대해서 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 방법을 설명하기 위한 순서도이다.
이하에서 설명할 전전두엽 기반 인지적 뇌-기계 인터페이스 방법은, 앞서 설명한 뇌-기계 인터페이스 장치(100)의 프로세서(130)를 통해 처리될 수 있다.
전전두엽 뇌파 신호에 기반한 BMI 구동을 수행하기에 앞서, 측정 대상이 연상한 특정 의도(즉, 고차원적인 의도)를 이미 알고 있는 상태에서 뇌파 측정기(110)를 통해 측정된 측정 대상의 전전두엽 뇌파 신호를 입력받는다. 이처럼, 측정된 뇌파 신호는 측정 대상이 연상한 의도에 대해 라벨링된다. 그리고 라벨링된 학습용 뇌파 신호에 기초하여 신호 특성을 추출(feature extraction)한다. 이때, 라벨링된 학습용 뇌파 신호에 기초하여 측정 대상의 가장 활성화된 둘 이상의 전전두엽 지역을 검출하고, 검출된 뇌 지역 간의 인과적 연결성을 전전두엽 활성화 패턴으로서 추출한다. 그리고 추출된 전전두엽 활성화 패턴들을 기계 학습(지도 또는 비지도 기계 학습)하여 전전두엽 활성화 패턴에 대한 분류기를 생성한다.
그리고 도 7에 도시한 바와 같이, 전전두엽 뇌파 신호에 기반한 BMI 구동 시, 의도를 직접적으로 연상 중인 측정 대상의 전전두엽 영역의 뇌파 신호(EEG)를 측정한다(S710).
그런 다음, 측정된 뇌파 신호에 대응된 해부학적 뇌파 발생 위치(즉, 근원 부위)를 추적한다(S720).
다음으로, 추적된 뇌 지역(즉, 전전두엽 지역) 별 활동성에 기반하여 고차원적 인지적 뇌파 신호의 특성(즉, 전전두엽 활성화 패턴)을 추출한다(S730).
이때, 센서 레벨 신호(즉, EEG)에 대해 근원 국소화 분석을 수행하여 소스 레벨 신호(즉, PFC 신호)로 변환한다. 그리고 소스 레벨 신호들의 활동성 정도에 따라 활성화된 전전두엽 지역을 검출한 후, 가장 활성화된 전전두엽 지역부터 가장 큰 인과적 연결성을 보이는 둘 이상의 전전두엽 지역을 선택하여 인과적 연결성을 검출한다. 이처럼, 선택된 둘 이상의 전전두엽 지역 간의 방향성 있는 인과적 연결성을 전전두엽 활성화 패턴으로서 추출할 수 있다.
다음으로, 추출된 뇌 지역 활성화 패턴(즉, 전전두엽 활성화 패턴)을 위와 같이 기계학습된 분류기에 입력하여, 기설정된 BMI 구동 조건 중 해당 뇌파 신호 특성에 해당하는 특성을 구분한다(S740).
그리고 상기 S740 단계를 수행하여 분류한 결과에 따른 제어 신호를 생성하여 출력한다(S750).
즉, 사전에 라벨링된 측정 대상의 의도의 내용과 직접적으로 대응하는 BMI 구동 조건를 식별한 후, 해당하는 BMI 장비로 측정 대상의 의도의 내용을 수행하기 위한 제어 신호를 전송한다.
한편, 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 방법에서는, 상기 S710 단계를 수행하기에 앞서, 3D 스캐너(150)를 통한 전극 위치 확인 처리를 먼저 수행할 수 있다. 이러한 전극 위치 확인 처리의 과정은 앞서 도 6을 통해 설명한 방식과 동일 또는 유사하다.
위와 같은 본 발명의 일 실시예에 따른 전전두엽 기반 인지적 뇌-기계 인터페이스 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 전두엽 기반 인지적 뇌-기계 인터페이스 장치
110: 뇌파 측정기 120: 메모리
130: 프로세서 140: 통신모듈
150: 3D 스캐너 P10: 전두엽 영역

Claims (14)

  1. 전전두엽 기반 인지적 뇌-기계 인터페이스 장치에 있어서,
    측정 대상의 전전두엽의 뇌파 신호를 측정하는 뇌파 측정기;
    인지적 뇌-기계 인터페이스 프로그램이 저장된 메모리; 및
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
    상기 프로세서는 상기 인지적 뇌-기계 인터페이스 프로그램의 실행에 따라, 사전에 구분된 전전두엽 상의 복수의 뇌 지역 중 상기 뇌파 측정기를 통해 측정된 전전두엽의 뇌파 신호에 대응하는 뇌 지역을 인식하고, 상기 인식된 뇌 지역 별 활동성 정도를 검출하고, 상기 뇌 지역 별 활동성 정도에 기초하여 둘 이상의 뇌 지역 간 인과적 연결성을 계산하여 전전두엽 활성화 패턴을 추출하고, 사전에 상기 측정 대상에 대한 복수의 전전두엽 활성화 패턴을 기계학습하여 생성된 분류기에 상기 추출된 전전두엽 활성화 패턴을 입력하여 기설정된 뇌-기계 인터페이스 구동 조건들 중 해당하는 구동 조건을 식별하고, 상기 식별된 결과에 기초하여 기설정된 기계 구동 제어 신호를 생성 및 출력하되,
    상기 분류기는, 상기 측정 대상의 전전두엽의 뇌파 신호에 기초하여 복수의 의도의 내용 별로 각각 라벨링된 전전두엽 활성화 패턴을 기계학습하여 생성된 것인, 전전두엽 기반 인지적 뇌-기계 인터페이스 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 측정 대상의 두피 상에서 측정된 EEG(electroencephalogram)를 뇌파 신호 근원 국소화(source localization) 분석하여 전전두엽 피질(prefrontal cortex, PFC) 신호로 변환하고, 상기 변환된 전전두엽 피질 신호에 대한 활동성 정도를 검출하는, 전전두엽 기반 인지적 뇌-기계 인터페이스 장치.
  3. 제 2 항에 있어서,
    상기 프로세서는,
    상기 EEG를 브로드만 영역의 뇌 신호로 변환하되, 배외측 전전두엽, 복외측 전전두엽, 복내측 전전두엽, 전방 전전두엽 및 안와 전두엽 중 적어도 하나의 브로드만 영역으로 구분하여 뇌 지역을 검출하는 것인, 전전두엽 기반 인지적 뇌-기계 인터페이스 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    둘 이상의 뇌 지역 별 뇌파 신호를 그랜저 인과관계(Granger causality) 기법을 통해 시간에 따른 방향성 있는 인과 관계를 분석하여 상기 인과적 연결성을 인식하는, 전전두엽 기반 인지적 뇌-기계 인터페이스 장치.
  5. 제 4 항에 있어서,
    상기 측정 대상의 두부 및 상기 측정 대상이 착용한 상기 뇌파 측정기를 3차원 스캐닝하여 상기 뇌파 측정용 전극 별 3차원 좌표값을 생성하는 3D 스캐너; 및
    상기 3D 스캐너를 포함하는 외부 장치들과 데이터를 송수신하는 통신모듈을 더 포함하되,
    상기 프로세서는 상기 뇌파 측정용 전극 별 3 차원 좌표값에 기초하여 상기 뇌파 측정용 전극 별로 기설정된 기준 위치와의 일치 여부를 확인하여 전극 위치 확인 결과를 출력하는, 전전두엽 기반 인지적 뇌-기계 인터페이스 장치.
  6. 제 5 항에 있어서,
    상기 뇌파 측정기에 상기 메모리, 프로세서 및 통신 모듈이 일체형으로 구비되며,
    상기 통신모듈을 통해 상기 3D 스캐너와 유선 또는 무선으로 통신하여 상기 3차원 좌표값 및 상기 두부를 3차원 스캐닝한 결과를 수신하는, 전전두엽 기반 인지적 뇌-기계 인터페이스 장치.
  7. 전전두엽 기반 인지적 뇌-기계 인터페이스 장치를 통한 전전두엽 기반 인지적 뇌-기계 인터페이스 방법에 있어서,
    뇌파 측정기로부터 측정 대상의 전전두엽의 뇌파 신호를 수신하는 단계;
    사전에 구분된 전전두엽 상의 복수의 뇌 지역 중 상기 뇌파 측정기를 통해 측정된 전전두엽의 뇌파 신호에 대응하는 뇌 지역을 인식하는 단계;
    인식된 뇌 지역 별 활동성 정도를 검출하고, 상기 뇌 지역 별 활동성 정도에 기초하여 둘 이상의 뇌 지역 간 인과적 연결성을 계산하여 전전두엽 활성화 패턴을 추출하는 단계;
    사전에 상기 측정 대상에 대한 복수의 전전두엽 활성화 패턴을 기계학습하여 생성된 분류기에 상기 추출된 전전두엽 활성화 패턴을 입력하여 기설정된 뇌-기계 인터페이스 구동 조건들 중 해당하는 구동 조건을 식별하는 단계; 및
    상기 식별된 결과에 기초하여 기설정된 기계 구동 제어 신호를 생성 및 출력하는 단계를 포함하며,
    상기 분류기는,
    상기 측정 대상의 전전두엽의 뇌파 신호에 기초하여 복수의 의도의 내용 별로 각각 라벨링된 전전두엽 활성화 패턴을 기계학습하여 생성된 것인, 전전두엽 기반 인지적 뇌-기계 인터페이스 방법.
  8. 제 7 항에 있어서,
    상기 뇌 지역을 인식하는 단계는,
    상기 측정 대상의 두피 상에서 측정된 EEG(electroencephalogram)를 뇌파 신호 근원 국소화(source localization) 분석하여 전전두엽 피질(prefrontal cortex, PFC) 신호로 변환하는 것인, 전전두엽 기반 인지적 뇌-기계 인터페이스 방법.
  9. 제 8 항에 있어서,
    상기 EEG를 브로드만 영역의 뇌 신호로 변환하되, 배외측 전전두엽, 복외측 전전두엽, 복내측 전전두엽, 전방 전전두엽 및 안와 전두엽 중 적어도 하나의 브로드만 영역으로 구분하여 뇌 지역을 검출하는 것인, 전전두엽 기반 인지적 뇌-기계 인터페이스 방법.
  10. 제 8 항에 있어서,
    상기 뇌파 신호 근원 국소화 분석 기법으로서, 저해상 전자기 단층촬영(Low resolution electromagnetic tomography, LORETA) 기법 및 피질 전류 밀도 소스 모델 (cortical current density source model) 중 적어도 하나를 사용하는 것인, 전전두엽 기반 인지적 뇌-기계 인터페이스 방법.
  11. 제 8 항에 있어서,
    상기 전전두엽 활성화 패턴을 추출하는 단계는,
    상기 변환된 전전두엽 피질 신호에 대한 활동성 정도를 검출하는 단계; 및
    상기 활동성 정도에 기초하여, 둘 이상의 뇌 지역 별 뇌파 신호를 그랜저 인과관계(Granger causality) 기법을 통해 시간에 따른 방향성 있는 인과 관계를 분석하여 인과적 연결성을 인식하는 단계를 포함하는, 전전두엽 기반 인지적 뇌-기계 인터페이스 방법.
  12. 제 11 항에 있어서,
    다변량 자기회귀적 모델(multivariate autoregressive model)을 사용하여, 방향성 전달 함수(directed transfer function)를 통해 상기 인과적 연결성의 정도를 산출하는 것인, 전전두엽 기반 인지적 뇌-기계 인터페이스 방법.
  13. 제 11 항에 있어서,
    상기 인과적 연결성을 인식하는 단계는,
    상기 뇌 지역 별 활성화 정도에 기초하여, 가장 활성화된 뇌 지역부터 가장 큰 인과적 연결성을 갖는 둘 이상의 뇌 지역을 순차적으로 선택하는 단계를 포함하는, 전전두엽 기반 인지적 뇌-기계 인터페이스 방법.
  14. 제 7 항에 있어서,
    상기 뇌파 측정기는 기설정된 뇌 지역 위치 별로 복수의 뇌파 측정용 전극이 배치된 것이며,
    상기 측정 대상의 전전두엽의 뇌파 신호를 수신하는 단계 이전에,
    사전에 연동된 3D 스캐너로부터, 상기 측정 대상의 두부 및 상기 측정 대상이 착용한 상기 뇌파 측정기를 3차원 스캐닝한 결과로서 상기 뇌파 측정용 전극 별 3차원 좌표값을 수신하는 단계;
    상기 뇌파 측정용 전극 별 3 차원 좌표값에 기초하여 상기 뇌파 측정용 전극 별로 기설정된 기준 위치와의 일치 여부를 확인하는 단계; 및
    상기 확인의 결과에 기초하여 전극 위치 확인 정보를 출력하는 단계를 더 포함하는, 전전두엽 기반 인지적 뇌-기계 인터페이스 방법.
KR1020180032121A 2017-04-06 2018-03-20 전전두엽 기반 인지적 뇌-기계 인터페이스 장치 및 방법 KR102031958B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/946,882 US10890972B2 (en) 2017-04-06 2018-04-06 Prefrontal-based cognitive brain-machine interfacing apparatus and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170044695 2017-04-06
KR1020170044695 2017-04-06

Publications (2)

Publication Number Publication Date
KR20180113451A true KR20180113451A (ko) 2018-10-16
KR102031958B1 KR102031958B1 (ko) 2019-10-14

Family

ID=64132662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180032121A KR102031958B1 (ko) 2017-04-06 2018-03-20 전전두엽 기반 인지적 뇌-기계 인터페이스 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102031958B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114521902A (zh) * 2022-02-14 2022-05-24 南京邮电大学 一种基于ar模型特征和svm分类的工作记忆提高实验方法及装置
KR20220103462A (ko) * 2021-01-15 2022-07-22 주식회사 이엠텍 전전두엽에서의 뇌파에 따른 자극을 인가하는 뉴로 피드백 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11620867B2 (en) 2021-03-22 2023-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Door actuation system using contactless brainwave monitoring and gait recognition
US11986309B2 (en) 2021-04-09 2024-05-21 Toyota Motor Engineering & Manufacturing North America, Inc. Passenger identification and profile mapping via brainwave monitoring

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030069432A (ko) * 2002-02-20 2003-08-27 권준수 뇌파의 전류밀도 모델의 신호원의 국소화 추정을 위한 데이터 처리방법
KR20070031501A (ko) * 2005-09-14 2007-03-20 재단법인 한국정신과학연구소 전전두엽에서 측정한 뇌파 데이터의 고속푸리에변환을 통한누적데이터의 패턴분석을 이용한 건강진단 장치 및 그방법
KR20100032054A (ko) * 2008-09-17 2010-03-25 인제대학교 산학협력단 뇌파 분석을 이용한 치매 진단 장치 및 방법
KR20110023426A (ko) * 2009-08-31 2011-03-08 연세대학교 산학협력단 매개변수 선택형 뉴로 피드백 방법과 이를 이용한 뉴로 피드백 장치 및 이를 이용한 뉴로 피드백 시스템
KR20140029332A (ko) * 2012-08-30 2014-03-10 한국과학기술원 생체신호를 이용한 보안 서비스 제공 방법 및 장치
KR20140137870A (ko) * 2013-05-24 2014-12-03 고려대학교 산학협력단 뇌-뇌 인터페이스 장치 및 방법
KR101518575B1 (ko) 2013-09-06 2015-05-07 세종대학교산학협력단 Bci를 위한 사용자 의도인지 분석 방법
KR101538916B1 (ko) * 2014-09-26 2015-07-24 (주)와이브레인 Eeg 데이터를 이용하여 사용자 특성의 변화를 예측하는 방법
KR20150128018A (ko) * 2014-05-08 2015-11-18 고려대학교 산학협력단 뇌-컴퓨터 인터페이스 시스템 기반의 인지 뉴로 피드백 방법
KR101607432B1 (ko) * 2015-01-14 2016-03-29 서울대학교산학협력단 뇌파측정을 통한 개인 인증 방법, 시스템 및 컴퓨터 프로그램
WO2016094862A2 (en) * 2014-12-12 2016-06-16 Francis Joseph T Autonomous brain-machine interface
KR101643354B1 (ko) * 2015-05-06 2016-07-27 서울대학교산학협력단 뇌파를 이용한 본인 인증 시스템 및 방법
KR101699623B1 (ko) * 2015-10-15 2017-02-14 세종대학교산학협력단 좌/우뇌 활성도 대칭 향상을 위한 게임 활용 시스템

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030069432A (ko) * 2002-02-20 2003-08-27 권준수 뇌파의 전류밀도 모델의 신호원의 국소화 추정을 위한 데이터 처리방법
KR20070031501A (ko) * 2005-09-14 2007-03-20 재단법인 한국정신과학연구소 전전두엽에서 측정한 뇌파 데이터의 고속푸리에변환을 통한누적데이터의 패턴분석을 이용한 건강진단 장치 및 그방법
KR20100032054A (ko) * 2008-09-17 2010-03-25 인제대학교 산학협력단 뇌파 분석을 이용한 치매 진단 장치 및 방법
KR20110023426A (ko) * 2009-08-31 2011-03-08 연세대학교 산학협력단 매개변수 선택형 뉴로 피드백 방법과 이를 이용한 뉴로 피드백 장치 및 이를 이용한 뉴로 피드백 시스템
KR20140029332A (ko) * 2012-08-30 2014-03-10 한국과학기술원 생체신호를 이용한 보안 서비스 제공 방법 및 장치
KR20140137870A (ko) * 2013-05-24 2014-12-03 고려대학교 산학협력단 뇌-뇌 인터페이스 장치 및 방법
KR101518575B1 (ko) 2013-09-06 2015-05-07 세종대학교산학협력단 Bci를 위한 사용자 의도인지 분석 방법
KR20150128018A (ko) * 2014-05-08 2015-11-18 고려대학교 산학협력단 뇌-컴퓨터 인터페이스 시스템 기반의 인지 뉴로 피드백 방법
KR101538916B1 (ko) * 2014-09-26 2015-07-24 (주)와이브레인 Eeg 데이터를 이용하여 사용자 특성의 변화를 예측하는 방법
WO2016094862A2 (en) * 2014-12-12 2016-06-16 Francis Joseph T Autonomous brain-machine interface
KR101607432B1 (ko) * 2015-01-14 2016-03-29 서울대학교산학협력단 뇌파측정을 통한 개인 인증 방법, 시스템 및 컴퓨터 프로그램
KR101643354B1 (ko) * 2015-05-06 2016-07-27 서울대학교산학협력단 뇌파를 이용한 본인 인증 시스템 및 방법
KR101699623B1 (ko) * 2015-10-15 2017-02-14 세종대학교산학협력단 좌/우뇌 활성도 대칭 향상을 위한 게임 활용 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kyuwan Choi, "Electroencephalography(EEG)-based neurofeedback training for brain-computer interface(BCI)", Exp Brain Res 231 : pp.351-365 (2013.09.26) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220103462A (ko) * 2021-01-15 2022-07-22 주식회사 이엠텍 전전두엽에서의 뇌파에 따른 자극을 인가하는 뉴로 피드백 장치
CN114521902A (zh) * 2022-02-14 2022-05-24 南京邮电大学 一种基于ar模型特征和svm分类的工作记忆提高实验方法及装置

Also Published As

Publication number Publication date
KR102031958B1 (ko) 2019-10-14

Similar Documents

Publication Publication Date Title
US10890972B2 (en) Prefrontal-based cognitive brain-machine interfacing apparatus and method thereof
Arico et al. Passive BCI in operational environments: insights, recent advances, and future trends
US10980466B2 (en) Brain computer interface (BCI) apparatus and method of generating control signal by BCI apparatus
Keil et al. Committee report: publication guidelines and recommendations for studies using electroencephalography and magnetoencephalography
Ferrez et al. Error-related EEG potentials generated during simulated brain–computer interaction
Wu et al. Controlling a human–computer interface system with a novel classification method that uses electrooculography signals
KR102031958B1 (ko) 전전두엽 기반 인지적 뇌-기계 인터페이스 장치 및 방법
Ahmedt‐Aristizabal et al. Automated analysis of seizure semiology and brain electrical activity in presurgery evaluation of epilepsy: A focused survey
US20200074380A1 (en) Work support device, work support method, and work support program
O’Regan et al. Multimodal detection of head-movement artefacts in EEG
KR20140029332A (ko) 생체신호를 이용한 보안 서비스 제공 방법 및 장치
KR101740894B1 (ko) 공간필터를 이용한 뇌-기계 인터페이스 시스템 및 방법
Cecotti Single-trial detection with magnetoencephalography during a dual-rapid serial visual presentation task
Fang et al. Physiological computing for occupational health and safety in construction: Review, challenges and implications for future research
Susan Philip et al. A systematic review on artifact removal and classification techniques for enhanced meg-based bci systems
KR20150134788A (ko) 역치 이하 자극을 이용한 보안 서비스 제공 방법 및 장치
CN115407872B (zh) 一种智能人机协同系统测评方法、装置及存储介质
KR102344532B1 (ko) 정신질환의 진단을 위한 설명 가능한 인공지능 시스템 및 정신질환 진단 방법
Billinger et al. Online visualization of brain connectivity
KR20150026083A (ko) 뇌파 영상 분석 장치
Kim et al. Identifying error features in a MI-BCI system using microstates
Mantegna et al. Covariance-based Decoding Reveals Content-specific Feature Integration and Top-down Processing for Imagined Faces versus Places
Weyhenmeyer et al. Multimodal classification of Parkinson’s disease using delay differential analysis
US20200397381A1 (en) Information processing device and non-transitory computer readable medium
Abdurashidova et al. Visual-Sensory Information Processing Using Multichannel EEG Signals

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant