KR20180028888A - 사용환경에 적응적인 뇌-컴퓨터 인터페이스 장치 및 그 장치의 동작 방법 - Google Patents

사용환경에 적응적인 뇌-컴퓨터 인터페이스 장치 및 그 장치의 동작 방법 Download PDF

Info

Publication number
KR20180028888A
KR20180028888A KR1020170027290A KR20170027290A KR20180028888A KR 20180028888 A KR20180028888 A KR 20180028888A KR 1020170027290 A KR1020170027290 A KR 1020170027290A KR 20170027290 A KR20170027290 A KR 20170027290A KR 20180028888 A KR20180028888 A KR 20180028888A
Authority
KR
South Korea
Prior art keywords
brain
test data
brain signal
user
computer interface
Prior art date
Application number
KR1020170027290A
Other languages
English (en)
Other versions
KR101939363B1 (ko
Inventor
이성환
기영진
김선민
이민호
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20180028888A publication Critical patent/KR20180028888A/ko
Application granted granted Critical
Publication of KR101939363B1 publication Critical patent/KR101939363B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A61B5/048—
    • A61B5/04012—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Power Engineering (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 뇌-컴퓨터 인터페이스 장치를 개시한다. 본 발명은, 뇌 신호 기반 제어 프로그램이 저장된 메모리, 및 상기 메모리에 저장된 프로그램의 실행에 따라 실시간으로 수신되는 사용자의 뇌 신호 데이터를 기 설정된 필터링 주파수 대역으로 필터링하고, 필터링된 데이터로부터 공통 공간 필터를 적용하여 특징벡터를 추출하며, 추출된 특징 벡터를 기 학습된 뇌 신호 분류기에 입력함으로써, 사용자의 의도가 복수의 움직임 중 어느 하나인지를 판단하되, 일정 간격으로 수신되는 사용자의 테스트 데이터들 간의 차이를 기초로, 필터링 주파수 대역 갱신, 공통 공간 필터 조정 및 뇌 신호 분류기 조정 중 적어도 하나를 수행하는 프로세서를 포함한다.

Description

사용환경에 적응적인 뇌-컴퓨터 인터페이스 장치 및 그 장치의 동작 방법{BRAIN-COMPUTER INTERFACE APPARATUS ADAPTABLE TO USE ENVIRONMENT AND METHOD OF OPERATING THEREOF}
본 발명은 사용환경에 적응적인 뇌-컴퓨터 인터페이스 장치 및 그 장치의 동작 방법에 관한 것이다.
뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)란 피검체의 뇌에서 발생하는 다양한 형태의 신호를 이용하여 외부 기기를 제어할 수 있도록 하는 기술이다. 뇌-컴퓨터 인터페이스 기술은 뇌 신호를 이용한 기기의 제어를 가능케 하여 신체의 움직임이 어려운 루게릭병 환자 등의 재활 및 생활 보조 도구로 활용될 수 있다. 또한, 뇌-컴퓨터 인터페이스 기술은 피검체의 뇌 신호를 이용하여 게임과 같은 엔터테인먼트나 집중력 향상을 위한 훈련 도구 등으로 이용될 수도 있다. 뇌 신호는 뇌의 활동에 따른 전기적 신호를 이용하는 뇌전도(Electroencephalography, EEG), 전기적 신호와 함께 유발되는 자기적 신호를 이용하는 뇌자도(Magnetoencephalography, MEG), 혈중 산소포화도의 변화를 이용하는 기능적 자기공명영상(functional Magnetic Resonance Imaging, fMRI) 또는 근적외선 분광장치(Near-infrared Spectroscopy, NIRS) 등의 방식을 통해 획득될 수 있으며, 휴대성 및 시간 분해능이 뛰어난 EEG 신호가 많이 사용되고 있다. EEG를 이용하는 뇌-컴퓨터 인터페이스 장치는, 피검체의 특정 신체 부위의 움직임을 의도(또는 상상)하거나 특정 자극에 의해 유발되는 뇌 신호 패턴의 시공간적 변화(즉, 움직임 의도인지 기반 뇌-컴퓨터 인터페이스 장치), 또는 시각 자극에 의해 반응하는 뇌신호의 변화(즉, 정상-상태 시각 유발 전위(Steady state visually evoked potential, SSVEP) 기반 뇌-컴퓨터 인터페이스 장치)를 이용하여 컴퓨터와 같은 외부 장치를 제어할 수 있다.
구체적으로, 움직임 의도인지 기반 뇌-컴퓨터 인터페이스 장치는, 사건관련-비동기화(event-related desynchronization, ERD) 패턴을 유발하기 위해 피검체가 특정 신체 부위(예를 들어, 오른손, 왼손 등)의 움직임을 의도(상상)하면, 뇌의 감각 운동령(Sensory-motor area) 중 특정 신체 부위에서 발생된 ERD/ERS(event-related synchronization) 패턴을 인지하여 외부 장치를 제어한다. 반면에 SSVEP 기반 뇌-컴퓨터 인터페이스 장치는 서로 다른 주파수의 광을 발생시키는 복수의 광원을 배치하고, 피검체가 복수의 광원 중 특정 광원을 응시함에 따라 특정 광원에서 발생되는 광의 주파수와 동일한 주파수의 뇌 신호를 인지함으로써 외부 장치를 제어하는 방식이다. 또한 사건관련전위(event-related potential, ERP) 기반의 뇌-컴퓨터 인터페이스 장치는 일정 시간 간격으로 특정 시각, 청각, 촉각 중 적어도 하나의 자극으로부터 발생된 피검체의 뇌 자극을 인지하고, 뇌 자극으로부터 소정 시간(예를 들어, 300ms) 이후에 발생하는 뇌 신호를 인지함으로써 외부 장치를 제어하는 방식이다.
일반적으로 뇌-컴퓨터 인터페이스 장치는 사용자가 이용하기 이전에 기 설정된 태스크(예를 들어, 피검체가 기 설정된 신체 부위의 움직임을 의도, 피검체가 기 설정된 자극에 집중 등)를 반복 수행함으로써, 분류기(Classifier)를 학습하기 위한 뇌 신호를 수집한다. 구체적으로, 뇌-컴퓨터 인터페이스 장치는 수집된 뇌 신호에 기초하여 임의의 뇌 신호로부터 태스크의 종류를 구별할 수 있는 특징값을 추출하고, 추출된 특징값들을 이용하여 분류기를 학습한다.
그러나 EEG 를 이용하는 뇌-컴퓨터 인터페이스 장치는 피검체의 상태 변화나 전극의 위치 변화, 움직임으로 인한 잡음 등에 의해 검사 시간이 지남에 따라 뇌 신호 패턴이 변화한다는 문제점이 있다. 이에 따라 검사 시간이 지속될수록 뇌-컴퓨터 인터페이스 장치의 분류기의 분류 성능이 감소하는 문제가 발생한다. 따라서 장시간 사용자가 뇌-컴퓨터 인터페이스 장치를 사용하는 경우, 사용 환경에 적응하는 뇌-컴퓨터 인터페이스 장치에 대한 필요성이 대두되고 있다.
한국등록특허 제 10-1581895 호 (발명의 명칭: P300 뇌-유발전위를 이용한 단어 입력 뇌-컴퓨터 인터페이스 시스템 및 P300 뇌-유발전위를 이용한 단어 입력 방법)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 뇌-컴퓨터 인터페이스 장치를 장시간 사용하더라도 분류 성능을 감소시키지 않을 수 있는 뇌-컴퓨터 인터페이스 장치 및 그 장치의 동작 방법을 제공하는데에 그 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제1 측면은, 뇌 신호 기반 제어 프로그램이 저장된 메모리, 및 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하는 뇌-컴퓨터 인터페이스 장치를 제공한다. 이때, 상기 프로세서는 상기 프로그램의 실행에 따라, 실시간으로 수신되는 사용자의 뇌 신호 데이터를 기 설정된 필터링 주파수 대역으로 필터링하고, 필터링된 데이터로부터 공통 공간 필터를 적용하여 특징벡터를 추출하며, 추출된 특징 벡터를 기 학습된 뇌 신호 분류기에 입력함으로써, 사용자의 의도가 복수의 움직임 중 어느 하나인지를 판단하되, 일정 간격으로 수신되는 사용자의 테스트 데이터들 간의 차이를 기초로, 필터링 주파수 대역 갱신, 공통 공간 필터 조정 및 뇌 신호 분류기 조정 중 적어도 하나를 수행한다.
또한, 본 발명의 제2 측면은, 실시간으로 수신되는 사용자의 뇌 신호 데이터를 기 설정된 필터링 주파수 대역으로 필터링하는 단계; 필터링된 데이터로부터 공통 공간 필터를 적용하여 특징벡터를 추출하는 단계; 및 추출된 특징 벡터를 기 학습된 뇌 신호 분류기에 입력함으로써, 사용자의 의도가 복수의 움직임 중 어느 하나인지를 판단하는 단계를 포함한다. 이때, 일정 간격으로 수신되는 사용자의 테스트 데이터들 간의 차이를 기초로, 필터링 주파수 대역 갱신, 공통 공간 필터 조정 및 뇌 신호 분류기 조정 중 적어도 하나를 수행한다.
또한, 본 발명의 제 3 측면은, 상기 제2 측면의 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.
전술한 과제 해결 수단에 따르면, 사용자가 장시간 사용하더라도 해당 사용자에게 최적화된 사용 환경을 제공할 수 있는 뇌-컴퓨터 인터페이스 장치를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치의 구성을 도시한 블록도이다.
도 2는 뇌-컴퓨터 인터페이스 장치가 적응적으로 사용자의 움직임 의도를 탐지하는 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따라 도 1의 프로세서가 테스트 데이터들 간의 차이를 기초로 필터링 주파수 대역 갱신, 공통 공간 필터 조정 및 뇌 신호 분류기 조정 중 적어도 하나를 수행하는 방법을 상세히 도시한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 이하에서 언급되는 "움직임 의도(motor imagery)"는 동작 상상, 움직임 상상, 동적 심상 등으로 지칭될 수 있다.
이하, 도면을 참조하여, 본 발명의 일 실시예에 대하여 구체적으로 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치(100)의 블록도이다.
뇌-컴퓨터 인터페이스 장치(100)는 사용자의 뇌 신호를 수신하여 해당 사용자의 의도를 판단할 수 있다. 그리고 뇌-컴퓨터 인터페이스 장치(100)는 사용자의 의도에 기초하여 뇌-컴퓨터 인터페이스 기반 기기를 제어할 수 있다. 이때, 뇌-컴퓨터 인터페이스 기반 기기는 신체를 움직이지 못하는 사용자(200)의 휠체어 등의 생활 보조 기기일 수 있다. 또는, 뇌-컴퓨터 인터페이스 기반 기기는 스마트 홈을 위한 사물 인터넷 기기일 수 있으나, 이에 한정된 것은 아니다.
뇌-컴퓨터 인터페이스 장치(100)는 뇌-신호 측정부(110), 메모리(120) 및 프로세서(130)를 포함한다.
뇌-신호 측정부(110)는 사용자의 머리에 부착되며 사용자(200)의 동작에 따른 뇌파(electroencephalogram; EEG)와 같은 뇌 신호를 측정할 수 있다. 예를 들어, 뇌 신호는 10-20 시스템에 기초하여 정해진 복수의 영역으로부터 수집된 것일 수 있다.
메모리(120)는 뇌-컴퓨터 인터페이스 장치(100)를 제어하기 위한 제어 프로그램들을 저장한다. 예를 들어, 메모리(120)는 뇌 신호 기반 제어 프로그램을 저장할 수 있다. 이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
프로세서(130)는 뇌-컴퓨터 인터페이스 장치(100)의 전반적인 동작을 제어한다. 프로세서(130)는 뇌-신호 측정부(110) 및 메모리(120)의 동작을 제어하기 위한 적어도 하나의 구성요소를 포함할 수 있다. 예를 들어, 프로세서(810)는 RAM(Random Access Memory)(미도시), ROM(Read-Only Memory)(미도시), CPU(미도시) 및 GPU(Graphic Processing Unit)(미도시) 중 적어도 하나를 포함 할 수 있다.
또한, 프로세서(130)는 메모리(120)에 저장된 프로그램들을 실행함으로써, 사용자의 뇌 신호 데이터로부터 사용자의 움직임 의도를 식별할 수 있다. 이때, 움직임 의도는 사용자가 생각한 신체의 움직임 또는 사용자가 생각한 행동일 수 있다. 예컨대, 움직임 의도는 '왼손 움직임', '오른손 움직임', '왼 발 움직임' 등일 수 있다.
프로세서(130)는 실시간으로 수신되는 뇌 신호 데이터로부터 사용자의 움직임 의도를 탐지한다. 이때, 프로세서(130)는 사용자(200)의 움직임 의도를 탐지하기 이전에 해당 사용자에게 적합한 사용 환경을 설정하기 위한 사전 작업을 수행한다. 프로세서(130)는 사용자로부터 미리 약속된 움직임(또는 행동)에 따라 측정된 데이터(이하, '테스트 데이터'라 함)를 기초로, 사용자의 움직임 의도를 탐지하기 위한 최적의 주파수 대역을 설정 및/또는 조정하며, 해당 사용자에게 적합하도록 뇌 신호 분류기를 학습 및/또는 조정하는 작업을 수행한다.
그러나, 사용 시간이 증가되면, 사용자의 상태 변화, 사용자의 움직임으로 인한 잡음 증가, 뇌-컴퓨터 인터페이스 장치(100)와 사용자 간의 결합 위치 변화 등으로 인해 뇌-컴퓨터 인터페이스 장치(100)에서 측정되는 뇌 신호의 양상이 변화할 수 있다. 이에 따라, 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치(100)는 일정 시간 간격(또는 횟수 간격)으로 테스트 데이터를 반복 측정함으로써 사용자의 사용 환경에 적응적으로 동작한다. 이하, 도 2를 참조하여 상세히 설명한다.
한편, 도 1에 도시된 구성요소보다 많은 구성요소에 의해 뇌-컴퓨터 인터페이스 장치(100)가 구현될 수 있다. 예를 들어, 뇌-컴퓨터 인터페이스 장치(100)는 다양한 정보를 출력하기 위한 디스플레이(미도시), 다른 장치와 통신하기 위한 통신부(미도시)를 더 포함하여 구현될 수 있다.
도 2는 뇌-컴퓨터 인터페이스 장치(100)가 적응적으로 사용자의 움직임 의도를 탐지하는 방법을 설명하기 위한 순서도이다.
도 2를 참조하면, 먼저, 뇌 신호 측정부(110)는 실시간으로 사용자의 뇌 신호 데이터를 획득한다(S100). 획득된 뇌 신호 데이터는 프로세서(130)로 제공된다.
프로세서(130)는 기 설정된 필터링 주파수 범위를 이용하여 뇌 신호 데이터를 필터링한다(S110). 여기서 필터링 주파수 범위는, 사용자의 움직임 의도에 의해 뇌의 일차 운동 영역(primary motor cortex)이 활성화됨에 따라 반응하는 주파수 대역일 수 있으며, 사전 작업 시에 해당 사용자에 최적화되도록 조정될 수 있다. 필터링 주파수 범위는, 예를 들어, 약 8 ~12 Hz 일 수 있다.
이후, 프로세서(130)는 필터링된 데이터로부터 공통 공간 필터를 적용하여 특징 벡터를 추출한다(S120). 구체적으로, 프로세서(130)는 공통 공간 패턴(Common Spatial Pattern, CSP) 알고리즘에 기반하여 필터링된 데이터의 공분산 행렬을 산출한 후, 이에 대해 공통 공간 필터를 적용함으로써 특징 벡터를 추출할 수 있다. 여기서, 공통 공간 패턴 알고리즘은 후쿠나가-쿤츠 변환(Fukunaga-Koontz transform)을 적용한 뇌파 특징 추출 알고리즘으로, 두 가지 서로 다른 조건에서 수집된 신호들의 차이점을 가장 잘 드러내는 특징 벡터를 탐색하는데에 이용된다.
이후, 프로세서(130)는 뇌 신호 추출된 특징 벡터를 기 학습된 뇌 신호 분류기에 입력함으로써, 사용자의 의도가 복수의 움직임 중 어느 하나인지를 판단한다(S130). 여기서, 뇌 신호 분류기는 사용자의 움직임 의도를 식별하기 위한 클래스(또는 카테고리) 및 각 클래스의 특징 벡터를 포함하는 적어도 하나의 프로그램(또는 인스트럭션 세트)으로서, 예를 들어, 선형 분류기(linear classification), 이차분류기(Quadratic Classifier)등을 포함할 수 있다.
이후, 뇌 신호 측정부(110)는 일정 간격으로 사용자의 테스트 데이터를 획득한다(S140). 여기서, 테스트 데이터는, 뇌-컴퓨터 인터페이스 장치(100)의 성능을 평가하기 위해, 사용자가 기 약속된 움직임(또는 행동)을 생각함에 따라 측정되는 뇌 신호 데이터일 수 있다. 테스트 데이터는, 기 설정된 시간 간격으로 획득되거나, 기 설정된 개수의 실시간 뇌 신호 데이터가 수신될 때마다 반복하여 획득될 수 있다. 한편, 테스트 데이터는 사용자의 사용 시간이 일정 시간 지난 이후부터 획득될 수 있으나, 이에 제한되지 않는다.
이후, 프로세서(130)는 테스트 데이터들 간의 차이를 기초로, 필터링 주파수 대역 갱신, 공통 공간 필터 조정 및 뇌 신호 분류기 조정 중 적어도 하나를 수행한다(S150). 즉, 프로세서(130)는 테스트 데이터들 간의 차이를 기초로 상기한 S110, S120 및 S130 과정 중 적어도 어느 하나의 과정을 갱신 및/또는 조정함으로써, 사용자의 사용 환경에 적응할 수 있다. 이를 위해, 프로세서(130)는 현재 테스트 데이터와 이전 테스트 데이터의 주파수 별 피셔 비율(fisher ratio)의 편차, 특징 분포의 차이 등에 기반한 테스트 데이터들 간의 차이를 기초로 어느 과정을 최적화할지 여부를 결정한다. 이때, 이전 테스트 데이터는 현재 테스트 데이터 바로 이전의 테스트 데이터일 수 있으나, 이에 제한되지 않는다. 예를 들어, 이전 테스트 데이터는 이전 복수의 테스트 데이터들의 평균값일 수도 있다. 이하, 도 3을 참조하여 상세히 설명한다.
도 3은 도 1의 프로세서(130)가 테스트 데이터들 간의 차이를 기초로 필터링 주파수 대역 갱신, 공통 공간 필터 조정 및 뇌 신호 분류기 조정 중 적어도 하나를 수행하는 방법을 상세히 도시한 순서도이다.
먼저, 프로세서(130)는 각 테스트 데이터에 대하여 현재 사용중인 필터링 주파수 대역 내에서의 신호의 피셔 비율을 산출한다(S151). 이후, 프로세서(130)는 현재 테스트 데이터와 이전 테스트 데이터의 피셔 비율의 편차가 기 설정된 제1 임계값을 초과하면(S152), 필터링 주파수 대역 갱신한다(S153). 이때, 제1 임계값은 실험적으로 결정된 값으로서, 사전 작업에서의 분류 성능이 약 70% 로 감소되는 경우를 기준으로 산출될 수 있다.
한편, 각 테스트 데이터의 주파수 별 피셔 비율(
Figure pat00001
)은 아래의 수학식 1에 의해 산출될 수 있다.
Figure pat00002
Figure pat00003
Figure pat00004
위 식에서,
Figure pat00005
및
Figure pat00006
는 각각 클래스 내의 분산 행렬 및 클래스 간 분산 행렬을 나타낸다. 또한,
Figure pat00007
는 n 번째 시행의 이산 시간(t)-주파수(f) 밀도 패턴이며,
Figure pat00008
는 클래스 c (c=1, 2, ..., C)에 대한 평균 시간(t)-주파수(f) 밀도를 나타낸다. 또한,
Figure pat00009
는 전체 클래스에 대한 평균 시간(t)-주파수(f) 밀도를 나타내고,
Figure pat00010
는 클래스 c의 시행 회수를 나타낸다.
이후, 프로세서(130)는 각 테스트 데이터의 특징 분포의 차이를 산출한다(S154). 예를 들어, 프로세서(130)는 쿨백-라이블러 발산(Kullback-Leibler divergence, KLD) 알고리즘을 이용한 수학식 2에 의해 각 테스트 데이터의 특징 분포의 차이를 산출할 수 있다.
Figure pat00011
위 식에서,
Figure pat00012
는 이전 테스트 데이터의 가우시안 분포를 나타내며,
Figure pat00013
은 현재 테스트 데이터의 가우시안 분포를 나타낸다. 또한,
Figure pat00014
는 i 클래스의 평균을 나타내며,
Figure pat00015
는 i 클래스의 공분산을 나타낸다. 또한, d는 데이터의 차원(dimension)을 나타낸다.
프로세서(130)는 현재 테스트 데이터와 이전 테스트 데이터 간의 특징 분포 차이가 제2 임계값을 초과하면(S155), 공통 공간 필터 및/또는 뇌 신호 분류기를 조정할 수 있다(S156). 이때, 제2 임계값은 실험적으로 결정된 값으로서, 사전 작업에서의 분류 성능이 약 70% 로 감소되는 경우를 기준으로 산출될 수 있다.
일반적인 뇌-컴퓨터 인터페이스 장치는 사전 작업 시에 미리 산출된 공분산 행렬을 이용하여 공통 공간 필터 및 뇌 신호 분류기를 사용한다. 따라서, 사용자의 사용 환경이 변화되는 경우, 이를 반영하지 못할 수 있다. 본 발명의 일 실시예에 따른 프로세서(130)는 테스트 데이터 간의 특징 분포 차이가 제2 임계값을 초과하면, 공통 공간 필터 및 뇌 신호 분류기를 조정함으로써 상기한 문제를 해결할 수 있다.
구체적으로, 공통 공간 필터를 조정하기 위해, 프로세서(130)는 미리 산출된 공분산 행렬에 기 설정된 특징 벡터 가중치를 부여할 수 있다. 아래의 수학식 3은 프로세서(130)가 특징 벡터 가중치를 부여하여 공분산 행렬(
Figure pat00016
)을 갱신하는 일례이다.
Figure pat00017
위 식에서,
Figure pat00018
는 특징 벡터를 나타내며,
Figure pat00019
은 기 설정된 특징 벡터 가중치를 나타낸다. k는 이산적인 시간을 나타낸다.
또한, 뇌 신호 분류기를 조정하기 위해, 프로세서(130)는 뇌 신호 분류기의 파라미터(parameter)를 갱신할 수 있다. 여기서, 파라미터는, 예를 들어, 각 클래스의 특징 분포의 평균, 공분산 등을 포함할 수 있다. 프로세서(130)는 기 설정된 특징 벡터 가중치(
Figure pat00020
)가 부여된 특징 벡터를 상기 평균 및 공분산 중 적어도 하나에 적용함으로써 뇌 신호 분류기의 파라미터를 갱신할 수 있다. 아래의 수학식 4는 각 클래스의 특징 분포의 평균(
Figure pat00021
)을 갱신하는 일례이며, 수학식 5는 각 클래스의 특징 분포의 공분산(
Figure pat00022
)을 갱신하는 일례이다.
Figure pat00023
Figure pat00024
또한, 아래의 수학식 6 은 파라미터가 갱신됨에 따라 뇌 신호 분류기를 조정하는 일례이다. 한편, 수학식 6은 선형 판별 분석(linear discriminant analysis, LDA) 알고리즘에 기반한다.
Figure pat00025
Figure pat00026
위 식에서
Figure pat00027
는 선형 판별 분석(LDA)의 사상/가중치 벡터를 나타내며,
Figure pat00028
는 LDA의 바이어스(bias)를 나타낸다. 또한,
Figure pat00029
는 i 클래스의 평균을 나타내며,
Figure pat00030
는 클래스 간 공통 평균을 나타낸다.
전술한 바와 같이, 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치(100)는 실시간 뇌 신호 데이터를 획득하면서, 일정 간격으로 테스트 데이터를 추가 획득하여 사용자에게 적합한 사용환경에 적응할 수 있다. 이를 통해, 사용자가 뇌-컴퓨터 인터페이스 장치(100)를 장시간 사용하더라도 해당 사용자에 최적화된 사용환경을 제공할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 뇌-컴퓨터 인터페이스 장치
110: 뇌 신호 측정부
120: 프로세서(processor)
130: 메모리(memory)

Claims (9)

  1. 뇌-컴퓨터 인터페이스 장치에 있어서,
    뇌 신호 기반 제어 프로그램이 저장된 메모리, 및
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램의 실행에 따라,
    실시간으로 수신되는 사용자의 뇌 신호 데이터를 기 설정된 필터링 주파수 대역으로 필터링하고,
    상기 필터링된 데이터로부터 공통 공간 필터를 적용하여 특징벡터를 추출하며,
    상기 추출된 특징 벡터를 기 학습된 뇌 신호 분류기에 입력함으로써, 상기 사용자의 의도가 복수의 움직임 중 어느 하나인지를 판단하되,
    일정 간격으로 수신되는 사용자의 테스트 데이터들 간의 차이를 기초로, 상기 필터링 주파수 대역 갱신, 상기 공통 공간 필터 조정 및 상기 뇌 신호 분류기 조정 중 적어도 하나를 수행하는 것인,
    뇌-컴퓨터 인터페이스 장치.
  2. 제 1 항에 있어서,
    상기 테스트 데이터는, 사용자가 기 약속된 움직임 또는 행동을 생각함에 따라 측정된 뇌 신호 데이터인, 뇌-컴퓨터 인터페이스 장치.
  3. 제 1 항에 있어서,
    상기 테스트 데이터들 간의 차이는
    현재 테스트 데이터 및 이전 테스트 데이터의 주파수 범위 별 피셔 비율(fisher ratio)의 편차 및 특징 분포의 차이 중 적어도 하나에 기반하는 것인, 뇌-컴퓨터 인터페이스 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는
    현재 테스트 데이터 및 이전 테스트 데이터의 주파수 범위 별 피셔 비율의 편차가 제1 임계값을 초과하면, 상기 필터링 주파수 대역을 갱신하는 것인, 뇌-컴퓨터 인터페이스 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는
    현재 테스트 데이터 및 이전 테스트 데이터의 특징 분포의 차이가 제2 임계값을 초과하면, 미리 산출된 공분산 행렬에 기 설정된 특징 벡터 가중치를 부여함으로써, 상기 공통 공간 필터를 조정하는 것인, 뇌-컴퓨터 인터페이스 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    현재 테스트 데이터 및 이전 테스트 데이터의 특징 분포의 차이가 제2 임계값을 초과하면, 상기 뇌 신호 분류기의 파라미터를 갱신하는 것인, 뇌-컴퓨터 인터페이스 장치.
  7. 제 6 항에 있어서,
    상기 뇌 신호 분류기의 파라미터는, 각 클래스의 특징 분포의 평균 및 공분산이며,
    상기 프로세서는,
    기 설정된 특징 벡터 가중치가 부여된 특징 벡터를 상기 평균 및 공분산 중 적어도 하나에 적용함으로써, 상기 뇌 신호 분류기의 파라미터를 갱신하는 것인, 뇌-컴퓨터 인터페이스 장치.
  8. 뇌-컴퓨터 인터페이스 장치가 적응적으로 사용자의 움직임 의도를 탐지하는 방법에 있어서,
    실시간으로 수신되는 사용자의 뇌 신호 데이터를 기 설정된 필터링 주파수 대역으로 필터링하는 단계;
    상기 필터링된 데이터로부터 공통 공간 필터를 적용하여 특징벡터를 추출하는 단계; 및
    상기 추출된 특징 벡터를 기 학습된 뇌 신호 분류기에 입력함으로써, 상기 사용자의 의도가 복수의 움직임 중 어느 하나인지를 판단하는 단계;를 포함하되,
    일정 간격으로 수신되는 사용자의 테스트 데이터들 간의 차이를 기초로, 상기 필터링 주파수 대역 갱신, 상기 공통 공간 필터 조정 및 상기 뇌 신호 분류기 조정 중 적어도 하나를 수행하는 것인,
    움직임 의도 탐지 방법.
  9. 제 8 항의 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020170027290A 2016-09-09 2017-03-02 사용환경에 적응적인 뇌-컴퓨터 인터페이스 장치 및 그 장치의 동작 방법 KR101939363B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160116234 2016-09-09
KR20160116234 2016-09-09

Publications (2)

Publication Number Publication Date
KR20180028888A true KR20180028888A (ko) 2018-03-19
KR101939363B1 KR101939363B1 (ko) 2019-01-16

Family

ID=61911097

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170027290A KR101939363B1 (ko) 2016-09-09 2017-03-02 사용환경에 적응적인 뇌-컴퓨터 인터페이스 장치 및 그 장치의 동작 방법

Country Status (1)

Country Link
KR (1) KR101939363B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190124987A (ko) * 2018-04-27 2019-11-06 고려대학교 산학협력단 지역 분석 기반의 fbcsp 기법을 이용한 운동심상 분류 장치 및 그 방법
KR20190134338A (ko) * 2018-05-25 2019-12-04 고려대학교 산학협력단 전극별 주파수 가중치 필터를 이용한 csp 기반의 운동심상 분류 장치 및 그 방법
CN110888526A (zh) * 2019-10-30 2020-03-17 西安理工大学 基于集成支持向量学习的脑机接口技术
KR20200032925A (ko) * 2018-09-19 2020-03-27 고려대학교 산학협력단 능동소음제거와 상관관계 최적화를 이용한 운동심상 분류 장치 및 방법
KR20200075153A (ko) * 2018-12-13 2020-06-26 성균관대학교산학협력단 뇌파 기반의 사용자 의도 인식 방법 및 장치
CN115151182A (zh) * 2020-10-10 2022-10-04 豪夫迈·罗氏有限公司 用于诊断分析的方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009139119A1 (ja) * 2008-05-15 2009-11-19 パナソニック株式会社 脳波信号の識別方法を調整する装置、方法およびプログラム
JP2010131328A (ja) * 2008-12-08 2010-06-17 Tokyo Univ Of Agriculture & Technology 嗜好判別装置、嗜好判別方法、嗜好判別プログラム、及び脳波解析方法
KR20110037726A (ko) * 2009-10-07 2011-04-13 포항공과대학교 산학협력단 뇌-컴퓨터 인터페이스를 위한 합성 공통 공간 패턴 분석 방법 및 이를 이용한 뇌파 분석 방법
KR20110087501A (ko) * 2010-01-26 2011-08-03 중앙대학교 산학협력단 생체신호의 특징 추출 장치 및 방법
KR20120124772A (ko) * 2011-05-04 2012-11-14 경북대학교 산학협력단 사용자 집중도 분석장치 및 방법
KR20150088426A (ko) * 2014-01-24 2015-08-03 고려대학교 산학협력단 기기 인터페이스 제어 방법
KR101581895B1 (ko) 2014-05-20 2016-01-04 경희대학교 산학협력단 P300 뇌-유발전위를 이용한 단어 입력 뇌-컴퓨터 인터페이스 시스템 및 p300 뇌-유발전위를 이용한 단어 입력 방법
KR20160001081A (ko) * 2014-06-26 2016-01-06 숭실대학교산학협력단 뇌파를 기반으로 하는 군집 감성 분석 장치, 방법 및 이를 수행하기 위한 기록 매체
KR20160016357A (ko) * 2014-08-05 2016-02-15 연세대학교 산학협력단 기능적 자기 공명 영상의 패턴 분류 장치 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009139119A1 (ja) * 2008-05-15 2009-11-19 パナソニック株式会社 脳波信号の識別方法を調整する装置、方法およびプログラム
JP2010131328A (ja) * 2008-12-08 2010-06-17 Tokyo Univ Of Agriculture & Technology 嗜好判別装置、嗜好判別方法、嗜好判別プログラム、及び脳波解析方法
KR20110037726A (ko) * 2009-10-07 2011-04-13 포항공과대학교 산학협력단 뇌-컴퓨터 인터페이스를 위한 합성 공통 공간 패턴 분석 방법 및 이를 이용한 뇌파 분석 방법
KR20110087501A (ko) * 2010-01-26 2011-08-03 중앙대학교 산학협력단 생체신호의 특징 추출 장치 및 방법
KR20120124772A (ko) * 2011-05-04 2012-11-14 경북대학교 산학협력단 사용자 집중도 분석장치 및 방법
KR20150088426A (ko) * 2014-01-24 2015-08-03 고려대학교 산학협력단 기기 인터페이스 제어 방법
KR101581895B1 (ko) 2014-05-20 2016-01-04 경희대학교 산학협력단 P300 뇌-유발전위를 이용한 단어 입력 뇌-컴퓨터 인터페이스 시스템 및 p300 뇌-유발전위를 이용한 단어 입력 방법
KR20160001081A (ko) * 2014-06-26 2016-01-06 숭실대학교산학협력단 뇌파를 기반으로 하는 군집 감성 분석 장치, 방법 및 이를 수행하기 위한 기록 매체
KR20160016357A (ko) * 2014-08-05 2016-02-15 연세대학교 산학협력단 기능적 자기 공명 영상의 패턴 분류 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
뇌전도 기반 뇌-컴퓨터 인터페이스의 동작상상 뇌파 특징 추출 알고리즘 성능 비교 연구(정보과학회논문지 38권 11호 p599-605, 2011)* *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190124987A (ko) * 2018-04-27 2019-11-06 고려대학교 산학협력단 지역 분석 기반의 fbcsp 기법을 이용한 운동심상 분류 장치 및 그 방법
KR20190134338A (ko) * 2018-05-25 2019-12-04 고려대학교 산학협력단 전극별 주파수 가중치 필터를 이용한 csp 기반의 운동심상 분류 장치 및 그 방법
KR20200032925A (ko) * 2018-09-19 2020-03-27 고려대학교 산학협력단 능동소음제거와 상관관계 최적화를 이용한 운동심상 분류 장치 및 방법
KR20200075153A (ko) * 2018-12-13 2020-06-26 성균관대학교산학협력단 뇌파 기반의 사용자 의도 인식 방법 및 장치
CN110888526A (zh) * 2019-10-30 2020-03-17 西安理工大学 基于集成支持向量学习的脑机接口技术
CN115151182A (zh) * 2020-10-10 2022-10-04 豪夫迈·罗氏有限公司 用于诊断分析的方法和系统
CN115151182B (zh) * 2020-10-10 2023-11-14 豪夫迈·罗氏有限公司 用于诊断分析的方法和系统

Also Published As

Publication number Publication date
KR101939363B1 (ko) 2019-01-16

Similar Documents

Publication Publication Date Title
KR101939363B1 (ko) 사용환경에 적응적인 뇌-컴퓨터 인터페이스 장치 및 그 장치의 동작 방법
US10980466B2 (en) Brain computer interface (BCI) apparatus and method of generating control signal by BCI apparatus
KR102143900B1 (ko) 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법
Keil et al. Committee report: publication guidelines and recommendations for studies using electroencephalography and magnetoencephalography
Grosse-Wentrup et al. Beamforming in noninvasive brain–computer interfaces
KR101585150B1 (ko) 뇌 연결성에 기반한 멀티모드 뇌-컴퓨터 인터페이스 시스템
Tariq et al. Mu-Beta event-related (de) synchronization and EEG classification of left-right foot dorsiflexion kinaesthetic motor imagery for BCI
US9081890B2 (en) Rehabilitation training system and method
KR101518575B1 (ko) Bci를 위한 사용자 의도인지 분석 방법
Lisi et al. EEG single-trial detection of gait speed changes during treadmill walk
US20070060830A1 (en) Method and system for detecting and classifying facial muscle movements
WO2016115982A1 (en) Methods and apparatuses for determining head movement
US20120302867A1 (en) Brain function measuring apparatus and brain function measuring method
JP5266597B2 (ja) 脳活動情報出力装置、脳活動情報出力方法
Matran-Fernandez et al. Brain–computer interfaces for detection and localization of targets in aerial images
Meinel et al. Pre-trial EEG-based single-trial motor performance prediction to enhance neuroergonomics for a hand force task
Andersson et al. Navigation of a telepresence robot via covert visuospatial attention and real-time fMRI
KR101740894B1 (ko) 공간필터를 이용한 뇌-기계 인터페이스 시스템 및 방법
KR20180036503A (ko) 뇌 신호 기반 기기 제어를 위한 뇌-컴퓨터 인터페이스 장치 및 방법
KR102143910B1 (ko) 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법
JP5343790B2 (ja) 脳活動情報出力装置、脳活動情報出力方法、およびプログラム
Ryun et al. Movement type prediction before its onset using signals from prefrontal area: an electrocorticography study
Martinovic et al. Time course of information processing in visual and haptic object classification
Bernasconi et al. Interhemispheric coupling between the posterior sylvian regions impacts successful auditory temporal order judgment
Porcaro et al. Semi-blind functional source separation algorithm from non-invasive electrophysiology to neuroimaging

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant