KR101970700B1 - 뇌 신호 기반 기기 제어를 위한 뇌-컴퓨터 인터페이스 장치 및 방법 - Google Patents

뇌 신호 기반 기기 제어를 위한 뇌-컴퓨터 인터페이스 장치 및 방법 Download PDF

Info

Publication number
KR101970700B1
KR101970700B1 KR1020170036206A KR20170036206A KR101970700B1 KR 101970700 B1 KR101970700 B1 KR 101970700B1 KR 1020170036206 A KR1020170036206 A KR 1020170036206A KR 20170036206 A KR20170036206 A KR 20170036206A KR 101970700 B1 KR101970700 B1 KR 101970700B1
Authority
KR
South Korea
Prior art keywords
classifier
brain signal
brain
user
signal data
Prior art date
Application number
KR1020170036206A
Other languages
English (en)
Other versions
KR20180036503A (ko
Inventor
이성환
안혜수
김정우
이민호
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20180036503A publication Critical patent/KR20180036503A/ko
Application granted granted Critical
Publication of KR101970700B1 publication Critical patent/KR101970700B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0445—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 뇌 신호 기반 제어 프로그램이 저장된 메모리, 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 이때, 프로세서는 프로그램의 실행에 따라, 실시간으로 수신되는 뇌 신호 데이터 및 뇌 신호 분류기에 기초하여 뇌 신호 데이터에 대응하는 사용자의 의도를 판단한다. 그리고 뇌 신호 분류기는, 사용자로부터 기수집된 뇌 신호 데이터에 기초하여 생성된 복수의 분류기를 포함하는 분류기 앙상블이며, 실시간으로 수신되는 뇌 신호 데이터를 입력으로 통과시켜 사용자의 의도가 복수의 움직임 중 어느 하나인지를 판단한다.

Description

뇌 신호 기반 기기 제어를 위한 뇌-컴퓨터 인터페이스 장치 및 방법{APPARATUS AND METHOD OF BRAIN-COMPUTER INTERFACE FOR DEVICE CONTROLLING BASED ON BRAIN SIGNAL}
본 발명은 뇌 신호 기반 기기의 제어를 위한 뇌-컴퓨터 인터페이스 장치 및 방법에 관한 것이다.
뇌-컴퓨터 인터페이스(brain-computer interface; BCI) 장치는 사용자의 뇌 신호 분석을 통해 다양한 다른 기기를 제어할 수 있는 장치이다. 뇌-컴퓨터 인터페이스 장치는 사용자가 생각하는 것만으로 의도적으로 발현되는 특정 패턴의 뇌 신호를 분석하여 기기를 제어할 수 있다. 그러므로 뇌-컴퓨터 인터페이스 장치는 일반인들을 위한 편의 기기에 활용하거나, 루게릭병이나 척수손상과 같은 중증장애로 인해 신체의 움직임이 자유롭지 못한 장애인들의 생활보조 기기로서 활용될 수 있다.
사용자의 의도에 따라 다양한 기기를 제어하기 위해서는 외부의 자극 없이 자발적인 뇌 신호를 생성하는 것이 중요하다. 이러한 자발적인 뇌 신호는 복잡한 숫자 계산이나 무작위의 단어 상상, 지도 상상 등을 포함할 수 있다. 최근에는 특정 신체 부위를 움직일 때의 느낌을 상상하는 동작상상 (motor Imagery; MI) 방법 기반의 뇌-컴퓨터 인터페이스 장치가 발전하고 있다.
사용자가 특정 신체 부위의 움직이는 느낌을 상상하는 동작상상을 수행할 경우 뇌-컴퓨터 인터페이스 장치는 해당 신체 부위를 관장하는 뇌 영역에서 발생하는 ERD/ERS(event-related synchronization/event-related desynchronization) 패턴을 검출할 수 있다. 예를 들어, 사용자가 왼손을 움직이는 동작상상을 수행할 경우 뇌의 우반구의 특정 영역에서 ERD/ERS패턴이 발생될 수 있다. 또한, 해당 사용자가 오른손을 움직이는 동작상상을 수행할 경우 뇌의 좌반구의 특정 영역에서 ERD/ERS 패턴이 발생된다.
이때, ERD/ERS 패턴에 포함된 ERS 성분은 신호의 분산 값이 증가하는 형태를 보이며, ERD 성분은 ERS 성분과 반대로 신호의 분산 값이 감소하는 형태를 보인다. 사용자가 동작상상을 수행하는 동안에는 ERD 성분이 발생하며, 동작상상 이후에 ERS 성분이 발현될 수 있다. 그러므로 뇌-컴퓨터 인터페이스 장치는 ERD 성분이 뚜렷하게 측정될 경우 보다 높은 성능으로 동작할 수 있다.
특히, 실생활에서 다양한 외부 기기의 자연스러운 제어를 위해, 뇌-컴퓨터 인터페이스 장치는 최소 3개 이상의 명령어를 생성할 수 있는 방법이 필요하다. 그러나 종래의 뇌-컴퓨터 인터페이스 장치는 명령어의 수가 2개 이상이 되면 뇌 신호의 분류 정확도가 급격하게 감소한다.
한국등록특허 제 10-1205892호
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 다중 클래스의 분류를 위하여 생성된 분류기 앙상블 및 뉴로피드백 기술에 기초하여 사용자의 뇌 신호로부터 사용자의 의도를 판단하고, 이를 통하여 뇌 신호 기반 장치의 제어를 수행하기 위한 뇌-컴퓨터 인터페이스 장치 및 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 뇌-컴퓨터 인터페이스 장치는 뇌 신호 기반 제어 프로그램이 저장된 메모리, 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 이때, 프로세서는 프로그램의 실행에 따라, 실시간으로 수신되는 뇌 신호 데이터 및 뇌 신호 분류기에 기초하여 뇌 신호 데이터에 대응하는 사용자의 의도를 판단한다. 그리고 뇌 신호 분류기는, 사용자로부터 기수집된 뇌 신호 데이터에 기초하여 생성된 복수의 분류기를 포함하는 분류기 앙상블이며, 실시간으로 수신되는 뇌 신호 데이터를 입력으로 통과시켜 사용자의 의도가 복수의 움직임 중 어느 하나인지를 판단한다.
또한, 본 발명의 제 2 측면에 따른 뇌-컴퓨터 인터페이스 장치에서의 뇌 신호의 분류 방법은 실시간으로 수신되는 사용자의 뇌 신호 데이터 및 뇌 신호 분류기에 기초하여 뇌 신호 데이터에 대응하는 사용자의 의도를 판단하는 단계를 포함한다. 이때, 뇌 신호 분류기는, 사용자로부터 기수집된 뇌 신호 데이터에 기초하여 생성된 복수의 분류기를 포함하는 분류기 앙상블이며, 실시간으로 수신되는 뇌 신호 데이터를 입력으로 통과시켜 사용자의 의도가 복수의 움직임 중 어느 하나인지를 판단한다.
또한, 본 발명의 제 3 측면에 따른 뇌-컴퓨터 인터페이스 장치에서의 뇌 신호 분류기 생성 방법은 기수집된 뇌 신호 데이터에 기초하여 복수의 분류기를 생성하는 단계; 생성된 복수의 분류기에 기초하여 복수의 분류기 앙상블을 생성하는 단계; 기수집된 뇌 신호 데이터에 기초하여 생성된 의사 온라인 환경에 대하여 복수의 분류기 앙상블의 정확도를 산출하는 단계; 및 산출된 복수의 분류기 앙상블의 정확도에 기초하여 뇌 신호 분류기를 선택하는 단계를 포함한다. 이때, 기수집된 뇌 신호 데이터는 복수의 움직임 각각에 대응하는 복수의 뇌 신호 데이터를 포함한다. 그리고 각 분류기 앙상블은 전체 분류기 중 선택된 복수의 분류기가 포함되도록 생성된다.
본 발명은 다중 클래스의 분류를 지원하는 분류기 앙상블을 통하여 사용자가 원하는 3개 이상의 움직임을 감지할 수 있다. 또한, 본 발명은 사용자가 뇌-컴퓨터 인터페이스 장치의 정확도를 향상시킬 수 있도록 뉴로피드백 훈련을 제공할 수 있다. 그러므로 본 발명은 실생활에서 복수의 명령어를 지원하는 기기에 적합한 뇌-컴퓨터 인터페이스 장치를 제공할 수 있다.
또한, 본 발명은 재활 환자의 뇌 운동 기능 향상 및 마비 환자의 로봇 팔, 휠체어 등에 대한 기기 제어를 지원할 수 있다. 본 발명은 일반인의 증강 현실 및 게임 내의 아바타 제어와 같은 다양한 게임에 적용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 뇌 신호 기반 제어 프로그램의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 분류기 앙상블의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치에서의 뇌 신호의 분류 방법의 순서도이다.
도 5는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치에서의 뇌 신호 분류기 생성 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
다음은 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치(100)를 설명한다.
도 1은 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치(100)의 블록도이다.
뇌-컴퓨터 인터페이스 장치(100)는 사용자(200)의 뇌 신호를 수신하여 해당 사용자(200)의 의도를 판단할 수 있다. 그리고 뇌-컴퓨터 인터페이스 장치(100)는 사용자(200)의 의도에 기초하여 뇌-컴퓨터 인터페이스 기반 기기를 제어할 수 있다. 이때, 뇌-컴퓨터 인터페이스 기반 기기는 신체를 움직이지 못하는 사용자(200)의 휠체어 등의 생활 보조 기기일 수 있다. 또는, 뇌-컴퓨터 인터페이스 기반 기기는 스마트 홈을 위한 사물 인터넷 기기일 수 있으나, 이에 한정된 것은 아니다.
뇌-컴퓨터 인터페이스 장치(100)는 뇌 신호 측정 유닛(110), 디스플레이 유닛(120), 메모리(130) 및 프로세서(140)를 포함한다.
뇌 신호 측정 유닛(110)은 사용자(200)의 머리에 부착하며 사용자(200)의 동작에 따른 뇌파(electroencephalogram; EEG)와 같은 뇌 신호를 측정할 수 있다. 예를 들어, 뇌 신호는 10-20 시스템에 기초하여 미리 정해진 복수의 영역으로부터 수집된 것일 수 있다.
디스플레이 유닛(120)은 뇌 신호에 기초하여 뇌-컴퓨터 인터페이스 장치(100)를 통하여 탐지된 해당 사용자(200)의 현재 의도를 표시한다. 또한, 디스플레이 유닛(120)은 해당 사용자(200)가 뉴로피드백(neuro-feedback) 기반 훈련을 수행하기 위한 인식 결과를 표시할 수 있다.
이때, 의도는 해당 사용자(200)가 생각한 신체의 움직임 또는 해당 사용자(200)가 생각한 행동이 될 수 있다. 의도는 해당 사용자(200)가 사용하는 기기의 명령어일 수 있으나, 이에 한정된 것은 아니다. 또한, 뇌-컴퓨터 인터페이스 장치(100)가 인식할 수 있는 의도는 적어도 3개 이상이 될 수 있다.
예를 들어, 사용자(200)의 의도는 '휴식', '왼손 움직임', '오른손 움직임' 및 '발 움직임'이 될 수 있다. 또는, 사용자(200)의 의도는 '휴식', '전진 이동', '왼쪽 이동' 및 '오른쪽 이동'이 될 수 있다. 이때, '휴식'은 해당 사용자(200)가 움직임을 하지 않는 상태를 의미한다.
메모리(130)는 뇌 신호 기반 제어 프로그램이 저장된다. 이때, 메모리(130)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
프로세서(140)는 메모리(130)에 저장된 뇌 신호 기반 제어 프로그램에 기초하여 실시간으로 수신되는 사용자(200)의 뇌 신호로부터 현재 사용자(200)의 의도를 탐지한다. 사용자(200)의 의도를 탐지하는 상세한 과정은 도 2를 참조하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 뇌 신호 기반 제어 프로그램의 블록도이다.
뇌 신호 기반 제어 프로그램은 뇌 신경 기반 제어 모듈(220) 및 분류기 학습 모듈(230)을 포함한다.
뇌 신경 기반 제어 모듈(220)은 실시간 뇌 신호 데이터로부터 해당 사용자(200)의 의도를 판단할 수 있다. 또한, 뇌 신경 기반 제어 모듈(220)은 판단된 사용자(200)의 의도를 통하여, 해당 사용자(200)의 뉴로피드백 훈련을 수행할 수 있다. 이때, 뇌 신경 기반 제어 모듈(220)은 세부 모듈로 뇌 신호 측정 모듈(221), 뇌 신호 전처리 모듈(222), 의도 판단 모듈(223) 및 뉴로피드백 훈련 모듈(224)을 포함한다.
분류기 학습 모듈(230)은 사용자 맞춤형 뇌 신호 분류기(240)를 생성할 수 있다. 이때, 분류기 학습 모듈(230)은 세부 모듈로 전처리 모듈(231), 분류기 생성 모듈(232), 분류기 앙상블 모듈(233) 및 분류기 앙상블 평가 모듈(234)을 포함할 수 있다.
프로세서(140)는 뇌 신경 기반 제어 모듈(220) 및 기 생성된 뇌 신호 분류기(240)를 통하여 사용자(200)로부터 측정되는 실시간 뇌 신호 데이터로부터 해당 사용자(200)의 의도를 판단할 수 있다. 이때, 기 생성된 뇌 신호 분류기(240)는 프로세서(140)가 분류기 학습 모듈(230)을 통하여 생성한 것일 수 있다.
구체적으로 프로세서(140)는 분류기 생성을 위하여 기수집된 학습 뇌 신호 데이터를 이용하여 뇌 신호 분류기(240)를 생성할 수 있다.
이때, 학습 뇌 신호 데이터는 해당 사용자(200)로부터 수회 이상 수집된 휴지 상태의 뇌 신호 및 활성 상태의 뇌 신호일 수 있다. 또한, 학습 뇌 신호 데이터는 해당 사용자(200)의 머리에 부착된 뇌 신경 유닛을 통하여 복수의 위치에 대하여 수집된 데이터일 수 있다.
휴지 상태의 뇌 신호는 해당 사용자(200)가 아무것도 하지 않은 상태의 뇌 신호이다. 프로세서(140)는 뇌 신호 측정 유닛(110)을 통하여, 해당 사용자(200)의 휴지 상태의 뇌 신호를 수집할 수 있다. 프로세서(140)는 수집된 휴지 상태의 뇌 신호에 '휴식'을 매칭하여 학습 뇌 신호 데이터로 생성할 수 있다.
또한, 활성 상태의 뇌 신호는 해당 사용자(200)가 복수의 움직임을 수행하는 경우에 대한 뇌 신호이다. 프로세서(140)는 뇌 신호 측정 유닛(110)을 통하여, 해당 사용자(200)의 활성 상태의 뇌 신호를 수집할 수 있다.
이때, 프로세서(140)는 미리 정해진 움직임 중 특정 움직임을 선택하여, 디스플레이 모듈을 통하여 해당 사용자(200)에게 특정 움직임을 상상하도록 요청할 수 있다. 그리고 프로세서(140)는 해당 사용자(200)의 활성 상태의 뇌 신호를 수집할 수 있다. 프로세서(140)는 이렇게 수집된 활성 상태의 뇌 신호와 프로세서(140)가 요청한 해당 움직임을 매칭하여 학습 뇌 신호 데이터로 생성할 수 있다.
또는, 프로세서(140)는 사용자(200)에게 특정 움직임을 상상하면 이에 대응하는 뇌 신호를 수집할 수 있다. 그리고 프로세서(140)는 사용자(200)가 입력 모듈을 통하여 해당 움직임의 종류를 입력하도록 요청할 수 있다. 프로세서(140)는 사용자(200)가 입력한 움직임과 수집된 뇌 신호를 매칭하여 학습 뇌 신호 데이터를 생성할 수 있다.
예를 들어, 프로세서(140)는 '왼손 움직임'으로부터 뇌의 우반구의 특정 영역의 신호 변화에 대응하는 뇌 신호를 수집할 수 있다. 그리고 프로세서(140)는 '오른손 움직임'으로부터 뇌의 좌반구의 특정 영역의 변화에 대응하는 신호 변화에 대응하는 뇌 신호를 수집할 수 있다. 이때, 우반구의 특정 영역은 10-20 시스템에서 'C3'가 될 수 있으며, 좌반구의 특정 영역은 'C4'가 될 수 있다.
그리고 프로세서(140)는 사용자(200)로부터 '왼손 움직임'에 대응하는 뇌 신호를 수집하면, 해당 뇌 신호와 '왼손 움직임'을 매칭하여 저장할 수 있다. 또한, 프로세서(140)는 사용자(200)로부터 '오른손 움직임'에 대응하는 뇌 신호를 수집하면, 해당 뇌 신호와 '오른손 움직임'을 매칭하여 저장할 수 있다.
사용자(200)로부터 수신된 휴지 상태 및 활성 상태의 뇌 신호를 이용하여 학습 뇌 신호 데이터가 생성되면, 프로세서(140)는 전처리 모듈(231)을 통하여 학습 뇌 신호 데이터에 대한 전처리를 수행하고 ERD/ERS 패턴을 특징(feature)으로 추출할 수 있다. 이때, ERD는 사용자(200)가 특정 움직임을 상상하며 발생할 수 있는 μ파 및 β파의 억제 현상을 의미하며, ERS는 사용자(200)가 특정 움직임을 상상하며 발생할 수 있는 μ파 및 β파의 활성화 현상을 의미한다.
프로세서(140)는 전처리 모듈(231)을 통하여 학습 뇌 신호 데이터와 매칭되는 복수의 움직임에 기초하여 데이터를 분류할 수 있다. 그리고 프로세서(140)는 각 움직임에 대한 데이터에 대한 주파수를 분석하여, ERD/ERS 패턴을 추출할 수 있다. 예를 들어, 프로세서(140)는 주파수 필터링을 통하여 뇌 신호 데이터로부터 μ파 및 β파를 분리할 수 있다. 이때, 주파수 필터링은 μ파를 위한 필터링(8-12 Hz) 및 β파를 위한 필터링(26-30Hz)일 수 있다.
예를 들어, 프로세서(140)는 미리 정해진 주파수 내의 영역에 대한 분석을 수행할 수 있다. 이때, 미리 정해진 주파수는 추출하고자 하는 움직임에 대응하는 주파수가 될 수 있다. 추출하고자 하는 움직임이 집중력과 관련된 것이라면, 미리 정해진 주파수는 4 - 35Hz가 될 수 있다.
그리고 프로세서(140)는 필터링 이후 신호의 형태에 기초하여 필터링을 수행하는 주파수 및 필터링 방법을 선택할 수 있다. 이때, 고주파 잡신호를 제거하고자 하는 경우, 프로세서(140)는 저역 통과 필터(low-pass filter)를 선택할 수 있다. 또한, 특정 주파수 영역만 선택되도록 하는 경우, 프로세서(140)는 대역 통과 필터(band-pass filter)를 선택할 수 있으며, 특정 주파수만 제거하고자 하는 경우 프로세서(140)는 대역 저지 필터(band-stop filter)를 선택할 수 있다. 또한, 필터링 이후 통과 대역의 신호의 물결 성분이 없어야하며, 경계가 모호해도 되는 경우에는 버터워스 필터(butterworth filter)를 선택하며, 통과 대역의 경계가 날카로워야 하며 물결 성분이 있어도 되는 경우에는 체비세프 필터(Chebyshev filter)를 선택할 수 있으나, 이에 한정된 것은 아니다.
선택된 필터에 기초하여 필터링을 수행한 이후, 프로세서(140)는 필터링된 뇌 신호 데이터의 파워에 기초하여 특징 벡터를 추출할 수 있다. 이때, 주파수의 파워는 해당 주파수에 대한 로그 값 및 분산 값이 포함되도록 산출될 수 있다.
예를 들어, 프로세서(140)는 고속 푸리에 변환(fast Fourier transform; FFT)에 기초하여 파워 스펙트럼 분석을 수행할 수 있다. 그리고 프로세서(140)는 측정된 뇌 신호 데이터 상의 특정 주파수의 신호 성분이 어느 정도의 비중을 차지하고 있는지를 정량적으로 분석할 수 있다. 이때, 비중은 활성화된 상태에 대응하는 것으로, 정수 형으로 표현될 수 있다. 또한, 비중을 산출하게 되는 주파수 대역 및 해당 주파수 대역의 간격은 뇌 신호 데이터의 표본율과 길이에 따라 결정되는 것일 수 있다.
또한, 프로세서(140)는 각 움직임에 기초하여 추출된 특징 벡터에 기초하여 ERD/ERS 패턴이 미리 정해진 값 이상인 움직임을 선택할 수 있다. 그리고 프로세서(140)는 학습 뇌 신호 데이터에서 선택된 움직임에 대응하는 데이터를 제외한 다른 데이터를 제거할 수 있다. 이때, 선택되는 움직임의 개수는 학습 뇌 신호 데이터를 수집할 때의 움직임 개수와 동일하거나 적을 수 있다. 또한, 선택되는 움직임의 개수는 적어도 3개 이상일 수 있다.
한편, 프로세서(140)는 전처리 모듈(231)을 통하여 학습 뇌 신호 데이터에 대한 전처리가 완료되면, 분류기 생성 모듈(232)을 통하여 복수의 분류기(classify)를 생성할 수 있다. 이때, 분류기 생성 모듈(232)은 복수의 분류 알고리즘(classification algorithm)에 기초하여 분류기를 생성할 수 있다.
구체적으로 프로세서(140)는 학습 뇌 신호 데이터가 생성시 해당 사용자(200)의 움직임을 클래스(class)로 설정하고, 각 클래스를 분류하기 위한 복수의 분류기를 생성할 수 있다.
또한, 복수의 분류 알고리즘은 이진 분류 알고리즘(binary classification algorithm) 및 OVR(one-versus-rest) 분류 알고리즘이 될 수 있으나, 이에 한정된 것은 아니다.
이때, 이진 분류 알고리즘은 두 클래스에 대하여 분류를 수행하는 분류기를 생성하기 위한 알고리즘이다. 즉, 이진 분류 알고리즘을 통하여 생성된 분류기는 분류기에 입력되는 데이터가 분류기를 생성할 때 미리 정해진 두 개의 클래스 중 어느 클래스에 해당하는 지를 판단할 수 있다.
또한, OVR 분류 알고리즘은 특정 클래스 여부를 판단하는 분류기를 생성하기 위한 알고리즘이다. 즉, OVR 분류 알고리즘은 분류기에 입력되는 데이터가 특정 클래스인지 여부를 판단할 수 있다. 이때, OVR 분류 알고리즘은 일종의 단일 클래스 분류 알고리즘(one-class classification algorithm)일 수 있다. OVR 분류 알고리즘은 앞에서 설명한 이진 분류 알고리즘과 동일할 수도 있으며, 상이할 수도 있다.
예를 들어, 학습 뇌 신호 데이터에 대응하는 해당 사용자(200)의 움직임이 '휴식', '왼손 움직임', '오른손 움직임' 및 '발 움직임'인 경우, 클래스는 모두 4개로 설정 될 수 있다. 이때, 제 1 클래스는 '휴식'이 되며, 제 2 클래스는 '왼손 움직임', 제 3 클래스는 '오른손 움직임' 및 제 4 클래스는 '발 움직임'이 될 수 있다.
그리고 프로세서(140)는 이진 분류 알고리즘에 기초하여 각 클래스 간의 조합에 대한 분류기를 생성할 수 있다. 프로세서(140)는 학습 뇌 신호 데이터 중 각 클래스 조합에 해당하는 데이터를 추출하고, 이를 이용하여 분류기를 생성할 수 있다.
예를 들어, 프로세서(140)는 이진 분류 알고리즘에 기초하여, 제 1 클래스 및 제 2 클래스를 분류할 수 있는 제 1 분류기를 생성할 수 있다. 또한, 프로세서(140)는 같은 방법으로 제 1 클래스 및 제 3 클래스를 분류하는 제 2 분류기, 제 1 클래스 및 제 4 클래스를 분류하는 제 3 분류기를 생성할 수 있다. 또한, 프로세서(140)는 제 2 클래스 및 제 3 클래스를 분류하는 제 4 분류기, 제 2 클래스 및 제 4 클래스를 분류하는 제 5 분류기 및 제 3 클래스 및 제 4 클래스를 분류하는 제 6 분류기를 생성할 수 있다.
프로세서(140)는 학습 뇌 신호 데이터에서 해당 분류기를 통하여 판단하고 싶은 특정 클래스의 데이터 및 나머지 데이터를 구분하고, OVR 알고리즘에 기초하여 분류기를 생성할 수 있다.
예를 들어, 프로세서(140)는 제 1 클래스의 데이터와 나머지 제 2 클래스, 제 3 클래스 및 제 4 클래스의 데이터를 구분하여, 제 1 클래스 여부를 판단하기 위한 OVR 분류기인 제 7 분류기를 생성할 수 있다. 동일한 방법으로 프로세서(140)는 제 2 클래스 여부를 판단하기 위한 제 8 분류기, 제 3 클래스 여부를 판단하기 위한 제 9 분류기 및 제 4 클래스 여부를 판단하기 위한 제 10 분류기를 생성할 수 있다.
앞에서 설명한 바와 같이, 프로세서(140)는 분류기 생성 모듈(232)을 통하여 복수의 분류기를 생성할 수 있다. 그리고 프로세서(140)는 분류기 앙상블 모듈(233)을 통하여, 복수의 분류기 앙상블을 생성할 수 있다. 이때, 분류기 앙상블은 복수의 분류기의 조합일 수 있다. 분류기 앙상블은 도 3을 참조하여 설명한다.
도 3은 본 발명의 일 실시예에 따른 분류기 앙상블의 예시도이다.
프로세서(140)는 제 6 분류기 및 제 7 분류기, 제 9 분류기가 포함되도록 제 1 분류기 앙상블을 생성할 수 있다. 또한, 프로세서(140)는 입력되는 뇌 신호 데이터가 제 7 분류기, 제 9 분류기 및 제 6 분류기 순으로 직렬로 통과하도록 분류기 앙상블을 생성할 수 있다.
그러므로 특정 뇌 신호 데이터가 입력되면 프로세서(140)는 먼저 제 7 분류기에 기초하여 제 1 클래스에 해당하는지 여부를 판단할 수 있다. 만약, 해당 뇌 신호 데이터가 제 1 클래스에 해당하는 경우, 프로세서(140)는 사용자(200)의 의도를 제 1 클래스에 대응하는 움직임인 '휴식'으로 판단할 수 있다.
만약, 해당 뇌 신호 데이터가 제 1 클래스에 해당하지 않는 경우, 프로세서(140)는 다시 제 9 분류기에 뇌 신호 데이터를 입력할 수 있다. 그리고 프로세서(140)는 제 9 분류기에 기초하여, 해당 뇌 신호 데이터가 제 2 클래스에 해당하는지 여부를 판단할 수 있다. 해당 뇌 신호 데이터가 제 2 클래스에 해당하는 경우, 사용자(200)의 의도를 '왼손 움직임'으로 판단할 수 있다.
만약, 해당 뇌 신호 데이터가 제 2 클래스에 해당하지 않는 경우, 프로세서(140)는 다시 제 6 분류기로 해당 뇌 신호 데이터를 입력할 수 있다. 이때, 제 6 분류기는 해당 뇌 신호 데이터가 제 3 클래스인지 제 4 클래스인지를 판단하는 분류기이다. 그러므로 프로세서(140)는 제 6 분류기의 결과에 따라, 사용자(200)의 의도를 '오른손 움직임' 또는 '발 움직임'으로 판단할 수 있다.
이와 같이, 분류기 앙상블은 복수의 분류기의 조합을 통하여 생성될 수 있다. 그러므로 프로세서(140)는 분류기 앙상블 모듈(233)을 통하여 기 생성된 복수의 분류기 중 일부를 선택하여 분류기의 조합을 분류기 앙상블로 생성할 수 있다.
그리고 프로세서(140)는 분류기 앙상블 평가 모듈(234)에 기초하여 복수의 분류기 앙상블 중 최적의 분류기 앙상블을 선택할 수 있다.
분류기 앙상블 평가 모듈(234)은 의사 온라인(pseudo-online) 환경에서의 각 분류기 앙상블의 정확도를 산출할 수 있도록 구축될 수 있다. 이때, 의사 온라인 환경은 기수집된 뇌 신경 데이터를 이용하여 생성한 가상의 온라인 환경이다. 의사 온라인 환경은 실제 사용자(200)의 데이터를 실시간으로 수집하는 것과 유사하게 기수집된 뇌 신경 데이터를 시뮬레이션 할 수 있도록 구축된 것일 수 있다.
프로세서(140)는 분류기 앙상블 평가 모듈(234)에 기초하여 기수집된 뇌 신경 데이터를 뇌 신호 측정 유닛(110)을 통하여 수집되는 데이터와 유사한 형태로 시뮬레이션하여 각 분류기 앙상블에 대한 정확도를 산출할 수 있다. 이때, 정확도는 기수집된 뇌 신경 데이터에 매칭되어 저장된 움직임과 해당 분류기 앙상블의 분류 결과가 일치하는지 여부에 기초하여 산출될 수 있다.
그리고 프로세서(140)는 정확도가 가장 높은 분류기 앙상블을 최적의 분류기 앙상블로 선택할 수 있다. 프로세서(140)는 최적의 분류기 앙상블을 선택되면 이를 뇌 신호 분류기(240)로 저장할 수 있다.
한편, 프로세서(140)는 뇌 신호 분류기(240)가 생성된 이후, 생성된 뇌 신호 분류기(240) 및 뇌 신경 기반 제어 모듈(220)에 기초하여 해당 사용자(200)의 의도를 판단할 수 있다.
구체적으로 프로세서(140)는 뇌 신호 측정 모듈(221)을 통하여 뇌 신경 측정 유닛으로부터 사용자(200)의 실시간 뇌 신호 데이터(210)를 수신할 수 있다.
그리고 프로세서(140)는 뇌 신호 전처리 모듈(222)을 통하여 실시간 뇌 신호 데이터(210)를 전처리할 수 있다. 이때, 뇌 신호 전처리 모듈(222)을 통한 전처리 방법은 전처리 모듈(231)을 통한 전처리 방법과 동일할 수 있다.
또한, 프로세서(140)는 의도 판단 모듈(223)을 통하여 복수의 움직임 중 해당 실시간 뇌 신호 데이터에 대응하는 움직임을 선택할 수 있다.
구체적으로 프로세서(140)는 뇌 신호 분류기(240)에 기초하여 입력된 실시간 뇌 신호 데이터(210)에 대한 각 움직임의 출력 값을 산출할 수 있다. 이때, 각 움직임의 출력 값은 해당 실시간 뇌 신호 데이터에 대한 각 움직임의 확률 또는 점수가 될 수 있다. 프로세서(140)는 확률 또는 점수가 가장 큰 값을 가진 움직임을 해당 실시간 뇌 신호 데이터(210)에 대응하는 움직임으로 선택할 수 있다.
또는, 각 움직임의 출력 값은 해당 실시간 뇌 신호 데이터(210)에 대한 각 움직임의 매칭 여부가 될 수 있다. 프로세서(140)는 복수의 움직임 중 출력 값이 매칭으로 판단된 움직임을 선택할 수 있다.
그리고 프로세서(140)는 판단된 움직임을 해당 사용자(200)에게 전달할 수 있다. 또는, 프로세서(140)는 연결된 뇌-컴퓨터 인터페이스 기반 기기가 해당 사용자(200)의 의도에 대응하는 움직임을 수행하도록 뇌-컴퓨터 인터페이스 기반 기기로 전달할 수 있다.
또한, 사용자(200)의 요청에 따라 프로세서(140)는 뉴로피드백 훈련 모듈(224)을 통하여 해당 사용자(200)의 뉴로피드백 훈련을 수행할 수 있다.
구체적으로 프로세서(140)는 뉴로피드백 훈련 모듈(224)을 통하여 뇌 신호 분류기(240)의 출력 값 및 판단된 사용자(200)의 의도를 포함하는 인식 결과를 생성할 수 있다. 그리고 프로세서(140)는 디스플레이 유닛(120)에 해당 인식 결과가 표시할 수 있다.
예를 들어, 프로세서(140)는 사용자(200)로부터 제 1 실시간 뇌 신호 데이터를 수신할 수 있다. 그리고 프로세서(140)는 제 1 실시간 뇌 신호 데이터에 대응하는 뇌 신호 분류기(240)의 출력 값을 산출할 수 있다. 이때, 뇌 신호 분류기(240)에 의해 산출된 '휴식'의 출력 값이 54%이고, '왼손 움직임'의 출력 값이 42%이고, '오른쪽 움직임'의 출력 값이 3%이고, '발 움직임'의 출력 값이 1%일 수 있다. 프로세서(140)는 출력 값이 가장 큰 '휴식'을 해당 사용자(200)의 의도 판단할 수 있다. 그리고 프로세서(140)는 사용자(200)의 뉴로피드백 훈련을 위하여, 각 움직임의 출력 값 및 최종적으로 판단된 의도가 포함되는 제 1 인식 결과를 생성할 수 있다. 프로세서(140)는 디스플레이 유닛(120)을 통하여 제 1 인식 결과를 표시할 수 있다.
사용자(200)는 제 1 실시간 뇌 신호 데이터를 생성할 때 상상한 움직임과 제 1 인식 결과를 비교할 수 있다. 만약 해당 사용자(200)가 상상한 움직임이 '왼손 움직임'인 경우, 사용자(200)는 인식 결과 중 '왼손 움직임'의 출력 값이 커질 수 있도록 제 2 실시간 뇌 신호 데이터를 다시 생성하여 전달할 수 있다.
만약, 사용자(200)가 새로 생성한 제 2 실시간 뇌 신호 데이터를 전달하면, 프로세서(140)는 제 2 실시간 뇌 신호 데이터에 대응하는 뇌 신호 분류기(240)의 출력 값을 산출할 수 있다. 이때, '휴식'의 출력 값이 35%이고, '왼손 움직임'의 출력 값이 62%이고, '오른쪽 움직임'의 출력 값이 1%이고, '발 움직임'의 출력 값이 2%일 수 있다. 그러므로 프로세서(140)는 출력 값이 가장 큰 '왼손 움직임'을 해당 사용자(200)의 의도 판단할 수 있다. 프로세서(140)는 각 움직임의 출력 값 및 최종적으로 판단된 의도가 포함되는 제 2 인식 결과를 생성할 수 있다. 그리고 프로세서(140)는 디스플레이 모듈을 통하여 제 2 인식 결과를 표시할 수 있다. 이때, 제 2 인식 결과는 제 1 인식 결과가 포함되도록 생성될 수 있다.
사용자(200)는 디스플레이 유닛(120)을 통하여 제 2 인식 결과를 확인할 수 있다. 그리고 사용자(200)는 추가적인 뉴로피드백 훈련을 수행하고자 하는 경우 위 과정을 반복 수행할 수 있다.
이때, 프로세서(140)는 뇌 신호 분류기(240)의 출력 값 및 판단된 사용자(200)의 의도를 포함하는 인식 결과와 함께 뇌 신호 데이터를 시각화하여 표시할 수 있다. 이때, 시각화된 뇌 신호 데이터는 실시간 뇌 신호 데이터(210) 및 뇌 신호 분류기(240)를 생성할 때 수집된 뇌 신호 데이터가 포함될 수 있으나, 이에 한정된 것은 아니다.
이러한 과정을 통하여, 사용자(200)는 뉴로피드백 훈련 상태를 확인할 수 있다. 그리고 사용자(200)는 스스로를 교정하여 뇌-컴퓨터 인터페이스 장치(100)의 정확도를 향상시킬 수 있다.
다음은 도 4를 참조하여 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치(100)에서의 뇌 신호의 분류 방법을 설명한다.
도 4는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치(100)에서의 뇌 신호의 분류 방법의 순서도이다.
뇌-컴퓨터 인터페이스 장치(100)는 실시간으로 수신되는 뇌 신호 및 뇌 신호 분류기(240)에 기초하여 뇌 신호에 대응하는 사용자(200)의 의도를 판단한다(S500). 이때, 뇌 신호 분류기(240)는 사용자(200)로부터 기수집된 뇌 신호에 기초하여 생성된 것 복수의 분류기를 포함하며, 뇌 신호를 입력으로 통과시켜 사용자(200)의 의도가 복수의 움직임 중 어느 하나인지를 판단한다.
그리고 뇌-컴퓨터 인터페이스 장치(100)는 각 움직임에 대한 뇌 신호 분류기(240)의 출력 값 및 판단된 사용자(200)의 의도를 디스플레이 모듈에 표시하여 판단된 의도를 사용자(200)에게 전달할 수 있다(S510).
또는, 뇌-컴퓨터 인터페이스 장치(100)는 판단된 의도를 연결된 뇌-컴퓨터 인터페이스 기반 기기가 수행하도록 뇌-컴퓨터 인터페이스 기반 기기로 전달할 수 있다.
다음은 도 5를 참조하여 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치(100)에서의 뇌 신호 분류기(240) 생성 방법을 설명한다.
도 5는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치(100)에서의 뇌 신호 분류기(240) 생성 방법의 순서도이다.
뇌-컴퓨터 인터페이스 장치(100)는 기수집된 뇌 신호에 기초하여 복수의 분류기를 생성한다(S600). 이때, 기수집된 뇌 신호는 사용자(200)에 대한 휴지 상태의 뇌 신호 및 사용자(200)에 대한 활성화 상태의 뇌 신호를 포함한다. 그리고 기수집된 뇌 신호는 사용자(200)에 대한 활성 상태의 뇌 신호는 복수의 움직임에 대응되도록 생성된다.
뇌-컴퓨터 인터페이스 장치(100)는 복수의 분류기에 기초하여 복수의 분류기 앙상블을 생성한다(S610). 이때, 각 분류기 앙상블은 전체 분류기 중 선택된 복수의 분류기가 포함되도록 생성된다.
뇌-컴퓨터 인터페이스 장치(100)는 기수집된 뇌 신호에 기초하여 생성된 의사 온라인 환경에 대한 복수의 분류기 앙상블의 정확도를 산출한다(S620).
그리고 뇌-컴퓨터 인터페이스 장치(100)는 복수의 분류기 앙상블 중 정확도가 가장 큰 분류기 앙상블을 뇌 신호 분류기(240)로 선택한다(S630).
본 발명의 일 실시예에 따른 뇌 신호 기반 기기의 제어를 위한 뇌-컴퓨터 인터페이스 장치(100) 및 방법은 다중 클래스의 분류를 지원하는 분류기 앙상블을 통하여 사용자(200)가 원하는 3개 이상의 움직임을 감지할 수 있다. 또한, 뇌 신호 기반 기기의 제어를 위한 뇌-컴퓨터 인터페이스 장치(100) 및 방법은 사용자(200)가 뇌-컴퓨터 인터페이스 장치(100)의 정확도를 향상시킬 수 있도록 뉴로피드백 훈련을 제공할 수 있다. 그러므로 뇌 신호 기반 기기의 제어를 위한 뇌-컴퓨터 인터페이스 장치(100) 및 방법은 실생활에서 복수의 명령어를 지원하는 기기에 적합한 뇌-컴퓨터 인터페이스 장치(100)를 제공할 수 있다.
또한, 뇌-컴퓨터 인터페이스 장치(100) 및 방법은 재활 환자의 뇌 운동 기능 향상 및 마비 환자의 로봇 팔, 휠체어 등에 대한 기기 제어를 지원할 수 있다. 또한, 뇌-컴퓨터 인터페이스 장치(100) 및 방법은 일반인의 증강 현실 및 게임 내의 아바타 제어와 같은 다양한 게임에 적용할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 뇌-컴퓨터 인터페이스 장치
110: 뇌 신호 측정 유닛
120: 디스플레이 유닛
130: 메모리
140: 프로세서

Claims (14)

  1. 뇌-컴퓨터 인터페이스 장치에 있어서,
    뇌 신호 기반 제어 프로그램이 저장된 메모리, 및
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램의 실행에 따라, 실시간으로 수신되는 뇌 신호 데이터 및 뇌 신호 분류기에 기초하여 상기 뇌 신호 데이터에 대응하는 사용자의 의도를 판단하되,
    상기 뇌 신호 분류기는, 상기 사용자로부터 기수집된 뇌 신호 데이터에 기초하여 생성된 복수의 분류기를 포함하는 분류기 앙상블이며, 상기 실시간으로 수신되는 뇌 신호 데이터를 입력으로 통과시켜 상기 사용자의 의도가 복수의 움직임 중 어느 하나인지를 판단하는 것이며,
    상기 복수의 분류기는 각각 이진 분류 알고리즘 또는 OVR(one-versus-rest) 분류 알고리즘에 기초하여 생성된 것을 포함하며,
    상기 분류기 앙상블은, 상기 기수집된 뇌 신호 데이터가 OVR 분류 알고리즘에 기초하여 생성된 분류기를 통과한 후에 이진 분류 알고리즘에 기초하여 생성된 분류기를 통과하도록 생성되는, 뇌-컴퓨터 인터페이스 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 기수집된 뇌 신호 데이터에 기초하여 복수의 분류기를 생성하고, 상기 복수의 분류기에 기초하여 복수의 분류기 앙상블을 생성하며, 상기 기수집된 뇌 신호 데이터에 기초하여 생성된 의사 온라인 환경에 대한 상기 복수의 분류기 앙상블의 정확도를 산출하고, 상기 산출된 복수의 분류기 앙상블의 정확도에 기초하여 상기 뇌 신호 분류기를 선택하되,
    상기 기수집된 뇌 신호 데이터는 각 움직임에 대응하는 복수의 뇌 신호 데이터를 포함하고,
    각 분류기 앙상블은 전체 분류기 중 선택된 복수의 분류기가 포함되도록 생성된 것인, 뇌-컴퓨터 인터페이스 장치.
  3. 제 2 항에 있어서,
    상기 기수집된 뇌 신호 데이터는 휴지 상태의 뇌 신호 데이터 및 활성 상태의 뇌 신호 데이터를 포함하고,
    상기 활성 상태의 뇌 신호 데이터는 상기 복수의 움직임에 대응되도록 생성된 것인, 뇌-컴퓨터 인터페이스 장치.
  4. 제 2 항에 있어서,
    상기 프로세서는 상기 복수의 분류기 앙상블 중 산출된 정확도가 가장 큰 분류기 앙상블을 상기 뇌 신호 분류기로 선택하는, 뇌-컴퓨터 인터페이스 장치.
  5. 삭제
  6. 제 1 항에 있어서
    상기 사용자에 대한 뇌 신호 데이터를 수집하는 뇌 신호 측정 유닛을 더 포함하고,
    상기 프로세서는 상기 뇌 신호 측정 유닛으로부터 상기 뇌 신호 데이터를 수신하는 것인, 뇌-컴퓨터 인터페이스 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는 뇌-컴퓨터 인터페이스 기반 기기가 상기 사용자의 의도에 대응하는 기능을 수행하도록 상기 사용자의 의도를 상기 뇌-컴퓨터 인터페이스 기반 기기로 전달하는, 뇌-컴퓨터 인터페이스 장치.
  8. 제 1 항에 있어서,
    디스플레이 유닛을 더 포함하되,
    상기 프로세서는 상기 디스플레이 모듈을 통하여 각 움직임에 대한 상기 뇌 신호 분류기의 출력 값 및 상기 사용자의 의도를 표시하여 상기 사용자의 의도를 상기 사용자에게 전달하는, 뇌-컴퓨터 인터페이스 장치.
  9. 제 1 항에 있어서,
    상기 복수의 움직임은 적어도 4개 이상인, 뇌-컴퓨터 인터페이스 장치.
  10. 뇌-컴퓨터 인터페이스 장치에서의 뇌 신호의 분류 방법에 있어서,
    실시간으로 수신되는 사용자의 뇌 신호 데이터 및 뇌 신호 분류기에 기초하여 상기 뇌 신호 데이터에 대응하는 상기 사용자의 의도를 판단하는 단계를 포함하되,
    상기 뇌 신호 분류기는,
    상기 사용자로부터 기수집된 뇌 신호 데이터에 기초하여 생성된 복수의 분류기를 포함하는 분류기 앙상블이며,
    상기 실시간으로 수신되는 뇌 신호 데이터를 입력으로 통과시켜 상기 사용자의 의도가 복수의 움직임 중 어느 하나인지를 판단하는 것이며,
    상기 복수의 분류기는 각각 이진 분류 알고리즘 또는 OVR(one-versus-rest) 분류 알고리즘에 기초하여 생성된 것을 포함하며,
    상기 분류기 앙상블은, 상기 기수집된 뇌 신호 데이터가 OVR 분류 알고리즘에 기초하여 생성된 분류기를 통과한 후에 이진 분류 알고리즘에 기초하여 생성된 분류기를 통과하도록 생성되는, 뇌 신호의 분류 방법.
  11. 제 10 항에 있어서,
    상기 사용자의 의도를 판단하는 단계 이후에, 각 움직임에 대한 상기 뇌 신호 분류기의 출력 값 및 상기 사용자의 의도를 디스플레이 모듈에 표시하여 상기 사용자의 의도를 상기 사용자에게 전달하는 단계를 더 포함하는, 뇌 신호의 분류 방법.
  12. 제 10 항에 있어서,
    상기 사용자의 의도를 판단하는 단계 이후에, 뇌-컴퓨터 인터페이스 기반 기기가 상기 사용자의 의도에 대응하는 기능을 수행하도록 상기 사용자의 의도를 상기 뇌-컴퓨터 인터페이스 기반 기기로 전달하는 단계를 더 포함하는, 뇌 신호의 분류 방법.
  13. 뇌-컴퓨터 인터페이스 장치에서의 뇌 신호 분류기 생성 방법에 있어서,
    기수집된 뇌 신호 데이터에 기초하여 복수의 분류기를 생성하는 단계;
    상기 생성된 복수의 분류기에 기초하여 복수의 분류기 앙상블을 생성하는 단계;
    상기 기수집된 뇌 신호 데이터에 기초하여 생성된 의사 온라인 환경에 대하여 상기 복수의 분류기 앙상블의 정확도를 산출하는 단계; 및
    상기 산출된 복수의 분류기 앙상블의 정확도에 기초하여 상기 뇌 신호 분류기를 선택하는 단계를 포함하되,
    상기 기수집된 뇌 신호 데이터는 복수의 움직임 각각에 대응하는 복수의 뇌 신호 데이터를 포함하고,
    각 분류기 앙상블은 전체 분류기 중 선택된 복수의 분류기가 포함되도록 생성된 것이며,
    상기 복수의 분류기는 각각 이진 분류 알고리즘 또는 OVR(one-versus-rest) 분류 알고리즘에 기초하여 생성된 것을 포함하며,
    상기 분류기 앙상블은, 상기 기수집된 뇌 신호 데이터가 OVR 분류 알고리즘에 기초하여 생성된 분류기를 통과한 후에 이진 분류 알고리즘에 기초하여 생성된 분류기를 통과하도록 생성되는, 뇌 신호 분류기 생성 방법.
  14. 제 10 항 내지 제 13 항 중 어느 한 항에 기재된 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020170036206A 2016-09-30 2017-03-22 뇌 신호 기반 기기 제어를 위한 뇌-컴퓨터 인터페이스 장치 및 방법 KR101970700B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160126945 2016-09-30
KR20160126945 2016-09-30

Publications (2)

Publication Number Publication Date
KR20180036503A KR20180036503A (ko) 2018-04-09
KR101970700B1 true KR101970700B1 (ko) 2019-04-19

Family

ID=61978108

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170036206A KR101970700B1 (ko) 2016-09-30 2017-03-22 뇌 신호 기반 기기 제어를 위한 뇌-컴퓨터 인터페이스 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101970700B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102248796B1 (ko) * 2018-10-31 2021-05-07 울산과학기술원 사용자의 의사결정 예측 방법 및 장치
KR102175997B1 (ko) * 2018-12-13 2020-11-06 성균관대학교산학협력단 뇌파 기반의 사용자 의도 인식 방법 및 장치
KR102276522B1 (ko) * 2019-08-19 2021-07-12 금오공과대학교 산학협력단 뇌-컴퓨터 인터페이스 시스템을 위한 다중 뇌 신호 기반의 사용자 의도 시점 검출 방법 및 그 장치
KR102313622B1 (ko) 2019-08-21 2021-10-19 한국과학기술연구원 생체신호 기반 아바타 제어시스템 및 방법
CN110955330B (zh) * 2019-11-22 2021-05-18 燕山大学 基于复杂对象控制的高唤醒度的脑电意图辨析方法
KR102640557B1 (ko) * 2021-10-01 2024-02-23 서울대학교산학협력단 음악 이론을 이용한 뇌-컴퓨터 인터페이스 기반 음악 작곡 방법 및 장치
KR20230138782A (ko) * 2022-03-24 2023-10-05 서울대학교산학협력단 Bci에 기반한 음악 추론 방법 및 장치
CN116400800B (zh) * 2023-03-13 2024-01-02 中国医学科学院北京协和医院 一种基于脑机接口和人工智能算法的als患者人机交互系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120059273A1 (en) 2010-09-03 2012-03-08 Faculdades Catolicas, a nonprofit association, Maintainer of the Pontificia Universidade Cotolica Process and device for brain computer interface
US20140316230A1 (en) 2013-04-22 2014-10-23 Personal Neuro Devices Inc. Methods and devices for brain activity monitoring supporting mental state development and training

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101205892B1 (ko) 2010-08-24 2012-11-28 연세대학교 원주산학협력단 뇌파 신호로부터 2차원 공간-주파수 ｅｒｄ／ｅｒｓ 패턴을 생성하는 방법, 이 2차원 공간-주파수 ｅｒｄ／ｅｒｓ 패턴을 이용한 인간 의도를 분류하는 방법 및 이 분류 방법으로 분류된 뇌파 신호를 입력신호로 사용하는 뇌-컴퓨터 인터페이스 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120059273A1 (en) 2010-09-03 2012-03-08 Faculdades Catolicas, a nonprofit association, Maintainer of the Pontificia Universidade Cotolica Process and device for brain computer interface
US20140316230A1 (en) 2013-04-22 2014-10-23 Personal Neuro Devices Inc. Methods and devices for brain activity monitoring supporting mental state development and training

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ahangi, Amir, et al. "Multiple classifier system for EEG signal classification with application to brain-computer interfaces." Neural Computing and Applications 23.5, 2013.*
Lotte, Fabien, et al. "A review of classification algorithms for EEG-based brain-computer interfaces." Journal of neural engineering 4.2, 2007.

Also Published As

Publication number Publication date
KR20180036503A (ko) 2018-04-09

Similar Documents

Publication Publication Date Title
KR101970700B1 (ko) 뇌 신호 기반 기기 제어를 위한 뇌-컴퓨터 인터페이스 장치 및 방법
US11627903B2 (en) Method for diagnosing cognitive disorder, and computer program
Lotte et al. Electroencephalography (EEG)-based brain-computer interfaces
KR102143900B1 (ko) 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법
US11834052B2 (en) Estimator generation apparatus, monitoring apparatus, estimator generation method, and computer-readable storage medium storing estimator generation program
KR101656739B1 (ko) 뇌파 기반의 착용형 로봇의 제어 장치 및 방법
US6546378B1 (en) Signal interpretation engine
US20200074380A1 (en) Work support device, work support method, and work support program
US10874343B2 (en) Methods and systems for rapid screening of mild traumatic brain injury
US20070066914A1 (en) Method and System for Detecting and Classifying Mental States
Tavakolan et al. Classifying three imaginary states of the same upper extremity using time-domain features
SG172262A1 (en) Device and method for generating a representation of a subject's attention level
KR101842750B1 (ko) 뇌파 훈련을 위한 실시간 시뮬레이터 및 이를 이용한 인터페이스 장치
KR20180028888A (ko) 사용환경에 적응적인 뇌-컴퓨터 인터페이스 장치 및 그 장치의 동작 방법
CN115329818A (zh) 基于vr的多模态融合注意力评估方法、系统及存储介质
KR20190062174A (ko) 뇌-컴퓨터 인터페이스 기반 뇌신호 분류 결과 제공 장치 및 방법
Zhang et al. A novel pattern with high-level commands for encoding motor imagery-based brain computer interface
CN113128585B (zh) 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法
CN113974589A (zh) 多模态行为范式评估优化系统及认知能力评价方法
Baig et al. Analyzing novice and expert user’s cognitive load in using a multi-modal interface system
KR102282101B1 (ko) 기능적 근적외선 분광법을 이용한 대상체의 상태를 결정하기 위한 방법 및 시스템
KR101914189B1 (ko) 복수의 뇌신호에 대한 공통 패턴을 제공하는 장치 및 방법
Aspiotis et al. Active touch classification using EEG signals
Cecotti et al. Suboptimal sensor subset evaluation in a p300 brain-computer interface
CN109820523A (zh) 心理测试仪控制方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant