KR101962276B1

KR101962276B1 - 로봇팔 장치를 제어하기 위한 뇌-컴퓨터 인터페이싱 방법 및 그 뇌-컴퓨터 인터페이스 장치

Info

Publication number: KR101962276B1
Application number: KR1020170114617A
Authority: KR
Inventors: 이성환; 정지훈; 김근태
Original assignee: 고려대학교 산학협력단
Priority date: 2017-09-07
Filing date: 2017-09-07
Publication date: 2019-03-26
Also published as: US10980466B2; US20190073030A1; KR20190027617A

Abstract

본 발명은 BCI 장치가 로봇팔 장치의 동작을 제어하기 위한 제어 신호 생성 방법 및 그 BCI 장치를 제공한다. 본 방법은 제1 뇌파를 계측하여, 제1 뇌파의 추상적 특징을 추출하는 단계; 제1 뇌파의 추상적 특징을 기초로 팔 뻗기 제어 모드, 손 쥐/펴기 제어 모드 및 손목 회전 제어 모드 중 하나의 제어 모드를 결정하는 단계; 결정된 제어 모드를 사용자에게 피드백하는 단계; 오류관련전위를 계측하는 단계; 오류관련전위가 임계값을 초과하면, 제1 뇌파의 추상적 특징을 재추출하여 제어 모드를 재결정하며, 오류관련전위가 임계값을 초과하지 않으면, 제2 뇌파를 계측하는 단계; 결정된 제어 모드에 따라 제2 뇌파에 대해 서로 다른 특징 추출 기법 및 서로 다른 분류 기법을 적용하여 결과값을 추출하는 단계; 및 결과값을 기초로 생성된 제어 신호를 로봇팔 장치로 제공하는 단계를 포함한다.

Description

로봇팔 장치를 제어하기 위한 뇌-컴퓨터 인터페이싱 방법 및 그 뇌-컴퓨터 인터페이스 장치 {BRAIN-COMPUTER INTERFACE APPARATUS AND BRAIN-COMPUTER INTERFACING METHOD FOR MANIPULATING ROBOT ARM APPARATUS}

본 발명은 로봇팔 장치를 제어하기 위한 뇌-컴퓨터 인터페이싱 방법 및 그 뇌-컴퓨터 인터페이스 장치에 관한 것이다.

일반적으로 뇌파(brain wave)는 시간적 특징, 주파수에 따른 대역 별 특징, 공간적 특징에 따라 다양한 종류로 분류가 가능하며, 다음과 같이 분류된다. 사람이 눈을 감은 편안한 상태에서 발현되는 알파파(주파수 8~13Hz, 진폭 20~60V), 의식적으로 집중한 상태에서 발현되는 베타파(14~30Hz, 진폭 2~20V), 얕은 수면 상태에서 발현되는 세타파(주파수 4~7Hz, 진폭 20~100V) 등으로 분류되며, 특히 알파파 중에서도 사람의 움직임 의도(또는 움직임 상상) 시에 뇌 운동영역(Motor cortex)에서 발현되는 뮤밴드파(Mu-band)(8~12Hz)가 별도로 분류된다.

뇌-컴퓨터 인터페이스(brain-computer interface, BCI)는 비침습적으로 사용자의 뇌파를 계측 및 분석하여 다양한 외부 장치를 제어할 수 있는 기술이다. 생각하는 것만으로 의도적으로 발현되는 특정 패턴의 뇌 신호를 분석하여 외부 장치를 제어할 수 있기 때문에, BCI 장치는 루게릭병이나 척수손상과 같은 중증장애로 인해 신체의 움직임이 자유롭지 못한 장애인들의 보철 기구 제어, 의사 소통을 위한 스펠러 등과 같은 의료 분야에서 사용되어 왔다. 그러나 최근 일반인들의 일상생활 보조 서비스 개발을 통한 다양한 분야에서 BCI 기술이 적용되고 있는 추세이다. BCI 기술이 일상생활에서 적용되기 위해서는, BCI 기술이 접목된 장치에서 다양한 명령어들을 처리할 수 있어야 한다. 하지만 종래의 BCI 기술이 접목된 장치들은 특정한 움직임 상상을 검출/처리하는데에 그치고 있어, 일상생활에 적용되는데에 한계가 있었다.

이와 관련하여, 한국등록특허 제 10-1205892호(발명의 명칭: BCI를 위한 사용자 의도인지 분석 방법)는 사용자의 뇌파 데이터를 획득하여 주파수 신호로 변환한 후, 변환된 주파수 신호의 대역에 따라 운동 감각과 관련된 주파수 영역을 분류하고, 사용자의 움직임 상상(motor imagery)에 따라 나타나는 특징을 분석하여 사용자의 의도인지(intention recognition)를 검출하고, 의도인지에 대한 검출 결과를 상기 사용자가 확인 가능하도록 표시하는 내용을 개시한다. 그러나 상기 특허는 여전히 다양한 움직임 상상을 검출/처리하는데에는 한계가 있다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, BCI 장치와 연계된 로봇팔 장치의 다양한 동작을 보다 효율적이고 정확하게 제어할 수 있는 BCI 장치를 제공하는데에 그 목적이 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제1 측면은 제1 뇌파를 계측하여, 제1 뇌파의 추상적 특징을 추출하는 단계; 제1 뇌파의 추상적 특징을 기초로 팔 뻗기 제어 모드, 손 쥐/펴기 제어 모드 및 손목 회전 제어 모드 중 하나의 제어 모드를 결정하는 단계; 결정된 제어 모드를 사용자에게 피드백하는 단계; 오류관련전위를 계측하여 임계값과 비교하는 단계; 오류관련전위가 임계값을 초과하면, 제1 뇌파의 추상적 특징을 재추출하여 제어 모드를 재결정하며, 오류관련전위가 임계값을 초과하지 않으면, 제2 뇌파를 계측하는 단계; 결정된 제어 모드에 따라 제2 뇌파에 서로 다른 특징 추출 기법 및 서로 다른 분류 기법을 적용하여 결과값을 추출하는 단계; 및 결과값을 기초로 생성된 제어 신호를 로봇팔 장치로 제공하는 단계를 포함하는, BCI(brain computer interface) 장치가 로봇팔 장치의 동작을 제어하기 위한 제어 신호 생성 방법을 제공한다.

또한, 본 발명의 제2 측면은, 뇌파를 계측하는 뇌파 계측 장치; BCI 장치가 BCI 장치와 연계된 로봇팔 장치의 동작을 제어하기 위한 제어 신호를 생성하는 프로그램이 저장된 메모리; 및 메모리에 저장된 프로그램을 실행하는 제어부를 포함하는 BCI 장치를 제공한다. 이때, 제어부는 상기 프로그램의 실행에 따라, 뇌파 계측 장치에 의해 계측된 제1 뇌파를 기초로 제1 뇌파의 추상적 특징을 추출하고, 제1 뇌파의 추상적 특징을 기초로 팔 뻗기 제어 모드, 손 쥐/펴기 제어 모드 및 손목 회전 제어 모드 중 하나의 제어 모드를 결정하며, 결정된 제어 모드를 사용자에게 피드백한 후, 뇌파 계측 장치에 의해 계측된 오류관련전위를 임계값과 비교하여, 오류관련전위가 임계값을 초과하면 제1 뇌파의 추상적 특징을 재추출하여 제어 모드를 재결정하고, 오류관련전위가 임계값을 초과하지 않으면, 결정된 제어 모드에 따라 뇌파 계측 장치에 의해 계측된 제2 뇌파에 서로 다른 특징 추출 기법 및 서로 다른 분류 기법을 적용하여 결과값을 추출하고, 결과값을 기초로 생성된 제어 신호를 로봇팔 장치로 제공한다.

또한, 본 발명의 제3 측면은, 상기 제1 측면의 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.

전술한 과제 해결 수단에 따르면, 본 개시는 사용자의 움직임 상상에 따라 로봇팔 장치의 동작을 제어하기 위한 제어 신호를 보다 정확하게 생성할 수 있는 방법 및 그 BCI 장치를 제공할 수 있다. 특히 추상적 특징을 활용하여 신속하게 제어 모드를 결정하고 이를 사용자에게 피드백하여 사용자의 움직임 상상(또는 움직임 의도)에 일치하는지를 확인함으로써, 로봇팔 장치가 사용자의 의도와 다르게 동작하는 것을 방지할 수 있다. 또한, 제어 모드를 결정하는 단계와 실제 로봇팔 장치를 제어하는 단계를 구분함으로써, 각 제어 모드에 대응하여 보다 세밀한 로봇팔 장치 제어가 가능토록 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 BCI 장치의 동작 방법을 도시한 순서도이다.
도 2는 본 발명의 일 실시예에 따라 제어 모드를 결정하는 방법을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따라 추출된 제2 뇌파의 공간적 특징을 도시한다.
도 4는 본 발명의 일 실시예에 따라 BCI 장치가 제3 뇌파로부터 제어 신호를 생성하는 일련의 과정을 도시한다.
도 5는 본 발명의 일 실시예에 따른 BCI 장치의 구성을 도시한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 이하에서 언급되는 "움직임 상상(motor imagery)"는 동작 상상, 움직임 의도, 동적 심상 등으로 지칭될 수 있다.

이하, 도면을 참조하여, 본 발명의 일 실시예에 대하여 구체적으로 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 BCI(brain-computer interface) 장치의 동작 방법을 도시한 순서도이다. 여기서, BCI 장치(100)는 도 5에 도시된 장치로서, 컴퓨터나 휴대용 단말기로 구현될 수 있다. 또한, BCI 장치(100)는 사용자가 착용가능한 형태의 웨어러블 장치로 구현될 수도 있다. 또한, BCI 장치(100)와 연계되어 동작하며, 사용자의 상지 움직임(즉, 팔 움직임)을 보조하는 로봇팔 장치(미도시)일 수 있다. 이때, 로봇팔 장치(미도시)는 사용자의 상지에 착용가능한 형태로 구현될 수 있으나, 이에 제한되는 것은 아니며, 사용자와 별도로 위치하여 사용자의 움직임 상상에 따라 동작하는 장치일 수도 있다.

먼저, BCI 장치(100)는 사용자의 제어 모드를 결정하기 위한 제1 뇌파를 계측한다(S100). 본 발명의 일 실시예에 따른 BCI 장치(100)는 유발적 또는 자발적으로 사용자가 상지 움직임을 상상하는 움직임 상상을 수행할 경우, 복수의 뇌 영역(예컨대, 감각운동 피질(sensorymotor cortex) 상의 복수의 영역)에서 발생하는 이벤트 관련 비동기화 신호(Event-Related Desynchronization, ERD)/이벤트 관련 동기화 신호(Event-Related Synchronization, ERS)를 검출할 수 있다. 여기서, ERD 신호는 자극(즉, 유발적/자발적 움직임 상상)에 따라 특정 주파수(예컨대, 뮤밴드파)에서 뇌파가 일시적으로 감소하는 현상에 따른 신호이며, ERS신호는 자극에 따라 특정 주파수(예컨대, 베타파)에서 뇌파가 증가하는 현상에 따른 신호를 나타낸다.

특히, 사용자가 움직임 상상을 수행하는 동안은 ERD신호가 우선하여 발현되며, 움직임 상상 이후에 ERS 신호가 발현된다. 따라서, BCI 장치(100)가 사용자의 제어 모드를 결정하기 위해 계측하는 제1 뇌파는 사용자의 움직임 상상에 따라 우선하여 발현되는 ERD 신호이거나, ERD/ERS 신호일 수 있다.

이어서, BCI 장치(100)는 제1 뇌파의 추상적 특징(feature)을 추출한다(S110). 여기서, 추상적 특징이란, 제1 뇌파의 ERD 패턴에 기반한 주파수적 특징 및 시공간적 특징 중 적어도 하나로서 추상화된 값일 수 있다. 예를 들어, BCI 장치(100)는 ERD 신호를 기초로 주파수적 특징 및 시공간적 특징 중 적어도 하나를 추출하고, 추출된 특징을 스칼라(scalar) 값으로 변환할 수 있다.

상기한 주파수적 특징은 움직임 상상에 따라 주파수 대역에서 나타나는 특징으로서, ERD 신호의 주파수 대역 별 파워(dB/Hz) 분산일 수 있으며, 최대 파워값으로 추상화될 수 있다. 구체적으로, BCI 장치(100)는 계측된 제1 뇌파를 약 1 내지 50 Hz 주파수 대역으로 주파수 필터링한 후, 주파수 대역 별 파워 분산을 분석하여, 최대 파워값을 추출할 수 있다. 또한, 시공간적 특징은 ERD 신호의 시간-주파수 도메인(time-frequency domain)에서의 진폭(amplitude) 분산으로 나타날 수 있으며, 최대 진폭이 나타나는 주파수 영역으로 추상화될 수 있다. 예를 들어, BCI 장치(100)는 ERD 신호를 주파수 신호로 변환한 후, 주파수 신호의 진폭을 시간 방향으로 평균화하여 시공간적 특징을 추출할 수 있으며, 시공간적 특징이 집중된 주파수 영역을 추출할 수 있다. 여기서, 시공간적 특징은 공통 공간 패턴(common spatial pattern) 기법에 의해 추출될 수 있으며, 시공간적 특징이 집중된 주파수 영역은 기 학습된 분류기에 의해 획득될 수 있다.

한편, BCI 장치(100)가 사용자의 왼손 및 오른손 움직임에 모두 관여하는 경우, BCI 장치(100)는 추출된 특징을 기초로 사용자의 왼손 또는 오른손 제어를 결정할 수 있다. 즉, 사용자가 왼손을 움직이는 움직임 상상을 수행할 경우 뇌의 우반구 영역에서 ERD 신호가 발생되며, 오른손을 움직이는 움직임 상상을 수행할 경우 뇌의 좌반구 영역에서 ERD 신호가 발생된다. 따라서, BCI 장치(100)는 추출된 특징에 대응되는 뇌 영역을 기초로 움직임 상상에 대응되는 손(즉, 왼손 또는 오른손)을 결정할 수 있다.

이어서, BCI 장치(100)는 제1 뇌파의 추상적 특징을 기초로 제어 모드를 결정한다(S120). 여기서, 제어 모드는 BCI 장치(100)에 의해 제어되는 로봇팔 장치(미도시)의 동작을 제어하기 위한 제어 신호 생성과 관련된다. 예시적으로, 제어 모드는 팔 뻗기 제어 모드, 손 쥐/펴기 제어 모드 및 손목 회전 제어 모드를 포함하며, 각 제어 모드에서 BCI 장치(100)는 로봇팔 장치(미도시)의 팔뻗기 동작, 손 쥐/펴기 동작 및 회전 동작을 지시하기 위한 제어 신호를 생성한다.

한편, 뇌파는 상지 움직임 중에서도 팔 뻗기 동작, 손가락 손 쥐/펴기 동작, 손목 회전 동작에 대해 서로 다른 특징 분포를 나타낸다. 이에 따라, BCI 장치(100)는 전술한 단계(S110)에서 추출된 추상적 특징을 기초로 제어 모드를 결정한다.

도 2는 본 발명의 일 실시예에 따라 제어 모드를 결정하는 방법을 도시한 도면이다. 도 2에 도시된 바와 같이, 계측된 뇌파(200)가 유발적인지 자발적인지 여부에 따라 BCI 장치(100)는 주파수 대역 별 파워 분산(201) 및/또는 진폭 분산(202)을 추출한다. 이때, 진폭 분산(202)에서 파란색 라인은 휴지기 상태에서의 뇌 신호 패턴을 나타내며, 빨간색 라인은 동작 상상 시 발현되는 ERD/ERS 뇌 신호 패턴을 나타낸다. 또한, 유발적이라는 것은 BCI 장치(100) 또는 기타 장치(미도시)에서 사용자의 움직임을 유도하는 시각 및/또는 청각 정보가 제공된 이후에 제1 뇌파가 획득되는 것을 의미하며, 자발적이라는 것은 상기한 시각 및/또는 청각 정보가 제공되지 않은 상태에서 제1 뇌파가 획득되는 것을 의미한다.

BCI 장치(100)는 제1 뇌파의 ERD 패턴을 기초로 주파수 대역 별 파워 분산(201) 및/또는 진폭 분산(202)을 기초로 추상적 특징을 추출하며, 이로부터 제어 모드를 결정한다. 예컨대, BCI 장치(100)는 제1 뇌파의 최대 파워값이 제1 주파수 대역(예컨대, 약 15Hz)에 대응되면 제어 모드를 팔 뻗기 제어 모드로 결정하며, 제2 주파수 대역(예컨대, 약 30Hz)에 대응되면 제어 모드를 손 쥐/펴기 제어 모드로 결정하며, 제3 주파수 대역(예컨대, 약 45Hz)에 대응되면 제어 모드를 손목 회전 제어 모드로 결정한다. 또한, BCI 장치(100)는 시공간적 특징이 집중된 주파수 영역이 제1 영역(204)에 대응되면 팔뻗기 제어 모드를 결정하며, 제2 영역(205)에 대응되면 제어 모드를 손 쥐/펴기 제어 모드로 결정하며, 제3 영역(206)에 대응되면 제어 모드를 손목 회전 제어 모드로 결정한다.

다시 도 1을 참조하면, BCI 장치(100)는 전술한 단계(S110)에서 결정된 제어 모드를 사용자에게 피드백(feedback)한다(S120). 즉, BCI 장치(100)는 결정된 제어 모드를 시각적 및/또는 청각적으로 사용자에게 알림할 수 있다. 예를 들어, BCI 장치(100)는 스피커 또는 LED를 통해 사용자에게 결정된 제어 모드를 알림할 수 있다.

한편, 전술한 단계들(S110 내지 S130)은 기 학습된 인공 신경망(neural network)에 의해 수행될 수도 있다. 예컨대, BCI 장치(100)는 S100에서 계측된 제1 뇌파를 인공 신경망에 입력한 후, 결과값으로서 제어 모드를 출력 받을 수 있다. 이때, 인공 신경망은 전술한 과정에 대응하여 제1 뇌파의 추상적 특징 추출부와 스칼라 분류기를 포함하여 구현될 수 있다.

이어서, BCI 장치(100)는 일정 시간 동안 제2 뇌파를 계측하여(S140), 제어 모드 선택에서 발생되는 오류를 검출한다(S150). 이때, 제2 뇌파는 오류관련전위(error-related potential, ErrP)로서, 사용자가 오류가 있다고 판단하였을 경우에 발현된다. BCI 장치(100)는 제2 뇌파를 특정 주파수 대역으로 필터링한 후, 해당 주파수 대역의 시공간적 특징(예컨대, 시간 방향으로 평균화된 주파수 진폭 분산값)을 추출함으로써, 오류관련전위가 임계값을 초과하는지 여부를 판단한다. 이때, 임계값은 평균적인 사람을 대상으로 정상 상태에서 측정된 오류관련전위의 평균값에 기반하여 결정된 것으로서, 실험적으로 결정될 수 있다.

도 3은 본 발명의 일 실시예에 따라 추출된 제2 뇌파의 공간적 특징을 도시한다. 도 3을 참조하면, 오류관련전위는 정상 상태(파란색 선)에서 임계값을 초과하지 않으며 '0'에 수렴되나, 오류 검출 상태(빨간색 선)에서는 임계값을 초과하는 값을 가짐을 확인할 수 있다. 이와 같이, BCI 장치(100)는 제어 모드를 사용자에게 피드백한 후에 오류관련전위를 계측하여 제어 모드가 올바르게 결정되었는지를 확인함으로써, 로봇팔 장치(미도시)가 사용자의 움직임 의도와 달리 동작되는 것을 방지할 수 있다.

다시 도 1을 참조하여, S150 단계에서 오류관련전위가 임계값을 초과하였다면, BCI 장치(100)는 S100 내지 S140 단계를 다시 수행한다. 즉, BCI 장치(100)는 다시 제1 뇌파의 추상적 특징을 추출하여 제어 모드를 재결정할 수 있다.

그러나 오류관련전위가 임계값을 초과하지 않으면, BCI 장치(100)는 제3 뇌파를 계측한다(S160). 이때, 제3 뇌파는 ERD/ERS 신호이다.

이후, BCI 장치(100)는 결정된 제어 모드에 기초하여 서로 다른 특징 추출 기법 및 분류 기법을 적용할 수 있다(S170, S180, S190). 이때, BCI 장치(100)는 ERD/ERS 신호를 모두 사용하여 특징을 추출하며, 각 제어 모드를 기초로 서로 다른 제어 신호를 생성한다. 예시적으로, BCI 장치(100)는 팔 뻗기 제어 모드에 대응하여, 제3 뇌파로부터 3차원의 6방향(앞, 뒤, 상, 하, 좌, 우) 중 어느 한 방향으로 로봇팔 장치(미도시)의 로봇팔이 뻗어지도록 동작시키는 제어 신호를 생성한다. 또한, BCI 장치(100)는 손 쥐/펴기 제어 모드에 대응하여, 제3 뇌파로부터 로봇팔 장치(미도시)의 손 부분이 펴지거나 굽혀지도록 동작시키는 제어 신호를 생성한다. 또한, BCI 장치(100)는 손목 회전 제어 모드에 대응하여, 제3 뇌파로부터 로봇팔 장치(미도시)의 손목을 우측 또는 좌측으로 회동시키는 제어 신호를 생성한다.

구체적으로, BCI 장치(100)는 ERD/ERS 신호를 기초로, 각 제어 모드에 대응하여 서로 다른 방식으로 특징을 추출한다(S171, S181, S191). 예를 들어, BCI 장치(100)는 팔 뻗기 제어 모드에 대응하여 제1 주파수 영역(즉, 약 15Hz)으로 ERD/ERS 신호를 필터링한 후, 신호 추정(Regression) 모델을 통해 주파수 파워값을 추출하여 주파수적 특징을 추출하거나, 라플라시안(Laplacian) 공간 필터를 이용하여 공간적 특징을 추출할 수 있다. 이때, 필터링되는 주파수 영역은 제1 뇌파로부터 분석된 주파수 대역별 파워 분산값을 기초로 조정(예컨대, 제1 주파수 영역이 약 15Hz에서 약 17Hz로 조정되는 등)될 수도 있다.

또한, BCI 장치(100)는 손 쥐/펴기 제어 모드에 대응하여, 제2 주파수 영역(즉, 약 30Hz)으로 제3 뇌파를 필터링한 후, 공통 공간 패턴 알고리즘을 활용하여 시공간적 특징을 추출하거나, 저주파 영역(예컨대, 30Hz 이하)으로 제3 뇌파를 필터링한 후 주파수적 특징을 추출할 수 있다.

또한, BCI 장치(100)는 손목 회전 제어 모드에 대응하여, 제3 뇌파 신호원의 시공간적 국소화 기법을 활용하여 특징을 추출할 수 있다. 예를 들어, BCI 장치(100)는 제3 뇌파를 복수의 신호 공간(예컨대, 신호 공간 및 잡음 공간)으로 분리한 후 신호 공간의 기저 벡터를 기초로 복수의 신호원 중에서 측정된 뇌파에 기여도가 가장 높은 신호원의 특징을 추출한다.

다음으로, BCI 장치(100)는 전술한 단계에서 추출된 특징을 기초로 각 제어 모드에 대응되는 서로 다른 특징 분류 동작을 수행함으로써, 각 제어 모드에 대응하는 제어 신호를 생성한다(S172, S182, S192). 즉, BCI 장치(100)는 각 제어 모드에 대응하여 최적화하여 분류 동작을 수행한다.

예시적으로, 팔 뻗기 제어 모드에 대응하여, BCI 장치(100)는 선형판별분석법(linear discriminant analysis, LDA), 서포터 벡터 머신(support vector machine, SVM) 등을 적용하여 3차원 6방향(즉, 앞, 뒤, 상, 하, 좌, 우) 중에서 일방향을 결정한다. 여기서, 선형 판별 분석법(LDA)은 통계적으로 각 특징 군에 대한 특성을 판단하여 반복적으로 분할하기 용이한 기저 벡터를 생성하는 방식이다. 또한, 서포터 벡터 머신(SVM)은 두 카테고리 중 어느 하나에 속한 특징 군이 주어졌을 때, 주어진 특징 군을 바탕으로 하여 새로운 특징 군이 어느 카테고리에 속할지 판단하는 비확률적 이진 선형 분류 모델을 생성하는 기법이다. 이때, 분류 모델의 결과값은 3차원 6방향 중의 일방향을 가리키며, BCI 장치(100)는 분류 모델의 결과값을 기초로 제어 신호를 생성한다.

또한, 손 쥐/펴기 제어 모드에 대응하여, BCI 장치(100)는 추출된 특징(즉, 시공간적 특징)에 대한 주성분 분석법(principal component analysis), 독립 성분 분석법(independent component analysis) 등을 적용하여 쥐기 및 펴기 동작 중 하나를 결정한다. 여기서, 주성분 분석법(PCA)은 특징 군의 데이터를 한 개의 축(예컨대, 시간 축)으로 사상시켰을 때 그 분산이 가장 커지는 축이 첫 번째 좌표축으로 오고, 두 번째로 커지는 축이 두 번째 좌표축으로 오는 것과 같은 방법으로 새로운 좌표계로 데이터를 선형 변환하여 새로운 데이터를 분류하는 모델일 수 있다. 또한, 독립 성분 분석(ICA)은 서로 간에 통계적 독립을 이루는 비 가우스 성 성분의 신호를 통계적으로 하부 성분으로 분리하는 분류 모델일 수 있다. 분류 모델의 결과값은 쥐기 또는 펴기 동작을 가리키며, BCI 장치(100)는 분류 모델의 결과값을 기초로 제어 신호를 생성한다.

또한, 손목 회전 제어 모드에 대응하여, BCI 장치(100)는 추출된 특징(즉, 뇌파 특징)에 대해 로지스틱 회기 분석 기법(logistic regression analysis) 등을 적용하여, 회전 방향(좌측/우측)을 결정한다. 여기서, 로지스틱 회기 분석(LRA)이라 함은 종속변수인 좌측/우측과 독립변수인 특징 군의 관계를 분석하여, 독립변수를 통해 종속변수(즉, 좌측/우측)를 예측하는 통계적 분류 모델일 수 있다. 분류 모델의 결과값은 좌측 또는 우측 회전 동작을 가리키며, BCI 장치(100)는 분류 모델의 결과값을 기초로 제어 신호를 생성한다.

이후, BCI 장치(100)는 생성된 제어 신호를 연계된 로봇팔 장치(미도시)로 제공한다.

도 4는 본 발명의 일 실시예에 따라 BCI 장치(100)가 제3 뇌파로부터 제어 신호를 생성하는 일련의 과정을 도시한다. 도 4에 도시된 바와 같이, BCI 장치(100)는 앞서 결정된 제어 모드에 대응하여 서로 다른 특징 추출 기법을 이용하여 제3 뇌파로부터 특징을 추출하며, 서로 다른 분류 기법을 이용하여 각 제어 모드에 대응하는 제어 신호를 출력한다.

이와 같이, 개시된 실시예에 따른 BCI 장치(100)는 제1 뇌파에 대해서는 추상화된 특징을 추출하여 신속하게 제어 모드를 결정하며, 오류관련전위를 통해 제어 모드가 올바르게 결정되었는지를 확인한 후, 해당 제어 모드에 최적화된 특징 추출 기법 및 분류 기법을 적용함으로써 보다 정확하게 사용자가 상상한 움직임(또는 의도한 움직임)에 대응하는 제어 신호가 생성되도록 할 수 있다.

도 5는 본 발명의 일 실시예에 따른 BCI 장치(100)의 구성을 도시한다. 이하의 BCI 장치(100)는 도1 내지 도4 에서 설명된 실시예들과 관련된다. 따라서, 이하 생략된 내용이라 할지라도, 도1 내지 도 4 에서 설명된 내용들은, 도5 의 BCI 장치(100)에도 적용될 수 있다.

도 5를 참조하면, BCI 장치(100)는 뇌파 계측 장치(110), 전처리부(120), 메모리(130), 및 제어부(140)를 포함한다.

뇌파 계측 장치(110)는 제어부(140)의 제어에 의해, 사용자의 뇌파(electroencephalogram, EEG)를 계측한다. 이때, 뇌파 계측 장치(110)는 사용자의 복수의 뇌 영역에 접촉되는 복수의 채널로부터 뇌파를 계측한다.

전처리부(120)는 계측된 뇌파에 대응하는 신호 처리를 수행한다. 예를 들어, 전처리부(120)는 계측된 뇌파에 대한 노이즈 필터링, 주파수 필터링, 라플라시안(Laplacian) 공간 필터링 등을 수행할 수 있다.

메모리(130)는 BCI 장치(100)와 연계된 로봇팔 장치(미도시)의 동작을 제어하기 위한 제어 신호를 생성하는 프로그램을 저장한다. 이때, 메모리(130)는 전원이 공급되지 않아도 저장된 정보를 유지하는 비휘발성(non-volatile) 저장 장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장 장치를 통칭하는 것일 수 있다.

제어부(140)는 BCI 장치(100)의 전반적인 동작을 제어하기 위한 하나 이상의 구성 요소를 포함한다. 특히, 제어부(140)는 메모리(130)에 저장된 프로그램을 독출하고, 상기 프로그램을 수행하는 적어도 하나의 프로세서(processor, 미도시)를 포함할 수 있다.

구체적으로, 제어부(140)는 뇌파 계측 장치(110)로부터 계측된 제1 뇌파로부터 추상적 특징을 추출한다. 제1 뇌파는 ERD 신호로서, 제1 뇌파의 추상적 특징이란, ERD 신호에 기반한 주파수적 특징(feature) 및 시공간적 특징 중 적어도 하나로서, 추상화된 값일 수 있다. 즉, 제어부(140)는 전처리부(120)를 통해 추출된 제1 뇌파의 ERD 패턴을 이용하여 주파수적, 시공간적 특징을 추출한 후, 이를 스칼라 값으로 변환할 수 있다. 이때, 제어부(140)는 ERD 신호에 대응되는 주파수 대역 별 파워 분산을 기초로 최대 파워값을 획득하거나, ERD 신호에 대응되는 주파수 진폭을 시간 방향으로 평균화하여 추출된 시공간적 특징을 기초로 시공간적 특징이 집중된 주파수 영역을 획득할 수 있다. 그러나, 이에 제한되는 것은 아니며, 제어부(140)는 기 학습된 분류기를 이용하여 제1 뇌파의 추상적 특징을 추출할 수도 있다.

이후, 제어부(140)는 제1 뇌파의 추상적 특징을 기초로 팔 뻗기 제어 모드, 손 쥐/펴기 제어 모드 및 손목 회전 제어 모드 중 하나의 제어 모드를 결정한다.

이후, 제어부(140)는 결정된 제어 모드를 시각적 및/또는 청각적으로 사용자에게 알림할 수 있다. 이를 위해, BCI 장치(100)는 스피커, LED 등과 같은 알림 장치를 더 포함할 수 있다.

이후, 제어부(140)는 피드백 후 일정 시간동안 계측된 제2 뇌파(즉, 오류관련전위)를 임계값과 비교한다. 오류관련전위가 임계값을 초과하면, 제어부(140)는 전술한 과정을 반복수행하여, 제1 뇌파의 추상적 특징을 다시 추출하여, 제어 모드를 재결정한다.

그러나, 오류관련전위가 임계값을 초과하지 않으면, 제어부(140)는 제3 뇌파를 계측한다. 이때 제3 뇌파는 ERD/ERS 신호이며, 제어부(140)는 ERD/ERS 신호에 기반하여 하기 동작을 수행한다.

만약, 결정된 제어 모드가 팔 뻗기 제어 모드인 경우, 제어부(140)는 제3 뇌파를 제1 주파수 영역(즉, 약 15Hz)으로 필터링한 후, 신호 추정 모델을 통해 제3 뇌파의 주파수 파워값을 추출하고, 선형판별분석법(linear discriminant analysis, LDA) 및 서포터 벡터 머신(support vector machine, SVM) 중 적어도 하나를 적용하여, 앞, 뒤, 상, 하, 좌, 우 중 어느 한 방향을 결과값으로 추출한다.

또는, 결정된 제어 모드가 손 쥐/펴기 제어 모드인 경우, 제어부(140)는 제3 뇌파를 제2 주파수 영역으로 필터링한 후, 공통 공간 패턴 알고리즘을 활용하여 시공간적 특징을 추출하고, 주성분 분석법(principal component analysis) 및 독립 성분 분석법(independent component analysis) 중 적어도 하나를 적용하여 손 쥐기 및 손 펴기 중 하나의 동작을 결과값으로 추출한다.

또는, 결정된 제어 모드가 손목 회전 제어 모드인 경우, 제어부(140)는 제3 뇌파에 대해 신호원의 시공간적 국소화 기법을 적용하여 특징을 추출하고, 로지스틱 회기 분석 기법을 적용하여, 좌측 회전 및 우측 회전 중 하나의 동작을 결과값으로 추출한다.

전술한 과정을 통해 추출된 결과값에 기반하여, 제어부(140)는 로봇팔 장치(미도시)의 동작을 제어하기 위한 제어 신호를 생성한다. 즉, 제어 신호는 로봇팔 장치(미도시)의 어느 한 방향으로의 빨뻗기 동작, 손 쥐/펴기 동작 및 좌/우측 손목 회전 동작 중 적어도 하나를 지시하는 것일 수 있다.

한편, 생성된 제어 신호는 통신부(미도시)를 통해 로봇팔 장치(미도시)로 제공될 수 있다. 통신부(미도시)는 제어부(140)의 제어에 의해 외부 장치(예컨대, 로봇팔 장치, 기타 장치 등)와 통신하는 하나 이상의 구성 요소를 포함할 수 있다. 예를 들어, 통신부(미도시)는 통신 와이어(wire), 블루투스(Bluetooth), BLE(Bluetooth Low Energy), 적외선(IrDA, infrared Data Association), 지그비(Zigbee), 와이파이(Wi-fi) 등으로 구성될 수 있다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.

100: BCI 장치 100: 뇌파 계측 장치
120: 전처리부 130: 메모리
140: 제어부

Claims

BCI(Brain computer interface) 장치가 로봇팔 장치를 제어하기 위한 제어 신호를 생성하는 방법에 있어서,
제1 뇌파를 계측하여, 제1 뇌파의 추상적 특징을 추출하는 단계;
상기 제1 뇌파의 추상적 특징을 기초로 팔 뻗기 제어 모드, 손 쥐/펴기 제어 모드 및 손목 회전 제어 모드 중 하나의 제어 모드를 결정하는 단계;
상기 결정된 제어 모드를 사용자에게 피드백(feedback)하는 단계;
오류관련전위를 계측하는 단계;
상기 오류관련전위가 임계값을 초과하면, 상기 제1 뇌파의 추상적 특징을 재추출하여 상기 제어 모드를 재결정하며, 상기 오류관련전위가 상기 임계값을 초과하지 않으면, 제2 뇌파를 계측하는 단계;
상기 결정된 제어 모드에 따라 상기 제2 뇌파에 대해 서로 다른 특징 추출 기법 및 서로 다른 분류 기법을 적용하여 결과값을 추출하는 단계; 및
상기 결과값을 기초로 생성된 제어 신호를 상기 로봇팔 장치로 제공하는 단계를 포함하는 것인 로봇팔 제어 신호 생성 방법.
제 1 항에 있어서,
상기 제1 뇌파의 추상적 특징을 추출하는 단계는
상기 제1 뇌파의 ERD(Event-Related Desynchronization) 신호를 기초로 주파수적 특징 및 시공간 적 특징 중 적어도 하나를 추출하는 단계; 및
상기 추출된 특징을 스칼라 값으로 변환하는 단계를 포함하는 것인 로봇팔 제어 신호 생성 방법.
제 2 항에 있어서,
상기 추출된 특징을 스칼라 값으로 변환하는 단계는
상기 제1 뇌파의 주파수 대역 별 파워 분산을 기초로 최대 파워값을 추출하거나, 상기 제1 뇌파의 시간 방향으로 평균화된 진폭 분산을 기초로 기 학습된 분류기를 통해 출력된 특징 영역을 획득하는 것인 로봇팔 제어 신호 생성방법.
제 1 항에 있어서,
상기 결정된 제어 모드가 팔 뻗기 제어 모드인 경우,
상기 결정된 제어 모드에 따라 상기 제2 뇌파로부터 결과값을 추출하는 단계는
제1 주파수 영역으로 상기 제2 뇌파를 필터링한 후, 신호 추정 모델을 통해 상기 제2 뇌파의 주파수 파워값을 추출하는 단계; 및
선형판별분석법(linear discriminant analysis, LDA) 및 서포터 벡터 머신(support vector machine, SVM) 중 적어도 하나를 적용하여, 앞, 뒤, 상, 하, 좌, 우 중 어느 한 방향을 결과값으로 추출하는 단계를 포함하는 것인 로봇팔 제어 신호 생성방법.
제 1 항에 있어서,
상기 결정된 제어 모드가 손 쥐/펴기 제어 모드인 경우,
상기 결정된 제어 모드에 따라 상기 제2 뇌파로부터 결과값을 추출하는 단계는
상기 제2 주파수 영역으로 상기 제2 뇌파를 필터링한 후, 공통 공간 패턴 알고리즘을 활용하여 시공간적 특징을 추출하는 단계; 및
주성분 분석법(principal component analysis) 및 독립 성분 분석법(independent component analysis) 중 적어도 하나를 적용하여 손 쥐기 및 손 펴기 중 하나의 동작을 결과값으로 추출하는 단계를 포함하는 것인 로봇팔 제어 신호 생성방법.
제 1 항에 있어서,
상기 결정된 제어 모드가 손 쥐/펴기 제어 모드인 경우,
상기 제2 뇌파에 대해 신호원 시공간적 국소화 기법을 적용하여 특징을 추출하는 단계; 및
로지스틱 회기 분석 기법을 적용하여, 좌측 회전 및 우측 회전 중 하나의 동작을 결과값으로 추출하는 단계를 포함하는 것인 로봇팔 제어 신호 생성방법.
제 1 항에 있어서,
상기 제1 뇌파는 5내지 50 Hz 주파수 대역으로 필터링되는 것인 로봇팔 제어 신호 생성방법.
BCI(Brain computer interface) 장치에 있어서,
뇌파를 계측하는 뇌파 계측 장치;
상기 BCI 장치가 상기 BCI 장치와 연계된 로봇팔 장치의 동작을 제어하기 위한 제어 신호를 생성하는 프로그램이 저장된 메모리; 및
상기 메모리에 저장된 프로그램을 실행하는 제어부를 포함하되,
상기 제어부는 상기 프로그램의 실행에 따라,
상기 뇌파 계측 장치에 의해 계측된 제1 뇌파를 기초로 상기 제1 뇌파의 추상적 특징을 추출하고, 상기 추상적 특징을 기초로 팔 뻗기 제어 모드, 손 쥐/펴기 제어 모드 및 손목 회전 제어 모드 중 하나의 제어 모드를 결정하며,
상기 결정된 제어 모드를 사용자에게 피드백한 후, 상기 뇌파 계측 장치에 의해 계측된 오류관련전위를 임계값과 비교하며,
상기 오류관련전위가 상기 임계값을 초과하면, 상기 제1 뇌파를 재계측하여 상기 제어 모드를 재결정하고,
상기 오류관련전위가 상기 임계값을 초과하지 않으면, 상기 결정된 제어 모드에 따라 상기 뇌파 계측 장치에 의해 계측된 제2 뇌파에 서로 다른 특징 추출 기법 및 서로 다른 분류 기법을 적용하여 결과값을 추출하고, 상기 결과값을 기초로 생성된 제어 신호를 상기 로봇팔 장치로 제공하는 것인 BCI 장치.
제 8 항에 있어서,
상기 제어부는
상기 결정된 제어 모드가 팔 뻗기 제어 모드인 경우,
제1 주파수 영역으로 상기 제2 뇌파를 필터링한 후, 신호 추정 모델을 통해 상기 제3 뇌파의 주파수 파워값을 추출하고, 선형판별분석법(linear discriminant analysis, LDA) 및 서포터 벡터 머신(support vector machine, SVM) 중 적어도 하나를 적용하여, 앞, 뒤, 상, 하, 좌, 우 중 어느 한 방향을 결과값으로 추출하는 것인 BCI 장치.
제 8 항에 있어서,
상기 제어부는
상기 결정된 제어 모드가 손 쥐/펴기 제어 모드인 경우,
제2 주파수 영역으로 상기 제2 뇌파를 필터링한 후, 공통 공간 패턴 알고리즘을 활용하여 시공간적 특징을 추출하고, 주성분 분석법(principal component analysis) 및 독립 성분 분석법(independent component analysis) 중 적어도 하나를 적용하여 손 쥐기 및 손 펴기 중 하나의 동작을 결과값으로 추출하는 것인 BCI 장치.
제 8 항에 있어서,
상기 제어부는
상기 결정된 제어 모드가 손목 회전 제어 모드인 경우,
상기 제2 뇌파에 대해 신호원 시공간적 국소화 기법을 적용하여 특징을 추출하고, 로지스틱 회기 분석 기법을 적용하여, 좌측 회전 및 우측 회전 중 하나의 동작을 결과값으로 추출하는 것인 BCI 장치.
제 1 항 내지 제 7 항 중 어느 한 항에 기재된 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.