KR102512006B1

KR102512006B1 - 뇌파 정보에 기초하여 대상 객체의 동작을 제어하는 뇌-컴퓨터 인터페이스 장치 및 이의 구동 방법

Info

Publication number: KR102512006B1
Application number: KR1020200136838A
Authority: KR
Inventors: 조현찬; 김용빈; 민준홍; 임채훈; 이병주; 이정훈; 정현우
Original assignee: 한국기술교육대학교 산학협력단
Priority date: 2020-10-21
Filing date: 2020-10-21
Publication date: 2023-03-17
Anticipated expiration: 2040-10-21
Also published as: KR20220052653A

Abstract

뇌파 정보에 기초하여 대상 객체의 동작을 제어하는 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI) 장치가 제공된다. 본 발명의 몇몇 실시예에 따른 BCI 장치는 사용자의 뇌파 신호를 센싱하는 뇌파 신호 센싱 장치와 전기적으로 연결되고, 뇌파 신호 센싱 장치로부터 제1 데이터를 입력받는 통신부, 제1 데이터를 가공하여 제1 데이터의 오프셋이 제거된 제2 데이터를 생성하는 전처리부, 제2 데이터를 가공하되 사용자의 뇌파 특성에 대응하는 파라미터 값을 제2 데이터에 적용하여 제3 데이터를 생성하는 캘리브레이션부, 제3 데이터에 기초하여, 대상 객체에 적용되는 기정의된 복수의 동작들 중 어느 하나의 동작을 타겟 동작으로 결정하는 동작 판단부 및 타겟 동작에 기초하여, 대상 객체로 전달되는 제어 커맨드를 생성하는 제어 커맨드 생성부를 포함하되, 이 때 제1 내지 제3 데이터는, 사용자의 안구 움직임에 따른 뇌파 신호에 대한 정보를 포함한다.

Description

뇌파 정보에 기초하여 대상 객체의 동작을 제어하는 뇌-컴퓨터 인터페이스 장치 및 이의 구동 방법{Brain-Computer Interface(BCI) device for controlling the operation of a target object based on Electroencephalogram(EEG) signal and method of driving the same.}

본 발명은 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI) 장치에 관한 것으로, 더욱 상세하게는 사용자의 안구 움직임에 따른 뇌파(Electroencephalogram, EEG) 정보에 기초하여 휠체어 등의 대상 객체의 동작을 제어하는 BCI 장치에 관한 것이다.

BCI 기술은 피험자의 생각만으로 컴퓨터나 기계를 제어하는 기술을 말한다. 최근 각 연구기관에서 BCI 기술의 중요성과 파급성을 인식하고 많은 투자를 하고 있는 이유는, BCI 기술을 통해 몸을 전혀 움직이지 못하는 전신마비환자도 자신의 의사를 표현하거나 물건을 집어 옮기거나 이동수단을 제어할 수 있으므로, 그 활용성과 의미가 매우 필요하고 가치 있기 때문이다. 뿐만 아니라 BCI 기술은 일반인에게도 매우 유용하고 이상적인 유저 인터페이스(UI) 기술로서 활용 가능한데, TV의 채널을 바꾸거나 에어컨의 온도를 조절하고 음악 볼륨을 조절하는 등 모든 전자기기 제어에 활용될 수 있다. 또한, 게임기와 같은 엔터테인먼트분야, 군사용 또는 움직이기 어려운 노약자들에게도 적용될 수 있으므로, 이 기술의 사회적, 경제적 파급효과는 매우 크다.

BCI 기술을 구현하는 방법에는 여러 가지 방법이 사용될 수 있다. BCI 기술 연구 초창기에 사용되었던 방법으로서 느린 피질전압(Slow Cortical Potentials) 방법은, 주의나 집중에 의해 뇌파의 전위가 음이 되는 현상과 그렇지 않을 때 전위가 양의 값을 갖는 현상을 이용하여 상하(Top, Bottom) 구별 과 같은 1차원 작업에서 전위가 느리게 양이나 음의 값을 갖게 되는 현상을 이용하였다. 느린 피질전압 방법은 반응이 느리고 고차원 구분이 불가능하기 때문에 현재는 거의 사용되고 있지 않다.

최근 주목받고 있는 방법 중 한 가지로 SSVEP(Steady-State Visually Evoked Potential)라는 기술이 있다. 이 방법은 시각자극의 빈도수(주파수)에 따라 후두엽에서 해당 주파수의 세기가 증가하는 현상을 이용한 방법으로 상대적으로 신호 구분이 용이하며, 2차원 상에서 동시에 여러 자극 중 하나를 선택하는 것이 가능하다. 다만, SSVEP 기술은 뇌파 신호를 분류함에 있어서 푸리에 변환 등의 가공을 요구하여 전처리의 복잡성의 한계가 존재한다.

또한, 종래의 BCI 기술을 이용한 휠체어 등의 제어 방법은 턱, 혀 등 신체의 일부를 이용하게 되어 제어 숙달에 장시간이 요구되고, 안면의 움직임에도 제약이 있는 마비 환자의 경우에는 사용이 제한될 수밖에 없다는 한계가 존재한다.

본 발명이 해결하고자 하는 기술적 과제는 사용자의 안구 움직임에 따른 뇌파 신호를 이용하여 대상 장치의 동작을 제어함으로써, 전신 마비 등으로 인해 움직임이 제한적인 사용자가 쉽게 사용할 수 있는 BCI 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 뇌파 정보에 기초하여 대상 객체의 동작을 제어하는 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI) 장치는 사용자의 뇌파 신호를 센싱하는 뇌파 신호 센싱 장치와 전기적으로 연결되고, 뇌파 신호 센싱 장치로부터 제1 데이터를 입력받는 통신부, 제1 데이터를 가공하여 제1 데이터의 오프셋이 제거된 제2 데이터를 생성하는 전처리부, 제2 데이터를 가공하되 사용자의 뇌파 특성에 대응하는 파라미터 값을 제2 데이터에 적용하여 제3 데이터를 생성하는 캘리브레이션부, 제3 데이터에 기초하여, 대상 객체에 적용되는 기정의된 복수의 동작들 중 어느 하나의 동작을 타겟 동작으로 결정하는 동작 판단부 및 타겟 동작에 기초하여, 대상 객체로 전달되는 제어 커맨드를 생성하는 제어 커맨드 생성부를 포함하되, 이 때 제1 내지 제3 데이터는, 사용자의 안구 움직임에 따른 뇌파 신호에 대한 정보를 포함할 수 있다..

또한, BCI 장치는, 제1 데이터의 오프셋을 제거하는 조건, 파라미터 값 및 타겟 동작의 결정 조건 중 적어도 하나를 저장하는 메모리부를 더 포함할 수 있다.

또한, 동작 판단부는, 사용자의 안구 움직임을 좌측 움직임, 우측 움직임 및 깜빡임 중 어느 하나의 움직임으로 결정하고, 결정된 움직임에 대응되는 동작을 타겟 동작으로 결정할 수 있다.

또한, 복수의 동작들은, 대상 객체가 직진하는 제1 동작, 대상 객체가 반시계 방향으로 회전하는 제2 동작, 대상 객체가 시계 방향으로 회전하는 제3 동작 및 대상 객체가 정지하는 제4 동작을 포함할 수 있다.

이 때, 동작 판단부는, 사용자의 안구 움직임이 좌측 움직임인 경우에 제2 동작을 타겟 동작으로 결정하고, 사용자의 안구 움직임이 우측 움직임인 경우에 제3 동작을 타겟 동작으로 결정하고, 대상 객체의 정지 상태에서 사용자의 안구 움직임이 2회 깜빡임인 경우에 제1 동작을 타겟 동작으로 결정하고, 대상 객체의 이동 또는 회전 상태에서 사용자의 안구 움직임이 2회 깜빡임인 경우에 제4 동작을 타겟 동작으로 결정할 수 있다.

또한, 동작 판단부는, 제3 데이터가 기정의된 예외 조건에 포함되는지 여부를 판단하고, 제3 데이터가 예외 조건에 포함되는 경우 타겟 동작을 결정하지 않을 수 있다.

본 발명의 다른 실시예에 따른 뇌파 정보에 기초하여 대상 객체의 동작을 제어하는 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI) 장치의 구동 방법은, 사용자의 뇌파 신호를 센싱하는 뇌파 신호 센싱 장치로부터 제1 데이터를 입력받는 단계, 제1 데이터를 가공하여 상기 제1 데이터의 오프셋이 제거된 제2 데이터를 생성하는 단계, 사용자의 뇌파 특성에 대응하는 파라미터 값을 제2 데이터에 적용하여 제3 데이터를 생성하는 단계, 제3 데이터에 기초하여, 대상 객체에 적용되는 기정의된 복수의 동작들 중 어느 하나의 동작을 타겟 동작으로 결정하는 단계 및 타겟 동작에 기초하여, 대상 객체로 전달되는 제어 커맨드를 생성하는 단계를 포함하되, 제1 내지 제3 데이터는, 사용자의 안구 움직임에 따른 뇌파 신호에 대한 정보를 포함할 수 있다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

도 1은 본 발명의 몇몇 실시예에 따른 뇌-컴퓨터 인터페이스 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 몇몇 실시예에 따른 뇌-컴퓨터 인터페이스 장치를 설명하기 위한 블록도이다.
도 3 내지 도 5는 본 발명의 몇몇 실시예에 따른 뇌-컴퓨터 인터페이스 장치의 동작을 설명하기 위한 순서도이다.
도 6은 뇌파 신호에 기초하여 타겟 동작을 결정하는 동작을 예시적으로 설명하기 위한 그래프이다.

이하, 본 발명의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.

이하에서, 도 1 내지 도 6을 참조하여 본 발명의 몇몇 실시예에 따른 뇌-컴퓨터 인터페이스(이하, BCI) 장치를 설명한다.

도 1은 본 발명의 몇몇 실시예에 따른 뇌-컴퓨터 인터페이스 시스템(10)을 설명하기 위한 도면이고, 도 2는 본 발명의 몇몇 실시예에 따른 뇌-컴퓨터 인터페이스 장치를 설명하기 위한 블록도이다.

본 명세서에서 뇌파 신호는 피험자의 뇌의 활성화 및 상태에 따라 변화되는 전기적/자기적 신호들을 의미한다. 몇몇 실시예에 따라, 뇌파 신호를 측정하는 방법에 따라 다음과 같은 뇌파 신호가 될 수 있다.

EEG(Electroencephalogram)는 뇌전도를 의미하며, 사람 또는 동물의 대뇌에 일어나는 전위변동, 또는 그것에 의하여 일어나는 뇌전류(brain current)를 두피(頭皮) 상에서 유도하여 기록한 전기 기록 신호를 의미한다. MEG(Magnetoencephalogram)는 뇌자도를 의미하며, SQUID 센서 등으로 뇌신경세포의 전기적 활동에서 발생하는 미세한 생체 자기를 측정하여 기록한 신호를 의미한다. ECoG(Electrocorticogram)는 피질전도를 의미하며, 대뇌에 일어나는 전위변동, 또는 그것에 의하여 일어나는 뇌전류(brain current)를 대뇌 피질(Cerebral Cortex)의 표면으로부터 전극을 심어 직접 측정하여 기록한 전기 기록 신호를 의미한다. NIRS(Near-infrared spectroscopy)는 근적외선 분광기를 의미하며, 본 발명에 쓰일 수 있는 NIRS 뇌파 신호는 낮은 수준의 광파를 뇌에 비쳐 반사되어 나오는 차이를 측정하여 기록하는 신호를 의미한다.

본 명세서에서는 EEG, MEG, ECoG 등의 뇌파 신호를 예로 들었지만, 뇌파 신호는 상기 특정 종류의 뇌파 신호에 한정되지 않고 인간의 뇌로부터 발생하여 인간의 두부(頭部, 머리)에서 측정 가능한 모든 신호들을 포함한다고 볼 것이다.

또한, 몇몇 실시예에 따라, 본 발명에 이용되는 뇌파 신호는 사용자의 안구 움직임에 기초하여 측정된 뇌파 신호일 수 있다. 예를 들어, 사용자의 안구가 좌측으로 움직인 경우의 신호, 우측으로 움직인 경우의 신호, 깜빡인 경우의 신호 등일 수 있다.

도 1 및 도 2를 참조하면, BCI 장치(200)의 통신부(210)는 대상 객체(300)의 동작 정보를 포함하는 뇌파 정보를 입력받을 수 있다.

대상 객체(300)는 입력된 뇌파 신호가 측정된 사용자가 뇌파 신호를 이용하여 제어하려는 대상을 의미한다. 본 발명에서 대상 객체(300)는 특별히 한정되지 않으나, 예를 들면 휠체어 등의 이동 수단일 수 있다.

BCI 장치(200)의 동작 판단부(250)는 인터페이스 장치(I/F)로부터 수신된 뇌파 신호로부터 생성된 변환 데이터를 분석하여 대상 객체(300)에서 구현될 동작을 결정할 수 있다.

이 때 변환 데이터란, 사용자의 EEG, MEG, ECoG 등의 뇌파 신호로부터 대상 객체(300)를 제어하기 위해 사용자가 의도하는 대상 객체(300)에 관한 동작 정보를 포함하는 정보들을 추출하고, 추출된 대상 객체(300)에 관한 동작 정보를 포함하여 구성된 정보를 말한다. 즉, 사용자의 EEG, MEG, ECoG 등의 뇌파 신호가 대상 객체(300)의 동작 정보를 포함하고 컴퓨터 등 제어 장치가 인식 가능한 신호 형태의 정보로 변환된 것을 의미한다.

몇몇 실시예에 따라, 뇌파 신호는 복수의 전극(CH)을 통해 획득할 수 있다. 또한, 본 발명의 몇몇 실시예에 따른 BCI 장치(200)는 복수의 전극(CH)으로부터 획득된 정보 중 일부를 사용하여 대상 객체(300)에 전달될 제어 커맨드(CMD_CTRL)를 생성할 수 있다.

사용자로부터 획득된 뇌파 신호는 컴퓨터 등의 인터페이스 장치(I/F)를 통해 통신부(210)로 입력되고, 대상 객체(300)의 동작 정보를 포함하는 변환 뇌파 정보로 변환되어 제어 커맨드(CMD_CTRL) 생성의 판단 대상이 될 수 있다. 본 명세서에서 뇌파 신호는 제1 데이터(DT1)로 표현되고, 최종 변환된 변환 뇌파 정보는 제3 데이터(DT3)로 표현될 수 있다.

통신부(210)를 통해 획득된 제1 데이터(DT1)를 전처리부(230) 및 캘리브레이션부(240)에서 변환(가공)하여 제3 데이터(DT3)를 생성하고, 동작 판단부(250)에서 제3 데이터(DT3)를 분석하고, 분석 결과에 기초하여 제어 커맨드 생성부(260)에서 제어 커맨드(CMD_CTRL)를 생성하는 구체적인 동작에 대하여는 도 3 내지 도 6을 참조하여 후술한다.

제3 데이터(DT3)에 포함되는 대상 객체(300)의 동작 정보는 대상 객체(300)의 동작을 나타내는 모든 정보를 의미한다. 예를 들어, 대상 객체(300)가 휠체어인 경우, 대상 객체(300)의 동작 정보는 대상 객체(300)를 "앞으로 전진한다"는 동작 정보가 되거나, 대상 객체(300)를 "정지한다"라는 동작 정보가 될 수 있다. 이러한 동작 정보는 전자의 경우 "STRAIGHT" 라는 미리 설정된 코드를 이용할 수 있고, 후자의 경우는 "STOP"라는 미리 설정된 코드를 이용해 대상물 동작 정보를 구성하고 이 정보를 포함한 정보를 제어 커맨드(CMD_CTRL)로 구성할 수 있다.

메모리(220)는 전처리부(230), 캘리브레이션부(240), 동작 판단부(250), 제어 커맨드 생성부(260) 등 BCI 장치(200)의 다른 구성요소들로부터 수신되거나 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 몇몇 실시예에 따라, 메모리(220)는 프로그램 메모리 및 데이터 메모리들로 구성될 수 있으며, 프로그램 메모리에는 휴대단말기의 일반적인 동작을 제어하기 위한 프로그램이 저장된다. 몇몇 실시예에 따라, 메모리(220)는 CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(Extreme Digital) 및 Memory Stick 등의 외장형 메모리를 더 포함할 수도 있다. 또한, 메모리(220)는 HDD(Hard Disk Drive) 및 SSD(Solid State Disk) 등과 같은 디스크 저장 장치를 포함할 수도 있다.

몇몇 실시예에 따라, 메모리(220)에는 전처리부(230)에서 제1 데이터(DT1)의 오프셋을 제거하는 조건, 캘리브레이션부(240)에서 파라미터 값을 결정하는 조건, 동작 판단부(250)에서 타겟 동작(TG)을 결정하는 조건 등에 대한 정보를 저장할 수 있다.

데이터 버스(270)는 BCI 장치(200)의 다른 구성요소들을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.

도 3 내지 도 5는 본 발명의 몇몇 실시예에 따른 뇌-컴퓨터 인터페이스 장치의 동작을 설명하기 위한 순서도이고, 도 6은 뇌파 신호에 기초하여 타겟 동작을 결정하는 동작을 예시적으로 설명하기 위한 그래프이다.

도 3을 참조하면, 본 발명의 몇몇 실시예에 따른 BCI 장치(200)의 구동 방법은, 뇌파 신호 센싱 장치(100)로부터 센싱된 사용자의 뇌파 신호, 즉 제1 데이터(DT1)를 수신하는 단계(S1000, S2000), 제1 데이터(DT1)를 가공 및 분석하여 제어 커맨드(CMD_CTRL)를 생성하는 단계(S3000), 생성된 제어 커맨드(CMD_CTRL)를 대상 객체(300)로 전송하여 제어 커맨드(CMD_CTRL)에 대응되는 동작이 대상 객체(300)에서 수행되는 단계(S4000, S5000)를 포함할 수 있다.

이 때, 제1 데이터(DT1)는 사용자의 안구 움직임에 기초하여 센싱된 뇌파 신호일 수 있다. 또한, 제1 데이터(DT1)는 뇌파 신호 센싱 장치(100)에 포함되는 복수의 전극(CH) 중 기정의된 특정 전극에서 센싱된 데이터일 수 있다.

도 4를 참조하면, 상술한 S3000 단계는, 전처리부(230)에서 제1 데이터(DT1)의 오프셋을 제거하여 제2 데이터(DT2)를 생성하는 단계(S3100), 캘리브레이션부(240)에서 사용자의 뇌파 특성에 대응되는 파라미터 값을 제2 데이터(DT2)에 적용하여 제3 데이터(DT3)를 생성하는 단계(S3200) 및 동작 판단부(250)에서 제3 데이터(DT3)를 분석하고, 분석 결과에 기초하여 제어 커맨드 생성부(260)에서 제어 커맨드(CMD_CTRL)를 생성하는 단계(S3300)를 포함할 수 있다.

S3100 단계에서, 전처리부(230)는 제1 데이터(DT1)에 대한 전처리 동작을 수행하여 제2 데이터(DT2)를 생성할 수 있다. 예를 들어, 전처리부(230)는 저역 통과 필터(Low-Pass Filter), 고역 통과 필터 (High-Pass Filter), 대역 통과 필터 (Band-Pass Filter), 노치 필터 (Notch Filter) 중 어느 하나를 포함할 수 있으며, 동시에 제1 데이터(DT1)에 혼입되어 있는 오프셋 등 잡음(노이즈)을 제거하기 위해 독립성분분석법(ICA)나 주성분분석법(PCA)을 수행하기 위한 부분이 포함될 수 있다.

상기 잡음 신호는 뇌파 신호 이외의 신호를 말한다. 예를 들어, 일반적인 전송 경로(유, 무선 채널)에 따른 일반적인 잡음(Noise Signal) 이외에도, EMG(Electromyogram, 근전도), EOG(Electrooculogram, 안전도) 등의 뇌파 신호 이외의 다른 생체 신호들도 관심 신호가 아니므로 잡음 신호로 취급하여 필터링 등을 통해서 제거하여 제2 데이터(DT2)를 생성할 수 있다.

S3200 단계에서, 캘리브레이션부(240)는 제2 데이터(DT2)에 사용자의 뇌파 특성을 고려한 파라미터 값을 변경하여 적용하고, 이를 통해 제3 데이터(DT3)를 생성할 수 있다. 예를 들어, 캘리브레이션부(240)는 사용자의 의도를 정확하게 인지하기에 유용한 신호의 특징(Feature)을 추출할 수 있고, 이에 기초하여 파라미터 값을 결정하여 적용시킬 수 있다. 이 때, 사용자 신호의 특징에는 뇌파 신호를 특정 구간으로 잘라 신호 처리를 해줄 수 있도록 하는 에포킹(Epoching) 과 사람 간 뇌파 신호의 차이와 사람 내 뇌파 신호의 차이를 줄이기 위한 정규화 (Normalization), 오버피팅 (Over-fitting)을 막기 위한 다운 샘플링 (Down Sampling) 등이 포함될 수 있다.

S3300 단계에서, 동작 판단부(250)는 제3 데이터(DT3)를 판단하여 타겟 동작(TG)을 결정하고, 제어 커맨드 생성부(260)에서 타겟 동작(TG)에 대응되는 제어 커맨드(CMD_CTRL)를 생성할 수 있다.

도 5를 참조하면, 상기 S3300 단계는, 동작 판단부(250)에서 제3 데이터(DT3)에 기초하여 대상 객체(300)에 적용되는 복수의 동작들 중 어느 하나의 동작을 타겟 동작(TG)으로 결정하는 단계(S3310) 및 제어 커맨드 생성부(260)에서 타겟 동작(TG)에 대응되는 제어 커맨드(CMD_CTRL)를 생성하는 단계를 포함할 수 있다.

S3310 단계에서, 동작 판단부(250)는 제3 데이터(DT3)에 기초하여 사용자의 안구 움직임을 좌측 움직임, 우측 움직임, 깜빡임 중 어느 하나의 움직임으로 결정하고, 결정된 움직임에 대응되는 동작을 타겟 동작(TG)으로 결정할 수 있다.

도 6을 참조하면, 제1 내지 제4 전극(CH1, CH2, CH3, CH4)을 통해 센싱된 뇌파 신호에 기초하여 생성된 4개의 제3 데이터(DT3_CH1, DT3_CH2, DT3_CH3, DT3_CH4)를 분석하여 사용자의 안구 움직임을 판단할 수 있다. 예를 들어, 각각의 제3 데이터(DT3_CH1, DT3_CH2, DT3_CH3, DT3_CH4)의 피크(peak) 지점을 분석하여 사용자의 안구 움직임을 판단할 수 있다. 데이터(DT3_CH3)가 상승 피크를 갖고 데이터(DT3_CH2)가 하강 피크를 갖는 지점, 즉 A 지점에서는 사용자가 안구를 우측으로 움직인 상태로 판단할 수 있다. 반대로 데이터(DT3_CH3)가 하강 피크를 갖고 데이터(DT3_CH2)가 상승 피크를 갖는 B 지점에서는 사용자가 안구를 좌측으로 움직인 상태로 판단할 수 있다. 또한, 4개의 제3 데이터(DT3_CH1, DT3_CH2, DT3_CH3, DT3_CH4)가 모두 상승 피크를 갖는 C 지점에서는 사용자가 눈을 깜빡인 상태로 판단할 수 있다. 다만, 이러한 판단 방법은 예시적인 것으로, 실험 등을 통해 판단 방법을 정의하고, 정의된 방법을 적용시켜서 구현될 수 있음은 물론이다.

몇몇 실시예에 따라, 타겟 동작(TG)은 대상 객체(300)가 직진하는 제1 동작, 대상 객체(300)가 반시계 방향으로 회전하는 제2 동작, 대상 객체(300)가 시계 방향으로 회전하는 제3 동작 및 대상 객체(300)가 정지하는 제4 동작 중 어느 하나의 동작일 수 있다. 예를 들어, 동작 판단부(250)는 사용자의 안구 움직임이 좌측 움직임인 경우에 제2 동작을 타겟 동작(TG)으로 결정하고, 사용자의 안구 움직임이 우측 움직임인 경우에 제3 동작을 타겟 동작(TG)으로 결정하고, 대상 객체의 정지 상태에서 사용자의 안구 움직임이 2회 깜빡임인 경우에 제1 동작을 타겟 동작(TG)으로 결정하고, 대상 객체의 이동 또는 회전 상태에서 사용자의 안구 움직임이 2회 깜빡임인 경우에 제4 동작을 타겟 동작(TG)으로 결정할 수 있다.

몇몇 실시예에 따라, 동작 판단부(250)는 제3 데이터(DT3)가 기정의된 예외 조건에 포함되는지 여부를 판단하고, 예외 조건에 포함되는 경우 타겟 동작(TG)을 결정하지 않을 수 있다. 뇌파 신호 센싱 장치(100)가 오동작을 하거나, 사용자의 긴장, 건강 상태의 불안정함 등으로 인해 뇌파 신호가 불안정한 경우에는 의도하지 않는 대상 객체(300)의 동작을 야기할 수 있기에, 이러한 경우 예외 처리를 하여 대상 객체(300)를 비상 정지시킬 수 있다.

본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나" 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다.

본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.

본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(100)) 의해 읽을 수 있는 저장 매체(storage medium)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기(예: BCI 장치(200))의 프로세서(예: 전처리부(230), 캘리브레이션부(240), 동작 판단부(250), 제어 커맨드 생성부(260) 등)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.

일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

10: BSI 시스템 100: 뇌파 신호 센싱 장치
200: BSI 장치 210: 통신부
220: 메모리 230: 전처리부
240: 캘리브레이션부 250: 동작 판단부
260: 제어 커맨드 생성부 270: 데이터 버스
300: 대상 객체

Claims

뇌파 정보에 기초하여 대상 객체의 동작을 제어하는 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI) 장치로서,
사용자의 뇌파 신호를 센싱하는 뇌파 신호 센싱 장치와 전기적으로 연결되고, 상기 뇌파 신호 센싱 장치로부터 제1 데이터를 입력받는 통신부;
상기 제1 데이터를 가공하여, 상기 제1 데이터의 오프셋이 제거된 제2 데이터를 생성하는 전처리부;
상기 제2 데이터를 가공하되, 상기 사용자의 뇌파 특성에 대응하는 파라미터 값을 상기 제2 데이터에 적용하여 제3 데이터를 생성하는 캘리브레이션부;
상기 제3 데이터에 기초하여, 상기 대상 객체에 적용되는 기정의된 복수의 동작들 중 어느 하나의 동작을 타겟 동작으로 결정하는 동작 판단부; 및
상기 타겟 동작에 기초하여, 상기 대상 객체로 전달되는 제어 커맨드를 생성하는 제어 커맨드 생성부를 포함하되,
상기 제1 내지 제3 데이터는, 상기 사용자의 안구 움직임에 따른 뇌파 신호에 대한 정보를 포함하고,
제3 데이터는 뇌파 신호를 센싱하는 전극에 따른 제3-1 데이터 및 제3-2데이터를 포함하고,
상기 동작 판단부는 제3 데이터의 피크 지점을 분석하여 사용자의 안구 움직임-좌측 움직임, 우측 움직임 및 깜빡임을 포함-을 판단하되, 제3-1 데이터가 상승 피크이고 제3-2 데이터가 하강 피크이면 안구의 우측 움직임으로 판단하고, 제3-1 데이터 하강 피크이고 제3-2 데이터가 상승 피크이면 안구의 좌측 움직임으로 판단하는, BCI 장치.
청구항 1에 있어서,
상기 제1 데이터의 오프셋을 제거하는 조건, 상기 파라미터 값 및 상기 타겟 동작의 결정 조건 중 적어도 하나를 저장하는 메모리부를 더 포함하는, BCI 장치.
청구항 1에 있어서;
상기 동작 판단부는,
상기 사용자의 안구 움직임을 좌측 움직임, 우측 움직임 및 깜빡임 중 어느 하나의 움직임으로 결정하고,
상기 결정된 움직임에 대응되는 동작을 상기 타겟 동작으로 결정하는, BCI 장치.
청구항 3에 있어서,
상기 복수의 동작들은,
상기 대상 객체가 직진하는 제1 동작, 상기 대상 객체가 반시계 방향으로 회전하는 제2 동작, 상기 대상 객체가 시계 방향으로 회전하는 제3 동작 및 상기 대상 객체가 정지하는 제4 동작을 포함하는, BCI 장치.
청구항 4에 있어서,
상기 동작 판단부는,
상기 사용자의 안구 움직임이 좌측 움직임인 경우에 상기 제2 동작을 타겟 동작으로 결정하고,
상기 사용자의 안구 움직임이 우측 움직임인 경우에 상기 제3 동작을 타겟 동작으로 결정하고,
상기 대상 객체의 정지 상태에서 상기 사용자의 안구 움직임이 2회 깜빡임인 경우에 상기 제1 동작을 타겟 동작으로 결정하고,
상기 대상 객체의 이동 또는 회전 상태에서 상기 사용자의 안구 움직임이 2회 깜빡임인 경우에 상기 제4 동작을 타겟 동작으로 결정하는, BCI 장치.
청구항 1에 있어서,
상기 동작 판단부는,
상기 제3 데이터가 기정의된 예외 조건에 포함되는지 여부를 판단하고, 상기 제3 데이터가 상기 예외 조건에 포함되는 경우 상기 타겟 동작을 결정하지 않는, BCI 장치.
뇌파 정보에 기초하여 대상 객체의 동작을 제어하는 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI) 장치의 구동 방법으로서,
통신부에 의해 사용자의 뇌파 신호를 센싱하는 뇌파 신호 센싱 장치로부터 제1 데이터를 입력받는 단계;
전처리부에 의해 상기 제1 데이터를 가공하여, 상기 제1 데이터의 오프셋이 제거된 제2 데이터를 생성하는 단계;
캘리브레이션부에 의해 상기 사용자의 뇌파 특성에 대응하는 파라미터 값을 상기 제2 데이터에 적용하여 제3 데이터를 생성하는 단계;
동작 판단부에 의해 상기 제3 데이터에 기초하여, 상기 대상 객체에 적용되는 기정의된 복수의 동작들 중 어느 하나의 동작을 타겟 동작으로 결정하는 단계; 및
제어 커맨드 생성부에 의해 상기 타겟 동작에 기초하여, 상기 대상 객체로 전달되는 제어 커맨드를 생성하는 단계를 포함하되,
상기 제1 내지 제3 데이터는, 상기 사용자의 안구 움직임에 따른 뇌파 신호에 대한 정보를 포함하고,
제3 데이터는 뇌파 신호를 센싱하는 전극에 따른 제3-1 데이터 및 제3-2데이터를 포함하고,
상기 동작 판단부는 제3 데이터의 피크 지점을 분석하여 사용자의 안구 움직임-좌측 움직임, 우측 움직임 및 깜빡임을 포함-을 판단하되, 제3-1 데이터가 상승 피크이고 제3-2 데이터가 하강 피크이면 안구의 우측 움직임으로 판단하고, 제3-1 데이터 하강 피크이고 제3-2 데이터가 상승 피크이면 안구의 좌측 움직임으로 판단하는, BCI 장치의 구동 방법.