KR20130141904A

KR20130141904A - 좌우 시각경로 차이를 이용한 ｓｓｖｅｐ―ｂｃｉ 시스템 및 이의 동작 방법

Info

Publication number: KR20130141904A
Application number: KR1020120065003A
Authority: KR
Inventors: 박광석; 이정수
Original assignee: 서울대학교산학협력단
Priority date: 2012-06-18
Filing date: 2012-06-18
Publication date: 2013-12-27
Also published as: KR101400141B1

Abstract

BCI 기반의 SSVEP 시스템 및 이의 동작 방법을 개시한다. 상기 BCI 기반의 SSVEP 시스템은 사용자의 후두엽에 부착되어 뇌파 신호를 측정하도록 EEG 감지 전극부; 복수 개의 문자 및 숫자인 시선 응시 타겟들이 배열되며, 상기 시선 응시 타겟들 중 2개 사이에 구비되어, 서로 다른 주파수로 점멸되는 복수 개의 시각 자극기가 구비된 타겟 응시부; 및 사용자가 상기 타겟 응시부 내에 구비된 타겟들 각각을 응시함에 따라 상기 EEG 감지 전극부로부터 출력되는 뇌파 신호를 분류하여 처리하는 처리부를 포함한다.

Description

좌우 시작경로 차이를 이용한 ＳＳＶＥＰ―ＢＣＩ 시스템 및 이의 동작 방법{half-field SSVEP based BCI System and motion method Thereof}

본 발명은 사용자가 직접적인 시각 자극기 응시 없이도 SSVEP 신호를 획득 할 수 있는 방법에 관한 것이며, 보다 상세하게는 BCI 기술이 필요한 lock-in syndrome 환자들에게 적용하여 장시간 사용시 피로도와 간질의 위험성을 줄여 장시간 사용 가능하게 할 뿐만 아니라 시각 자극기의 조합을 통해서 한정된 주파수로 여러 개의 명령을 내릴 수 있는 좌우 시작경로 차이를 이용한 SSVEP - BCI 시스템 및 이의 동작 방법에 관한 것이다.

SSVEP(Steady State Visually Evoked Potentials)란 사용자가 특정한 주파수로 깜빡이는 시각 자극기를 응시하고 있을 때 뇌의 시각 중추를 담당하고 있는 후두엽에서 자극기와 동일한 주파수 성분이 뇌전도의 주파수 분석신호에서 나타나는 것을 말한다.

BCI(Brain Computer Interface)란 뇌전도나 NIR 등의 신호를 측정하고 분석하여 사람의 생각이나 의지를 파악하여 외부기기등을 조작하거나 다른 사람들과 의사소통이 가능하게 만드는 시스템을 말한다.

SSVEP 반응을 BCI 시스템에 적용할 수 있으며 사지마비장애인과 같은 lock-in syndrome 환자들이 자신이 내리고 싶은 명령이 나열되어 있는 모니터나 LED 같은 시각 자극기를 응시하게되면 나타나는 SSVEP 신호를 분석하여 그 환자들의 의지나 생각을 알아낼 수 있다.

본 발명이 해결하고자 하는 과제는 종래에 사용되는 SSVEP 기반의 BCI는 사용자가 직접 자극기를 응시해야 하기 때문에 쉽게 피로해 질 수 있으며 또한 특정 주파수 영역은 간질의 위험을 높이는 경우도 있기 때문에 환자들이 장시간 사용하기에는 한계가 있어왔다.

또한 사람의 뇌가 반응하는 주파수 영역이 한정되어 있기 때문에 한정된 주파수 영역 내의 많은 주파수를 동시에 사용할 수 있는 경우 시스템의 전체적인 정확도를 낮추는 원인이 되어 왔다.

따라서 본 발명은 BCI 기술이 필요한 lock-in syndrome 환자들에게 적용하여 장시간 시용시 피로도와 간질의 위험성을 줄여 장시간 사용가능하게 할 뿐만아니라 시각 자극기의 조합을 통해서 한정된 주파수로 여려 개의 명령을 내릴 수 있는 좌우 시작경로 차이를 이용한 BCI 기반의 SSVEP 시스템 및 이의 동작 방법을 제공하는 것이다.

상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 좌우 측정 경로를 이용한 BCI 기반의 SSVEP 시스템은 사용자의 후두엽에 부착되어 뇌파 신호를 측정하도록 EEG 감지 전극부; 복수 개의 문자 및 숫자인 시선 응시 타겟들이 배열되며, 상기 시선 응시 타겟들 중 2개 사이에 구비되어, 서로 다른 주파수로 점별되는 복수 개의 시각 자극기가 구비된 타겟 응시부; 및 사용자가 상기 타겟 응시부 내에 구비된 타겟들 각각을 응시함에 따라 상기 EEG 감지 전극부로부터 출력되는 뇌파 신호를 분류하여 처리하는 처리부를 포함한다.

상기 EEG 감지 전극부는, 건식 전극 또는 습식 전극 중 어느 하나의 전극을 포함하는 것을 특징으로 한다.

상기 처리부는, 프로세서; 상기 EEG 감지 전극으로부터 출력되는 뇌파 신호를 저장하는 복수 개의 레지스터가 배열된 저장부; 및 상기 프로세서를 통해 상기 저장부로부터 출력되는 데이타를 표시하는 디스플레이부를 포함하며, 상기 프로세서는, 사용자가 응시한 타겟에 상응하는 상기 뇌파 신호에 따라 상기 저장부에 저장된 데이타를 출력하도록 동작되며, 상기 저장부는 상기 타겟들의 수와 동일한 갯수의 레지스터가 구비되는 것을 특징으로 한다.

상기 EEG 감지 전극부는 적어도 2개 이상의 뇌파 전극 센서가 사용자의 시각 중추 영역에 가로 길이 방향으로 부착되는 것을 특징으로 한다.

상기 복수 개의 시각 자극기들 각각은, 서로 다른 색의 LED 광원인 것을 특징으로 한다.

상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 좌우 시작경로 차이에 따른 BCI 기반의 SSVEP-BIC 시스템 동작 방법은 타겟 응시부에 배열된 시선 응시 타겟들 중 어느 하나를 응시하는 타겟 응시 단계; 상기 시선 응시 타겟에 따른 뇌전도 신호를 EEG 감지 전극부에서 측정하는 뇌전도 신호 측정 단계; 상기 측정된 뇌전도 신호를 레지스트리에 저장시키는 저장 단계; 상기 타겟 응시부에 배열된 시선 응시 타겟들 갯수 만큼 상기 타겟 응시 단계 내지 상기 저장 단계를 반복하여 패턴을 인식하는 단계; 및 상기 패턴 인식이 완료된 후, 사용자가 응시한 응시 타겟에 상응하는 데이타를 프로세서를 통해 저장부에서 출력하여 디스플레이시키는 표시 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면 사용자가 시작 자극기를 직접적으로 응시하지 않아도 SSVEP 신호를 획득하여 BCI에 적용할 수 있는 효과가 있다.

또한, 시각 자극기의 직접적인 응시를 피함으로 장시간 사용에 따른 눈의 피로도와 간질의 위험을 줄일 수 있는 효과가 있다.

또한 제한된 주파수 조합을 이용하여 많은 타겟을 만들어 낼 수 있는 효과가 있다.

도 1은 본 발명의 실시 예에 따른 좌우 시작경로 차이를 이용한 BCI 기반의 SSVEP 시스템을 나타낸 블럭도이다.
도 2는 사람의 후두엽 영역 중 EEG 감지 전극부가 O1 및 O2 영역에 부착되는 것을 보여주는 예시도이다.
도 3은 좌우 시각 경로를 각각의 다른 주파수로 자극을 하면서 사용자가 원하는 명령을 내릴 수 있게 하는 자극기의 예시도이다.
도 4a 내지 도 4d은 시각 자극기의 위치에 따라 후두엽의 O1 영역 및 O2 영역에서 측정되는 뇌파 신호의 예를 보여주는 그래프이다.
도 5는 도 1에 도시된 좌우 시작경로 차이를 이용한 BCI 기반의 SSVEP 시스템의 동작 방법을 나타낸 플로우 챠트이다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합하는 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.

도 1은 본 발명의 실시 예에 따른 좌우 시작경로 차이를 이용한 BCI 기반의 SSVEP 시스템을 나타낸 블럭도이다. 도 2는 사람의 후두엽 영역 중 EEG 감지 전극부가 O1 및 O2 영역에 부착되는 것을 보여주는 예시도이며, 도 3은 좌우 시각 경로를 각각의 다른 주파수로 자극을 하면서 사용자가 원하는 명령을 내릴 수 있게 하는 자극기의 예시도이다.

도 1에 도시된 바와 같이, 본 발명의 좌우 시작경로 차이를 이용한 BCI 기반의 SSVEP 시스템은(100) EEG 감지 전극부(140), 타겟 응시부(110), 처리부(120) 및 표시부(130)를 포함한다.

상기 EEG 감지 전극부(140)는 사용자의 후두엽에 부착되어 뇌파 신호를 측정하는 기능을 수행하며, 보다 상세하게는 제1 감지 전극부(141) 및 제2 감지 전극부(142)가 구비되며, 상기 제1 감지 전극부(141)는 사용자가 응시하는 오른쪽의 시선에 상응하는 SSVEP 신호를 감지하는 감지 전극부일 수 있으며, 상기 제2 감지 전극부(142)는 사용자가 응시하는 왼쪽의 시선에 상응하는 SSVEP 신호를 감지하는 감지 전극부일 수 있다.

상기 타겟 응시부(110)는 복수 개의 문자(예컨대, 알파벳 등) 및 숫자(예컨대 아라비아 숫자)인 시선 응시 타겟들이 배열되며, 상기 시선 응시 타겟들 중 2개의 시선 응시 타겟 사이에 구비되어, 서로 다른 주파수로 점별되는 복수 개의 시각 자극기(111)가 구비된다.

상기 처리부(120)는 사용자가 상기 타겟 응시부(110) 내에 구비된 시선 응시 타겟들 각각을 응시함에 따라 상기 EEG 감지 전극부로부터 출력되는 뇌파 신호를 분류하여 처리하는 기능을 수행한다.

여기서, 상기 사용자는 숫자를 직접적으로 응시하게 되며, 응시하는 동안, 시각 자극기의 점멸되는 주파수에 따라 해당 문자 또는 숫자에 상응하는 SSVEP 신호가 발생하게 된다.

보다 구체적으로, 상기 EEG 감지 전극부는 건식 전극 또는 습식 전극 중 어느 하나의 전극일 수 있으며, 각 전극은 은-염화은(Ag-AgCl) 전극일 수 있다.

상기 처리부(120)는 신호 처리부(121) 및 데이터베이스(122)를 포함한다.

상기 신호 처리부(121)는 증폭부, 제1 필터부, A/D 컨버터, 제2 필터부를 포함한다.

상기 증폭부는 EEG 감지 전극부에서 감지된 EEG 신호를 증폭하는 기능을 수행한다.

상기 제1 필터부는 상기 증폭부에서 증폭된 EEG 신호를 필터링하는 기능을 수행한다.

상기 A/D 컨버터는 상기 제1 필터부에서 필터링된 아날로그 신호인 EEG 신호를 디지털 신호로 변환하는 기능을 수행한다.

상기 제2 필터부는 상기 A/D 컨버터를 통해 변환된 EOG 디지털 신호를 필터링하는 기능을 수행하여, 상기 데이터베이스로 출력하는 기능을 수행한다.

상기 증폭부는 제1 증폭기 및 제2 증폭기를 포함하며 상기 제1 증폭기는 상기 제1 감지 전극에서 측정된 제1 EEG 신호를 수신하여 증폭하며, 상기 제2 증폭기는 상기 제2 감지 전극에서 측정된 제2 EEG 신호를 수신하여 증폭한다.

상기 제1 및 제2 증폭기 각각은 고 입력 임피던스와 높은 공통 모드 제거비(Common Mode Rejection Ratio; CMRR)을 갖도록 설계된다.

상기 제1 필터부는 밴드 패스 영역보다 낮은 주파수 대역을 제거하는 적어도 하나 이상의 저 대역 통과 필터(Low pass Filter; LPF) 및 밴드 패스 영역보다 높은 주파수 대역을 제거하는 적어도 하나 이상의 고 대역 통과 필터(High pass Filter; HPF)를 포함한다.

상기 제2 필터부는 밴드 패스 영역보다 낮은 주파수 대역을 제거하는 적어도 하나 이상의 디지털 저 대역 통과 필터(Digital Low pass Filter; DLPF) 및 밴드 패스 영역보다 높은 주파수 대역을 제거하는 적어도 하나 이상의 디지털 고 대역 통과 필터(Digital High pass Filter; DHPF)를 포함할 수 있다.

상기 데이터베이스(122)는 상기 제1 및 제2 감지 전극들(141, 142) 각각으로부터 출력되는 뇌파(EEG) 신호를 저장하도록 복수 개의 레지스터(미도시)가 구비된다.

상기 표시부(130)는 상기 신호 처리부(121)를 통해 상기 데이터베이스로부터 출력되는 데이타를 표시하는 기능을 수행한다.

여기서, 상기 신호 처리부(121)는 프로세서를 구비할 수 있으며, 상기 프로세서는 사용자가 응시한 타겟에 상응하는 상기 뇌파 신호에 따라 상기 데이터베이스에 저장된 데이타를 출력하도록 동작되며, 상기 데이터베이스(122)는 상기 타겟들의 수와 동일한 갯수의 레지스터가 구비되도록 설계된다.

도 2를 참조하면, 본원 발명의 EEG 감지 전극부(140)는 사람의 후두엽의 영역 중 O1 영역 및 O2 영역에 구비될 수 있으며, 상기 O1 영역 및 O2 영역은 시각의 좌우 경로를 충추 역할을 하는 영역이다.

도 3을 참조하면, 타겟들 좌우에 구비된 시각 자극기들(Left, Right Visual Stimulator)는 일정한 주파수로 깜박이게 되며 서로 다른 주파수로 깜박이게 된다.

예를 들어 “Light Off” 명령을 내리고 싶다면 사용자는 시각 자극기가 아닌 “Light Off” 라는 글자를 응시한다. 사용자가 "Light Off" 글자를 응시하게 되면, 사용자의 뇌전도 신호를 뇌의 시각 중추인 O1과 O2영역에서 측정한다.

측정된 신호들은 처리부 내에 수신되어 타겟에 따른 주파수별로 분류된다. 시신경 교차에 의해서 O1영역에서 Right visual field의 주파수가 검출되며 O2영역에서는 Left visual field의 주파수가 검출된다.

예를 들어 “Light Off”라는 글자를 사용자가 응시하고 있고 왼쪽 Visual Stimulator에서는 12Hz, 오른쪽 Visual Stimulator에서는 21Hz로 깜박이고 있다면 사용자의 O1 영역에서는 21Hz의 주파수가 검출되고 O2 영역에서는 12Hz의 주파수 성분이 상대적으로 높게 검출되게 된다.

이러한 주파수 분류 및 분석을 통해 사용자가 응시하고 있는 타겟을 알아 낼 수 있는 과정을 수행하게 된다.

도 4a 내지 도 4d은 시각 자극기의 위치에 따라 후두엽의 O1 영역 및 O2 영역에서 측정되는 뇌파 신호의 예를 보여주는 그래프이다.

도 4a 내지 도 4d를 참조하면, 시각 자극기를 이용하여 사용자가 가운데 있는 "+" 타겟을 응시하고 있는 상태에서 왼쪽과 오른쪽의 시각 자극기의 점멸 주파수를 변경했을 경우의 결과들이다.

예를 들어, 도 4a에서는 왼쪽 자극기의 신호가 뇌의 오른쪽에서 발생되고 있음을 알 수 있으며, 도 4b에서는 오른쪽 자극기의 신호가 뇌의 왼쪽에서 발생되고 있음을 알 수 있으며, 도 4c 및 4d에서는 왼쪽 시각 자극기는 12Hz로 점멸되고 오른쪽 시각 자극기는 각각 18Hz와 16Hz로 점멸 되는 경우인데, 이 경우 왼쪽의 12Hz 자극이 뇌의 오른쪽 영역에서 상대적으로 높게 나타나며 오른쪽의 18Hz와 16Hz의 자극이 뇌의 왼쪽 영역에서 상대적으로 높게 발생되고 있음 알 수 있다.

도 5는 도 1에 도시된 좌우 시작경로 차이를 이용한 BCI 기반의 SSVEP 시스템의 동작 방법을 나타낸 플로우 챠트이다.

도 5에 도시된 바와 같이, 상기 좌우 시작경로 차이를 이용한 BCI 기반의 SSVEP 시스템의 동작 방법(S100)은 타겟 응시 단계(S110), 뇌전도 신호 측정 단계(S120), 저장 단계(S130), 패턴 인식 단계(S140) 및 표시 단계(S150)를 포함한다.

상기 타겟 응시 단계(S110)는 타겟 응시부에 배열된 시선 응시 타겟들 중 어느 하나를 응시하는 단계일 수 있다.

상기 뇌전도 신호 측정 단계(S120)는 상기 시선 응시 타겟에 따른 뇌전도 신호를 EEG 감지 전극부에서 측정하는 단계일 수 있다.

상기 저장 단계(S130)는 상기 측정된 뇌전도 신호를 레지스트리에 저장시키는 단계일 수 있다.

상기 패턴 인식 단계(S140)는 상기 타겟 응시부(110)에 배열된 시선 응시 타겟들 갯수 만큼 상기 타겟 응시 단계(S110) 내지 상기 저장 단계(S130)를 반복하여 패턴을 인식하는 단계일 수 있다.

상기 표시 단계(S150)는 상기 패턴 인식이 완료된 후, 사용자가 응시한 응시 타겟에 상응하는 데이타를 프로세서(미도시)를 통해 데이터베이스에서 출력하여 디스플레이시키는 단계일 수 있다.

따라서, 본 발명에 따르면 사용자가 시작 자극기를 직접적으로 응시하지 않아도 SSVEP 신호를 획득하여 BCI에 적용할 수 있는 효과가 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 시스템 110: 타겟 응시부
120: 처리부 121 : 신호 처리부
122: 데이터베이스 130: 표시부
140: EEG 감지 전극부 141: 제1 감지 전극
142: 제2 감지 전극

Claims

사용자의 후두엽에 부착되어 뇌파 신호를 측정하도록 EEG 감지 전극부;
복수 개의 문자 및 숫자인 시선 응시 타겟들이 배열되며, 상기 시선 응시 타겟들 중 2개 사이에 구비되어, 서로 다른 주파수로 점별되는 복수 개의 시각 자극기가 구비된 타겟 응시부; 및
사용자가 상기 타겟 응시부 내에 구비된 타겟들 각각을 응시함에 따라 상기 EEG 감지 전극부로부터 출력되는 뇌파 신호를 분류하여 처리하는 처리부를 포함하는 좌우 시작경로 차이를 이용한 SSVEP - BCI 시스템.
제1항에 있어서,
상기 EEG 감지 전극부는,
건식 전극 또는 습식 전극 중 어느 하나의 전극을 포함하는 것을 특징으로 하는 좌우 시작경로 차이를 이용한 SSVEP - BCI 시스템.
제1항에 있어서,
상기 처리부는,
프로세서;
상기 EEG 감지 전극으로부터 출력되는 뇌파 신호를 저장하는 복수 개의 레지스터가 배열된 저장부; 및
상기 프로세서를 통해 상기 저장부로부터 출력되는 데이타를 표시하는 디스플레이부를 포함하며,
상기 프로세서는,
사용자가 응시한 타겟에 상응하는 상기 뇌파 신호에 따라 상기 저장부에 저장된 데이타를 출력하도록 동작되며, 상기 저장부는 상기 타겟들의 수와 동일한 갯수의 레지스터가 저장되는 것을 특징으로 하는 좌우 시작경로 차이를 이용한 SSVEP - BCI 시스템.
제1항에 있어서,
상기 EEG 감지 전극부는,
적어도 2개 이상의 뇌파 전극 센서가 사용자의 시각 중추 영역에 가로 길이 방향으로 부착되는 것을 특징으로 하는 좌우 시작경로 차이를 이용한 SSVEP - BCI 시스템.
제1항에 있어서,
상기 복수 개의 시각 자극기들 각각은,
서로 다른 색의 LED 광원인 것을 특징으로 하는 좌우 시작경로 차이를 이용한 SSVEP - BCI 시스템.
타겟 응시부에 배열된 시선 응시 타겟들 중 어느 하나를 응시하는 타겟 응시 단계;
상기 시선 응시 타겟에 따른 뇌전도 신호를 EEG 감지 전극부에서 측정하는 뇌전도 신호 측정 단계;
상기 측정된 뇌전도 신호를 레지스트리에 저장시키는 저장 단계;
상기 타겟 응시부에 배열된 시선 응시 타겟들 갯수 만큼 상기 타겟 응시 단계 내지 상기 저장 단계를 반복하여 패턴을 인식하는 단계; 및
상기 패턴 인식이 완료된 후, 사용자가 응시한 응시 타겟에 상응하는 데이타를 프로세서를 통해 저장부에서 출력하여 디스플레이시키는 표시 단계를 포함하는 좌우 시작경로 차이를 이용한 SSVEP - BCI 시스템의 동작 방법.