KR20200053171A - 동작 상상 뇌-컴퓨터 인터페이스를 위한 시간-주파수 최적 공간 패턴 기반 뇌파 분석 방법 - Google Patents

Abstract

동작 상상 뇌-컴퓨터 인터페이스를 위한 시간-주파수 최적 공간 패턴 기반 뇌파 분석 방법을 개시한다. 본 발명의 일 실시예에 따른 시간-주파수 최적 공간 패턴 기반 뇌파 분석 방법은 사용자의 뇌파 데이터를 상기 사용자별로 산출된 최적 시간 간격에 따라 시간 영역에서 분해하는 단계; 상기 뇌파 데이터를 소정의 주파수 간격에 따라 주파수 영역에서 분해하는 단계; 상기 시간 영역의 분해 결과 및 상기 주파수 영역의 분해 결과에 기초하여, 상기 뇌파 데이터의 복수의 부분 신호 각각에 관한 공간 패턴 특징을 도출하는 단계; 및 MIBIF(mutual information based individual feature), SVM 래퍼(wrapper) 및 SVM 필터(filter)에 기초하여, 상기 복수의 부분 신호 각각에 관한 공간 패턴 특징 중에서 상기 사용자에게 최적화된 최적 공간 패턴 특징을 추출하는 단계를 포함한다.

Description

동작 상상 뇌-컴퓨터 인터페이스를 위한 시간-주파수 최적 공간 패턴 기반 뇌파 분석 방법{TEMPORAL-SPECTRAL OPTIMIZED SPATIAL PATTERN BASED EEG ANALYSIS TECHNIQUE FOR MOTOR IMAGERY BRAIN COMPUTER INTERFACE}

본 발명은 동작 상상을 추정 분류해 사용자의 의도를 인식하는 뇌-컴퓨터 인터페이스를 위한 뇌파(EEG) 신호 분석 방법에 관한 것으로, 보다 상세하게는 뇌파 신호에서 공간 패턴을 추출하는 기존 기술을 발전시켜 시간-주파수 영역에 최적화된 공간 패턴을 추출해 의도 인식률을 상승시키는 방법에 관한 것이다.

뇌-컴퓨터 인터페이스는 새로운 커뮤니케이션 기술로서 두뇌와 컴퓨터 사이의 직접적인 연결을 목표로 하는 기술이다. 이 중에서도 동작 상상 추정 기술은 사용자가 직관적으로 의도 동작을 상상하면 그때 발현되는 뇌파를 분석해 사용자가 상상한 동작을 구분해내는 기술로 타 뇌-컴퓨터 인터페이스 기술에 비해 고차원적인 기술이지만, 뇌파 신호 측정 상의 한계로 인해 눈 깜박임, 머리 움직임 등의 배경 소음에 오염되기 쉽고, 상상 의도 분류를 위한 뇌파 분석이 어려워 정확도가 높지 않은 한계가 있다. 따라서 동장 상상 기반의 뇌-컴퓨터 인터페이스 분류 정확도를 높이기 위해 잡음이 있는 뇌파 신호에서 유용한 정보를 추출하는 기술은 아직 열려있는 도전 과제이다.

뇌파 신호의 패턴을 인식하고 특징을 추출하는 기술은 여러 가지 개발됐는데 대표적으로 공간 패턴의 특징을 추출하는 Common spatial pattern (CSP), 시간 패턴의 특징을 추출하는 Time domain parameter (TDP), 주파수 패턴의 특징을 추출하는 Power spectral density (PSD)가 있다. 또한 주파수 + 공간 패턴의 융합 특징 추출을 위한 filter bank CSP와 시간 + 공간 패턴의 융합 특징 추출을 위한 temporally constrained sparse group spatial pattern (TSGSP) 기술이 있다. 일반적으로 두 개의 패턴에서 융합 특징을 추출하게 되면 단일 패턴의 특징에 비해 기하급수적으로 많은 양의 특징이 추출되는데, 본 발명에서는 이 중에서 유용한 특징만을 선택할 수 있는 특징 선택 기술로 filter bank CSP는 mutual information based independent feature (MIBIF) 기술을 활용했으며 TSGSP는 linear support vector machine (LSVM)을 활용한 자체 최적 특징 추출 기술을 사용했다.

종래의 기술 중 단일 도메인에서 특징을 추출하는 기술들은 다른 도메인의 정보를 뽑을 수 없기 때문에 높은 성능의 동장 상상 의도 예측을 수행할 수 없는 문제가 있었다. 또한 두 종류의 도메인을 융합해 특징을 추출하는 기술은 단일 도메인 기술들보다는 성능이 향상되었지만, 여전히 실생활에 적용될 수 있는 기술로 발전하기에는 성능이 부족할 뿐만 아니라 특징 선택 기술의 성능적 한계로 인해 대량으로 추출되는 융합 특징을 효과적으로 사용하지 못하는 문제가 있다.

본 발명은 뇌파 신호를 활용한 동작 상상 의도 인식을 위해 시간-주파수-공간의 3가지 도메인 패턴을 융합한 특징을 추출하고, 이로부터 추출되는 대량의 특징을 효과적으로 활용할 수 있는 특징을 선택하는 방법에 관한 것이다.

본 발명은 시간-주파수 영역에 최적화된 공간 패턴을 추출해 의도 인식률을 상승시킨 뇌-컴퓨터 인터페이스를 위한 뇌파(EEG) 신호 분석 방법 및 장치를 제공하고자 한다.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위해, 본 발명에서 제공하는 시간-주파수 최적 공간 패턴 기반 뇌파 분석 방법은 사용자의 뇌파 데이터를 상기 사용자별로 산출된 최적 시간 간격에 따라 시간 영역에서 분해하는 단계; 상기 뇌파 데이터를 소정의 주파수 간격에 따라 주파수 영역에서 분해하는 단계; 상기 시간 영역의 분해 결과 및 상기 주파수 영역의 분해 결과에 기초하여, 상기 뇌파 데이터의 복수의 부분 신호 각각에 관한 공간 패턴 특징을 도출하는 단계; 및 MIBIF(mutual information based individual feature), SVM 래퍼(wrapper) 및 SVM 필터(filter)에 기초하여, 상기 복수의 부분 신호 각각에 관한 공간 패턴 특징 중에서 상기 사용자에게 최적화된 최적 공간 패턴 특징을 추출하는 단계를 포함한다.

본 발명에 따른 동작 상상 뇌-컴퓨터 인터페이스를 위한 시간-주파수 최적 공간 패턴 기반 뇌파 분석 방법은 배경 소음 등에 취약해 분류 정확도가 낮았던 기존의 동작 상상 패턴의 특징 추출 기술의 성능을 향상시켜 상지 움직임에 어려움이 있는 마비 환자들의 생활 보조 및 재활 기기를 통한 삶의 질 향상에 기여 할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 시간-주파수 최적 공간 패턴 기반 뇌파 분석 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 시간-주파수 최적 공간 패턴 기반 뇌파 분석 방법을 설명하기 위한 도면이다.
도 3 및 4는 본 발명의 일 실시예에 따른 시간-주파수 최적 공간 패턴 기반 뇌파 분석 방법의 검증 결과를 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 시간-주파수 최적 공간 패턴 기반 뇌파 분석 방법을 설명하기 위한 흐름도이다.

단계 S110에서는, 뇌파 분석 장치가 사용자의 뇌파 데이터를 사용자별로 산출된 최적 시간 간격에 따라 시간 영역에서 분해한다.

뇌파 분석 장치는 사용자(피험자)마다 동작 상상의 패턴이 가장 크게 발현되는 뇌파 신호를 추출하기 위하여 시간 영역 분해를 수행할 수 있다. 예컨대, 각 사용자의 데이터 시계열로 표현했을 때 [Min(t), Max(t)]로 표현한다고 가정하면(즉, Min(t)은 신호의 시작 시각, Max(t)는 신호의 마지막 시각), 사용자별 최적 시간 간격을 탐색하기 위한 아래의 수식 (1) ~ (4)를 활용한 재귀적 탐색을 수행한다.

단계 S120에서는, 뇌파 분석 장치가 뇌파 데이터를 소정의 주파수 간격에 따라 주파수 영역에서 분해한다.

뇌파 분석 장치는 시간 영역 분해와 마찬가지로 사용자의 동작 상상 패턴이 가장 크게 발현되는 주파수 영역의 신호를 추출하기 위하여 주파수 영역 분해를 수행할 수 있다. 해당 기술은 기존 filter bank CSP 기술의 band-pass filtering 기술을 이용할 수 있다. 예컨대, 동작 상상에 영향을 받는 뇌파의 주파수로 알려진 4~40Hz 구간을 4Hz씩 (4~8Hz, 8~12Hz, …., 36~40Hz)로 구분할 수 있으며, 구분 기술은 fifth order Butterworth filter를 이용할 수 있다.

단계 S130에서는, 뇌파 분석 장치가 그 시간 영역의 분해 결과 및 주파수 영역의 분해 결과에 기초하여, 뇌파 데이터의 복수의 부분 신호 각각에 관한 공간 패턴 특징을 도출한다.

예컨대, 뇌파 분석 장치는 기존에 알려진 CSP를 활용해 시간과 주파수 영역에서 나누어진 NxF개(N: 시간 영역 분할 개수, F: 주파수 영역 분할 개수)의 부분 신호에서 CSP를 각각 도출할 수 잇다.

마지막으로 단계 S140에서는, 뇌파 분석 장치가 MIBIF(mutual information based individual feature), SVM 래퍼(wrapper) 및 SVM 필터(filter)에 기초하여, 복수의 부분 신호 각각에 관한 공간 패턴 특징 중에서 사용자에게 최적화된 최적 공간 패턴 특징을 추출한다.

이때, 뇌파 분석 장치는 filter bank CSP에 사용되는 MIBIF, TSGSP에서 활용했던 SVM을 활용한 wrapper 방식의 특징 선택, 마지막으로 SVM을 활용한 filter 방식의 특징 선택 기술을 이용할 수 있다. SVM을 활용한 filter 방식의 특징 선택은 아직 뇌-컴퓨터 인터페이스의 동작 상상 특징 추출과 관련되어 사용된 바는 없으나 계산 복잡도가 wrapper에 비해 낮은 SVM 기반의 특징 선택 기술이다.

한편, 도 2를 참조하면, 본 발명의 일 실시예에 따른 시간-주파수 최적 공간 패턴 기반 뇌파 분석 방법의 전체적인 기술이 도시되어 있다.

또한, 도 3 및 4를 참조하면, 본 발명의 검증 결과가 나타나 있다.

보다 구체적으로, 손 쥐기, 펴기, 휴식의 3가지 동작 상상 중의 뇌파 데이터를 20명에 대해 측정해 Shrinkage linear discriminant analysis (SRLDA) 분류기를 활용해 의도를 추정 분류한 결과가 나타나 있다.

1) Kappa 값의 도출 방법 (p_o: relative observed agreement among raters, p_e: hypothetical probability of chance agreement)

2) Accuracy 도출 방법(tp: true positive, tn: true negative, fp: false positive, fn: false negative)

한편, 도 4는 가장 우수한 성능을 나타낸 S15 피험자의 주파수 및 시간 영역에 따른 CSP의 분류 정확도이다. 이때, 행은 주파수 영역(0: 4~8Hz, ..., 8: 36~40Hz), 열은 시간 영역을 의미한다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (1)

1. 사용자의 뇌파 데이터를 상기 사용자별로 산출된 최적 시간 간격에 따라 시간 영역에서 분해하는 단계;
   상기 뇌파 데이터를 소정의 주파수 간격에 따라 주파수 영역에서 분해하는 단계;
   상기 시간 영역의 분해 결과 및 상기 주파수 영역의 분해 결과에 기초하여, 상기 뇌파 데이터의 복수의 부분 신호 각각에 관한 공간 패턴 특징을 도출하는 단계; 및
   MIBIF(mutual information based individual feature), SVM 래퍼(wrapper) 및 SVM 필터(filter)에 기초하여, 상기 복수의 부분 신호 각각에 관한 공간 패턴 특징 중에서 상기 사용자에게 최적화된 최적 공간 패턴 특징을 추출하는 단계
   를 포함하는 것을 특징으로 하는 시간-주파수 최적 공간 패턴 기반 뇌파 분석 방법.

Images