KR100970589B1 - 비음수 텐서 분해를 이용한 뇌파의 주파수 특징 추출 방법 - Google Patents

Abstract

본 발명에 의한 비음수 텐서 분해를 이용한 뇌파의 주파수 추출 방법은, 특정 자극에 대해 피험자로부터 측정한 다채널 뇌파 데이터를 시간-주파수 표현으로 변환하여 비음수 다원 텐서인 N-way 텐서를 생성하는 과정; 상기 N-way 텐서를 분해하여 특정 자극에 대하여 측정된 잡음이 혼합된 뇌파에서 유효 뇌파를 이루는 기본 성분의 특징을 추출하는 과정; 및 상기 추출된 특정 성분의 분포에 따라 패턴으로 분류하여 유효한 뇌파를 이루는 기본 성분을 판별하는 과정을 포함한다.

본 발명에 의하면 피험자가 의도하고, 생각하는 것을 특징적인 패턴으로서 측정된 잡음으로부터 정확히 추출함으로써, 장애인인 뿐만 아니라 최근 멀티미디어나 가상 현실 등에서 보다 효과적으로 응용될 수 있는 뇌-컴퓨터 인터페이스 방식을 제공할 수 있다.

Description

비음수 텐서 분해를 이용한 뇌파의 주파수 특징 추출 방법{Method for extracting spectral EEG feature using nonnegative tensor factorization}

본 발명은 뇌파 기반의 뇌-컴퓨터 인터페이스를 구현하는데 있어서 핵심 기술인 뇌파 분석/분류 부분 중 비음수 텐서 분해 (nonnegative tensor factorization)를 이용한 뇌파 특징 추출 방법에 관한 것이다.

뇌-컴퓨터 인터페이스(Brain Computer Interface; BCI)는 피험자가 생각하는 것만으로 컴퓨터나 휠체어, 기타 의료보조기구 등을 직접 움직이게 할 수 있는 새로운 휴먼 컴퓨터 인터페이스 방식이다.

이러한 뇌-컴퓨터 인터페이스 방식은 사지를 사용할 수 없는 장애인을 위해 고안되었으며, 최근 멀티미디어나 가상 현실 등에 응용될 수 있는 가능성이 제시되고 있다.

뇌로부터 인간의 생각을 측정하는데 널리 쓰이는 방법으로 기능성 자기공명영상 (fMRI), 양전자방출단층촬영 (PET), 자기뇌파검사, 뇌파 (EEG) 등이 있으며 이 중 BCI에 가장 널리 사용되고 있는 것이 바로 EEG이다. EEG는 다변량 시계열 데이터로써 뇌의 피질에서 발생하여 두피까지 전달된 전기적 신호들을 두피에 지정된 여러 곳에 부착된 전극을 통해 측정된다. 이러한 뇌신호의 정보는 주로 주파수 성분으로 표현되며 전극의 위치에 따라 뇌의 기능과 상관 관계를 갖게 된다.

일반적으로 알려진 뇌에서 측정된 주파수 특징으로는 사건 관련 동기(event-related synchronization; ERS)와 사건 관련 비동기(event-related desynchronization; ERD)라고 불리는 움직임과 관련된 현상이 있으며, ERD는 움직임을 준비하거나 움직임을 상상할 때 감각운동피질에서 일시적으로 무(mu) 리듬(8-12 Hz)이 감쇠하는 현상이고, ERS는 움직임 후에 베타 리듬(18-25 Hz)이 일시적으로 증가하는 현상을 가리킨다. 이러한 현상은 피험자에 따라 다른 주파수 영역에서 나타날 수 있으며, 실제로 어떤 피험자에게는 8-12 Hz가 아닌 16-20 Hz에서 ERD 현상이 발생했다는 실험 결과도 있다.

이러한 ERD/ERS 현상을 이용한 뇌파 분류 알고리즘은 해당 기관, 단체에서 이미 많은 연구가 진행되어져 왔고, 소정의 성과도 거두고 있다. 최근에 와서는 BCI 연구에 움직임의 상상하는 것뿐만 아니라 단어 인지, 추출, 생성이나 각종 수학 연산과 같은 인지 과정을 추가하려는 시도가 잇따르고 있다. 이러한 지각/인지와 관련되어 알려진 주파수 특징으로는 중앙과 후방 피질에서 발생하는 감마 리듬 (30-100 Hz)과 기억과도 관계있는 것으로 추측되는 전두엽 부근의 세타 리듬 (3-7 Hz)이 있다. 그러나 이와 같은 특징은 ERD/ERS와 같이 구분이 용이하게 또렷하게 나타나는 현상은 아니다.

뇌에서 측정된 주파수의 특징은 피험자에 따라 그 반응에 큰 편차가 있는 것으로 알려져 있다. 따라서 이런 현상을 추출하기 위해서는 기존의 알려진 특징을 기본 지식으로 하되 자동으로 해당 자극의 유효한 특징을 보다 효과적으로 찾아내는 방법이 요구되어 왔다.

본 발명의 과제는 뇌파 기반의 뇌-컴퓨터 인터페이스를 구현하는데 있어서 뇌에서 측정되는 주파수 특징과 관련하여 뇌파 분석/분류 부분 중 비음수 텐서 분해를 이용한 뇌파 특징 추출 방법을 제공하는 데 있다.

상기 과제를 달성하기 위한 본 발명에 의한 비음수 텐서 분해를 이용한 뇌파의 주파수 추출 방법은,

특정 자극에 대해 피험자로부터 측정한 다채널 뇌파 데이터를 시간-주파수 표현으로 변환하여 비음수 다원 텐서인 N-way 텐서를 생성하는 과정; 상기 N-way 텐서를 분해하여 특정 자극에 대하여 측정된 잡음이 혼합된 뇌파에서 유효 뇌파를 이루는 기본 성분의 특징을 추출하는 과정; 및 상기 추출된 특정 성분의 분포에 따라 패턴으로 분류하여 유효한 뇌파를 이루는 기본 성분을 판별하는 과정을 포함함을 특징으로 한다.

또한, 상기 비음수 N-way 텐서는 채널, 시간, 주파수, 트라이얼, 피험자를 각각 하나의 차원으로 함을 특징으로 한다.

또한, 상기 비음수 텐서 분해를 수행하기 전에 최근접 이웃 방법을 이용하여 데이터 선택 과정을 수행하여 텐서의 크기를 줄이는 것을 특징으로 한다.

또한, 상기 데이터 선택 과정은 상기 비음수 N-way 텐서에서 각각의 클래스에 대한 평균값을 구하고, 각각의 클래스에 대해 평균값이 가장 근접한 슬라이스를 선택함을 특징으로 한다.

또한, 상기 비음수 텐서 분해를 수행하기 전 큰 데이터만 선택하는 파워(power)나 데이터 분포를 정량적으로 표현하는 sparseness 연산을 적용한 데이터 선택과정을 수행하여 텐서의 크기를 줄이는 것을 특징으로 한다.

또한, 상기 유효 뇌파의 기본 성분은 상기 비음수 N-way 텐서 분해를 적용하여 N번째 컴포넌트 행렬을 특징 행렬로 산출하고, 나머지 1 내지 N-1 컴포넌트 행렬은 각 차원의 기본 행렬로 산출함을 특징으로 한다.

또한, 상기 특징 행렬은 의사역행렬이나 비음수 텐서 분해의 곱셈을 이용하여 산출함을 특징으로 한다.

또한, 상기 특정 자극이 연속적으로 주어지는 뇌파 측정에 대해서는 상기 특징 행렬을 비터비 알고리즘을 이용하여 클래스를 분류함을 특징으로 한다.

본 발명에 의하면, 피험자가 의도하고, 생각하는 것을 특징적인 패턴으로서 측정된 잡음으로부터 정확히 추출함으로써, 사용자의 생각만으로 컴퓨터나 휠체어, 기타 의료보조기구 등을 직접 에러 없이 효과적으로 작동시킬 수 있으며, 사지를 사용할 수 없는 장애인인 뿐만 아니라 최근 멀티미디어나 가상 현실 등에서 보다 효과적으로 응용될 수 있는 뇌-컴퓨터 인터페이스 방식을 제공할 수 있다.

이하, 첨부 도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다.

본 발명에서는 주파수 특징이 비음수라는데 착안하여 특징 추출 방법에 널리 사용되고 있는 선형 데이터 모델에 비음수 조건이 추가된 비음수 행렬 분해(nonnegative matrix factorization, NMF) 방법과 이를 텐서로 확장한 비음수 텐서 분해(nonnegative tensor factorization, NTF) 방법을 뇌파의 특징 추출 알고리즘으로 제안하며, 연속적인 뇌파의 분류를 위해 비터비 알고리즘(Veterbi algorithm)을 적용한 패턴 분류 방법을 제안한다.

선형 데이터 모델은 가장 널리 쓰이는 다변량 데이터 분석 방법으로써

를 n개의 d-차원 관찰된 벡터가 모인 행렬이라고 할 때,

의 식으로 표현할 수 있다. 이 때,

를 구성하는

개의 기본 벡터들의 행렬을

이라고 하고 기본 벡터들의 구성 정도를 가중치로서 갖는 행렬을

이라고 한다. 주성분 분석 (principal component analysis; PCA), 선형 판별 분석 (linear discriminant analysis; LDA), 독립 성분 분석 (independent component analysis; ICA) 등이 여기에 포함되고, 뇌파의 분석과 분류에도 널리 사용되어 왔다.

또한, 비음수 행렬 분해(nonnegative matrix factorization; NMF)는 선형 데이터 모델에 비음수 조건 (

)을 추가한 것이다.

에 속한 비음수 기본 벡터들에

에 속한 각각의 가중치가 항상 덧셈으로 곱해지기 때문에 기본 벡터들은 관찰 데이터들의 부분 성질을 더 잘 표현한 듬성듬성한 성분을 갖고 있다. 뇌파에서 가장 널리 사용되는 웨이블릿 변환이나 윈도우 푸리에 변환 (short-time Fourier transform; STFT)을 통한 시간-주파수 표현은 모두 비음수 특징을 갖기 때문에 NMF를 이용한 특징 추출에 적합하다.

다원 분석 (multi-way analysis)은 상기 언급한 행렬의 선형 방법을 텐서로 확장한 것으로써 관찰 데이터가

의 N-way 텐서로 주어졌을 때

으로 표현할 수 있고, 선형 데이터 모델에서 행에 대한 기본 벡터

만을 구할 수 있는 것과 달리 다원 분석에서는 각 차원에 대한 컴포넌트 행렬

을 모두 구할 수 있다. (여기서

은 mode n multiplication 임) 따라서 각 차원을 주파수, 채널, 시간, 클래스 등에 해당하는 것으로 지정한다면, 각각에 해당하는 주요한 컴포넌트를 구할 수 있다. 다원 분석의 대표적인 방법으로는 factor 분석을 텐서로 확장한 PARAFAC과 단일값분해(singular value decomposition; SVD)를 확장한 다원(multiway) SVD (higher-order SVD) 등이 있다. 관찰 텐서와 각각의 컴포넌트 행렬에 KL 발산(divergence) 등의 다양한 정보량 측정 방법을 이용한 방법 역시 소개되고 있다. PARAFAC과 같은 방법은 뇌파에 적용된 예가 있다.

본 발명에서의 뇌파 분류를 위해 제안된 방법은 (1) 시간-주파수 표현으로 변환하는 전처리 과정, (2) 비음수 텐서 분해를 기반으로 하는 특징 추출 과정, (3) 패턴 분류 과정의 세 과정으로 나눌 수 있다.

우선, 데이터에 적용되는 방식에 대해서 설명하기로 한다.

본 발명의 실시예에서 사용된 데이터는 BCI competition II에 공개된 데이터셋(dataset) III와 BCI competition III에 공개된 데이터셋 V이다. 전자는 오스트리아의 Graz 공과대학교에서, 후자는 스위스의 IDIAP 연구소에서 측정되었으므로 편의상 각각 Graz 데이터셋과 IDIAP 데이터셋으로 칭하기로 한다.

Graz 데이터셋의 경우 오른손과 왼손의 움직임을 상상하도록 하여 측정한 뇌파데이터인 2개의 클래스로 구성되어 있으며 C3, Cz, C4 3개의 채널에서 측정된 각 140개의 트라이얼로 구성된 트레이닝셋과 테스트셋이 있다.

이 때, 트라이얼이란 일련의 상상을 유도하는 과정으로 한 트라이얼 내에 오른손 혹은 왼손의 움직임 중 한 가지만 상상하도록 지시하며, 피험자가 지시사항을 효과적으로 상상하게 하기 위해 인위적으로 안정-집중-지시-지시된 태스크 상상-안정의 과정을 거친다. 보통 신뢰할만한 자극의 패턴을 찾기 위해 트라이얼을 여러 번 수행한다. 오른손, 왼손에 대하여 뇌의 각 반대 부분이 작동하므로 본 실시예에서는 감각 운동 피질의 중앙에서 뇌파를 측정하는 Cz 채널을 제외한 C3 (좌뇌의 motor cortex에 위치), C4 (우뇌의 motor cortex에 위치), 두 개의 채널만 적용하기로 한다.

IDIAP 데이터셋을 적용하는 경우에는 3명의 피험자로부터 오른손, 왼손의 움직임을 상상하는 태스크와 더불어 임의로 주어진 알파벳을 주고 그 알파벳으로 시작하는 단어를 연상하게 하는 태스크를 추가로 수행하여, 총 3개의 클래스로 이루어진다. IDIAP 데이터셋은 트라이얼 구조를 갖지 않는다. 즉, 일정 시간 동안 휴식-집중-태스크의 정형화된 실험을 수행하는 것이 아니라 휴식, 집중의 단계 없이 연속적으로 상상하는 태스크만 주어지며 태스크를 수행하는 시간도 임의로 결정된다. 이와 같이 측정된 신호를 연속적인 뇌파로 칭하기로 한다. 데이터는 2 Hz 해상도로 8-32 Hz 사이의 시간-주파수 표현으로 주어져있으며 C3, Cz, C4, CP1, CP2, P3, Pz, P4, 총 8개의 채널에서 측정되었다. 아래 표 1은 Graz와 IDIAP 데이터셋에 대한 비음수 텐서 분해에 사용될 N-way 텐서의 구성을 나타낸 것이다.

-way 텐서	Graz	IDIAP
2
3
4 (시간)
4 (클래스)

표 1에서 freq는 주파수, chan은 채널, sample은 데이터의 개수, sample(trial)은 총 트라이얼의 개수, sample/class는 각 클래스당 sample의 개수를 의미한다. 이 때, Graz 데이터셋의 경우 오른손, 왼손의 움직임을 상상하는 2개의 클래스를, IDIAP 데이터셋의 경우 오른손, 왼손의 움직임을 상상하는 것과 단어 연상에 해당하는 3개의 클래스를 가지고 있다.

- 전처리 과정

여기서는 시계열 신호로 주어진 뇌파를 시간-주파수 표현으로 변환하고, 라벨 (클래스)이 주어진 데이터와 그렇지 않은 데이터를 이용하여

,

텐서를 구성한다.

Graz 데이터셋인 경우 complex Morlet wavelet을 이용하여 측정된 뇌파를 시간-주파수 표현으로 변환한 후 데이터 텐서

를 생성한다. 각각의 성분은

이고, f∈{4,5,...,30} Hz,

(각각 C3, C4 채널을 의미), 각 트라이얼 안의 데이터 포인트를 뜻하는

(

는 한 트라이얼 안의 데이터 개수),

(각각 오른손/왼손의 움직임을 상상한 것을 의미하는 인덱스), 트라이얼을 가리키는 k=1,...,K (K는 총 트라이얼의 개수)를 뜻한다.

IDIAP 데이터셋인 경우에는 이미 시간-주파수 표현으로 변환된 데이터가 주어져있기 때문에 전처리 과정에서 정규화(normalization)만 수행하고 텐서,

를 구성한다. 이 때, 각 컴포넌트는 주어진 성분

을 이용하여

로 구할 수 있다.

여기서,

Hz, 8개 채널을 의미하는 i=1,2,...8, 왼손, 오른손의 움직임을 상상하고, 단어 생성 태스크를 가리키는

, 각각의 타임 포인트를 의미하는 t는 t=1,...,T이며, T는 데이터 포인트의 개수를 나타낸다. 이 데이터셋에는 트라이얼 구조가 없기 때문에 이에 대한 인덱스는 없다.

- 특징 추출

전처리 과정을 끝낸 데이터셋은 Graz 데이터셋인 경우

의 5-way 텐서로 구성되어 있고, IDIAP 데이터셋의 경우

의 4-way 텐서로 구성된다. 본 발명에서는 이를 자유롭게 변형하여 다양한 텐서를 구성할 수 있고, 그에 따라 원하는 기본 성분을 추출할 수 있다. 예컨대, 주파수

채널

클래스

샘플로 텐서를 구성하였을 경우 주파수, 채널, 클래스에 대한 성분 행렬(component matrix)을 구할 수 있고, 이 행렬의 열벡터는 각각 주파수, 채널, 클래스의 기본 성분 벡터들이다. 원래 데이터를 이용하여 텐서를 구성하면 그 사이즈가 커지므로 데이터 선택 과정을 거쳐 좀더 유용한 데이터들만 추출한다.

데이터 선택은 트레이닝 과정에서는 전체 데이터를 모두 사용하는 것이 아니라 정보가 없거나 잘못 측정된 데이터를 버리고, 각 클래스를 판별하는데 있어 더 효과적인 데이터를 선택하는 과정을 거친다. 이 때 텐서에

에 해당하는 인덱스가 있는, 즉, 트라이얼 구조가 있는

로 변형할 경우(표 1 참조) 데이터 선택의 과정을 거치면,

의 개수가 일정치 못하므로 이 경우는 데이터 선택 과정을 거치지 않는다.

데이터 선택에 적용되는 연산은 최근접이웃 (the nearest neighbor) 방법을 사용한다. 예를 들어, 텐서

가 주어졌을 때 각각의 클래스

에 대한 평균값

을

로 구한다. Graz 데이터셋의 경우,

(

)이 된다. 데이터 선택의 과정은 각각의 클래스에 대해 평균값에 가장 근접하는 슬라이스,

,

개를 뽑는 것으로 이루어진다.

본 발명의 실시예에서는 Graz 데이터셋의 경우

개의 슬라이스 중 43%를 넘지 않는 개수를 선택하였으며, IDIAP 데이터셋의 경우

개의 슬라이스 중 95%를 넘지 않는 개수를 선택하였다.

이 때 Graz 데이터셋을 훨씬 적게 선택하였는데 이는 단어 생성의 클래스가 추가됨으로 인해 클래스 판별이 분명하지 않음을 의미한다. 최근접이웃 방법을 이용한 데이터 선택의 과정은 태스크의 주파수 특성이 잘 알려져 있지 않을 때 매우 유용함을 알 수 있다.

데이터 선택을 위해 최근접이웃 방법 이외에 파워 (power)나 sparseness 연산을 적용할 수 있다. 파워는

와 같이 구할 수 있고, 임계치를 정하여 이 파워가 큰 데이터만 선택하는 방법이다. 이는 보통 특정 자극에만 성실하게 반응할 경우 특정 주파수 성분이 활성화가 되는 경우가 크기 때문이다.

다른 선택 방법으로 sparseness를 사용할 수 있는데 sparseness는

와 같이 구할 수 있고, 이는 데이터의 분포가 뚜렷하게 얼마나 뾰족한가를 정량적으로 표현한 것이다. 가령

의 sparseness는

이고,

의 sparseness는

이다. 두 벡터의 파워는 5로 같지만 전자의 sparseness가 후자의 sparseness보다 높다. 따라서 특정 주파수 성분에만 반응하는 데이터만 선택하는데 유용한 방법이 될 수 있다.

<비음수 텐서 분해를 이용한 기본 성분 추출>

표 1과 같이 구성된 다양한 형태의 데이터 텐서에 있어서, 예컨대 Graz 데이터셋에서 2-way 텐서를 구성할 경우, 데이터 선택의 과정에서 선택된 데이터

개를 주파수와 채널에 해당하는 차원을 하나로 합쳐 텐서

를 구성한다.

표 1에 나타난 각각의 텐서에 비음수 텐서 분해를 적용하면, 컴포넌트 행렬

를 구할 수 있으며,

-way 텐서인 경우 n=1,...,N의 컴포넌트 행렬,

이 존재한다.

샘플에 해당되는

번째 차원이므로 NMF의 예와 같이

번째 컴포넌트 행렬

이 특징 행렬이 되고, 나머지

들은 각 차원의 기본 성분이 된다. 예를 들어, 표 1의 Graz 데이터셋에서 4-way (클래스) 텐서의 경우

는 주파수의 기본 성분을,

는 채널의 기본 성분을,

는 시간의 기본성분을 나타내며,

는 특징 행렬이 된다. 기본 성분을 4개로 가정하였을 때 추출된 성분들은 후술되는 도 2d와 같다. 이렇게 추출된 기본 성분을 이용하여 해당 태스크를 수행하였을 때 원래 데이터에서는 잡음으로 볼 수 없었던 뇌의 작용을 관찰할 수 있다.

<비음수 텐서 분해를 기반으로 한 특징 추출>

트레이닝 과정에서 기본 성분,

을 추출한 상태에서 임의의 데이터가 들어왔을 때 각 기본 성분이 얼마의 가중치로 곱해져서 만들어졌는지를 나타내는 데이터를 특징이라 한다.

왼손과 오른손의 움직임을 상상한 데이터의 경우 비음수 텐서 분해를 통하여 각각의 클래스에 해당하는 기본 성분을 추출할 수 있고, 임의의 데이터에 대해 왼손에 해당하는 기본 성분을 많이 갖고 있으면 왼손의 움직임을 상상한 데이터로, 오른손에 해당하는 기본 성분을 많이 갖고 있으면 오른손의 움직임을 상상한 데이터로 분류할 수 있다. 따라서 패턴 분류에 있어서 어떤 성분을 어느 정도 가졌느냐, 즉 특징을 추출해내는 것은 중요하다.

상술한 바와 같이 샘플에 해당되는 차원이

번째이므로 각각의 특징 행렬은

번째 컴포넌트 행렬

이다. 임의의 데이터 (테스트 데이터)

가 주어져있을 때,

을 모드-

행렬화하여

을 구하고, training 과정에서 구한 기본 성분

을 이용하여

을 구하면, 비음수 텐서 분해의 업데이트 룰에 의하여 NMF와 같이

로 구성할 수 있다. 이 때, 주어진

과

을 이용하여 특징 행렬

을 다음과 같이 방법으로 구할 수 있다.

(1) 의사역행렬을 이용하여

을 구하는 방법에서는 이 경우

의 비음수 조건을 보장할 수는 없지만 특징 추출 과정에서는 이를 허용하여 널리 사용하고 있다.

(2) 비음수 텐서 분해 알고리즘 중에 다른 컴포넌트 행렬

(n=1,...,N-1)의 값을 고정시키고

만 학습시키는 방법이다.

테스트 데이터의 경우 클래스에 대한 정보가 주어져 있지 않기 때문에 테이블 1의 4-way 텐서 (클래스)를 구성하기 어렵다. 이 경우에는 클래스 라벨에 해당하는 3번째 차원에 대해서 테스트 데이터를 클래스 개수만큼 반복하여 채워 넣은 텐서를 구성한다.

- 패턴 분류

Graz 데이터셋인 경우는 잘 알려진 방법인 각 트라이얼에 대한 실시간 분류 방법으로 가우시안 확률 모델을 트라이얼 내의 각 타임 포인트마다 구하고, 매 타임 포인트의 가우시안 확률 모델의 분류 결과에 따라 각 시간별 분류 모델의 신뢰도를 정한다. 시간

에서 분류는

에서의 가우시안 분류 모델들에 각각 신뢰도를 곱하여 합한 결과에 의해 결정하게 된다.

그러나 표 1에서 4-way 텐서 (time)의 경우 시간에 따른 의존도 역시 하나의 컴포넌트 행렬로 구할 수 있기 때문에 신뢰도 계산이 불필요하다. 이런 경우 테스트 데이터

를 모드-4 행렬화한

와 컴포넌트 행렬

,

,

를 이용하여

로 계산한 기본 행렬

를 이용하여 특징 행렬을 구하고, 신뢰도 계산 없이 바로 가우시안 확률 모델을 구함으로써 분류기를 구성할 수 있다. (여기서,

는 Khatri-Rao products임)

IDIAP 데이터셋인 경우는 트라이얼 구조를 갖지 않은 연속적인 데이터가 주어져 있으므로 위와 같은 분류는 적합하지 않기 때문에 본 발명에서는 이러한 경우에 비터비 알고리즘을 분류기를 적용한다. 비터비 알고리즘이 가정하는 모델은 관찰값이 미지의 은닉 상태로부터 나온다고 가정하고, 이 은닉 상태는 서로 시간적으로 의존적인 관계가 있다고 가정하므로 시계열 데이터의 분석에 널리 사용되고 있다. 본 발명에서는 이 은닉 상태가 클래스 라벨이라고 가정하고, 관찰값이 특징 추출 과정에서 구한 특징이라고 가정한다. 은닉 상태는 아래의 비터비 알고리즘을 이용하여 추론할 수 있다.

비터비 알고리즘은 관찰된 데이터가 은닉 상태에 의해 생성된 것이고, 이 은닉 상태가 시간에 대해 의존적이라는 것을 가정한 모델로 시계열 데이터의 분석에 널리 사용되고 있다. 우리의 경우에는 은닉 상태가 바로 클래스 정보라고 가정하고 (

), 시간에 대해 의존적인 클래스 정보에 의해 특징 벡터 (특징 행렬의 열벡터)가 관찰된다고 가정하였다.

비터비 알고리즘은 도 1에 도시된 바와 같이 시간 t에서의 관찰값

이 시간 t에서의 은닉 상태

로부터 영향을 받는다고 가정하고, 시간 t-1에서의 은닉 상태

가 시간 t에서의 은닉 상태

에 영향을 준다고 가정한다. 이렇게 영향을 주는 정도는 확률로 표시될 수 있는데 은닉 상태끼리의 확률(transition probability)은

로, 은닉 상태에서 관찰값으로의 확률(emission probability)은

로 표현할 수 있다. 은닉 상태는 이산값으로 표현되므로 3개의 이산값

이라고 할 때 3×3행렬

(

)이 되고, 은닉 상태의 초기 확률은 3차원 행렬

(

)으로 정의할 수 있다. 관찰값은 연속값이므로 관찰값으로의 확률은 가우시안 확률 분포

를 따른다. 각 파라미터

와

,

,

는 다음과 같이 수학식으로서 산출할 수 있다.

,

,

,

이 때,

는 클래스 c에 속하는 관찰값

의 개수,

는 관찰값이 클래스 c에서 클래스 d로 이동하는 회수,

는 클래스 c에 속하는 데이터 집합을 의미한다.

클래스 라벨을 가지고 있는 트레이닝(training) 데이터를 통해 파라미터를 구하고 나면, 클래스 라벨이 없는 테스트 과정에서는 클래스 라벨을 추론해야 한다. 이 과정을 비터비 알고리즘이라고 하며, 다음과 같이 구할 수 있다.

과거에 저장해놓은

를 이용해서 간단하게 시간 t에서 확률 상으로 가장 유력한 은닉 상태인 클래스 정보를 구할 수 있다.

도 2a 내지 도 2d는 본 발명에서 Graz 데이터셋을 적용한 경우의 구성된 스펙트럴 뇌파로 텐서와 기본 성분의 일예를 도시한 도면으로서, 도 2a 내지 도 2c에서 참조부호 200, 204, 208과 도 2d의 좌측에 대응된 도면은 2, 3, 4(class), 4(time) -way로 텐서

로 구성한 그림이고, 참조부호 206, 210 및 도 2d의 우측 도면은 각 차원의 기본 성분

을 도시한 것이다.

도 2a와 같이 행렬로 구성한 경우 각 채널 (C3, C4)에 대한 주파수 성분을 열 방향으로 붙여서 표현한다. 행렬의 원소들은 색깔로 그 크기를 나타내며 상측에 나타난 적색에 근접할수록 큰 값을 의미하며, 청색으로 근접할수록 작은 값을 의미한다. 열에 대한 기본 성분만 존재하며, 상단의 C3, 하단의 C4 채널에 대하여 중요한 주파수 성분인 참조부호 202의 mu 리듬과 beta 리듬을 차례로 보여주는 기본 성분을 추출하였다.

도 2b는 채널, 주파수, 데이터 샘플에 해당하는 3-way 텐서로서 참조부호 204와 같이 구성되며, 3-way 텐서가 주파수, 채널, 샘플에 대해 구성되어 있으므로 주파수, 채널에 대한 기본 행렬을 구할 수 있다. 참조부호 206은 이것의 열벡터를 각각 플롯한 것이다.

은 비음수 텐서 분해를 통해 구한 주파수에 해당하는 기본 성분으로 상단에 있는 그림이 mu 리듬에 해당하는 8-12 Hz 영역이고, 하단에 해당하는 그림이 베타 리듬에 해당하는 18-25 Hz 영역이다. 점으로 나타낸

는 비음수 텐서 분해를 통해 구한 채널에 해당하는 기본 성분으로 여기서는 C3, C4 두 개의 채널 밖에 없으므로 왼쪽 점 (C3)이 더 큰 경우와 오른쪽 점 (C4)이 더 큰 경우 각각 2개의 성분이 기본 성분으로 얻어졌다.

도 2c에서 참조부호 208은 도 2b에 클래스 차원이 추가된 4-way 텐서를 구성한 것이며, 4-way 이상은 표현하기 어렵기 때문에 3-way 텐서 2개를 이용하였다. 참조부호 210은 basis 개수를 4개로 하였을 때 구한 기본 행렬들을 각각 플롯한 것이다.

도 2d의 좌측 도면 역시 4-way 텐서를 도시한 것으로서, 이 때 클래스 차원을 추가한 것이 아니라 샘플들을 한 트라이얼 안에서도 시간에 따라 주파수와 채널이 변화한다고 가정하고 이 변화를 관찰하기 위해 각 트라이얼 별로 잘라 4-way 텐서를 구성한 것이다. 우측의 4×3으로 구성된 도면에서 왼쪽부터 첫번째 열의 4개의 그림은 채널에 대한 기본 행렬, 두 번째 열은 주파수에 대한 기본 행렬, 세 번째 열은 시간에 대한 기본 행렬을 도시한 것이다. 각 행은 동시에 자주 나타나는 기본 성분이라고 간주될 수 있다. 예를 들어, 첫 번째 행의 경우 점으로 표시된 C4 채널에서 8-12 Hz에 해당하는 주파수 영역 궤적이 시간에 따라 청색선의 크기대로 자주 나타나는 것으로 해석될 수 있다.

도 3a 내지 도 3c는 본 발명에서 IDIAP 데이터셋을 적용한 경우의 각각 2, 3, 4(클래스)-way 텐서의 구성의 일예를 도시한 것으로서, 도 3a는 각 채널에 대한 주파수 성분을 열 방향으로 붙여서 나타낸 것이며, 도 3b는 채널, 주파수, 데이터 샘플에 해당하는 3-way 텐서로 구성한 도면이다. 도 3c는 클래스 차원이 추가된 4-way 텐서를 도시한 것이다.

또한, 본 발명과 본 발명의 이점이 상세하게 설명되었지만, 첨부된 청구 범위에 의해 규정된 본 발명의 본질과 범위에서 벗어나지 않으면서 다양한 변형, 대체 및 개조가 이루어질 수 있는 것이 이해되어야 한다. 그러므로 본 발명의 범위는 설명된 실례에 국한되어 정해져서는 안되며 후에 서술하는 특허 청구 범위뿐만 아니라 이 특허 청구 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명에서 비음수 텐서의 특징 행렬을 분류하는 비터비 알고리즘을 설명하기 위한 도면이다.

도 2a 내지 도 2d는 본 발명에서 Graz 데이터셋을 적용한 경우의 구성된 스펙트럴 뇌파로 텐서와 기본 성분의 일예를 도시한 도면이다.

도 3a 내지 도 3c는 본 발명에서 IDIAP 데이터셋을 적용한 경우의 각각 2, 3, 4(클래스)-way 텐서의 구성의 일예를 도시한 도면이다.

Claims (8)

1. 특정 자극에 대해 피험자로부터 측정한 다채널 뇌파 데이터를 시간-주파수 표현으로 변환하여, 채널, 시간, 주파수, 트라이얼, 피험자를 각각 하나의 차원으로 하는 비음수 다원 텐서인 N-way 텐서를 생성하는 과정;

   상기 N-way 텐서를 분해하여 특정 자극에 대하여 측정된 잡음이 혼합된 뇌파에서 유효 뇌파를 이루는 기본 성분의 특징을 추출하는 과정; 및

   상기 추출된 특정 성분의 분포에 따라 패턴으로 분류하여 유효한 뇌파를 이루는 기본 성분을 판별하는 과정을 포함함을 특징으로 하는 비음수 텐서 분해를 이용한 뇌파의 주파수 추출 방법.
2. 삭제
3. 제1항에 있어서, 상기 비음수 텐서 분해를 수행하기 전에 최근접 이웃 방법을 이용하여 데이터 선택 과정을 수행하여 텐서의 크기를 줄이는 것을 특징으로 하는 비음수 텐서 분해를 이용한 뇌파의 주파수 추출 방법.
4. 제3항에 있어서, 상기 데이터 선택 과정은 상기 비음수 N-way 텐서에서 각각의 클래스에 대한 평균값을 구하고, 각각의 클래스에 대해 평균값이 가장 근접한 슬라이스를 선택함을 특징으로 하는 비음수 텐서 분해를 이용한 뇌파의 주파수 추출 방법.
5. 제1항에 있어서, 상기 비음수 텐서 분해를 수행하기 전에 큰 데이터만 선택하는 파워(power)나 데이터 분포를 정량적으로 표현하는 sparseness 연산을 적용하는 데이터 선택과정을 수행하여 텐서의 크기를 줄이는 것을 특징으로 하는 비음수 텐서 분해를 이용한 뇌파의 주파수 추출 방법.
6. 제1항에 있어서, 상기 유효 뇌파의 기본 성분은 상기 비음수 N-way 텐서 분해를 적용하여 N번째 컴포넌트 행렬을 특징 행렬로 산출하고, 나머지 1 내지 N-1 컴포넌트 행렬은 각 차원의 기본 행렬로 산출함을 특징으로 하는 비음수 텐서 분해를 이용한 뇌파의 주파수 추출 방법.
7. 제6항에 있어서, 상기 특징 행렬은 의사역행렬이나 비음수 텐서 분해의 곱셈을 이용하여 산출함을 특징으로 하는 비음수 텐서 분해를 이용한 뇌파의 주파수 추출 방법.
8. 제1항에 있어서, 상기 특정 자극이 연속적으로 주어지는 뇌파 측정에 대해서는 상기 특징 행렬을 비터비 알고리즘을 이용하여 클래스를 분류함을 특징으로 하는 비음수 텐서 분해를 이용한 뇌파의 주파수 추출 방법.

Images