KR20220165941A - 공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법 및 이를 이용한 뇌파신호 분류장치 - Google Patents

Abstract

공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법은 각각의 채널의 뇌파 신호 중 특정 주파수 대역에 해당하는 뇌파 신호를 각각 추출한 후, 각 채널방향에 대해 데이터 화이트닝을 적용하여 각 뇌파 채널 데이터를 독립적인 데이터로 변환하는 단계와, 각 채널방향에 대해 데이터 화이트닝이 적용된 각 뇌파 채널 데이터를 이용하여 복수의 뇌파 영상 데이터를 생성하는 단계와, 복수의 뇌파 영상 데이터에서 아이겐 페이스를 추출함에 있어서, 공분산 행렬을 통해 디센터링 과정을 통해 상기 아이겐 페이스를 추출하는 단계를 포함하는 것을 특징으로 한다.

Description

공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법 및 이를 이용한 뇌파신호 분류장치{Eigenface Electro-Encephalographic signal classification method using covariance de-centering and EEG signal classification device using the same}

본 발명은 BCI(Brain Computer Interface)에서 뇌파신호를 분류하는 방법에 관한 것으로서, 더 상세하게는 공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법 및 이를 이용한 뇌파신호 분류장치에 관한 것이다.

도 1은 BCI(Brain-Computer Interface) 시스템의 개념도이다.

도 1을 참조하면, 뇌는 인간의 중추신경계를 관장하는 장기로 생각과 기억 뿐 아니라 사람의 신체 움직임을 관장한다. 일반적으로 신체의 움직임에 대한 신호는 손과 같이 움직임을 담당하는 말단 기관의 근육을 통해 얻을 수 있다. 이 때, 뇌 또한 움직임을 명령하기 위해 활동하며, 뇌의 뉴런들이 활동할 때 발생하는 전기적 신호를 기록한 것을 뇌파 혹은 뇌전도(Electroencephalogram, EEG)라고 한다. 이러한 뇌파를 이용해 운동을 담당하는 말초 신경계를 거치지 않고 기계 조작 등 외부장치를 이용하는 기술을 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)라고 한다.

동작 상상 분류(Motor Imagery Classification)는 BCI 시스템 구현을 위한 주요 연구 분야 중 하나로, 뇌파를 분석하여 움직이고자 상상한 신체 부위를 찾아내는 과정이다. 이에 따라, 동작 상상 뇌파 신호의 분류를 위한 특징 추출 방법에 대하여 다양한 방법들이 연구되고 있다. 공통 공간 패턴(Common Spatial Pattern, CSP)은 EEG 신호 분류를 위한 대표적인 방법으로, 서로 다른 두 클래스 간의 분산 차이를 극대화시키는 공간 필터를 적용하는 방법이다. Lotte 등은 CSP를 이용해 뇌파의 동작 상상 분류가 가능함을 보였으나, 특정 피험자에 대해 우수한 성능을 보이지 못하는 경우가 있었다. 또한, 양연모 등은 Eigenface를 이용한 뇌파 분석 방법은 뇌파를 하나의 영상으로서 해석하여, 뇌파를 분류할 수 있음을 보였다. 이 방법은 채널을 중심으로 높은 정확도를 보였으나, 각 시도(트라이얼)를 중심으로 해석할 경우 낮은 정확도를 보였다.

Yeon-Mo Yang, Wansu Lim, ByeongMan Kim, "Eigenface analysis for brain signal classification : a novel algorithm", International Journal of Telemedicine and Clinical Practices, Vol. 2, No. 2, 2017.

본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 데이터 화이트닝 및 공분산 디센터링을 이용하여 분류성능을 향상시킨 아이겐페이스 뇌파신호 분류방법 및 뇌파신호 분류장치를 제공한다.

상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 각각의 채널의 뇌파 신호 중 특정 주파수 대역에 해당하는 뇌파 신호를 각각 추출한 후, 각 채널방향에 대해 데이터 화이트닝을 적용하여 각 뇌파 채널 데이터를 독립적인 데이터로 변환하는 단계와, 각 채널방향에 대해 데이터 화이트닝이 적용된 각 뇌파 채널 데이터를 이용하여 복수의 뇌파 이미지를 생성하는 단계와, 상기 복수의 뇌파 이미지에서 아이겐 페이스를 추출함에 있어서, 공분산 행렬을 통해 디센터링 과정을 통해 상기 아이겐 페이스를 추출하는 단계를 포함하는 공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법이 제공된다.

또한, 본 발명에서 아이겐 페이스를 추출하는 단계는, 그람-슈미트 정규직교화 과정을 거친 후 아이겐 페이스를 추출하는 것과 분류하고자 하는 데이터의 복잡도 혹은 분류할 클래스 수 등에 따라 추출된 아이겐 페이스 중 일부 혹은 전체를 선택적으로 사용할 수 있는 것을 특징으로 한다.

또한, 본 발명에서 아이겐 페이스를 이용하여 뇌파 데이터의 특징을 산출하고 뇌파 데이터의 특징(Feature)을 이용하여 합성곱 신경망 (Convolutional Neural Network, CNN)으로 머신 러닝을 수행한 결과에 따라 뇌파 신호를 분류하는 단계를 더 포함하는 것을 특징으로 한다. 이 때, 아이겐 페이스를 이용하여 산출된 뇌파 데이터의 특징은 어떠한 값(Value) 혹은 영상(Image)일 수 있으며, 사용자가 선택한 특징의 형태에 따라 뇌파 신호를 분류하는 단계는 CNN외에도 선형판별분석(Linear Discriminant Analysis, LDA) 혹은 서포트 벡터 머신(Support Vector Machine, SVM) 등의 머신 러닝 방식을 수행하여도 무방하다.

또한, 본 발명의 다른 실시예에 따르면, 사용자의 두피에 접촉된 복수의 전극 채널을 통해 측정된 뇌파 신호를 수신하는 뇌파 신호 수신부와, 각각의 채널의 상기 뇌파 신호 중 특정 주파수 대역에 해당하는 뇌파 신호를 각각 필터링하는 전처리부와, 상기 전처리부에서 출력된 뇌파 신호를 각 채널 방향에 대해 데이터 화이트닝을 적용하여 각 뇌파 채널 데이터를 독립적인 데이터로 변환하고, 각 채널방향에 대해 데이터 화이트닝이 적용된 각 뇌파 채널 데이터를 이용하여 복수의 뇌파 이미지를 생성하고, 상기 복수의 뇌파 이미지에서 아이겐 페이스를 추출할 때 공분산 행렬을 통해 디센터링 과정을 통해 상기 아이겐 페이스를 추출하는 신호 처리부를 포함하는 뇌파신호 분류장치가 제공된다.

또한, 본 발명에 포함되는 신호 처리부는, 그람-슈미트 정규직교화 과정을 거친 후 아이겐 페이스를 추출하는 것과 분류하고자 하는 데이터의 복잡도 혹은 분류할 클래스 수 등에 따라 추출된 아이겐 페이스 중 일부 혹은 전체를 선택적으로 사용할 수 있는 것을 특징으로 한다.

또한, 본 발명에 포함되는 신호 처리부는, 일부 혹은 전체 아이겐 페이스와 복수의 뇌파 이미지 데이터를 이용하여 수치(Value), 영상(Image) 형태의 특징을 산출하고 뇌파 데이터의 특징을 이용하여 합성곱 신경망 (Convolutional Neural Network, CNN), 선형판별분석(Linear Disciminant Analysis, LDA), 서포트 벡터 머신(Support Vector Machine, SVM) 등의 방법으로 머신 러닝을 수행한 결과에 따라 뇌파 신호를 분류하는 것을 특징으로 한다.

본 발명의 실시예에 따른 뇌파신호 분류방법 및 이를 이용한 뇌파신호 분류장치는, 데이터 화이트닝 및 공분산 디센터링을 이용하여 뇌파신호의 분류성능을 향상시킬 수 있다. 즉, 제안하는 방법은 뇌파신호에 데이터 화이트닝을 적용한 후 아이겐 페이스 특징 추출 과정에서 공분산 행렬을 디센터링 하는 과정을 거친 후 특징을 추출한다. 결과적으로 공분산 디센터링을 적용한 아이겐 페이스 뇌파 분석 방법은 각 시도(트라이얼)에 대해서 높은 정확도를 보이며 안정된 인식률을 보여준다.

도 1은 BCI(Brain-Computer Interface) 시스템의 개념도
도 2는 본 발명의 실시예에 따른 뇌파신호 분류장치의 구성도
도 3은 본 발명의 실시예에 따른 공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법의 과정을 나타낸 도면
도 3a는 본 발명의 실시예에 따른 공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법의 과정을 나타낸 다른 도면
도 4는 화이트닝 효과를 나타낸 도면
도 4a는 왼쪽 손 데이터에 대한 화이트닝 효과를 나타낸 도면
도 4b는 오른쪽 손 데이터에 대한 화이트닝 효과를 나타낸 도면
도 4c는 왼쪽 손 및 오른쪽 손 데이터에 대한 화이트닝에 따른 공분산 비교도
도 5는 개선된 방식의 공분산 행렬의 변화를 나타낸 제1 도면이다.
도 5a는 개선된 방식의 공분산 행렬의 변화를 나타낸 제2 도면이다.
도 5b는 채널 데이터 화이트닝을 수행하지 않은 경우의 공분산 행렬의 변화를 나타낸 결과를 나타낸 도면이고,
도 5c는 채널 데이터 화이트닝을 수행한 제안된 방식의 공분산 행렬의 변화를 나타낸 도면
도 6은 도 5b의 공분산 행렬의 변화를 확대한 도면
도 7은 종래의 아이겐 페이스 뇌파 분석(Eigenface analysis for brain signal, EFA)과 제안된 방식의 결과를 나타낸 도면
도 8은 종래의 아이겐 페이스 뇌파 분석(Eigenface analysis for brain signal, EFA)의 재구성된 이미지와 제안된 방식으로 재구성된 이미지를 나타낸 결과

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.

도 2는 본 발명의 실시예에 따른 뇌파신호 분류장치의 구성도이고, 도 3은 본 발명의 실시예에 따른 공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법의 과정을 나타낸 도면이고, 도 3a는 본 발명의 실시예에 따른 공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법의 과정을 나타낸 다른 도면이다.

본 실시예에 따른 뇌파신호 분류장치는 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.

도 2 내지 3a를 참조하면, 뇌파신호 분류장치는 뇌파 신호 수신부(110), 전처리부(120) 및 신호 처리부(130)를 포함하여 구성된다.

상기와 같이 구성되는 뇌파신호 분류장치의 주요동작을 살펴보면 다음과 같다.

뇌파 신호 수신부(110)는 사용자의 두피에 접촉된 복수의 전극 채널을 통해 측정된 뇌파 신호를 수신한다.

뇌파 신호 수신부(110)는 뇌파 신호 측정 장비를 사용하여 사용자의 뇌파 신호를 획득한다. 즉, 뇌파 신호 측정 장비는, 복수개의 채널로부터 뇌파 신호를 측정하여 뇌파 신호 수신부(110)에 제공하며, 뇌파 신호 수신부(110)는 뇌파 신호 측정 장비로부터 측정된 뇌파를 기초로 뇌파 신호를 획득할 수 있다. 뇌파 신호 측정 장비는 최소 1초에 128개 이상의 뇌파 신호를 추출할 수 있는 장비가 사용되는 것이 바람직하다.

전처리부(120)는 각각의 채널의 뇌파 신호 중 특정 주파수 대역에 해당하는 뇌파 신호를 각각 필터링한다.

전처리부(120)는 뇌파 신호 수신부(110)로부터 뇌파 신호가 전달되면, 기본적으로 뇌파 신호 중 특정 주파수 대역에 해당하는 뇌파 신호를 필터링한다.

본 실시예에서 전처리부(120)는 뇌파 신호(EEG)를 250Hz로 샘플링하고 50Hz 노치 필터와 0.5Hz와 100Hz 사이에서 필터링된 대역 통과를 적용되는데, 이는 실시예에 따라 변경될 수 있다. 이때, 전처리부(120)는 데이터 세트를 7Hz ~ 30Hz 사이의 5차 버터 워스 필터를 사용하여 필터링할 수도 있다. 이 주파수 대역에는 운동 상상과 관련된 Mu 파 및 베타파가 포함되어 있기 때문이다.

신호 처리부(130)는 전처리부에서 출력된 뇌파 신호를 각 채널방향에 대해 데이터 화이트닝을 적용하여 각 뇌파 채널 데이터를 독립적인 데이터로 변환하고, 각 채널방향에 대해 데이터 화이트닝이 적용된 각 뇌파 채널 데이터를 이용하여 복수의 뇌파 이미지를 생성하고, 복수의 뇌파 이미지에서 아이겐 페이스를 추출할 때 공분산 행렬을 통해 디센터링 과정을 통해 아이겐 페이스를 추출한다.

신호 처리부(130)는 뇌파 신호를 측정한 트라이얼 별 뇌파 신호, 뇌파 신호 측정 시 사용된 전극 채널 별 뇌파 신호 및 뇌파 측정 시간, 중 적어도 하나를 이용하여 뇌파 이미지를 구성한다. 이때, 트라이얼은 뇌파 신호를 측정한 횟수 - 특정 동작을 생각하는 시도횟수 - 를 의미한다. 예를 들어, 트라이얼이 6인 경우 뇌파 신호를 측정한 횟수가 6인 것이다.

이와 같이 신호 처리부(130)는 뇌파 신호를 측정한 트라이얼 별 뇌파 신호, 뇌파 신호 측정 시 사용된 전극 채널 별 뇌파 신호 및 뇌파 측정 시간을 이용하여 뇌파 이미지를 구성하는 경우 뇌파 이미지는 3차원 이미지로 생성될 수 있다.

3차원 뇌파 신호의 비가공 데이터(Raw data)를 그대로 이용하는 경우 혹은 3차원 이미지를 아이겐 페이스로 이용하는 경우 아이겐 페이스에서 특징을 추출하는 과정이 복잡하다면 트라이얼, 뇌파 신호 측정 시 사용된 전극 채널 및 뇌파 측정 시간 중 어느 하나의 요소를 고정시키고 나머지 두 개의 요소를 이용하여 뇌파 이미지를 구성하여 2차원 뇌파 이미지를 생성할 수 있다.

실시예에서 신호 처리부(130)는 트라이얼, 뇌파 신호 측정 시 사용된 전극 채널 및 뇌파 측정 시간 중 트라이얼을 고정시키고 뇌파 측정 시간에 따른 뇌파 신호 측정 시 사용된 전극 채널 별 뇌파 신호를 이용하여 2차원 뇌파 이미지를 생성한다. 이때, 2차원 뇌파 이미지는 트라이얼의 개수만큼 생성된다.

예를 들어, O번의 뇌파 신호 측정 시 트라이얼 #1, 트라이얼 #2, …, 트라이얼 #O를 수신하며, 트라이얼 #1, 트라이얼 #2, …, 트라이얼 #O는 전극 채널 #1, 전극 채널 #2, …, 전극 채널 #L에 해당하는 뇌파 신호를 포함하는 경우, 뇌파 신호 측정 시 사용된 트라이얼 #1, 트라이얼 #2, …, 트라이얼 #O을 고정시키고, 뇌파 측정 시간에 따른 전극 채널 #1, 전극 채널 #2, …, 전극 채널 #L 별 뇌파 신호를 이용하여 2차원 뇌파 이미지를 생성하며, 2차원 뇌파 이미지는 트라이얼 개수 만큼 생성될 것이다.

다른 실시예에서 신호 처리부(130)는 트라이얼, 뇌파 신호 측정 시 사용된 전극 채널 및 시간 중 뇌파 신호 측정 시 사용된 전극 채널을 고정시키고 뇌파 측정 시간에 따른 트라이얼 별 뇌파 신호를 이용하여 2차원 뇌파 이미지를 생성한다. 이때, 2차원 뇌파 이미지는 뇌파 신호 측정 시 사용된 전극 채널의 개수만큼 생성된다.

예를 들어, O번의 뇌파 신호 측정 시 트라이얼 #1, 트라이얼 #2, …, 트라이얼 #O를 수신하며, 트라이얼 #1, 트라이얼 #2, …, 트라이얼 #O는 시간의 변화에 따라 전극 채널 #1, 전극 채널 #2, …, 전극 채널 #L에 해당하는 뇌파 신호를 포함하는 경우, 뇌파 신호 측정 시 사용된 전극 채널 #1, #2, …, #L 을 고정시키고, 뇌파 측정 시간에 따른 트라이얼 트라이얼 #1, 트라이얼 #2, …, 트라이얼 #O 별 뇌파 신호를 이용하여 2차원 뇌파 이미지를 생성하며, 2차원 뇌파 이미지는 사용된 전극 채널 전극 채널의 개수인 L개만큼 생성될 것이다.

이와 같이 신호 처리부(130)는 트라이얼, 뇌파 신호 측정 시 사용된 전극 채널 및 뇌파 측정 시간 중 어느 하나의 요소를 고정시키고 나머지 두 개의 요소를 이용하여 뇌파 이미지를 구성하여 2차원 뇌파 이미지를 생성함으로써 2차원 뇌파 이미지를 아이겐 페이스로 사용하여 아이겐 페이스에서 특징을 추출할 수 있다.

이때, 신호 처리부(130)는 복수의 뇌파 이미지를 아이겐 페이스 기술을 활용하여 아이겐 페이스 중 특정 아이겐 페이스를 추출한다. 신호 처리부(130)는 아이겐 페이스 중 아이겐 밸류가 임계 값 이상인 특정 아이겐 페이스를 추출할 수 있다.

도 3은 본 발명의 실시예에 따른 공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법의 과정을 나타낸 도면이고, 도 3a는 본 발명의 실시예에 따른 공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법의 과정을 나타낸 다른 도면이다.

도 3 및 도 3a를 참조하여 뇌파신호 분류장치에서 처리되는 공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법에 대해서 설명하면 다음과 같다.

뇌파신호 분류장치는 뇌파 신호를 분석하여 움직이고자 상상한 신체 부위를 찾아내는 과정을 진행하기 위해,

우선, 각각의 채널의 뇌파 신호 중 특정 주파수 대역에 해당하는 뇌파 신호를 각각 추출하는 단계를 진행한다.

다음으로, 각 채널방향에 대해 데이터 화이트닝을 적용하여 각 뇌파 채널 데이터를 독립적인 데이터로 변환하는 단계를 진행한다. 데이터 화이트닝을 진행함으로서, 각 뇌파 채널 데이터는 서로 더 작은 상관관계와 단위분산을 갖게 된다.

도 4는 화이트닝 효과를 나타낸 도면이고, 도 4a는 왼쪽 손 데이터에 대한 화이트닝 효과를 나타낸 도면이고, 도 4b는 오른쪽 손 데이터에 대한 화이트닝 효과를 나타낸 도면이고, 도 4c는 왼쪽 손 및 오른쪽 손 데이터에 대한 화이트닝에 따른 공분산 비교도이다.

도 4 내지 도 4c를 참조하면, 화이트닝 변환은 주성분 분석(Principal Component Analysis, PCA)을 적용하는 전처리 방식이다. 화이트닝 된 데이터는 회전하기 때문에 화이트닝을 “Sphering” 이라고 지칭하기도 한다. 화이트닝은 데이터가 서로 더 작은 상관관계와 단위분산을 갖도록 하며, 기본적으로 데이터 X의 화이트닝 계산은 하기와 같이 정의된다.

여기에서 Λ는 아이겐 벨류이고 P는 아이겐 벡터이다.

본 실시예에서 데이터 화이트닝은 M 시간, N 채널, L 트라이얼에 대해 하기와 같은 식을 통해 계산될 수 있다.

여기에서 I_O 는 뇌파신호 이다.

도 4a 및 도 4b와 같이 같은 방향 데이터(왼손 데이터 또는 오른손 데이터)임에도 채널간 상관성이 강하게 나타나는 부분이 서로 다르다. 즉, 채널 데이터간의 화이트닝을 적용하지 않으면, 데이터간의 공분산 행렬은 매우 다양하게 나타나게 된다. 따라서 화이트닝을 통해 채널 데이터간의 상관성을 지울 수 있으며, 공분산을 0으로 분산을 1로 만드는 과정을 진행한다. 즉, 화이트닝을 통해 각 채널 단위로 상관관계가 없게 서로 독립적으로 의존성을 줄이는 효과를 달성할 수 있다.

다음으로, 각 채널방향에 대해 데이터 화이트닝이 적용된 각 뇌파 채널 데이터를 이용하여 복수의 뇌파 이미지를 생성하는 단계를 진행한다.

다음으로, 복수의 뇌파 이미지에서 아이겐 페이스를 추출함에 있어서, 공분산 행렬을 통해 디센터링 과정을 통해 아이겐 페이스를 추출하는 단계를 진행한다.

즉, 공분산 디센터링 후 아이겐 페이스를 구축하는데 센터링은 변수 간의 상관관계를 줄이는 방법이다.

랜덤 변수 X의 센터링은 하기와 같이 계산될 수 있다.

제안된 디센터링은 상관 관계를 확대하기 위해 역방향으로 중심을 맞춘다.

본 발명에서는 아이겐 페이스를 이용한 뇌파 분류 방법의 성능 향상을 위해 공분산 디센터링(Covariance de-centering, CDC) 기법을 제안하였다. 아이겐 페이스획득을 위해 계산되는 공분산은 데이터간의 상관성을 나타내는 값이다. 제안하는 공분산 디센터링은 공분산 행렬에 대해 각 열의 평균을 더해 주는 방식으로 공분산 행렬을 디센터링해 재구성한다. 공분산 행렬의 디센터링 방법은 다음과 같다.

여기에서 C는 입력, C‘는 출력이다.

공분산 행렬의 평균을 더해 디센터링함으로서 다른 데이터들과의 상관성이 큰 데이터에 가중치를 줄 수 있으며, 주성분 분석(Principal Component Analysis, PCA)에 기반하는 아이겐 페이스 방법은 영상 벡터들로부터 구한 공분산 행렬을 이용해 구한 기저벡터를 큰 순서대로 이용하기 때문에 특징을 더욱 강조할 수 있다.

이 때, 디센터링 되면 공분산 행렬의 대칭성이 사라져 고유벡터가 서로 직교하지 않게 되므로, 그람-슈미트 정규직교화 과정을 거친 후 아이겐 페이스를 추출한다.

마지막으로, 아이겐 페이스를 이용하여 뇌파 데이터의 특징을 산출하고 뇌파 데이터의 특징을 이용하여 합성곱 신경망(Convolutional Neural Network, CNN)으로 머신 러닝을 수행한 결과에 따라 뇌파 신호를 분류하는 단계를 진행한다.

이 때, 특징 산출에 사용되는 아이겐 페이스는 뇌파 데이터의 복잡도 혹은 분류할 클래스 수 등에 따라 전체 아이 페이스 혹은 데이터의 특징을 잘 나타내는 일부 아이겐 페이스를 선택적으로 사용할 수 있다. 또한, 산출되는 특징(Feature)은 수치(Value) 혹은 영상(Image) 등의 형태가 가능하며, 수치 형태의 경우 특정한 값 혹은 n차원 유클리드 공간(Euclidean Space)에서의 좌표(Coordinate)가 될 수 있다. 산출한 특징의 형태에 따라 합성곱 신경망 외에도 선형판별분석(Linear Disciminant Analysis, LDA), 서포트 벡터 머신(Support Vector Machine, SVM) 등의 머신러닝 방법을 뇌파 신호의 분류를 위하여 사용할 수 있다.

다시 도 3a를 참조하면, 공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법은,

트라이얼을 고정한 상태로 2차원 데이터를 채널 화이트닝 하는 단계와, 공분산 과정을 통해 첫 번째 아이겐페이스를 구하는 단계와, 공분산 디센터링(Covariance de-centering, CDC)을 통해 아이겐페이스를 3차원 데이터로 처리하는 단계와, 두 번째 아이겐페이스를 구하는 단계와, 훈련 뇌파 데이터를 아이겐페이스에 투영하여 훈련 계수를 구하는 단계와, 테스트 뇌파 데이터를 아이겐페이스에 투영하여 테스트 계수를 구하는 단계와, 훈련 계수가 있는 이미지를 통한 CNN 훈련 단계와, 훈련 계수가 있는 이미지를 통한 CNN 테스트 단계와, 뇌파 데이터 평가결과를 분류하는 단계를 통해서 처리될 수 있다.

도 5는 개선된 방식의 공분산 행렬의 변화를 나타낸 제1 도면이다.

도 5를 참조하면, time: 7, channel: 3, trial:4 조건에서 좌 트라이얼 2개, 우 트라이얼 2개의 모의 데이터로 진행 과정 중 공분산(covariance) 행렬의 변화가 도시되어 있다.

상단은 기존 방식에 따라 구한 공분산 행렬이고, 중단은 화이트닝 단계를 거친 데이터를 이용해 변화한 공분산 행렬이고, 하단은 중단의 공분산행렬이 공분산 디센터링(Covariance de-centering, CDC)를 통해 변화한 공분산 행렬을 나타낸다.

도 5a는 개선된 방식의 공분산 행렬의 변화를 나타낸 제2 도면이다.

도 5a를 참조하면, 왼쪽은 기존 방식을 통해 생성한 특징(Feature)이고, 오른쪽은 제안하는 방식을 통해 생성한 특징(Feature)을 나타낸다. 붉은 점은 왼쪽 데이터, 푸른 점은 오른쪽 데이터를 나타낸다. 푸른 점 또한 2개의 점이지만, 오른쪽 데이터 두개가 같은 데이터이므로 동일한 곳에 중복 생성 되었다. 본 데이터는 임의로 생성한 모의 데이터로서 공분산 행렬의 변화를 확인할 수 있다.

도 5b는 채널 데이터 화이트닝을 수행하지 않은 경우의 공분산 행렬의 변화를 나타낸 결과를 나타낸 도면이고, 도 5c는 채널 데이터 화이트닝을 수행한 제안된 방식의 공분산 행렬의 변화를 나타낸 도면이고, 도 6은 도 5b의 공분산 행렬의 변화를 확대한 도면이다.

도 5b 내지 도 6을 참조하면, 채널 데이터 화이트닝을 수행하지 않은 경우와, 채널 데이터 화이트닝을 수행한 경우의 공분산 행렬의 변화를 나타낸 결과가 도시되어 있다.

즉, 오른쪽의 결과는 왼쪽의 공분산 행렬에 대해 공분산 디센터링(Covariance de-centering, CDC)을 수행한 결과를 나타낸다.

도 6은 공분산 디센터링(Covariance de-centering, CDC) 단계 수행을 통해 변화한 공분산 행렬을 확대하여 나타낸 것으로서, x축 및 y축은 트라이얼 수에 따르며 z축은 공분산을 계산한 값을 나타낸다.

공분산 디센터링(Covariance de-centering, CDC)에 의한 변화는 공분산 행렬 전체에서 발생하며, 붉은색 원 안의 공분산 값에서 가시적인 변화 확인이 가능하다.

도 7은 종래의 아이겐 페이스 뇌파 분석(Eigenface analysis for brain signal, EFA)과 제안된 방식의 결과를 나타낸 도면이다.

도 7을 참조하면, 머신러닝을 위한 훈련 데이터와 시험 데이터의 분포가 나타나 있으며, 제안된 방식이 “ 왼쪽 손 - 오른쪽 손의 생각“의 뇌파 신호에 대해 구분할 수 있는 좋은 특징을 생성해 낼 수 있는 것을 확인할 수 있다.

즉, 제안된 방식인 데이터 화이트닝을 수행하고, 공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법을 적용할 경우, 뇌파 신호의 분류를 위한 특징 생성에 있어 종래보다 좋은 특징을 생성할 수 있는 것을 확인할 수 있다.

도 8은 종래의 아이겐 페이스 뇌파 분석(Eigenface analysis for brain signal, EFA)의 재구성된 이미지와 제안된 방식으로 재구성된 이미지를 나타낸 결과이다.

도 8을 참조하면, 제안된 CDC-EFA의 재구성된 영상은 종래의 EFA의 영상과 분명히 구별된다.

제안된 방식으로 재구성된 영상은 왼쪽 및 오른쪽 클래스에 해당하는 밝은 부분과 어두운 부분이 뚜렷하며, 이에 비해 종래의 EFA의 경우 선명하지 않은 영상이 흐릿하거나 덜 대조적이다.

본 발명의 실시예에 따른 뇌파신호 분류방법 및 이를 이용한 뇌파신호 분류장치는, 데이터 화이트닝 및 공분산 디센터링을 이용하여 분류성능을 향상시킬 수 있다. 즉, 제안하는 방법은 뇌파신호에 데이터 화이트닝을 적용한 후 아이겐 페이스 특징 추출 과정에서 공분산 행렬을 디센터링 하는 과정을 거친 후 특징을 추출한다. 결과적으로 공분산 디센터링을 적용한 아이겐 페이스 뇌파 분석 방법은 각 시도(트라이얼)에 대해서 높은 정확도를 보이며 안정된 인식률을 보여준다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

110 : 뇌파 신호 수신부
120 : 전처리부
130 : 신호 처리부

Claims (6)

1. 각각의 채널의 뇌파 신호 중 특정 주파수 대역에 해당하는 뇌파 신호를 각각 추출한 후, 각 채널방향에 대해 데이터 화이트닝을 적용하여 각 뇌파 채널 데이터를 독립적인 데이터로 변환하는 단계;
   각 채널방향에 대해 데이터 화이트닝이 적용된 각 뇌파 채널 데이터를 이용하여 복수의 뇌파 이미지를 생성하는 단계; 및
   상기 복수의 뇌파 이미지에서 아이겐 페이스를 추출함에 있어서, 공분산 행렬을 통해 디센터링 과정을 통해 상기 아이겐 페이스를 추출하는 단계;
   를 포함하는 공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법.
   
2. 제1항에 있어서,
   상기 아이겐 페이스를 추출하는 단계는,
   그람-슈미트 정규직교화 과정을 거친 후 상기 아이겐 페이스를 추출하는 것을 특징으로 하는 공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법.
   
3. 제1항에 있어서,
   상기 아이겐 페이스를 이용하여 뇌파 데이터의 특징을 산출하고 상기 뇌파 데이터의 특징을 이용하여 머신 러닝을 수행한 결과에 따라 뇌파 신호를 분류하는 단계;를 더 포함하는 것을 특징으로 하는 공분산 디센터링을 이용한 아이겐페이스 뇌파신호 분류방법.
   
4. 사용자의 두피에 접촉된 복수의 전극 채널을 통해 측정된 뇌파 신호를 수신하는 뇌파 신호 수신부;
   각각의 채널의 상기 뇌파 신호 중 특정 주파수 대역에 해당하는 뇌파 신호를 각각 필터링하는 전처리부; 및
   상기 전처리부에서 출력된 뇌파 신호를 각 채널방향에 대해 데이터 화이트닝을 적용하여 각 뇌파 채널 데이터를 독립적인 데이터로 변환하고, 각 채널방향에 대해 데이터 화이트닝이 적용된 각 뇌파 채널 데이터를 이용하여 복수의 뇌파 이미지를 생성하고, 상기 복수의 뇌파 이미지에서 아이겐 페이스를 추출할 때 공분산 행렬을 통해 디센터링 과정을 통해 상기 아이겐 페이스를 추출하는 신호 처리부;
   를 포함하는 뇌파신호 분류장치.
   
5. 제4항에 있어서,
   상기 신호 처리부는,
   그람-슈미트 정규직교화 과정을 거친 후 상기 아이겐 페이스를 추출하는 것을 특징으로 하는 뇌파신호 분류장치.
   
6. 제4항에 있어서,
   상기 신호 처리부는,
   상기 아이겐 페이스를 이용하여 뇌파 데이터의 특징을 산출하고 상기 뇌파 데이터의 특징을 이용하여 머신 러닝을 수행한 결과에 따라 뇌파 신호를 분류하는 것을 특징으로 하는 뇌파신호 분류장치.

Images