KR102347688B1

KR102347688B1 - 뇌전도 신호의 분해를 이용한 상관관계 계수 특징 기반 인지 심상 분류 장치 및 방법

Info

Publication number: KR102347688B1
Application number: KR1020190138691A
Authority: KR
Inventors: 정원주; 박용구
Original assignee: 고려대학교 산학협력단
Priority date: 2019-11-01
Filing date: 2019-11-01
Publication date: 2022-01-06
Also published as: KR102347688B9; KR20210052986A

Abstract

인지 심상 분류 모델 생성 장치 및 인지 심상 분류 장치가 개시된다. 상기 인지 심상 분류 모델 생성 장치는 뇌전도 신호를 전처리하는 전처리부, 전처리된 뇌전도 신호로부터 특징(feature)을 추출하는 특징 추출부, 상기 특징 추출부로부터 출력되는 특징을 이용하여 분류기를 학습하는 모델 생성부를 포함하고, 상기 특징 추출부는 두 개의 뇌전도 신호의 상관관계 계수(Correlation Coeficient, CC)를 특징으로 추출한다.

Description

뇌전도 신호의 분해를 이용한 상관관계 계수 특징 기반 인지 심상 분류 장치 및 방법{DEVICE METHOD FOR CORRELATION COEFFICIENT BASED COGNITIVE TASK CLASSIFICATION USING DEMIXING EEG CHANNEL PAIR}

본 발명은 뇌전도 신호를 이용한 의도 예측 기법에 관한 것이며, 보다 상세하게는 뇌전도 신호(electroencephalogram, EEG)의 분해와 상관관계 계수(correlation coefficient)를 이용한 의도 예측 방법 및 장치에 관한 것이다.

뇌-기계 인터페이스(brain-computer interface technique, BCI)는 컴퓨터와 인간의 뇌를 직접적으로 연결해주는 기술로서, 최근에는 뇌전도 신호 기반의 BCI가 교육, 공학, 재활 등과 같은 다양한 분야에서 활발하게 연구가 진행되고 있다.

하지만 뇌전도 신호는 볼륨 전도 현상으로 알려진 뇌 내부의 신호원에서 발생되는 모든 신호들이 섞여서 측정되기 때문에 잡음 및 의도와 관계 없는 신호원의 신호들로 인하여 전처리가 없는 직접적인 사용은 의도 분류에 적합하지 않다. 따라서, 의도와 관련 없는 신호를 제거하기 위한 많은 연구들이 진행되고 있다.

특히, 운동 심상 분류 BCI에서는 의도와 관련이 높은 공간의 정보를 강화시켜 분류하는 공통 공간 분포(Common Spacial Pattern, CSP) 기법이 높은 분류 정확도를 보여, CSP를 기반으로 한 다양한 연구들이 진행되고 있다. 또한, 최근에는 각 전극마다 낮은 상관관계 계수를 가지는 전극들의 신호를 이용하여 직접적으로 의도와 관련 없는 신호를 제거하는 능동 공간 필터링(Adaptive Spacial Filtering, ASF) 기법이 제안되었다.

하지만, 운동 심상 분류 BCI에서 이용하는 특징들은 직접적으로 뇌의 활동에 대한 정보를 제공하지 않기 때문에, 의도 상상시 뇌의 각 지역들끼리 발생하는 상호작용을 측정하는 연구들이 최근에 진행되고 있다. 상호작용을 측정하는 방법들에는 두 뇌전도 신호 사이의 위상 동기를 측정하는 PLV(Phase Locking Value), 파워의 관계를 측정하는 PDC(Partial Directed Coherence), 상관관계를 측정하는 상관관계 계수(Correlation coefficient, CC) 등이 있다. 이 중 CC는 다른 측정 방법들에 비해 사용 주파수 대역에 영향을 적게 받고, 잡음에 강인한 특성으로 많은 연구가 진행되고 있다.

가우시안 방법(Gaussian Curve, GC)은 두 개의 의도에 대해 CC의 분포를 가우시안으로 추정하고, 두 개의 가우시안 분포를 이용하여 miss-classification area를 계산하여, 낮은 miss-classification area에 대응하는 CC들을 특징(feature)으로 사용한다. t-mask 방법은 두 개의 의도에 대해 CC의 분포를 t-student 분포로 추정하여, 구별가능성이 높은 CC를 t-score를 이용하여 선택한다. 이러한 CC 기반의 방법들은 운동 심상 뿐만 아니라 인지 심상 분류에도 높은 성능을 보인다.

기존의 CC 기반의 의도 인식 방법은 주어진 뇌전도 신호들의 CC 중 분류 성능을 향상시킬 수 있는 CC를 선택하는 것에 초점을 두고 있다. 하지만, 이러한 방법은 주어진 자원들 중 도움이 되는 것들을 선택하는 것이므로, 최종적으로는 일정 수준 이상의 성능 향상을 보이기 힘들다. 따라서, 본 발명에서는 뇌전도 신호의 전처리를 통해 각 뇌전도 신호들의 CC들이 기존의 CC보다 분류에 높은 성능을 보일 수 있도록 한다.

대한민국 등록특허 제1457477호 (2014.11.05. 공고) 대한민국 공개특허 제2012-0125948호 (2012.11.19. 공개) 미합중국 공개특허 제2019-0212816호 (2019.06.11. 공개)

본 발명이 이루고자 하는 기술적인 과제는 뇌전도 신호의 전처리를 통하여, 각 뇌전도 신호들의 CC들이 기존의 CC보다 분류에 높은 성능을 보이게 하는, 뇌전도 신호의 분해를 이용한 상관관계 계수 특징 기반 인지 심상 분류 방법 및 장치를 제공하는 것이다.

본 발명의 일 실시예에 따른 인지 심상 분류 모델 생성 장치는 뇌전도 신호를 전처리하는 전처리부, 전처리된 뇌전도 신호로부터 특징(feature)을 추출하는 특징 추출부, 및 상기 특징 추출부로부터 출력되는 특징을 이용하여 분류기를 학습하는 모델 생성부를 포함하고, 상기 특징 추출부는 두 개의 뇌전도 신호의 상관관계 계수(Correlation Coeficient, CC)를 특징으로 추출한다.

또한, 본 발명의 일 실시예에 따른 인지 심상 분류 장치는 분류 대상 뇌전도 신호를 전처리하는 전처리부, 전처리된 분류 대상 뇌전도 신호로부터 특징을 추출하는 특징 추출부, 및 상술한 인지 심상 분류 모델 생성 장치에 의해 생성된 인지 심상 분류 모델을 이용하여 상기 분류 대상 뇌전도 신호를 분류하는 분류부를 포함한다.

또한, 본 발명의 다른 실시에에 따른 인지 심상 분류 장치는 미리 정해진 주파수 대역의 성분과 미리 정해진 시간 대역의 성분을 갖도록 뇌전도 신호를 전처리하는 제1 전처리 동작과 능동 공간 필터링 기법을 이용하여 뇌전도 신호에서 의도와 관련없는 요소를 제거하는 제2 전처리 동작을 수행하는 전처리부, 전처리된 뇌전도 신호로부터 특징을 추출하는 특징 추출부, 상기 특징 추출부로부터 출력되는 특징을 이용하여 분류기를 학습하는 모델 생성부, 및 상기 모델 생성부에 의해 생성된 분류 모델을 이용하여 분류 대상 뇌전도 신호를 분류하는 분류부를 포함하고, 상기 특징 추출부는 두 개의 뇌전도 신호의 상관관계 계수(CC)를 특징으로 추출하고, 상기 분류부는 상기 특징 추출부에 의해 추출된 상기 분류 대상 뇌전도 신호의 특징에 기초하여 상기 분류 대상 뇌전도 신호를 분류한다.

본 발명의 실시예에 따른 인지 심상 분류 장치 및 방법에 의할 경우, 전처리를 통해 두 가지의 의도에 대해 뇌전도 신호 쌍의 평균 CC(Correlation Coeficient)가 가장 큰 차이를 보이도록 뇌전도 신호 쌍을 분해한다. 이와 같이, 모든 뇌전도 신호 쌍에 대해 최적화된 전처리를 수행한 후, 평균 CC의 차이가 높은 뇌전도 신호 쌍들의 CC를 특징으로 이용하여 분류 성능을 향상시킬 수 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 분류 모델 생성 장치 또는 분류 장치의 기능 블럭도이다.
도 2는 도 1에 도시된 분류 모델 생성 장치 또는 분류 장치에 의한 운동 심상 분류 모델의 생성 과정 도는 분류 과정을 설명하기 위한 흐름도이다.
도 3은 제1 데이터셋에 대한 본 발명의 분류 정확도를 나타내는 표를 도시한다.
도 4는 제1 데이터셋을 이용한 인지 심상 분류에 사용된 전극의 위치를 도시한다.
도 5는 제2 데이터셋에 대한 본 발명의 분류 정확도를 나타내는 표를 도시한다.
도 6은 제2 데이터셋을 이용한 인지 심상 분류에 사용된 전극의 위치를 도시한다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 그러나, 특허출원의 범위가 이러한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 분류 모델 생성 장치 또는 분류 장치의 기능 블럭이고, 도 2는 도 1에 도시된 분류 모델 생성 장치 또는 분류 장치에 의한 운동 심상 분류 모델의 생성 과정 도는 분류 과정을 설명하기 위한 흐름도이다. 도 2에서 테스트 단계(Test phase)는 분류 대상 뇌전도 신호를 분류하는 동작과 동일할 수 있다.

도 1과 도 2를 참조하면, 인지 심상 분류 장치, 분류 장치, 인지 심상 분류 모델 생성 장치 등으로 명명될 수도 있는 분류 모델 생성 장치(10)는 신호 수신부(110), 전처리부(120), 특징 추출부(130), 모델 생성부(140), 분류부(150), 및 저장부(160) 중 적어도 하나를 포함한다.

예컨대, 인지 심상을 분류하는 모델을 생성하는 분류 모델 생성 장치(10)는 전처리부(120), 특징 추출부(130), 모델 생성부(140)를 포함할 수 있다. 실시예에 따라, 분류 모델 생성 장치(10)는 신호 수신부(110) 및/또는 저장부(160)를 더 포함할 수도 있다.

또한, 인지 심상을 분류하는 분류 장치(10)는 전처리부(120), 특징 추출부(130), 및 분류부(150)를 포함한다. 실시예에 따라, 분류 장치(10)는 신호 수신부(110) 및/또는 저장부(160)를 더 포함할 수도 있다. 또한, 분류 장치(10)에는 모델 생성부(160)가 더 포함됨으로써, 분류 모델의 생성과 분류 대상 신호의 분류 동작을 모두 수행할 수도 있다.

분류 모델 생성 장치(10) 및/또는 분류 장치(10)는 적어도 하나의 프로세서를 이용하여 구현될 수 있으며, 여기서, 프로세서는 중앙 처리 장치(CPU, Central Processing Unit), 마이크로 컨트롤러 유닛(MCU, Micro Controller Unit), 애플리케이션 프로세서(AP, Application Processor), 마이컴(Micom, Micro Processor), 전자 제어 유닛(ECU, Electronic Controlling Unit) 및/또는 각종 연산 처리 및 제어 신호의 생성이 가능한 다른 전자 장치 등을 포함할 수 있다. 이들 장치는 예를 들어 하나 또는 둘 이상의 반도체 칩 및 관련 부품을 이용하여 구현될 수 있다. 일 실시예에 의하면, 프로세서는 저장부(160)에 저장된 적어도 하나의 애플리케이션(소프트웨어, 프로그램이나 앱 등으로 표현 가능하다)을 구동시켜, 미리 정의된 연산, 판단, 처리 및/또는 제어 동작 등을 수행할 수도 있다. 여기서, 저장부(160)에 저장된 애플리케이션은, 설계자에 의해 직접 작성되어 저장부(160)에 입력 및 저장된 것일 수도 있고, 또는 유선 또는 무선 통신 네트워크를 통해 접속 가능한 전자 소프트웨어 유통망을 통하여 획득 또는 갱신된 것일 수도 있다.

또한, 분류 모델 생성 장치(10) 및/또는 분류 장치(10)는 이와 같은 프로세서가 하나 이상 설치된 적어도 하나의 정보 처리 장치를 이용하여 구현될 수도 있으며, 전자 정보 처리 장치는 데스크톱 컴퓨터, 랩톱 컴퓨터, 서버용 컴퓨터, 스마트 폰, 태블릿 피씨, 스마트 시계, 내비게이션 장치, 휴대용 게임기, 두부 장착형 디스플레이(HMD, Head Mounted Display) 장치, 인공지능 음향 재생 장치, 디지털 텔레비전, 가전기기, 기계 장치 및/또는 전자적으로 정보의 연산/처리 및 이와 관련된 제어가 가능하고 에너지 관리를 위해 특별히 제작된 적어도 하나의 장치를 포함할 수 있다.

신호 수신부(110)는 피험자의 두부로부터 뇌전도 신호를 측정하는 소정의 측정 장치로부터 뇌전도 신호를 수신할 수 있다. 신호 수신부(110)에 의해 수신된 뇌전도 신호는 저장부(160)에 저장될 수 있다. 실시예에 따라, 신호 수신부(110)는 유무선 통신망을 통하여 별도의 전자 장치 및/또는 서버 등으로부터 뇌전도 신호를 수신할 수도 있다. 다른 실시예로, 신호 수신부(110)는 소정의 입출력 인터페이스를 통하여 저장 장치로부터 뇌전도 신호를 수신하는 것도 가능하다.

신호 수신부(110)에 의해 수신되는 뇌전도 신호는 훈련(학습)을 위한 뇌전도 신호, 학습된 모델(분류 모델)을 테스트하기 위한 뇌전도 신호, 및/또는 분류 장치(10)에 의한 분류의 대상이 되는 분류 대상 뇌전도 신호가 있을 수 있다.

전처리부(120)는 신호 수신부(110)에 의해 수신된 뇌전도 신호 또는 저장부(180)에 저장되어 있는 뇌전도 신호를 전처리할 수 있다. 일 예로, 전처리부(120)는 제1 전처리 동작 및/또는 제2 전처리 동작을 수행할 수 있다.

전처리부(120)는 제1 전처리 동작을 수행함으로써 뇌전도 신호가 미리 정해진 주파수 대역의 성분 및/또는 미리 정해진 시간 대역의 성분을 갖도록 뇌전도 신호를 전처리할 수 있다. 구체적으로, 전처리부(120)는 뇌전도 신호가 적어도 미리 정해진 주파수 대역의 성분을 갖도록 뇌전도 신호를 대상으로 주파수 대역 필터링 동작을 수행할 수 있다. 미리 정해진 주파수 대역의 신호만이 유의미한 신호일 수 있기 때문이며, 여기서 미리 정해진 주파수 대역은 h1 Hz(예컨대, 10 Hz) 내지 h2 Hz(예컨대, 33 Hz) 사이의 주파수 대역일 수 있다. 다만, 본 발명의 권리범위가 미리 정해진 주파수 대역의 구성에 제한되는 것은 아니다.

또한, 전처리부(120)는 뇌전도 신호가 적어도 미리 정해진 시간 대역의 성분을 갖도록 뇌전도 신호를 대상으로 시간 대역 필터링 동작을 수행할 수 있다. 다시 말해, 전처리부(120)는 뇌전도 신호가 의도 명령이 주어진 시점으로부터 t1(예컨대, 0.15초)과 t2(예컨대, 0.5초) 사이의 신호만을 갖도록 전처리 동작을 수행할 수 있다. 상술한 바와 같이, 전처리부(120)는 주파수 대역에서의 전처리 동작 및/또는 시간 대역에서의 전처리 동작, 즉 제1 전처리 동작을 수행할 수 있다.

전처리부(120)는 제2 전처리 동작을 수행함으로써 뇌전도 신호에 포함된 노이즈 및/또는 의도와 관련 없는 요소들을 제거할 수 있다. 예컨대, 전처리부(120)는 능동 공간 필터링(Adaptive Spatial Filtering, ASF) 기법을 이용하여 제2 전처리 동작을 수행할 수 있다.

ASF 기법을 이용하여 노이즈 및/또는 의도와 관계없는 요소를 제거하는 방법은 다음과 같다. 먼저 각 전극에서 측정된 뇌전도 신호를

, 목표 신호를

, 의도와 관계없는 요소를

라 하면, 다음 수학식 1이 성립한다.

[수학식 1]

ASF 기법은 뇌전도 신호를

와 낮은 CC를 가지는 신호들을 이용하여 기준 신호

을 추정하여 관계없는 요소

을 추정한다.

를 기준 신호

의

개의 이산신호 구간, 즉

에서

까지의 구간이라고 하면, 필터링된 신호

는 다음 수학식 2와 같다.

[수학식 2]

여기서,

는 필터의 필터 계수이며, 결과값

는 다음 수학식 3과 같다.

[수학식 3]

ASF 기법은 LMS(Least Mean Squares) 알고리즘을 이용하여 각 전극마다 결과값

를 최소화 한다.

특징 추출부(130)는 뇌전도 신호(학습을 위한 뇌전도 신호, 테스트를 위한 뇌전도 신호 및/또는 분류 대상 뇌전도 신호)로부터 특징을 추출할 수 있다. 추출된 특징은 분류 모델의 생성(또는 분류 모델의 학습), 생성된 분류 모델의 테스트, 및/또는 인지 심상의 분류 과정에 사용될 수 있다. 구체적으로, 특징 추출부(130)는 두 뇌전도 신호의 분해를 통해 CC 특징 최적화를 수행하고 두 뇌전도 신호의 분해를 위해 회전행렬을 이용한다. 전극

의 뇌전도 신호를

, 전극

의 뇌전도 신호를

라 하면, 회전 행렬

을 이용하여 회전된 신호(즉, 분해된 신호)

와

는 다음 수학식 4와 같다.

[수학식 4]

회전된 두 뇌전도 신호의 CC는 다음 수학식 5와 같다.

[수학식 5]

여기서,

는 두 뇌전도 신호의 공분산(covariance)이고

는 뇌전도 신호

의 분산(variance)을 의미한다. 또한, 뇌전도 신호

는 K(K는 2 이상의 자연수) 개의 전극 중 k번째 전극의 뇌전도 신호의 회전 뇌전도 신호로써, M번의 측정 신호 중 i번째로 측정된 뇌전도 신호를 의미한다. 마찬가지로, 뇌전도 신호

는 K 개의 전극 중 p번째 전극의 뇌전도 신호의 회전 뇌전도 신호로써, M번의 측정 신호 중 i번째로 측정된 뇌전도 신호를 의미한다.

회전된 뇌전도 신호의 CC는 회전되기 전 뇌전도 신호와 회전 각도를 이용하여 다음 수학식 6과 같이 나타낼 수 있다.

[수학식 6]

뇌전도 신호의 CC의 분모를

로 표현하면 다음 수학식 7과 같이 나타낼 수 있다.

[수학식 7]

여기서, 뇌전도 신호의 CC(

)를 그대로 사용하는 경우, 분모의

로 인해 어려움이 있다. 여기서,

의

텀(term)이 나머지 텀들에 비해 매우 큰 값인 점에 착안하면,

는 수학식 8과 같이 간략화될 수도 있다.

[수학식 8]

따라서, 간략화된

는 수학식 9와 같이 나타낼 수 있다.

[수학식 9]

본 발명에서는 간략화된

를 이용하여 두 클래스에 대해 평균 CC의 차이를 최대화하도록 하는

에 대해 closed form solution을 구한다. 두 클래스에 대해 평균 CC의 차이는 다음 수학식 10과 같이 나타낼 수 있다.

[수학식 10]

여기서,

,

,

을 나타낸다.

또한,

는 클래스 c에 대한 뇌전도 신호의 인덱스셋(index set)을 의미하고,

을 만족한다.

는 인덱스셋

의 크기, 즉 클래스 c에 관해 측정된 뇌전도 신호의 개수를 의미할 수 있다.

최종적으로, 전극 k와 전극 q의 전극쌍의 두 클래스에 대해 평균 CC를 최대화하는

는 수학식 11과 같이 구해진다.

[수학식 11]

결국, 특징 추출부(130)는 모든 전극쌍에 대해

를 구하여 두 클래스에 대해 평균 CC의 차이를 최대화하도록 뇌전도 신호를 전처리할 수 있다.

전처리, 즉 분해된 뇌전도 신호의 CC 중 의도 인식에 가장 적합한 CC들을 추출하기 위해 평균이상 법칙이 사용될 수 있다. 평균이상 법칙은 전처리된 모든 전극쌍의 두 클래스에 대한 평균 CC의 차이의 평균을 구한다. 구해진 평균이

라면, 최종적으로 두 클래스에 대해 평균 CC의 차이가 미리 정해진 임계치(예컨대,

) 이상인 전극쌍의 CC를 의도 인식을 위한 특징으로 사용한다. 즉, 특징 추출부(130)는 미리 정해진 범위를 만족하는 특징을 선택하여 출력하고, 이를 이용하여 모델 생성부(140)는 분류 모델을 생성(또는 학습)시키고, 분류부(150)는 분류 대상 뇌전도 신호를 분류할 수 있다.

모델 생성부(140)는 분류 모델(또는 분류기)를 학습시킴으로써, 운동 심상 분류 모델을 생성할 수 있다. 구체적으로, 모델 생성부(140)는 특징 추출부(130)에 의해 추출된 특징을 이용하여 분류기를 학습시킴으로써, 뇌전도 신호로부터 인지 심상을 분류하는 분류 모델을 생성할 수 있다. 예시적인 분류기는 SVM(Support Vector Machine)일 수 있다.

분류부(150)는 모델 생성부(160)에 의해 생성된 분류 모델을 이용하여 인지 심상을 분류할 수 있다. 다른 예로, 분류 장치(10)에 모델 생성부(140)가 포함되지 않는 경우에는, 분류부(150)는 분류 모델 생성 장치(10)에 의해 생성된 분류 모델을 이용하여 운동 심상을 분류할 수 있다.

저장부(160)에는 신호 수신부(110)에 의해 수신된 뇌전도 신호, 전처리부(120)에 의해 전처리된 뇌전도 신호, 특징 추출부(130)에 의해 추출된 특징, 모델 생성부(140)에 의해 생성된 분류 모델, 분류기(150)에 의한 분류 결과 중 적어도 하나 이상이 저장될 수 있다.

[실시예]

본 발명의 성능평가를 위해 제1 데이터셋(공개 데이터셋인 BCI competition Ⅱ dataset Ⅳ와 BCI competition Ⅱ dataset Ⅱb)을 사용하였다. 먼저 BCI competition Ⅱ dataset Ⅳ는 한 명의 피험자에 대해 손가락 움직임에 대한 편측성을 측정한다. 데이터셋은 28개의 전극에서 측정되었고, 샘플링 주파수는 1000Hz이다. 총 416회의 신호 측정이 이루어 졌고, 316개의 훈련 신호와 100개의 테스트 신호가 주어진다. 도 3에는 예시적인 28개 전극의 위치를 나타낸다.

해당 데이터의 전처리는 다음과 같다. 본 발명에서는 10Hz ~ 33Hz 사이의 주파수 대역 필터링을 실시하였고, 사용된 시간 대역은 의도 명령이 주어지고 0.15초 후부터 0.5초까지의 신호를 사용하였다. 도 3에는 해당 데이터에 대한 본 발명의 분류 정확도를 나타내었다. 성능 평가를 위해 기존의 의도 인식 방법인 가우시안 방법, t-mask 방법, PLV-RFE 방법과 비교를 하였다. 본 발명은 기존 방법들 대비 높은 의도 인식 분류 정확도를 보인다. 도 4에는 본 발명에서 분류를 위해 최종적으로 선택된 뇌전도 신호 쌍을 나타낸다.

두 번째로는 제2 데이터셋(BCI competition Ⅱ dataset Ib)을 성능평가에 이용하였다. BCI competition Ⅱ dataset Ib는 ALS 환자를 대상으로 한 실험으로 화면의 커서를 움직이는 실험에 대해 측정되었다. 데이터셋은 7개의 전극에서 측정되었고 샘플링 주파수는 256Hz이다. 총 380회의 신호 측정이 이루어 졌고, 200개의 훈련 신호와 180개의 테스트 신호가 주어진다.

해당 데이터의 전처리는 다음과 같다. 본 발명에서는 0.5Hz ~ 7.5Hz의 주파수 대역 필터링을 실시하였고, 의도 명령이 주어지고 1초부터 3초까지의 신호를 사용하였다. 사용된 7개의 전극 중 안구의 움직임을 측정하는 vEOG 전극을 제외한 6개의 전극의 뇌전도 신호를 사용하였다. 도 5에는 해당 데이터에 대한 본 발명의 분류 정확도를 나타내었다. 성능평가를 위해 동일하게 가우시안 방법, t-mask 방법, PLV-RFE 방법과 비교를 하였다. 해당 데이터 셋에서도 본 발명은 기존 방법들 대비 높은 의도 인식 분류 정확도를 보인다. 도 6은 본 발명에서 분류를 위해 최종적으로 선택된 뇌전도 신호 쌍을 나타낸다.

이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 집합으로 구현될 수 있다. 예를 들어, 실시 예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPA(Field Programmable array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(Operation System, OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(Processing Element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor)와 같은, 다른 처리 구성(Processing Configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(Code), 명령(Instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(Collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성 요소(Component), 물리적 장치, 가상 장치(Virtual Equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(Signal Wave)에 영구적으로, 또는 일시적으로 구체화(Embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 좋ㅂ하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-optical Media), 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성 요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10 : 분류 모델 생성 장치, 분류 장치
110 : 신호 수신부
120 : 전처리부
130 : 특징 추출부
140 : 모델 생성부
150 : 분류부
160 : 저장부

Claims

뇌전도 신호를 전처리하는 전처리부;
전처리된 뇌전도 신호로부터 특징(feature)을 추출하는 특징 추출부;
상기 특징 추출부로부터 출력되는 특징을 이용하여 분류기를 학습하는 모델 생성부를 포함하고,
상기 특징 추출부는 두 개의 뇌전도 신호의 상관관계 계수(Correlation Coeficient, CC)를 특징으로 추출하고,
상기 특징 추출부는 회전 행렬을 이용하여 두 개의 뇌전도 신호를 분리하여 두 개의 회전 뇌전도 신호(
,
)를 생성하고,
상기 특징(
)은 수학식 1에 의해 정의되고,
상기 수학식 1은

이고,
상기
는 수학식 2에 의해 정의되고,
상기 수학식 2는

이고,
상기
는 K(K는 2 이상의 자연수) 개의 전극 중 k번째 전극에서 M(M은 2 이상의 자연수)회 측정된 뇌전도 신호 중 i번째 뇌전도 신호의 회전 뇌전도 신호이고,
상기
는 K 개의 전극 중 p번째 전극에서 M회 측정된 뇌전도 신호 중 i번째 뇌전도 신호의 회전 뇌전도 신호이고,
상기 C는 공분산(covariance)을 의미하고,
상기 P는 분산을 의미하고,
상기
는 회전 행렬의 회전 각을 의미하는,
인지 심상 분류 모델 생성 장치.
제1항에 있어서,
상기 전처리부는 뇌전도 신호가 미리 정해진 주파수 대역의 성분과 미리 정해진 시간 대역의 성분을 갖도록 전처리하는,
인지 심상 분류 모델 생성 장치.
제1항에 있어서,
상기 전처리부는 능동 공간 필터링(Adaptive Spatial Filtering, ASF) 기법을 이용하여 뇌전도 신호에서 의도와 관련없는 요소를 제거하여 뇌전도 신호를 전처리하는,
인지 심상 분류 모델 생성 장치.
삭제
제1항에 있어서,
상기 특징 추출부는 두 개의 전극쌍에 대한 두 클래스에 대해 평균 CC를 최대화하는 최적각(
)을 수학식 3을 이용하여 산출하고,
상기 수학식 3은

이고,
상기
은
이고,
상기
는 클래스 c의 인덱스셋(index set)이고,
상기
는
이고,
상기
는 k번째 전극에서 M회 측정된 뇌전도 신호 중 i번째 뇌전도 신호를 의미하고,
상기
는 p번째 전극에서 M회 측정된 뇌전도 신호 중 i번째 뇌전도 신호를 의미하고,
상기
는
이고,
상기
는
인,
인지 심상 분류 모델 생성 장치.
제5항에 있어서,
상기 특징 추출부는 모든 전극쌍에 대한 최적각을 산출하고,
두 클래스에 대하여 미리 정해진 값 이상의 차이를 보이는 CC를 출력하는,
인지 심상 분류 모델 생성 장치.
제1항에 있어서,
상기 분류기는 SVM(Support Vector Machine) 모델인,
인지 심상 분류 모델 생성 장치.
분류 대상 뇌전도 신호를 전처리하는 전처리부;
전처리된 분류 대상 뇌전도 신호로부터 특징을 추출하는 특징 추출부; 및
제1항에 기재된 인지 심상 분류 모델 생성 장치에 의해 생성된 인지 심상 분류 모델을 이용하여 상기 분류 대상 뇌전도 신호를 분류하는 분류부를 포함하는 인지 심상 분류 장치.
미리 정해진 주파수 대역의 성분과 미리 정해진 시간 대역의 성분을 갖도록 뇌전도 신호를 전처리하는 제1 전처리 동작과 능동 공간 필터링 기법을 이용하여 뇌전도 신호에서 의도와 관련없는 요소를 제거하는 제2 전처리 동작을 수행하는 전처리부;
전처리된 뇌전도 신호로부터 특징을 추출하는 특징 추출부;
상기 특징 추출부로부터 출력되는 특징을 이용하여 분류기를 학습하는 모델 생성부; 및
상기 모델 생성부에 의해 생성된 분류 모델을 이용하여 분류 대상 뇌전도 신호를 분류하는 분류부를 포함하고,
상기 특징 추출부는 두 개의 뇌전도 신호의 상관관계 계수(CC)를 특징으로 추출하고,
상기 분류부는 상기 특징 추출부에 의해 추출된 상기 분류 대상 뇌전도 신호의 특징에 기초하여 상기 분류 대상 뇌전도 신호를 분류하고,
상기 특징 추출부는 회전 행렬을 이용하여 두 개의 뇌전도 신호를 분리하여 두 개의 회전 뇌전도 신호(
,
)를 생성하고,
상기 특징(
)은 수학식 1에 의해 정의되고,
상기 수학식 1은

이고,
상기
는 수학식 2에 의해 정의되고,
상기 수학식 2는

이고,
상기
는 K(K는 2 이상의 자연수) 개의 전극 중 k번째 전극에서 M(M은 2 이상의 자연수)회 측정된 뇌전도 신호 중 i번째 뇌전도 신호의 회전 뇌전도 신호이고,
상기
는 K 개의 전극 중 p번째 전극에서 M회 측정된 뇌전도 신호 중 i번째 뇌전도 신호의 회전 뇌전도 신호이고,
상기 C는 공분산(covariance)을 의미하고,
상기 P는 분산을 의미하고,
상기
는 회전 행렬의 회전 각을 의미하는,
인지 심상 분류 장치.