KR102522342B1 - 뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 뇌 컴퓨터 인터페이스 장치 및 동작 방법 - Google Patents

Abstract

본 발명은 뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 기술적 사상에 관한 것으로, 보다 구체적으로, 측정 대상자의 뇌파 신호를 특정 클러스터링 모델로 클러스터링한 후, 해당 특정 클러스터링 모델에 대하여 학습된 의도 판단 모델을 이용하여 측정 대상자의 의도를 결정함에 따라 사용자 간 신호 보정 과정을 최소화하는 기술에 관한 것으로, 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치는 복수의 학습 대상자로부터 측정된 뇌파 신호의 밴드 별 주파수 파워를 이용하여 복수의 클러스터링 특징점을 추출하는 특징점 추출부, 상기 추출된 복수의 클러스터링 특징점에 기반하여 복수의 클러스터링 모델을 생성하는 클러스터링 모델 생성부 및 상기 생성된 복수의 클러스터링 모델 별 뇌파 신호를 기계학습하여 의도 판단 모델을 구축하고, 새롭게 측정된 측정 대상자의 뇌파 신호를 상기 복수의 클러스터링 모델 중 어느 하나의 클러스터링 모델로 결정하고, 상기 구축된 의도 판단 모델을 이용하여 상기 측정 대상자의 의도를 결정하는 뇌파 처리부를 포함할 수 있다.

Description

뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 뇌 컴퓨터 인터페이스 장치 및 동작 방법{BRAIN-COMPUTER INTERFACE APPARATUS AND OPERATING METHOD OF REDUCING BURDEN OF INDIVIDUAL CALIBRATION PROCESS BY CLUSTERING SUBJECTS BASED ON BRAIN ACTIVATION}

본 발명은 뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 기술적 사상에 관한 것으로, 보다 구체적으로, 측정 대상자의 뇌파 신호를 특정 클러스터링 모델로 클러스터링한 후, 해당 특정 클러스터링 모델에 대하여 학습된 의도 판단 모델을 이용하여 측정 대상자의 의도를 결정함에 따라 사용자 간 신호 보정 과정을 최소화하는 기술에 관한 것이다.

최근에 활발하게 개발되고 있는 뇌 컴퓨터 인터페이스(brain-computer interface, BCI)는 외부의 자극으로 인한 뇌파 변화를 이용하는 인터페이스와 사용자의 내재적인 변화 및 동작 상상에 의한 뇌파 변화를 이용하는 인터페이스를 포함하고 있다.

뇌 컴퓨터 인터페이스는 새로운 커뮤니케이션(communication) 기술로서 두뇌와 컴퓨터 사이의 직접적인 연결을 목표로 한다.

뇌 컴퓨터 인터페이스는 뇌전도(electroencephalogram, EEG) 신호를 측정하는 기술을 이용할 수 있다.

뇌전도 신호는 뇌의 활동에 따라 뇌의 피질에서 나타나는 전기적인 현상을 측정하는 방식을 이용하여 측정된 신호를 지칭한다.

뇌전도 신호를 측정하는 방식으로 침습적인 방법과 비 침습적인 방법으로 나누어 볼 수 있다.

뇌전도 신호의 경우 대표적인 비 침습적인 방법으로, 전극을 두피 위에 위치하여 뇌의 활동을 측정하는 방식이 존재한다.

뇌전도 신호는 낮은 신호 잡음비(Signal to noise ratio, SNR)를 가지는 단점을 가지고 있지만, 시간 도메인의 해상도가 높고 값이 싸다는 장점을 가지고 있다.

뇌전도 신호의 특성상 눈 깜박임, 움직임, 외부 소음 등에 의해 신호의 오염이 쉽고 측정된 신호의 크기가 작기 때문에 뇌파 신호를 이용한 뇌 컴퓨터 인터페이스 기술은 아직도 어려움이 존재한다.

예를 들어, 뇌전도 신호는 측정 대상자의 눈 깜박임 또는 외부로부터의 소음에 의해 측정 대상자로부터의 측정된 뇌전도 신호의 데이터가 변경될 수 있다.

따라서, 뇌전도 신호를 이용하여 고 신뢰도의 뇌 컴퓨터 인터페이스 기술을 제공하는데 어려움이 따를 수 있다.

동작 상상 기반 뇌 컴퓨터 인터페이스 기술을 개발하기 위해 시간 도메인(temporal domain), 주파수 도메인(spectral domain) 및 공간 도메인(spatial domain) 영역으로 구분되어 연구가 활발히 이루어지고 있다.

최근 발전된 심층 학습(deep learning, DL) 기술로 인해 뇌파를 분석하는 기술의 정확도 향상이 이루어지고 있지만 심층 학습 특성 상 특정 도메인 만을 이용한 연구가 진행되고 있다.

따라서, 다양한 도메인의 특징을 융합함으로써 성능을 향상시키고, 다양한 도메인에 특화된 새로운 심층 학습 모델에 대한 설계가 필요한 실정이다.

뇌전도 신호를 측정하면 뇌 피질에서 나타나는 전기적인 특징은 사람마다 같은 생각을 하더라도 서로 다른 형태의 신호가 나타나게 되는데 이를 사용자 간 변이도(Inter-subject variability, ISV)라고 한다.

이로 인해 나타나는 뇌파의 형태 때문에 뇌 컴퓨터 인터페이스 기술을 사용하기 위해서 사용자의 뇌파를 충분히 측정하고 사용자 개별 맞춤 모델을 만들어야 하는 과정에는 많은 시간이 소요된다.

한국등록특허 제10-2118757호 "뇌 상태의 의도적 및 비의도적인 변화에 대한 뇌 신호의 상호 관련" 한국공개특허 제10-2020-0099811호 "휴지기 뇌파를 이용한 뇌전증 진단 정보 제공 장치 및 방법" 한국등록특허 제10-1675875호 "스펙트럼 분석과 벡터 양자화를 이용한 뇌전도 신호를 검색하는 방법 및 시스템" 미국공개특허 제2020/0023189호 "BRAIN COMPUTER INTERFACE SYSTEMS AND METHODS OF USE THEREOF"

본 발명은 뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 뇌 컴퓨터 인터페이스 장치 및 동작 방법을 제공하는 것을 목적으로 한다.

본 발명은 시간이 오래 걸리는 개별 맞춤 모델을 사용하지 않고 사용자의 뇌파 신호를 이용하여 설계된 클러스터링 모델을 이용하여 신호 보정 과정을 최소화하고, 성능의 차이가 없는 뇌 컴퓨터 인터페이스 장치 및 동작 방법을 제공하는 것을 목적으로 한다.

본 발명은 맞춤형 클러스터링 모델을 이용하여 신호 보정 과정을 최소화하면서도 사용자의 의도에 대한 높은 인식 성능을 가지는 뇌 컴퓨터 인터페이스 장치 및 동작 방법을 제공하는 것을 목적으로 한다.

본 발명은 복수의 학습 대상자 또는 측정 대상자로부터 측정된 뇌파 신호의 주파수 파워를 이용하여 클러스터링 모델 설계를 위한 클러스터링 특징점을 추출함에 따라 사용자의 의도 분류에 소모되는 시간을 감소하는 것을 목적으로 한다.

본 발명의 일실시예에 따르면 뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 뇌 컴퓨터 인터페이스 장치는 복수의 학습 대상자로부터 측정된 뇌파 신호의 밴드 별 주파수 파워를 이용하여 복수의 클러스터링 특징점을 추출하는 특징점 추출부, 상기 추출된 복수의 클러스터링 특징점에 기반하여 복수의 클러스터링 모델을 생성하는 클러스터링 모델 생성부 및 상기 생성된 복수의 클러스터링 모델 별 뇌파 신호를 기계학습하여 의도 판단 모델을 구축하고, 새롭게 측정된 측정 대상자의 뇌파 신호를 상기 복수의 클러스터링 모델 중 어느 하나의 클러스터링 모델로 결정하고, 상기 구축된 의도 판단 모델을 이용하여 상기 측정 대상자의 의도를 결정하는 뇌파 처리부를 포함할 수 있다.

본 발명의 일실시예에 따르면 뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 뇌 컴퓨터 인터페이스 장치는 상기 복수의 학습 대상자 또는 상기 측정 대상자의 복수의 부위에 부착된 복수의 측정 전극을 이용하여 상기 복수의 부위 각각에 대한 복수의 뇌파 신호를 측정하는 뇌파 측정부를 더 포함할 수 있다.

상기 복수의 뇌파 신호는 상기 복수의 부위에 따라 서로 다른 주파수 파워를 나타낼 수 있다.

상기 뇌파 측정부는 상기 복수의 부위의 위치에 따라 8 Hz 내지 12 Hz의 주파수 파워가 측정되는 제1 밴드, 12 Hz 내지 18 Hz의 주파수 파워가 측정되는 제2 밴드 및 18 Hz 내지 30 Hz의 주파수 파워가 측정되는 제3 밴드의 주파수 파워를 갖는 뇌파 신호를 측정할 수 있다.

상기 특징점 추출부는 상기 제1 밴드에 대응하는 제1 클러스터링 특징점, 상기 제2 밴드에 대응하는 제2 클러스터링 특징점 및 상기 제3 밴드에 대응하는 제3 클러스터링 특징점 중 적어도 하나의 클러스터링 특징점을 추출할 수 있다.

상기 특징점 추출부는 상기 밴드 별 주파수 파워의 전력 스펙트럼 밀도(power spectral density, PSD)를 평균화하여 상기 밴드 별로 복수의 클러스터링 특징점을 결정하고, 주성분 분석(principle component analysis, PCA)을 통해 상기 결정된 복수의 클러스터링 특징점 중 두 개의 클러스터링 특징점을 결정할 수 있다.

상기 클러스터링 모델 생성부는 상기 결정된 두 개의 클러스터링 특징점과 군집 분석(k-mean clustering) 기법을 이용하여 상기 복수의 클러스터링 모델을 생성할 수 있다.

상기 뇌파 처리부는 상기 결정된 클러스터링 모델에 해당하는 의도 판단 모델을 이용하여 상기 측정 대상자의 의도를 결정함에 따라 상기 새롭게 측정된 측정 대상자의 뇌파 신호에 대한 기계 학습 과정을 축소하여 상기 신호 보정 과정을 축소할 수 있다.

상기 클러스터링 모델 생성부는 상기 복수의 클러스터링 모델 각각의 사용자 간 변이도(Inter Subject Variability, ISV)가 상기 복수의 학습 대상자 전체의 사용자 간 변이도(Inter Subject Variability, ISV)에 대비하여 작게 결정되는 상기 복수의 클러스터링 모델을 생성할 수 있다.

본 발명의 일실시예에 따르면 뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 뇌 컴퓨터 인터페이스 장치의 동작 방법은 특징점 추출부에서, 복수의 학습 대상자로부터 측정된 뇌파 신호의 밴드 별 주파수 파워를 이용하여 복수의 클러스터링 특징점을 추출하는 단계, 클러스터링 모델 생성부에서, 상기 추출된 복수의 클러스터링 특징점에 기반하여 복수의 클러스터링 모델을 생성하는 단계 및 뇌파 처리부에서, 상기 생성된 복수의 클러스터링 모델 별 뇌파 신호를 기계학습하여 의도 판단 모델을 구축하고, 새롭게 측정된 측정 대상자의 뇌파 신호를 상기 복수의 클러스터링 모델 중 어느 하나의 클러스터링 모델로 결정하고, 상기 구축된 의도 판단 모델을 이용하여 상기 측정 대상자의 의도를 결정하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따르면 뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 뇌 컴퓨터 인터페이스 장치의 동작 방법은 뇌파 측정부에서, 상기 복수의 학습 대상자 또는 상기 측정 대상자의 복수의 부위에 부착된 복수의 측정 전극을 이용하여 상기 복수의 부위 각각에 대한 복수의 뇌파 신호를 측정하는 단계를 더 포함할 수 있다.

상기 복수의 뇌파 신호는 상기 복수의 부위에 따라 서로 다른 주파수 파워를 나타낼 수 있다.

상기 복수의 부위 각각에 대한 복수의 뇌파 신호를 측정하는 단계는, 상기 복수의 부위의 위치에 따라 8 Hz 내지 12 Hz의 주파수 파워가 측정되는 제1 밴드, 12 Hz 내지 18 Hz의 주파수 파워가 측정되는 제2 밴드 및 18 Hz 내지 30 Hz의 주파수 파워가 측정되는 제3 밴드의 주파수 파워를 갖는 뇌파 신호를 측정하는 단계를 포함할 수 있다.

상기 구축된 의도 판단 모델을 이용하여 상기 측정 대상자의 의도를 결정하는 단계는 상기 결정된 클러스터링 모델에 해당하는 의도 판단 모델을 이용하여 상기 측정 대상자의 의도를 결정함에 따라 상기 새롭게 측정된 측정 대상자의 뇌파 신호에 대한 기계 학습 과정을 축소하여 상기 신호 보정 과정을 축소하는 단계를 포함할 수 있다.

본 발명은 뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 뇌 컴퓨터 인터페이스 장치 및 동작 방법을 제공할 수 있다.

본 발명은 시간이 오래 걸리는 개별 맞춤 모델을 사용하지 않고 사용자의 뇌파 신호를 이용하여 설계된 클러스터링 모델을 이용하여 신호 보정 과정을 최소화하고, 성능의 차이가 없는 뇌 컴퓨터 인터페이스 장치 및 동작 방법을 제공할 수 있다.

본 발명은 맞춤형 클러스터링 모델을 이용하여 신호 보정 과정을 최소화하면서도 사용자의 의도에 대한 높은 인식 성능을 가지는 뇌 컴퓨터 인터페이스 장치 및 동작 방법을 제공할 수 있다.

본 발명은 복수의 학습 대상자 또는 측정 대상자로부터 측정된 뇌파 신호의 주파수 파워를 이용하여 클러스터링 모델 설계를 위한 클러스터링 특징점을 추출함에 따라 사용자의 의도 분류에 소모되는 시간을 감소시킬 수 있다.

도 1은 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치를 설명하는 도면이다.
도 2a 및 도 2b는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 복수의 클러스터링 특징점을 추출하는 실시예를 설명하는 도면이다.
도 3a 내지 도 3c는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 복수의 클러스터링 모델을 생성하는 실시예를 설명하는 도면이다.
도 4a 및 도 4b는 종래 기술에 따른 주파수 밴드 별 사용자 간 변이도(Inter Subject Variability, ISV)와 본 발명의 일실시예에 따른 클러스터링 모델 기반 주파수 밴드 별 사용자 간 변이도(Inter Subject Variability, ISV)를 비교 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 분류 정확도와 종래 기술의 분류 정확도를 비교 설명하는 도면이다.
도 6은 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법을 설명하는 도면이다.

이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다.

실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다.

하기에서 다양한 실시 예들을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

그리고 후술되는 용어들은 다양한 실시 예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.

"제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.

본 명세서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다.

어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.

예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.

또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다.

즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.

이하 사용되는 '..부', '..기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치를 설명하는 도면이다.

도 1은 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 구성 요소를 예시한다.

도 1을 참고하면, 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치(100)는 뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 뇌 컴퓨터 인터페이스 장치일 수 있다.

본 발명의 일실시예에 따르면 뇌 컴퓨터 인터페이스 장치(100)는 뇌파 측정부(110), 특징점 추출부(120), 클러스터링 모델 생성부(130) 및 뇌파 처리부(140)를 포함한다.

일례로, 뇌파 측정부(110)는 복수의 학습 대상자 또는 측정 대상자의 복수의 부위에 부착된 복수의 측정 전극을 이용하여 복수의 부위 각각에 대한 복수의 뇌파 신호를 측정할 수 있다.

예를 들어, 복수의 뇌파 신호는 복수의 부위에 따라 서로 다른 주파수 파워를 나타낼 수 있다.

또한, 뇌파 신호는 뇌전도(electroencephalogram, EGG) 신호를 포함할 수 있다.

본 발명의 일실시예에 따르면 뇌파 측정부(110)는 복수의 부위의 위치에 따라 8 Hz 내지 12 Hz의 주파수 파워가 측정되는 제1 밴드, 12 Hz 내지 18 Hz의 주파수 파워가 측정되는 제2 밴드 및 18 Hz 내지 30 Hz의 주파수 파워가 측정되는 제3 밴드의 주파수 파워를 갖는 뇌파 신호를 측정할 수 있다.

예를 들어, 제1 밴드는 α밴드로 지칭될 수 있고, 제2 밴드는 낮은(low) β밴드로 지칭될 수 있으며, 제3 밴드는 높은(high) β밴드로 지칭될 수 있다.

일례로, 제1 밴드 내지 제3 밴드의 주파수 파워는 서로 다른 위치에서 산출된 결과를 나타낼 수 있으며, 서로 다른 위치에 따른 주파수 파워는 도 2a를 이용하여 보충설명하도록 한다.

예를 들어, 제1 밴드 내지 제3 밴드 내 전력 분포의 표준 편차 차이는 사용자 간 변이도(Inter Subject Variability, ISV)를 평가하기 위해 활용될 수 있다.

본 발명의 일실시예에 따르면 특징점 추출부(120)는 복수의 학습 대상자로부터 측정된 뇌파 신호의 밴드 별 주파수 파워를 이용하여 복수의 클러스터링 특징점을 추출할 수 있다.

일례로, 특징점 추출부(120)는 제1 밴드에 대응하는 제1 클러스터링 특징점, 제2 밴드에 대응하는 제2 클러스터링 특징점 및 제3 밴드에 대응하는 제3 클러스터링 특징점 중 적어도 하나의 클러스터링 특징점을 추출할 수 있다.

즉, 특징점 추출부(120)는 밴드 별 클러스터링 특징점을 추출할 수 있다.

예를 들어 클러스터링 특징점은 클러스터링 모델 생성을 위한 데이터로 활용될 수 있다.

본 발명의 일실시예에 따르면 특징점 추출부(120)는 밴드 별 주파수 파워의 전력 스펙트럼 밀도(power spectral density, PSD)를 평균화하여 밴드 별로 복수의 클러스터링 특징점을 결정할 수 있다.

즉, 특징점 추출부(120)는 각 밴드의 주파수 파워에 따라 복수의 클러스터링 특징점을 결정할 수 있다.

본 발명의 일실시예에 따르면 특징점 추출부(120)는 주성분 분석(principle component analysis, PCA)을 통해 결정된 복수의 클러스터링 특징점 중 두 개의 클러스터링 특징점을 결정할 수 있다.

일례로, 클러스터링 모델 생성부(130)는 특징점 추출부(120)에 의해 추출된 복수의 클러스터링 특징점에 기반하여 복수의 클러스터링 모델을 생성할 수 있다.

즉, 클러스터링 모델 생성부(130)는 특징점 추출부(120)에 의해 결정된 두 개의 클러스터링 특징점과 군집 분석(k-mean clustering) 기법을 이용하여 복수의 클러스터링 모델을 생성할 수 있다.

본 발명의 일실시예에 따르면 클러스터링 모델 생성부(130)는 복수의 클러스터링 모델 각각의 사용자 간 변이도(Inter Subject Variability, ISV)가 복수의 학습 대상자 전체의 사용자 간 변이도(Inter Subject Variability, ISV)에 대비하여 작게 결정되는 복수의 클러스터링 모델을 생성할 수 있다.

예를 들어, 복수의 클러스터링 모델 각각의 사용자 간 변이도(Inter Subject Variability, ISV)가 복수의 학습 대상자 전체의 사용자 간 변이도(Inter Subject Variability, ISV)의 비교 결과는 도 4a 및 도 4b를 이용하여 보충 설명한다.

본 발명의 일실시예에 따르면 뇌파 처리부(140)는 클러스터링 모델 생성부(130)에 의해 생성된 복수의 클러스터링 모델 별 뇌파 신호를 기계학습하여 의도 판단 모델을 구축하고, 새롭게 측정된 측정 대상자의 뇌파 신호를 복수의 클러스터링 모델 중 어느 하나의 클러스터링 모델로 결정하고, 구축된 의도 판단 모델을 이용하여 측정 대상자의 의도를 결정할 수 있다.

일례로, 뇌파 처리부(140)는 복수의 클러스터링 모델 별 뇌파 신호의 공통 공간 패턴(common spatial pattern, CSP)을 이용하여 의도 판단 모델을 구축하기 위한 특징점을 추출할 수 있다.

본 발명의 일실시예에 따르면 뇌파 처리부(140)는 복수의 클러스터링 모델 별 뇌파 신호를 공통 공간 패턴(common spatial pattern, CSP) 필터에 적용하여 복수의 뇌파 분석 결과를 추출하고, 추출된 복수의 뇌파 분석 결과 중 차이가 큰 순서로 행렬 데이터를 생성하고, 생성된 행렬 데이터에 대해서 공간적으로 서로 분류된 특징점을 의도 판단 모델을 구축하기 위한 특징점으로 추출할 수 있다.

본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치(100)는 뇌파 신호의 주파수 패턴을 이용하여 객체를 구성하고, 의도 판단 모델을 학습하기 위해 공통 공간 패턴을 사용한다.

본 발명의 일실시예에 따라 뇌파 처리부(140)는 N개의 전극에서 T개의 Sample을 측정하였다고 가정하였을 때 한번의 측정을 했을 때 NxT의 행렬을 생성할 수 있다.

또한, 뇌파 처리부(140)는 NN가지 태스크(Task)를 진행하였을 때 X개의 태스크(Task)를 진행할 때 나타나는 NxT의 행렬의 공분산을 산출할 수 있다.

예를 들어, 하나씩의 태스크(Task)를 진행하였을 때 공분산은 하기 수학식 1이 될 수 있다.

[수학식 1]

수학식 1에서, C는 공분산을 나타낼 수 있고, S'은 NxT의 행렬을 나타낼 수 있다.

이렇게, 공분산(C)를 구하면 NxN개의 행렬이 도출되고, 이렇게 된 공분산(C)과 관련된 측정 횟수가 n개로 나타날 수 있다.

뇌파 처리부(140)는 X개의 태스크(Task)를 진행 하였으므로 X₁번째 태스크(Task)에 대한 공분산(C1) 평균, X₂번째 태스크(Task)에 대한 공분산(C2)의 평균을 반복적으로 계산하여, X_i번째에 대한 공분산(Ci)를 산출할 수 있다.

뇌 컴퓨터 인터페이스 장치는 이렇게 구해진 공분산의 평균을 모두 더하고, 공분산 평균의 합(Csum)을 하기 수학식 2로 변환시켜서 백색화 변환행렬 Q를 생성할 수 있다.

[수학식 2]

수학식 2에서, Q는 백색화 변환행렬을 나타낼 수 있고, U는 고유벡터를 나타낼 수 있으며, λ는 고유값을 나타낼 수 있다.

뇌파 처리부(140)는 수학식 2를 이용하여 계산된 백색화 변환행렬 Q는 각 클라스 평균 공분상 행렬이 동일한 고유벡터를 가지도록 한다.

따라서, 이 백색화 행렬을 적용하여 서로 다른 공분산을 가지도록 하려면 수학식 3이 도출되야한다.

[수학식 3]

수학식 3에서, S는 NxT의 행렬을 나타낼 수 있고, Q는 공분산을 나타낼 수 있으며, C_l은 공분산 평균의 합을 나타낼 수 있다.

여기서 클래스가 2개가 된다면 수학식 4가 도출 될 수 있다.

[수학식 4]

수학식 4에서, S1은 제1 클래스의 NxT의 행렬을 나타낼 수 있고, B는 고유 벡터 변환 변수를 나타낼 수 있으며, S2는 제2 클래스의 NxT의 행렬을 나타낼 수 있다.

뇌파 처리부(140)는 이렇게 얻어진 S1과 S2를 이용하여 얻을 수 있는 CSP 필터의 가중치(W)와 동일한 백색화 변환 행렬(Q)을 획득하고, 가중치(W)와 원신호 NxT의 신호를 곱해주면 CSP 필터를 거친 특징점(Z)를 산출할 수 있다.

본 발명의 일실시예에 따르면 뇌파 처리부(140)는 CSP 필터를 거친 신호에 대한 NxT개의 결과를 뽑아낼 수 있고, 뽑아진 결과를 바탕으로 둘의 차이가 가장 큰 것을 순서대로 만든 후, 뽑힌 특징을 8x8의 하나의 블록에 나열한다.

다음으로, 뇌파 처리부(140)는 복수의 태스크(Task)에 대해서 공간적으로 서로 분류된 특징점을 뽑아 이산적인 순간의 뇌파의 특징을 추출할 수 있고, 추출된 특징점을 이용하여 RBF-SVM에 적용하여 측정 대상자의 의도를 분류할 수 있다.

일례로, 뇌파 처리부(140)는 두 클래스의 데이터를 분산으로 구별하고 CSP 필터를 통해 두 클래스 간 차이를 최대화할 수 있다.

본 발명의 일실시예에 따르면 뇌파 처리부(140)는 CSP 필터를 거쳐 추출된 특징점을 선형(linear) 서포트 벡터 머신(support vector machine, SVM), 다항식(poly) 서포트 벡터 머신(support vector machine, SVM), RBF(radial basis function) 서포트 벡터 머신(support vector machine, SVM) 및 시그모이드(sigmoid) 서포트 벡터 머신(support vector machine, SVM) 중 어느 하나의 서포트 벡터 머신을 이용하여 기계학습함에 따라 의도 판단 모델을 구축할 수 있다.

일례로 뇌파 처리부(140)는 클러스터링 모델에 해당하는 의도 판단 모델을 이용하여 측정 대상자의 의도를 결정함에 따라 새롭게 측정된 측정 대상자의 뇌파 신호에 대한 기계 학습 과정을 축소하여 신호 보정 과정을 축소할 수 있다.

따라서, 본 발명은 뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 뇌 컴퓨터 인터페이스 장치를 제공할 수 있다.

도 2a 및 도 2b는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 복수의 클러스터링 특징점을 추출하는 실시예를 설명하는 도면이다.

도 2a는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 복수의 측정 전극을 이용하여 뇌파 신호를 측정하기 위한 뇌 영역을 세분화하여 예시한다.

도 2a를 참고하면, 뇌 영역(200)은 제1 영역(201), 제2 영역(202), 제3 영역, 제4 영역(204), 제5 영역(205), 제6 영역(206), 제7 영역(207), 제8 영역(208), 제9 영역(209) 및 제10 영역(210)으로 세분화될 수 있다.

예를 들어, 제1 영역(201)은 좌측 전방 정면(left anterior frontal) 영역에 해당될 수 있고, 제2 영역(202)은 우측 전방 정면(right anterior frontal) 영역에 해당될 수 있으며, 제3 영역(203)은 좌측 정면(left frontal) 영역에 해당될 수 있고, 제4 영역(204)은 우측 정면(right frontal) 영역에 해당될 수 있다.

또한, 제5 영역(205)은 좌측 중앙(left central) 영역에 해당될 수 있고, 제6 영역(206)은 우측 중앙(right central) 영역에 해당될 수 있으며, 제7 영역(207)은 우측 정수리(right parietal) 영역에 해당될 수 있고, 제8 영역(208)은 좌측 정수리(left parietal)영역에 해당될 수 있으며, 제9 영역(209)은 좌측 후두부(left occipital)영역에 해당될 수 있고, 제10 영역(210)은 우측 후두부(right occipital)영역에 해당될 수 있다.

본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치는 각 영역에서 산출된 전력 스펙트럼 밀도(power spectral density, PSD)를 기반으로 주성분 분석 (principle component analysis, PCA)을 이용하여 복수의 클러스터링 모델을 생성하고, 생성된 모델에 따른 클러스터링을 진행할 수 있다.

일례로, 뇌 컴퓨터 인터페이스 장치는 전극에 위치에 따라서 10개의 영역으로 그룹화를 진행한다.

예를 들어, 10개의 그룹에는 적게는 2개, 많게는 4개의 전극으로 구성될 수 있다.

여기서, 뇌 컴퓨터 인터페이스 장치는 10개의 영역 각각에서 복수의 전극을 통해 측정되는 뇌파 신호의 전력 스펙트럼 밀도를 평균화하여 각 주파수 밴드 별로 10개의 특징점을 도출할 수 있다. 즉, 뇌 컴퓨터 인터페이스 장치는 총 30개의 특징점을 도출할 수 있다.

본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치는 각 밴드의 10개의 특징점을 주성분 분석 (principle component analysis, PCA)을 이용하여 10개의 특징점 중 주요한 특징점 2개(PC1, PC2)를 산출하고, 2 개의 특징점 및 군집 분석(k-mean clustering) 기법을 이용하여 3 개의 클러스터링 모델을 생성할 수 있다.

여기서, 3 개의 클러스터링 모델은 각 클러스터링 모델 별로 전력 스펙트럼 밀도의 차이가 크지 않은 뇌파 신호들로 클러스터링되어 있다.

클러스터링 모델을 생성 결과에 따른 클러스터링 결과는 도 3a 내지 도 3c를 이용하여 보충설명한다.

도 2b는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 복수의 클러스터링 특징점을 추출하기 위한 복수의 학습 대상자 또는 측정 대상자로부터 뇌파 신호를 측정하는 과정을 예시한다.

도 2b를 참고하면, 단계(S201)에서 학습 대상자는 사전 휴식을 하고, 60초 경과 후 단계(S202)에서 지시를 받고, 2초 경과 후 단계(S203)에서 운동 상상(motor imagery, MI)하고, 10초 경과 후 단계(S205)에서 휴식을 한다.

단계(S203)과 단계(S205) 사이에서 학습 대상자는 단계(S204)에 해당하는 왼손 그리핑 또는 오른손 그리핑 동작을 상상하고, 시각 단서와 관련된 운동 상상을 진행한다.

15초 내지 17초 경과 후 단계(S206)에서 학습 대상자는 사후 휴식을 하고, 60초 경과 후 단계(207)에서 뇌파 신호 측정 절차는 종료된다.

여기서, 뇌파 측정 전극은 학습 대상자의 두부 상에 위치하고, 복수의 측정 지점으로부터 복수의 뇌파 신호를 측정하고, 데이터 세트를 1000Hz 샘플링 속도로 기록한 다음 200Hz　로 다운 샘플링하고　시험 당　2000 개의 샘플을 획득할 수 있다.

예를 들어, 뇌 컴퓨터 인터페이스 장치는 학습 대상자의 휴식 상태에서 상대적으로 높은 신호의 품질을 갖는 뇌파 신호를 획득할 수 있다.

여기서, 획득된 뇌파 신호는 아티팩트가 제거되고, 시간 도메인 상의 뇌파 신호는 FFT(Fast Fourier Transform, FFT)에 의해 주파수 도메인으로 변환될 수 있다.

도 3a 내지 도 3c는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 복수의 클러스터링 모델을 생성하는 실시예를 설명하는 도면이다.

도 3a 내지 도 3c를 참고하면, 밴드 별 전력 분포는 클러스터와 주파수 대역에서 다양한 패턴을 나타낼 수 있다.

도 3a는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 제1 밴드 영역에서 획득한 제1 클러스터링 모델 내지 제3 클러스터링 모델에서의 주성분 분석 (principle component analysis, PCA)의 주요 클러스터링 특징점(PC1, PC2)과 연관하여 분석한 결과를 그래프(300)로 예시한다.

도 3a의 그래프(300)를 참고하면, 제1 밴드의 경우 왼쪽 전두엽과 두정 후두부의 전력 분포는 제1 클러스터와 제2 클러스터 사이에서 차이가 나타난다.

또한, 제3 클러스터는 왼쪽 정면에서 전력 스펙트럼 밀도(power spectral density, PSD)의 분포와 관련하여 높은 활성화를 나타냈다.

도 3b는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 제2 밴드 영역에서 획득한 제1 클러스터링 모델 내지 제3 클러스터링 모델에서의 주성분 분석 (principle component analysis, PCA)의 주요 클러스터링 특징점(PC1, PC2)과 연관하여 분석한 결과를 그래프(310)로 예시한다.

도 3b의 그래프(310)를 참고하면, 제2 밴드의 경우 제3 클러스터에서 우측 후두부 전체에서 전력 스펙트럼 밀도(power spectral density, PSD)의 분포 활성화 패턴이 뚜렷하게 차이를 나타낸다.

도 3c는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 제3 밴드 영역에서 획득한 제1 클러스터링 모델 내지 제3 클러스터링 모델에서의 주성분 분석 (principle component analysis, PCA)의 주요 클러스터링 특징점(PC1, PC2)과 연관하여 분석한 결과를 그래프(320)로 예시한다.

도 3c의 그래프(320)를 참고하면, 제3 밴드의 경우 좌측　및 우측 측두 영역의 전력 스펙트럼 밀도(power spectral density, PSD)의 분포가 높은 활성화를 나타낸다.

도 4a 및 도 4b는 종래 기술에 따른 주파수 밴드 별 사용자 간 변이도(Inter Subject Variability, ISV)와 본 발명의 일실시예에 따른 클러스터링 모델 기반 주파수 밴드 별 사용자 간 변이도(Inter Subject Variability, ISV)를 비교 설명하는 도면이다.

도 4a는 클러스터링 없이 총(total) 객체(subject)들에 대하여 클러스터 구분 없이 제1 밴드, 제2 밴드 및 제3 밴드에서 뇌 영역 사이의 주파수 파워 차이에 대한 표준 편차를 나타내고, 도 4b는 클러스터링된 객체들에 대하여 제1 밴드, 제2 밴드 및 제3 밴드에서 뇌 영역 사이의 주파수 파워 차이에 대한 표준 편차를 나타낼 수 있다.

도 4a의 그래프(400)를 참고하면, 제1 밴드는 α밴드에 해당하고, 제2 밴드는 낮은 β밴드에 해당되며, 제3 밴드는 높은 β밴드에 해당될 수 있다.

또한, 그래프(400)에서 SD는 표준 편차를 나타낼 수 있고, AF는 전방 정면의 뇌 영역을 나타낼 수 있으며, F는 정면의 뇌영역을 나타낼 수 있고, C는 중심의 뇌영역을 나타낼 수 있으며, P는 정수리의 뇌영역을 나타낼 수 있고, O는 후두의 뇌영역을 나타낼 수 있다.

그래프(400)를 참고하면, 제1 밴드에서 좌반구와 우반구의 표준 편차는 각각 1.51과 1.55이고, 제2 밴드에서 좌반구와 우반구의 표준 편차는 각각 1.82와 1.79일 수 있으며, 제3 밴드에서 좌반구와 우반구의 표준 편차는 2.29 및 2.40일 수 있다.

도 4b의 그래프(410)를 참고하면, 제1 밴드는 α밴드에 해당하고, 제2 밴드는 낮은 β밴드에 해당되며, 제3 밴드는 높은 β밴드에 해당될 수 있다.

또한, 그래프(410)에서 SD는 표준 편차를 나타낼 수 있고, AF는 전방 정면의 뇌 영역을 나타낼 수 있으며, F는 정면의 뇌영역을 나타낼 수 있고, C는 중심의 뇌영역을 나타낼 수 있으며, P는 정수리의 뇌영역을 나타낼 수 있고, O는 후두의 뇌영역을 나타낼 수 있다.

그래프(410)를 참고하면, 제1 밴드에서 좌반구와 우반구의 표준 편차는 각각 1.08과 1.05이고, 제2 밴드에서 좌반구와 우반구의 표준 편차는 각각 1.76와 1.39일 수 있으며, 제3 밴드에서 좌반구와 우반구의 표준 편차는 1.70 및 1.67일 수 있다.

그래프(400)와 그래프(410)의 표준 편차를 비교하면 클러스터링된 객체들이 상대적으로 낮은 표준 편차를 나타낸다.

특히, 그래프(410)의 제1 밴드에서 좌반구와 우반구의 표준 편차는 각각 1.08과 1.05로서 가장 낮은 표준 편차를 나타낸다.

즉, 클러스터링 모델을 이용한 클러스터링된 객체들은 사용자 간 변이도(Inter Subject Variability, ISV)가 총(total) 객체(subject)들에 대하여 클러스터 구분 없는 사용자 간 변이도(Inter Subject Variability, ISV)가 더 작을 수 있다.

따라서, 본 발명은 맞춤형 클러스터링 모델을 이용하여 신호 보정 과정을 최소화하면서도 사용자의 의도에 대한 높은 인식 성능을 가지는 뇌 컴퓨터 인터페이스 장치 및 동작 방법을 제공할 수 있다.

또한, 본 발명은 복수의 학습 대상자 또는 측정 대상자로부터 측정된 뇌파 신호의 주파수 파워를 이용하여 클러스터링 모델 설계를 위한 클러스터링 특징점을 추출함에 따라 사용자의 의도 분류에 소모되는 시간을 감소시킬 수 있다.

또한, 종래 기술은 객체(subject) 개인에게 맞는 모델을 따로 학습하여 사용하였기 때문에 해당 객체에게 맞는 모델을 학습하기 위해서 선행 학습이 요구된다.

그러나, 본 발명은 객체의 휴지 상태에서 뇌파를 분석하고, 객체의 뇌파 신호가 어느 클러스터링 모델에 포함되는지 판단하고, 클러스터링 모델이 결정되면 해당 그룹에 속해 있는 객체들을 이용하여 미리 학습된 의도 판단 모델을 이용하여 객체의 의도가 판단 가능하다.

따라서, 본 발명은 처음 측정된 객체라고 하더라도 의도 판단을 위한 의도 판단 모델을 학습하기 위해 여러 차례 뇌파를 측정하지 않고도 객체의 의도를 판단할 수 있으며, 여러 차례 뇌파를 측정하지 않아 객체에게 맞는 모델을 학습하기 위한 시간을 줄일 수 있다.

도 5는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 분류 정확도와 종래 기술의 분류 정확도를 비교 설명하는 도면이다.

도 5를 참고하면, 그래프(500)는 세로축으로 분류 정확도를 나타내고, 가로축으로 일반 모델, 제1 클러스터 모델, 제2 클러스터 모델, 제3 클러스터 모델 및 객체 특화 모델을 분포하여 각 모델에 대한 분류 정확도를 비교한다.

제1 클러스터 모델은 제1 밴드　에서　클러스터링 기반 모델을　사용한 운동 상상(motor imagery, MI) 분류 정확도와 관련된다.

제2 클러스터 모델은 제2 밴드　에서　클러스터링 기반 모델을　사용한 운동 상상(motor imagery, MI) 분류 정확도와 관련된다.

제3 클러스터 모델은 제3 밴드　에서　클러스터링 기반 모델을　사용한 운동 상상(motor imagery, MI) 분류 정확도와 관련된다.

제1 클러스터 모델은 고성능으로 표시되고, 중간 정확도는 68.8%로 나타난다.

즉, 제1 클러스터 모델은 66.7% 내지 73.6%의 분류 정확도를 갖는다.

제1 클러스터 모델은 일반　모델에　대비하여 상당히 높은 정확도를 나타낸다.

즉, 일반 모델의 중간 정확도는 64.6%로 제1 클러스터 모델의 중간 정확도 68.8%보다 작다.

또한, 제1 클러스터 모델의 경우, 클러스터링을 진행하지 않고 모든 객체를 이용하여 학습한 일반 모델에 비해 분류 정확도가 유의미하게 증가된다.

또한,　제1 클러스터 모델과 객체 특화 모델 간에는 성능　차이가 크지 않았다.

즉, 객체 특화 모델의 중간 정확도는 69.3%로 약 0.5% 차이가 존재할 뿐 성능 차이가 크지 않다.

다시 말해, 특정 밴드를 사용하여 사용자를 클러스터를 하여 그룹 내의 사용자의 의도 분류를 하였을 경우 개별 맞춤 모델을 사용하였을 때와 비교하였을 때 성능의 차이가 없다.

도 6은 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법을 설명하는 도면이다.

도 6은 본 발명의 일실시예에 따라서 뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 뇌 컴퓨터 인터페이스 장치의 동작 방법을 예시한다.

도 6을 참고하면, 단계(601)에서 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법은 복수의 클러스터링 특징점을 추출한다.

즉, 뇌 컴퓨터 인터페이스 장치의 동작 방법은 복수의 학습 대상자로부터 측정된 뇌파 신호의 밴드 별 주파수 파워를 이용하여 복수의 클러스터링 특징점을 추출한다.

단계(602)에서 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법은 복수의 클러스터링 모델을 생성한다.

즉, 뇌 컴퓨터 인터페이스 장치의 동작 방법은 단계(601)에서 추출된 복수의 클러스터링 특징점에 기반하여 복수의 클러스터링 모델을 생성한다.

단계(603)에서 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법은 복수의 클러스터링 모델 별 뇌파 신호를 기계 학습하여 의도 판단 모델을 구축한다.

즉, 뇌 컴퓨터 인터페이스 장치의 동작 방법은 단계(602)에서 생성된 복수의 클러스터링 모델에 따라서 뇌파 신호를 클러스터링하고, 클러스터링 모델에 따라서 뇌파 신호를 기계 학습하여 클러스터링 모델에 따라 의도 판단 모델을 구축할 수 있다.

단계(604)에서 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법은 측정 대상자의 뇌파 신호를 복수의 클러스터링 모델 중 어느 하나의 클러스터링 모델로 결정한다.

즉, 뇌 컴퓨터 인터페이스 장치의 동작 방법은 측정 대상자의 휴지 상태에서 뇌파 신호를 획득하고, 획득된 뇌파 신호의 클러스터링 특징점에 따라 클러스터링하여 클러스터링 모델을 구분한다.

단계(605)에서 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법은 클러스터링 모델에 따른 의도 판단 모델을 이용하여 측정 대상자의 의도를 결정한다.

즉, 뇌 컴퓨터 인터페이스 장치의 동작 방법은 클러스터링 모델에 대하여 미리 학습된 의도 판단 모델을 이용하여 여러 차례 뇌파 신호를 측정하는 과정을 생략하고, 측정 대상자의 의도를 판단한다.

여기서, 여러 차례 뇌파 신호를 재 측정하는 과정을 생략하는 것을 신호 보정 과정의 최소화화 관련될 수 있다.

따라서, 본 발명은 시간이 오래 걸리는 개별 맞춤 모델을 사용하지 않고 사용자의 뇌파 신호를 이용하여 설계된 클러스터링 모델을 이용하여 신호 보정 과정을 최소화하고, 성능의 차이가 없는 뇌 컴퓨터 인터페이스 장치 및 동작 방법을 제공할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100: 뇌 컴퓨터 인터페이스 장치 110: 뇌파 측정부
120: 특징점 추출부 130: 클러스터링 모델 생성부
140: 뇌파 처리부

Claims (12)

1. 뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 뇌 컴퓨터 인터페이스 장치에 있어서,
   복수의 학습 대상자로부터 측정된 뇌파 신호의 밴드 별 주파수 파워를 이용하여 복수의 클러스터링 특징점을 추출하는 특징점 추출부;
   상기 추출된 복수의 클러스터링 특징점에 기반하여 복수의 클러스터링 모델을 생성하는 클러스터링 모델 생성부; 및
   상기 생성된 복수의 클러스터링 모델 별 뇌파 신호를 기계학습하여 의도 판단 모델을 구축하고, 새롭게 측정된 측정 대상자의 뇌파 신호를 상기 복수의 클러스터링 모델 중 어느 하나의 클러스터링 모델로 결정하고, 상기 구축된 의도 판단 모델을 이용하여 상기 측정 대상자의 의도를 결정하는 뇌파 처리부를 포함하고,
   상기 뇌파 처리부는 상기 결정된 클러스터링 모델에 해당하는 의도 판단 모델을 이용하여 상기 측정 대상자의 의도를 결정함에 따라 상기 새롭게 측정된 측정 대상자의 뇌파 신호에 대한 기계 학습 과정을 축소하여 상기 신호 보정 과정을 축소하는 것을 특징으로 하는 것을 특징으로 하는
   뇌 컴퓨터 인터페이스 장치.
2. 제1항에 있어서,
   상기 복수의 학습 대상자 또는 상기 측정 대상자의 복수의 부위에 부착된 복수의 측정 전극을 이용하여 상기 복수의 부위 각각에 대한 복수의 뇌파 신호를 측정하는 뇌파 측정부를 더 포함하고,
   상기 복수의 뇌파 신호는 상기 복수의 부위에 따라 서로 다른 주파수 파워를 나타내는 것을 특징으로 하는
   뇌 컴퓨터 인터페이스 장치.
3. 제2항에 있어서,
   상기 뇌파 측정부는
   상기 복수의 부위의 위치에 따라 8 Hz 내지 12 Hz의 주파수 파워가 측정되는 제1 밴드, 12 Hz 내지 18 Hz의 주파수 파워가 측정되는 제2 밴드 및 18 Hz 내지 30 Hz의 주파수 파워가 측정되는 제3 밴드의 주파수 파워를 갖는 뇌파 신호를 측정하는 것을 특징으로 하는
   뇌 컴퓨터 인터페이스 장치.
4. 제3항에 있어서,
   상기 특징점 추출부는
   상기 제1 밴드에 대응하는 제1 클러스터링 특징점, 상기 제2 밴드에 대응하는 제2 클러스터링 특징점 및 상기 제3 밴드에 대응하는 제3 클러스터링 특징점 중 적어도 하나의 클러스터링 특징점을 추출하는 것을 특징으로 하는
   뇌 컴퓨터 인터페이스 장치.
5. 제1항에 있어서,
   상기 특징점 추출부는
   상기 밴드 별 주파수 파워의 전력 스펙트럼 밀도(power spectral density, PSD)를 평균화하여 상기 밴드 별로 복수의 클러스터링 특징점을 결정하고, 주성분 분석(principle component analysis, PCA)을 통해 상기 결정된 복수의 클러스터링 특징점 중 두 개의 클러스터링 특징점을 결정하는 것을 특징으로 하는
   뇌 컴퓨터 인터페이스 장치.
6. 제5항에 있어서,
   상기 클러스터링 모델 생성부는
   상기 결정된 두 개의 클러스터링 특징점과 군집 분석(k-mean clustering) 기법을 이용하여 상기 복수의 클러스터링 모델을 생성하는 것을 특징으로 하는
   뇌 컴퓨터 인터페이스 장치.
7. 삭제
8. 뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 뇌 컴퓨터 인터페이스 장치에 있어서,
   복수의 학습 대상자로부터 측정된 뇌파 신호의 밴드 별 주파수 파워를 이용하여 복수의 클러스터링 특징점을 추출하는 특징점 추출부;
   상기 추출된 복수의 클러스터링 특징점에 기반하여 복수의 클러스터링 모델을 생성하는 클러스터링 모델 생성부; 및
   상기 생성된 복수의 클러스터링 모델 별 뇌파 신호를 기계학습하여 의도 판단 모델을 구축하고, 새롭게 측정된 측정 대상자의 뇌파 신호를 상기 복수의 클러스터링 모델 중 어느 하나의 클러스터링 모델로 결정하고, 상기 구축된 의도 판단 모델을 이용하여 상기 측정 대상자의 의도를 결정하는 뇌파 처리부를 포함하고,
   상기 클러스터링 모델 생성부는 상기 복수의 클러스터링 모델 각각의 사용자 간 변이도(Inter Subject Variability, ISV)가 상기 복수의 학습 대상자 전체의 사용자 간 변이도(Inter Subject Variability, ISV)에 대비하여 작게 결정되는 상기 복수의 클러스터링 모델을 생성하는 것을 특징으로 하는
   뇌 컴퓨터 인터페이스 장치.
9. 뇌 활성도에 기반한 클러스터링 기술을 활용하여 사용자 간 신호 보정 과정을 최소화하는 뇌 컴퓨터 인터페이스 장치의 동작 방법에 있어서,
   특징점 추출부에서, 복수의 학습 대상자로부터 측정된 뇌파 신호의 밴드 별 주파수 파워를 이용하여 복수의 클러스터링 특징점을 추출하는 단계;
   클러스터링 모델 생성부에서, 상기 추출된 복수의 클러스터링 특징점에 기반하여 복수의 클러스터링 모델을 생성하는 단계; 및
   뇌파 처리부에서, 상기 생성된 복수의 클러스터링 모델 별 뇌파 신호를 기계학습하여 의도 판단 모델을 구축하고, 새롭게 측정된 측정 대상자의 뇌파 신호를 상기 복수의 클러스터링 모델 중 어느 하나의 클러스터링 모델로 결정하고, 상기 구축된 의도 판단 모델을 이용하여 상기 측정 대상자의 의도를 결정하는 단계를 포함하고,
   상기 구축된 의도 판단 모델을 이용하여 상기 측정 대상자의 의도를 결정하는 단계는
   상기 결정된 클러스터링 모델에 해당하는 의도 판단 모델을 이용하여 상기 측정 대상자의 의도를 결정함에 따라 상기 새롭게 측정된 측정 대상자의 뇌파 신호에 대한 기계 학습 과정을 축소하여 상기 신호 보정 과정을 축소하는 단계를 포함하는 것을 특징으로 하는 것을 특징으로 하는
   뇌 컴퓨터 인터페이스 장치의 동작 방법.
10. 제9항에 있어서,
    뇌파 측정부에서, 상기 복수의 학습 대상자 또는 상기 측정 대상자의 복수의 부위에 부착된 복수의 측정 전극을 이용하여 상기 복수의 부위 각각에 대한 복수의 뇌파 신호를 측정하는 단계를 더 포함하고,
    상기 복수의 뇌파 신호는 상기 복수의 부위에 따라 서로 다른 주파수 파워를 나타내는 것을 특징으로 하는
    뇌 컴퓨터 인터페이스 장치의 동작 방법.
11. 제10항에 있어서,
    상기 복수의 부위 각각에 대한 복수의 뇌파 신호를 측정하는 단계는,
    상기 복수의 부위의 위치에 따라 8 Hz 내지 12 Hz의 주파수 파워가 측정되는 제1 밴드, 12 Hz 내지 18 Hz의 주파수 파워가 측정되는 제2 밴드 및 18 Hz 내지 30 Hz의 주파수 파워가 측정되는 제3 밴드의 주파수 파워를 갖는 뇌파 신호를 측정하는 단계를 포함하는 것을 특징으로 하는
    뇌 컴퓨터 인터페이스 장치의 동작 방법.
12. 삭제

Images