KR102143910B1 - 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법 - Google Patents

Abstract

본 발명은 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법에 관한 것으로서, 뇌-컴퓨터 인터페이스(Brain Computer Interface, BCI) 시스템에 의해 수행되는 통합 신호 처리 방법에 있어서, a) 사용자의 뇌 신호를 획득하기 위한 적어도 하나 이상의 패러다임을 통합하여 통합 패러다임을 구성하고, 상기 통합 패러다임을 통해 적어도 1종류 이상의 뇌 신호를 수집하는 단계; b) 상기 통합 패러다임으로부터 수집된 뇌 신호의 특징 추출 및 패턴 분류를 수행하는 통합 프레임워크를 제공하는 단계; c) 상기 통합 패러다임으로부터 수집된 뇌 신호를 분석하여 시간 정보, 주파수 정보 및 공간 정보에 기초한 입력 정보를 생성하여 상기 통합 프레임워크에 제공하는 단계; 및 d) 상기 통합 프레임워크를 통해 학습된 정보를 기반으로 뇌 신호를 분류하여 사용자 의도를 인식하고, 상기 인식된 사용자 의도에 따라 외부 기기의 제어 신호를 출력하는 단계를 포함하는 것이다.

Description

뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법 {METHOD FOR INTEGRATED SIGNAL PROCESSING OF BCI SYSTEM}

본 발명은 다양한 패러다임을 하나의 패러다임으로 통합하여 패러다임의 종류에 무관하게 사용자의 뇌신호에 대한 특징 패턴 정보를 추출할 수 있는 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법에 관한 것이다.

뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)는 인간의 뇌와 기계간의 연결을 통하여, 직접적인 신체의 움직임 없이 외부기기를 제어하는 인터페이스 체계이다. 이러한 BCI 기술은 다양한 종류의 패러다임에 따라 유발되는 뇌파를 이용한다.

뇌 신호는 뇌의 활동에 따른 전기적 신호를 이용하는 뇌전도(Electroencephalography, EEG), 함께 유발되는 자기적 신호를 이용하는 뇌자도(Magnetoencephalography, MEG), 혈중 산소포화도의 변화를 이용하는 기능적 자기공명영상(functional Magnetic Resonance Imaging, fMRI) 또는 근적외선 분광장치(Near-Infrared Spectroscopy, NIRS) 등 여러 방식을 통해 얻을 수 있는데, 이중 저렴하고 휴대 가능하며 시간 분해능이 뛰어난 EEG 신호가 BCI의 신호원으로 많이 사용되고 있다.

EEG에 따른 뇌파 유발 방법에는 특정 외부 자극이 뇌에 투영되어 발현되는 비자발적 방법이나 사용자가 특정 신체 부위를 집중하거나 움직임을 상상하는 자발적 방법으로 나눌 수 있다.

외부 자극에 의해 유발되는 비자발적 뇌파 특징으로는 대표적으로 안정-상태 시각 유발 전위(Steady-State Visual Evoked Potential, SSVEP)와 사건 관련 전위(Event-Related Potential, ERP)가 연구되고 있다. SSVEP는 사용자가 특정 주파수로 깜빡이는 시각 자극을 응시할 때, 해당 특정 주파수(3.5~75Hz)가 뇌에 투영되어 유발되는 뇌 신호 특징이다.

즉, SSVEP는 주파수적 특징을 지니고 있는 뇌파 신호이다. ERP는 사용자가 집중하는 특정 자극이 반복적으로 제시될 때, 해당 자극에 대해 반응하여 나타난 뇌 신호 특징이다. ERP 같은 경우는 일정 시간 간격으로 특정한 시각/청각/촉각 자극을 발현 시키고, 이때 뇌가 자극을 인지하고 300ms 이후에 발생하는 뇌 신호를 이용하는 방법이다. ERP는 시간적 특징을 가지고 있는 뇌파 신호이다. 이와 같은 비자발적 뇌파 특징의 단점으로는 지속적으로 피험자의 시점이 고정되어야 하며, 자극을 바라보는 피험자의 피로를 유발할 수 있다는 단점을 지니고 있다.

이와 다르게, 외부 자극 없이 사용자가 집중하거나 움직임을 상상할 때 자발적으로 발현되는 뇌파 특징으로는 동작 상상(Motor Imagery, MI)이 있다. MI는 각 부위(예를 들면, 오른손, 왼손, 발 등) 움직임을 상상하는 동안 특정 주파수 영역(mu-band(8~12Hz), beta-band(18~25Hz))에서 뇌 신호의 진폭 변화를 관찰 할 수 있다. 대표적 특징으로는 ERD(Event-Related Desynchronization) 및 ERS(Event-Related Synchronization)가 있다. ERD는 움직임을 의도하거나 상상할 때 감각 운동 피질(Sensorimotor cortex)에서 mu-band파가 일시적으로 감소하는 현상을 말하며, ERS는 움직임 후에 beta-band파가 일시적으로 증가하는 현상을 말한다.

도 1은 종래의 ERP, MI, SSVEP의 패러다임에서 뇌파 처리 과정을 도시한 순서도이다.

도 1을 참조하면, ERP, MI 및 SSVEP의 패러다임은 크게 5가지의 데이터 처리과정으로 구성이 된다. 뇌 신호를 수집하는 데이터 수집 단계(S110), 측정된 데이터를 전처리하는 신호 처리 단계(S120), 뇌 신호로부터 유의미한 데이터를 추출하는 특징 추출 단계(S130), 데이터로부터 얻어진 정보를 기반으로 결정 경계를 나누는 분류기 학습 단계(S140), 그리고 주어진 결과를 사용자에게 전달하는 피드백 단계(S150)로 구성이 된다.

뇌-컴퓨터 인터페이스(BCI) 시스템은 사용자가 SSVEP, ERP, MI 의 패러다임 중 어느 하나의 패러다임을 통해 실험을 하고, 이 실험을 통해 얻어진 뇌 신호를 전술한 5단계의 데이터 처리과정을 거치며, 외부 기기를 제어하는 인터페이스 체계를 구축하고 있다.

예시적으로, 우선 외부 자극에 기반하여 분석하는 SSVEP 같은 경우, 여러 개의 다른 주파수(예를 들어, 7Hz, 9Hz, 11Hz, 13Hz 등) 중 한 가지 주파수(예를 들어, 7Hz) 를 응시할 때, 응시한 주파수(7Hz)에서 뇌 신호의 변화가 생기는 것을 살펴 볼 수 있다. 외부 주파수 자극을 바탕으로 얻어진 뇌파는 주파수 분석을 통하여 주파수와 관련한 뇌 신호 특징을 추출하고 이를 기반으로 뇌 신호를 분류한다.

ERP는 사용자가 외부 자극에 반응하여 일정 시간(300ms 등) 이후 나타나는 뇌 신호 특징이다. ERP 같은 경우 주파수 뇌파 특징을 추출하는 SSVEP(Steady-State Visual Evoked Potential)와는 달리 시간 정보를 기반으로 뇌파 특징을 추출하고 이를 기반으로 뇌 신호를 분류한다.

이와 달리, 외부 자극 없이 자발적으로 발현되는 동작 상상, 즉 MI(Motor Imagery)의 경우(예를 들어, 왼쪽, 오른쪽, 발 동작상상 등) 특정 주파수 영역 8-30Hz 내의 주파수 크기 변화를 이용하여 뇌파 특징을 추출하고 이를 기반으로 뇌 신호를 분류한다.

위와 같은 기존 BCI 시스템은 크게 두 가지 한계점을 지닌다. 첫째, 여러 종류의 뇌 신호(SSVEP, ERP, MI 등)를 수집하기 위해 각각의 패러다임마다 실험을 진행해야 한다. 둘째, 각 패러다임마다 각기 다른 뇌 신호 처리 과정을 거쳐 뇌 신호 특징 및 패턴을 추출해야 하는데, 이는 실용적이고 대중적인 BCI 본질적인 목적과는 차이가 있다.

대한민국등록특허 제 10-1389015 호 (발명의 명칭 : 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템)

본 발명의 일 실시예는 다양한 패러다임을 하나의 패러다임으로 통합하고, 통합 패러다임을 통해 획득한 사용자의 뇌 신호에 대한 특징 추출 및 패턴 분류를 진행하는 통합 프레임워크를 제공함으로써 패러다임마다 각기 다른 뇌신호 처리 과정을 거칠 필요가 없는 대중적인 뇌-컴퓨터 인터페이스 기술을 제공할 수 있는 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법을 제공하고자 한다.

다만, 본 발명의 일 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일측면에 따른 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법은, 뇌-컴퓨터 인터페이스(Brain Computer Interface, BCI) 시스템에 의해 수행되는 통합 신호 처리 방법에 있어서, a) 사용자의 뇌 신호를 획득하기 위한 적어도 하나 이상의 패러다임을 통합하여 통합 패러다임을 구성하고, 상기 통합 패러다임을 통해 적어도 1종류 이상의 뇌 신호를 수집하는 단계; b) 상기 통합 패러다임으로부터 수집된 뇌 신호의 특징 추출 및 패턴 분류를 수행하는 통합 프레임워크를 제공하는 단계; c) 상기 통합 패러다임으로부터 수집된 뇌 신호를 분석하여 시간 정보, 주파수 정보 및 공간 정보에 기초한 입력 정보를 생성하여 상기 통합 프레임워크에 제공하는 단계; 및 d) 상기 통합 프레임워크를 통해 학습된 정보를 기반으로 뇌 신호를 분류하여 사용자 의도를 인식하고, 상기 인식된 사용자 의도에 따라 외부 기기의 제어 신호를 출력하는 단계를 포함하는 것이다.

전술한 본 발명의 과제 해결 수단에 의하면, 본 발명은 패러다임마다 각기 다른 뇌 신호 처리를 진행해야 하는 번거로움을 제거하고, 패러다임에 관계없이 뇌신호에 대한 특징 추출 및 패턴 분류를 진행할 수 있어 BCI 기술의 대중성을 크게 향상시킬 수 있다.

이러한 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법은, 신체 움직임이 불편한 장애인을 대상으로 한 재활 및 움직임 보조 기구에 활용되거나, 정상인을 대상으로 한 엔터테인먼트, 교육 등에 활용될 수 있다.

도 1은 종래의 ERP, MI, SSVEP의 패러다임에서 뇌파 처리 과정을 도시한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 통합 신호 처리를 위한 뇌-컴퓨터 인터페이스 시스템의 구성을 설명하는 도면이다.
도 3은 도 2의 프로세서의 구성을 설명하는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 시스템의 통합 신호 처리 방법을 설명하는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 통합 프레임워크에 따른 특징 추출 및 패턴 분류 처리 과정을 설명하는 도면이다.
도 6은 도 5의 통합 프레임워크에 적용되는 CNN 학습 모델을 설명하는 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서전체에서, 어떤 부분이 다른 부분과 "연결"되어있다고 할 때, 이는 "직접적으로 연결"되어있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에 있어서 '부(部)'란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 통합 신호 처리를 위한 뇌-컴퓨터 인터페이스 시스템의 구성을 설명하는 도면이다.

도 2를 참고하면, 통합 신호 처리를 위한 뇌-컴퓨터 인터페이스 시스템(100)은, 메모리(110), 프로세서(120) 및 데이터베이스(130)를 포함한다.

메모리(110)는 다양한 패러다임을 하나로 통합하고, 각 패러다임마다 각기 다른 뇌 신호 처리 과정을 거치지 않고 패러다임의 종류에 상관없이 뇌신호 패턴 정보를 추출할 수 있는 통합 신호 처리 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(120)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(110)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

프로세서(120)는 뇌-컴퓨터 인터페이스 시스템의 통합 신호 처리 방법을 제공하는 전체 과정을 제어한다. 프로세서(120)가 수행하는 각 단계에 대해서는 도 3 및 도 4를 참조하여 후술하기로 한다.

여기서, 프로세서(120)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

데이터베이스(130)는 뇌-컴퓨터 인터페이스 시스템이 통합 신호 처리 방법을 수행하면서 누적되는 데이터가 저장된다. 특히, 데이터베이스(130)는 SSVEP, MI, ERP의 패러다임에서 획득한 뇌신호를 이용하여 CNN 학습 모델에 기반하여 학습된 특징 값을 저장하여 관리한다.

한편, 뇌-컴퓨터 인터페이스 시스템(100)은 상기한 구성 외에도 뇌 신호 수집이나 외부 기기의 제어 신호 출력을 위한 통신 인터페이스 수단, 통합 신호 처리에 대한 과정 및 결과를 출력하는 디스플레이 수단 등을 더 포함할 수 있다.

도 3은 도 2의 프로세서의 구성을 설명하는 블록도이다.

도 3을 참고하면, 프로세서(120)는 패러다임 통합부(121), 통합 분석부(122), 신호 입력부(123) 및 제어부(124)를 포함한다.

패러다임 통합부(121)는 ERP, SSVEP, MI 등이 복수의 패러다임을 하나로 통합하여 통합 패러다임을 구성한다. 여기서, 패러다임은 뇌 신호를 획득하기 위한 실험 환경을 의미한다.

통합 분석부(122)는 통합 패러다임으로부터 수집된 뇌 신호의 특징 추출 및 패턴 분류를 수행하는 통합 프레임워크를 제공함으로써 사용자의 뇌 신호의 특징 추출 및 패턴 분류를 진행한다. 여기서, 통합 프레임워크는 특징 추출 및 패턴 분류 처리 과정을 동시에 처리해주는 방법을 의미한다. 즉, 통합 프레임워크는 각 패러다임마다 다른 신호 처리 과정을 거치는 것이 아니라, 패러다임의 종류에 상관없이 획득한 뇌 신호의 특징 추출 및 패턴 분류를 기계 학습 방법 중 하나인 딥 러닝을 기반으로 구성한다. 이와 같은 딥 러닝의 가장 큰 장점은 뇌신호의 특징 추출 및 패턴 분류를 사람이 직접 추출하는 것이 아니라 자동적으로 추출된다는 장점이 있다.

신호 입력부(123)는 패러다임 통합부(121)로부터 수신된 뇌 신호로부터 추출한 시간 정보, 주파수 정보 및 공간 정보에 기초한 입력 정보를 통합 분석부(122)에 전송한다.

제어부(124)는 입력 정보가 통합 프레임워크에 입력되면, 통합 프레임워크에서 뇌 신호에 기반하여 패턴 분류를 통해 사용자 의도를 인식하고, 이렇게 인식된 사용자 의도에 따라 외부 기기의 제어 신호를 출력한다.

도 4는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 시스템의 통합 신호 처리 방법을 설명하는 순서도이고, 도 5는 본 발명의 일 실시예에 따른 통합 프레임워크에 따른 특징 추출 및 패턴 분류 처리 과정을 설명하는 도면이며, 도 6은 도 5의 통합 프레임워크에 적용되는 CNN 학습 모델을 설명하는 도면이다.

도 4 내지 도 6을 참고하면, 뇌-컴퓨터 인터페이스 시스템은 ERP, SSVEP, MI 등의 서로 다른 패러다임을 하나의 통합된 패러다임으로 구성하여 통합 패러다임을 제공한다(S10).

뇌-컴퓨터 인터페이스 시스템은 통합 패러다임에 기반하여 사용자의 뇌파를 획득하고(S20), 통합 프레임워크에서 패러다임의 종류에 상관없이 획득된 뇌 신호의 특징 추출과 패턴을 분류한다(S30). 도 5에 도시된 바와 같이, 통합 프레임워크는 사용자의 뇌파가 획득되면, 뇌신호 전처리, 특징 추출 및 분류기 생성의 과정을 거쳐 뇌신호의 패턴 분류 결과를 출력하고, 분류 결과를 통해 ERP, MI, SSVEP 중 어느 하나의 패러다임 알고리즘을 선택한다.

이때, 뇌-컴퓨터 인터페이스 시스템은 통합 패러다임으로부터 수신한 뇌 신호를 분석하여 시간 정보, 주파수 정보 및 공간 정보에 기초하여 입력 정보를 구성한 후 이 입력 정보를 통합 프레임워크에 전송한다. 즉, 신호 입력부(123)는 기설정된 전극 배치법에 따른 복수 개의 뇌파 채널 데이터를 이용하여 뇌신호를 수집하고, 수집된 뇌 신호를 0.5~40 Hz까지의 5차 버터워스(Butterworth) 주파수 필터링을 통해 노이즈를 제거한다.

신호 입력부(123)는 적어도 하나 이상의 패러다임에서 뇌파 수행 태스크를 위한 시작 신호를 인지한 시점부터 기설정된 측정 시간(예를 들면 1초~3초) 동안의 뇌 신호(예를 들어, 2500ms)만을 선택적으로 추출하고, 추출된 뇌 신호를 시간 정보, 공간 정보 및 주파수 정보를 포함하는 3차원 텐서(Tensor) 형태의 입력 정보를 형성한다. 예를 들어, 입력 정보는 시간 정보(2500초) X 공간 정보(32채널) X주파수 정보(30)의 3차원 텐서로 정의될 수 있다.

한편, 전극의 배치는 10-20 국제 전극 배치법(10-20 International Nomenclature)에 따른 것으로, EEG(Electroencephalogram) 테스트 혹은 실험 시 두부에 배치되는 전극들의 배치 형상으로 국제적으로 잘 알려진 배치법이다. 10-20 배치법은 전극과 전극 하부의 두피 아래 위치하는 대뇌 피질의 관계에 근거한 것으로, 숫자 "10"과 "20"은 인접하는 전극들 간의 거리가 두부의 앞-뒤 혹은 좌-우 전체 거리를 기준으로 하였을 때 10% 또는 20%임을 의미하는 것으로, Fp-1/2, F-7/3/z/4/8, T-7/8, TP-9/10, CP-5/1/2/6, P-7/3/z/4/8, PO-9/10, 0-1/Z/2이 될 수 있다.

뇌-컴퓨터 인터페이스 시스템은 통합 프레임워크를 거쳐 학습된 정보를 기반으로 외부 기기를 제어할 수 있는 외부 기기의 제어 신호를 출력한다(S40).

한편, 통합 프레임워크는 도 6에 도시된 바와 같이, CNN(Convolution Neural Network) 학습 모델을 이용하여 뇌신호의 특징 추출 및 패턴 분류를 수행하는데, CNN 학습 모델은 컨벌루션 레이어(Convolution Layer)와 풀링(Pooling) 레이어를 반복적으로 스택(stack)을 쌓는 특징 추출(Feature Extraction) 부분과 완전 연결 레이어(Fully Connected Layer)를 구성하고, 마지막 출력층에 소프트맥스(Softmax)를 적용한 분류 부분으로 나뉠 수 있다.

CNN 학습 모델은 뇌파 수행 태스크를 분류하기 위해 3차원 텐서 형태의 입력 정보를 각 주파수마다 저차원의 특징 벡터로 차원을 축소한다.

CNN 학습 모델은 풀링 레이어에서 축소된 저차원의 특징 벡터에서 최대값을 산출하는 맥스 풀링 과정을 통해 피크 값을 추출하고, 모든 정보를 결합하는 섬 풀링(Sum Pooling) 과정을 통해 유의미한 특징을 추출한다.

CNN 학습 모델은 최고 피크 값과 최저 피크 값을 가지는 주파수 값, 최고 섬 값과 최저 섬 값을 가지는 주파수 값을 각각 추출하고, 이렇게 추출된 각 주파수 값마다 특징 벡터의 기울기(Gradient)를 추적한 후 음의 기울기 또는 양의 기울기를 가지는 특징 벡터에 가중치를 부과하여 유의미한 특징 벡터를 추출한다.

CNN 학습 모델은 유의미한 특징 벡터를 회귀(Regression) 공간으로의 사영을 통해 특징 벡터의 순위(Rank)를 결정하고, 특징 벡터의 순위에서 최우선순위로 선택된 컨벌루션 특징 값과 사전에 학습된 정보를 비교하여 통합 패러다임 중 어느 하나의 패러다임을 선택한다.

이때, 뇌-컴퓨터 인터페이스 시스템은 ERP, SSVEP, MI 등의 패러다임을 바탕으로 복수의 피험자의 뇌신호를 획득한 후 복수의 피험자의 뇌신호를 이용해 미리 CNN 학습 모델을 통해 복수의 피험자의 뇌신호에 대한 특징 패턴 정보를 추출하고, 추출된 복수의 피험자의 뇌신호에 대한 특징 패턴 정보를 각 패러다임을 분류할 수 있는 학습된 정보로 데이터베이스에 저장하여 관리한다.

또한, 통합 프레임워크는 컨벌루션 특징 값을 특징 공간상에 사영하고, 각 컨벌루션 특징들의 평균간 유클라디안 거리 관계를 기반으로 유사 특징 정보를 군집화하며, 군집화된 유사 특징 정보에 기반하여 완전 연결 레이어(fully-connected layer)에 학습을 진행하여 총 N개의 클래스 결과를 출력한 후 소프트맥스를 적용하여 뇌신호의 패턴을 분류한다.

본 발명은 다양한 패러다임을 하나의 패러다임으로 통합하고, 패러다임마다 각기 다른 뇌신호 처리 과정을 거치는 것이 아니라 패러다임 종류에 관계없이 뇌신호의 특징을 추출하고 패턴을 부류할 수 있는 패러다임 독립적 기술을 제공할 수 있다. 예를 들면, 뇌-컴퓨터 인터페이스 시스템은 사용자가 MI를 통해 사용 의지를 발현하면, 사용자에게 증강 현실 환경에서 여러 물체 대한 자극을 보여주고, ERP를 통해 사용자가 특정 물체를 선택하도록 하는 사용자 의도를 검출하며, SSVEP를 통해 사용자 의도에 따라 선택한 물체에 관한 빠른 상호 작용이 가능하도록 한다.

이러한 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 시스템의 통합 신호 처리 방법은 신체 움직임 불편한 장애인을 대상으로 한 재활 및 움직임 조조 기구나 정상인을 대상으로 한 엔터테인먼트, 교육 등 전반적인 BCI 시스템에 활용 가능하다. 또한, 본 발명은 스마트 홈을 위한 생체 신호 기반의 원격 사물 제어 등에 활용될 수 있어, 병원에서 중증 장애인들의 의사 소통을 위한 기술로서 적용되거나, 일반인들을 위한 기술로도 확장 될 수 있다.

이상에서 설명한 본 발명의 실시예에 따른 뇌-컴퓨터 인터페이스 시스템의 통합 신호 처리 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 조사 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

또한, 본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수도 있다.

본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 뇌-컴퓨터 인터페이스 시스템
110: 메모리
120: 프로세서
130: 데이터베이스

Claims (8)

1. 뇌-컴퓨터 인터페이스(Brain Computer Interface, BCI) 시스템에 의해 수행되는 통합 신호 처리 방법에 있어서,
   a) 사용자의 뇌 신호를 획득하기 위한 복수의 패러다임을 통합하여 통합 패러다임을 구성하고, 상기 통합 패러다임을 통해 복수의 뇌 신호를 수집하는 단계;
   b) 상기 통합 패러다임으로부터 수집된 뇌 신호의 특징 추출 및 패턴 분류를 수행하는 통합 프레임워크를 제공하는 단계;
   c) 상기 통합 패러다임으로부터 수집된 뇌 신호를 분석하여 시간 정보, 주파수 정보 및 공간 정보에 기초한 입력 정보를 생성하여 상기 통합 프레임워크에 제공하는 단계; 및
   d) 상기 통합 프레임워크를 통해 학습된 정보를 기반으로 뇌 신호를 분류하여 사용자 의도를 인식하고, 상기 인식된 사용자 의도에 따라 외부 기기의 제어 신호를 출력하는 단계를 포함하는 것인, 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법.
2. 제1항에 있어서,
   상기 통합 패러다임은 사건 관련 전위(Event-Related Potential, ERP) 패러다임, 안정-상태 시각 유발 전위(Steady-State Visual Evoked Potential, SSVEP) 패러다임, 동작 상상(Motor Imagery, MI) 패러다임을 포함한 복수의 패러다임을 하나로 통합한 것인, 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법.
3. 제1항에 있어서,
   상기 a) 단계는,
   기설정된 전극 배치법에 따른 복수 개의 뇌파 채널 데이터를 이용하여 사용자의 뇌신호를 수집하는 단계; 및
   상기 수집된 뇌 신호를 기설정된 주파수 범위를 가지는 버터워스(Butterworth) 주파수 필터링을 통해 노이즈를 제거하는 단계를 포함하는 것인, 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법.
4. 제1항에 있어서,
   상기 c) 단계는,
   적어도 하나 이상의 패러다임에서 뇌파 수행 태스크를 위한 시작 신호를 인지한 시점부터 기설정된 측정 시간 동안의 뇌 신호만을 선택적으로 추출하고, 상기 추출된 뇌 신호를 시간 정보, 공간 정보 및 주파수 정보를 포함하는 3차원 텐서(Tensor) 형태의 입력 정보로 형성하는 것인, 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법.
5. 제1항에 있어서,
   상기 통합 프레임워크는 CNN(Convolution Neural Network) 학습 모델을 이용하여 뇌신호의 특징 추출 및 패턴 분류를 수행하는 것인, 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법.
6. 제5항에 있어서,
   상기 통합 프레임워크는,
   상기 입력 정보의 각 주파수 정보마다 컨벌루션(convolution) 연산을 수행하여 저차원의 특징 벡터를 출력하여 차원을 축소하는 단계;
   상기 저차원의 특징 벡터에서 최대 값을 산출하는 맥스 풀링(max pooling) 과정을 통해 피크 값을 추출하고, 상기 저차원의 특징 벡터의 모든 정보를 결합하는 섬 풀링(sum pooling) 과정을 통해 유의미한 특징을 추출하는 단계;
   상기 맥스 풀링 과정에서 최대 피크 값 또는 최소 피크 값을 가지는 주파수 값, 상기 섬 풀링 과정에서 최대 섬(sum) 값 또는 최소 섬(sum) 값을 가지는 주파수 값을 추출하고, 상기 추출된 주파수 값마다 특징 벡터의 기울기를 추적하는 단계;
   음의 기울기 또는 양의 기울기를 가지는 특징 벡터에 가중치를 부과하여 유의미한 특징 벡터를 추출하는 단계; 및
   상기 추출된 특징 벡터를 회귀 공간으로의 사영을 통해 특징 벡터의 순위(Rank)를 결정하고, 상기 특징 벡터의 순위에서 최우선순위로 선택된 컨벌루션 특징과 사전에 학습된 정보를 비교하여 통합 패러다임 중 어느 하나의 패러다임을 선택하는 단계를 포함하는 것인, 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법.
7. 제6항에 있어서,
   상기 통합 프레임워크는,
   상기 컨벌루션 특징을 특징 공간상에 사영하고, 각 컨벌루션 특징들의 평균간 유클라디안 거리 관계를 기반으로 유사 특징 정보를 군집화하는 단계; 및
   상기 군집화된 유사 특징 정보에 기반하여 완전 연결 레이어(fully-connected layer)에 학습을 진행하여 총 N개의 클래스 결과를 출력한 후 분류기를 통해 분류하는 단계를 더 포함하는 것인, 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법.
8. 제6항에 있어서,
   상기 특징 벡터의 순위에서 최우선순위로 선택된 컨벌루션 특징 값과 사전에 학습된 정보를 비교하여 통합 패러다임 중 어느 하나의 패러다임을 선택하는 단계는,
   적어도 하나 이상의 패러다임을 통해 복수의 피험자의 뇌신호를 획득한 후 상기 획득된 복수의 피험자의 뇌신호를 상기 CNN 학습 모델에 기반하여 복수의 피험자의 뇌신호에 대한 특징 패턴 정보를 추출하는 단계; 및
   상기 추출된 복수의 피험자의 뇌신호에 대한 특징 패턴 정보를 학습된 정보로 데이터베이스에 저장하여 관리하는 단계를 포함하는 것인, 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법.

Images