KR20190056287A

KR20190056287A - 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치 및 그 정보 처리 방법

Info

Publication number: KR20190056287A
Application number: KR1020180106446A
Authority: KR
Inventors: 이성환; 이민호; 황지영
Original assignee: 고려대학교 산학협력단
Priority date: 2017-11-16
Filing date: 2018-09-06
Publication date: 2019-05-24
Also published as: KR102143920B1

Abstract

본 발명은 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치 및 그 정보 처리 방법에 관한 것으로서, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치에 의해 수행되는 정보 처리 방법에 있어서, a) 시각 자극이 제공되는 디스플레이 모듈과 사용자와의 기준 거리 정보에 기초하여 사용자의 응시점을 추출하고, 상기 응시점을 기준으로 전체 시야 영역을 산출하는 단계; b) 상기 전체 시야 영역에서 상기 응시점을 기준으로 제1 범위를 중심 시야 영역으로 설정하고, 상기 제1 범위를 제외한 제2 범위를 주변 시야 영역으로 설정하는 단계; c) 기측정된 시각적 피로도에 기초하여 상기 중심 시야 영역에 제1 시야 자극을 제시하고, 상기 주변 시야 영역에 제2 시야 자극을 제시하는 단계; d) 상기 제1 시야 자극 또는 제2 시야 자극에 의한 사용자의 뇌파를 측정하고, 상기 측정된 뇌파로부터 주파수 대역 또는 시간 대역에 대한 뇌신호 특징 정보를 추출하는 단계; 및 e) 상기 뇌신호 특징 정보를 이용하여 사용자가 응시한 사용자 의도 자극을 검출하고, 상기 검출된 사용자 의도 자극을 상기 디스플레이 모듈을 통해 출력하는 단계를 포함하는 것이다.

Description

시각 자극 기반의 뇌-컴퓨터 인터페이스 장치 및 그 정보 처리 방법{VISUAL STIMULATION-BASED BRAIN-COMPUTER INTERFACE APPARATUS AND METHOD OF PROCESSING INFORMATION THEREOF}

본 발명은 서로 다른 시각 자극을 제시하여 시각적 피로도가 낮으면서도 인식 성능이 높은 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치 및 그 정보 처리 방법에 관한 것이다.

뇌파(EEG, Electroencephalogram)란, 뇌에서 발생한 전류 신호를 전극으로 측정한 것을 말한다. 이러한 뇌파는 크게 자발적 뇌파와 유발적 뇌파로 구분할 수 있다. 자발적 뇌파는 사용자의 의지로 인해 발현되는 뇌 신호로서 자발적으로 움직이거나 동작을 상상했을 때 생성된다. 유발적 뇌파는 외부 자극에 의해 사용자의 의지와는 상관없이 자연스럽게 발현되는 뇌 신호로서 시각, 청각, 촉각 자극 등에 의해 유도된다.

한편, 뇌-컴퓨터 인터페이스는 뇌 신호를 이용하여 생각만으로 컴퓨터의 입력장치나 휠체어 등을 제어할 수 있도록 하는 연구 분야이다.

대표적인 뇌 신호 중 하나인 시각 유발 전위(Steady State Visual Evoked Potential, SSVEP)는 외부의 자극에 대한 자연스러운 반응신호로서, 특정 주파수 대역에서 반복되는 시각 자극을 집중할 때 후두 피질(Occipital Cortex)에 유발되는 뇌 신호를 말한다. 일반적으로 SSVEP를 사용하기 위해서 LCD 모니터에 특정 주파수(예를 들어, 10Hz)의 시각 자극을 지속적으로 깜빡이는 방법을 사용한다. 그러나 해당 시각 자극은 통상적으로 3초에서 10초의 시간 동안 사용자에게 반복하여 노출시키며, 이 방식은 사용자에게 극심한 눈의 피로를 느끼게 한다. 즉, SSVEP 기반의 BCI 시스템은 사용자의 눈에 상당한 시각 피로도를 주고, 이 시각 피로도는 집중력 저하로 이어져 장시간 사용하기에 어려움이 있으며, 드물게 광과민성 체질의 사용자의 경우 발작을 일으킬 수도 있는 한계점이 있다.

이러한 SSVEP를 이용하여 사용자에게 시각 자극을 제시하고, 뇌파를 통해 사용자 의도를 분석하여 기기를 제어하는 BCI 기술로서, 다음과 같은 기술들이 제안되었다.

대한민국 특허등록 제10-1293863호(발명의 명칭: 안정상태 시각유발전위를 이용한 ＱＷＥＲＴＹ 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법)는, QWERTY 타입의 문자 인터페이스 장치를 제안하고, 뇌파를 통해 시각 유발 전위로부터 사용자의 의도를 검출하여 문자를 입력하는 방법을 개시하고 있다. 그리고 대한민국 특허등록 제10-1389015호(발명의 명칭: 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템)는, 안정 상태 시각 유발 전위를 사용할 때 안정적인 BCI 시스템을 구축하도록 진폭 변조된 시각 자극을 제시하는 구성을 개시하고 있다. 또한, 대한민국 특허등록 제10-1465878호(발명의 명칭: 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치)는, 투사형 디스플레이 장치와 연동하여 객체에 대한 시각 자극 패턴을 할당하고, 투사된 자극 패턴 응시에 따른 뇌파 신호를 통해 객체를 제어하는 방법을 개시하고 있다.

위의 기술들은 안정 상태 시각 유발 전위를 이용하는 BCI 기반의 기기 제어를 다양하게 제안하고 있으나, 모두 중심 시야에 직접적으로 SSVEP 기반의 시각 자극을 발생시킨다는 측면에서, 장기간 반복적으로 노출되었을 때 사용자의 피로도를 발생시킨다는 한계가 있다.

따라서, 사용자의 피로도를 낮추기 위하여 시각 자극을 개선할 수 있으면서도 BCI 성능을 유지할 수 있는 시각 자극 기반의 BCI기술이 필요하다.

대한민국 특허등록 제10-1293863호(발명의 명칭: 안정상태 시각유발전위를 이용한 ＱＷＥＲＴＹ 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법)

대한민국 특허등록 제10-1389015호(발명의 명칭: 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템)

대한민국 특허등록 제10-1465878호(발명의 명칭: 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치)

본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 특정 주파수의 시각 자극을 중심 시야 영역인 응시점을 피하여 주변 시야 영역에 제공하여 시각적 피로도를 줄이고, 중심 시야 영역에 사건 관련 전위 기반의 시각 자극을 제공하여 인식 성능을 높일 수 있는 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치 및 그 정보 처리 방법을 제공하는 것이다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치의 정보 처리 방법은, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치에 의해 수행되는 정보 처리 방법에 있어서, a) 시각 자극이 제공되는 디스플레이 모듈과 사용자와의 기준 거리 정보에 기초하여 사용자의 응시점을 추출하고, 상기 응시점을 기준으로 전체 시야 영역을 산출하는 단계; b) 상기 전체 시야 영역에서 상기 응시점을 기준으로 제1 범위를 중심 시야 영역으로 설정하고, 상기 제1 범위를 제외한 제2 범위를 주변 시야 영역으로 설정하는 단계; c) 기측정된 시각적 피로도에 기초하여 상기 중심 시야 영역에 제1 시야 자극을 제시하고, 상기 주변 시야 영역에 제2 시야 자극을 제시하는 단계; d) 상기 제1 시야 자극 또는 제2 시야 자극에 의한 사용자의 뇌파를 측정하고, 상기 측정된 뇌파로부터 주파수 대역 또는 시간 대역에 대한 뇌신호 특징 정보를 추출하는 단계; 및 e) 상기 뇌신호 특징 정보를 이용하여 사용자가 응시한 사용자 의도 자극을 검출하고, 상기 검출된 사용자 의도 자극을 상기 디스플레이 모듈을 통해 출력하는 단계를 포함하는 것이다.

또한, 본 발명의 다른 일 실시예에 따른 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치는 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치에 있어서, 시각 자극이 제공되는 디스플레이 모듈; 상기 디스플레이 모듈을 통해 제공되는 서로 다른 시각 자극에 의한 사용자의 뇌파 신호를 처리하여 사용자 의도 자극을 분석하기 위한 정보 처리 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서;를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 의해, 상기 디스플레이 모듈과 사용자와의 기준 거리 정보에 기초하여 사용자의 응시점을 추출하고, 상기 응시점을 기준으로 제1 범위를 중심 시야 영역으로 설정하며, 상기 제1 범위를 제외한 제2 범위를 주변 시야 영역으로 설정하고, 기측정된 시각적 피로도에 기초하여 상기 중심 시야 영역에 제1 시야 자극을 제시하고, 상기 주변 시야 영역에 제2 시야 자극을 제시하며, 상기 제1 시야 자극 또는 제2 시야 자극에 의한 사용자의 뇌파를 측정하고, 상기 측정된 뇌파로부터 주파수 대역 또는 시간 대역에 대한 뇌신호 특징 정보를 추출한 후 상기 뇌신호 특징 정보를 이용하여 사용자가 응시한 사용자 의도 자극을 검출하는 것이다.

전술한 본 발명의 과제 해결 수단에 의하면 안정 상태 시각 유발 전위 기반의 시각 자극을 중심 시야 영역인 응시점을 피하여 주변 시야 영역에 제공하고, 중심 시야 영역에 사건 관련 전위 기반의 시각 자극을 제공함으로써 사용자들이 낮은 시각적 피로도로 집중력 있게 뇌파를 이용하여 외부 기기를 제어할 수 있고, 서로 다른 시각 자극의 인식 결과를 사용자 의도 분석에 이용하여 시각적 피로도를 줄이면서도 인식 성능이 향상될 수 있다.

따라서, 본 발명은 안전 상태 시각 유발 전위, 사건 관련 전위 이외에도 다른 시각 자극과의 결합이 용이해질 수 있고, 시각적 피로도를 낮춤으로써 장시간 BCI 장치를 사용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치의 구성을 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치의 정보 처리 방법을 나타낸 동작 흐름도이다.
도 3은 도 2에 의한 중심 시야 영역과 주변 시야 영역을 설명하는 도면이다.
도 4는 도 2에 의한SSVEP 자극과 ERP자극을 결합한 형태의 시야 자극을 제공하는 화면을 설명하는 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치의 구성을 설명하는 도면이다.

도 1을 참조하면, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치(100)는, 디스플레이 모듈(110), 메모리(120) 및 프로세서(130)를 포함하지만 이에 한정되지는 않는다.

디스플레이 모듈(110)은 모니터 상에 서로 다른 시각 자극을 제공하고, 프로세서(130)에 의해 분석된 사용자 의도 자극을 출력하여 표시한다.

디스플레이 모듈(110)은 시각 자극 제시부(111)와 자극 출력부(112)를 포함하는데, 시각 자극 제시부(111)는 모니터를 통해 서로 다른 시각 자극을 사용자에게 제공하고, 자극 출력부(112)는 뇌파 분석을 통해 사용자 의도 자극을 출력하여 모니터에 표시한다.

메모리(120)는 서로 다른 시각 자극에 의한 사용자의 뇌파 신호를 처리하여 사용자 의도 자극을 분석하기 위한 정보 처리 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(120)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

프로세서(130)는 시각 자극 기반으로 정상 상태 시각 유발 전위(SSVEP)와 사건 관련 전위(ERP)를 이용하여 사용자 의도 자극을 검출하기 위한 정보 처리 방법을 제공하는 전체 과정을 제어한다.

이러한 프로세서(130)는 뇌파 신호 측정부(131), 특징 추출부(132), 특징 결합부(133) 및 사용자 의도 분석부(134)를 포함한다.

뇌파 측정부(131)는 국제 전극 시스템에 따라 27개 이상의 채널에서 뇌파를 추출한다. 사용자가 비침습적 방식으로 마이크로 칩이 부착된 캡을 두피에 착용하면, 뇌파 측정부(131)는 인체에 무해한 젤을 넣어 임피던스 값을 낮추고 유의미한 뇌파 신호를 측정하고, 사용자마다 다른 뇌파를 고려하기 위해 레퍼런스 채널 및 그라운드 채널을 이용한다.

특징 추출부(132)는 디스플레이 모듈(110)을 통해 제공되는 시각 자극으로부터 강인한 신호를 추출하기 위하여 고속 푸리에 변환을 통해 측정된 뇌파로부터 주파수 대역의 뇌신호 특징 정보와 신간 대역의 뇌신호 특징정보를 각각 추출한다.

특징 결합부(133)는 주파수 대역과 시간 대역의 뇌신호 특징 정보를 결합하여 서로 다른 자극에 의한 뇌신호 특징을 모두 이용할 수 있도록 한다.

사용자 의도 분석부(134)는 뇌신호의 특징을 이용하여 사용자가 어떤 문자를 의도하고, 응시하였는지를 분석하여 사용자 의도 자극을 결정한 후 출력한다.

이러한 프로세서(130)의 뇌파 신호 측정부(131), 특징 추출부(132), 특징 결합부(133) 및 사용자 의도 분석부(134)에서 수행하는 각 단계에 대해서는 도 2를 참조하여 후술하기로 한다.

여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

시각 자극 기반의 뇌-컴퓨터 인터페이스 장치(100)는 외부 기기 또는 사용자가 착용한 뇌파 신호 측정용 캡(CAP) 등과 데이터를 송수신하기 위해 통신 인터페이스를 제공하는 통신 모듈(도시되지 않음)과, 사용자 별로 측정된 뇌신호 특징 정보와 시각 자극을 위한 데이터 등을 저장하는 데이터베이스(도시되지 않음) 등을 더 포함할 수 있다. 여기서, 통신 모듈은 다른 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

도 2는 본 발명의 일 실시예에 따른 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치의 정보 처리 방법을 나타낸 동작 흐름도이고, 도 3은 도 2에 의한 중심 시야 영역과 주변 시야 영역을 설명하는 도면이며, 도 4는 도 2에 의한SSVEP 자극과 ERP자극을 결합한 형태의 시야 자극을 제공하는 화면을 설명하는 도면이다.

먼저 도2 내지 도 4를 참조하면, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치의 정보 처리 방법은, 시각 자극이 제공되는 디스플레이 모듈과 사용자와의 기준 거리 정보에 기초하여 사용자의 응시점을 추출하고, 추출된 응시점을 기준으로 전체 시야 영역을 산출한다. 이때, 전체 시야 영역은 응시점을 기준으로 제1 범위를 중심 시야 영역으로 설정되고, 제1 범위를 제외한 제2 범위를 주변 시야 영역으로 설정된다(S110).

디스플레이 모듈과 사용자와의 기준 거리 정보가 70㎝인 경우, 제1 범위(a)는 응시점을 기준으로 시야각 기준으로 시야각 1.25° 이내로 설정하고, 제2 범위(b)는 응시점을 기준으로 시야각 1.25°에서 2.5° 이내로 설정한다.

따라서, 전체 시야 영역은 도 3에 도시된 바와 같이, 지름 6㎝의 외부 원 형태이고, 중심 시야 영역은 지름 3㎝의 내부 원 형태이며, 주변 시야 영역은 외부 원에서 내부 원을 제외한 원형 띠 형태가 된다. 즉, 주변 시야 영역은 외부 원의 지름 6㎝에서 내부 원의 지름 3㎝를 뺀 3㎝ 두께를 가지는 원형 띠 형태로 형성된다. 한편, 이와 같은 구체적인 수치는 설명의 편의를 위한 예시적인 것으로, 본 발명이 이에 제한되는 것은 아니다.

이렇게 형성된 주변 시야 영역은 신경생리학적으로 시각 정보에 덜 민감하여 정신적 부담이 줄어들면서도 충분한 뇌의 신경 신호를 추출할 수 있는 영역이다.

따라서, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치는 기측정된 시각적 피로도에 기초하여 중심 시야 영역에 시각적 피로도가 낮은 제1 시야 자극을 제시하고, 주변 시야 영역에 제1 시야 자극에 비해 시각적 피로도가 다소 높은 제2 시야 자극을 제시한다(S120).

이때, 시각적 피로도는 다양한 생체 신호 또는 뇌파 분석 기반의 시각적 피로도 분석 방법이나 카메라 비젼 기반 눈 영상 분석을 통해 시각 자극에 의한 피로도를 측정할 수 있다.

ERP는 시각, 청각 등의 동일한 외부 자극이 사용자에게 반복적으로 제공되었을 경우에 사용자 반응의 결과로 나타나는 신호로서, 특정 자극 제공 시점에서 300ms 이후에 발생하는 전위 차이를 의미한다. 이러한 ERP 기반의 시각 자극은 시간 대역에서 해상력이 높은 뇌파 신호로서, ERP 기반의 BCI 장치는 속도는 느리지만 시각적 피로도가 낮다는 장점이 있다.

또한, SSVEP 기반의 시각 자극은 뇌파 신호의 특성상 주파수 대역의 정보이고, ERP 기반의 시각 자극은 뇌파 신호의 특성상 시간 대역의 정보로 구분할 수 있다. 즉, SSVEP 기반의 시각 자극은 주파수 측면에서 시호를 분석하고, 정준 상곤 분석을 이용하여 두 개의 데이터를 비교하여 상관 관계 값을 계산한다. 그리고, ERP 기반의 시각 자극은 시간 측면에서 선형 판별 분석을 실시하여 판별 함수를 계산하고, 이 판별함수를 통해 뇌파를 분석한다.

따라서, 도 4에 도시된 바와 같이, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치는 중심 시야 영역에서 무작위 순서로 한번씩 깜빡임(즉, 플래시(Flash))으로 발생하는 ERP 기반의 시각 자극을 제공하고, 주변 시야 영역에 특정 주파수에서 반복하여 깜빡임으로 발생하는 SSVEP 기반의 시각 자극을 제공한다. 이를 위해, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치는 60㎐ 또는 120㎐로 동작하는 모니터에 SSVEP 기반의 시각 자극과 ERP 기반의 시각 자극을 동시에 출력한다.

시각 자극 기반의 뇌-컴퓨터 인터페이스 장치는 디스플레이 모듈을 통해 주파수 영역에서 출력이 가능한 SSVEP 주파수 영역(예를 들어, 모니터 주파수의 약수)을 생성하여 매 프레임 사이에 SSVEP기반의 시각 자극을 삽입하고, 이와 동시에 ERP 기반의 시각 자극이 ERP 기반의 시각 자극 간의 시간((Inter-Stimulus Interval, ISI), ERP 기반의 시각 자극이 출력되는 시간(Stimulus-Time Interval, STI)을 생성하여 매 프레임 사이에 ERP 기반의 시각 자극을 삽입한 후 단일 시스템 내에서 서로 다른 2개의 시각 자극이 오차 없이 일관되게 모니터에 출력되도록 한다.

다시 도 2를 참조하면, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치는 제1 시야 자극 또는 제2 시야 자극에 의한 사용자의 뇌파를 측정한다(S130). 비침습적 방식으로 마이크로 칩이 부착된 캡을 사용자가 두피에 착용한 상태에서, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치는 국제 전극 시스템에 따라 27개 이상의 채널에서 뇌파를 추출한다.

시각 자극 기반의 뇌-컴퓨터 인터페이스 장치는 측정된 뇌파 신호로부터 강인한 신호를 추출하기 위해 고속 푸리에 변환을 통해 주파수 대역의 뇌신호 특징 정보와 시간 대역의 뇌신호 특징 정보를 각각 추출한다(S140).

SSVEP 기반의 시각 자극을 통해 측정한 뇌파 신호는 주파수 대역에서 신호 분석을 통해 제1 분석 데이터와 CCA를 통해 제2 분석 데이터를 각각 산출하고, 산출된 제1 분석 데이터와 제2 분석 데이터를 비교하여 상관 관계 값을 계산한다. 또한, 자극 제공 후에 300ms에서 발생하는 ERP 기반의 시각 자극을 통해 측정한 뇌파 신호는 시간 대역에서 LDA를 이용하여 판별 함수를 계산한다.

이 후, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치는 주파수 대역의 뇌신호 특징 정보인 상관 관계 값과 시간 대역의 뇌 신호 특징 정보인 판별 함수를 결합하여 사용자가 응시한 자극을 확률적으로 계산한다(S150).

따라서, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치는 주파수 대역과 시간 대역의 뇌신호 특징을 모두 이용하여 사용자가 어떤 자극을 의도하고 응시하였는지를 분석하여 사용자가 응시한 사용자 의도 자극을 검출하고, 사용자 의도 자극을 디스플레이 모듈을 통해 출력한다(S160).

이와 같이, 본 발명은 사용자의 응시점이 아닌 주변 시야 영역에 SSVEP 자극과 응시점을 포함한 중심 시야 영역에 ERP 자극을 결합하여 사용자에게 제시함으로써 주파수 대역에서CCA를 통한 인식 결과와 시간 대역에서 LDA를 통한 인식 결과를 효과적으로 결합함으로써 사용자가 의도하는 자극을 정확히 검출할 수 있다.

이러한 본 발명은 컴퓨터, 스마트폰, 로봇 등이 외부 기기를 뇌파로 제어하고 조정하는 뇌-컴퓨터 인터페이스 기술에 적용되어, TV 채널 변경, 도어 열림/닫힘, 스마트홈 제어 기술이나 사용자의 생각을 문자나 그림으로 해석하는 등 다양한 의사소통 보조 도구로 활용할 수 있다.

이상에서 설명한 본 발명의 실시예에 따른 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치의 정보 처리 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치
110: 디스플레이 모듈 120: 메모리
130: 프로세서

Claims

시각 자극 기반의 뇌-컴퓨터 인터페이스 장치에 의해 수행되는 정보 처리 방법에 있어서,
a) 시각 자극이 제공되는 디스플레이 모듈과 사용자와의 기준 거리 정보에 기초하여 사용자의 응시점을 추출하고, 상기 응시점을 기준으로 전체 시야 영역을 산출하는 단계;
b) 상기 전체 시야 영역에서 상기 응시점을 기준으로 제1 범위를 중심 시야 영역으로 설정하고, 상기 제1 범위를 제외한 제2 범위를 주변 시야 영역으로 설정하는 단계;
c) 기측정된 시각적 피로도에 기초하여 상기 중심 시야 영역에 제1 시야 자극을 제시하고, 상기 주변 시야 영역에 제2 시야 자극을 제시하는 단계;
d) 상기 제1 시야 자극 또는 제2 시야 자극에 의한 사용자의 뇌파를 측정하고, 상기 측정된 뇌파로부터 주파수 대역 또는 시간 대역에 대한 뇌신호 특징 정보를 추출하는 단계; 및
e) 상기 뇌신호 특징 정보를 이용하여 사용자가 응시한 사용자 의도 자극을 검출하고, 상기 검출된 사용자 의도 자극을 상기 디스플레이 모듈을 통해 출력하는 단계를 포함하는 것인, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치의 정보 처리 방법.
제 1 항에 있어서,
상기 c) 단계는,
상기 제1 시야 자극으로서 사건 관련 전위(Event Related Potential, ERP) 기반의 시야 자극을 제공하고,
상기 제2 시야 자극으로서 안정 상태 시각 유발 전위(Steady State Visual Evoked Potential, SSVEP) 기반의 시야 자극을 제공하는 것인, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치의 정보 처리 방법.
제 1 항에 있어서,
상기 c) 단계는,
상기 제1 시야 자극으로서 시간 대역에서 뇌파 신호의 분석을 위해 기설정된 시간 대역에서 무작위로 발생되는 시각 자극을 제공하고,
상기 제2 시야 자극으로서 주파수 대역에서 뇌파 신호의 분석을 위해 기설정된 주파수 대역에서 반복적으로 발생되는 시각 자극을 제공하는 것인, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치의 정보 처리 방법.
제 1 항에 있어서,
상기 b) 단계는,
상기 응시점을 기준으로 시야각 1.25° 이내를 제1 범위로 설정하고, 상기 응시점을 기준으로 시야각 1.25°에서 2.5° 이내를 제2 범위로 설정하는 것인, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치의 정보 처리 방법.
제 4 항에 있어서,
상기 전체 시야 영역은 상기 기준 거리 정보에 근거하여 제1 반경을 가지는 외부 원 형태로 형성되며,
상기 중심 시야 영역은 상기 기준 거리 정보에 근거하여 제2 반경을 가지는 내부 원 형태로 형성되고,
상기 주변 시야 영역은 상기 전체 시야 영역에서 중심 시야 영역을 제외한 나머지 영역으로 원형의 띠 형태로 형성되는 것인, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치의 정보 처리 방법.
제 2 항에 있어서,
상기 d) 단계는
상기 제1 시야 자극의 경우, 시간 대역에서 선형 판별 분석(Linear Discriminant Analysis, LDA)을 통해 판별 함수를 계산하고, 상기 계산된 판별 함수를 통해 뇌파를 분석하고,
상기 제2 시야 자극의 경우, 주파수 대역에서 신호 분석을 통해 제1 분석 데이터와 정준 상관 분석(Canonical Correlation Analysis, CCA)을 통해 제2 분석 데이터를 각각 산출하고, 상기 산출된 제1 분석 데이터와 제2 분석 데이터를 비교하여 상관 관계 값을 추출하여 뇌파를 분석하는 것인, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치의 정보 처리 방법.
제 6 항에 있어서,
상기 e) 단계는
상기 판별 함수를 이용한 시간 대역에 대한 뇌신호의 특징 정보와 상기 상관 관계 값을 이용한 주파수 대역 에 대한 뇌신호 특징 정보를 결합하여 상기 사용자 의도 자극을 확률적으로 계산하는 것인, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치의 정보 처리 방법.
시각 자극 기반의 뇌-컴퓨터 인터페이스 장치에 있어서,
시각 자극이 제공되는 디스플레이 모듈;
상기 디스플레이 모듈을 통해 제공되는 서로 다른 시각 자극에 의한 사용자의 뇌파 신호를 처리하여 사용자 의도 자극을 분석하기 위한 정보 처리 방법을 수행하기 위한 프로그램이 기록된 메모리; 및
상기 프로그램을 실행하기 위한 프로세서;를 포함하며,
상기 프로세서는, 상기 프로그램의 실행에 의해,
상기 디스플레이 모듈과 사용자와의 기준 거리 정보에 기초하여 사용자의 응시점을 추출하고, 상기 응시점을 기준으로 제1 범위를 중심 시야 영역으로 설정하며, 상기 제1 범위를 제외한 제2 범위를 주변 시야 영역으로 설정하고,
기측정된 시각적 피로도에 기초하여 상기 중심 시야 영역에 제1 시야 자극을 제시하고, 상기 주변 시야 영역에 제2 시야 자극을 제시하며,
상기 제1 시야 자극 또는 제2 시야 자극에 의한 사용자의 뇌파를 측정하고, 상기 측정된 뇌파로부터 주파수 대역 또는 시간 대역에 대한 뇌신호 특징 정보를 추출한 후 상기 뇌신호 특징 정보를 이용하여 사용자가 응시한 사용자 의도 자극을 검출하는 것인, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치.
제 8 항에 있어서,
상기 프로세서는 상기 응시점을 기준으로 시야각 1.25° 이내를 제1 범위로 설정하고, 상기 응시점을 기준으로 시야각 1.25°에서 2.5° 이내를 제2 범위로 설정하는 것인, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치.
제 8 항에 있어서,
상기 디스플레이 모듈은,
상기 중심 시야 영역에 사건 관련 전위(Event Related Potential, ERP) 기반의 시야 자극을 제1 시야 자극으로 제공하고, 상기 주변 시야 영역에 안정 상태 시각 유발 전위(Steady State Visual Evoked Potential, SSVEP) 기반의 시야 자극을 제2 시야 자극으로 제공하는 시각 자극 제시부; 및
상기 사용자 의도 자극을 출력하여 표시하는 자극 출력부를 포함하는 것인, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치.
제 8 항에 있어서,
상기 프로세서는,
복수 개의 채널을 통해 상기 제1 시야 자극과 제2 시야 자극에 의한 사용자의 뇌파 신호를 측정하는 뇌파 신호 측정부;
상기 뇌파 신호로부터 주파수 대역 또는 시간 대역에서의 뇌신호 특징 정보를 추출하는 특징 추출부;
상기 주파수 대역 또는 시간 대역에서의 상기 뇌신호 특징 정보를 결합하는 특징 결합부; 및
상기 결합된 뇌신호 특징 정보를 이용하여 사용자가 응시한 사용자 의도 자극을 확률적으로 계산하여 상기 사용자 의도 자극을 결정하여 출력하는 사용자 의도 분석부를 포함하는 것인, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치.
제 11 항에 있어서,
상기 특징 추출부는,
상기 제1 시야 자극이 사건 관련 전위(Event Related Potential, ERP) 기반의 시야 자극인 경우, 시간 대역에서 선형 판별 분석(Linear Discriminant Analysis, LDA)을 통해 판별 함수를 계산하고, 상기 계산된 판별 함수를 통해 뇌파를 분석하고,
상기 제2 시야 자극이 안정 상태 시각 유발 전위(Steady State Visual Evoked Potential, SSVEP) 기반의 시야 자극인 경우, 주파수 대역에서 신호 분석을 통해 제1 분석 데이터와 정준 상관 분석(Canonical Correlation Analysis, CCA)을 통해 제2 분석 데이터를 각각 산출하고, 상기 산출된 제1 분석 데이터와 제2 분석 데이터를 비교하여 상관 관계 값을 추출하여 뇌파를 분석하는 것인, 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치.