KR20170013092A

KR20170013092A - 디스플레이 자극을 이용한 의도 인식용 뇌파 기반 뇌-기계 인터페이스 장치 및 방법

Info

Publication number: KR20170013092A
Application number: KR1020150106073A
Authority: KR
Inventors: 민병경
Original assignee: 고려대학교 산학협력단
Priority date: 2015-07-27
Filing date: 2015-07-27
Publication date: 2017-02-06

Abstract

각각 상이하게 설정된 주파수로 점멸(flickering)하는 둘 이상의 라인(line)으로 구성된 라인 배열을 디스플레이의 화면에 출력하고, 라인 배열에 포함된 둘 이상의 라인들을 서로 상이한 주파수록 점멸되도록 제어하고, 디스플레이의 화면에 출력된 라인 배열을 주시하는 피측정자의 뇌파 신호를 측정하고, 측정한 뇌파 신호로부터 적어도 하나의 주파수를 검출하고, 검출한 주파수에 대해 기설정된 패턴 인식 처리를 수행하여 피측정자가 연상한 원본 형상을 복원하고, 복원한 원본 형상의 정보를 출력함으로써 뇌-기계 인터페이스를 처리한다.

Description

디스플레이 자극을 이용한 의도 인식용 뇌파 기반 뇌-기계 인터페이스 장치 및 방법{EEG-BASED BRAIN-MACHINE INTERFACE APPARATUS AND METHOD FOR RECOGNIZING HUMAN INTENTION USING LINE STIMULI ON THE DISPLAY}

본 발명은 뇌와 기계 간의 인터페이스(Brain-Machine Interface, BMI)를 처리하는 장치 및 방법에 관한 것으로, 디스플레이를 통한 시각 자극에 따라 발생된 뇌파에 기초하여 연상자의 의도를 인식하는 뇌-기계 인터페이스 장치 및 방법에 관한 것이다.

뇌파 신호의 인지적 속성(cognitive property)에 따른 매개 변수들을 분석하여 뇌와 기계 간 인터페이스를 처리하는 기술들이 개발되고 있다. 일반적으로, 뇌파 신호를 기계와의 인터페이스 제어 신호로 사용할 경우, 제시된 자극에 관련된 뇌파 신호를 반복적으로 측정하여 단위 뇌파 조각들의 평균 뇌파 전위를 산출한다. 이처럼, 제시된 자극이나 사건과 관련되어 평균값에서 누적되어 나타나는 뇌전위를 ‘사건 관련 전위(ERP: event-related potential)’라고 한다. 이와 같은, 뇌파의 시간축 분석에 의해 얻어진 성분으로는 ‘정상 상태 시각 유발 전위(Steady State Visual Evoked Potential, SSVEP)’가 있다. SSVEP 성분은 반복적인 시각 자극에 반응하는 뇌파를 이용한 뇌파 신호이다. 예를 들어, 사람이 점멸(flickering) 자극을 보고 있으면 그 자극의 점멸 주파수와 동일한 주파수를 가진 뇌파가 물리적으로 유도된다.

이와 관련하여, 대한민국 공개특허 제2013-0002590호(발명의 명칭: 안정상태 시각유발전위를 이용한 QWERTY 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법)에서는, 복수개의 문자가 QWERTY 스타일로 표시되는 문자 표시부, 표시되는 문자로 인한 시각 자극에 의해 안정상태 시각유발전위가 유발 되는 동안의 사용자의 뇌파 신호를 측정하는 뇌파 신호 측정부, 및 측정된 뇌파 신호를 분석하는 뇌파 신호 분석부 및 상기 분석된 뇌파 신호에 해당하는 문자를 출력하는 문자 출력부를 포함하는 문자 입력 인터페이스 장치를 개시하고 있다.

이러한 기존의 뇌-기계 간 인터페이스 장치는 키보드 자판 상에서 피측정자가 공개적으로(overtly) 선택한 키를 확인할 뿐, 이보다 더 고차원적으로 피측정자가 실제 눈동자 움직임이 없이 생각만으로(covertly) 연상한 정보(즉, 의도를 반영한 정보)를 확인할 수 없다는 한계가 있다.

본 발명의 일 실시예는 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 디스플레이를 통한 시각 자극에 따라 발생된 뇌파에 기초하여 연상자의 의도를 인식하는 뇌-기계 인터페이스 장치 및 그 인터페이스 방법을 제공하고자 한다.

또한, 본 발명의 일 실시예는 격자 라인 형태의 디스플레이 자극을 이용하여 의도를 인식하는 뇌-기계 인터페이스 장치 및 그 인터페이스 방법을 제공하고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기와 같은 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 뇌-기계 인터페이스 장치는, 각각 설정된 주파수로 점멸(flickering)하는 둘 이상의 라인(line)으로 구성된 라인 배열을 화면에 출력하는 디스플레이; 상기 라인들을 서로 상이한 주파수로 점멸되도록 제어하는 라인 점멸 제어부; 상기 디스플레이의 화면에 출력된 라인 배열을 주시하는 피측정자의 뇌파 신호를 측정하는 뇌파 측정부; 상기 측정한 뇌파 신호로부터 하나 이상의 주파수를 검출하는 주파수 검출부; 상기 검출한 주파수에 대해 기설정된 패턴 인식 처리를 수행하여 상기 피측정자가 연상한 원본 형상을 복원하는 형상 분석부; 및 상기 복원한 원본 형상의 정보를 출력하는 결과 출력부를 포함한다.

그리고, 본 발명의 다른 측면에 따른 뇌-기계 인터페이스 장치를 통한 뇌-기계 인터페이스 방법은, 각각 설정된 주파수로 점멸(flickering)하는 둘 이상의 라인(line)으로 구성된 라인 배열을 디스플레이의 화면에 출력하는 단계; 상기 라인 배열에 포함된 둘 이상의 라인들을 서로 상이한 주파수로 점멸되도록 제어하는 단계; 상기 디스플레이의 화면에 출력된 라인 배열을 주시하는 피측정자의 뇌파 신호를 측정하는 단계; 상기 측정한 뇌파 신호로부터 적어도 하나의 주파수를 검출하는 단계; 상기 검출한 주파수에 대해 기설정된 패턴 인식 처리를 수행하여 상기 피측정자가 연상한 원본 형상을 복원하는 단계; 및 상기 복원한 원본 형상의 정보를 출력하는 단계를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 각각 상이한 주파수로 점멸하는 복수의 라인으로 구성된 라인 배열을 통해 복수의 형상을 융합적으로 출력함으로써, 사용자의 연상에 따른 뇌파 신호를 유도하는 시각 자극을 용이하게 제공할 수 있다.

그리고, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사전에 레벨링된 뇌파 신호를 학습하여 생성한 분류기를 통해 새로 측정된 뇌파 신호에 대응된 형상을 분류해냄으로써, 피측정자가 연상한 형상을 정확하고 정교하게 복원할 수 있다.

또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 격자형 라인 배열을 통해 시각 자극을 제시함으로써 소형 디스플레이 내에서도 다양한 기준 형상의 제시가 가능하다. 즉, 뇌-기계 인터페이스 장치의 소형화가 가능하여 다양한 장비에 장착하거나 연동시킬 수 있어 편리하다.

도 1은 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 시각 자극용 라인 배열의 일례를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치를 통해 뇌파 신호를 이용하여 피측정자가 연상한 형상을 분석 및 복원하는 과정을 설명하기 위한 개념도이다.
도 4는 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 방법을 설명하기 위한 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치의 구성을 나타내는 블록도이다. 그리고, 도 2는 본 발명의 일 실시예에 따른 시각 자극용 라인 배열의 일례를 나타낸 도면이다.

먼저, 도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치(100)는 디스플레이(110), 라인 점멸 제어부(120), 뇌파 측정부(130), 주파수 검출부(140), 형상 분석부(150) 및 결과 출력부(160)를 포함한다.

디스플레이(110)는각각 설정된 주파수로 점멸(flickering)하는 둘 이상의 라인(line)으로 구성된 라인 배열을 화면에 출력한다.

본 발명의 일 실시예에 따른 디스플레이(110)는LCD(liquid crystal display) 및 LED(light emitting diode) 장치, 터치스크린 등 소재 및 크기에 관계없이 화면 상에 발광 라인의 출력이 가능한 모든 장치 또는 수단을 포함한다.

디스플레이(110)의 화면 상에는 라인 배열이 꽉 차게 배치되거나, 또는 검은 배경의 화면 상에 일정 크기의 라인 배열이 출력될 수 있다. 이러한 경우, 디스플레이(110)의 화면 크기 또는 화면 상에 출력될 라인 배열의 크기는 디스플레이(110)를 주시하는 피측정자의 거시적 안구 운동(macroscopic eye-movement)이 필요치 않는 크기로 설계될 수 있다. 더불어, 디스플레이(110)가 설치되는 위치 또한 피측정자의 거시적 안구 운동이 필요치 않도록 적합한 거리에 배치될 수 있다.

라인 점멸 제어부(120)는 라인 배열의 라인들이 서로 상이한 주파수로 점멸되도록 주파수(이하, ‘점멸 주파수’라고 지칭함)를 제어한다.

구체적으로, 라인 배열은 시각 자극을 통해 피측정자의 뇌파 신호(Electroencephalogram, EEG)를 유도하기 위한 것으로서, 라인 점멸 제어부(120)는 각 라인이 일정 휘도(예를 들어, 평균 휘도 136 cd/m2)로 발광하는 라인 배열을 디스플레이(110)를 통해 출력한다. 이때, 각 라인은 적색 또는 녹색 중 어느 하나의 색으로 표시될 수 있다. 이는, 사람의 망막(retina)의 중심안와(fovea)에 상대적으로 많이 분포되어 있는 시신경 원추 세포(cone cell)가 적색 및 녹색을 감지하는 세포들이기 때문이다. 또한, 망막의 대부분의 위치에 넓게 분포하고 있는 간상체(rod cell)를 이용하기 위해서, 라인 배열의 각 라인들은 백색 혹은 회색으로 표시되는 것도 가능하다. 이 밖에도, 각 라인들의 색은 시각이 인식할 수 있는 모든 종류의 색으로 표시될 수 있다.

라인 점멸 제어부(120)는 디스플레이(110)의 화면 상에 각 라인들이 일정 간격으로 배치된 라인 배열을 출력한다. 이때, 라인들 간의 간격은 정신물리학적으로 의미가 있는 것으로, 사전에 실험을 통한 결과에 기초하여 설정될 수 있다. 즉, 라인 간에 충분한 시각적 구분 분해능을 가질 수 있도록 일정 간격으로 배치된다. 예를 들어, 라인 배열의 최대 크기(또는 길이)에 의한 시야각(visual angle)이 8° 내지 10° 이하로 구성되도록 라인 간의 간격을 설정할 수 있다. 이는, 안구 망막에 맺히는 상(image)이 맹점(blind spot)에 떨어지지 않고, 모든 라인의 빛이 시신경이 온전하게 검출되게 하기 위함이다. 즉, 라인 배열에 의한 시각 자극이 피측정자의 망막의 맹점영역에는 이르지 않으면서, 시각 정보 처리가 가장 정교하게 일어나는 중심안와(fovea) 영역의 중심에 맺히도록 설정된다.

일례로 도 2에 도시한 바와 같이, 본 발명의 일 실시예에 라인 배열은 둘 이상의 라인들이 격자형(grid-shaped)으로 배치될 수 있다.

도 2의 (a)에서와 같이 라인 배열(P10)은 행렬 형태로 배치될 수 있으며, 도 2에서는 라인 배열(P10)이 3개의 행(R1 내지 R3) 라인 및 3개의 열(C1 내지 C3) 라인으로 이루어진 것을 예로서 나타내었다. 이처럼, 본 발명의 일 실시예에 따른 라인 배열은 각각 상이한 주파수로 점멸하는 3개의 행 라인 및 3개의 열 라인을 포함하되, 행 및 열 라인들이 서로 일정 간격 이격되며, 행 라인 또는 열 라인이 각각 하나 이상의 열 라인 또는 행 라인과 교차되도록 배치될 수 있다. 이처럼, 각각 3개씩의 행 라인 및 열 라인을 포함하는 격자형 라인 배열은 초소형으로 구현이 가능하면서도 다양한 형상(예를 들어 문자 및 숫자 등)을 모두 표현할 수 있어 어떠한 장비에든 용이하게 적용할 수 있다. 다만 본 발명의 일 실시예에 따른 라인 배열의 형태 및 포함되는 라인의 개수는 이에 한정되지 않는다. 예를 들어, 라인 배열에 포함되는 라인의 개수가 늘어날수록 피측정자가 연상할 수 있는 형상의 개수가 많아지며, 좀 더 정교한 모양을 연상할 수 있는 효과가 있다.

라인 점멸 제어부(120)는 설정된 복수의 점멸 주파수를 라인 배열의 각 라인에 랜덤하게 할당한다. 이때, 라인 점멸 제어부(120)는 피측정자의 뇌파 신호(EEG) 중 정상 상태 시각 유발 전위(Steady State Visual Evoked Potential, SSVEP)를 유도하는데 효과적인 점멸 주파수(예를 들어, 5 내지 7.5 Hz)를 설정할 수 있다.

또한, 라인 점멸 제어부(120)는 라인 배열 상에서 행 별 및 열 별로 주파수의 대역폭이 임계값 이상 차이가 나도록 설정할 수 있다. 이는, 이후 설명할 뇌파 측정부(130)를 통해 측정된 피측정자의 뇌파 신호로부터 주파수 검출시 측정 값의 분해능과 신뢰도를 높이기 위해서이다.

예를 들어, 도 2의 (a)에서는, 라인 배열(P10) 중 제 1 행(R1) 라인은 5Hz, 제 2 행(R2) 라인은 6 Hz, 제 3 행(R3) 라인은 7Hz로 점멸하도록 설정된 것을 나타내었다. 그리고, 라인 배열(P10) 중 제 1 열(C1) 라인은 5.5 Hz, 제 2 열(C2) 라인은 6.5 Hz, 제 3 열(C1) 라인은 7.5Hz로 점멸하도록 설정된 것을 나타내었다. 이처럼, 라인 배열(P10)의 모든 라인들은 각각 상이한 점멸 주파수로 설정된다.

또한, 라인 점멸 제어부(120)는 라인 배열(P10)의 라인별로 지정된 점멸 주파수를 유지하며, 깜빡이는 자극을 전체 열 라인과 행 라인에서 지속적으로 유지하며 제시한다.

예를 들어, 도 2의 (a)에서와 같이, 라인 배열에 포함된 모든 라인들이 각각 고유의 점멸 주파수로 지속적으로 깜박이는 상태에서, 도 2의 (b)에서와 같이, 피측정자의 주의 집중이 임의의 형상(예를 들어, 도 2의 (b)에서는 한글의 음소(phoneme)인 “ㅜ”인 것을 나타냄)에 대응하는 라인에 주어지게 되면, 피측정자 뇌파의 주도적인 특징 속성은 제 1 행(R1) 라인과 제 2 열(C2) 라인의 성분 조합에 대응된다. 이와 같은, 피측정자가 연상할 수 있는 형상(예를 들어, 글자)은 격자 라인 배열이 이룰 수 있는 모든 조합에 의한 형상이라면 무엇이든 가능하다. 마찬가지로, 점멸 중인 라인 배열에 대해 피측정자의 주의 집중이 형상 “ㅗ”에 대응되는 라인에 주어지는 경우, 피측정자의 뇌파 특성은 라인 배열(P10) 중 제 3 행(R3) 라인과 제 2 열(C2) 라인의 성분 조합에 대응된다. 또한, 형상 “ㅁ”에 대해서는 라인 배열(P10) 중 제 1 및 제3 행(R1 및 R3) 라인과 제 1 및 제3 열(C1 및 C3) 라인의 성분 조합에 대응된다.

참고로, 라인 점멸 제어부(120)는 라인 별 점멸 주파수를 고주파로 설정하여 피측정자의 눈의 피로를 감소시킬 수 있다. 또한, 라인 점멸 제어부(120)는 라인들의 휘도 차에 의한 임의의 효과를 배제하기 위하여 모든 라인들의 휘도를 동일하게 설정할 수 있다.

다시 도 1로 돌아가서, 뇌파 측정부(130)는 디스플레이(110)의 화면에 출력된 라인 배열을 주시하는 피측정자의 뇌파 신호(EGG)를 측정하여, 측정된 뇌파 신호를 주파수 검출부(140)로 제공한다. 이때, 뇌파 측정부(130)는 다양한 방식으로 뇌파 신호를 측정할 수 있으며, 그 중 피측정자의 뇌에서 물리적으로 유도되는 정상 상태 시각 유발 전위(Steady State Visual Evoked Potential, SSVEP)를 측정할 수 있다.

참고로, 뇌파 측정부(130)는 뇌파 측정 장비(미도시)와 연결되어 뇌파 신호를 측정하도록 제어할 수 있으며, 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치(100)의 구성 중 뇌파 측정부(130)를 포함한 적어도 하나의 구성이 뇌파 측정 장비 내 일구성으로써 포함될 수도 있다. 예를 들어, 피측정자의 편의를 위해 헤드셋 형태의 뇌파 측정 장비를 적용할 수 있다.

주파수 검출부(140)는 수신된 뇌파 신호로부터 하나 이상의 주파수를 검출한다. 이때, 주파수 검출부(140)는 하나 이상의 개별적 주파수 및 둘 이상의 주파수가 조합된 주파수 성분을 검출할 수 있다.

구체적으로, 피측정자가 디스플레이(110)의 화면 상에 출력된 라인 배열을 주시한 상태에서 임의의 형상을 연상할 경우, 피측정자가 연상한 형상에 매칭된 라인들의 개별 주파수 및 그 개별 주파수들의 조합 주파수와 동일한 주파수가 뇌파 신호에서 검출된다. 즉, 피측정자가 복수의 형상에 대응되는 라인들이 점멸 출력되고 있는 라인 배열을 응시하고 있는 상태에서 임의의 형상을 연상하는 경우 해당 형상에 대한 인지적 주의(cognitive attention)에 따른 뇌파 신호가 검출된다.

이때, 주파수 검출부(140)는 피측정자의 뇌파 신호를 특징 추출(feature extraction) 처리하여 하나 이상의 주파수를 검출할 수 있다. 주파수 검출부(140)는 기설정된 주파수 분석 방식(예를 들어, 고속 퓨리에 변환(Fast Fourier Transform) 등)을 통해 뇌파 신호로부터 주파수 성분을 검출할 수 있다. 주파수 검출부(140)가 검출한 주파수 중에는 하나 이상의 개별 주파수와 개별 주파수들의 공진 주파수(harmonic frequency) 및 개별 주파수 주변의 유사 주파수가 검출될 수 있다. 이러한 경우, 주파수 검출부(140)는 사전에 설정된 라인 별 점멸 주파수 및 라인 별 점멸 주파수의 조합을 참고하여 형상 분석에 사용할 특징 주파수를 추출할 수 있다.

예를 들어, 앞서 도 2의 (a)와 같이 설정된 라인 배열(P10)을 피측정자가 주시하면서 형상 “ㅜ”를 연상한 경우, 피측정자의 뇌파 신호로부터 제 1 행(R1) 라인과 제 2 열(C2) 라인의 조합(도 2의 (b)에서 점선으로 표시)에 대응된 주파수가 검출된다. 즉, 주파수 검출부(140)는 5Hz, 6.5Hz 및 그들의 조합 중 적어도 하나의 주파수를 검출할 수 있다.

형상 분석부(150)는 주파수 검출부(140)가 검출한 주파수에 대해 기설정된 패턴 인식(pattern recognition) 처리를 수행하여 피측정자가 연상한 원본 형상을 복원한다.

이러한 형상 분석부(150)를 통한 원본 형상 분석 과정에 대해서는 아래 도 3을 참조하여 상세히 설명하도록 한다.

결과 출력부(160)는 형상 분석부(150)를 통해 복원된 원본 형상의 정보를 출력한다.

이때, 결과 출력부(160)는 사용자(예를 들어, 피측정자)가 육안 또는 청취로 판별 가능하도록 식별 가능한 표시 정보(예를 들어, 문자, 숫자, 기호 등)로 상기 복원된 형상을 출력할 수 있다. 예를 들어, 결과 출력부(160)는 디스플레이(110)의 화면 상에 피측정자가 연상한 형상을 출력할 수 있다.

또한, 결과 출력부(160)는 사전에 연동된 관련 기기로 상기 복원된 형상의 정보를 전달할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치(100)는, TV를 비롯한 가전 제품의 리모콘에 탑재된 형태일 수 있다. 즉, 디스플레이(110)가 소형 액정 화면으로서 리모콘에 실장될 수 있으며, 이러한 소형 액정 화면 상에 기설정된 복수의 형상이 점멸하는 라인 배열이 출력될 수 있다. 이때, 사용자가 리모콘의 소형 액정 화면 상의 라인 배열을 주시한 상태에서 의도하는 형상(즉, 문자, 숫자 및 기호 등)을 연상하면 사용자의 뇌파 분석을 통해서 원본 형상을 분석 및 복원하여 연동된 관련 기기로 전달한다. 이와 같이 함으로써, 사용자는 특정 명령에 관련된 형상을 연상하는 것만으로도 관련 기기를 통해 기설정된 동작을 수행할 수 있다. 예를 들어, 뇌-기계 인터페이스 장치(100)의 디스플레이(110)를 포함한 적어도 하나의 구성이 탑재된 리모콘을 응시한 상태에서 사용자가 ‘K’, ‘B’, ‘S’라는 문자를 순차적으로 연상하면, 뇌-기계 인터페이스 장치(100)는 뇌파 분석을 통해 “KBS”라는 형상을 복원할 수 있다. 이때, 결과 출력부(160)는 상기 복원된 “KBS”라는 문자 정보에 따른 TV 채널이 자동으로 선택되도록 해당 정보를 기설정된 관련 기기(즉, TV의 수신 장치)로 전송할 수 있다. 참고로, 뇌-기계 인터페이스 장치(100)는 스마트폰 등의 스마트 디바이스에 탑재되는 것도 가능하며, 복원한 피측정자가 연상한 원본 형상의 정보를 스마트 디바이스 내 기설정된 애플리케이션(즉, 소프트웨어)로 전달하여 기설정된 동작 또는 프로세스를 처리하는 것도 가능하다.

이하, 도 3을 참조하여 형상 분석부(150)의 구성 및 동작에 대해서 상세히 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치를 통해 뇌파 신호를 이용하여 피측정자가 연상한 형상을 분석 및 복원하는 과정을 설명하기 위한 개념도이다.

도 3에 도시한 바와 같이, 형상 분석부(150)는 사전에 임의의 형상에 대해서 라벨링된 학습 뇌파 신호(labeled training EEG)로부터 검출된 하나 이상의 뇌파 특징(EEG features: 즉, 주파수 성분)을 기설정된 기계 학습을 통해 생성된 분류기(151)를 포함한다. 예를 들어, 분류기(151)는 지도 기계 학습(supervised machine learning) 또는 비지도 기계 학습(unsupervised machine learning) 중 어느 하나를 통해 생성될 수 있다.

구체적으로, 형상 분석부(150)는 피측정자의 뇌파 신호를 분석하여 피측정자가 연상한 원본 형상을 복원하는 절차를 수행하기에 앞서, 복수의 기준 형상에 대해서 관련된 뇌파 신호를 라벨링하는 초기 처리를 수행한다. 참고로, 기준 형상들은 라인 배열에 포함된 개별 라인 및 라인들의 조합을 통해 생성될 수 있는 모든 형태의 문자, 숫자, 기호 등의 형상을 의미한다.

먼저, 라인 점멸 제어부(120)의 제어를 통해 복수의 점멸 주파수로 점멸되는 라인들을 디스플레이(110)의 화면에 출력한다. 그리고 피측정자가 연상한 특정 형상(즉, 기준 형상)을 이미 알고 있는 상태에서 뇌파 측정부(130)를 통해 피측정자의 뇌파 신호(SSVEP)를 측정한다. 이처럼, 이미 알고 있는, 피측정자가 연상한 형상들 별로 측정된 뇌파 신호는 라벨링된(학습된) 뇌파 신호로서 주파수 검출부(140)로 입력된다. 이에 따라, 주파수 검출부(140)는 라벨링된 학습 뇌파 신호들을 고속 퓨리에 변환(Fast Fourier Transform) 처리하여, 그 특징들을 추출한다. 주파수 검출부(140)의 특징 추출을 통해 검출된 뇌파 특징(즉, 주파수 성분)들은 형상 분석부(150)로 입력되어 사전에 미리 저장된다. 즉, 형상 분석부(150)는 라벨링된 뇌파 신호로부터 검출된 주파수 속성들을 지도 기계 학습(또는 비지도 기계 학습)하여 분류기(151)의 표준값을 세팅하는 칼리브레이션(calibration)을 처리한다. 그리고, 분류기(151)는 추후 피측정자의 뇌파 신호에 따른 주파수를 입력받으면, 입력된 주파수에 매칭된 형상을 분류하여 출력한다. 이러한 분류기(151)는 서포트 벡터 머신(Support Vector Machine) 등의 다중 클래스 벡터 머신을 사용할 수 있다.

이상에서와 같이, 복수의 기준 형상에 대해서 라벨링된 뇌파 신호에 대한 기계 학습을 수행한 이후에, 분류기(151)는 실제 피측정자가 연상한 형상을 복원하기 위한 뇌파 신호를 입력받는다. 즉, 도 3에 도시한 바와 같이, 주파수 검출부(140)는 뇌파 측정부(130)를 통해 피측정자로부터 새로 측정된 뇌파 신호(new untraining EEG)를 입력받는다. 도 3에서는 피측정자가 디스플레이(110)의 화면 상에 출력된 격자형 라인 배열(P10)을 주시한 상태에서 한글의 음소 “ㅜ”(P20)를 연상한 것을 예로써 도시하였다. 이에 따라, 주파수 검출부(140)는 새로 측정된 뇌파 신호로부터 라인 배열(P10) 상에 출력된 라인들 중 형상 “ㅜ”에 대응된 라인의 점멸 주파수를 포함하는 특징 주파수를 추출한다. 형상 분석부(150)는 주파수 검출부(140)로부터 형상 “ㅜ”에 대응된 두 라인의 점멸 주파수 및 그 점멸 주파수들의 주파수 조합을 입력받고, 분류기(151)를 통해 해당 주파수들에 매칭된 형상을 분류한다. 그 결과, 형상 분석부(150)는 도 3에서와 같이 사전에 설정된 복수의 기준 형상 중 상기 검출된 주파수와 대응된 형상 “ㅜ”(P30)를 분류하여 원본 형상을 복원한다.

참고로, 형상 분석부(150)는 주파수 검출부(140)를 통해 검출된 주파수들에 정확하게 대응되는 기준 형상이 존재하지 않는 경우, 상기 검출된 주파수에 대응된 개별 라인들의 모양들을 조합하여 임의의 형상을 추론할 수도 있다. 이때, 형상 분석부(150)는 복수의 기준 형상들 중 상기 추론한 임의의 형상과 가장 유사도가 높은 기준 형상을 검출하여 원본 형상을 복원할 수 있다.

이하, 도 4를 참조하여 본 발명의 일 실시예에 따른 두뇌와 기계간 인터페이스 방법을 상세히 설명하도록 한다.

도 4는 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 방법을 설명하기 위한 순서도이다.

먼저, 각각 설정된 주파수로 점멸하는 둘 이상의 라인으로 구성된 라인 배열을 디스플레이(110)의 화면에 출력한다(S410).

이때, 라인 배열은 둘 이상의 라인들이 격자형으로 배치된 형태로 설계될 수 있다.

다음으로, 라인 배열에 포함된 둘 이상의 라인들을 서로 상이한 주파수로 점멸되도록 제어한다(S420).

이때, 라인 배열 상에서 행 별 및 열 별로 주파수의 대역폭이 임계값 이상 차이가 나도록 설정할 수 있다.

다음으로, 디스플레이(110)의 화면에 출력된 라인 배열을 주시하는 피측정자의 뇌파 신호를 측정한다(S430).

이때, 뇌파 신호로서 정상 상태 시각 유발 전위(Steady State Visual Evoked Potential, SSVEP)를 측정할 수 있다.

다음으로, 측정한 뇌파 신호로부터 적어도 하나의 주파수를 검출한다(S440).

이때, 뇌파 신호로부터 하나 이상의 개별 주파수 및 둘 이상의 개별 주파수들의 조합 주파수를 검출한다. 일례로, 피측정자의 뇌파 신호를 고속 퓨리에 변환(Fast Fourier Transform)을 통해 특징 추출 처리하여 하나 이상의 주파수를 검출할 수 있다.

다음으로, 검출한 주파수에 대해 기설정된 패턴 인식 처리를 수행하여 피측정자가 연상한 원본 형상을 복원한다(S450).

이때, 원본 형상을 복원하기 위해 이미 알고 있는 기준 형상들에 대해서 라벨링된 학습 뇌파 신호를 기계 학습하여 생성한 분류기를 사용할 수 있다. 구체적으로, 원본 형상을 복원하는 단계(S450) 이전에, 임의의 형상에 대해서 라벨링된 학습 뇌파 신호로부터 검출된 하나 이상의 주파수를 기계 학습 처리하여 분류기를 생성한다. 그리고 상기 (S440) 단계에서 측정된 피측정자의 뇌파 신호(즉, 학습되지 않은 뇌파 신호)로부터 검출된 하나 이상의 주파수를 상기 분류기를 통해 패턴 인식하여 해당 주파수에 대응된 형상을 분류한다. 이를 통해 피측정자의 뇌파 신호로부터 피측정자가 연상한 원본 형상을 복원한다.

그 후, 복원한 원본 형상의 정보를 출력한다(S460).

이때, 원본 형상을 식별 가능한 문자, 숫자 및 기호 중 적어도 하나를 포함하는 표시 정보로 출력하거나, 또는 사전에 연동된 관련 기기로 상기 원본 형상의 정보를 출력할 수 있다.

위와 같은 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 뇌-기계 인터페이스 장치
110: 디스플레이
120: 라인 점멸 제어부
130: 뇌파 측정부
140: 주파수 검출부
150: 형상 분석부
160: 결과 출력부

Claims

뇌-기계 인터페이스 장치에 있어서,
각각 설정된 주파수로 점멸(flickering)하는 둘 이상의 라인(line)으로 구성된 라인 배열을 화면에 출력하는 디스플레이;
상기 라인들을 서로 상이한 주파수로 점멸되도록 제어하는 라인 점멸 제어부;
상기 디스플레이의 화면에 출력된 라인 배열을 주시하는 피측정자의 뇌파 신호를 측정하는 뇌파 측정부;
상기 측정한 뇌파 신호로부터 하나 이상의 주파수를 검출하는 주파수 검출부;
상기 검출한 주파수에 대해 기설정된 패턴 인식 처리를 수행하여 상기 피측정자가 연상한 원본 형상을 복원하는 형상 분석부; 및
상기 복원한 원본 형상의 정보를 출력하는 결과 출력부를 포함하는 뇌-기계 인터페이스 장치.
제 1 항에 있어서,
상기 라인 배열은 상기 둘 이상의 라인들이 격자형으로 배치된 것인 뇌-기계 인터페이스 장치.
제 2 항에 있어서,
상기 라인 배열은 각각 상이한 주파수로 점멸하는 3개의 행 라인 및 3개의 열 라인을 포함하고,
상기 행 및 열 라인들은 서로 일정 간격 이격되며, 어느 하나의 행 라인은 적어도 하나의 열 라인과 교차되도록 배치된 뇌-기계 인터페이스 장치.
제 1 항에 있어서,
상기 라인 점멸 제어부는,
상기 라인 배열 상에서 행 별 및 열 별로 주파수의 대역폭이 임계값 이상 차이가 나도록 설정하는 뇌-기계 인터페이스 장치.
제 1 항에 있어서,
상기 주파수 검출부는,
상기 뇌파 신호로부터 하나 이상의 개별 주파수 및 둘 이상의 개별 주파수들의 조합 주파수를 검출하는 뇌-기계 인터페이스 장치.
제 1 항에 있어서,
상기 뇌파 측정부는,
정상 상태 시각 유발 전위(Steady State Visual Evoked Potential, SSVEP)를 측정하는 뇌-기계 인터페이스 장치.
제 1 항에 있어서,
상기 형상 분석부는,
사전에 임의의 형상에 대해서 라벨링된 학습 뇌파 신호로부터 검출된 하나 이상의 주파수를 기계 학습 처리하여 생성된 분류기를 포함하고,
상기 분류기는,
상기 피측정자의 뇌파 신호로부터 검출된 하나 이상의 주파수에 매칭된 형상을 분류하는 뇌-기계 인터페이스 장치.
제 7 항에 있어서,
상기 분류기로 서포트 벡터 머신(Support Vector Machine)을 사용하는 뇌-기계 인터페이스 장치.
제 7 항에 있어서,
상기 주파수 검출부는,
상기 라벨링된 학습 뇌파 신호 및 상기 피측정자의 뇌파 신호를 기설정된 주파수 분석 방식을 통해 특징 추출 처리하여 하나 이상의 주파수 성분을 검출하는 뇌-기계 인터페이스 장치.
제 1 항에 있어서,
상기 결과 출력부는,
상기 원본 형상을 식별 가능한 문자, 숫자 및 기호 중 적어도 하나를 포함하는 표시 정보로 출력하거나, 또는
사전에 연동된 관련 기기로 상기 형상의 정보를 출력하는 뇌-기계 인터페이스 장치.
뇌-기계 인터페이스 장치를 통한 뇌-기계 인터페이스 방법에 있어서,
각각 설정된 주파수로 점멸(flickering)하는 둘 이상의 라인(line)으로 구성된 라인 배열을 디스플레이의 화면에 출력하는 단계;
상기 라인 배열에 포함된 둘 이상의 라인들을 서로 상이한 주파수로 점멸되도록 제어하는 단계;
상기 디스플레이의 화면에 출력된 라인 배열을 주시하는 피측정자의 뇌파 신호를 측정하는 단계;
상기 측정한 뇌파 신호로부터 적어도 하나의 주파수를 검출하는 단계;
상기 검출한 주파수에 대해 기설정된 패턴 인식 처리를 수행하여 상기 피측정자가 연상한 원본 형상을 복원하는 단계; 및
상기 복원한 원본 형상의 정보를 출력하는 단계를 포함하는 뇌-기계 인터페이스 방법.
제 11 항에 있어서,
상기 라인 배열은 상기 둘 이상의 라인들이 격자형으로 배치된 것인 뇌-기계 인터페이스 방법.
제 11 항에 있어서,
상기 둘 이상의 라인들을 서로 상이한 주파수록 점멸되도록 제어하는 단계는,
상기 라인 배열 상에서 행 별 및 열 별로 주파수의 대역폭이 임계값 이상 차이가 나도록 설정하는 뇌-기계 인터페이스 방법.
제 11 항에 있어서,
상기 주파수를 검출하는 단계는,
상기 뇌파 신호로부터 하나 이상의 개별 주파수 및 둘 이상의 개별 주파수들의 조합 주파수를 검출하는 뇌-기계 인터페이스 방법.
제 11 항에 있어서,
상기 뇌파 신호를 측정하는 단계는,
정상 상태 시각 유발 전위(Steady State Visual Evoked Potential, SSVEP)를 측정하는 뇌-기계 인터페이스 방법.
제 11 항에 있어서,
상기 피측정자가 연상한 원본 형상을 복원하는 단계 이전에,
사전에 임의의 형상에 대해서 라벨링된 학습 뇌파 신호로부터 검출된 하나 이상의 주파수를 기계 학습 처리하여 분류기를 생성하는 단계를 더 포함하며,
상기 분류기를 통해 상기 피측정자의 뇌파 신호로부터 검출된 하나 이상의 주파수에 매칭된 형상을 분류하여 상기 원본 형상을 복원하는 뇌-기계 인터페이스 방법.
제 11 항에 있어서,
상기 주파수를 검출하는 단계는,
상기 피측정자의 뇌파 신호를 기설정된 주파수 분석 방식을 통해 특징 추출 처리하여 하나 이상의 주파수 성분을 검출하는 뇌-기계 인터페이스 방법.
제 11 항에 있어서,
상기 복원한 원본 형상의 정보를 출력하는 단계는,
상기 원본 형상을 식별 가능한 문자, 숫자 및 기호 중 적어도 하나를 포함하는 표시 정보로 출력하거나, 또는
사전에 연동된 관련 기기로 상기 원본 형상의 정보를 출력하는 뇌-기계 인터페이스 방법.
제 11 항 내지 제 18 항 중 어느 한 항에 기재된 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.