KR102443961B1 - 뇌파를 활용한 동작 상상 분류 장치 및 방법 - Google Patents

Abstract

본 발명은 뇌파를 활용한 동작 상상 분류 장치 및 방법에 관한 것으로, 특히 동작 상상시 발생하는 뇌파 신호에 포함된 서로 다른 영역의 도메인에 대한 특징을 실시간 추출하고 그 특징들을 이용하여 사용자의 의도를 분류하는 동작 상상 분류 장치 및 방법에 관한 것이다.

Description

뇌파를 활용한 동작 상상 분류 장치 및 방법{APPARATUS AND METHOD FOR MOTOR IMAGERY CLASSIFICATION USING EEG}

본 발명은 뇌파를 활용한 동작 상상 분류 장치 및 방법에 관한 것으로, 더욱 상세하게는 동작 상상시 발생하는 뇌파 신호에 포함된 서로 다른 영역의 도메인에 대한 특징을 실시간 추출하고 그 특징들을 이용하여 사용자의 의도를 분류하는 동작 상상 분류 장치 및 방법에 관한 것이다.

뇌-컴퓨터 인터페이스는 새로운 커뮤니케이션 기술로서 뇌파 신호를 이용하여 단말이나 장치에 적용된 컴퓨팅 장치를 제어함으로써 두뇌와 컴퓨터 사이의 직접적인 연결을 목표로 하는 기술이다.

그 중 동작 상상 추정 기술은 사용자가 의도된 동작을 직관적으로 상상하면 그때 발현되는 뇌파를 분석해 사용자가 상상한 동작을 구분해내는 기술로 타 뇌-컴퓨터 인터페이스 기술에 비해 비교적 고차원적인 기술에 해당한다.

뇌파 신호는 그 측정 상의 한계로 인해 분석 대상 이외의 눈 깜박임이나 머리 움직임 등의 배경 소음에 의해 오염되기 쉽고, 상상 의도 분류를 위한 뇌파 분석이 어려워 정확도를 높이기가 어렵다고 알려져 있다.

이러한 이유로 동장 상상 기반의 뇌-컴퓨터 인터페이스 분류 정확도를 높이기 위해 잡음이 있는 뇌파 신호를 활용해 사용자의 의도를 추정하는 기술은 아직 열려있는 도전 과제이다.

한편, 최근 발전된 딥 러닝 기술로 인해 동작 상상의 의도를 추정하는 기술의 정확도는 향상되었지만, 심층학습 모델(예: 심층 신뢰 신경망, 합성곱 신경망, 순환곱 신경망 등)의 특성상 단일 도메인 특징만을 추출하여 학습시키고 있다.

반면, 뇌파에 존재하는 주요 특징 도메인은 공간 영역(spatial domain), 시간 영역(temporal domain) 및 주파수(spectral domain)로 3가지가 있다. 따라서, 다양한 도메인 특징을 융합함으로써 성능을 향상시키고 뇌파 신호를 통한 동작 상상 의도 분석에 맞는 심층학습 모델을 설계할 필요가 있다.

그럼에도 종래의 기술 중 단일 도메인에서 특징을 추출하는 기술들은 다른 도메인의 정보를 뽑을 수 없기 때문에 높은 성능의 동장 상상 의도 예측을 수행할 수 없는 문제가 있었다.

또한, 두 종류의 도메인을 융합해 특징을 추출하여 단일 도메인 기술보다 성능을 향상시킬 수는 있지만, 여전히 뇌파 신호를 통한 동작 상상 의도 분석에 적용되기에는 성능이 부족할 뿐만 아니라 특징 선택의 기술적 한계로 인해 대량으로 추출되는 융합 특징을 효과적으로 사용하지 못하는 문제가 있었다.

뿐만 아니라, 뇌파 신호 분석을 통한 뇌-컴퓨터 인터페이스 기술은 뇌파의 신호를 읽어드리고 이를 근간으로 하여 외부의 장비를 실시간으로 작동하는 것을 최종 목표로 한다. 그러나 특징 선택의 기술적 한계와 더불어 실시간 특징 분류 기술의 낮은 정확도로 인해 실제로 적용하기에는 많은 문제점이 있었다.

대한민국 공개특허 제10-2019-0109670호 대한민국 공개특허 제10-2020-0010640호

본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로, 동작 상상시 발생하는 뇌파 신호에 포함된 서로 다른 영역의 도메인에 대한 특징을 실시간 추출하고 그 특징들을 이용하여 사용자의 의도를 분류하는 동작 상상 분류 장치 및 방법을 제공하고자 한다.

이를 위해, 본 발명에 따른 뇌파를 활용한 동작 상상 분류 장치는 동작 상상시 발생하는 뇌파 신호를 시간 순서로 분석하여 사용자의 의도를 추정하는 뇌파를 활용한 동작 상상 분류 장치에 있어서, 뇌파 측정장치에 의해 측정된 뇌파 신호를 수집하여 저장하는 정보 저장부와; 상기 뇌파 신호를 설정된 단위 시간마다 측정된 신호로 분류하고, 시간 순으로 배열된 뇌파 신호의 특징들 중 동일한 단위 시간에 측정된 특징끼리 조합하여 각각 매트릭스(matrix) 구조로 배열하는 특징 맵핑부와; 상기 특징들로 구성된 매트릭스를 각각 레이어(layer)로 설정하여 각 레이어마다 공간 특징을 분석하는 공간 특징 분석부와; 시간 순으로 배열된 레이어들간 공간 특징의 변화를 분석하는 시간 특징 분석부와; 상기 공간 특징들이 각각 단위 시간마다 변화하는 값을 입력받아 상기 측정된 뇌파 신호의 동작 상상을 분류하는 의도 분류부; 및 상기 뇌파 신호에 포함된 특정 주파수 대역의 신호 변화를 분석하여 상기 뇌파 신호가 동작 상상에 의해 발생한 것인지 판단하는 특징점 발생 판독부;를 포함하는 것을 특징으로 한다.

이때, 상기 특징 맵핑부는 상기 특징점 발생 판독부로부터 상기 동작 상상에 의해 뇌파 신호가 발생한 시간 정보를 제공받아 상기 동작 상상에 의해 뇌파 신호가 발생하는 동안의 뇌파 신호만을 상기 매트릭스 구조로 배열되는 특징에 포함시키는 것이 바람직하다.

또한, 상기 특징점 발생 판독부는 상기 뇌파 측정장치에서 측정된 뇌파 신호의 주파수를 분석하는 주파수 분석부와; 상기 분석된 주파수에 대해 α밴드 영역과 β밴드 영역의 측정 에너지를 분석하는 에너지 분석부; 및 상기 α밴드 영역과 β밴드 영역의 에너지 변화를 분석하여, 상기 α밴드 영역에서의 에너지는 감소하고, β밴드 영역에서의 에너지는 증가하면 상기 뇌파 신호가 동작 상상에 의한 것으로 판단하는 동작 상상 판단부;를 포함하는 것이 바람직하다.

또한, 상기 특징 맵핑부는 상기 사용자가 동작을 상상하는 하나의 시도가 n초 동안 이루어진 것으로 가정하고, 상기 뇌파 신호를 2n개의 신호 블록으로 분류하여, 서로 연속하는 2개의 신호 블록들간 비교가 이루어지도록 하는 것이 바람직하다.

또한, 상기 특징 맵핑부는 멀티 채널 동작 상상(multi-channel motor imagery) 뇌파 신호에 대한 특징점을 추출하기 위해 CSP(Common Spatial Pattern) 알고리즘을 적용하는 것이 바람직하다.

또한, 상기 특징 맵핑부는 상기 CSP 알고리즘에 적용되는 CSP 필터의 가중치를 결정하되, 상기 CSP 필터의 가중치는 상기 동작 상상시 발생하는 뇌파 신호의 주파수에 따라 결정되는 것이 바람직하다.

또한, 상기 공간 특징 분석부는 각각의 레이어에 합성곱 신경망(CNN, Convolutional Neural Network) 모델을 적용하여 각 층 레이어마다 상기 공간 특징을 추출하는 것이 바람직하다.

또한, 상기 시간 특징 분석부는 각각의 레이어에 순환 신경망(RNN, Recurrent Neural Network) 모델을 적용하여 시간적으로 연속된 레이어들 사이에서 상기 공간 특징이 변화하는 것을 이용하여 상기 시간 특징을 추출하는 것이 바람직하다.

또한, 상기 의도 분류부는 딥 러닝(deep learning) 인공 신경망에 의해 분류되는 것이 바람직하다.

또한, 상기 의도 분류부는 하나의 신체 부위로 한정하여 상기 하나의 신체 부위에 대해 상상되는 동작의 변화를 상기 동작 상상으로 분류함으로써 다른 신체 부위의 동작이나 상상에 의해 발생하는 배경 소음을 제거하는 것이 바람직하다.

한편, 본 발명에 따른 동작 상상 분류 방법은 뇌파 측정장치에 의해 측정된 뇌파 신호를 수집하여 정보 저장부에 저장하는 정보 저장단계와; 특징 맵핑부에서 상기 뇌파 신호를 설정된 단위 시간마다 측정된 신호로 분류하고, 시간 순으로 배열된 뇌파 신호의 특징들 중 동일한 단위 시간에 측정된 특징끼리 조합하여 각각 매트릭스(matrix) 구조로 배열하는 블록 맵핑단계와; 공간 특징 분석부에서 상기 특징들로 구성된 매트릭스를 각각 레이어(layer)로 설정하여 각 레이어마다 공간 특징을 분석하는 공간 도메인 분석단계와; 시간 특징 분석부에서 시간 순으로 배열된 레이어들간 공간 특징의 변화를 분석하는 시간 도메인 분석단계; 및 의도 분류부에서 상기 공간 특징들이 각각 단위 시간마다 변화하는 값을 입력받아 상기 측정된 뇌파 신호의 동작 상상을 분류하는 사용자 의도 분류단계;를 포함하는 것을 특징으로 한다.

이상과 같은 본 발명은 뇌파 신호에 포함된 특징들을 매트릭스 블록 상에 맵핑하고, 시간순으로 나열되는 각 레이어에서 공간 도메인의 특징을 추출하고, 각 특징들의 시간에 따른 변화를 분석하는 모델로 동작 상상 의도를 분류한다.

따라서, 뇌파 신호에서 여러 도메인의 특징을 추출하고 그 특징들로부터 사용자의 의도가 실시간으로 추정되므로, 동작 상상 의도 분류의 성능이 향상되고 대량으로 추출되는 융합 특징을 바탕으로 실시간 뇌파 분석에 효과적으로 사용할 수 있게 된다.

도 1은 본 발명의 뇌파를 활용한 동작 상상 분류 장치를 나타낸 구성도이다.
도 2는 본 발명의 특징 맵핑부를 나타낸 도이다.
도 3은 본 발명의 순환적 합성곱 신경망 모델을 나타낸 도이다.
도 4는 본 발명의 동작 상상 분류 실시예이다.
도 5는 본 발명의 신경망 모델과 타 모델과의 분류 성능 비교표이다.
도 6은 본 발명의 뇌파를 활용한 동작 상상 분류 방법을 나타낸 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 뇌파를 활용한 동작 상상 분류 장치 및 방법에 대해 상세히 설명한다.

도 1과 같이, 본 발명에 따른 뇌파를 활용한 동작 상상 분류 장치(100)는 정보 저장부(110), 특징 맵핑부(120), 공간 특징 분석부(130), 시간 특징 분석부(140), 의도 분류부(150) 및 특징점 발생 판독부(160)를 포함한다.

이러한 본 발명은 동작 상상시 발생하는 뇌파 신호를 실시간 분석하여 사용자의 의도를 추정하는 것으로, 상지의 움직임에 어려움이 있는 마비 환자를 위한 보조장치를 비롯하여, 로봇팔, 이동수단 및 단말장치와 같은 여러 외부 장치를 사용자의 의도에 부합하게 작동시키는 인터페이스로 이용될 수 있다.

또한, 본 발명에 따른 뇌파를 활용한 동작 상상 분류 장치(100)는 측정된 뇌파 신호를 입력받아 분석 가능한 컴퓨터에서 구현되거나, 사용자가 장착하거나 소지하고 있는 단말이나 웨어러블 기기에 컴퓨팅 장치로 구현되는 등 다양한 타입으로 구현이 가능하다.

또한, 본 발명에 따른 뇌파를 활용한 동작 상상 분류 장치(100)가 컴퓨팅 장치에 구현되는 경우, 뇌파 측정장치(10)에서 측정된 뇌파 신호를 데이터 입출력 장치(11)를 통해 수집하며, CPU의 제어하에 장치 전반의 제어가 이루어질 수 있다. 또한 필요하면 외부와 데이터 통신을 위한 통신 모듈 역시 포함할 수 있다.

본 발명은 위와 같은 기술적 구성들을 포함하여 뇌파 신호에 포함된 특징들을 매트릭스 블록 상에 맵핑하고, 시간순으로 나열되는 각 레이어에서 공간 도메인의 특징을 추출하고, 각 특징들의 시간에 따른 변화를 분석하여 사용자의 동작 상상 의도를 분류한다.

따라서, 뇌파 신호에서 여러 도메인의 특징을 추출하고 그 특징들을 이용하여 사용자의 의도를 분석함으로써, 동작 상상 의도 분류의 성능을 향상시키고 대량으로 추출되는 융합 특징을 효과적으로 사용할 수 있게 한다.

이를 위해, 상기 정보 저장부(110)는 데이터베이스나 메모리 등으로 구축되어 사용자의 뇌파 신호를 분석 대상 정보로서 저장한다. 바람직하게 뇌파 신호는 뇌파 측정장치에 의해 측정된 후 실시간 저장되어 분석에 이용된다.

뇌파(EEG, Electroencephalography)는 뇌 활동시 신경계에서 뇌신경 사이에 신호가 전달될 때 발생하는 것으로, 뇌파 측정장치로 뇌의 여러 부분을 동시에 측정하는 멀티 채널 동작 상상(Multi-Channel Motor Imagery) 신호를 수집한다.

특징 맵핑부(120)는 정보 저장부(110)에 기록되어 있는 뇌파 신호를 공간 특징뿐만 아니라 시간 특징의 분석에 적합한 데이터 형식으로 재배열하는 것으로, 뇌파 신호의 특징(feature)을 단위 시간 순으로 분류(나열)하되, 각 단위 시간마다 블록 매트릭스에 특징점들을 맵핑한다.

즉, 특징 맵핑부(120)는 뇌파 신호를 설정된 단위 시간마다 측정된 뇌파 신호로 분류하고, 시간 순으로 배열된 뇌파 신호의 특징들 중 동일한 단위 시간에 측정된 특징끼리 조합하여 각각 다차원의 매트릭스(matrix) 구조로 배열한다.

도 2에 도시한 바와 같이, 특징점(FE)들이 공간상에 배열되는 신호 블록(BL)은 일 예로 8×8 매트릭스 구조로 구성됨으로써 공간 상에 특징들이 배열되고, 이러한 다수의 신호 블록이 단위 시간마다 생성됨으로써 시간의 흐름에 따른 특징 변화를 분석할 수 있게 한다.

이때, 신호 블록을 구성하는 매트릭스의 각 셀(원소)은 동작 상상시의 뇌파 신호에 포함된 특징(FE)을 의미하는 것으로, 일 예로 뇌파 측정장치를 구성하는 하나의 전극(one electrode)에서 측정한 뇌파 신호이며, 각 특징은 동작 상상에 따라 특정 패턴으로 상태 변화 및/또는 유지된다.

또한, 특징 맵핑부(120)는 사용자가 동작을 상상하는 하나의 시도가 n초 동안 이루어진 것으로 가정할 때, 뇌파 신호를 2n개의 신호 블록으로 분류하여 서로 연속하는 2개의 신호 블록들간 비교가 이루어지도록 한다.

도 2에서는 0.5초를 단위 시간으로 하여 2n개의 신호 블록을 생성하고, 각 신호 블록마다 매트릭스 구조로 나열된 특징들은 서로가 시간의 흐름에 따른 동작 변화를 판별하는 비교 대상이 된다.

바람직한 실시예로서 상술한 특징 맵핑부(120)는 멀티 채널 동작 상상(multi-channel motor imagery)시의 뇌파 신호에 대한 특징점을 추출하기 위해 CSP(Common Spatial Pattern) 알고리즘을 적용한다.

CSP는 두 클래스를 이용하여 동작 상상을 분류하는 특징 추출 방법으로서 가장 많이 사용되는 방법으로, 일 예로 한 클래스의 분산은 최대화 다른 한 클래스의 분산은 최소화하는 알고리즘이다.

구체적으로, 뇌파를 측정하는 EEG의 경우 다수개의 전극에서 동시에 측정되는 뇌의 전기적 신호가 획득된다. 이때 N개의 전극에서 T개의 샘플을 측정한다고 가정하였을 때 한번의 측정시 N x T의 행렬이 만들어지며, 행렬은 매트릭스로 표현된다. 이러한 행렬은 측정 횟수만큼 존재하게 된다.

또한, 하나씩의 Task를 진행하였을 때 각 공분산(C)은 C = S'/transpose(S') (단, S = N x T)가 되고, X개의 Task를 진행할 때 나타나는 N x T의 행렬의 공분산(covariance)을 구하면 N x N 행렬이 된다.

공분산(C) 또한 n(측정 횟수)개가 나타나며, X개의 Task를 진행하였으므로 X1번째 Task에 대한 공분산(C1) 평균, X2번째 Task에 대한 공분산(C2)의 평균부터 Xi번째에 대한 공분산(Ci) 평균을 구한다.

이렇게 구해진 공분산의 평균을 모두 합산한 후 공분산 평균의 합(Csum)을 UλU’로 변환시킨다. 여기서, U는 고유벡터, λ는 고유값을 의미하며, 이 두 고유 벡터를 이용하여 백색화 변환행렬 Q를 생성한다.

백색화 변환행렬은

의 수학식을 통해 계산되며, 계산된 백색화 변환행렬 Q는 각 클라스 평균 공분상 행렬이 동일한 고유벡터를 가지도록 한다.

따라서 백색화 행렬을 적용하여 서로 다른 공분산을 가지도록 하면 S = Q*공분산평균의합*Q'(

)가 되며, 이때 클래스가 2개(최대 분산, 최소 분산)이면 S1 = Bλ₁B', S2 = Bλ₂B'이 된다.

위 S1과 S2를 이용하여 얻을 수 있는 CSP 필터의 가중치(W)는 Q'U가 되므로, 위와 같이 이렇게 얻어진 W와 원신호 N x T의 신호를 곱해주면 CSP 필터를 거친 Z=WX(단, X = N x T)가 된다.

따라서, CSP 필터를 거친 신호는 n x T(단, n은 특징점 'FE'의 개수)개의 결과가 얻어지고, 이와 같이 얻어진 결과를 바탕으로 둘의 차이가 가장 큰 것을 순서대로 정렬하여 그 특징들을 일 예로 8 x 8 신호 블록에 나열하게 된다. 이를 통해 공간적으로 서로 분류된 특징점을 뽑아 이산적인 순간의 뇌파의 특징을 추출하게 된다.

이때, 본 발명은 특징 맵핑부(120)는 CSP 알고리즘에 적용되는 CSP 필터의 가중치를 결정하되, 동작 상상시 발생하는 뇌파 신호의 주파수에 따라 결정한다.

필터 가중치는 특징 맵핑부(120)와 연동되는 필터 설정부(121)에서 별도로 수행할 수 있는데, 필터 설정부(121)는 설계된 함수값을 뇌파 주파수에 적용하여 필터 가중치(혹은 필터값)을 결정하여 뇌파 주파수 역시 모델에 반영한다.

뇌파 신호는 α밴드 영역인 8~12Hz와 β밴드 영역의 12~30Hz의 주파수와 밀접 관련성이 있으므로, 특징 맵핑의 수행(CSP 알고리즘의 적용)시 동작 상상에 의해 발생되는 뇌파 신호의 맵핑 특성을 향상시키도록 필터와 주파수를 연관시킨다. 이를 통해 본 발명은 공간 도메인과 시간 도메인뿐만 아니라 주파수 도메인까지 동작 상상 의도 분류에 포함하여 3가지 도메인을 반영한다.

한편, 공간 특징 분석부(130)는 위와 같이 뇌파 신호의 특징을 신호 블록에 맵핑한 매트릭스를 각각 레이어(layer)로 설정하여 각 레이어마다 공간 특징을 분석한다.

여기서 공간 특징 분석은 뇌파 신호의 특징을 신호 블록(예: 8 x 8 블록)에 배열하여 해당 블록 내의 각 위치에 존재하는 특징점들의 분포나 패턴 등을 통해 특정 시점의 동작 상상을 추정하는데 이용된다.

예컨대, 사용자가 한 손을 움직여 그에 대응하는 명령(예: 트위스트, 그립, 이동, 터치 등)을 생성하는 동작 상상을 하는 경우, 공간 특징은 그 한 손이 특정 시점에 갖는 형상이나 이미지가 될 수 있다.

이와 같이 본 발명은 공간 특징 분석부(130)에서 각각의 레이어마다 상술한 공간 특징을 분석함으로써, 이를 기반으로 시간적으로 연속하는 레이어에 존재하는 공간 특징들 사이의 변화를 학습하여 시간 특징을 분석할 수 있게 된다.

도 3과 같이 공간 특징 분석부(130)는 각 레이어에서 공간 특징을 분석할 수 있도록 레이어에 합성곱 신경망(CNN, Convolutional Neural Network) 모델을 적용하여 공간 특징을 추출한다.

합성곱 신경망은 다차원으로 배열된 특징들을 합성곱 필터를 이용하여 출력 특징 맵을 만들고, 행렬 곱을 이용하여 새로운 행렬 즉, 출력 특징 맵을 만든다. 또한 학습을 통해 합성곱 필터값을 조정해가는 과정을 거치며 분석 가능한 최상의 공간 특징을 추출(분석)한다.

시간 특징 분석부(140)는 시간 순으로 배열된 레이어들간 공간 특징의 변화를 분석하는 것으로, 공간 영역 특징점을 시간의 순서대로 입력받아 시간 특징점을 추출한다.

인간의 뇌는 어떤 작업(Task)을 진행할 때 한 순간 뇌파의 변화가 있은 후 바로 없어지는 것이 아니라 일정시간 유지되며, 일정 시간 유지되는 모양은 각 작업(Task) 별로 서로 다른 양상을 보여준다.

따라서, 공간적으로 만들어진 신호 블록은 시간의 순서에 따라 독특한 특징을 가지게 되므로, 본 발명은 이러한 특징점을 시간 영역 특징 추출 모델에 의해 추출한다.

이를 위해 본 발명은 단위 시간 마다 특징점이 맵핑된 레이어들을 단위 시간의 흐름 순으로 배열하고, 각 레이어에서의 공간 특성들을 서로 비교함으로써 시간의 흐름에 따른 특징의 변화를 추출한다.

예컨대, 사용자가 한 손을 움직이는 명령을 상상하는 경우, 상기 공간 특징은 각 프레임에서의 손 형상이나 이미지가 이에 해당하고, 시간 특징은 그 손의 연속된 움직임에 해당한다.

이를 위해 도 3에서 예시한 바와 같이, 시간 특징 분석부(140)는 각각의 레이어에 순환 신경망(RNN, Recurrent Neural Network) 모델을 적용하여 시간적으로 연속된 레이어들의 공간 특징이 변화하는 것을 이용하여 시간 특징을 추출한다.

순환 신경망 역시 인공 신경망의 한 종류로 유닛간 연결이 순환적 구조를 갖는 특징을 갖고 있다. 이러한 구조는 시변적 동적 특징을 모델링 할 수 있도록 신경망 내부에 상태를 저장할 수 있게 해준다.

특히 순환 신경망은 단위 시간을 기준으로 이전 레이어의 출력이 다음 레이어의 입력에 영향을 미치게 하는 등 여러 구조로 신경망을 구성함으로써, 시간적으로 연속하는 매트릭스 사이의 상관관계를 시계열적으로 분석한다.

예컨대, 첫번째 이미지가 들어오면 공간적인 특징을 추출하고, 두번째 이미지가 들어오면 똑같이 공간적인 특징을 추출한 후, 그 추출된 공간적 특징들을 이용하여 시간상 상관관계의 특징을 추출합니다.

또한 세번째 이미지가 들어오면 모델은 다시 공간적인 특징을 추출하고 앞의 이미지에서 추출된 공간적 특징과의 상관관계를 분석하여 현재 뇌에서의 작업(Task) 즉, 동작 상상이 어떤 것일지 예측한다.

위와 같이 본 발명은 합성곱 신경망 모델을 통해 공간 특징을 추출 후 순환 신경망 모델을 이용하여 시간 특징을 추출한다. 이러한 점에서 본 발명의 모델을 순환적 합성공 신경망(RCNN, Recurrent Convolutional Neural Network) 모델이라 한다.

종래에는 사용자의 의도를 분석하기 위해 시간 영역이나 주파수 영역의 특성만을 이용한 선형적인 기계학습 모델들이 제안되어 왔다. 그러나 신체 부위의 움직임을 상상할 때 뇌의 각 영역은 시간 순서에 따라 그 양상이 다르게 나타난다.

이에, 본 발명은 동작 상상 시 나타나는 뇌파의 분석을 시간적 특징과 공간적 특징으로 나눠 분석하며, 사용자의 뇌 활동에 따른 뇌파 변화를 공간적 분석과 시간적 분석으로 추정할 수 있다.

따라서, 본 발명은 시/공간적 특징 추출 방법을 활용하여 사용자의 의도를 정확하게 분석할 수 있게 되므로, 실시간 움직임 의도 분석의 성능을 향상시키고, 로봇 팔 등의 외부 장치를 사용자 의도에 따라 높은 정확도로 제어할 수 있게 된다.

의도 분류부(150)는 측정된 뇌파 신호의 동작 상상을 분류하는 것으로, 순환적 합성곱 신경망 모델을 적용한 경우에는 의도 분류를 위해 영역의 크기를 줄이는 풀링(예: max pooling)등과 같은 여러 처리 과정을 거칠 수 있다.

구체적으로, 의도 분류부(150)는 공간 특징 분석부(130) 및 시간 특징 분석부(140)로부터 얻은 값을 입력받아 이를 이용하여 뇌파 신호의 동작 상상 의도를 분류한다. 즉, 분석 모델을 적용함에 따라 공간 특징이 단위 시간마다 변화하는 값을 입력받아 동작 상상 의도를 분류한다.

일 예로 공간 영역 특징 추출 모델과 시간 영역 특징 추출 모델에서 추출된 특징 값들을 활용하여 딥 러닝(deep learning) 인공 신경망으로 분류함으로써 사용자의 의도를 분류한다.

또한, 의도 분류부(150)는 하나의 신체 부위로 한정하여 그 하나의 신체 부위에 대해 상상되는 동작의 변화를 동작 상상으로 분류함으로써 그 외 다른 신체 부위의 동작이나 상상에 의해 발생하는 배경 소음은 제거한다.

하나의 신체 부위는 양손 중 어느 한쪽 손이나 손목이나 어느 한쪽 눈 등과 같이 단일의 신체 부위를 의미하는 것으로, 본 발명은 여러 부위의 차이를 구분하는 것보다 상대적으로 복잡성(Complexity)이 증가하여 그 분류가 어려운 하나의 신체 부위 동작 상상을 추정한다.

예컨대, 왼손과 오른손을 구분하는 것을 상상하는 것에 비해, 오른손만으로 한정하여 손목을 오른쪽이나 왼쪽으로 비트는 등의 행동을 상상할 때 발생한 뇌파를 분석시에는 종래와 다른 분석 모델의 적용이 필요하다.

도 4는 사용자가 한 쪽 손의 손목 움직임을 동작 상상하는 실시예를 나타낸 것으로, 특징들을 CSP를 통해 8×8의 신호 블록으로 맵핑하고 이를 본 발명의 순환적 합성곱 신경망 모델(RCNN)에 적용한 것이다.

실시예에서 손목의 회전은 휴식, 오른쪽 비틂 및 왼쪽 비틂 3가지로 분류되며, N+1초부터 N+4초까지 시간 순서로 모델에 적용하면, 모델은 공간적 특성과 함께 이전 시간(초)에 나타낸 블록과 다음번 블록과의 상관관계를 학습한다.

따라서, 학습된 모델은 현재의 블록이 입력으로 들어왔을 때 뇌가 휴식 상태인지, 손을 오른쪽으로 비틀고 있는 상태인지 혹은 왼쪽으로 비틀고 있는 상태인지 분류를 하게 된다.

도 5에는 다른 모델과의 분류 정확도 결과값이 비교되어 있는데, 본 발명의 순환적 합성곱 신경망 모델(RCNN)은 평균값이 73.9%로 그 외 FDA(Fisher Discriminant Analysis), LDA(Linear Discriminant Analysis), MLP (Multi-layer Perceptron) 및 SRLDA(Shrinkage Regularized Linear Discriminant Analysis) 등에 비해 약 20% 정도가 향상되었음을 알 수 있다.

한편, 특징점 발생 판독부(160)는 뇌파 신호에 포함된 특정 주파수 대역의 신호 변화를 분석하여 뇌파 신호가 동작 상상에 의해 발생한 것인지 판단하여, 동작 상상시의 뇌파신호 특징점으로 분석을 수행할 수 있게 한다.

따라서, 특징 맵핑부는 특징점 발생 판독부(160)로부터 동작 상상에 의해 뇌파 신호가 발생한 시간 정보를 제공받고, 시간 정보에 따라 동작 상상에 의해 뇌파 신호가 발생하는 동안의 뇌파 신호만을 매트릭스 구조로 배열되는 특징에 포함시킬 수 있게 된다.

즉, 사용자가 동작 상상시 발생하는 뇌파 신호만을 이용하여 특징점을 맵핑하도록 함으로써, 이러한 맵핑된 데이터를 이용하여 사용자의 동작 상상 의도를 분류할 수 있게 한다.

이를 위해, 특징점 발생 판독부(160)는 주파수 분석부(161), 에너지 분석부(162) 및 동작 상상 판단부(163)를 포함하여 구성될 수 있다.

여기서, 주파수 분석부(161)는 뇌파 측정장치에서 측정된 뇌파 신호의 주파수를 분석한다. 주파수 분석은 정보 저장부(110)에 저장된 데이터를 읽어 분석하거나 뇌파 측정장치로부터 직접 입력받아 분석할 수 있다.

에너지 분석부(162)는 분석된 주파수에 대해 α밴드 영역(8~12Hz)과 β밴드 영역(12~30Hz)의 측정 에너지(power 또는 amplitude)를 분석한다. 에너지 분석은 α밴드 영역과 β밴드 영역의 에너지 증가 또는 감소를 추적한다.

이때, α밴드 영역은 머리 전체에서 측정되는 뇌파 신호로 μ밴드 영역은 그 중 중심 영역(central region)에서 나타나는 8~12Hz 사이의 뇌파 신호이다. 따라서, α밴드 영역은 μ밴드 영역을 포함하므로 본 발명은 μ밴드 영역의 에너지 증 또는 감소를 추적하는 것도 가능하다.

동작 상상 판단부(163)는 위와 같은 에너지 분석부(162)의 분석 결과를 입력받아 α밴드 영역과 β밴드 영역의 에너지 변화를 분석하여, 뇌파 신호가 동작 상상에 의해 발생한 것인지 판단한다.

구체적으로 동작을 상상할 때 뇌의 운동 피질에서는 α밴드 영역에서의 에너지는 감소(event related desynchronization)하고, β밴드 영역에서의 에너지는 증가(event related synchronization)하므로 이를 통해 동작 상상 상태를 판단한다.

판단결과에 따라 동작 상상 의도 분류의 모델의 적용을 시작하여 컴퓨터 처리 연산량을 최적화하거나, 정확한 시점의 데이터를 이용하여 모델에 적용되는 단위 기준 시간을 결정할 수 있다.

특히, 특징 맵핑부는 특징점 발생 판독부(160)로부터 동작 상상에 의해 뇌파 신호가 발생한 시간 정보를 제공받고, 동작 상상에 의해 뇌파 신호가 발생하는 동안의 뇌파 신호만을 매트릭스 구조로 배열되는 '특징'에 포함시킬 수 있다.

즉, 동작 상상에 의해 특징점들만을 추출하고 이를 분석함으로서 그 외 다른 시점에서 발생하는 노이즈가 분석에 포함(혼합)되지 않도록 함으로서 사용자의 동작 상상 의도를 정밀하게 분석할 수 있게 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 뇌파를 활용한 동작 상상 분류 방법에 대해 설명한다. 다만, 본 발명은 일 예로 상술한 뇌파를 활용한 동작 상상 분류 장치에서 실행될 수 있으므로 가급적 중복적인 설명은 생략한다.

도 6과 같이, 본 발명에 따른 뇌파를 활용한 동작 상상 분류 방법은 정보 저장단계(S110), 블록 맵핑단계(S120), 공간 도메인 분석단계(S130), 시간 도메인 분석단계(S140) 및 사용자 의도 분류단계(S150)를 포함한다. 바람직하게 동작 상상 판별 단계(S110a)를 더 포함한다.

이러한 본 발명에 따른 뇌파를 활용한 동작 상상 분류 방법은 실시예로써 상술한 바와 같은 뇌파를 활용한 동작 상상 분류 장치(100)에서 구현될 수 있다. 따라서, 뇌파 신호를 입력받아 분석 가능한 컴퓨터를 비롯한 각종 컴퓨팅 장치에서 구현될 수 있다.

이때, 상기 정보 저장단계(S110)에서는 뇌파 측정장치에 의해 측정된 뇌파 신호를 수집하여 정보 저장부(110)에 저장한다. 정보 저장부(110)는 데이터베이스나 메모리 등으로 구축되어 사용자의 뇌파 신호를 분석 대상 정보로서 저장한다.

뇌파(EEG)는 뇌 활동시 신경계에서 뇌신경 사이에 신호가 전달될 때 발생하는 것으로, 뇌파 측정장치로 뇌의 여러 부분을 동시에 측정하는 멀티 채널 동작 상상 신호를 수집한다.

다음, 블록 맵핑단계(S120)에서는 뇌파 신호를 설정된 단위 시간마다 측정된 신호로 분류하고, 시간 순으로 배열된 뇌파 신호의 특징들 중 동일한 단위 시간에 측정된 특징끼리 조합하여 각각 매트릭스 구조로 배열한다.

이러한 특징 맵핑은 실시예로써 상기한 특징 맵핑부(120)에 의해 이루어질 수 있다. 특징 맵핑부(120)는 정보 저장부(110)에 기록되어 있는 뇌파 신호를 공간 특징뿐만 아니라 시간 특징의 분석에 적합한 데이터 형식으로 재배열한다.

즉, 뇌파 신호의 특징(feature)을 설정된 단위 시간 순으로 분류(나열)하되, 각 단위 시간마다 블록 매트릭스에 특징점들을 맵핑한다. 구체적으로, 단위 시간마다 측정된 뇌파 신호로 분류하고, 시간 순으로 배열된 특징들 중 동일한 단위 시간에 측정된 특징끼리 조합하여 각각 다차원의 매트릭스 구조로 배열한다.

다만, 특징 맵핑부(120)는 사용자가 동작을 상상하는 하나의 시도가 n초 동안 이루어진 것으로 가정할 때, 뇌파 신호를 2n개의 신호 블록으로 분류하여 서로 연속하는 2개의 신호 블록들간 비교가 이루어지도록 한다.

바람직한 실시예로서 상술한 특징 맵핑부(120)는 멀티 채널 동작 상상(multi-channel motor imagery)시의 뇌파 신호에 대한 특징점을 추출하기 위해 CSP(Common Spatial Pattern) 알고리즘을 적용한다.

CSP는 두 클래스를 이용하여 동작 상상을 분류하는 특징 추출 방법으로서 가장 많이 사용되는 방법으로, 일 예로 한 클래스의 분산은 최대화 다른 한 클래스의 분산은 최소화하는 알고리즘이다.

따라서, CSP 필터를 거친 신호를 바탕으로 둘의 차이가 가장 큰 것을 순서대로 정렬하여 그 특징들을 신호 블록에 나열하게 된다. 이를 통해 공간적으로 서로 분류된 특징점을 뽑아 이산적인 순간의 뇌파의 특징을 추출하게 된다.

다만, 본 발명에서 특징 맵핑부(120)는 CSP 알고리즘에 적용되는 CSP 필터의 가중치를 결정하되, 동작 상상시 발생하는 뇌파 신호의 주파수에 따라 결정한다.

필터 가중치는 특징 맵핑부(120)와 연동되는 필터 설정부(121)에서 별도로 수행할 수 있는데, 필터 설정부(121)는 설계된 함수값을 뇌파 주파수에 적용하여 필터 가중치(혹은 필터값)을 결정하여 뇌파 주파수를 모델에 반영할 수 있게 한다.

다음, 공간 도메인 분석단계(S130)에서는 뇌파 신호의 특징들로 구성된 매트릭스를 각각 레이어(layer)로 설정하여 각 레이어마다 공간 특징을 분석한다. 공간 특징 분석은 실시예로써 상기한 공간 특징 분석부(130)에서 수행한다.

공간 특징 분석은 뇌파 신호의 특징을 신호 블록(예: 8 x 8 블록)에 배열하여 해당 블록 내의 각 위치에 존재하는 특징점들의 분포나 패턴 등을 통해 특정 시점의 동작 상상을 추정하는데 이용된다.

예컨대, 사용자가 한 손을 움직여 그에 대응하는 명령(예: 터치, 그립, 이동 등)을 생성하는 동작 상상을 하는 경우, 공간 특징은 그 한 손이 특정 시점에 갖는 형상이나 이미지가 될 수 있다.

이와 같이 본 발명은 공간 특징 분석부(130)에서 각각의 레이어마다 상술한 공간 특징을 분석함으로써, 이를 기반으로 시간적으로 연속하는 레이어에 존재하는 공간 특징들 사이의 변화를 학습하여 시간 특징을 분석할 수 있게 된다.

도 3과 같이 공간 특징 분석부(130)는 각 레이어에서 공간 특징을 분석할 수 있도록 레이어에 합성곱 신경망(CNN, Convolutional Neural Network) 모델을 적용하여 공간 특징을 추출한다.

다음, 시간 도메인 분석단계(S140)에서는 시간 순으로 배열된 레이어들간 공간 특징의 변화를 분석한다. 시간 도메인 특징 분석은 실시예로써 상술한 시간 특징 분석부(140)에 의해 수행된다.

인간의 뇌는 어떤 작업(Task)을 진행할 때 한 순간 뇌파의 변화가 있은 후 바로 없어지는 것이 아니라 일정시간 유지되며, 일정 시간 유지되는 모양은 각 작업(Task) 별로 서로 다른 양상을 보여준다.

따라서, 공간적으로 만들어진 신호 블록은 시간의 순서에 따라 독특한 특징을 가지되므로, 본 발명은 이러한 특징점을 시간 영역 특징 추출 모델에 의해 추출한다.

이를 위해 본 발명은 단위 시간 마다 특징점이 맵핑된 레이어들을 단위 시간의 흐름 순으로 배열하고, 각 레이어에서의 공간 특성들을 서로 비교함으로써 시간의 흐름에 따른 특징의 변화를 추출한다.

예컨대, 사용자가 한 손을 움직이는 명령을 상상하는 경우, 상기 공간 특징은 각 프레임에서의 손 형상이나 이미지가 이에 해당하고, 시간 특징은 그 손의 연속된 움직임에 해당한다.

이를 위해 도 3에서 예시한 바와 같이, 시간 특징 분석부(140)는 각각의 레이어에 순환 신경망(RNN, Recurrent Neural Network) 모델을 적용하여 시간적으로 연속된 레이어들의 공간 특징이 변화하는 것을 이용하여 시간 특징을 추출한다.

예컨대, 첫번째 이미지가 들어오면 공간적인 특징을 추출하고, 두번째 이미지가 들어오면 똑같이 공간적인 특징을 추출한 후, 그 추출된 공간적 특징들을 이용하여 시간상 상관관계의 특징을 추출합니다.

또한 세번째 이미지가 들어오면 모델은 다시 공간적인 특징을 추출하고 앞의 이미지에서 추출된 공간적 특징과의 상관관계를 분석하여 현재 뇌에서의 작업(Task) 즉, 동작 상상이 어떤 것일지 예측한다.

위와 같이 본 발명은 합성곱 신경망 모델을 통해 공간 특징을 추출 후 순환 신경망 모델을 이용하여 시간 특징을 추출한다. 이러한 점에서 본 발명의 모델을 순환적 합성공 신경망(RCNN) 모델이라 한다.

다음, 사용자 의도 분류단계(S150)에서는 상기 공간 특징들이 각각 단위 시간마다 변화하는 값을 입력받아 측정된 뇌파 신호의 동작 상상을 분류한다. 동작 상상에 대한 의도 분류는 실시예로써 상술한 의도 분류부(150)에 의해 수행된다.

의도 분류부(150)는 측정된 뇌파 신호의 동작 상상을 분류하는 것으로, 순환적 합성곱 신경망 모델을 적용한 경우에는 의도 분류를 위해 영역의 크기를 줄이는 풀링(예: max pooling)등과 같은 여러 처리 과정을 거칠 수 있다.

구체적으로, 의도 분류부(150)는 공간 특징 분석부(130) 및 시간 특징 분석부(140)로부터 얻은 값을 입력받아 이를 이용하여 뇌파 신호의 동작 상상 의도를 분류한다. 즉, 분석 모델을 적용함에 따라 공간 특징이 단위 시간마다 변화하는 값을 입력받아 동작 상상 의도를 분류한다.

일 예로 공간 영역 특징 추출 모델과 시간 영역 특징 추출 모델에서 추출된 특징 값들을 활용하여 딥 러닝(deep learning) 인공 신경망으로 분류함으로써 사용자의 의도를 분류한다.

다만, 의도 분류부(150)는 하나의 신체 부위로 한정하여 그 하나의 신체 부위에 대해 상상되는 동작의 변화를 동작 상상으로 분류함으로써 그 외 다른 신체 부위의 동작이나 상상에 의해 발생하는 배경 소음은 제거한다.

하나의 신체 부위는 양손 중 어느 한쪽 손이나 손목이나 어느 한쪽 눈 등과 같이 단일의 신체 부위를 의미하는 것으로, 본 발명은 여러 부위의 차이를 구분하는 것보다 상대적으로 분류가 어려운 하나의 신체 부위 동작 상상을 추정한다.

위와 같이 동작 상상의 의도를 분류한 경우에는 실시예로써 로봇 팔과 같은 외부 장치로 의도 실행 명령을 전달(S150a) 함으로써, 사용자의 동작 상상에 따른 목적을 실행하게 한다.

한편, 본 발명은 바람직한 다른 실시예로써 동작 상상 판별 단계(S110a)를 더 포함한다. 이러한 동작 상상 판별 단계(S110a)는 뇌파 신호 수집 후 특징 맵핑을 수행하기 전에 하는 것이 바람직하다.

동작 상상 판별 단계(S110a)는 특징점 발생 판독부(160)에서 뇌파 신호에 포함된 특정 주파수 대역의 신호 변화를 분석하여 뇌파 신호가 동작 상상에 의해 발생한 것인지 판단하여, 후술하는 특징점 분석이 개시되게 한다.

구체적으로, 주파수 분석부(161)는 뇌파 측정장치에서 측정된 뇌파 신호의 주파수를 분석하고, 에너지 분석부(162)는 분석된 주파수에 대해 α밴드 영역과 β밴드 영역의 측정 에너지를 분석한다. 에너지 분석은 α밴드 영역과 β밴드 영역의 에너지 증가 또는 감소를 추적하며, α밴드 영역은 μ밴드 영역을 포함한다.

따라서, 동작 상상 판단부(163)는 에너지 분석부(162)의 분석 결과를 입력받아 α밴드 영역과 β밴드 영역의 에너지 변화를 분석하여, 뇌파 신호가 동작 상상에 의해 발생한 것인지 판단한다.

즉, 동작을 상상할 때 뇌의 운동 피질에서는 α밴드 영역에서의 에너지는 감소하고, β밴드 영역에서의 에너지는 증가하므로 이를 통해 동작 상상 상태를 판단한다.

판단결과에 따라 동작 상상 의도 분류의 모델의 적용을 시작하여 컴퓨터 처리 연산량을 최적화하거나, 정확한 시점의 데이터를 이용하여 모델에 적용되는 단위 기준 시간을 결정할 수 있다.

특히, 상술한 특징 맵핑부는 특징점 발생 판독부(160)로부터 동작 상상에 의해 뇌파 신호가 발생한 시간 정보를 제공받아 동작 상상에 의해 뇌파 신호가 발생하는 동안의 뇌파 신호만을 매트릭스 구조로 배열되는 특징에 포함시킨다.

즉, 동작 상상에 의해 특징점들만을 추출하고 이를 분석함으로서 그 외 다른 시점에서 발생하는 노이즈가 분석에 포함(혼합)되지 않도록 함으로서 사용자의 동작 상상 의도를 정밀하게 분석할 수 있게 한다.

이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.

따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

110: 정보 저장부
120: 특징 맵핑부
130: 공간 특징 분석부
140: 시간 특징 분석부
150: 의도 분류부
161: 주파수 분석부
162: 에너지 분석부
163: 동작 상상 판단부
BL: 신호 블록
FE: 특징점

Claims (11)

1. 동작 상상시 발생하는 뇌파 신호를 시간 순서로 분석하여 사용자의 의도를 추정하는 뇌파를 활용한 동작 상상 분류 장치에 있어서,
   뇌파 측정장치에 의해 측정된 뇌파 신호를 수집하여 저장하는 정보 저장부(110)와;
   상기 뇌파 신호를 설정된 단위 시간마다 측정된 신호로 분류하고, 시간 순으로 배열된 뇌파 신호의 특징들 중 동일한 단위 시간에 측정된 특징끼리 조합하여 각각 매트릭스(matrix) 구조로 배열하는 특징 맵핑부(120)와;
   상기 특징들로 구성된 매트릭스를 각각 레이어(layer)로 설정하여 각 레이어마다 공간 특징을 분석하는 공간 특징 분석부(130)와;
   시간 순으로 배열된 레이어들간 공간 특징의 변화를 분석하는 시간 특징 분석부(140)와;
   상기 공간 특징들이 각각 단위 시간마다 변화하는 값을 입력받아 상기 측정된 뇌파 신호의 동작 상상을 분류하는 의도 분류부(150); 및
   상기 뇌파 신호에 포함된 특정 주파수 대역의 신호 변화를 분석하여 상기 뇌파 신호가 동작 상상에 의해 발생한 것인지 판단하는 특징점 발생 판독부(160);를 포함하고,
   상기 특징 맵핑부는,
   상기 특징점 발생 판독부(160)로부터 상기 동작 상상에 의해 뇌파 신호가 발생한 시간 정보를 제공받아 상기 동작 상상에 의해 뇌파 신호가 발생하는 동안의 뇌파 신호만을 상기 매트릭스 구조로 배열되는 특징에 포함시키고,
   상기 특징점 발생 판독부(160)는,
   상기 뇌파 측정장치에서 측정된 뇌파 신호의 주파수를 분석하는 주파수 분석부(161)와;
   상기 분석된 주파수에 대해 α밴드 영역과 β밴드 영역의 측정 에너지를 분석하는 에너지 분석부(162); 및
   상기 α밴드 영역과 β밴드 영역의 에너지 변화를 분석하여, 상기 α밴드 영역에서의 에너지는 감소(event related desynchronization)하고, β밴드 영역에서 의 에너지는 증가(event related synchronization)하면 상기 뇌파 신호가 동작 상상에 의한 것으로 판단하는 동작 상상 판단부(163);를 더 포함하는 것을 특징으로 하는 뇌파를 활용한 동작 상상 분류 장치.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 특징 맵핑부(120)는,
   상기 사용자가 동작을 상상하는 하나의 시도가 n초 동안 이루어진 것으로 가정하고, 상기 뇌파 신호를 2n개의 신호 블록으로 분류하여, 서로 연속하는 2개의 신호 블록들간 비교가 이루어지도록 하는 것을 특징으로 하는 뇌파를 활용한 동작 상상 분류 장치.
5. 제1항에 있어서,
   상기 특징 맵핑부(120)는,
   멀티 채널 동작 상상(multi-channel motor imagery) 뇌파 신호에 대한 특징점을 추출하기 위해 CSP(Common Spatial Pattern) 알고리즘을 적용하는 것을 특징으로 하는 뇌파를 활용한 동작 상상 분류 장치.
6. 제5항에 있어서,
   상기 특징 맵핑부(120)는,
   상기 CSP 알고리즘에 적용되는 CSP 필터의 가중치를 결정하되, 상기 CSP 필터의 가중치는 상기 동작 상상시 발생하는 뇌파 신호의 주파수에 따라 결정되는 것을 특징으로 하는 뇌파를 활용한 동작 상상 분류 장치.
7. 제1항에 있어서,
   상기 공간 특징 분석부(130)는,
   각각의 레이어에 합성곱 신경망(CNN, Convolutional Neural Network) 모델을 적용하여 각 층 레이어마다 상기 공간 특징을 추출하는 것을 특징으로 하는 뇌파를 활용한 동작 상상 분류 장치.
8. 제7항에 있어서,
   상기 시간 특징 분석부(140)는,
   각각의 레이어에 순환 신경망(RNN, Recurrent Neural Network) 모델을 적용하여 시간적으로 연속된 레이어들 사이에서 상기 공간 특징이 변화하는 것을 이용하여 상기 시간 특징을 추출하는 것을 특징으로 하는 뇌파를 활용한 동작 상상 분류 장치.
9. 제1항에 있어서,
   상기 의도 분류부(150)는,
   딥 러닝(deep learning) 인공 신경망에 의해 분류되는 것을 특징으로 하는 뇌파를 활용한 동작 상상 분류 장치.
10. 제1항에 있어서,
    상기 의도 분류부(150)는,
    하나의 신체 부위로 한정하여 상기 하나의 신체 부위에 대해 상상되는 동작의 변화를 상기 동작 상상으로 분류함으로써 다른 신체 부위의 동작이나 상상에 의해 발생하는 배경 소음을 제거하는 것을 특징으로 하는 뇌파를 활용한 동작 상상 분류 장치.
11. 동작 상상시 발생하는 뇌파 신호를 시간 순서로 분석하여 사용자의 의도를 추정하는 뇌파를 활용한 동작 상상 분류 방법에 있어서,
    특징점 발생 판독부(160)에서 상기 뇌파 신호에 포함된 특정 주파수 대역의 신호 변화를 분석하여 상기 뇌파 신호가 동작 상상에 의해 발생한 것인지 판단하는 동작 상상 판별 단계(S110a)와;
    뇌파 측정장치에 의해 측정된 뇌파 신호를 수집하여 정보 저장부(110)에 저장하는 정보 저장단계(S110)와;
    특징 맵핑부(120)에서 상기 뇌파 신호를 설정된 단위 시간마다 측정된 신호로 분류하고, 시간 순으로 배열된 뇌파 신호의 특징들 중 동일한 단위 시간에 측정된 특징끼리 조합하여 각각 매트릭스(matrix) 구조로 배열하는 블록 맵핑단계(S120)와;
    공간 특징 분석부(130)에서 상기 특징들로 구성된 매트릭스를 각각 레이어(layer)로 설정하여 각 레이어마다 공간 특징을 분석하는 공간 도메인 분석단계(S130)와;
    시간 특징 분석부(140)에서 시간 순으로 배열된 레이어들간 공간 특징의 변화를 분석하는 시간 도메인 분석단계(S140); 및
    의도 분류부(150)에서 상기 공간 특징들이 각각 단위 시간마다 변화하는 값을 입력받아 상기 측정된 뇌파 신호의 동작 상상을 분류하는 사용자 의도 분류단계(S150);를 포함하고,
    상기 특징 맵핑부는,
    상기 특징점 발생 판독부(160)로부터 상기 동작 상상에 의해 뇌파 신호가 발생한 시간 정보를 제공받아 상기 동작 상상에 의해 뇌파 신호가 발생하는 동안의 뇌파 신호만을 상기 매트릭스 구조로 배열되는 특징에 포함시키고,
    상기 특징점 발생 판독부(160)는,
    상기 뇌파 측정장치에서 측정된 뇌파 신호의 주파수를 분석하는 주파수 분석부(161)와;
    상기 분석된 주파수에 대해 α밴드 영역과 β밴드 영역의 측정 에너지를 분석하는 에너지 분석부(162); 및
    상기 α밴드 영역과 β밴드 영역의 에너지 변화를 분석하여, 상기 α밴드 영역에서의 에너지는 감소(event related desynchronization)하고, β밴드 영역에서 의 에너지는 증가(event related synchronization)하면 상기 뇌파 신호가 동작 상상에 의한 것으로 판단하는 동작 상상 판단부(163);를 더 포함하는 것을 특징으로 하는 뇌파를 활용한 동작 상상 분류 방법.

Images