KR102458459B1

KR102458459B1 - 다채널 신경신호 실시간 디코딩 시스템 및 이를 이용한 다채널 신경신호 실시간 디코딩 방법

Info

Publication number: KR102458459B1
Application number: KR1020200116662A
Authority: KR
Inventors: 추준욱; 지인혁; 정지욱; 권오원; 김창원
Original assignee: 한국기계연구원
Priority date: 2020-09-11
Filing date: 2020-09-11
Publication date: 2022-10-26
Also published as: KR20220034376A

Abstract

다채널 신경신호 실시간 디코딩 시스템 및 이를 이용한 다채널 신경신호 실시간 디코딩 방법에서, 상기 실시간 디코딩 시스템은 대상체로부터 입력되는 힘 정보 및 다채널의 신경신호를 디코딩하여 대상체의 동작 의도를 추출하는 디코딩부를 포함한다. 상기 디코딩부는, 상기 입력된 신경신호를 필터링하는 데이터 처리부, 상기 필터링된 신경신호에서 잡음(artifact)을 제거하는 잡음 제거부, 상기 잡음이 제거된 신경신호에 대하여 활동전위를 검출하여 분류하는 활동전위 분류부, 상기 분류된 활동전위를 래스터(raster) 도식화(plotting)로 활동전위를 패터닝하는 활동전위 패터닝부, 상기 패터닝된 활동전위에 대하여 활동전위 발화율(firing rate)을 연산하여 차원을 축소하는 차원 축소부, 및 상기 차원이 축소되어 출력되는 신호로부터 상기 동작 의도를 분류하는 동작의도 분류부를 포함한다.

Description

다채널 신경신호 실시간 디코딩 시스템 및 이를 이용한 다채널 신경신호 실시간 디코딩 방법{REAL TIME DECODING SYSTEM FOR MULTI-CHANNEL NEURAL ACTIVITY AND REAL TIME DECODING METHOD USING THE SAME}

본 발명은 실시간 디코딩 시스템 및 이를 이용한 실시간 디코딩 방법에 관한 것으로, 더욱 상세하게는 신경 신호를 기반으로 의수나 의족과 같은 로봇을 제어하기 위해, 상기 신경 신호를 실시간으로 처리하는 기술로, 다채널로 입력되는 신경신호를 학습을 바탕으로 실시간으로 디코딩하여 높은 성공률과 시간 지연을 최소화하며 동작의도에 부합하는 매핑이 가능한 다채널 신경신호 실시간 디코딩 시스템 및 이를 이용한 다채널 신경신호 실시간 디코딩 방법에 관한 것이다.

종래 신경신호를 바탕으로 사용자가 의도하는 동작을 추출하고, 이에 매칭되는 동작을 구현하는 기술은 다양하게 개발되고 있다.

예를 들어, 대한민국 등록특허 제10-1422669호에서는 검출되는 신경신호를 바탕으로 보행 주기를 검출하여 보행주기를 결정하는 내용을 개시하고 있으며, 대한민국 등록특허 제10-1904226호에서는 검출되는 신경신호를 바탕으로 관절의 각도를 검출하고, 이로부터 관절의 각도를 추정하는 내용을 개시하고 있다.

그러나, 종래의 신경신호 검출 알고리즘의 경우, 검출 채널의 수가 증가함에 따라 데이터 처리를 위한 시간이 동시에 증가하므로, 사용자가 필요한 데이터를 제공받거나 사용자가 필요로 하는 출력이 발생되기까지 많은 시간이 소요되는 문제가 있었다.

한편, 상기 데이터 처리를 위한 시간을 감소시키기 위해서는, 검출 채널의 수를 줄여야 하지만, 검출 채널의 수가 감소할수록 해석 결과 또는 추출 결과가 실제 요구되는 결과와 차이가 크며, 이는 사용자의 동작 의도에 부합하지 않은 출력을 실행하는 문제가 있었다.

이에, 현재까지 신경신호를 검출하고, 실시간으로 신호를 처리하여 사용자의 의도에 부합하는 결과를 도출하는 신경신호 처리 시스템에 대한 기술적 필요성이 증가하며, 특히, 최근 의수나 의족과 같은 로봇의 제어 분야에서 상기 신경신호의 실시간 처리 시스템에 대한 필요성이 증가하고 있음에도, 요구에 부합하는 기술은 개발되지 못하는 상황이다.

대한민국 등록특허 제10-1422669호 대한민국 등록특허 제10-1904226호

이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 다채널로 입력되는 신경신호를 학습을 바탕으로 실시간으로 디코딩할 수 있으며, 높은 성공률과 시간 지연의 최소화를 통해, 사용자의 동작 의도에 부합하는 매핑을 구현할 수 있는 다채널 신경신호 실시간 디코딩 시스템을 제공하는 것이다.

또한, 본 발명의 다른 목적은 상기 실시간 디코딩 시스템을 이용한 다채널 신경신호 실시간 디코딩 방법을 제공하는 것이다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 의한 실시간 디코딩 시스템은 대상체로부터 입력되는 힘 정보 및 다채널의 신경신호를 디코딩하여 대상체의 동작 의도를 추출하는 디코딩부를 포함한다. 상기 디코딩부는, 상기 입력된 신경신호를 필터링하는 데이터 처리부, 상기 필터링된 신경신호에서 잡음(artifact)을 제거하는 잡음 제거부, 상기 잡음이 제거된 신경신호에 대하여 활동전위를 검출하여 분류하는 활동전위 분류부, 상기 분류된 활동전위를 래스터(raster) 도식화(plotting)로 활동전위를 패터닝하는 활동전위 패터닝부, 상기 패터닝된 활동전위에 대하여 활동전위 발화율(firing rate)을 연산하여 차원을 축소하는 차원 축소부, 및 상기 차원이 축소되어 출력되는 신호로부터 상기 동작 의도를 분류하는 동작의도 분류부를 포함한다.

일 실시예에서, 상기 디코딩부에서 추출되는 대상체의 동작 의도에 부합하는 제어 신호를 생성하여 로봇부를 제어하는 로봇 제어부를 더 포함할 수 있다.

일 실시예에서, 상기 로봇부는 의족 또는 의수이며, 상기 대상체는 상기 의족 또는 의수를 착용하는 사용자일 수 있다.

일 실시예에서, 상기 신경신호는 64 채널(channel)로 입력되고, 상기 활동전위 패터닝부에서 패터닝된 활동전위는 192 차원을 가지며, 상기 차원 축소부에서는 상기 활동전위를 16차원으로 축소할 수 있다.

일 실시예에서, 상기 데이터 처리부는, 상기 다채널로 입력되는 신경신호의 각각의 채널에 대하여, 고주파 및 노치 필터링(high-pass and notch filtering)을 수행할 수 있다.

일 실시예에서, 상기 잡음 제거부는, 상기 다채널로 입력되는 신경신호의 각각의 채널에 대하여, 국소 다항식 근사를 통한 잡음 제거방법(subtraction of artifacts by Local Polynomial Approximation, SALPA)으로 잡음을 제거할 수 있다.

일 실시예에서, 상기 활동전위 분류부는, 상기 채널별 신경신호의 분산에 비례하는 역치값으로 활동전위를 검출하고, K-평균 알고리즘(K-means algorithm)을 이용하여 상기 검출된 활동전위에 대하여 활동전위를 분류하고, 비교사 학습(unsupervised learning)을 수행하여 상기 K-평균 알고리즘의 파라미터를 갱신할 수 있다.

일 실시예에서, 상기 활동전위 패터닝부는, 상기 분류된 활동전위를 도식화함과 동시에, 상기 입력되는 힘 정보도 동시에 도식화할 수 있다.

일 실시예에서, 상기 차원 축소부는, 상기 패터닝된 활동전위에 대하여 활동전위 발화율(firing rate)을 연산하는 연산부, 상기 활동전위 발화율을 바탕으로 자기 조직화 특징 지도(self-organized feature map, SOFM)를 구성하여 차원을 축소하는 축소부, 상기 축소된 차원을 벡터로 출력하는 출력부, 및 비교사 학습(unsupervised learning)을 수행하여 상기 자기 조직화 특징 지도의 파라미터를 갱신하는 SOFM 갱신부를 포함할 수 있다.

일 실시예에서, 상기 동작의도 분류부는, 상기 출력부에서 출력되는 벡터를 입력 벡터로 설정하는 입력벡터 설정부, 상기 입력 벡터로부터 은닉층(hidden layer)을 가지는 다층 퍼셉트론(multi-layer perceptron, MLP)을 구성하는 MLP 구성부, 상기 구성된 다층 퍼셉트론으로부터 1차원의 출력 벡터를 생성하는 동작 분류부, 및 상기 입력되는 힘 정보를 바탕으로 학습을 수행하여 상기 다층 퍼셉트론의 파라미터를 갱신하는 MLP 갱신부를 포함할 수 있다.

일 실시예에서, 상기 1차원의 출력 벡터가 상기 대상체의 동작 의도에 해당되는 정보일 수 있다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 의한 실시간 디코딩 방법에서, 대상체로부터 힘 정보 및 다채널의 신경신호를 입력받는다. 상기 입력된 신경신호를 필터링한다. 상기 필터링된 신경신호에서 잡음을 제거한다. 상기 잡음이 제거된 신경신호에 대하여 활동전위를 검출하여 분류한다. 상기 분류된 활동전위를 래스터(raster) 도식화(plotting)로 활동전위를 패터닝한다. 상기 패터닝된 활동전위에 대하여 활동전위 발화율을 연산하여 차원을 축소한다. 상기 차원이 축소되어 출력되는 신호로부터 상기 대상체의 동작 의도를 분류한다.

일 실시예에서, 상기 동작 의도를 바탕으로, 상기 대상체의 동작 의도에 부합하는 제어 신호를 생성하여 로봇부를 제어하는 단계를 더 포함할 수 있다.

본 발명의 실시예들에 의하면, 다채널로 입력되는 신경신호에 대하여 디코딩을 수행하여 신호의 차원을 축소하며, 이를 통해 대상체의 동작 의도를 파악함으로써, 신경신호의 처리를 위한 시간을 최소화하여 실시간 디코딩이 가능하며, 동작 의도 파악의 성공률을 높일 수 있고, 시간 지연을 최소화하여 대상체의 동작 의도에 부합하는 매핑을 효과적으로 수행할 수 있다.

즉, 64 채널과 같은 다수의 채널로 신경신호가 입력되므로, 보다 많은 입력데이터로부터 대상체의 의도를 파악할 수 있어 의도 파악의 정확성이 향상되며, 상기 입력된 채널로부터 활동전위가 192 차원을 가짐에도, 결국 차원 축소를 통해 16차원의 활동전위를 도출하게 되므로, 신호 처리에 따른 시간 지연을 최소화하여 실시간 매핑을 구현할 수 있다.

특히, 신경신호와 함께 센싱되는 힘 정보도 동시에 입력되며, 이를 바탕으로, 동작의도 분류부에서는 학습을 수행하여 다층 퍼셉트론의 파라미터를 갱신할 수 있고, 이러한 실시간 학습으로 갱신되는 파라미터를 통해, 상기 디코딩을 수행함으로써, 보다 정확한 대상체의 동작 의도에 부합하는 매핑을 수행할 수 있다.

즉, 매 동작마다 입력되는 힘 정보 및 신경신호가 변화하는 상태를 실시간으로 반영할 수 있어, 보다 정확하게 대상체의 동작 의도의 파악이 가능할 수 있다.

그리하여, 대상체에 직접 착용되는 의수, 의족 등과 같은 로봇을 제어하는 경우, 대상체의 동작 의도를 정확하게 반영할 수 있으므로, 대상체의 의도에 보다 부합하도록 의수, 의족 등의 동작을 구현할 수 있게 된다.

도 1은 본 발명의 일 실시예에 의한 실시간 디코딩 시스템을 도시한 블록도이다.
도 2는 도 1의 차원 축소부를 도시한 블록도이고, 도 3은 도 1의 동작의도 분류부를 도시한 블록도이다.
도 4는 도 1의 디코딩 부의 디코딩 과정을 모식화한 구조도이다.
도 5는 도 1의 실시간 디코딩 시스템을 이용한 실시간 디코딩 방법을 도시한 흐름도이다.
도 6은 도 1의 잡음 제거부에서 제거의 대상이 되는 잡음을 포함하는 64채널의 신경 신호를 도시한 이미지이다.
도 7은 도 1의 활동전위 분류부에서, 잡음이 제거된 64채널의 신경신호에 대하여 활동 전위를 분류한 상태를 도시한 이미지이다.
도 8은 도 1의 활동전위 패터닝부에서 래스터(raster) 도식화로 도시되는 활동전위 패턴을 도시한 이미지이다.
도 9는 도 1의 차원 축소부를 통해 차원이 축소되고, 동작의도 분류부를 통해 동작의도가 분류되며 출력되는 그래프를 도시한 이미지이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.

이하에서는, 설명의 편의상, 도 1 내지 도 9를 참조하여, 본 실시예에 의한 실시간 디코딩 시스템(10) 및 상기 실시간 디코딩 시스템(10)을 이용한 실시간 디코딩 방법에 대하여 동시에 설명한다.

우선, 도 1을 참조하면, 상기 실시간 디코딩 시스템(10)은 센서부(210) 및 신호 증폭부(220)를 포함하는 데이터 입력부(200), 상기 입력된 데이터에 대한 디코딩(decoding)을 수행하는 디코딩부(300), 및 로봇부(500)에 대한 제어를 수행하는 로봇 제어부(400)를 포함한다.

이 경우, 상기 센서부(210)는, 대상체(100)로부터 힘 정보를 센싱하며, 상기 신호 증폭부(200)는, 상기 대상체(100)로부터 신경신호를 입력받아 이를 증폭한다.

상기 대상체(100)는, 도 1에서는 실험의 대상인 원숭이를 예시하였으나, 사용자일 수 있으며, 특히, 상기 로봇부(500)를 실제 착용하는 사용자일 수 있다.

이 경우, 상기 로봇부(500)는 예를 들어, 의수, 의족과 같이 사용자에게 직접 착용되는 로봇일 수 있으며, 이에 제한되지 않고, 사용자의 의도에 부합하도록 구동 또는 동작될 수 있는 것이면 충분하다.

결국, 본 실시예에서의 상기 실시간 디코딩 시스템(10)은, 사용자(100)로부터 획득되는 힘 정보 및 신경신호를 바탕으로, 상기 디코딩부(300)에서 디코딩을 수행하여, 상기 사용자의 의도를 파악하고, 상기 사용자의 의도에 부합하는 제어 신호를 상기 로봇 제어부(400)가 생성하여, 상기 로봇부(500)를 동작시키게 된다.

한편, 상기 센서부(210)는 예를 들어, 상기 대상체(100)의 핸드부(110) 등을 통해 입력되는 힘 신호를 센싱할 수 있으며, 이에 제한되지 않고, 상기 대상체(100)가 생성하는 동작을 센싱하는 것으로 충분히다. 예를 들어, 카메라 기반의 모션 캡쳐 시스템도 가능하다. 또한, 상기 핸드부 및 상기 센싱부에서 측정되는 동작 종류(motion class)의 개수는 다양하게 설정될 수 있다.

상기 신호 증폭부(220)는, 상기 대상체(100)로부터 신경 신호를 입력받아 이를 증폭하는 것으로, 예를 들어, 상기 대상체(100)가 힘 신호를 생성하는 근육과 관계된 신경에 삽입되는 전극(120)을 이용하여, 상기 신경 신호를 입력받을 수 있다. 여기서 신경은 말초신경, 척수신경, 대뇌신경을 포함할 수 있다.

본 실시예에서는, 상기 입력받는 신경 신호는 다채널의 신경신호일 수 있으며, 이와 같이 신경 신호가 다채널로 구성됨에 따라, 보다 많은 신경신호의 정보를 획득할 수 있어, 상기 대상체(100)의 의도 파악의 정확성을 향상시킬 수 있다.

이하에서는, 상기 신경 신호가, 64 채널(channel)로 입력되는 것을 예시하여 설명하였으나, 상기 입력되는 신경 신호는 이에 국한되지 않으며 다양하게 설정될 수 있다.

한편, 상기 디코딩부(300)는, 데이터 처리부(310), 잡음 제거부(320), 활동전위 분류부(330), 활동전위 패터닝부(340), 차원 축소부(350) 및 동작의도 분류부(360)를 포함한다.

이 경우, 도 2 및 도 3을 추가로 참고하면, 상기 차원 축소부(350)는 연산부(351), 축소부(352), 출력부(353) 및 SOFM 갱신부(354)를 포함하고, 상기 동작의도 분류부(360)는 입력벡터 설정부(361), MLP 구성부(362), 동작 분류부(363) 및 MLP 갱신부(364)를 포함한다.

보다 구체적으로, 상기 실시간 디코딩 시스템(10) 및 이를 이용한 실시간 디코딩 방법을 설명하면 하기와 같다.

우선, 상기 데이터 입력부(200)를 통해, 상기 대상체(100)의 힘 정보가 상기 센서부(210)에서 센싱되어 상기 데이터 처리부(310)로 입력되고, 상기 대상체(100)에 위치하는 전극(120)을 통해 입력되는 다채널의 신경 신호는 상기 신호 증폭부(220)를 통해 증폭되어 상기 데이터 처리부(310)로 입력된다(단계 S10).

이 후, 도 1, 도 4 및 도 5를 참조하면, 상기 데이터 처리부(310)는 상기 입력되는 다채널의 신경 신호를 필터링하여 상기 잡음 제거부(320)로 제공한다(단계 S20).

상기 신경 신호는, 예를 들어 64 채널의 다채널로 입력되는데, 상기 데이터 처리부(310)에서는, 각각의 채널로 입력되는 상기 신경 신호에 대하여, 고주파 및 노치 필터링(high-pass and notch filtering)을 수행한다.

이 경우, 상기 데이터 처리부(310)에서의 상기 신경 신호 필터링은, 각각의 채널에 대하여 순차적으로 필터링을 수행하는 것이 아니며, 모든 채널에 대하여 동시에 필터링을 수행하는, 소위 병렬 필터링 처리를 수행한다.

이 후, 도 1, 도 4 및 도 5를 참조하면, 상기 잡음 제거부(320)는 상기 데이터 처리부(310)를 통해 필터링된 다채널의 신경신호에 대하여, 각각의 채널별로 잡음을 제거(artifact suppression)한다(단계 S30).

도 6에 도시된 바와 같이, 예를 들어 총 64개의 채널 각각으로 입력되는 신경신호에는, 화살표로 도시된 바와 같은 잡음(artifact)이 포함되며, 상기 잡음 제거부(320)는 상기 잡음을 제거함으로써, 후술되는 디코딩 절차에서 불필요한 신호에 의한 매핑의 정확성 저하를 방지하게 된다.

이 경우, 상기 잡음 제거부(320)에서의 잡음 제거 역시, 상기 데이터 처리부(310)에서의 필터링과 같이, 모든 채널에 대하여 동시에 잡음 제거를 수행하는, 소위 병렬 잡음 처리를 수행하며, 이를 통해 데이터 처리 시간을 최소화할 수 있다.

한편, 상기 잡음 제거부(320)에서는, 예를 들어, 국소 다항식 근사를 통한 잡음 제거방법(subtraction of artifacts by Local Polynomial Approximation, SALPA)으로 잡음을 제거할 수 있다.

이 후, 도 1, 도 4 및 도 5를 참조하면, 상기 활동전위 분류부(330)는 상기 잡음이 제거된 다채널 신경신호에 대하여 각 채널별로 활동전위(spike)를 분류한다(단계 S40).

이 경우, 상기 활동전위 분류부(330)에서의 활동전위 분류 역시, 앞선 데이터 처리에서와 같이, 모든 채널에 대하여 동시에 활동전위를 분류하는, 소위 병렬 분류를 수행하며, 이를 통해 데이터 처리 시간을 최소화할 수 있다.

이 때, 상기 활동전위란, 상기 대상체(100)가 힘을 발생시키는 경우, 해당 힘에 매칭되어 신경세포가 활동함에 따라 발생하는 전압의 변화를 의미하는 것으로, 각각의 채널에서 상기 활동전위를 분류함으로써, 상기 대상체(100)가 힘을 발생시키는 상황을 인지할 수 있으며, 후술되는 동작 의도의 분류의 기초를 마련할 수 있다.

상기 활동전위 분류부(330)는, 상기 잡음이 제거된 신경신호에 대하여 활동전위를 검출하여 분류한다.

보다 구체적으로, 상기 활동전위는 각 채널마다 설정되는 역치값에 따라 검출되며, 예를 들어, 역치값을 통과(crossing)하는 시점을 기준으로 -0.5 ms 에서 1.5 ms 까지의 시간구간 2 ms 동안의 신경신호를 활동전위(spike)로 검출하게 된다. 여기서 역치값은 채널별 신경신호의 분산에 비례하여 자동으로 조절된다. 즉, 잡음이 큰 채널의 경우 높은 역치값을 가지며 잡음이 적은 채널의 경우 낮은 역치값을 가짐으로써 잡음은 배제하고 활동전위(spike)만을 검출할 수 있다.

이와 같이, 상기 활동전위를 검출한 후, 상기 활동전위 분류부(330)는, 예를 들어, K-평균 알고리즘(K-means algorithm)을 이용하여 상기 검출된 활동전위에 대하여 활동전위를 분류한다.

이 경우, 상기 K-평균 알고리즘(K-means algorithm)이란, 상기 검출된 활동전위를 형태에 따라 k개의 클러스터로 묶는 알고리즘을 의미하는 것으로, 상기 K-평균 알고리즘(K-means algorithm)은 k개의 클러스터 중심값들을 기준으로 활동전위와의 유클리디안 거리(Euclidean distance)를 계산하고 최소 거리의 중심값을 가지는 클러스터의 k 값을 출력하는 방식으로 동작한다.

이 경우, 상기 K-평균 알고리즘(K-means algorithm)은 비교사 학습(unsupervised learning)을 수행하는 것으로, 활동전위와 최소 거리를 가지는 중심값을 활동전위와 유사하게 갱신함으로써 군집화 시키는 방식으로 동작한다.

한편, 도 7에 도시된 바와 같이, 각각의 채널에서는 3개의 활동전위가 분류되는데, 이는 도 1의 상기 전극(120)을 통해 상기 신경 신호를 입력받는 경우, 하나의 전극이 하나의 채널에 대응된다고 가정할 때, 하나의 전극 주변의 3개의 신경으로부터 신경 신호를 제공받도록 구성되었기 때문이다.

물론, 이 경우, 상기 각각의 전극에서 신경 신호를 제공받는 개수는 다양하게 가변될 수 있다.

그리하여, 도 7에서와 같이, 하나의 채널의 신경 신호는, 총 3개의 활동전위를 나타내는 그래프로 도식화되며, 각각의 그래프는 소정의 전위를 나타내도록 도식화되는 것을 확인할 수 있다.

이상과 같이, 상기 활동전위 분류부(330)에서는, 예를 들어, 각각 3개의 활동전위를 포함하는 64 채널의 신경 신호의 활동전위를 분류하게 된다.

이 후, 도 1, 도 4 및 도 5를 참조하면, 상기 활동전위 패터닝부(340)는 상기 활동전위 분류부(330)에서 분류된 상기 활동전위를, 소위 래스터 도식화(raster plotting)를 통해 패터닝(patterning)한다(단계 S50).

즉, 상기 활동전위 패터닝부(340)에서는, 도 7에서와 같이 각 채널에서 연속적인 전위로 도시되며 분류된 활동전위를, 도 8에 도시된 바와 같이, 각 채널에 대하여 점(raster)의 형태로 분산시키며, 상기 활동전위를 패터닝한다.

또한, 상기 활동전위 패터닝부(340)에서는, 도 8의 하부에 도시된 바와 같이, 상기 대상체(100)로부터 입력되는 힘 정보를 동시에 도식화한다.

이에 따라, 도 8의 활동전위 패터닝의 결과를 참조하면, 상기 입력되는 힘 정보에 대한 그래프 상에서 힘이 인가되는 구간(A)과 매칭되어, 상기 점 형태로 분산된 활동전위 패터닝 상에서의 패턴이 집중되는 것을 확인할 수 있다.

이러한 활동전위의 패터닝을 통해, 상기 활동전위 분류부(330)를 통해 분류된 활동전위의 패턴을 입력되는 힘과의 관계와 함께 패터닝되는 것을 확인할 수 있다.

이 후, 도 1, 도 4 및 도 5를 참조하면, 상기 활동전위 패터닝부(340)를 통해 패터닝된 활동전위에 대하여, 상기 차원 축소부(350)에서 활동전위 발화율(firing rate)을 연산하여 차원을 축소한다(단계 S60).

보다 구체적으로, 도 2를 참조하면, 상기 차원 축소부(350)는 연산부(351), 축소부(352), 출력부(353) 및 SOFM 갱신부(354)를 포함한다.

상기 연산부(351)는 상기 패터닝된 활동전위에 대하여 활동전위 발화율(firing rate)을 연산한다.

이 경우, 상기 활동전위 발화율이란, 상기 패터닝된 활동전위에 대하여, 상기 활동전위를 생성하는 활동전위 생성비율을 의미한다.

또한, 앞서 설명한 바와 같이, 예를 들어, 상기 신경 신호가 64개의 다채널을 통해 입력되고, 각각의 채널이 3개의 신경 신호를 제공받음에 따라, 총 192 차원의 신호가 발생하게 되는데, 이에 따라, 상기 연산부(351)에서는, 소정의 정해진 구간에서, 상기 192 차원 각각에 대하여 상기 활동전위 발화율을 입력벡터로 연산한다.

상기 축소부(352)는 상기 활동전위 발화율을 바탕으로, 자기 조직화 특징 지도(self-organized feature map, SOFM)를 구성하여 차원을 축소한다.

이 경우, 상기 자기 조직화 특징 지도는, 상기 활동전위 패터닝부(340)를 통해 도 8에서와 같이 패터닝된 활동전위를, 차원을 축소시키며 시각화하여 도 9에 도시된 바와 같은 지도로 매핑하는 것을 의미한다.

특히, 본 실시예에서, 예를 들어, 상기 활동전위 발화율은 총 192 차원의 입력벡터로 연산되는데, 이러한 192 차원 모두에 대하여 동작의도를 분류하는 것은 데이터 처리 시간이 증가하거나 데이터 처리 용량이 증가하는 등의 문제가 있으므로, 차원의 축소가 필요하다.

이에 따라, 본 실시예에서는, 상기 축소부(352)에서, 상기 자기 조직화 특징 지도를 구성하여, 도 8에 도시된 바와 같이, 총 192 차원의 입력벡터에 대하여, 예를 들어, 2차원을 가지는 8개의 지도로 매핑할 수 있다.

이 경우, 상기 8개의 지도로의 매핑시에도, 상기 매핑은 순차적으로 진행되지 않으며, 동시에 8개의 지도가 매핑되는, 소위 병렬형의 매핑을 수행하며 차원 축소가 수행된다.

이에 따라, 차원 축소 과정에서의 데이터 처리의 지연이 최소화되며, 결국 실시간 차원 축소가 가능하게 된다.

상기 출력부(353)는 상기 축소부(352)에서 축소된 차원을 벡터로 출력하는 것으로, 예를 들어, 2차원을 가지는 8개의 지도로 매핑되며 차원이 축소됨에 따라, 상기 출력부(353)를 통해서는 총 16차원의 출력 벡터를 출력할 수 있다.

한편, 상기 차원 축소부(350)는, 예를 들어, 자기 조직화 특징 지도(self-organized feature map, SOFM)를 이용하여 상기 연산된 192차원의 활동전위 발화율에 대하여 차원을 축소한다.

이 경우, 상기 자기 조직화 특징 지도(self-organized feature map, SOFM)는 활동전위 발화율을 나타내는 입력벡터가 40 X 40 의 2차원 공간의 격자점들에 서로 다른 연결강도로 연결되어 있고, 입력벡터와 연결강도 간의 유클리디안 거리(Euclidean distance)가 최소인 격자점의 2차원 좌표가 출력된다.

상기 자기 조직화 특징 지도(self-organized feature map, SOFM)는 비교사 학습(unsupervised learning)을 수행하는 것으로, 입력벡터와 연결강도 간의 유클리디안 거리(Euclidean distance)가 최소인 격자점을 기준으로 40 X 40 의 2차원 공간의 격자점들의 연결강도를 거리에 비례하여 입력벡터와 유사하게 갱신함으로써 군집화 시키는 방식으로 동작한다.

그리하여, 상기와 같이 갱신된 파라미터(연결강도)를 바탕으로 상기 축소부(352)에서는 차원 축소를 수행하게 된다.

이 후, 도 1, 도 4 및 도 5를 참조하면, 상기 동작의도 분류부(360)는 상기 차원 축소부(350)를 통해 차원이 축소되어 출력되는 신호(벡터)로부터 상기 대상체(100)의 동작 의도를 분류한다(단계 S70).

보다 구체적으로, 도 3을 참조하면, 상기 동작의도 분류부(360)는 입력벡터 설정부(361), MLP 구성부(362), 동작 분류부(363) 및 MPL 갱신부(364)를 포함한다.

상기 입력벡터 설정부(361)는 상기 출력부(353)에서 출력되는 벡터를 입력 벡터로 설정한다.

상기 출력부(353)에서는, 예를 들어, 총 16차원의 출력 벡터를 출력할 수 있는데, 이에 따라 상기 입력벡터 설정부(361)에서는 상기 16차원의 출력 벡터를 입력 벡터로 설정한다.

상기 MLP 구성부(362)는 상기 설정된 입력 벡터로부터 은닉층(hidden layer)을 가지는 다층 퍼셉트론(multi-layer perceptron, MLP)을 구성한다.

이 경우, 상기 다층 퍼셉트론(multi-layer perceptron, MLP)이란, 인공 신경망을 통한 학습에 있어, 입력층과 출력층 사이에 추가적인 층이 다수 존재하는 방식을 의미하며, 이 경우, 상기 입력층과 출력층 사이의 추가적인 층, 즉 인공뉴런으로 구성된 계층을 은닉층이라 한다.

한편, 상기 은닉층은 다양한 개수로 구성될 수 있으며, 예를 들어 2개의 은닉층으로 구성될 수 있다.

즉, 상기 MLP 구성부(362)를 통해서는, 예를 들어, 상기 16차원의 입력벡터를 바탕으로 2개의 은닉층을 포함하는 다층 퍼셉트론을 구성하고, 상기 동작 분류부(363)에서는, 상기 구성된 다층 퍼셉트론으로부터 1차원의 출력 벡터(motion class)를 생성한다.

그리하여, 상기 동작 분류부(363)를 통해 출력되는 상기 1차원의 출력 벡터가 결국, 상기 대상체(100)의 동작 의도를 포함하게 된다. 즉, 상기 출력 벡터를 바탕으로 상기 대상체(100)의 동작 의도가 분류된다.

이하에서는, 상기 출력 벡터(motion class)가, 1 차원으로 출력되는 것을 예시하여 설명하였으나, 상기 출력 벡터는 이에 국한되지 않으며 상기 핸드부 및 상기 센싱부에서 측정되는 동작 종류(motion class)의 개수에 따라 다양하게 설정될 수 있다.

이 경우, 앞서 설명한 바와 같이, 실시간 학습의 정확성을 향상시키기 위해, 상기 MPL 갱신부(364)에서는, 상기 센서부(210)를 통해 입력되는 상기 대상체(100)의 힘 정보를 바탕으로, 소정의 학습(learning)을 수행하여, 상기 다층 퍼셉트론(MLP)의 파라미터를 갱신한다.

이상과 같이, 상기 동작의도 분류부(360)에서 상기 대상체(100)의 동작 의도를 분류함으로써, 상기 디코딩부(300)에서의 디코딩은 종료된다.

이 후, 도 1 및 도 5를 참조하면, 상기 동작의도 분류부(360)에서 분류된 동작 의도를 바탕으로, 상기 로봇 제어부(400)는, 상기 대상체(100)에 직접 착용된 로봇부(500) 등에 대한 제어 신호를 제공하고, 이에 따라, 상기 로봇부(500)는 상기 대상체(100)의 의도에 부합하는 동작이나 구동을 수행하게 된다.

이 경우, 상기 대상체(100)가 실제 의족, 의수 등을 착용한 사용자가 될 수 있음은 앞서 설명한 바와 같다.

상기와 같은 본 발명의 실시예들에 의하면, 다채널로 입력되는 신경신호에 대하여 디코딩을 수행하여 신호의 차원을 축소하며, 이를 통해 대상체의 동작 의도를 파악함으로써, 신경신호의 처리를 위한 시간을 최소화하여 실시간 디코딩이 가능하며, 동작 의도 파악의 성공률을 높일 수 있고, 시간 지연을 최소화하여 대상체의 동작 의도에 부합하는 매핑을 효과적으로 수행할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10 : 실시간 디코딩 시스템 100 : 대상체
200 : 데이터 입력부 210 : 센서부
220 : 신호 증폭부 300 : 디코딩부
310 : 데이터 처리부 320 : 잡음 제거부
330 : 활동전위 분류부 340 : 활동전위 패터닝부
350 : 차원 축소부 360 : 동작의도 분류부
400 : 로봇 제어부 500 : 로봇부

Claims

대상체로부터 입력되는 힘 정보 및 다채널의 신경신호를 디코딩하여 대상체의 동작 의도를 추출하는 디코딩부를 포함하는 실시간 디코딩 시스템에서,
상기 디코딩부는,
상기 입력된 신경신호를 필터링하는 데이터 처리부;
상기 필터링된 신경신호에서 잡음(artifact)을 제거하는 잡음 제거부;
상기 잡음이 제거된 신경신호에 대하여 활동전위를 검출하여 분류하는 활동전위 분류부;
상기 분류된 활동전위를 래스터(raster) 도식화(plotting)로 활동전위를 패터닝하는 활동전위 패터닝부;
상기 패터닝된 활동전위에 대하여 활동전위 발화율(firing rate)을 연산하여 차원을 축소하는 차원 축소부; 및
상기 차원이 축소되어 출력되는 신호로부터 상기 동작 의도를 분류하는 동작의도 분류부를 포함하는 것을 특징으로 하는 실시간 디코딩 시스템.
제1항에 있어서,
상기 디코딩부에서 추출되는 대상체의 동작 의도에 부합하는 제어 신호를 생성하여 로봇부를 제어하는 로봇 제어부를 더 포함하는 실시간 디코딩 시스템.
제2항에 있어서,
상기 로봇부는 의족 또는 의수이며,
상기 대상체는 상기 의족 또는 의수를 착용하는 사용자인 것을 특징으로 하는 실시간 디코딩 시스템.
제1항에 있어서,
상기 신경신호는 64 채널(channel)로 입력되고,
상기 활동전위 패터닝부에서 패터닝된 활동전위는 192 차원을 가지며,
상기 차원 축소부에서는 상기 활동전위를 16차원으로 축소하는 것을 특징으로 하는 실시간 디코딩 시스템.
제1항에 있어서, 상기 데이터 처리부는,
상기 다채널로 입력되는 신경신호의 각각의 채널에 대하여, 고주파 및 노치 필터링(high-pass and notch filtering)을 수행하는 것을 특징으로 하는 실시간 디코딩 시스템.
제1항에 있어서, 상기 잡음 제거부는,
상기 다채널로 입력되는 신경신호의 각각의 채널에 대하여, 국소 다항식 근사를 통한 잡음 제거방법(subtraction of artifacts by Local Polynomial Approximation, SALPA)으로 잡음을 제거하는 것을 특징으로 하는 실시간 디코딩 시스템.
제1항에 있어서, 상기 활동전위 분류부는,
상기 채널별 신경신호의 분산에 비례하는 역치값으로 활동전위를 검출하고,
K-평균 알고리즘(K-means algorithm)을 이용하여 상기 검출된 활동전위에 대하여 활동전위를 분류하고,
비교사 학습(unsupervised learning)을 수행하여 상기 K-평균 알고리즘의 파라미터를 갱신하는 것을 특징으로 하는 실시간 디코딩 시스템.
제1항에 있어서, 상기 활동전위 패터닝부는,
상기 분류된 활동전위를 도식화함과 동시에, 상기 입력되는 힘 정보도 동시에 도식화하는 것을 특징으로 하는 실시간 디코딩 시스템.
제1항에 있어서, 상기 차원 축소부는,
상기 패터닝된 활동전위에 대하여 활동전위 발화율(firing rate)을 연산하는 연산부;
상기 활동전위 발화율을 바탕으로 자기 조직화 특징 지도(self-organized feature map, SOFM)를 구성하여 차원을 축소하는 축소부;
상기 축소된 차원을 벡터로 출력하는 출력부; 및
비교사 학습(unsupervised learning)을 수행하여 상기 자기 조직화 특징 지도의 파라미터를 갱신하는 SOFM 갱신부를 포함하는 것을 특징으로 하는 실시간 디코딩 시스템.
제1항에 있어서, 상기 동작의도 분류부는,
상기 축소된 차원을 벡터로 출력하는 출력부에서 출력되는 벡터를 입력 벡터로 설정하는 입력벡터 설정부;
상기 입력 벡터로부터 은닉층(hidden layer)을 가지는 다층 퍼셉트론(multi-layer perceptron, MLP)을 구성하는 MLP 구성부;
상기 구성된 다층 퍼셉트론으로부터 1차원의 출력 벡터를 생성하는 동작 분류부; 및
상기 입력되는 힘 정보를 바탕으로 학습을 수행하여 상기 다층 퍼셉트론의 파라미터를 갱신하는 MLP 갱신부를 포함하는 것을 특징으로 하는 실시간 디코딩 시스템.
제10항에 있어서,
상기 1차원의 출력 벡터가 상기 대상체의 동작 의도에 해당되는 정보인 것을 특징으로 하는 실시간 디코딩 시스템.
대상체로부터 힘 정보 및 다채널의 신경신호를 입력받는 단계;
상기 입력된 신경신호를 필터링하는 단계;
상기 필터링된 신경신호에서 잡음을 제거하는 단계;
상기 잡음이 제거된 신경신호에 대하여 활동전위를 검출하여 분류하는 단계;
상기 분류된 활동전위를 래스터(raster) 도식화(plotting)로 활동전위를 패터닝하는 단계;
상기 패터닝된 활동전위에 대하여 활동전위 발화율을 연산하여 차원을 축소하는 단계; 및
상기 차원이 축소되어 출력되는 신호로부터 상기 대상체의 동작 의도를 분류하는 단계를 포함하는 실시간 디코딩 방법.
제12항에 있어서,
상기 동작 의도를 바탕으로, 상기 대상체의 동작 의도에 부합하는 제어 신호를 생성하여 로봇부를 제어하는 단계를 더 포함하는 실시간 디코딩 방법.