KR101549487B1 - 뇌-기계 인터페이스 시뮬레이션 장치 - Google Patents

Abstract

본 발명의 뇌-기계 인터페이스 시뮬레이션 장치는, 사용자 마우스 조작 운동 파라미터를 마우스 입력 장치를 통해 획득하여 뉴런 활동신호 생성부에 전달하고, 학습용 가이드 커서와 디코더부에서 출력되는 사용자 제어 피드백 커서 운동 동작을 실시간으로 모니터 화면상에 출력하는 사용자 인터페이스부와, 상기 사용자 마우스 조작 운동 파라미터와 (비)선형 뉴런 모델을 통해 가상의 뇌 신호를 생성하는 뉴런 활동신호 생성부와, 생성된 상기 뉴런 활동신호 및 상기 학습용 가이드 커서의 운동 파라미터 간의 상관관계를 해석하여 뇌-운동 관계성 예측을 위한 디코더를 설계하는 디코더부와, 디코딩 알고리즘의 옵션 설정 및 상기 뉴런 활동신호 생성부의 선형 또는 비선형성 모델, 구동 시뮬레이션 모드의 선택을 위한 시뮬레이션 모드 제어부를 포함할 수 있다.

Description

뇌-기계 인터페이스 시뮬레이션 장치{APPARATUS FOR BRAIN-MACHINE INTERFACE SIMULATION}

본 발명은 뇌-기계 인터페이스 연구 개발을 위한 시뮬레이터에 관한 것으로, 더욱 상세하게는 컴퓨터 마우스 동작 기반의 동역학적 파라미터를 선형 뉴런모델 또는 비선형 뉴런모델에 선택적으로 적용하여 뉴런 활동신호를 생성하고, 이에 기반한 개방 루프 트레이닝 모드, 폐쇄 루프 트레이닝 모드, 폐쇄 루프 테스팅 모드, 폐쇄 루프 보상 모드와 같은 다양한 시뮬레이션 환경을 제공하는 뇌-기계 인터페이스 시뮬레이션 장치에 관한 것이다.

잘 알려진 바와 같이, BMI(Brain-Machine Interface)는 인간의 두뇌와 기계를 직접 연결해 뇌파를 통해 기계를 제어하는 인터페이스 기술을 의미한다.

이러한 BMI 기술은 인간의 뇌파를 분석하여 인간의 의도를 기계가 자동적으로 파악하여 작동하도록 하는 것으로, 물리적인 행동을 사용하지 않고 뇌의 활동을 사용하여 외부 기계 장치에 명령어 및 메시지를 전달하여 동작하게 함으로써 특히 신체 장애인들의 의사 표현 및 장치 제어에 도움을 주고 있다.

뇌파는 뉴런의 생화학적 반응에 의해 유발되는 전기적 특성으로, 인지 및 운동 또는 외부 자극과 연관된 정보를 포함하고 있으며, 다수 뉴런의 전계 효과에 따라 그 진폭과 주파수의 성질을 띤다. 이와 같은 뇌파의 성질을 이용하여 인지 및 운동에 따른 다양한 응용 인터페이스가 가능하며, 이를 통해 제어 시스템의 활용 및 인지 상태를 모니터링 할 수 있는 수단으로 발전될 수 있다.

여기에서, 뇌파의 종류는 측정 방법에 따라 분류될 수 있는데, 그 중 직접 탐침을 뇌의 피질에 삽입하여 직접 측정하는 내피질 측정법 (intracortical recording)은 두피 측정법인 뇌전도 (electroencephalography, EEG)에 비해 잡음에 강하고 다양한 정보를 포함하고 있어 관련 연구 분야에서 활발히 이용되고 있다.

그러나, 내피질 측정을 위한 준비 과정에 많은 비용과 감염의 위험성을 포함하고 있기 때문에 현재 국내에서는 직접적인 실험을 통해 획득한 데이터를 이용하여 연구하는 것이 매우 어려운 실정이다.

이를 위해, 최근에는 원활한 연구를 위해 뉴런의 발화 모델을 이용한 시뮬레이터를 개발하여 뇌파의 특성 정보를 해석하기 위한 디코더 개발 연구 또는 실제 BMI 환경과 유사한 간접적 개발 환경을 요구하고 있는 추세이다.

일반인 또는 환자를 위한 BMI 연구는 현재에도 많은 과제를 남기고 있으며, 오직 뇌 신호를 통해 사용자의 의도를 파악하기 위한 디코더 연구가 활발히 이루어지고 있다. 이러한 BMI 연구 개발 환경을 통해 가까운 미래에는 의료, 콘텐츠, 가전, 군수 등 다양한 산업분야에 활용될 무궁한 발전 잠재성을 기대할 수 있을 것이다.

대한민국 등록특허 제10-1342342호(공고일: 2013. 12. 16)

본 발명은 컴퓨터 마우스의 동작 기반의 동역학적 파라미터를 선형 뉴런모델 또는 비선형 뉴런모델에 선택적으로 적용하여 가상의 뉴런 활동신호를 생성하고, 개방 루프 트레이닝 모드, 폐쇄 루프 트레이닝 모드, 폐쇄 루프 테스팅 모드, 폐쇄 루프 보상 모드와 같은 다양한 시뮬레이션 환경을 제공할 수 있는 뇌-기계 인터페이스 개발을 위한 시뮬레이터를 제안한다.

본 발명이 해결하고자 하는 과제는 상기 내용과 같이 실제 BMI 환경과 유사한 시뮬레이터 환경을 구축하여, BMI 연구에 필수적인 요소로 선택될 수 있는 디코더의 성능 평가가 가능하고, 이를 통해 디코더의 연구 및 개발에 긍정적인 영향을 미치도록 하는 것이다.

또한, 본 발명은 뉴런 발화 모델에 따라 가상의 뇌 신호를 생성하여 실제 실험 환경과 흡사한 BMI 개발 플랫폼을 구축함으로써 비용 및 윤리적 이슈를 최소화하는데 목적이 있다.

본 발명은, 일 관점에 따라, 사용자 마우스 조작 운동 파라미터를 마우스 입력 장치를 통해 획득하여 뉴런 활동신호 생성부에 전달하고, 학습용 가이드 커서와 디코더부에서 출력되는 사용자 제어 피드백 커서 운동 동작을 실시간으로 모니터 화면상에 출력하는 사용자 인터페이스부와, 상기 사용자 마우스 조작 운동 파라미터와 (비)선형 뉴런 모델을 통해 가상의 뇌 신호를 생성하는 뉴런 활동신호 생성부와, 생성된 상기 뉴런 활동신호 및 상기 학습용 가이드 커서의 운동 파라미터 간의 상관관계를 해석하여 뇌-운동 관계성 예측을 위한 디코더를 설계하는 디코더부와, 디코딩 알고리즘의 옵션 설정 및 상기 뉴런 활동신호 생성부의 선형 또는 비선형성 모델, 구동 시뮬레이션 모드의 선택을 위한 시뮬레이션 모드 제어부를 포함하는 뇌-기계 인터페이스 시뮬레이션 장치를 제공한다.

본 발명의 상기 학습용 가이드 커서의 운동 파라미터는, 상기 학습용 가이드 커서의 위치(position) 정보, 속도(velocity) 정보 및 가속도(acceleration) 정보 중 어느 하나 이상을 포함할 수 있다.

본 발명의 상기 뉴런 활동신호 생성부는, 상기 사용자 마우스 조작 운동 파라미터를 뉴런 발화 모델에 적용함으로써, 포아송 확률 분포(Poisson distribution) 처리 과정에 따라 뇌 신호와 유사한 신경 스파이크 신호를 생성할 수 있다.

본 발명의 상기 뉴런 발화율에 따른 상기 신경 스파이크 신호는, 사용자 마우스 조작 운동 파라미터 관련의 뇌 신경신호로 정의될 수 있다.

본 발명의 상기 뉴런 발화율은, 다음의 수학식과 같이 산출될 수 있다.

r_i(t) = b_i,0 + b_ix(t) + e(t)

(상기 r_i(t)는 시간 t일 때 i번째 뉴런에서 활동전위(Action Potential)가 발화되는 뉴런 발화율(firing rate)을, b는 운동 파라미터 x(t)에 대한 계수(coefficient)를, 상기 e(t)는 가우스 잡음(Gaussian noise)을 각각 의미함)

본 발명의 상기 사용자 인터페이스부는, 개방 루프 트레이닝 모드, 폐쇄 루프 트레이닝 모드, 폐쇄 루프 보상 모드 중 어느 하나가 선택적으로 실행될 때 학습용 가이드 커서의 동작을 제어하고, 가이드 커서의 운동 파라미터를 디코더 부에 전달하며, 사용자 마우스 조작 운동 파라미터를 획득하여 뉴런 활동신호 생성부에 전달하고, 디코더로부터 실시간으로 생성된 피드백 커서의 운동 파라미터를 이용하여 BMI 과제를 수행할 수 있다.

본 발명의 상기 디코더부는, 상기 사용자 인터페이스부를 통해 획득한 학습용 가이드 커서 운동 파라미터와 뉴런 활동신호 생성부로부터 취득한 신경 스파이크 데이터를 이용하여, 신경 스파이크와 운동 파라미터간의 수리 통계적 상관관계를 파악하고, 신경 스파이크로부터 운동 파라미터를 예측하기 위한 디코딩 파라미터를 생성할 수 있다.

본 발명의 상기 디코더부는, 폐쇄 루프 테스팅 모드가 실행될 때 사용자 마우스 조작 운동 파라미터로부터 생성되는 신경 스파이크 데이터만을 이용하여 실제 사용자의 운동 의도가 포함된 피드백 커서 운동 파라미터를 상기 출력 값으로 생성할 수 있다.

본 발명의 상기 디코더부는, 칼만 필터(Kalman filter) 또는 선형 필터(Linear filter)를 사용할 수 있다.

본 발명은, 뉴런 발화율을 그대로 시뮬레이터에 사용(디코더의 학습 데이터로 사용)하는 종래 방식과는 달리, 실제 뉴런에서 획득할 수 있는 신경 스파이크 정보를 재구성하기 위해 포아송 과정(Poisson process) 모델을 통해 각 뉴런의 발화율로부터 신경 스파이크 데이터(신경 스파이크 신호)를 확률적으로 생성 및 적용함으로써, 실제 뉴런 신호와 유사한 조건으로 뉴런 신호 정의를 통해 뇌-기계 인터페이스 시뮬레이션의 고도화를 실현할 수 있다.

또한, 이를 통해 BMI 연구에 핵심이 되는 디코더 개발을 위한 연구에 유용하게 사용될 수 있으며, 뉴런이 내포하고 있는 방향성에 대한 발화 모델에 의해 실제 뇌 신호와 유사한 패턴의 데이터를 획득 및 적용함으로써 저비용, 고효율의 BMI 연구를 가능케 할 수 있다.

도 1은 본 발명에 따른 뇌-기계 인터페이스 시뮬레이션 장치에 대한 블록구성도이다.
도 2a 내지 2d는 ER, MD, 및 MT를 통해 시뮬레이터에 대한 평가를 실시한 결과를 보여주는 그래프이다.

먼저, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시 예들을 참조하면 명확해질 것이다. 여기에서, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 발명의 범주를 명확하게 이해할 수 있도록 하기 위해 예시적으로 제공되는 것이므로, 본 발명의 기술적 범위는 청구항들에 의해 정의되어야 할 것이다.

아울러, 아래의 본 발명을 설명함에 있어서 공지 기능 또는 구성 등에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들인 것으로, 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있음은 물론이다. 그러므로, 그 정의는 본 명세서의 전반에 걸쳐 기술되는 기술사상을 토대로 이루어져야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.

먼저, 본 발명의 뇌-기계 시뮬레이터는 컴퓨터 마우스의 동작을 이용하여 뇌 신경신호를 생성하는 것으로, 아래와 같은 4가지의 모드(모드 1 내지 모드 4)를 선택적으로 지원할 수 있는데, 각 모드별의 기능은 다음과 같다.

1) 개방 루프 트레이닝 모드(OL training mode): 모드 1

본 모드는 가상의 신경신호들을 컴퓨터 커서의 움직임 신호로 변환하는 디코더(decoder)의 파라미터들을 학습하기 위해 데이터를 획득하는 모드를 의미하며, 이러한 모드 1에서는 모니터를 통해 사용자에게 시작점, 목표점, 학습용 가이드 커서의 이동 경로만 보여주며, 직접적인 마우스 커서의 움직임은 보여주지 않는다.

따라서, 사용자는 스스로의 제어결과에 대한 시각적인 피드백 없이 주어진 과제를 수행해야 한다. 여기에서, 과제란 피험자가 모니터 상에 보이는 가이드 커서의 움직임에 따라 본인의 마우스 커서를 시작점으로부터 목표점까지 이동시키는 과정을 의미하며, 마우스 커서의 좌표 및 속도 등을 획득하고 뉴런 모델을 통해 가상의 신경 신호 데이터를 생성할 수 있다.

즉, 모드 1에서는 상기한 바와 같이 생성된 신경신호 데이터와 운동 역학적 정보(예컨대, 가이드 커서의 좌표 및 속도 등)를 이용하여 디코더 파라미터를 학습할 수 있다.

2) 폐쇄 루프 트레이닝 모드(CL training mode): 모드 2

본 모드는 상술한 모드 1로부터 학습된 디코더를 이용하여 BMI(brain-machine interface) 시뮬레이션 훈련을 수행하는 모드를 의미한다.

모드 2에서의 실험 패러다임은 모드 1과 동일한 과제를 수행하나 피험자의 마우스 움직임에 의해 생성되는 신경신호를 디코더가 해석하고 피드백 커서 움직임을 실시간 생성하여 피험자에게 보여줌으로써 폐쇄 루프를 형성하게 된다.

모드 2의 과정에서는 반복적 시뮬레이션이 가능하며 사용자가 시작점으로부터 목표점까지 도달한 횟수 및 시간, 이동 좌표 등이 기록되는데, 이러한 정보들을 기록함으로써 폐쇄 루프 모드(CL mode)의 수행시 사용자의 학습 정도 및 개발하고자 하는 디코더의 성능을 비교 분석할 수 있으며, 본 모드의 데이터를 모드 1의 기존 데이터에 추가함으로써 디코더의 파라미터를 재학습(업데이트)할 수 있다.

3) 폐쇄 루프 테스팅 모드(CL testing mode): 모드 3

본 모드는 상술한 모드 1 및 2로부터 학습한 디코더를 기반으로 실제 BMI 환경과 유사한 실험 환경을 시뮬레이션 할 수 있는 모드를 의미하는 것으로, 본 모드에서는 디코더 파라미터의 업데이트는 수행하지 않는다.

그리고, 모드 3을 수행할 때 사용자에게 가이드 커서는 보이지 않으며, 사용자가 직접 제어하는 피드백 커서를 시작점으로부터 목표점까지 이동시키는 과제를 수행할 수 있다.

반면, 모드 3에서는 사용자가 컴퓨터 마우스를 조작할 때 발생하는 운동 역학 정보에 의해 실시간으로 생성되는 신경신호 데이터에 따라 화면상의 피드백 커서가 목표점으로 이동하는 과정을 볼 수 있다.

또한, 모드 3을 통해 과제에 대한 사용자의 제어 정도에 따라 개발하고자 하는 디코더의 성능을 직관적으로 비교 분석할 수 있으며, 인지적 학습 능력 연구 및 BMI용 디코더 개발 환경에 적합한 실험 설계를 수행할 수 있다.

4) 폐쇄 루프 보상 모드(CL with reward): 모드 4

본 모드는 모드 2를 보완한 학습 모드로서, 본 모드를 통해 사용자에게 과제의 성공률에 따른 보상(reward)을 제공함으로써 사용자 학습율 향상을 도모할 수 있으며, 향상된 학습 데이터의 획득에 따른 디코더의 성능 개선을 실현할 수 있다.

그리고, 모드 4는 모드 2와 동일한 과제를 수행하나 성공 유무에 따른 보상 메시지(스코어(score) 또는 감성적 보상)가 출력되며, 이때 획득한 학습 데이터를 통해 디코더의 파라미터를 업데이트 할 수 있다.

즉, 모드 1, 2, 4 각각은 디코더 파라미터를 예측하는 단계로 정의될 수 있고, 모드 3은 시뮬레이션을 수행하는 단계로 정의될 수 있다.

그리고, 본 발명에 따라 사용자가 마우스를 조작할 때 실제 마우스 동작을 사용자로부터 숨기는데, BMI의 기본 원리에서는 사용자가 실제로 움직이지 않고 사용자의 운동 의도, 즉 움직이고자 하는 생각에 의해 발생하는 뇌 신호를 이용하여 외부기기를 동작시키고자 하므로 이러한 환경을 모사한다.

예컨대, 전신마비 환자는 사지를 움직이지 못하나 움직임의 의도를 뇌 신호로 발현시켜 BMI를 통해 마우스의 커서를 이동시키는 것을 재현할 수 있다. 실제 뇌 신호를 측정하지 않고 사용자의 운동 의도를 시뮬레이션 하기 위해 사용자의 마우스 움직임을 뇌 신호에 담겨진 운동 의도로 정보화 하려는 취지에서, 사용자가 실제로 움직이는 마우스 커서를 모니터(화면) 상에서 숨기고 대신 이러한 마우스 움직임에 의해 생성된 신경신호를 이용한 BMI 아웃풋을 모니터로 표출해 주는 방식을 이용한다.

도 1은 본 발명에 따른 뇌-기계 인터페이스 시뮬레이션 장치에 대한 블록구성도로서, 사용자 인터페이스부(102), 뉴런 활동신호 생성부(104), 디코더부(106) 및 시뮬레이션 모드 제어부(108) 등을 포함할 수 있다.

도 1을 참조하면, 사용자 인터페이스부(102)는 사용자의 마우스 조작 과정에서 발생하는 운동 파라미터를 PC 마우스 입력 장치를 통해 획득하여 후술하는 뉴런 활동신호 생성부(104)에 전달하고, 학습용 가이드 커서와 후술하는 디코더부(106)에서 출력되는 사용자 제어 피드백 커서 운동 동작을 실시간으로 모니터(110)의 화면상에 출력하는 등의 기능을 제공할 수 있다.

여기에서, 사용자 인터페이스부(102)에서 획득되는 운동 파라미터는, 예컨대 학습용 가이드 커서의 위치(position) 정보, 속도(velocity) 정보 및 가속도(acceleration) 정보 중 어느 하나 이상을 포함할 수 있다.

즉, 사용자 인터페이스부(102)는 개방 루프 트레이닝 모드가 선택적으로 실행되는 경우에는 학습용 가이드 커서의 동작을 출력하고 이에 따라 학습용 가이드 커서의 운동 파라미터를 획득하게 되며, 폐쇄 루프 트레이닝 모드나 폐쇄 루프 보상 모드 중 어느 하나가 선택적으로 실행될 때에는 디코더부로부터 생성된 피드백 커서의 동작을 학습용 가이드 커서의 동작과 동시에 출력함으로써 실시간으로 신경 스파이크 데이터를 해석 및 테스트하는 BMI 과제를 수행하며 마찬가지로 학습용 가이터 커서의 운동 파라미터를 획득하게 된다.

또한, 사용자 인터페이스부(102)는 뉴런 활동신호에 대해 디코더 해석 및 출력 값의 형식에 따라 처리하여 모니터(110) 상에 적용(표출)시키는 등의 기능을 제공할 수 있는데, 여기에서, 출력 값의 형식은, 예컨대 피드백 커서의 위치 정보, 속도 정보, 가속도 정보 중 어느 하나를 나타내는데, 이것은 피드백 커서의 출력 형식과 연관되며, 사용자가 출력 값의 형식을 미리 정의할 수 있다.

즉, 디코더부(106)가 뇌 신호를 해석하여 예측된 운동 파라미터(속도, 가속도, 위치 등)는 모니터(110) 상에서 피드백 커서의 동작으로 표출되는데, 디코더부(106)에서 피드백 커서의 속도나 가속도가 출력되는 경우 사용자 인터페이스부(102)에서는 커서의 속도나 가속도를 피드백 커서의 위치 변화로 계산하여 변화된 위치를 표출하며, 디코더부(106)에서 커서의 위치를 출력하는 경우 사용자 인터페이스부(102)에서는 전달된 커서의 위치를 그대로 모니터(110) 상에 표출시킨다.

다음에, 뉴런 활동신호 생성부(104)는 사용자 인터페이스부(102)로부터 제공되는 사용자 마우스 조작에 따른 운동 파라미터와 (비)선형 뉴런 모델을 통해 가상의 뇌 신호를 생성, 예컨대 뉴런 활동신호를 각 뉴런의 발화율을 기준으로 생성하여 디코더부(106)로 전달하는 등의 기능을 제공할 수 있다.

여기에서, 뉴런 활동신호 생성부(104)는, 모드 1(개방 루프 트레이닝 모드), 모드 2(폐쇄 루프 트레이닝 모드), 모드 3(폐쇄 루프 테스팅 모드) 또는 모드 4(폐쇄 루프 보상 모드)가 실행될 때 획득되는 사용자 마우스 조작 관련 운동 파라미터로부터 생성되는 신경 스파이크 데이터(뉴런 활동신호)를 디코더부(106)로 전달할 수 있다.

일반적으로, 속도, 가속도, 위치 등의 운동 파라미터들은 운동피질뉴런(motor cortical neurons)과 관련 있는 것으로 알려져 있는데, 다양한 실험적 조건에 따라 아래의 수학식과 같이 산출되는 뉴런 발화율을 갖는 운동 파라미터와 뉴런 발화 활동(neural firing activity)에 대한 모델을 개발할 수 있다.

[수학식]

r_i(t) = b_i,0 + b_ix(t) + e(t)

상기한 수학식에 있어서, r_i(t)는 시간 t일 때 i번째 뉴런에서 활동전위(Action Potential)가 발화되는 뉴런 발화율(firing rate)을, b는 운동 파라미터 x(t)에 대한 계수(coefficient), 즉 튜닝 함수 파라미터를, e(t)는 가우스 잡음을 각각 의미하며, 실제 뉴런으로부터 신호를 획득하였을 경우 신호의 품질을 정의하기 위해, 예컨대 SNR이 적용된다.

따라서, 뉴런 발화율(r_i(t))에 의해 각 뉴런의 활동전위 발화 여부가 결정되며, 주로 1ms마다 발화 여부가 결정될 수 있다. 이렇게 시간에 따른 발화 신호를 신경 스파이크(Neural spike)로 정의할 수 있으며, 각 뉴런의 발화율을 기준으로 각각의 신경 스파이크 신호를 생성할 수 있다.

즉, 종래 방식에서는 이러한 뉴런 발화율(r_i(t))을 그대로 시뮬레이터에 사용(디코더의 학습 데이터로 사용)하였으나, 본 발명에서는 실제 뉴런에서 획득할 수 있는 신경 스파이크 정보를 재구성하기 위해, 운동 파라미터를 뉴런 발화 모델에 적용함으로써, 포아송 확률 분포(Poisson distribution) 처리 과정에 따라 뇌 신호와 유사한 신경 스파이크 신호를 생성하여 사용하는데, 이것은 보다 유의한 조건(실제 뉴런 신호와 유사한 조건)으로 뉴런 신호를 정의하기 위해서이다.

그리고, 실제 뉴런으로부터 측정되는 신경 스파이크 신호는 포아송 모델(Poisson model)과 유사한 특성을 지니는 것으로 알려져 있으므로, 본 발명에서는 포아송 모델을 적용하여 뉴런 발화율에 따른 신경 스파이크 신호(뉴런 활동신호)를 운동 파라미터 관련의 뇌 신경신호로 정의한다.

다음에, 디코더부(106)는 뉴런 활동신호 생성부(104)를 통해 생성된 뉴런 활동신호 및 학습용 가이드 커서의 운동 파라미터 간의 상관관계를 해석하여 뇌-운동 관계성 예측을 위한 디코더를 설계하고, 모드 1 내지 모드 4 중 어느 하나가 선택적으로 실행될 때 뉴런 활동신호 생성부(104)로부터 제공되는 뉴런 활동신호를 해석하여 디코더 내부 파라미터를 학습하고, 실제 사용자의 운동 의도가 포함된 출력 값(피드백 커서 운동 파라미터)을 생성하여 사용자 인터페이스부(102)로 전달하는 등의 기능을 제공할 수 있는데, 이를 위해 디코더부(106)는, 예컨대 칼만 필터(Kalman filter) 또는 선형 필터(Linear filter) 등과 같은 다양한 디코딩 알고리즘을 추가 또는 선택적으로 사용할 수 있다.

즉, 디코더부(106)는 모드 1, 모드 2, 모드 4 중 어느 한 모드의 실행 중에 획득되는 운동 파라미터와 생성되는 신경 스파이크 데이터를 기반으로 디코더 내부 파라미터를 학습할 수 있는데, 이러한 파라미터 예측 방법은 디코더 타입에 따라 달라질 수 있다.

또한, 디코더부(106)는 모드 3의 실행 중에 사용자의 학습용 가이드 커서의 움직임(운동 의도)으로부터 생성되는 신경 스파이크 데이터만을 이용하여 실제 사용자의 운동 의도 정보가 포함된 피드백 커서 운동 파라미터를 생성할 수 있다.

예컨대, 칼만 필터의 경우, 모드 1, 모드 2, 모드 4에서 학습 데이터를 통해 학습하는 디코더 내부 파라미터 A, W, H, Q이며, 사용자의 학습용 가이드 커서의 움직임으로부터 생성된 신경 스파이크 데이터를 칼만 필터링 알고리즘으로 해석하여 의도된 피드백 커서의 운동 파라미터를 예측할 수 있다.

일례로서, 디코더부(106)의 출력 값 형식이"위치 정보"일 경우 주어진 뉴런 활동신호에 대한 디코더부(106)의 출력 값이"위치 정보"의 형태로 계산되어 모니터(110)상에 피드백 커서 좌표 값으로 설정되고, 출력 값 형식이"속도 정보"일 경우 디코더부(106)의 출력 값이"속도 정보"로 계산되고 이에 따라 모니터(110) 상의 피드백 커서의 위치가 이동된다.

그리고, 모니터(110) 상에 출력되는"좌표 템플릿(가이드 커서 및 목표점이 표시되는 빈 공간)"에는 "가이드 커서"의 동작와 더불어 뉴런 활동신호의 디코딩 결과에 따라 제어되는"피드백 커서"와 "목표점(예컨대, 십자 형태의 물체(object))"이 표출된다.

즉, 모드 1은 사용자 적응 훈련 및 학습 데이터를 획득하기 위한 과정을 의미하는 것으로,"가이드 커서(또는 트레이닝 커서)"가 "목표점"에 도달할 때까지 나타나며, 이 모드에서는 디코더를 거치지 않으므로 가이드 커서가 목표점 위치에 원활히 도달할 수 있다.

또한, 모드 2는 모드 1에서 학습한 디코더를 이용하여 모드 1과 동일한 화면(모니터)에서 과제를 수행할 수 있는데, 이때 "목표점"에는 "가이드 커서"가 모드 1과 같이 디코더를 거치지 않고 미리 정해진 프로그램에 의해 도달하게 되며, 이와 더불어 디코더를 통해 예측되는"출력 값"에 의해 동작하는 "피드백 커서"도 나타나서"목표점"에 도달하기 위한 목적으로 제어된다. "피드백 커서"의 움직임은 사용자가 실시간으로 발생시키는 가상 뉴런 신호들이 디코더를 거쳐서 나오는 출력 값에 의해 조절되며 "가이드 커서"의 동작을 최대한 모방하여"목표점에 도달할 수 있도록 사용자에 의해 제어된다.

그리고, 모드 4는 모드 2를 대체할 수 있는 모드로서, N회의 목표점 이동이 끝날 때마다 또는 특정 시간 구간에서 과제의 성공 유무에 따른 보상 메시지가 발생하는데, 이것은 사용자에게 심리적 보상 효과에 따라 더 우수한 성능을 발휘할 수 있도록 하기 위해서이다.

이러한 보상 효과에 따라 획득한 데이터를 통해 디코더의 파라미터를 업데이트함으로써 디코더의 성능을 더욱 개선시킬 수 있다.

또한, 모드 3은 모드 1, 2(4)의 과정을 거친 후 학습된 디코더의 파라미터를 기반으로 실제 BMI와 유사한 테스크를 수행하고 성능을 검증하는 과제를 수행할 수 있는 모드로서, 이러한 모드를 통해 반복적 과제 수행이 가능하고 성능 평가를 위한 데이터 축적이 가능하다.

즉, 디코더부(106)에서 사용되는 운동 파라미터는 사용자 인터페이스부(102)에서 구동되는 학습용 가이드 커서의 속도, 가속도, 위치 등을 나타내는데, 이러한 운동 파라미터는 디코더의 파라미터를 최적화하기 위해 사용되며, 디코더는 학습용 가이드 커서의 운동 파라미터와 뉴런활동신호 생성부(104)로부터 전달되는 가상 뉴런 활동신호들 간의 상관관계를 극대화하는 방향으로 최적화가 이루어진다.

다음에, 시뮬레이션 모드 제어부(108)는 디코딩 알고리즘의 옵션 설정 및 뉴런 활동신호 생성부(104)의 선형 또는 비선형성 모델, 구동 시뮬레이션 모드(모드 1 내지 모드 4)의 선택 등을 위한 기능과 시뮬레이션 관련의 제어 수행, 파라미터 설정 인터페이스 등을 수행하는 기능을 제공할 수 있다.

여기에서, 초기 설정은 사용자 훈련 시간, 각 모드별 수행 시간, 각 모드의 수행 반복 횟수, 모드 1, 2, 4의 선택(중복 선택 포함) 등이 될 수 있고, 디코더의 설정 조건은 상태(예컨대, 위치(position), 속도(velocity), 가속도(acceleration) 등) 선정, 디코더 알고리즘(선형 필터, 칼만 필터)의 선정 등을 포함할 수 있다.

또한, 운동피질 뉴런 모델의 설정 조건은, 예컨대 기 공지된 뉴런 모델을 기반으로 하는 선형 뉴런 생성 또는 비선형 뉴런 생성과 SNR(신호 대 잡음비)의 설정과 뉴런의 개수 설정 등을 포함할 수 있다.

실제 뇌 신호를 측정할 경우 각 센서로부터 획득된 신호가 잡음에 오염되는데, 이것은 신호의 품질을 저하시키는 요인이 된다. 뉴런 발화율 모델의 가우시안 잡음(Gaussian noise)을 SNR(Signal to noise ratio)에 따라 조절함으로써 생성된 뉴런 발화율(또는 포아송 과정(Poisson process)을 통해 발생된 스파이크)의 신호 품질을 설정할 수 있는데, 이것은 실제 뇌 신호로부터 획득한 신호와 유사한 실험 데이터를 생성하기 위해서이다.

그리고, 뉴런 발화율 모델의 계수는 신경과학적으로 각 뉴런이 갖고 있는"선호 방향(preferred direction)"과 연관되는데, 선호 방향이 방사형 형태로"균등(uniform)"할 때의 계수와"비균등"할 때의 계수를 선택함으로써 사용되는 디코더의 성능을 결정할 수 있다.

여기에서, 디코더마다 뉴런의 개수가 많을수록 디코더의 성능 또한 증가하거나, 뉴런 개수가 증가할수록 디코더의 성능이 어느 정도 수준까지 향상되는데, 본 시뮬레이터에서 뉴런이라 함은 실제 뇌에 부착되는 다중 미세 전극(multiple micro-electrodes)의 센서를 의미할 수 있다.

또한, 뉴런 발화율이 속도뿐만 아니라 위치, 가속도 등의 정보 또한 코딩하고 있다는 과학적 근거 하에 실제 본 시뮬레이터에서는 이들을 선택적으로 적용하거나 확장할 수 있다.

그리고, GUI의 설정 조건은, 사용자 훈련 시간 및 각 모드 수행 시간의 설정, 목표점 개수의 설정, 과제의 반복 횟수 설정, 커서의 이동 속도, 시간제한(time limit), 목표점의 크기 등을 포함할 수 있다.

여기에서, 시뮬레이터 사용자는 임의로 모델을 선택할 수 있는데, 이는 연구 목적 등에 따라 결정될 수 있다.

예컨대, 뉴런 활동보다는 개발하고자 하는 디코더의 비교에 초점을 둘 경우는 비교적 단순한 선형 모델을 적용하여도 연구결과에 크게 영향을 주지 않으므로 선형 모델을 선택할 수 있고, 뉴런 활동신호와 운동 파라미터 간의 관계를 선형모델 혹은 비선형모델로 묘사할 경우에 따라 BMI의 성능이 어떻게 달라지는 지를 조사하거나 혹은 뉴런 활동신호와 운동 파라미터 간 관계에 대한 새로운 비선형 모델을 만들고 이를 BMI를 통해 테스트 해 보고자 할 경우에 비선형 모델을 선택할 수 있다.

본 발명의 발명자들은 ER(error rate), MD(mean deviation) 및 MT(movement time)를 통해 시뮬레이터에 대한 평가를 실시하였으며, 그 평가 결과는 도 2a 내지 2d에 도시된 그래프와 같다.

도 2의 그래프를 참조하면, 모드 2(CL training mode)와 추가적으로 사용할 수 있는 모드4(reward training CL (rCL) mode)의 성능 비교를 나타낸다.

관련하여, 4회의 반복적 실험을 수행한 결과 CL의 에러율(error rate, ER) 변화에 비해 rCL의 에러율 감소 정도가 큰데, 이것은 rCL을 수행할 경우 CL보다 ER이 점점 많은 폭으로 감소함으로써 더 우수한 학습 데이터가 획득될 수 있음을 알 수 있다. 여기에서, MD(mean deviation)는 커서의 이상적인 이동 경로와 디코더를 통한 커서의 이동 경로간의 편차를 의미한다.

이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 등이 가능함을 쉽게 알 수 있을 것이다. 즉, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것으로서, 이러한 실시 예에 의하여 본 발명의 기술사상의 범위가 한정되는 것은 아니다.

따라서, 본 발명의 보호 범위는 후술되는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

102 : 사용자 인터페이스부 104 : 뉴런 활동신호 생성부
106 : 디코더부 108 : 시뮬레이션 모드 제어부
110 : 모니터

Claims (9)

1. 사용자 마우스 조작 운동 파라미터를 마우스 입력 장치를 통해 획득하여 뉴런 활동신호 생성부에 전달하고, 학습용 가이드 커서와 디코더부에서 출력되는 사용자 제어 피드백 커서 운동 동작을 실시간으로 모니터 화면상에 출력하는 사용자 인터페이스부와,
   상기 사용자 마우스 조작 운동 파라미터와 (비)선형 뉴런 모델을 통해 가상의 뇌 신호를 생성하는 뉴런 활동신호 생성부와,
   생성된 상기 뉴런 활동신호 및 상기 학습용 가이드 커서의 운동 파라미터 간의 상관관계를 해석하여 뇌-운동 관계성 예측을 위한 디코더를 설계하는 디코더부와,
   디코딩 알고리즘의 옵션 설정 및 상기 뉴런 활동신호 생성부의 선형 또는 비선형성 모델, 구동 시뮬레이션 모드의 선택을 위한 시뮬레이션 모드 제어부
   를 포함하는 뇌-기계 인터페이스 시뮬레이션 장치.
   
2. 제 1 항에 있어서,
   상기 학습용 가이드 커서의 운동 파라미터는,
   상기 학습용 가이드 커서의 위치(position) 정보, 속도(velocity) 정보 및 가속도(acceleration) 정보 중 어느 하나 이상을 포함하는
   뇌-기계 인터페이스 시뮬레이션 장치.
   
3. 제 1 항에 있어서,
   상기 뉴런 활동신호 생성부는,
   상기 사용자 마우스 조작 운동 파라미터를 뉴런 발화 모델에 적용함으로써, 포아송 확률 분포(Poisson distribution) 처리 과정에 따라 뇌 신호와 유사한 신경 스파이크 신호를 생성하는
   뇌-기계 인터페이스 시뮬레이션 장치.
   
4. 제 3 항에 있어서,
   뉴런 발화율에 따른 상기 신경 스파이크 신호는,
   사용자 마우스 조작 운동 파라미터 관련의 뇌 신경신호로 정의되는
   뇌-기계 인터페이스 시뮬레이션 장치.
   
5. 제 4 항에 있어서,
   상기 뉴런 발화율은,
   다음의 수학식과 같이 산출되는
   r_i(t) = b_i,0 + b_ix(t) + e(t)
   (상기 r_i(t)는 시간 t일 때 i번째 뉴런에서 활동전위(Action Potential)가 발화되는 뉴런 발화율(firing rate)을, b는 운동 파라미터 x(t)에 대한 계수(coefficient)를, 상기 e(t)는 가우스 잡음(Gaussian noise)을 각각 의미함)
   뇌-기계 인터페이스 시뮬레이션 장치.
   
6. 제 1 항에 있어서,
   상기 사용자 인터페이스부는,
   개방 루프 트레이닝 모드, 폐쇄 루프 트레이닝 모드, 폐쇄 루프 보상 모드 중 어느 하나가 선택적으로 실행될 때 학습용 가이드 커서의 동작을 제어하고, 가이드 커서의 운동 파라미터를 디코더 부에 전달하며, 사용자 마우스 조작 운동 파라미터를 획득하여 뉴런 활동신호 생성부에 전달하고, 디코더로부터 실시간으로 생성된 피드백 커서의 운동 파라미터를 이용하여 BMI 과제를 수행하는
   뇌-기계 인터페이스 시뮬레이션 장치.
   
7. 제 6 항에 있어서,
   상기 디코더부는,
   상기 사용자 인터페이스부를 통해 획득한 학습용 가이드 커서 운동 파라미터와 상기 뉴런 활동신호 생성부로부터 취득한 신경 스파이크 데이터를 이용하여, 신경 스파이크와 운동 파라미터간의 수리 통계적 상관관계를 파악하고, 신경 스파이크로부터 운동 파라미터를 예측하기 위한 디코딩 파라미터를 생성하는
   뇌-기계 인터페이스 시뮬레이션 장치.
   
8. 제 6 항에 있어서,
   상기 디코더부는,
   폐쇄 루프 테스팅 모드가 실행될 때 상기 사용자 마우스 조작 운동 파라미터로부터 생성되는 신경 스파이크 데이터만을 이용하여 실제 사용자의 운동 의도가 포함된 피드백 커서 운동 파라미터를 생성하는
   뇌-기계 인터페이스 시뮬레이션 장치.
   
9. 제 1 항에 있어서,
   상기 디코더부는,
   칼만 필터(Kalman filter) 또는 선형 필터(Linear filter)를 사용하는
   뇌-기계 인터페이스 시뮬레이션 장치.

Images