KR20210106175A

KR20210106175A - 운동 상상 훈련 장치 및 그 동작 방법

Info

Publication number: KR20210106175A
Application number: KR1020200021004A
Authority: KR
Inventors: 정천기; 김준식; 윤석윤; 양유진; 전은정
Original assignee: 서울대학교산학협력단
Priority date: 2020-02-20
Filing date: 2020-02-20
Publication date: 2021-08-30
Also published as: KR102404708B1

Abstract

본 개시의 일 실시 예에 따른 운동 상상 훈련을 위한 장치는 뇌파 신호를 입력 받는 입력부, 뇌파 신호를 전 처리하여 입력 데이터를 생성하는 전 처리부 및 입력 데이터에 머신 러닝 기반의 학습 모델을 적용하여, 뇌파 신호가 기반된 운동 상상을 체성 감각 운동 상상(KMI: Kinesthetic Motor Imagery) 또는 시각 운동 상상(VMI: Visual Motor Imagery) 중 어느 하나로 판단하는 판단부를 포함할 수 있다.

Description

운동 상상 훈련 장치 및 그 동작 방법{MOTOR IMAGERY TRAINING APPARATUS AND OPERATING METHOD THEREOF}

본 개시는 운동 상상 훈련 장치 및 그 동작 방법에 대한 것으로서, 더욱 자세하게는 대상체의 운동 상상을 돕기 위해 대상체의 뇌파에 기반하여 운동 상상 종류를 판단하고 체성 감각 운동 상상을 돕기 위한 뇌 자극 신호를 생성하는 기술에 대한 것이다.

뇌 컴퓨터 인터페이스(BCI: Brain Computer Interface)는 뇌와 컴퓨터의직접 연결을 시도하는 인터페이스로서, 뇌를 구성하는 뉴런 연합체에 의해 형성된 인간의 의지 또는 생각을 컴퓨터가 인식할 수 있는 디지털 신호로 바꾸는 새로운 휴먼 컴퓨터 인터페이스 중 하나이다. 뇌-컴퓨터 인터페이스 기술은 생각만으로 마우스 커서를 움직이거나 로봇을 제어하는 기술로 이용될 수 있다.

뇌 신호를 BCI에 이용할 경우 언어 능력이 없는 장애우와 전신이 마비되어 전혀 움직일 수 없는 환자나 장애우가 생각만으로 자신의 의도대로 쉽게 컴퓨터 등의 장치를 제어할 수 있다(Wolpaw, Birbaumer, McFarland, Pfurtscheller & Vaughan, 2002). 나아가 다양한 엔터테인먼트 환경에서 뇌 신호를 활용하기 위한 연구도 계속 진행되고 있으며, 미국의 캘리포니아 주립대학의 경우 뇌 신호를 이용하여 3D게임을 조작하기 위한 연구를 진행하였다(Pineda, Silverman, Vankov & Hestenes, 2003).

뇌 신호(EEG, ECoG, MEG, MRI, fMRI, PET 등) 중 뇌파(EEG, ECoG 등)를 이용한 BCI 기술은 제어자가 동작시키고자 하는 대상의 움직임을 상상하며 발생하는 운동 상상(MI: Mmotor Imagery) 중의 뇌파를 해석(decoding)하여 제어자의 의도 및 대상의 움직임을 파악하고 있다. 운동 상상은 제어자가 대상의 움직임을 시뮬레이션하며 상상하는 것을 의미하며, 실제 움직일 때의 뇌의 활성과 유사하다는 보고가 있다.

하지만, 제어자가 대상의 움직임을 상상하는 운동 상상은 사실 체성 감각 운동 상상(KMI: Kinesthetic Motor Imagery)과 시각 운동 상상(VMI: Visual Motor Imagery)으로 구별된다. 체성 감각 운동 상상은 움직일 때 느껴지는 감각을 상상하는 운동 상상을 의미하고, 시각 운동 상상은 움직임을 시각적으로 상상하는 운동 상상을 의미한다.

BCI 분야 중 대상(예를 들면, 로봇 팔)을 움직이는 경우 제어자가 의도하는 대상의 궤적을 예측해야 하고, 주로 제어자의 운동 피질에서 보이는 방향 튜닝(Directional Tuning)을 이용하여 팔의 움직임이나 경로를 예측한다. 따라서, 체성 감각 운동 상상 중의 뇌파를 이용하여 대상의 궤적을 예측하는 것이 시각 운동 상상 중의 뇌파를 이용하여 예측하는 것보다 정확하지만, 운동 상상에 익숙하지 않은 제어자가 체성 감각 운동 상상과 시각 운동 상상을 구별하고 체성 감각 운동 상상을 진행하는 것은 용이하지 않다.

한국 등록특허공보 제10-1293446호(2013.07.30. 등록)

본 개시의 실시 예는 대상체의 뇌 신호가 체성 감각 운동 상상에 기반한 것인지 시각 운동 상상에 기반한 것인지 판단하는 기술을 제공하는 것이다.

또한, 본 개시의 실시 예는 대상체의 체성 감각 운동 상상의 정확도를 판단하는 기술을 제공하는 것이다.

또한, 본 개시의 실시 예는 대상체의 운동 상상을 체성 감각 운동 상상으로 수행하도록 대상체에게 가하는 자극 신호를 결정하는 기술을 제공하는 것이다.

또한, 본 개시의 실시 예는 대상체의 운동 상상을 체성 감각 운동 상상으로 수행하도록 대상체에게 가하는 뇌 자극 신호의 파라미터를 결정하는 기술을 제공하는 것이다.

본 개시의 일 실시 예에 따른 운동 상상 훈련을 위한 장치의 동작 방법은 뇌파 신호를 입력 받는 단계, 뇌파 신호를 전 처리하여 입력 데이터를 생성하는 단계 및 입력 데이터에 머신 러닝 기반의 학습 모델을 적용하여, 뇌파 신호가 기반된 운동 상상을 체성 감각 운동 상상 또는 시각 운동 상상 중 어느 하나로 판단하는 단계를 포함할 수 있다.

본 개시의 일 실시 예는 운동 상상 훈련을 위한 장치의 동작 방법을 실행하도록 구성된 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 비 일시적 기록매체로 제공될 수 있다.

본 개시의 실시 예에 따른 운동 상상 훈련을 위한 장치는 대상체가 수행하는 운동 상상의 종류를 판단할 수 있다.

또한, 본 개시의 실시 예에 따른 운동 상상 훈련을 위한 장치는 체성 감각 운동 상상의 정확도를 판단할 수 있다.

또한, 본 개시의 실시 예에 따른 운동 상상 훈련을 위한 장치는 대상체의 체성 감각 운동 상상의 수행을 돕기에 적절한 뇌 자극 신호를 결정할 수 있다.

또한, 본 개시의 실시 예에 따른 운동 상상 훈련을 위한 장치는 뇌 컴퓨터 인터페이스 기술의 정확도를 향상시킬 수 있다.

도 1은 본 개시의 일 실시 예에 따른 운동 상상 훈련을 위한 장치의 실행 환경의 예시도이다.
도 2는 본 개시의 일 실시 예에 따른 운동 상상 훈련을 위한 장치의 구성을 나타낸 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 운동 상상 훈련을 위한 장치의 동작 방법을 설명하기 위한 순서도이다.
도 4는 본 개시의 일 실시 예에 따른 운동 상상 훈련을 위한 장치에서 사용하는 뇌 신호가 획득되는 뇌 영역들을 설명하는 도면이다.
도 5는 본 개시의 일 실시 예에 따른 운동 상상 훈련을 위한 장치에서 4가지 상태에서 복수의 뇌 영역 간의 연결성을 분석한 결과이다.
도 6은 본 개시의 일 실시 예에 따른 운동 상상 훈련을 위한 장치에서 4가지 상태에서 복수의 뇌 영역 간의 연결성 값이 미리 설정된 상위 범위인 뇌 영역 간의 연결성을 분석한 결과이다.
도 7은 본 개시의 일 실시 예에 따른 운동 상상 훈련을 위한 장치에 사용된 학습 모델의 분류 정확도 실험 결과를 도시한다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

도 1을 참조하여 본 개시의 일 실시 예에 따른 운동 상상 훈련을 위한 장치를 실행하기 위한 환경을 설명한다.

본 개시의 실시 예에 따른 운동 상상 훈련을 위한 장치를 실행하기 위한 환경은 운동 상상 훈련 장치(100), 네트워크, BCI 제어 대상체(예를 들면, 로봇 팔)(200) 및 학습 서버(300)를 포함할 수 있다.

운동 상상 훈련 장치(100)는 대상체로부터 입력 받은 뇌파 신호를 전 처리한 입력 데이터에 머신 러닝 기반의 학습 모델을 적용하여 뇌파 신호가 기반한 운동 상상의 종류를 판단할 수 있다.

본 명세서에서 사용되는 용어 "뇌파"는 사용자의 뇌의 활성화 및 상태에 따라 변화되는 전기적 또는 자기적 신호들을 의미한다. 뇌파는 뇌전도(EEG: Electroencephalogram), 피질전도(ECoG: Electrocorticogram), 또는 뇌 자도(MEG; Magnetoencephalogram) 등을 포함하는 포괄적인 용어이다.

운동 상상 훈련 장치(100)는 뇌파 신호가 기반한 운동 상상의 종류를 판단하기 위한 학습 모델을 학습 서버(300)로부터 수신할 수 있다.

학습 서버(300)는 복수의 대상체들로부터 체성 감각 운동 상상 및 시각 운동 상상 중에 획득한 뇌파 신호들에 훈련 데이터로 사용하여 뇌파 신호를 체성 감각 운동 상상 및 시각 운동 상상 중에 어느 한 가지로 판단하는 학습 모델을 훈련시킬 수 있다.

학습 서버(300)는 지도 학습 또는 비 지도 학습에 기반하여 학습 모델을 생성할 수 있다.

학습 모델은 서포트 벡터 머신(SVM: Support Vector Machine), 딥 러닝에 기반한 인공 신경망, 다중 선형 회귀 (Multiple Linear Regression), 선형 회귀 (Linear Regression)등의 회귀방법에 기반할 수 있고, 교사 학습(Supervised Learning), 비교사 학습(Unsupervised Learning), 준교사 학습(Semi-supervised Learning) 등 그 모델 생성 방법을 한정하지 않는다.

학습 서버(300)는 뇌파 신호를 해석(decoding)하여 BCI 제어 대상체(200)의 동작 제어를 위해 제어 대상체(200)의 움직임이나 경로를 예측하는 다른 학습 모델을 생성하고, 운동 상상 훈련 장치(100) 또는 BCI 장치에 전송할 수 있다.

운동 상상 훈련 장치(100)는 대상체가 수행하는 운동 상상의 종류에 기반하여 대상체에게 뇌 자극을 가하기 위한 뇌 자극 신호의 출력을 결정할 수 있다. 또한, 운동 상상 훈련 장치(100)는 대상체의 체성 감각 운동 상상의 수행을 진작시킬 수 있는 뇌 자극 신호의 파라미터를 결정할 수 있다.

운동 상상 훈련 장치(100)는 뇌 자극 신호를 출력하는 자극부(140)를 포함할 수 있다. 도 2를 참조하여 자세히 설명한다.

도 2를 참조하여 본 개시의 일 실시 예에 따른 운동 상상 훈련을 위한 장치(100)의 구성을 설명한다.

운동 상상 훈련 장치(100)는 대상체로부터 뇌파 신호를 입력 받는 입력부(110), 뇌파 신호를 전 처리하여 입력 데이터를 생성하는 전 처리부(150) 및 뇌파 신호가 기반한 운동 상상의 종류를 판단하는 판단부(130)를 포함할 수 있다.

입력부(110)는 ECoG (Electrocorticogram, 피질전도), EEG (Electroencephalogram, 뇌전도) 형태의 뇌파 신호 측정을 위한 전극을 포함하거나, 별도의 ECoG, EEG 측정 장치로부터 측정된 뇌파 신호(뇌와 관련된 신경 신호)를 전기적 신호 또는 디지털 신호로 변환한 후에 유선 또는 무선으로 입력 받을 수 있다.

또한, 입력부(110)는 MEG(뇌자도, Magnetoencephalography) 측정기로부터 측정된 자기적 형태의 뇌 신경 신호를 전기적 또는 디지털 신호로 변환한 후에 유선 또는 무선으로 입력 받을 수 있다.

또한, 입력부(110)는 NIRS(근적외선 분광 영상, Near Infrared Spectroscopy) 측정을 위한 광원 및 디텍터를 포함하거나, 별도의 NIRS 측정기로부터 측정된 뇌 신경 신호를 전기적 또는 디지털 신호로 변환한 후에 유선 또는 무선으로 입력 받을 수 있다.

뇌파 신호는 대상체의 복수의 뇌 영역에서 획득된 신호일 수 있다.

뇌파 신호는 일 실시 예로 도 4의 the dorsolateral prefrontal cortex(DLPFC), premotor cortex(PM), supplementary motor area(SMA), primary motor cortex(M1), primary somatosensory cortex(S1), posterior parietal cortex(PPC) 및 primary visual cortex(V1) 영역들에 대해 뇌의 좌반구 및 우반구 각각에서 획득된 뇌파 신호들일 수 있다. 도 4는 뇌파 신호를 획득하는 뇌의 영역 및 해당 뇌의 좌표를 도시한다.

전 처리부(120)는 뇌파 신호를 증폭하기 위한 저 잡음 증폭기(LNA, Low Noise Amplifier) 및 아날로그 디지털 컨버터(ADC, Analog-Digital Converter)를 포함한 아날로그 전단부와 디지털 필터를 포함하거나, 디지털 신호로 뇌파 신호를 입력 받은 경우를 위한 디지털 필터 또는 디지털 전 처리 모듈을 포함할 수 있다.

전 처리부(120)는 노이즈 제거와 필터링, 에포킹(Epoching)을 수행할 수 있다.

전 처리부(120)는 노치(notch) 필터를 이용하여 60Hz 전원 노이즈의 제거 또는 대역 통과 필터를 이용하여 특정 행동과 관련이 있다고 추정되는 각 대역 별로 델타 1-4Hz, 세타 4-8Hz, 뮤 8-14Hz, low 베타 13-20Hz, high 베타 20-30Hz, 감마 30-50Hz 대역 신호 성분을 추출하는 필터링을 수행할 수 있다. 일 실시예 에서 손 및/또는 발의 운동 조작과 관련된 뮤(8-14Hz)와 베타파(13-30Hz)로 대역통과 필터링을 수행할 수 있다.

전 처리부(120)는 분석에 용이하도록 잡음이 제거된 뇌파 신호를 특정 구간(운동의 시작과 끝)으로 잘라 신호 처리를 해줄 수 있도록 에포킹과 사람 간 뇌파 신호의 차이와 사람 내 뇌파 신호의 차이를 줄이기 위한 정규화(normalization), 오버피팅 (over-fitting)을 막기 위한 다운 샘플링 (down sampling)을 수행할 수 있다. 에포킹은 데이터 처리를 위해 수십 밀리초(millisecond)에서 초(second) 단위로 수행될 수 있다.

전 처리부(120)는 대상체의 복수의 뇌 영역으로부터 획득된 뇌파 신호들의 연결성을 분석할 수 있다. 연결성은 상호 정보(mutual information)에 기반할 수 있으며, 상호 정보 이외에 Dynamic Causal Modeling(DCM) 등 신경 생리학 기반의 뇌 모델에 기반할 수 있다.

전 처리부(120)는 대상체의 복수의 뇌 영역으로부터 획득된 뇌파 신호들의 연결성 값을 행렬로 표현하여 입력 데이터를 생성할 수 있다. 따라서, 복수의 뇌 영역들 사이의 데이터 처리를 용이하게 수행할 수 있다.

전 처리부(120)는 한 쌍의 피질 관심 영역(ROI: region of interest)에서 신호 간의 비선형 통계적 의존성에 대한 메트릭(metric)으로 상호 정보를 이용할 수 있다. 예를 들어, 총 14개의 관심 영역 사이에서 총 91 개의 엣지(edge)가 존재할 수 있다.

발명자들은, 복수의 대상체의 서로 다른 상태 조건(예를 들어, 체성 감각 운동 상상, 시각 운동 상상, 운동 실행(ME: motor execution), 시각 관찰(VO: visual observation))에서 뇌파 신호들에 대해 연결성을 분석하였고, 도 5와 같이 뇌 연결성 패턴이 각 상태 조건에서 서로 다름을 발견하였다. 연결성 패턴은 알파 (8-12Hz) 및 베타 (13-30Hz) 주파수 대역의 4 가지 서로 다른 상태조건 (ME, KMI, VMI, VO)에 대해 대상체 전체에서 평균화 하여 서로 비교하고, 평균 에지를 사용하여 DC를 분석하였다. 그 결과, 체성 감각 운동 상상의 뇌 연결성 패턴과 운동 실행의 뇌 연결성 패턴이 서로 유사하고, 시각 운동 상상의 뇌 연결성 패턴과 시각 관찰의 뇌 연결성 패턴이 서로 유사함을 발견하여, 체성 감각 운동 상상과 시각 운동 상상을 구별하여 판단 가능한 학습 모델을 실험하여 본 발명에 이르게 되었다.

판단부(130)는 대상체로부터 획득된 뇌파 신호를 전 처리한 입력 데이터에 머신 러닝 기반의 학습 모델을 적용하여 뇌파 신호가 획득될 당시의 대상체가 수행한 운동 상상의 종류를 체성 감각 운동 상상 또는 시각 운동 상상 중 어느 하나로 판단할 수 있다.

판단부(130)는 서포트 벡터 머신(SVM: Support Vector Machine), 딥 러닝에 기반한 인공 신경망, 다중 선형 회귀 (Multiple Linear Regression), 선형 회귀 (Linear Regression)등의 회귀방법에 기반한 학습 모델을 입력 데이터에 적용하여 운동 상상의 종류를 판단할 수 있다.

학습 모델은 복수의 대상체들의 체성 감각 운동 상상 및 시각 운동 상상 중 획득된 뇌파 신호들에 대해 각 대상체 내의 뇌 영역 간의 연결성 값을 훈련 데이터로 사용하여 훈련된 학습 모델일 수 있다.

일 실시 예에서, 학습 모델은 뇌 영역 간의 연결성 값이 상위 일정 범위 내의 뇌파 신호들로만 훈련된 학습 모델일 수 있다. 이 경우, 학습 모델이 더욱 효과적으로 학습될 수 있다.

일 예로서, 도 7은 판단부(130)가 서포트 벡터 머신에 기반한 학습 모델을 입력 데이터에 적용하여 운동 상상의 종류를 판단한 정확도를 보여준다.

판단부(130)는 뇌파 신호가 기반한 운동 상상의 종류에 기반하여 대상체의 체성 감각 운동 상상을 진작시키도록 뇌 자극 신호를 출력할 지 여부를 결정할 수 있다.

일 실시 예에서, 판단부(130)는 대상체가 시각 운동 상상을 수행한 것으로 판단한 경우, 대상체에 뇌 자극을 위한 뇌 자극 신호를 출력하도록 결정할 수 있다.

운동 상상 훈련 장치(100)는 선택적으로 대상체에 뇌 자극 신호를 가하기 위한 자극부(140)를 포함할 수 있다.

자극부(140)는 운동 상상 훈련 장치(100)의 판단부(130)의 제어에 따라 전기적 또는 자기적 자극 신호를 출력할 수 있으며, 자극 신호의 파라미터(속성)는 운동 상상 훈련 장치(100)의 판단부(130)에서 결정할 수 있다.

전기적 자극 신호는 경두개 직류 자극(tDCS: transcranial Direct Current Stimulation), 경두개 랜덤 신호 자극(tRNS: transcranial Random Noise Stimulation), 경두개 교류 자극(tACS: transcranial Alternating Current Stimulation) 및 경두개 펄스파 자극(tPCS: transcranial Pulsed Current Stimulation)일 수 있으며, 침습적인 뇌 심부 자극(DBS: Deep Brain Stimulation)일 수 있다.

자극부(140)는 전기적 자극 신호의 대상체에 대한 인가를 위한 전극을 포함하거나, 자기적 자극 신호를 출력하기 위한 코일(Coil)을 포함할 수 있고, 자기적 자극 신호는 경두개 자기 신호 자극(TMS: Transcranial Magnetic Stimulation)일 수 있다.

다른 실시 예에서, 판단부(130)는 대상체가 체성 감각 운동 상상을 수행한 것으로 판단했지만, 그 정도가 약한 경우 대상체에 뇌 자극을 위한 뇌 자극 신호를 출력하도록 결정할 수 있다.

판단부(130)는 대상체가 수행한 체성 감각 운동 상상의 정도를 파악하기 위해 체성 감각 운동 상상 점수를 결정할 수 있다. 판단부(130)는 체성 감각 운동 상상 점수가 미리 설정된 범위인 경우 대상체에 뇌 자극을 위한 뇌 자극 신호를 출력하도록 결정할 수 있고, 체성 감각 운동 상상 점수에 기반하여 뇌 자극 신호의 파라미터를 결정할 수 있다.

일 실시 예에서, 판단부(130)는 대상체가 시각 운동 상상을 수행한 것으로 판단한 경우 출력하는 뇌 자극 신호의 강도를 대상체가 체성 감각 운동 상상을 수행한 것으로 판단한 경우 출력하는 뇌 자극 신호의 강도보다 높도록 결정할 수 있다.

판단부(130)는 체성 감각 운동 상상 점수에 기반하여 자극의 길이(pulse width), 진동수 및 자극의 세기(amplitude) 중 적어도 어느 하나가 다른 뇌 자극 신호의 출력을 결정할 수 있다.

전기적 자극 신호의 경우 전류 세기(Amplitude), 펄스 폭(Pulse Width), 진동수(Frequency) 등의 자극 신호의 속성은 체성 감각 운동 상상 점수에 기반하여 판단부(130)가 조절할 수 있고, 자기적 자극 신호의 경우 코일을 통해 흐르는 시변전류(Time Variant Current)의 전류 세기(Amplitude), 펄스 폭(Pulse Width), 진동수(Frequency) 등의 조절을 통해서 자기적 자극 신호를 판단부(130)가 조절할 수 있고, 시변전류의 속성은 미리 고정되거나 기억 형성 가능성의 정도에 따라 판단부(130)가 조절할 수 있다.

일 실시 예에서, 판단부(130)는 대상체에 뇌 자극 신호를 가하기 전의 체성 감각 운동 상상 점수와 뇌 자극 신호를 가한 이후의 체성 감각 운동 상상 점수를 비교하여 그 변화에 기반하여 뇌 자극 신호의 속성을 결정할 수 있다.

예를 들어, 뇌 자극을 인가 받기 전에 입력된 뇌파 신호와 뇌 자극을 인가 받은 후에 입력된 뇌파 신호의 특정 주파수 대역들의 뇌 활동성의 변화를 분석(예를 들어 체성 감각 운동 상상 점수의 변화)하여, 뇌 활동성의 변화가 특정 기준을 만족하지 않고 절대적, 상대적 또는 통계적 변화량이 작은 경우 변화량에 반비례하여 전기적 자극 신호의 경우 자극 신호 전하의 총량을 증가시키기 위해 진동수 또는 신호 세기(진폭)를 높이도록 뇌 자극 신호의 속성을 조절할 수 있다.

판단부(130)가 체성 감각 운동 상상 점수를 결정하는 방법을 설명한다.

일 실시 예에서, 판단부(130)가 입력 데이터의 운동 상상 종류를 결정하기 위해 사용한 학습 모델이 서포트 벡터 머신에 기반한 경우, 판단부(130)는 서포트 벡터 머신의 초 평면(hyper plane)과 입력 데이터의 거리에 기반하여 체성 감각 운동 상상 점수를 결정할 수 있다. 예를 들어, 입력 데이터가 체성 감각 운동 상상에 기반한 것으로 판단되고 초 평면에서 거리가 멀수록 체성 감각 운동 상상 점수를 높게 결정할 수 있다.

일 실시 예에서, 판단부(130)는 입력 데이터에서 일차 체성 감각 영역의 연결성을 계산하고, 일차 체성 감각 영역의 연결성에 기반하여 체성 감각 운동 상상 점수를 결정할 수 있다. 예를 들어, 일차 체성 감각 영역의 연결성이 높을수록 체성 감각 운동 상상 점수를 높게 결정하고, 일차 체성 감각 영역의 연결성이 시각 운동 상상과 차이가 없을수록 체성 감각 운동 상상 점수를 낮게 결정할 수 있다.

일 실시 예에서, 판단부(130)는 뇌파 신호가 획득된 대상체의 운동 중에 획득된 ERD(event related desynchronization) 신호에 기반하여 체성 감각 운동 상상 점수를 결정할 수 있다. 예를 들어, 운동 상상 훈련 장치(100)는 저장부(150)에 미리 저장된 뇌파 신호가 획득된 대상체의 운동 중에 획득된 ERD 신호와 뇌파 신호가 획득된 기간 중에 획득된 ERD 신호의 상관 관계를 산출하고, 상관 관계가 높을수록 체성 감각 운동 상상 점수를 높게 결정할 수 있다.

운동 상상 훈련 장치(100)가 BCI 제어 장치 역할을 수행하는 경우, 뇌파 신호가 체성 감각 운동 상상에 기반한 것으로 판단된 경우 또는 체성 감각 운동 상상 점수가 미리 설정된 기준 이상인 경우에만 뇌파 신호로부터 제어 대상체의 운동 궤적을 예측하도록 설정될 수 있다.

운동 상상 훈련 장치(100)는 대상체의 뇌파 신호가 기반한 운동 상상의 종류 판단 결과 또는 체성 감각 운동 상상 점수를 표시하기 위한 디스플레이를 포함할 수 있다.

도 3을 참조하여 본 개시의 일 실시 예에 따른 운동 상상 훈련을 위한 장치의 동작 방법을 설명한다.

운동 상상 훈련 장치(100)는 대상체 또는 별도의 입력 장치로부터 뇌파 신호를 입력 받을 수 있다(S310). 뇌파 신호는 EEG, ECoG, MEG일 수 있다.

운동 상상 훈련 장치(100)는 입력 받은 뇌파 신호를 전 처리하여 입력 데이터를 생성할 수 있다(S320). 전 처리는 신호의 증폭, 노이즈 제거, 필터링, 에포킹을 포함할 수 있다.

전 처리는 복수의 뇌 영역에서 획득된 뇌파 신호의 연결성 계산을 포함할 수 있고, 연결성은 상호 정보에 기반할 수 있으며, 상호 정보 이외에 Dynamic Causal Modeling 등 신경 생리학 기반의 뇌 모델에 기반할 수 있다.

운동 상상 훈련 장치(100)는 머신 러닝 기반의 학습 모델을 입력 데이터에 적용하여 뇌파 신호가 기반한 운동 상상 종류를 체성 감각 운동 상상 또는 시각 운동 상상 중 어느 하나로 판단할 수 있다(S330). 학습 모델은 서포트 벡터 머신에 기반한 학습 모델일 수 있고, 딥 러닝에 기반한 인공 신경망, 다중 선형, 선형 회귀 등의 회귀방법에 기반할 수 있다.

운동 상상 훈련 장치(100)는 판단된 운동 상상의 종류에 기반하여 뇌 자극 신호의 출력 및 뇌 자극 신호의 파라미터를 결정할 수 있다(S340). 운치는 시각 운동 상상으로 판단된 경우에만 뇌 자극 신호를 출력하도록 결정하거나, 체성 감각 운동 상상으로 판단된 경우에도 뇌 자극 신호를 출력하도록 결정하는 경우 체성 감각 운동 상상의 정도에 따라 서로 파라미터가 다른 뇌 자극 신호를 출력하도록 결정할 수 있다(S350).

전술한 본 개시는, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 단말기의 프로세서(180)를 포함할 수도 있다.

한편, 상기 프로그램은 본 개시를 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다. 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 개시의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 개시에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 인자(factor)에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.

100: 운동 상상 훈련 장치 140: 자극부
200: BCI 제어 대상체 300: 학습 서버

Claims

뇌파 신호를 입력 받는 입력부;
상기 뇌파 신호를 전 처리하여 입력 데이터를 생성하는 전 처리부; 및
상기 입력 데이터에 머신 러닝 기반의 학습 모델을 적용하여, 상기 뇌파 신호가 기반된 운동 상상을 체성 감각 운동 상상(KMI: Kinesthetic Motor Imagery) 또는 시각 운동 상상(VMI: Visual Motor Imagery) 중 어느 하나로 판단하는 판단부를 포함하는,
운동 상상 훈련을 위한 장치.
제 1 항에 있어서,
상기 판단부는 판단된 상기 운동 상상의 종류에 기반하여, 뇌 자극 신호의 출력을 결정하는,
운동 상상 훈련을 위한 장치.
제 2 항에 있어서,
상기 판단부는 상기 운동 상상의 종류가 시각 운동 상상인 경우 뇌 자극 신호의 출력을 결정하는,
운동 상상 훈련을 위한 장치.
제 2 항에 있어서,
상기 판단부는 상기 운동 상상의 종류가 체성 감각 운동 상상인 경우 체성 감각 운동 상상 점수를 결정하고,
상기 판단부는 상기 체성 감각 운동 상상 점수에 기반하여 자극의 길이, 진동수 및 세기 중 적어도 어느 하나가 다른 뇌 자극 신호의 출력을 결정하는,
운동 상상 훈련을 위한 장치.
제 4 항에 있어서,
상기 학습 모델은 서포트 벡터 머신(SVM: Support Vector Machine)에 기반한 학습 모델이고,
상기 판단부는 상기 서포트 벡터 머신의 초 평면과 상기 뇌파 신호에 기반한 입력 데이터의 거리에 기반하여 상기 체성 감각 운동 상상 점수를 결정하는,
운동 상상 훈련을 위한 장치.
제 4 항에 있어서,
상기 판단부는 상기 입력 데이터에서 일차 체성 감각 영역의 연결성을 계산하고, 상기 일차 체성 감각 영역의 연결성에 기반하여 상기 체성 감각 운동 상상 점수를 결정하는,
운동 상상 훈련을 위한 장치.
제 4 항에 있어서,
상기 뇌파 신호가 획득된 대상체의 운동 중에 획득된 ERD(event related desynchronization) 신호를 저장하는 저장부를 더 포함하고,
상기 입력부는 상기 뇌파 신호가 획득된 기간 중에 획득된 ERD 신호를 더 입력 받고,
상기 판단부는 상기 운동 중에 획득된 ERD 신호와 상기 뇌파 신호가 획득된 기간 중에 획득된 ERD 신호의 상관 관계에 기반하여 상기 체성 감각 운동 상상 점수를 결정하는,
운동 상상 훈련을 위한 장치.
제 1 항에 있어서,
상기 학습 모델은 상기 뇌파 신호를 입력 받기 전에 체성 감각 운동 상상 및 시각 운동 상상 중 획득된 뇌파 신호들에 대해 미리 설정된 뇌 영역 간의 연결성 값이 미리 설정된 상위 범위인 뇌파 신호들로 훈련된 학습 모델인,
운동 상상 훈련을 위한 장치.
제 1 항에 있어서,
상기 뇌파 신호는 복수의 뇌 영역에서 획득된 복수의 뇌파 신호이고,
상기 입력 데이터는 복수의 뇌 영역에서 획득된 복수의 상기 뇌파 신호 간의 연결성을 나타내는,
운동 상상 훈련을 위한 장치.
운동 상상 훈련을 위한 장치의 동작 방법으로서,
뇌파 신호를 입력 받는 단계;
상기 뇌파 신호를 전 처리하여 입력 데이터를 생성하는 단계; 및
상기 입력 데이터에 머신 러닝 기반의 학습 모델을 적용하여, 상기 뇌파 신호가 기반된 운동 상상을 체성 감각 운동 상상(KMI: Kinesthetic Motor Imagery) 또는 시각 운동 상상(VMI: Visual Motor Imagery) 중 어느 하나로 판단하는 단계를 포함하는,
운동 상상 훈련을 위한 장치의 동작 방법.
제 10 항에 있어서,
상기 운동 상상의 종류에 기반하여, 뇌 자극 신호의 출력을 결정하는 단계를 더 포함하는,
운동 상상 훈련을 위한 장치의 동작 방법.