KR101911506B1 - 뇌신호 기반 3차원 상지운동 외부 보조기기 제어를 위한 가상 뇌파 생성장치와 시뮬레이션 장치 및 방법 - Google Patents

뇌신호 기반 3차원 상지운동 외부 보조기기 제어를 위한 가상 뇌파 생성장치와 시뮬레이션 장치 및 방법 Download PDF

Info

Publication number
KR101911506B1
KR101911506B1 KR1020160180126A KR20160180126A KR101911506B1 KR 101911506 B1 KR101911506 B1 KR 101911506B1 KR 1020160180126 A KR1020160180126 A KR 1020160180126A KR 20160180126 A KR20160180126 A KR 20160180126A KR 101911506 B1 KR101911506 B1 KR 101911506B1
Authority
KR
South Korea
Prior art keywords
motion data
motion
virtual
brain wave
signal
Prior art date
Application number
KR1020160180126A
Other languages
English (en)
Other versions
KR20180076045A (ko
Inventor
김성필
김민기
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Priority to KR1020160180126A priority Critical patent/KR101911506B1/ko
Publication of KR20180076045A publication Critical patent/KR20180076045A/ko
Application granted granted Critical
Publication of KR101911506B1 publication Critical patent/KR101911506B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/48—Analogue computers for specific processes, systems or devices, e.g. simulators
    • G06G7/60—Analogue computers for specific processes, systems or devices, e.g. simulators for living beings, e.g. their nervous systems ; for problems in the medical field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Neurology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Neurosurgery (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Dermatology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따르면, 뇌신호 기반 3차원 상지운동 외부보조기기 제어를 위한 가상 뇌파 생성장치와 시뮬레이션 장치에 있어서, 영장류에서 실제 측정한 뇌파 신호와 3차원 운동 데이터를 기반으로 뉴런 발화 패턴 모델 함수의 캘리브레이션 파라미터를 결정하여 3차원 운동 데이터에 대응되는 가상 뇌파 신호를 생성하고, 머신 러닝을 통해 가상 뇌파 신호를 디코딩하여 시뮬레이션된 3차원 운동 데이터를 생성한 후, 시뮬레이션된 3차원 운동 데이터로 외부 보조기기의 움직임을 제어하고 인가된 3차원 운동데이터와 시뮬레이션된 3차원 운동데이터간 차이에 대해 시각 또는 촉각 정보로 피드백함으로써, 실제와 유사한 뇌-기계 인터페이스 시뮬레이션 환경을 구축 및 개선하고자 한다.

Description

뇌신호 기반 3차원 상지운동 외부 보조기기 제어를 위한 가상 뇌파 생성장치와 시뮬레이션 장치 및 방법 {VIRTUAL BRAINWAVE GENERATOR AND SIMULATION APPARATUS FOR CONTROLLING EXTERNAL ASSISTING EQUIPMENT FOR BRAIN SIGNAL-BASED THREE DIMENSIONAL UPPER LIMB MOVEMENT AND METHOD THEREOF}
본 발명은 뇌-기계 인터페이스를 이용한 시뮬레이터에 관한 것으로, 특히 영장류에서 실제 측정한 뇌파 신호와 3차원 운동 데이터를 기반으로 뉴런 발화 패턴 모델 함수의 캘리브레이션 파라미터를 결정하여 3차원 운동 데이터에 대응되는 가상 뇌파 신호를 생성하고, 머신 러닝을 통해 가상 뇌파 신호를 디코딩하여 시뮬레이션된 3차원 운동 데이터를 생성한 후, 시뮬레이션된 3차원 운동 데이터로 외부 보조기기의 움직임을 제어하고 인가된 3차원 운동데이터와 시뮬레이션된 3차원 운동데이터간 차이에 대해 시각 또는 촉각 정보로 피드백함으로써, 디코딩 개발 및 사용자 인지기능 학습 상태를 연구할 수 있는 실제와 유사한 뇌-기계 인터페이스 환경을 재현한 뇌신호 기반 3차원 상지운동 외부보조기기 제어를 위한 가상 뇌파 생성장치와 시뮬레이션 장치 및 그 방법에 관한 것이다.
일반적으로, BMI (Brain-Machine Interface)는 인간의 두뇌와 기계를 직접 연결해 뇌파를 통해 기계를 제어하는 인터페이스 기술을 의미한다.
이러한 BMI 기술은 인간의 뇌파를 분석하여 인간의 의도를 기계가 자동적으로 파악하여 작동하도록 하는 것으로, 물리적인 행동을 사용하지 않고 뇌의 활동을 사용하여 외부 기계 장치에 명령어 및 메시지를 전달하여 동작하게 함으로써 특히 신체 장애인들의 의사 표현 및 장치 제어에 도움을 주고 있다.
뇌파는 뉴런의 생화학적 반응에 의해 유발되는 전기적 특성으로, 인지 및 운동 또는 외부 자극과 연관된 정보를 포함하고 있으며, 다수 뉴런의 전계 효과에 따라 그 진폭과 주파수의 성질을 띤다. 이와 같은 뇌파의 성질을 이용하여 인지 및 운동에 따른 다양한 응용 인터페이스가 가능하며, 이를 통해 제어 시스템의 활용 및 인지 상태를 모니터링 할 수 있는 수단으로 발전될 수 있다.
여기에서, 뇌파의 종류는 측정 방법에 따라 분류될 수 있는데, 그 중 탐침을 뇌의 피질에 직접 삽입하여 직접 측정하는 내피질 측정법 (intracortical recording)은 두피 측정법인 뇌전도 (electroencephalography, EEG)에 비해 잡음에 강하고 다양한 정보를 포함하고 있어 관련 연구 분야에서 활발히 이용되고 있다.
그러나, 내피질 측정을 위한 준비 과정에 많은 비용과 감염의 위험성을 포함하고 있기 때문에 현재 국내에서는 직접적인 실험을 통해 획득한 데이터를 이용하여 연구하는 것이 매우 어려운 실정이다.
이를 위해, 최근에는 원활한 연구를 위해 뉴런(neuron)의 발화 모델(firing model)을 이용한 시뮬레이터를 개발하여 뇌파의 특성 정보를 해석하기 위한 디코더 개발 연구가 활발히 진행되고 있으나, 아직까지 만족할 만한 디코딩 성능의 검증을 위한 시뮬레이터 환경 개발이 이루어지고 있지 않은 실정이다.
(특허문헌)
대한민국 등록특허번호 제10-1342342호(등록일자 2015년 08월 27일)
따라서, 본 발명에서는 영장류에서 실제 측정한 뇌파 신호와 3차원 운동 데이터를 기반으로 뉴런 발화 패턴 모델 함수의 캘리브레이션 파라미터를 결정하여 3차원 운동 데이터에 대응되는 가상 뇌파 신호를 생성하고, 머신 러닝을 통해 가상 뇌파 신호를 디코딩하여 시뮬레이션된 3차원 운동 데이터를 생성한 후, 시뮬레이션된 3차원 운동 데이터로 외부 보조기기의 움직임을 제어하고 인가된 3차원 운동데이터와 시뮬레이션된 3차원 운동데이터간 차이에 대해 시각 또는 촉각 정보로 피드백함으로써, 실제와 유사한 뇌-기계 인터페이스를 재현하는 뇌신호 기반 3차원 상지운동 외부보조기기 제어를 위한 가상 뇌파 생성장치와 시뮬레이션 장치 및 그 방법을 제공하고자 한다.
상술한 본 발명은 뇌신호 기반 3차원 상지운동 외부 보조기기 제어를 위한 가상 뇌파 생성장치로서, 영장류의 뇌에서 측정된 뇌파 신호(spike trains)와 상기 영장류의 상지의 움직임에 대응되는 운동 데이터를 입력 받고, 상기 뇌파 신호를 표시하는 기설정된 뉴런 발화 패턴 모델 함수의 X, Y, Z축의 파라미터에 상기 운동 데이터의 X, Y, Z축 위치 정보를 대입하여 상기 운동 데이터가 적용된 제1 뉴런 발화 패턴 모델 함수를 산출하는 뇌파 패턴 생성부와, 상기 제1 뉴런 발화 패턴 모델 함수로부터 캘리브레이션 파라미터를 산출하는 캘리브레이션 파라미터 산출부와, 상기 제1 뉴런 발화 패턴 모델 함수에 상기 캘리브레이션 파라미터와 상기 운동 데이터를 대입하여 제2 뉴런 발화 패턴 모델 함수를 생성하고, 상기 제2 뉴런 발화 패턴 모델 함수에 대해 포아송 확률 분포 처리를 수행하여 가상 뇌파 신호를 생성하는 가상 뇌파 생성부를 포함한다.
또한, 상기 뇌파 패턴 생성부는, 상기 뇌파 신호의 스파이크 발생 시점을 검출하여 상기 뇌파 신호를 이진화 처리하고, 상기 뇌파 신호에 소정의 시간 간격 윈도우별 존재하는 스파이크의 수를 카운트하여 뉴런의 발화율을 산출하며, 상기 뉴런의 발화율에 따라 상기 운동 데이터를 다운 샘플링 (down sampling) 하는 것을 특징으로 한다
또한, 상기 캘리브레이션 파라미터 산출부는, 상기 운동 데이터가 적용된 상기 제1 뉴런 발화 패턴 모델 함수로부터 상기 뇌파 신호의 선호 방향(preferred direction: PD)과, SNR (signal to noise ratio) 및 튜닝 깊이(tuning depth)를 값을 산출하여 상기 캘리브레이션 파라미터를 생성하는 것을 특징으로 한다
또한, 상기 가상 뇌파 생성부는, 상기 운동 데이터가 적용된 상기 제2 뉴런 발화 패턴 모델 함수에 대해 포아송 확률 분포 처리(Poisson process)를 수행하여 상기 가상 뇌파 신호를 실제 뇌파 신호와 유사한 뇌파 신호 형태로 변환시키는 것을 특징으로 한다
또한, 본 발명은 뇌신호 기반 3차원 상지운동 외부 보조기기 제어 시뮬레이션 장치로서, 영장류의 상지의 움직임에 대응되는 제1 운동 데이터를 입력 받는 모션 입력부와, 상기 청구항 제1항 내지 제4항 중 어느 한 항에 기재된 가상 뇌파 생성장치로부터 산출된 상기 제2 뉴런 발화 패턴 모델 함수에 상기 제1 운동 데이터를 적용하여 가상 뇌파 신호를 생성하는 가상 뇌파 산출부와, 상기 가상 뇌파 신호를 디코딩하여 제2 운동 데이터를 생성시키는 디코더부와, 상기 디코더부로부터 생성된 제2 운동 데이터를 이용하여 외부 보조기기의 움직임 또는 가상 화면상 상기 상지의 움직임을 제어하는 시뮬레이터와, 상기 제1 운동 데이터와 상기 제2 운동 데이터를 비교하여 두 데이터간 차이를 시각 정보 또는 촉각 정보로 피드백하는 피드백부를 포함하는 것을 특징으로 한다.
또한, 상기 디코더부는 상기 제1 운동 데이터로부터 추출된 방향 정보와 속도 정보를 추출하고, 상기 제2 뉴런 발화 패턴 모델 함수와 상기 제1 운동 데이터의 방향 정보를 칼만필터(Kalman filter)에 통과시켜 상기 제1 운동 데이터의 움직임의 방향에 대응되는 제1 디코딩 파라미터를 생성하며, 상기 제2 뉴런 발화 패턴 모델 함수와 상기 제1 운동 데이터의 속도 정보를 MLP(Multi-Layer Perceptron)를 통해 해석하여 움직임의 속도에 대응되는 제2 디코딩 파라미터(MLP 파라미터)를 생성한 후, 상기 제1 디코딩 파라미터와 상기 제2 디코딩 파라미터를 이용하여 상기 가상 뇌파 신호를 디코딩하여 상기 제2 운동 데이터를 생성시키는 것을 특징으로 한다.
또한, 상기 피드백부는, 상기 시각 정보를 피드백하는 경우, 상기 제1 운동 데이터에 따른 상기 상지의 움직임과 상기 제2 운동 데이터에 따른 상기 상지의 움직임을 모두 상기 가상 화면에 표시시켜 상기 상기 제1 운동 데이터와 상기 제2 운동 데이터간 차이가 화면으로 표시되도록 하는 것을 특징으로 한다.
또한, 상기 피드백부는, 상기 촉각 정보를 피드백하는 경우, 상기 상지에 착용된 상지-운동 제어 기기로 촉각 정보를 제공하여 상기 상지-운동 제어 기기가 상기 제1 운동 데이터와 상기 제2 운동 데이터간 차이를 보정하는 방향으로 상기 상지가 움직이도록 상기 상지의 특정 부위를 자극하도록 하는 것을 특징으로 한다.
또한, 상기 가상 뇌파 산출부는, 상기 제1 운동 데이터가 적용된 상기 제2 뉴런 발화 패턴 모델 함수에 대해 포아송 확률 분포 처리(Poisson process)를 수행하여 상기 가상 뇌파 신호를 실제 뇌파 신호와 유사한 뇌파 신호 형태로 변환시키는 것을 특징으로 한다.
또한, 본 발명은 뇌신호 기반 3차원 상지운동 외부 보조기기 제어 시뮬레이션 방법으로서, 영장류의 상지의 움직임에 대응되는 제1 운동 데이터를 입력받는 단계와, 상기 청구항 제1항 내지 제4항 중 어느 한 항에 기재된 가상 뇌파 생성장치로부터 산출된 상기 제2 뉴런 발화 패턴 모델 함수에 상기 제1 운동 데이터를 적용하여 가상 뇌파 신호(spike)를 생성하는 단계와, 상기 가상 뇌파 신호를 디코딩하여 제2 운동 데이터를 생성시키는 단계와, 상기 제2 운동 데이터를 이용하여 외부 보조기기의 움직임 또는 가상 화면상 상기 상지의 움직임을 제어하는 단계와, 상기 제1 운동 데이터와 상기 제2 운동 데이터를 비교하여 두 데이터간 차이를 시각 정보 또는 촉각 정보로 피드백하는 단계를 포함한다.
또한, 상기 제2 운동 데이터를 생성시키는 단계는, 상기 제1 운동 데이터로부터 추출된 방향 정보와 속도 정보를 추출하는 단계와, 상기 제2 뉴런 발화 패턴 모델 함수와 상기 제1 운동 데이터의 방향 정보를 칼만필터에 통과시켜 상기 제1 운동 데이터의 움직임의 방향에 대응되는 제1 디코딩 파라미터를 생성하는 단계와, 상기 제2 뉴런 발화 패턴 모델 함수와 상기 제1 운동 데이터의 속도 정보를 MLP를 통해 해석하여 움직임의 속도에 대응되는 제2 디코딩 파라미터를 생성하는 단계와, 상기 제1 디코딩 파라미터와 상기 제2 디코딩 파라미터를 이용하여 상기 가상 뇌파 신호를 디코딩하여 상기 제2 운동 데이터를 생성시키는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 뇌신호 기반 3차원 상지운동 외부보조기기 제어를 위한 가상 뇌파 생성장치와 시뮬레이션 장치에 있어서, 영장류에서 실제 측정한 뇌파 신호와 3차원 운동 데이터를 기반으로 뉴런 발화 패턴 모델 함수의 캘리브레이션 파라미터를 결정하여 3차원 운동 데이터에 대응되는 가상 뇌파 신호를 생성할 수 있는 이점이 있다.
또한, 본 발명에서는 상지운동에 따른 3차원 운동 데이터에 대응되게 생성된 가상 뇌파 신호를 머신 러닝을 통해 디코딩하여 시뮬레이션된 3차원 운동 데이터를 생성한 후, 시뮬레이션된 3차원 운동 데이터로 외부 보조기기의 움직임을 제어하고 인가된 3차원 운동데이터와 시뮬레이션된 3차원 운동데이터간 차이에 대해 시각 또는 촉각 정보로 피드백함으로써, 실제 뇌-기계 인터페이스와 유사한 실험 환경이 구축됨으로써 디코딩 성능 개선 연구 및 사용자 행동 피드백 연구를 할 수 있는 연구 자유도를 높일 수 있도록 하는 이점이 있다.
도 1은 본 발명의 실시예에 따른 뇌신호 기반 3차원 상지운동 외부보조기기 제어를 위한 가상 뇌파 생성장치의 상세 블록 구성도.
도 2는 본 발명의 실시예에 따른 뉴런의 운동 특징 방향에 따른 뇌파 신호 분포도.
도 3은 본 발명의 실시예에 따른 뇌신호 기반 3차원 상지운동 외부 보조기기 제어 시뮬레이션 장치의 상세 블록 구성도.
도 4는 본 발명의 실시예에 따른 디코더부에서 디코딩 파라미터 생성 동작 개념도.
도 5는 본 발명의 실시예에 따른 뇌신호 기반 3차원 상지운동 외부 보조기기 제어 시뮬레이션 장치의 동작 제어 흐름도.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 뇌신호 기반 3차원 상지운동 외부보조기기 제어를 위한 가상 뇌파 생성장치의 상세 블록 구성을 도시한 것이다.
이하, 도 1을 참조하여 본 발명의 실시예에 따른 가상 뇌파 생성장치(100)의 각 구성 요소에서의 동작을 상세히 설명하기로 한다.
본 발명의 실시예에 따른 가상 뇌파 생성장치(100)는 영장류의 뇌에서 측정된 뇌파 신호(spike trains)(120)와 영장류의 상지의 움직임에 대응되는 운동 데이터(130)를 입력받아, 이에 대응하는 가상 뇌파를 생성한다. 이를 위해 가상 뇌파 생성장치(100)는 뇌파 패턴 생성부(102), 캘리브레이션 파라미터 생성부(104), 가상 뇌파 생성부(106)를 포함할 수 있다.
먼저, 뇌파 패턴 생성부(102)는, 영장류의 뇌에서 측정된 뇌파 신호(120)와 영장류의 상지의 움직임에 대응되는 운동 데이터(130)를 입력받고, 뇌파 신호를 표시하는 기설정된 뉴런(neuron) 발화 패턴 모델 함수의 X, Y, Z축의 파라미터(parameter)에 운동 데이터의 X, Y, Z축 위치 정보를 대입하여 운동 데이터가 적용된 제1 뉴런 발화 패턴 모델 함수를 산출한다.
이때, 뉴런 발화 패턴 모델 함수(f(t,c))는 예를 들어 아래의 [수학식 1]에서와 같은 함수로 표현될 수 있으며, f(t,c)는 영장류 즉, 예를 들어 원숭이의 뇌에 침습형 뇌파 측정장치를 삽입하여 측정한 뇌파의 파형을 나타내는 함수를 의미한다.
[수학식 1]
Figure 112016128048060-pat00001
위와 같은 [수학식 1]의 뉴런 발화 패턴 모델 함수에서 b1, b2, b3는 각각 X, Y, Z축의 뇌파 신호 선호 방향 (preferred direction : PD)과 관련된 파라미터를 의미하는데, 뇌파 패턴 생성부(102)는 이러한 파라미터 b1, b2, b3에 운동 데이터에서 추출된 X, Y, Z축 위치 정보를 대입하여 제1 뉴런 발화 패턴 모델 함수를 산출할 수 있다. 이에 따라 제1 뉴런 발화 패턴 모델 함수는 운동 데이터가 적용된 영장류의 뇌파 신호 패턴을 의미할 수 있다.
또한, 놔파 패턴 생성부(102)는 위와 같이 파라미터 b1, b2, b3에 운동 데이터에서 추출된 X, Y, Z축 위치 정보를 대입하여 제1 뉴런 발화 패턴 모델 함수를 산출함에 있어서, 선형 회귀 기법을 사용하여 운동 데이터가 반영된 제1 뉴런 발화 패턴 모델 함수를 산출할 수 있으나, 이에 한정되는 것은 아니다. 이때, b1, b2, b3는 캘리브레이션 파라미터(calibration parameter) 중 뉴런의 방향 정보를 나타내는 PD값을 의미할 수 있다.
또한, 뇌파 패턴 생성부(102)는 위와 같은 제1 뉴런 발화 패턴 모델 함수를 산출하기에 앞서서, 충분한 정보량이 포함된 실시간 예측이 가능하도록 하기 위해 구간화 프로세스(binning process)를 통해 뇌파 신호를 다운 샘플링(down sampling)할 수 있고, 뇌파 신호를 다운 샘플링함에 따라 운동 데이터에 대해서도 뇌파 신호에 대한 다운 샘플링에 대응되게 다운 샘플링을 수행할 수 있다.
이때, 침습형 뇌파는 도 1에서 보여지는 바와 같이, 일반적인 부착형 뇌파 측정장치로부터 측정된 뇌파와 비교하여 뇌파 신호에서 스파이크(spike) 신호가 상대적으로 매우 높게 나타나며, 이러한 스파이크 신호를 확대하는 경우 일련의 활동전위(active potential)라고 하여 뉴런에서 나오는 패턴과 동일한 패턴의 신호가 나오는 것을 알 수 있다.
따라서, 뇌파 신호에서 이러한 스파이크 신호가 발생하는 시점만을 검출하여 이진화(binary) 처리하면 뇌파 신호를 "0", "1"로 구성된 이진화 신호로 나타낼 수 있게 된다. 이때, 스파이크 신호는 "1"로 정의되며 스파이크 신호가 없는 구간은 "0"으로 정의될 수 있다.
그러면, 뇌파 패턴 생성부(102)는 위와 같이 이진화 처리된 뇌파 신호에 대해 다시 소정의 시간 간격을 가지는 윈도우(window)로 구별하여 윈도우별 스파이크 신호의 개수를 산출하고, 스파이크 신호의 개수를 기반으로 뉴런의 발화 확률(firing rate)을 계산하여 뇌파 신호를 그에 대응하는 뉴런의 발화 확률로 표시시키는 구간화 프로세스(binning process)를 수행할 수 있다. 이때, 이러한 윈도우의 시간 간격을 예를 들어 50ms라고 하고, 하나의 스파이크 신호는 1ms 라고 한다면 50ms의 윈도우에서는 최대 50개의 스파이크 신호가 나올 수 있고, 하나의 윈도우에 2개의 스파이크 신호가 있는 경우 뉴런의 발화 확률은 2/50 등으로 계산될 수 있다.
또한, 캘리브레이션 파라미터 생성부(104)는 뇌파 패턴 생성부(102)에서 생성된 b1, b2, b3 등의 PD 파라미터 외에 가상 뇌파 신호를 생성하기 위해 필요한 다른 캘리브레이션 파라미터인 신호대잡음비(signal to noise ratio: SNR)값과 튜닝 깊이(tuning depth)값을 생성할 수 있다.
한편, 기존의 뉴런 발화 모델 함수 f(t) 자체로부터 각 뉴런의 운동 특징 방향에 대해서 모델을 만들 수 있다. 이때 예를 들어 x축이 상지의 팔 등이 실제 움직인 각도이고, 그 각도의 범위가 ­pi부터 +pi까지 라고 가정한 상태에서 뇌파 신호의 분포를 도시하면 도 2에서 보여지는 바와 같은 신호 패턴으로 도시된다. 이때, 도 2에서 도시된 신호 패턴의 높이가 튜닝 깊이가 될 수 있고, 신호 패턴의 주변 존재하는 노이즈 신호의 정도가 SNR이 될 수 있다.
따라서, 캘리브레이션 파라미터 생성부(104)는 기존의 뉴런 발화 모델 함수 f(t) 자체로부터 산출되는 각 뉴런의 운동 특징 방향에 대한 모델인 도 2에서와 같은 신호 패턴 그래프로부터 b1, b2, b3 등의 PD 파라미터 외에 가상 뇌파 신호를 생성하기 위해 필요한 다른 캘리브레이션 파라미터인 SNR값과 튜닝 깊이값을 생성할 수 있다.
가상 뇌파 생성부(106)는 위와 같이 캘리브레이션 파라미터가 모두 생성된 경우, 제1 뉴런 발화 패턴 모델 함수에 상기 캘리브레이션 파라미터와 상기 운동 데이터를 대입하여 제2 뉴런 발화 패턴 모델 함수(f'(t,c))를 생성한다. 이때, 운동 데이터는 캘리브레이션 파라미터를 생성할 때 사용되었던 운동 데이터일 수도 있고, 영장류가 상지의 팔 등을 다시 움직여서 새로이 입력된 운동 데이터일 수도 있다.
이어, 가상 뇌파 생성부(106)는 제2 뉴런 발화 패턴 모델 함수로 표현된 가상 뇌파 신호를 실제 뇌파 신호와 유사한 스파이크 신호로 이루어지는 뇌파 신호로 변환하여야 한다.
이때, 가상 뇌파 생성부(100)는 제2 뉴런 발화 패턴 모델 함수로 표현된 가상 뇌파 신호를 실제 뇌파 신호와 유사한 스파이크 신호로 이루어지는 뇌파 신호로 변환함에 있어서 예를 들어 포아송 처리를 통해 가상 뇌파 신호를 생성하게 된다.
즉, 가상 뇌파 생성부(106)는, 운동 데이터가 적용된 제2 뉴런 발화 패턴 모델 함수에 대해 포아송 확률 분포 처리(Poisson process)를 수행하여 상기 가상 뇌파 신호를 실제 뇌파 신호와 유사한 뇌파 신호 형태로 변환시킬 수 있다.
여기서, 포아송 확률 분포 처리라 함은 제2 뉴런 발화 패턴 모델 함수로 표현된 가상 뇌파 신호를 포아송 확률 분포에 의거한 노이즈를 만드는 과정을 의미하며, 이러한 포아송 확률 분포 처리를 수행하여 가상 뇌파 신호를 생성한다.
도 3은 본 발명의 실시예에 따른 뇌신호 기반 3차원 상지운동 외부 보조기기 제어 시뮬레이션 장치의 상세 블록 구성을 도시한 것이다.
이하, 도 3을 참조하여 본 발명의 실시예에 따른 시뮬레이션 장치(300)의 각 구성 요소에서의 동작을 상세히 설명하기로 한다.
먼저, 모션 입력부(302)는 영장류의 상지의 움직임에 따른 제1 운동 데이터를 입력받는다. 이러한 제1 운동 데이터는 상지의 움직임에 대한 X, Y, Z축 좌표 등의 정보와 X, Y, Z 축으로 움직인 속도 등에 대한 정보가 포함될 수 있다.
가상 뇌파 산출부(304)는 도 1의 가상 뇌파 생성장치(100)로부터 생성된 제2 뉴런 발화 패턴 모델 함수(f'(t,c))에 모션 입력부(302)를 통해 입력된 상지의 움직임에 따른 제1 운동 데이터를 적용하여 가상 뇌파 신호를 생성한다. 이때, 제2 뉴런 발화 패턴 모델 함수는 도 1의 가상 뇌파 생성장치(100)에서 영장류의 실제 뇌파 신호에 해당 영장류의 3차원 운동 데이터를 적용하여 캘리브레이션 파라미터를 산출한 후, 이러한 캘리브레이션 파라미터를 뇌파 신호를 표현하는 함수인 뉴런 발화 패턴 모델 함수에 적용하여 얻어진 함수를 말한다. 이러한 제2 뉴런 발화 패턴 모델 함수는 실제 뇌파 신호를 적용하여 산출된 이후에는 운동 데이터에 따른 가상 뇌파 신호를 생성하는 함수로 사용될 수 있다.
즉, 가상 뇌파 산출부(304)는 도 1의 가상 뇌파 생성장치(100)로부터 생성된 캘리브레이션 파라미터를 입력받아 제2 뉴런 발화 패턴 모델 함수를 구현하고 이러한 제2 뉴런 발화 패턴 모델 함수에 제1 운동 데이터를 적용하여 가상 뇌파 신호를 생성한다.
디코더부(306)는 제2 뉴런 발화 패턴 모델 함수를 이용하여 가상 뇌파 신호를 디코딩하기 위한 디코딩 파라미터(decoding parameter)를 산출하고, 이러한 디코딩 파라미터를 이용하여 가상 뇌파 산출부(304)로부터 생성된 가상 뇌파 신호를 디코딩하여 제2 운동 데이터를 생성시킨다.
이때, 디코더부(306)는 위와 같은 디코딩 파라미터를 산출함에 있어서 도 4에서 보여지는 바와 같은 과정을 통해 디코딩 파라미터를 산출할 수 있다.
도 4를 참조하면, 디코더부(306)는 제2 뉴런 발화 패턴 모델 함수(f'(t,c))를 입력받고, 상지의 움직임에 따른 제1 운동 데이터를 입력받은 후, 제1 운동 데이터로부터 추출된 방향 정보와 속도 정보를 추출한다.
이어, 디코더부(306)는 제2 뉴런 발화 패턴 모델 함수와 제1 운동 데이터의 방향 정보를 칼만필터(Kalman filter)(400)에 통과시켜 제1 운동 데이터의 움직임의 방향에 대응되는 제1 디코딩 파라미터(칼만필터 파라미터)를 생성한다.
이때, 칼만필터(400)에 뇌파 신호를 통과시키면 뇌파 신호의 방향 정보가 출력으로 나오게 된다. 따라서, 칼만필터(400)에 가상 뇌파 신호를 표현하는 위와 같은 제2 뉴런 발화 패턴 함수를 입력하고 제1 운동 데이터의 방향 정보를 입력하게 되면 제1 운동 데이터의 방향 정보가 반영된 뇌파 신호의 방향 정보가 출력된다.
즉, 제1 디코딩 파라미터는 칼만 필터(400)에서 뇌파 신호의 방향 정보를 결정하는데 사용되는 파라미터로서, 이러한 제1 디코딩 파라미터는 제1 운동 데이터의 방향 정보가 반영되어 결정됨으로써, 가상 뇌파 신호와 제1 운동 데이터가 관계가 반영된 뇌파 신호의 방향 정보를 얻을 수 있다.
또한, 디코더부(306)는 제2 뉴런 발화 패턴 모델 함수와 제1 운동 데이터의 속도 정보를 MLP(Multi-Layer Perceptron)(402)를 통해 해석하여 움직임의 속도에 대응되는 제2 디코딩 파라미터(MLP 파라미터)를 생성한다.
이때, 뇌파 신호를 MLP(402)를 통해 해석하면 뇌파 신호의 속도 정보가 출력으로 나오게 된다. 따라서, 가상 뇌파 신호를 표현하는 위와 같은 제2 뉴런 발화 패턴 함수와 제1 운동 데이터의 속도 정보를 MLP(402)를 통해 해석하게 되면 제1 운동 데이터의 속도 정보가 반영된 뇌파 신호의 속도 정보가 출력된다.
즉, 제2 디코딩 파라미터는 MLP(402)에서 뇌파 신호의 속도 정보를 결정하는데 사용되는 파라미터로서, 이러한 제2 디코딩 파라미터는 제1 운동 데이터의 속도 정보가 반영되어 결정됨으로써, 가상 뇌파 신호와 제1 운동 데이터가 관계가 반영된 뇌파 신호의 속도 정보를 얻을 수 있다.
따라서, 디코더부(306)는 가상 뇌파 신호를 표현하는 제2 뉴런 발화 패턴 함수와 제1 운동 데이터의 방향, 속도 정보간 상관관계를 칼만필터(400)와 MLP(402) 등을 이용하여 해석함으로써 제1 운동 데이터가 반영된 가상 뇌파 신호의 방향, 속도 정보를 디코딩하게 되며, 이와 같이 디코딩된 데이터를 이용하여 실제 운동 데이터인 제1 운동 데이터를 가상 뇌파 신호에 대응되는 제2 운동 데이터로 생성시키는 것이다.
시뮬레이터(simulator)(308)는 디코더부(306)로부터 생성된 제2 운동 데이터를 이용하여 외부 보조기기 또는 특정 화면상 구현된 영장류의 팔 등의 움직임을 제어하게 된다. 이때, 이러한 외부 보조기기는 전신마비환자의 팔로서 동작되도록 하는 로봇 팔 등이 될 수 있으며 시뮬레이터(308)는 제2 운동 데이터를 이용하여 외부 보조기기를 제어하게 되는 것이다.
또한, 특정 화면상 구현된 영장류의 팔은 가상의 화면상에 표현한 팔의 형상 등이 될 수 있으며, 시뮬레이터(308)는 제2 운동 데이터를 이용하여 가상의 화면상에 표현한 팔의 형상의 움직임을 제어하여 가상 화면상 제2 운동 데이터에 대응되는 속도와 위치로 팔의 형상을 이동 묘사하게 되는 것이다.
피드백부(feedback)(310)는 실제 움직임에 따른 제1 운동 데이터와 디코더부(306)를 통해 디코딩되어 산출된 제2 운동 데이터를 비교하여 두 데이터간 차이를 시각 정보 또는 촉각 정보로 피드백한다.
이때, 피드백부(310)는, 시각 정보 피드백에 있어서, 제1 운동 데이터에 따른 상지의 움직임과 제2 운동 데이터에 따른 상지의 움직임을 모두 가상 화면에 표시시켜 제1 운동 데이터와 제2 운동 데이터간 차이가 화면으로 표시되도록 할 수 있다.
또한, 피드백부(310)는 촉각 정보 피드백에 있어서, 상지에 착용된 상지-운동 제어 기기로 촉각 정보를 제공하여 상지 운동 제어 기기가 제1 운동 데이터와 상기 제2 운동 데이터간 차이를 보정하는 방향으로 상지가 움직이도록 상지의 특정 부위를 자극하도록 할 수 있다.
즉, 예를 들어 시각 정보 피드백에 있어서는, 가상의 화면상 제1 운동 데이터에 따른 실제 팔의 움직임과 제2 운동 데이터에 따른 팔의 움직임을 가상의 화면상 모두 표시하여 사용자로 하여금 실제 팔의 움직임과 가상 뇌파 신호의 디코딩을 통한 팔의 움직임의 차이를 인지할 수 있도록 할 수 있으며, 이에 따라 사용자가 스스로 학습을 통해 보정을 할 수 있다.
또한, 예를 들어 촉각 정보 피드백에 있어서는, 사용자가 도 3에서 보여지는 바와 같이 팔의 움직임을 제어할 수 있는 엑소 스켈레톤(exo-skeleton) 등의 상지-운동 제어 기기(350)를 착용한 경우라면 상지 운동 제어기기(350)로 두 데이터의 차이를 보정할 수 있는 자극 정보를 전송하여 상지-운동 제어기기(350)에 의해 팔의 움직임이 스스로 보정되도록 할 수 있다. 이때, 예를 들어 두 데이터간 차이를 줄이기 위해 팔이 왼쪽으로 조금 더 움직이는 것이 필요하다고 분석된 경우라면 상지-운동 제어기기(350)의 오른쪽에서 상지의 특정 부위에 찌릿한 자극을 발생시켜 팔이 왼쪽으로 움직일 수 있도록 할 수 있는 것이다.
도 5는 본 발명의 실시예에 따른 뇌신호 기반 3차원 상지운동 외부보조기기 제어 시뮬레이션 장치의 동작 제어 흐름도이다. 이하, 도 1 내지 도 5를 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
먼저, 시뮬레이션 장치(300)는 영장류의 상지의 움직임에 따른 제1 운동 데이터를 입력 받는다(S500). 이러한 제1 운동 데이터는 상지의 움직임에 대한 X, Y, Z축 좌표 등의 정보와 X, Y, Z 축으로 움직인 속도 등에 대한 정보가 포함될 수 있다.
이어, 시뮬레이션 장치(300)는 도 1의 가상 뇌파 생성장치(100)로부터 생성된 제2 뉴런 발화 패턴 모델 함수에 상지의 움직임에 따른 제1 운동 데이터를 적용하여 가상 뇌파 신호를 생성한다(S502). 이때, 제2 뉴런 발화 패턴 모델 함수는 가상 뇌파 생성장치(100)에서 영장류의 실제 뇌파 신호에 해당 영장류의 3차원 운동 데이터를 적용하여 캘리브레이션 파라미터를 산출한 후, 이러한 캘리브레이션 파라미터를 뇌파 신호를 표현하는 함수인 뉴런 발화 패턴 모델 함수에 적용하여 얻어진 함수를 말할 수 있으며, 이러한 제2 뉴런 발화 패턴 모델 함수는 실제 뇌파 신호를 적용하여 산출된 이후에는 운동 데이터에 따른 가상 뇌파 신호를 생성하는 함수로 사용될 수 있다.
위와 같이, 가상 뇌파 신호를 생성한 경우, 시뮬레이션 장치(300)는 제2 뉴런 발화 패턴 모델 함수를 이용하여 가상 뇌파 신호를 디코딩하기 위한 디코딩 파라미터를 산출한다(S504).
이때, 시뮬레이션 장치(300)는 디코딩 파라미터를 산출함에 있어서, 제1 운동 데이터로부터 추출된 방향 정보와 제2 뉴런 발화 패턴 모델 함수를 칼만필터(400)에 통과시켜 가상 뇌파 신호의 방향 정보를 산출하기 위한 제1 디코딩 파라미터를 산출할 수 있다. 또한, 제1 운동 데이터로부터 추출된 속도 정보와 제2 뉴런 발화 패턴 모델 함수를 MLP(402)를 통해 해석하여 가상 뇌파 신호의 속도 정보를 산출하기 위한 제2 디코딩 파라미터를 산출할 수 있다.
이어, 시뮬레이션 장치(300)는 위와 같이 산출한 제1 디코딩 파라미터와 제2 디코딩 파라미터를 이용하여 제1 운동 데이터에 대응되는 가상 뇌파 신호를 디코딩함으로써, 가상 뇌파 신호에 대응되는 제2 운동 데이터를 생성할 수 있다(S506).
이어, 시뮬레이션 장치(300)는 제2 운동 데이터를 이용하여 외부 보조기기 또는 특정 화면상 구현된 영장류의 팔 등의 움직임을 제어하게 된다(S508).
이때, 이러한 외부 보조기기는 전신마비환자의 팔로서 동작되도록 하는 로봇 팔 등이 될 수 있으며, 시뮬레이션 장치(300)는 제2 운동 데이터를 이용하여 외부 보조기기를 제어하게 되는 것이다. 또한, 특정 화면상 구현된 영장류의 팔은 가상의 화면상에 표현한 팔의 형상 등이 될 수 있으며, 시뮬레이션 장치(300)는 제2 운동 데이터를 이용하여 가상의 화면상에 표현한 팔의 형상의 움직임을 제어하여 가상 화면상 제2 운동 데이터에 대응되는 속도와 위치로 팔의 형상을 이동 묘사하게 되는 것이다.
위와 같은 시뮬레이션 수행 후, 시뮬레이션 장치(300)는 실제 움직임에 따른 제1 운동 데이터와 가상 뇌파 신호를 통해 디코딩되어 산출된 제2 운동 데이터를 비교하여 두 데이터간 차이를 시각 정보 또는 촉각 정보로 피드백한다(S510).
이어, 위와 같이 디코딩 파라미터가 생성되어 제1 운동 데이터와 제2 운동 데이터간 차이에 대해 시각 또는 촉각으로 피드백이 제공된 후에는 다시 신규 운동 데이터가 획득될 수 있다(S512).
이때, 이러한 신규 운동 데이터에 대해서는 신규 운동 데이터에 대한 가상뇌파신호를 생성하고, 디코딩 파라미터를 가상 뇌파 신호를 디코딩하며, 디코딩된 제2 운동 데이터에 대해 화면상 팔 움직임 제어 및 촉각 피드백을 수행하는 (S506)-(S512) 단계를 반복하면서 시뮬레이션 동작을 수행하게 된다.
상술한 바와 같이, 본 발명에 따르면, 뇌신호 기반 3차원 상지운동 외부보조기기 제어를 위한 가상 뇌파 생성장치와 시뮬레이션 장치에 있어서, 영장류에서 실제 측정한 뇌파 신호와 3차원 운동 데이터를 기반으로 뉴런 발화 패턴 모델 함수의 캘리브레이션 파라미터를 결정하여 3차원 운동 데이터에 대응되는 가상 뇌파 신호를 생성하고, 머신 러닝을 통해 가상 뇌파 신호를 디코딩하여 시뮬레이션된 3차원 운동 데이터를 생성한 후, 시뮬레이션된 3차원 운동 데이터로 외부 보조기기의 움직임을 제어하고 인가된 3차원 운동데이터와 시뮬레이션된 3차원 운동데이터간 차이에 대해 시각 또는 촉각 정보로 피드백함으로써, 디코딩 성능을 높일 수 있도록 한다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
한편 상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
100 : 가상 뇌파 생성장치 102 : 뇌파 패턴 생성부
104 : 캘리브레이션 파라미터 생성부 106 : 가상 뇌파 생성부
300 : 시뮬레이션 장치 302 : 모션 입력부
304 : 가상 뇌파 산출부 306 : 디코더부
308 : 시뮬레이터 310 : 피드백부

Claims (11)

  1. 영장류의 뇌에서 측정된 뇌파 신호(spike trains)와 상기 영장류의 상지의 움직임에 대응되는 운동 데이터를 입력받고, 상기 뇌파 신호를 표시하는 기설정된 뉴런 발화 패턴 모델 함수의 X, Y, Z축의 파라미터에 상기 운동 데이터의 X, Y, Z축 위치 정보를 대입하여 상기 운동 데이터가 적용된 제1 뉴런 발화 패턴 모델 함수를 산출하는 뇌파 패턴 생성부와,
    상기 제1 뉴런 발화 패턴 모델 함수로부터 캘리브레이션 파라미터를 산출하는 캘리브레이션 파라미터 산출부와,
    상기 제1 뉴런 발화 패턴 모델 함수에 상기 캘리브레이션 파라미터와 상기 운동 데이터를 대입하여 제2 뉴런 발화 패턴 모델 함수를 생성하고, 상기 제2 뉴런 발화 패턴 모델 함수에 대해 포아송 확률 분포 처리를 수행하여 가상 뇌파 신호를 생성하는 가상 뇌파 생성부
    를 포함하는 뇌신호 기반 3차원 상지운동 외부 보조기기 제어를 위한 가상 뇌파 생성장치.
  2. 제 1 항에 있어서,
    상기 뇌파 패턴 생성부는,
    상기 뇌파 신호의 스파이크 발생 시점을 검출하여 상기 뇌파 신호를 이진화 처리하고, 상기 뇌파 신호에 소정의 시간 간격 윈도우별 존재하는 스파이크의 수를 카운트하여 뉴런의 발화율을 산출하며, 상기 뉴런의 발화율에 따라 상기 운동 데이터를 다운 샘플링하는 뇌신호 기반 3차원 상지운동 외부 보조기기 제어를 위한 가상 뇌파 생성장치.
  3. 제 1 항에 있어서,
    상기 캘리브레이션 파라미터 산출부는,
    상기 운동 데이터가 적용된 상기 제1 뉴런 발화 패턴 모델 함수로부터 상기 뇌파 신호의 선호 방향(preferred direction :PD)과, SNR(Signal to noise ratio) 및 튜닝 깊이(tuning depth) 값을 산출하여 상기 캘리브레이션 파라미터를 생성하는 뇌신호 기반 3차원 상지운동 외부 보조기기 제어를 위한 가상 뇌파 생성장치.
  4. 제 1 항에 있어서,
    상기 가상 뇌파 생성부는,
    상기 운동 데이터가 적용된 상기 제2 뉴런 발화 패턴 모델 함수에 대해 포아송 확률 분포 처리(Poisson process)를 수행하여 상기 가상 뇌파 신호를 실제 뇌파 신호와 유사한 뇌파 신호 형태로 변환시키는 뇌신호 기반 3차원 상지운동 외부 보조기기 제어를 위한 가상 뇌파 생성장치.
  5. 영장류의 상지의 움직임에 대응되는 제1 운동 데이터를 입력받는 모션 입력부와,
    상기 청구항 제1항 내지 제4항 중 어느 한 항에 기재된 가상 뇌파 생성장치로부터 산출된 상기 제2 뉴런 발화 패턴 모델 함수에 상기 제1 운동 데이터를 적용하여 가상 뇌파 신호를 생성하는 가상 뇌파 산출부와,
    상기 가상 뇌파 신호를 디코딩하여 제2 운동 데이터를 생성시키는 디코더부와,
    상기 디코더부로부터 생성된 제2 운동 데이터를 이용하여 외부 보조기기의 움직임 또는 가상 화면상 상기 상지의 움직임을 제어하는 시뮬레이터와,
    상기 제1 운동 데이터와 상기 제2 운동 데이터를 비교하여 두 데이터간 차이를 시각 정보 또는 촉각 정보로 피드백하는 피드백부
    를 포함하는 뇌신호 기반 3차원 상지운동 외부 보조기기 제어 시뮬레이션 장치.
  6. 제 5 항에 있어서,
    상기 디코더부는,
    상기 제1 운동 데이터로부터 추출된 방향 정보와 속도 정보를 추출하고,
    상기 제2 뉴런 발화 패턴 모델 함수와 상기 제1 운동 데이터의 방향 정보를 칼만필터(Kalman filter)에 통과시켜 상기 제1 운동 데이터의 움직임의 방향에 대응되는 제1 디코딩 파라미터를 생성하며,
    상기 제2 뉴런 발화 패턴 모델 함수와 상기 제1 운동 데이터의 속도 정보를 MLP(Multi-Layer Perceptron)를 통해 해석하여 움직임의 속도에 대응되는 제2 디코딩 파라미터(MLP 파라미터)를 생성한 후,
    상기 제1 디코딩 파라미터와 상기 제2 디코딩 파라미터를 이용하여 상기 가상 뇌파 신호를 디코딩하여 상기 제2 운동 데이터를 생성시키는 뇌신호 기반 3차원 상지운동 외부 보조기기 제어 시뮬레이션 장치.
  7. 제 5 항에 있어서,
    상기 피드백부는,
    상기 시각 정보를 피드백하는 경우, 상기 제1 운동 데이터에 따른 상기 상지의 움직임과 상기 제2 운동 데이터에 따른 상기 상지의 움직임을 모두 상기 가상 화면에 표시시켜 상기 상기 제1 운동 데이터와 상기 제2 운동 데이터간 차이가 화면으로 표시되도록 하는 뇌신호 기반 3차원 상지운동 외부 보조기기 제어 시뮬레이션 장치.
  8. 제 5 항에 있어서,
    상기 피드백부는,
    상기 촉각 정보를 피드백하는 경우, 상기 상지에 착용된 상지-운동 제어 기기로 촉각 정보를 제공하여 상기 상지-운동 제어 기기가 상기 제1 운동 데이터와 상기 제2 운동 데이터간 차이를 보정하는 방향으로 상기 상지가 움직이도록 상기 상지의 특정 부위를 자극하도록 하는 뇌신호 기반 3차원 상지운동 외부 보조기기 제어 시뮬레이션 장치.
  9. 제 5 항에 있어서,
    상기 가상 뇌파 산출부는,
    상기 제1 운동 데이터가 적용된 상기 제2 뉴런 발화 패턴 모델 함수에 대해 포아송 확률 분포 처리(Poisson process)를 수행하여 상기 가상 뇌파 신호를 실제 뇌파 신호와 유사한 뇌파 신호 형태로 변환시키는 뇌신호 기반 3차원 상지운동 외부 보조기기 제어 시뮬레이션 장치.
  10. 뇌신호 기반 3차원 상지운동 외부 보조기기 제어 시뮬레이션 장치에 의해 수행되는 뇌신호 기반 3차원 상지운동 외부 보조기기 제어 시뮬레이션 방법으로서,
    영장류의 상지의 움직임에 대응되는 제1 운동 데이터를 입력받는 단계와,
    상기 청구항 제1항 내지 제4항 중 어느 한 항에 기재된 가상 뇌파 생성장치로부터 산출된 상기 제2 뉴런 발화 패턴 모델 함수에 상기 제1 운동 데이터를 적용하여 가상 뇌파 신호(spike)를 생성하는 단계와,
    상기 가상 뇌파 신호를 디코딩하여 제2 운동 데이터를 생성시키는 단계와,
    상기 제2 운동 데이터를 이용하여 외부 보조기기의 움직임 또는 가상 화면상 상기 상지의 움직임을 제어하는 단계와,
    상기 제1 운동 데이터와 상기 제2 운동 데이터를 비교하여 두 데이터간 차이를 시각 정보 또는 촉각 정보로 피드백하는 단계
    를 포함하는 뇌신호 기반 3차원 상지운동 외부 보조기기 제어 시뮬레이션 방법.
  11. 제 10 항에 있어서,
    상기 제2 운동 데이터를 생성시키는 단계는,
    상기 제1 운동 데이터로부터 추출된 방향 정보와 속도 정보를 추출하는 단계와,
    상기 제2 뉴런 발화 패턴 모델 함수와 상기 제1 운동 데이터의 방향 정보를 칼만필터에 통과시켜 상기 제1 운동 데이터의 움직임의 방향에 대응되는 제1 디코딩 파라미터를 생성하는 단계와,
    상기 제2 뉴런 발화 패턴 모델 함수와 상기 제1 운동 데이터의 속도 정보를 MLP를 통해 해석하여 움직임의 속도에 대응되는 제2 디코딩 파라미터를 생성하는 단계와,
    상기 제1 디코딩 파라미터와 상기 제2 디코딩 파라미터를 이용하여 상기 가상 뇌파 신호를 디코딩하여 상기 제2 운동 데이터를 생성시키는 단계
    를 포함하는 뇌신호 기반 3차원 상지운동 외부 보조기기 제어 시뮬레이션 방법.
KR1020160180126A 2016-12-27 2016-12-27 뇌신호 기반 3차원 상지운동 외부 보조기기 제어를 위한 가상 뇌파 생성장치와 시뮬레이션 장치 및 방법 KR101911506B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160180126A KR101911506B1 (ko) 2016-12-27 2016-12-27 뇌신호 기반 3차원 상지운동 외부 보조기기 제어를 위한 가상 뇌파 생성장치와 시뮬레이션 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160180126A KR101911506B1 (ko) 2016-12-27 2016-12-27 뇌신호 기반 3차원 상지운동 외부 보조기기 제어를 위한 가상 뇌파 생성장치와 시뮬레이션 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180076045A KR20180076045A (ko) 2018-07-05
KR101911506B1 true KR101911506B1 (ko) 2018-10-25

Family

ID=62920626

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160180126A KR101911506B1 (ko) 2016-12-27 2016-12-27 뇌신호 기반 3차원 상지운동 외부 보조기기 제어를 위한 가상 뇌파 생성장치와 시뮬레이션 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101911506B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110840411A (zh) * 2019-12-06 2020-02-28 深圳市德力凯医疗设备股份有限公司 一种麻醉深度的测量方法、存储介质及电子设备
KR20200053411A (ko) 2018-11-08 2020-05-18 고려대학교 산학협력단 딥러닝 기반 인공 뇌전도 신호 생성 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110224572A1 (en) 2010-02-18 2011-09-15 Vikash Gilja Brain machine interface
KR101549487B1 (ko) * 2014-07-31 2015-09-04 국립대학법인 울산과학기술대학교 산학협력단 뇌-기계 인터페이스 시뮬레이션 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110224572A1 (en) 2010-02-18 2011-09-15 Vikash Gilja Brain machine interface
KR101549487B1 (ko) * 2014-07-31 2015-09-04 국립대학법인 울산과학기술대학교 산학협력단 뇌-기계 인터페이스 시뮬레이션 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
남창수 외 3명. 뇌-컴퓨터 인터페이스 (Brain-Computer Interfaces)기술에 대한 국내·외 연구개발 동향 조사. 2015.12.

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200053411A (ko) 2018-11-08 2020-05-18 고려대학교 산학협력단 딥러닝 기반 인공 뇌전도 신호 생성 방법 및 장치
CN110840411A (zh) * 2019-12-06 2020-02-28 深圳市德力凯医疗设备股份有限公司 一种麻醉深度的测量方法、存储介质及电子设备
CN110840411B (zh) * 2019-12-06 2022-03-11 深圳市德力凯医疗设备股份有限公司 一种麻醉深度的测量装置、存储介质及电子设备

Also Published As

Publication number Publication date
KR20180076045A (ko) 2018-07-05

Similar Documents

Publication Publication Date Title
Gochoo et al. Monitoring real-time personal locomotion behaviors over smart indoor-outdoor environments via body-worn sensors
US10959863B2 (en) Multi-dimensional surface electromyogram signal prosthetic hand control method based on principal component analysis
Tatinati et al. Multistep prediction of physiological tremor based on machine learning for robotics assisted microsurgery
WO2020047429A1 (en) Camera-guided interpretation of neuromuscular signals
JP2020034849A (ja) 作業支援装置、作業支援方法及び作業支援プログラム
KR101970700B1 (ko) 뇌 신호 기반 기기 제어를 위한 뇌-컴퓨터 인터페이스 장치 및 방법
JP2013516258A (ja) 脳波計信号から人工肢運動を決定する方法
WO2021231663A2 (en) Method and system for autonomous object interaction
JP7070253B2 (ja) パフォーマンス計測装置、パフォーマンス計測方法及びパフォーマンス計測プログラム
KR101911506B1 (ko) 뇌신호 기반 3차원 상지운동 외부 보조기기 제어를 위한 가상 뇌파 생성장치와 시뮬레이션 장치 및 방법
KR102048551B1 (ko) 스마트 기기를 이용한 vr 재활 훈련 시스템 및 방법
Feick et al. Investigating noticeable hand redirection in virtual reality using physiological and interaction data
Tosin et al. SEMG-based upper limb movement classifier: Current scenario and upcoming challenges
Erözen A new CNN approach for hand gesture classification using sEMG data
US20220000426A1 (en) Multi-modal brain-computer interface based system and method
Jawed et al. Rehabilitation posture correction using neural network
Xue et al. Using Probabilistic Movement Primitives in Analyzing Human Motion Differences Under Transcranial Current Stimulation
Ahmed et al. A non Invasive Brain-Computer-Interface for Service Robotics
JP2015080582A (ja) 随意運動識別装置
US20200289004A1 (en) Signal processing apparatus and signal processing method
TWI569794B (zh) 用於視覺馬達和／或神經肌肉治療的設備、和使用該設備用於視覺馬達和／或神經肌肉治療的方法
KR102048546B1 (ko) 가상현실을 이용한 재활 훈련 시스템 및 방법
Vox et al. A Framework for the Analysis of Biomechanical Loading Using Human Motion Tracking
Cáceres et al. Approach to Assistive Robotics based on an EEG sensor and a 6-DoF robotic arm
Liu et al. On-line operator skill assessment for telerobot operation using electroencephalo-graph (eeg)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right