KR20200060023A - 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템 및 방법 - Google Patents

뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템 및 방법 Download PDF

Info

Publication number
KR20200060023A
KR20200060023A KR1020180145480A KR20180145480A KR20200060023A KR 20200060023 A KR20200060023 A KR 20200060023A KR 1020180145480 A KR1020180145480 A KR 1020180145480A KR 20180145480 A KR20180145480 A KR 20180145480A KR 20200060023 A KR20200060023 A KR 20200060023A
Authority
KR
South Korea
Prior art keywords
vibration
unit
real
brain
eeg
Prior art date
Application number
KR1020180145480A
Other languages
English (en)
Other versions
KR102174257B1 (ko
Inventor
이송주
김형민
김충현
김래현
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020180145480A priority Critical patent/KR102174257B1/ko
Publication of KR20200060023A publication Critical patent/KR20200060023A/ko
Application granted granted Critical
Publication of KR102174257B1 publication Critical patent/KR102174257B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A61B5/0482—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템은, 사용자의 손가락 부위에 접촉하여 감각기를 자극하는 진동부; 상기 진동부에 접촉하여 진동을 감지하고 외부요인으로 인한 상기 진동특성의 변화를 감지하는 진동감지부; 상기 진동감지부로부터 상기 진동특성의 변화에 관한 데이터를 수신하여 실시간으로 모니터링하고, 상기 진동부가 미리 설정된 진동특성을 유지할 수 있도록 제어하는 제어부; 및 상기 구성요소들을 사용자의 손에 고정시키는 고정부를 포함한다. 실시예에 따르면, 진동자극에 따른 사용자의 뇌파를 검출하여 장치 인터페이스를 제어함에 있어서, 진동부의 부착위치, 부착방법, 압력변화, 물체와의 접촉 등 다양한 외부요인에 따른 진동특성의 변화를 실시간으로 감지하고, 변화된 진동특성을 일정한 상태로 유지하기 위해 진동부에 피드백을 제공하여 사용자가 의도하는 특정 뇌파를 용이하게 유도할 수 있도록 한다.

Description

뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템 및 방법{REAL-TIME FEEDBACK SYSTEM FOR CONTROLLING BRAIN-COMPUTER INTERFACE AND METHOD FOR THE SAME}
본 발명은 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 진동자극에 따른 사용자의 뇌파를 검출하여 장치 인터페이스를 제어할 때, 외부요인으로 인해 진동특성이 변화하여 의도하는 자극을 주지 못하는 것을 방지하기 위해 진동특성이 일정하게 유지되도록 제어할 수 있는 실시간 피드백 시스템 및 방법에 관한 것이다.
[국가지원 연구개발에 대한 설명]
본 연구는 한국과학기술연구원의 주관 하에 과학기술정보통신부의 SW컴퓨팅산업원천기술개발사업(생각만으로 실생활 기기 및 AR/VR 디바이스를 제어하는 비침습 BCI 통합 뇌인지 컴퓨팅 SW 플랫폼 기술 개발, 과제고유번호: 1711065284, 세부과제번호: 2017-0-00432-002)의 지원에 의하여 이루어진 것이다.
최근 인간의 생체 신호를 이용하여 전자 장치나 외골격 로봇을 제어하는 기술이 활발하게 연구되고 있다. 그 중에서도 뇌-컴퓨터 인터페이스(BCI; Brain-computer interface)는, 뇌파검사(EEG; Electro encephalography)를 통해 사용자의 뇌파를 측정하고, 상기 뇌파에 대응되는 제어신호를 생성하여 외부 장치를 제어할 수 있도록 하는데, 인지 관련 연구, 운동 재활, 척추마비 환자를 위한 외골격 로봇 또는 전동 휠체어 등 다양한 산업 분야에서 활용될 수 있다.
그러나 사용자가 장치를 제어하기 위해 의지만으로 특정 뇌파를 발생시키기 위해서는 오랜 시간 동안의 사용자 학습이 필요하며, 학습을 통해 동작 상상을 수행할 수 있다고 하더라도 뇌파간의 특징의 차이가 분명하지 않아 인식률이 매우 낮다.
이와 같은 문제를 해결하기 위해, SSVEP 신호 또는 P300 신호와 같이 특정 주파수의 시각적인 자극으로 인해 뇌에서 유발되는 뇌파를 이용하여 장치를 제어하는 시스템에 관한 연구가 널리 진행되고 있다. 예를 들어, SSVEP(Steady state visually evoked potential)는 인체의 망막이 특정 주파수(3.5 Hz 내지 75 Hz)에 의해 자극 받을 때 뇌가 발생시키는 대응되는 전기적인 신호이다. 이와 같은 시각-뇌파 유발 매커니즘을 이용하면, 사용자는 원하는 때에 시각 자극을 통해 (예를 들어, 특정 주파수의 LED 디스플레이를 시청함으로써) 특정 뇌파를 발생시킬 수 있고, BCI를 이용하여 뇌파로 외부 장치를 제어할 수 있다.
그러나 SSVEP 또는 P300 신호를 BCI 시스템에 이용하기 위해서는 지속적으로 시각 자극을 통해 뇌파를 유발해야 하므로, 사용자가 외골격 로봇이나 전동 휠체어를 제어하여 이동하는 동안 계속 디스플레이를 시청해야 하므로 동작이 한정될 수 밖에 없고 시선을 빼앗겨 위험에 처할 가능성도 있다.
이와 같은 문제를 해결하기 위해, SSVEP가 아닌 SSSEP(Steady state somatosensory evoked potential; 정상 상태 체성감각 유발 전위) 신호를 이용하려는 연구가 진행되고 있다. 등록특허 제10-1549325호를 참조하면, 사용자의 체성감각 영역에 부착된 진동계를 통해 특정 주파수의 진동자극에 해당하는 사용자의 뇌파를 유발하고, 이에 대응되는 제어신호를 통해 장치를 제어하는 기술이 개시되어 있다. 이와 같이 체성감각을 이용한 BCI 시스템은 시각 자극이 불필요하므로 이동 중에도 사용할 수 있다는 장점이 있다.
특정 주파수의 진동자극에 대응되는 사용자의 뇌파를 유도하기 위해, 사용자의 손에 장착되며 손가락 등 특정 부위에 일정한 진동자극을 가할 수 있는 글로브 형태의 진동계 장치가 제공될 수 있다.
그러나 종래의 진동계 장치는 동일한 세기와 패턴의 진동자극만을 제공하도록 설계되었으므로, 사용환경에서 제공되는 진동세기, 진동주파수, 진동패턴 등의 진동특성이 변화하는 경우에는 사용자가 원하는 특정 뇌파(즉, BCI를 제어하기 위한 명령과 대응되는 뇌파)를 용이하게 유도할 수 없다는 문제점이 있었다.
다시 말해, 진동계 장치가 제공하는 진동의 특성은 진동부의 부착위치, 부착방법, 압력변화, 물체와의 접촉 등 외부요인에 따라 달라지며, 사용자마다 특정 뇌파의 유도에 필요한 진동특성이 상이하므로, 이와 같은 변화를 실시간으로 감지하고 적절한 피드백을 통해 진동특성을 일정한 수준으로 유지할 수 있는 시스템의 필요성이 대두되었다.
등록특허공보 제10-1549325호
이에 본 발명은 종래 기술의 문제점을 해결하기 위해 착안된 것으로서, 진동자극에 따른 사용자의 뇌파를 검출하여 장치 인터페이스를 제어함에 있어서, 외부요인으로 인해 진동특성이 변화하여 의도하는 자극을 주지 못하는 것을 방지하기 위해, 진동특성이 일정하게 유지되도록 제어할 수 있는 실시간 피드백 시스템을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템은, 사용자의 손가락 부위에 접촉하여 감각기를 자극하는 진동부; 상기 진동부에 접촉하여 진동을 감지하고 외부요인으로 인한 상기 진동특성의 변화를 감지하는 진동감지부; 상기 진동감지부로부터 상기 진동특성의 변화에 관한 데이터를 수신하여 실시간으로 모니터링하고, 상기 진동부가 미리 설정된 진동특성을 유지할 수 있도록 제어하는 제어부; 및 상기 구성요소들을 사용자의 손에 고정시키는 고정부를 포함한다.
일 실시예에서, 상기 외부요인은 진동부의 부착위치, 부착방법, 압력변화, 물체와의 접촉, 및 부착부위의 생체역학적인 특징 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 진동특성은 진동부의 진동세기, 진동주파수, 및 진동패턴 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 제어부는 프로세서를 구비한 웨어러블 장치 또는 모바일 장치일 수 있다.
일 실시예에서, 상기 시스템은 진동자극에 의해 유도된 특정한 뇌파를 실시간으로 모니터링 하는 뇌파검출부를 더 포함하고, 상기 제어부는, 상기 검출된 특정한 뇌파에 대응되는 제어신호를 생성하여 외부장치를 제어하고, 상기 뇌파검출부가 특정한 뇌파를 실시간으로 모니터링 하는 동안 뇌파의 파라미터가 변동되는 경우, 상기 뇌파의 파라미터가 유지될 수 있도록 상기 진동부를 제어할 수 있다.
본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 방법은, 사용자의 뇌에서 특정한 뇌파를 유도하는 진동특성을 설정하는 단계; 진동부에 의해 사용자의 손가락 부위에 상기 진동특성의 진동을 가하여 감각기를 자극하는 단계; 진동감지부에 의해 외부요인으로 인한 상기 진동특성의 변화를 감지하는 단계; 및 제어부에서 상기 진동특성의 변화에 관한 데이터를 수신하고, 상기 진동부가 미리 설정된 진동특성을 유지할 수 있도록 제어하는 단계를 포함한다.
일 실시예에서, 상기 방법은 진동자극에 의해 유도된 특정한 뇌파를 실시간으로 모니터링 하는 단계; 및 상기 검출된 특정한 뇌파에 대응되는 제어신호를 생성하여 외부장치를 제어하는 단계를 더 포함하되, 상기 특정한 뇌파를 실시간으로 모니터링 하는 동안 뇌파의 파라미터가 변동되는 경우, 상기 뇌파의 파라미터가 유지될 수 있도록 상기 진동부를 제어하는 단계를 더 포함할 수 있다.
실시예에 따른 피드백 시스템에 의하면, 진동자극에 따른 사용자의 뇌파를 검출하여 장치 인터페이스를 제어함에 있어서, 진동부의 부착위치, 부착방법, 압력변화, 물체와의 접촉 등 다양한 외부요인에 따른 진동특성의 변화를 실시간으로 감지하고, 변화된 진동특성을 일정한 상태로 유지하기 위해 피드백 신호를 송신하여 진동부를 제어함으로써 사용자가 의도하는 특정 뇌파(즉, BCI를 제어하기 위한 명령과 대응되는 뇌파)를 용이하게 유도할 수 있도록 한다.
도 1은 일 실시예에 따른 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템을 나타낸 구성도이다.
도 2는 일 실시예에 따른 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 방법의 알고리즘을 나타낸 순서도이다.
도 3은 또 다른 실시예에 따른 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 방법의 알고리즘을 나타낸 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
또한, 본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치(device)", "서버(server)" 또는 "시스템(system)" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 부, 모듈, 장치, 서버 또는 시스템은 플랫폼(platform)의 일부 또는 전부를 구성하는 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 애플리케이션(application) 등의 소프트웨어를 지칭하는 것일 수 있다.
뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템
이하, 도면들을 참조하여 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1을 참조하면, 일 실시예에 따른 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템은, 진동부(100), 진동감지부(110), 고정부(120), 제어부(200)를 포함하며, 실시예에 따라 뇌파검출부(300) 및 외부장치(400)를 더 포함할 수 있다. 이하에서는 각 구성요소에 대해 상세하게 설명하도록 한다.
진동부(100)는 사용자의 손가락 부위에 접촉되어 감각기를 자극하기 위한 장치로서, 사용자의 체성감각을 자극하여 정상상태 체성감각 유발 전위(SSSEP; Steady-state somatosensory evoked potentials)를 유도하기 위한 특정한 진동특성(예를 들어, 진동세기, 진동주파수, 진동패턴 등)을 갖도록 동작할 수 있다. 진동부(100)는 제어부(200)와 유선 또는 무선으로 연결되어 제어 신호 및 피드백 신호를 수신함으로써 진동특성이 제어될 수 있다. 진동부(100)는 내장 배터리 또는 외부로부터 전원을 공급받아 내부에 내장된 소형모터가 작동하여 진동할 수 있으나 특정 구조로 한정되는 것은 아니다.
진동부(100)는 복수의 진동기 장치들로 구성될 수 있다. 예를 들어 5개의 진동기가 사용자의 손가락마다 부착될 수 있으며, 그 이상의 진동기가 손가락 외의 부위에 부착되어 사용자의 감각기를 자극할 수 있다. 이 경우, 동일한 진동이라도 신체부위마다 자극되는 감각기와 이로 인해 유도되는 뇌파의 특성이 상이할 수 있으므로, 각각의 진동기는 상이한 진동특성을 갖도록 설정될 수 있다.
진동감지부(110)는 상기 진동부(100)에 접촉하여 진동을 감지하고 외부요인으로 인한 상기 진동특성의 변화를 감지하기 위한 장치이다. 진동부(100)의 진동세기, 진동주파수, 진동패턴 등의 진동특성은 진동기의 부착위치, 부착방법, 압력변화, 물체와의 접촉, 또는 부착부위의 생체역학적인 특징 등 외부요인에 따라 달라질 수 있다. 예를 들어, 동일한 세기로 진동하도록 설정된 진동기 장치가 사용자의 손가락에 부착되어 있다고 가정하면, 다른 외부요인이 작용하지 않는 한 진동세기는 일정하게 유지될 것이다. 그러나 사용자가 해당 손가락으로 다른 물체를 짚거나 만지면(예를 들어, 거동이 불편한 사용자가 손으로 목발을 짚는 등) 사용자에게 가해지는 진동세기는 강해질 것이고, 다시 사용자가 물체로부터 손을 떼면 가해지는 진동세기는 약해질 것이다.
SSSEP (Steady state somatosensory evoked potential)에 기초한 BCI 제어시스템은, 특정한 진동에 의해 유도되는 특정한 뇌파신호를 감지하고 이에 대응되는 제어신호를 생성하여 외부장치를 제어하는 기술이므로, 이렇듯 외부요인에 의해 사용자에게 가해지는 진동의 세기, 주파수, 패턴 등의 진동특성이 달라지면 사용자가 원하는 뇌파를 유도하기 어렵게 되어 의도했던 제어신호를 생성할 수 없게 된다.
본 발명은 이와 같은 문제점을 해결하기 위한 것으로서, 진동감지부(110)는 진동부(100)에 접촉하여 진동특성을 실시간으로 모니터링하고, 진동기의 부착위치, 부착방법, 압력변화 등 외부요인으로 인한 진동특성의 변화를 감지하여 제어부(100)에 출력신호를 전송한다. 이를 위해, 진동감지부(100)는 압력센서 또는 IMU센서(관성측정장치) 등 외부요인으로 인한 진동의 변화를 감지할 수 있는 임의의 센서들로 구성될 수 있다. 출력신호는 후술하는 바와 같이 제어부(200)에서 분석되고 이에 대응되는 피드백신호를 진동부(100)에 전송하여 진동특성을 유지할 수 있도록 한다.
도 1을 참조하면, 진동부(100) 및 진동감지부(110)는 스트랩에 의해 사용자의 손가락 부위에 고정될 수 있다. 고정부(120)는 이러한 스트랩을 포함하는 개념으로서, 본 발명의 시스템에 필요한 구성요소들을 사용자의 손 모양에 맞게 고정시켜 진동특성의 유지를 보조하기 위한 모든 장비를 의미한다. 만약 고정부(120)가 적절한 세기로 진동부(100)를 사용자의 신체부위에 고정해주지 않으면, 진동부(100)가 제공하는 진동이 일정하게 전달되지 않아 체성감각기의 자극과 특정 뇌파의 유도가 어려워질 것이다.
고정부(120)는 예를 들어 스트랩, 고무밴드, 벨트, 장갑 등의 탄력적인 구성요소들을 포함할 수 있으며, 제어부(프로세서)를 포함하는 웨어러블 디바이스나 모바일폰을 고정하기 위한 탈착부를 포함할 수도 있다. 일 실시예에서 고정부(120)는 사용자의 손 모양에 맞게 맞춤 제작된 장갑형태일 수 있다.
제어부(200)는 상기 진동감지부(110)로부터 상기 진동특성의 변화에 관한 데이터를 수신하여 실시간으로 모니터링하고, 상기 진동부가 미리 설정된 진동특성을 유지할 수 있도록 제어하기 위한 구성요소이다. 제어부(200)는 진동감지부(110)로부터 수신한 신호를 처리하고 제어신호를 송신하기 위한 컴퓨터 프로세서로 구성된다. 진동부(100) 및/또는 진동감지부(110)와 무선으로 연결된 경우 네트워크모듈을 더 포함할 수 있다. 일 실시예에서, 제어부(200)는 전용장치가 아닌 웨어러블(wearable) 디바이스 또는 모바일폰 등의 프로세서를 시스템의 구성요소로 이용할 수 있다.
제어부(200)가 진동감지 신호를 수신하여 진동특성의 변화, 예를 들어 진동기가 부착된 손가락으로 다른 물체를 짚거나 만짐으로써 사용자에게 가해지는 진동세기가 강해졌다는 결과를 도출하면, 사용자가 느끼는 진동자극을 동일한 수준으로 유지하기 위해 피드백 신호(이 경우, 진동세기를 약화시키는 제어신호)를 생성하여 진동부(100)의 출력 동작을 제어한다.
이에 따라 진동부(100)의 진동세기는 처음 설정된 수치보다 약해지지만 사용자가 물체를 짚고 있기 때문에 느껴지는 진동세기는 처음 설정된 세기와 동일하거나 유사하다. 반대로, 사용자가 진동기를 부착한 손을 물체로부터 떼어내어 진동세기가 약해진다면, 이 변화를 진동감지부(110)가 감지하여 제어부(200)에 전송하게 되고, 제어부(200)는 진동세기를 강화시키는 피드백 신호를 생성하여 진동부(100)의 진동을 제어하게 된다.
마찬가지로, 사용자의 움직임이나 외부물체와의 접촉, 사용자 변경 등의 요인으로 인해 진동부(100)의 진동주파수, 진동패턴이 달라지면, 이를 감지하여 최초로 설정된 진동특성을 유지하도록 진동부(100)를 제어한다.
전술한 바와 같이, SSSEP에 기초한 BCI 제어시스템은 특정한 진동에 의해 유도되는 특정한 뇌파신호를 검출하여 외부장치를 제어하는 기술이므로, 사용자가 느끼는 진동을 동일한 수준으로 유지하여 어떠한 환경에서도 원하는 뇌파신호를 유도하도록 하는 것이 중요하다. 본 발명의 실시예에 따르면 어떠한 환경에서도 진동특성을 일정한 수준으로 유지하여 사용자가 원하는 뇌파를 검출할 수 있도록 한다.
뇌파검출부(300)는 자극에 의해 유도된 특정한 뇌파를 실시간으로 모니터링한다. 진동자극을 예로 들면, 진동부(100)를 이용하여 사용자 신체의 특정 부위에 진동자극을 제공하면 이에 대응되는 뇌파가 발생하는데, 사용자의 두피 부위, 예를 들어 체성감각 피질(sensorimotor cortex) 영역에 비침습적인 방식으로 전극을 부착하여 뇌파를 검출 및 신호 처리할 수 있다. 도 1에 도시된 것처럼 사용자의 두피 부분에 착용될 수 있다. 뇌파검출부(200)는 피드백을 위해 뇌파의 파라미터(예를 들어, 뇌파의 강도, 주파수 등)가 변동되는지 여부를 판단해야 하므로 일회적인 측정에 그치지 않고 지속적으로 뇌파를 모니터링 할 수 있다.
제어부(200)는 상기 검출된 뇌파신호를 분석하고 특정 뇌파에 대응되는 제어신호를 생성 및 전송하여 외부장치(400)를 제어하는 인터페이스 역할을 수행한다. 외부장치(400)란, 사용자의 신체를 대체/강화시켜 주는 외골격 로봇 팔다리나 전동 휠체어는 물론이며, 스마트폰, 데스크톱과 같이 전기적인 신호를 통해 제어할 수 있는 모든 종류의 전자 장비를 포함할 수 있다.
뇌파와 제어명령은 사용자가 인터페이스를 통해 임의로 매칭할 수 있다. 예를 들어, 사용자의 오른쪽 엄지손가락에 특정 진동특성의 진동자극을 가하였을 때 발생하는 특정 주파수의 뇌파를 '외골격로봇 또는 전동휠체어를 오른쪽으로 움직인다'는 제어명령과 매칭함으로써, 진동부를 통해 사용자의 오른쪽 엄지손가락을 자극하는 것만으로 외골격로봇 또는 전동휠체어를 오른쪽으로 움직일 수 있다.
일 실시예에서, 제어부(200)는 상기 뇌파검출부(300)가 실시간으로 모니터링 하는 동안 상기 특정한 뇌파의 파라미터(예를 들어, 뇌파의 강도, 주파수 등)가 변동되는지 여부를 판단하고, 상기 파라미터가 변동되었다면 이에 대응되는 제2 피드백신호를 진동부(100)에 전송한다.
즉, 제2 피드백신호는 제1 피드백신호와 달리 외부요인(진동부의 부착위치, 부착방법, 압력변화, 물체와의 접촉 등)이 변하지 않는 상태에서 체성감각기가 동일한 자극에 적응하여 뇌파 파라미터가 변화하거나 뇌파신호가 약해지는 경우, 일정한 수준의 뇌파신호 검출을 보장하기 위한 피드백 시스템에 관련된 제어신호이다. 이는 동일한 진동특성의 진동자극을 지속하였을 때, 유도되는 뇌파가 일정하게 유지되지 못함에 따라 뇌-컴퓨터 인터페이스 시스템의 뇌파 인식률(즉, 특정한 뇌파신호와 외부장치 제어신호의 매칭률)이 낮아지는 문제점을 해결하기 위한 것이다.
예를 들어, 사용자의 오른쪽 엄지손가락에 부착된 진동부(100)를 동작시키면, 이에 대응되는 뇌파가 발생하여 외골격로봇 또는 전동휠체어를 오른쪽으로 이동하도록 제어할 수 있다. 그러나 시간이 지남에 따라 체성감각기가 적응하여 유도되는 뇌파의 세기가 약해지거나 파장이 변하는 등 뇌파의 파라미터가 변동될 가능성이 높다.
이 때, 제어부(200)는 뇌파의 파라미터의 변동에 대응되는 제2 피드백 신호(예를 들어, 진동세기를 강화하거나, 자극시간을 연장하거나, 자극위치를 변화시키는 등의 적절한 제어신호)를 통해 진동부(100)를 제어함으로써 다시 뇌파의 변화를 유도할 수 있다. 이를 통해 사용자는 일정한 수준의 뇌파 관련 파라미터를 유지할 수 있고, 결과적으로 의도 인식 실패 없이 외부장치(400)를 제어하는 것이 가능하다.
추가적으로, 상기 제2 피드백 신호는 자극 프로토콜의 펄스 트레인(pulse train)을 조절하는 제어신호일 수 있다. 예를 들어, 진동기가 동일한 파형으로 동작하는 것이 아니라, 사인 곡선 형태(sinusoidal)의 펄스 함수 또는 임펄스 함수에 따라 동작하도록 제어할 수 있다.
뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 방법
도 2는 일 실시예에 따른 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 방법의 알고리즘을 나타낸 순서도이다.
일 실시예에 따르면, 상기 방법은 사용자의 뇌에서 특정한 뇌파를 유도하는 진동특성을 설정하는 단계(S10); 사용자의 손가락 부위에 상기 진동특성의 진동을 가하여 감각기를 자극하는 단계(S20); 진동특성을 실시간으로 모니터링하는 단계(S30); 진동특성의 변화를 감지하는 단계(S40); 및 상기 진동특성의 변화에 대응하는 피드백신호를 출력하여 진동부가 미리 설정된 진동특성을 유지할 수 있도록 제어하는 단계(S50)를 포함한다.
단계(S10)에서, 특정한 뇌파를 유도하는 진동특성이 미리 설정된다. 특정 진동을 특정 부위에 제공할 경우 발생하는 특정 뇌파에 관한 정보는 공지된 감각기-뇌활성화 맵핑 정보로부터 획득할 수 있다. 사용자는 BCI 시스템에서 특정한 뇌파와 인터페이스 제어명령의 대응관계를 미리 설정할 수 있다. 예를 들어, 외골격로봇 또는 전동휠체어를 오른쪽으로 이동시키는 제어명령을 제1 뇌파와 매칭시켜 두고, 제1 뇌파를 유도하기 위한 진동부위 및 진동특성(진동세기, 진동주파수, 진동패턴)을 미리 설정한다.
단계(S20)에서, 진동부(복수의 진동기 장치들로 구성될 수 있음)를 진동부위에 부착하고 설정된 진동특성으로 작동시켜 사용자의 체성 감각기를 자극한다.
단계(S30)에서, 진동감지센서를 이용하여 진동특성의 변화를 실시간으로 모니터링한다. 전술한 것처럼, 진동감지센서는 압력센서 또는 IMU센서(관성측정장치) 등 외부요인으로 인한 진동의 변화를 감지할 수 있는 임의의 센서들로 구성될 수 있다.
단계(S40)에서, 진동특성의 변화 여부를 판단한다. 진동부의 진동세기, 진동주파수, 진동패턴 등의 진동특성은 진동기의 부착위치, 부착방법, 압력변화, 물체와의 접촉, 또는 부착부위의 생체역학적인 특징 등 외부요인에 따라 달라질 수 있는데, 진동특성이 달라지면 사용자가 원하는 뇌파를 유도하기 어렵게 되어 의도했던 제어신호를 생성할 수 없게 되므로, 신뢰성 있는 뇌파검출을 위해서는 지속적인 피드백을 통해 사용자가 체감하는 진동특성을 일정한 수준으로 유지해야 할 필요가 있다.
진동특성이 변화하지 않은 경우(도 2의 "아니오"), 진동기의 동작을 변화시키지 않고 최초로 설정된 진동특성을 유지하며 모니터링을 계속한다. 진동특성이 변화한 경우(도 2의 "예"), 이에 대응되는 피드백 신호를 출력하여 진동자극을 제어한다(S50).
예를 들어 사용자가 진동기가 부착된 손가락으로 다른 물체를 짚거나 만짐으로써 사용자에게 가해지는 진동세기가 강해졌다는 결과를 도출하면, 사용자가 느끼는 진동자극을 최초로 설정된 수준과 동일하게 유지하기 위해 피드백 신호를 출력하여 진동기의 진동을 약화시킨다. 이와 같이, 본 발명의 실시예에 따르면 어떠한 환경에서도 진동특성을 일정한 수준으로 유지하여 사용자가 원하는 뇌파를 검출할 수 있도록 한다.
도 3은 또 다른 실시예에 따른 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 방법의 알고리즘을 나타낸 순서도이다. 도 2의 알고리즘에서 뇌파 파라미터를 모니터링하고 제2 피드백 신호를 출력하여 진동자극을 제어하는 알고리즘이 추가되었다.
단계(S25)에서, 진동자극에 의해 유발된 특정한 뇌파를 검출한다. 진동자극을 예로 들면, 사용자 신체의 특정 부위에 진동자극을 제공하면 이에 대응되는 뇌파가 발생하는데, 사용자의 두피 부위, 예를 들어 체성감각 피질(sensorimotor cortex) 영역에 비침습적인 방식으로 전극을 부착하여 뇌파를 검출 및 신호 처리할 수 있다. 도 1에 도시된 것처럼 사용자의 두피 부분에 착용될 수 있다.
단계(S35)에서 상기 검출된 뇌파를 실시간으로 모니터링하고, 단계(S45)에서 상기 뇌파 파라미터가 변동되었는지 여부를 판단한다. 이와 같은 신호처리 과정은 컴퓨터 프로세서를 구비한 제어부에 의해 수행된다. 전술한 것처럼 제어부는 독자적인 컴퓨터 장치뿐만 아니라 웨어러블 디바이스 또는 모바일폰의 프로세서를 구성요소로 이용할 수 있다.
뇌파 파라미터가 변동되지 않았다면(도 3의 "아니오"), 진동기의 동작을 변화시키지 않고 최초로 설정된 진동특성을 유지하며 모니터링을 계속한다. 뇌파 파라미터가 변화한 경우(도 3의 "예"), 이에 대응되는 제2 피드백 신호를 출력하여 진동자극을 제어한다(S55). 예를 들어, 제어부는 뇌파검출부가 실시간으로 모니터링 하는 동안 상기 특정한 뇌파의 파라미터(예를 들어, 뇌파의 강도, 주파수 등)가 변동되는지 여부를 판단하고, 상기 파라미터가 변동되었다면 이에 대응되는 제2 피드백신호를 진동부에 전송한다.
상기 뇌파 파라미터의 검출 및 피드백 프로세스와 동시에, 뇌파에 대응되는 제어신호를 출력하여 외부장치를 제어하는 단계가 수행된다(S60). 외부장치란, 사용자의 신체를 대체/강화시켜 주는 외골격 로봇 팔다리나 전동 휠체어, 스마트폰, 데스크톱과 같이 전기적인 신호를 통해 제어할 수 있는 모든 종류의 전자 장비를 포함할 수 있다.
실시예에 따른 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 방법은, 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 설명한 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템에 의하면, 진동자극에 따른 사용자의 뇌파를 검출하여 장치 인터페이스를 제어함에 있어서, 진동부의 부착위치, 부착방법, 압력변화, 물체와의 접촉 등 다양한 외부요인에 따른 진동특성의 변화를 실시간으로 감지하고, 변화된 진동특성을 일정한 상태로 유지하기 위해 진동부에 피드백을 제공하여 사용자가 의도하는 특정 뇌파를 용이하게 유도할 수 있도록 함으로써, 어떠한 환경에서도 사용자가 신뢰도 높은 BCI 시스템을 통해 장치를 제어할 수 있도록 한다.
또한, 뇌파의 파라미터가 변동되는 경우(예를 들어, 지속적인 자극으로 인해 감각기가 적응하여 뇌파가 변화하거나 약화되는 경우 등) 이에 대응되는 피드백 신호를 생성함으로써 사용자의 뇌파와 관련된 특정 파라미터가 일정하게 유지될 수 있도록 한다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 진동부
110: 진동감지부
120: 고정부
200: 제어부
300: 뇌파검출부
400: 외부장치

Claims (10)

  1. 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템으로서,
    사용자의 손가락 부위에 접촉하여 감각기를 자극하는 진동부;
    상기 진동부에 접촉하여 진동을 감지하고 외부요인으로 인한 상기 진동특성의 변화를 감지하는 진동감지부;
    상기 진동감지부로부터 상기 진동특성의 변화에 관한 데이터를 수신하여 실시간으로 모니터링하고, 상기 진동부가 미리 설정된 진동특성을 유지할 수 있도록 제어하는 제어부; 및
    상기 구성요소들을 사용자의 손에 고정시키는 고정부를 포함하는, 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템.
  2. 제1항에 있어서,
    상기 외부요인은, 진동부의 부착위치, 부착방법, 압력변화, 물체와의 접촉, 및 부착부위의 생체역학적인 특징 중 적어도 하나를 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템.
  3. 제1항에 있어서,
    상기 진동특성은, 진동부의 진동세기, 진동주파수, 및 진동패턴 중 적어도 하나를 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템.
  4. 제1항에 있어서,
    상기 제어부는, 프로세서를 구비한 웨어러블 장치 또는 모바일 장치인 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템.
  5. 제1항에 있어서, 상기 시스템은,
    진동자극에 의해 유도된 특정한 뇌파를 실시간으로 모니터링 하는 뇌파검출부를 더 포함하고,
    상기 제어부는,
    상기 검출된 특정한 뇌파에 대응되는 제어신호를 생성하여 외부장치를 제어하고,
    상기 뇌파검출부가 특정한 뇌파를 실시간으로 모니터링 하는 동안 뇌파의 파라미터가 변동되는 경우, 상기 뇌파의 파라미터가 유지될 수 있도록 상기 진동부를 제어하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템.
  6. 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 방법으로서,
    사용자의 뇌에서 특정한 뇌파를 유도하는 진동특성을 설정하는 단계;
    진동부에 의해 사용자의 손가락 부위에 상기 진동특성의 진동을 가하여 감각기를 자극하는 단계;
    진동감지부에 의해 외부요인으로 인한 상기 진동특성의 변화를 감지하는 단계; 및
    제어부에서 상기 진동특성의 변화에 관한 데이터를 수신하고, 상기 진동부가 미리 설정된 진동특성을 유지할 수 있도록 제어하는 단계를 포함하는, 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 방법.
  7. 제5항에 있어서,
    상기 외부요인은, 진동부의 부착위치, 부착방법, 압력변화, 및 부착부위의 생체역학적인 특징 중 적어도 하나를 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 방법.
  8. 제5항에 있어서,
    상기 진동특성은, 진동부의 진동세기, 진동주파수, 및 진동패턴 중 적어도 하나를 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 방법.
  9. 제5항에 있어서,
    상기 제어부는, 프로세서를 구비한 웨어러블 장치 또는 모바일 장치인 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 방법.
  10. 제6항에 있어서,
    진동자극에 의해 유도된 특정한 뇌파를 실시간으로 모니터링 하는 단계; 및
    상기 검출된 특정한 뇌파에 대응되는 제어신호를 생성하여 외부장치를 제어하는 단계를 더 포함하되,
    상기 특정한 뇌파를 실시간으로 모니터링 하는 동안 뇌파의 파라미터가 변동되는 경우, 상기 뇌파의 파라미터가 유지될 수 있도록 상기 진동부를 제어하는 단계를 더 포함하는 것을 특징으로 하는, 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 방법.
KR1020180145480A 2018-11-22 2018-11-22 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템 및 방법 KR102174257B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180145480A KR102174257B1 (ko) 2018-11-22 2018-11-22 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180145480A KR102174257B1 (ko) 2018-11-22 2018-11-22 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200060023A true KR20200060023A (ko) 2020-05-29
KR102174257B1 KR102174257B1 (ko) 2020-11-04

Family

ID=70912603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180145480A KR102174257B1 (ko) 2018-11-22 2018-11-22 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102174257B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230084958A (ko) 2021-12-06 2023-06-13 울산과학기술원 실시간 피드백을 이용한 재활시스템 및 그 재활시스템에 이용되는 제어신호 제공방법
KR102614772B1 (ko) 2023-03-29 2023-12-15 국방과학연구소 순차적인 공분산 행렬을 이용한 뇌파 신호 탐지 장치및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990078462A (ko) * 1998-04-20 1999-11-05 이현웅 족하수 환자의 보행보조를 위한 전기자극 장치
KR20140063362A (ko) * 2012-11-16 2014-05-27 삼육대학교산학협력단 하지기능 및 보행기능을 위한 뇌-컴퓨터 인터페이스를 기반한 기능적 전기자극치료기
KR20140113408A (ko) * 2013-03-15 2014-09-24 임머숀 코퍼레이션 햅틱 효과의 파라미터 수정을 위한 시스템 및 방법
KR20150088426A (ko) * 2014-01-24 2015-08-03 고려대학교 산학협력단 기기 인터페이스 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990078462A (ko) * 1998-04-20 1999-11-05 이현웅 족하수 환자의 보행보조를 위한 전기자극 장치
KR20140063362A (ko) * 2012-11-16 2014-05-27 삼육대학교산학협력단 하지기능 및 보행기능을 위한 뇌-컴퓨터 인터페이스를 기반한 기능적 전기자극치료기
KR20140113408A (ko) * 2013-03-15 2014-09-24 임머숀 코퍼레이션 햅틱 효과의 파라미터 수정을 위한 시스템 및 방법
KR20150088426A (ko) * 2014-01-24 2015-08-03 고려대학교 산학협력단 기기 인터페이스 제어 방법
KR101549325B1 (ko) 2014-01-24 2015-09-01 고려대학교 산학협력단 기기 인터페이스 제어 방법

Also Published As

Publication number Publication date
KR102174257B1 (ko) 2020-11-04

Similar Documents

Publication Publication Date Title
US9081890B2 (en) Rehabilitation training system and method
Cincotti et al. Vibrotactile feedback for brain-computer interface operation
Mistry et al. An SSVEP based brain computer interface system to control electric wheelchairs
CN108245763B (zh) 脑机交互康复训练系统和方法
Ballardini et al. Vibrotactile feedback for improving standing balance
WO2016002207A1 (ja) リハビリテーションシステムおよびリハビリテーションシステムの制御方法
Piovesan et al. Experimental measure of arm stiffness during single reaching movements with a time-frequency analysis
JP2009297059A (ja) 脳訓練支援装置
KR102174257B1 (ko) 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템 및 방법
Gonzalez-Vargas et al. Human-machine interface for the control of multi-function systems based on electrocutaneous menu: application to multi-grasp prosthetic hands
KR102074853B1 (ko) 뇌-컴퓨터 인터페이스를 제어하기 위한 피드백 시스템
US20230263703A1 (en) Apparatus and method for reduction of neurological movement disorder symptoms using wearable device
US20210260375A1 (en) Medical treatment device and method for stimulating neurons of a patient to suppress a pathologically synchronous activity thereof
US20230338225A1 (en) Apparatus and method for reduction of neurological movement disorder symptoms using wearable device
Dosen et al. A novel method to generate amplitude-frequency modulated vibrotactile stimulation
KR101978803B1 (ko) 전기 자극을 통한 손 떨림 개선훈련용 웨어러블 장치 및 이를 이용한 손 떨림 개선훈련 시스템
Dideriksen et al. Electrotactile and vibrotactile feedback enable similar performance in psychometric tests and closed-loop control
CN113286629A (zh) 用于刺激患者的神经元以抑制神经元的病理性同步活动的医疗装置和方法
KR101937356B1 (ko) 근전도 신호를 이용한 능동적인 재활을 유도하는 보행 재활 장치 및 그것의 제어 방법
KR102386359B1 (ko) 동작 상상에 따른 뇌파를 이용하는 로봇 제어 시스템 및 제어 방법
KR101937351B1 (ko) 뇌파 감지 결과에 기초하여 능동적인 재활을 유도하는 보행 재활 장치 및 그것의 제어 방법
EP3326688B1 (en) Electrical stimulation apparatus for treating the human body
JP6988252B2 (ja) 低周波治療器
JP2020086959A (ja) 操作支援装置および操作支援方法
JP2021083654A (ja) 注意機能訓練システム、注意機能訓練方法、訓練処理装置、及びコンピュータプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant