KR102381125B1 - 뇌 영역 간 연결 강도에 기초하는 뇌-컴퓨터 인터페이스 성능 예측 장치 및 방법 - Google Patents

뇌 영역 간 연결 강도에 기초하는 뇌-컴퓨터 인터페이스 성능 예측 장치 및 방법 Download PDF

Info

Publication number
KR102381125B1
KR102381125B1 KR1020200018354A KR20200018354A KR102381125B1 KR 102381125 B1 KR102381125 B1 KR 102381125B1 KR 1020200018354 A KR1020200018354 A KR 1020200018354A KR 20200018354 A KR20200018354 A KR 20200018354A KR 102381125 B1 KR102381125 B1 KR 102381125B1
Authority
KR
South Korea
Prior art keywords
brain
connection strength
performance
computer interface
connection
Prior art date
Application number
KR1020200018354A
Other languages
English (en)
Other versions
KR20210034457A (ko
Inventor
이성환
윤재근
이민지
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20210034457A publication Critical patent/KR20210034457A/ko
Application granted granted Critical
Publication of KR102381125B1 publication Critical patent/KR102381125B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

뇌 신호를 수집하는 수집부; 머리 또는 안구의 움직임에 의한 잡음을 제거하고, 주파수 대역을 통과시키는 필터에 입력하여 주파수 정보를 추출하는 전처리부; 주파수 정보에 따라 연결 강도를 산출하는 연결 강도 산출부; 연결 강도에서의 성능 정보를 생성하는 성능 예측부; 및 상기 성능 정보를 출력하는 성능 출력부를 포함하는, 뇌-컴퓨터 인터페이스 성능 예측 장치를 제공한다.

Description

뇌 영역 간 연결 강도에 기초하는 뇌-컴퓨터 인터페이스 성능 예측 장치 및 방법{APPARATUS AND METHOD FOR PREDICTING BRAIN-COMPUTER INTERFACE PERFORMANCE BASED ON CONNECTIVITY STRENGTH BETWEEN BRAIN REGIONS}
본 발명은 뇌 영역 간 연결 강도에 기초하는 뇌-컴퓨터 인터페이스 성능 예측 장치 및 방법에 관한 것으로, 보다 상세하게는, 뇌 신호의 양상에 따라 산출되는 뇌-컴퓨터 인터페이스에 대한 연결 강도로부터 성능을 예측하는 뇌-컴퓨터 인터페이스 성능 예측 장치 및 방법에 관한 것이다.
뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)는 사용자의 의도에 따라 외부 장치를 제어할 수 있는 기술로써, 일반적으로, 뇌 신호를 측정하기 위해 비침습적 뇌 신호 측정 도구인 뇌전도(Electroencephalography, EEG)를 사용한다. 이러한 뇌-컴퓨터 인터페이스는 신체가 자유롭지 않거나, 사지 마비 환자 등의 재활 및 생활 보조 도구로써 의료분야에서 요구되고 있다. 특히, 동작 상상(Motor Imagery) 기반의 뇌-컴퓨터 인터페이스는 특정 부위에 대한 근육의 움직임을 상상하는 것으로 발생하는 뇌파를 이용하여 사용자의 의도를 파악하는 기술이며, 별도의 외부 자극 없이, 사용자의 의도를 인식할 수 있도록 연구가 활발하다. 동작 상상을 기반으로 하는 뇌-컴퓨터 인터페이스를 실생활에서 이용하기 위하여 많은 연구들이 진행되었지만, 실험 또는 피험자마다 성능의 변동이 크다는 문제점이 보고되었다. 또한, 일부 피험자들이 뇌-컴퓨터 인터페이스를 사용하는데 필요한 뇌 신호를 변조하는데 어려움을 느끼는 뇌-컴퓨터 인터페이스 문맹(BCI-illiteracy) 또는 비효율(BCI-inefficiency)현상을 가지는 것으로 나타났으며, 사용자 중 10~30%가 이러한 현상을 나타내는 것으로 밝혀졌다. 더욱이, 동작 상상은 뇌-컴퓨터 인터페이스의 다른 패러다임과 달리 자발적인 뇌 신호를 사용하여 피험자의 상태나 뇌 영역의 차이로 인해 이러한 문제가 더욱 더욱 심각하게 여겨지고 있는 바, 이에 따라, 사용자의 뇌신호에 따른 뇌-컴퓨터 인터페이스의 성능을 예측하고, 이를 개선할 수 있는 방안이 요구된다.
본 발명이 해결하고자 하는 기술적 과제는, 뇌 신호의 양상에 따라 산출되는 뇌-컴퓨터 인터페이스에 대한 연결 강도로부터 성능을 예측하는 뇌-컴퓨터 인터페이스 성능 예측 장치 및 방법을 제공하는 것이다.
본 발명의 일측면은, 복수개의 뇌 영역으로부터 나타나는 뇌 신호를 수집하는 수집부; 상기 뇌 신호에서 나타나는 머리 또는 안구의 움직임에 의한 잡음을 제거하고, 잡음이 제거된 뇌 신호를 사전에 설정되는 주파수 대역을 통과시키는 필터에 입력하여 주파수 정보를 추출하는 전처리부; 복수개의 뇌 영역 중 적어도 하나의 영역에서 수집된 뇌 신호에 대한 주파수 정보에 따라 연결 강도를 산출하는 연결 강도 산출부; 상기 연결 강도에서의 뇌-컴퓨터 인터페이스의 성능을 예측하여 성능 정보를 생성하는 성능 예측부; 및 상기 성능 정보를 출력하는 성능 출력부를 포함할 수 있다.
또한, 상기 성능 정보가 사전에 설정되는 성능 임계 정보 미만으로 예측된 경우, 사전에 설정되는 시간 간격 동안 휴식 상태 활성 모드로 동작하도록 제어하는 제어부를 더 포함할 수 있다.
또한, 상기 휴식 상태 활성 모드로 동작하는 동안, 상기 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 나타나는 연결 강도가 사전에 설정되는 자극 임계 정보 이상으로 예측되는 경우에, 알림을 출력하는 알림 출력부를 더 포함할 수 있다.
또한, 상기 수집부는, 쐐기앞소엽(Prec: Precuneus), 우측 두정엽(rLP: Lateral Parietal Area), 우측 전운동피질(rPMC: Right Premotor Cortex), 좌측 전운동피질(lPMC: Left Premotor Cortex) 및 보조 운동영역(SMA: Supplementary Motor Area) 중 적어도 하나의 영역으로부터 나타나는 뇌 신호를 수집할 수 있다.
또한, 상기 성능 예측부는, 적어도 하나의 뇌 영역에 대한 연결 강도에 따라 선택되는 뇌 연결 모델에서의 연결 강도의 기준치를 나타내는 기준 연결 강도에 대해, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 수집되는 뇌 신호에 따른 연결 강도에 따라 성능 정보를 예측할 수 있다.
또한, 상기 연결 강도 산출부는, 복수개의 뇌 연결 모델에서의 연결 강도를 각각 산출하고, 가장 높은 연결 강도를 나타내는 뇌 연결 모델을 선택할 수 있다.
또한, 상기 연결 강도 산출부는, 상기 뇌 신호로부터 추출되는 주파수 정보가 도달 가능한 임계치를 나타내는 기준 강도에 대해, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 수집되는 뇌 신호에 따른 주파수 정보의 강도에 따라 연결 강도를 산출할 수 있다.
본 발명의 다른 일측면은, 뇌 영역 간 연결 강도에 기초한 뇌-컴퓨터 인터페이스 성능 예측 장치를 이용하는 뇌-컴퓨터 인터페이스 성능 예측 방법에 있어서, 복수개의 뇌 영역으로부터 나타나는 뇌 신호를 수집하는 단계; 상기 뇌 신호에서 나타나는 머리 또는 안구의 움직임에 의한 잡음을 제거하고, 잡음이 제거된 뇌 신호를 사전에 설정되는 주파수 대역을 통과시키는 필터에 입력하여 주파수 정보를 추출하는 단계; 복수개의 뇌 영역 중 적어도 하나의 영역에서 수집된 뇌 신호에 대한 주파수 정보에 따라 연결 강도를 산출하는 단계; 상기 연결 강도에서의 뇌-컴퓨터 인터페이스의 성능을 예측하여 성능 정보를 생성하는 단계; 및 상기 성능 정보를 출력하는 단계를 포함할 수 있다.
또한, 상기 성능 정보가 사전에 설정되는 성능 임계 정보 미만으로 예측된 경우, 사전에 설정되는 시간 간격 동안 휴식 상태 활성 모드로 동작하도록 제어하는 단계를 더 포함할 수 있다.
또한, 상기 휴식 상태 활성 모드로 동작하는 동안, 상기 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 나타나는 연결 강도가 사전에 설정되는 자극 임계 정보 이상으로 예측되는 경우에, 알림을 출력하는 단계를 더 포함할 수 있다.
또한, 상기 뇌 신호를 수집하는 단계는, 쐐기앞소엽(Prec: Precuneus), 우측 두정엽(rLP: Lateral Parietal Area), 우측 전운동피질(rPMC: Right Premotor Cortex), 좌측 전운동피질(lPMC: Left Premotor Cortex) 및 보조 운동영역(SMA: Supplementary Motor Area) 중 적어도 하나의 영역으로부터 나타나는 뇌 신호를 수집할 수 있다.
또한, 상기 성능 정보를 생성하는 단계는, 적어도 하나의 뇌 영역에 대한 연결 강도에 따라 선택되는 뇌 연결 모델에서의 연결 강도의 기준치를 나타내는 기준 연결 강도에 대해, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 수집되는 뇌 신호에 따른 연결 강도에 따라 성능 정보를 예측할 수 있다.
또한, 상기 연결 강도를 산출하는 단계는, 복수개의 뇌 연결 모델에서의 연결 강도를 각각 산출하고, 가장 높은 연결 강도를 나타내는 뇌 연결 모델을 선택할 수 있다.
또한, 상기 연결 강도를 산출하는 단계는, 상기 뇌 신호로부터 추출되는 주파수 정보가 도달 가능한 임계치를 나타내는 기준 강도에 대해, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 수집되는 뇌 신호에 따른 주파수 정보의 강도에 따라 연결 강도를 산출할 수 있다.
상술한 본 발명의 일측면에 따르면, 뇌 영역 간 연결 강도에 기초하는 뇌-컴퓨터 인터페이스 성능 예측 장치 및 방법을 제공함으로써, , 뇌 신호의 양상에 따라 산출되는 뇌-컴퓨터 인터페이스에 대한 연결 강도로부터 성능을 예측할 수 있다.
도1은 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 성능 예측 장치를 포함하는 뇌-컴퓨터 인터페이스 성능 예측 시스템의 개략도이다.
도2는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 성능 예측 장치의 제어블록도이다.
도3은 도2의 성능 예측부에서 성능 정보를 예측하는 과정을 나타내는 블록도이다.
도4는 도2의 제어부에서 휴식 상태 활성 모드로 동작하는 과정을 나타내는 블록도이다.
도5a 및 도5b는 도2의 연결 강도 산출부에서 선택되는 뇌 연결 모델의 일 실시예를 나타낸 개략도이다.
도6은 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 성능 예측 방법의 순서도이다.
도7은 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 성능 예측 방법에서 휴식 상태 활성 모드로 동작하도록 제어하는 단계를 나타낸 세부 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도1은 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 성능 예측 장치를 포함하는 뇌-컴퓨터 인터페이스 성능 예측 시스템의 개략도이다.
뇌-컴퓨터 인터페이스 성능 예측 시스템은 뇌 신호 측정 장치(100), 뇌-컴퓨터 인터페이스 성능 예측 장치(200) 및 뇌-컴퓨터 인터페이스 장치(300)를 포함할 수 있다.
뇌 신호 측정 장치(100)는 사용자의 뇌 신호 또는 생체 신호 등을 검측하도록 적어도 하나의 전극이 마련될 수 있으며, 뇌 신호 측정 장치(100)는 전극으로부터 전달되는 뇌 신호 또는 생체 신호 등을 기록하는 측정기가 마련될 수 있다.
여기에서, 뇌 신호는 대뇌피질의 활동에 의한 전위변화와 뇌파에 의하여 일어나는 뇌전류를 의미할 수 있으며, 이에 따라, 뇌 신호 측정 장치(100)는 뇌전류를 기록하는 뇌전도(EEG: Electroencephalography)가 이용될 수 있다.
이와 관련하여, 뇌 신호 또는 생체 신호 등을 검측하는 전극은 습식 전극 또는 건식 전극 중 어느 하나가 이용될 수 있으며, 측정기는 전극으로부터 유선 또는 무선 통신을 통해 뇌 신호 또는 생체 신호를 전달받을 수 있다.
여기에서, 뇌 신호 측정 장치(100)는 쐐기앞소엽(Prec: Precuneus), 우측 두정엽(rLP: right Lateral Parietal Area), 우측 전운동피질(rPMC: Right Premotor Cortex), 좌측 전운동피질(lPMC: Left Premotor Cortex) 및 보조 운동영역(SMA: Supplementary Motor Area) 중 적어도 하나의 영역에서 뇌 신호 또는 생체 신호 등을 측정할 수 있다.
또한, 뇌 신호 측정 장치(100)는 내측 전전두피질(mPFC: Medial Prefrontal Cortex), 좌측 두정엽(lLP: left Lateral Parietal Area), 중대뇌동맥(MCA: Middle Cerebral Artery) 좌측 M1 분절(lM1: left M1), 중대뇌동맥(MCA: Middle Cerebral Artery) 우측 M1 분절(rM1: right M1) 등의 뇌의 영역으로부터 뇌 신호 또는 생체 신호 등을 측정할 수 있다.
한편, 뇌 신호 측정 장치(100)는 사용자가 휴식 상태에 있는 동안 복수개의 뇌 영역에서 뇌 신호를 측정하여, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)에 유선 또는 무선 네트워크를 이용하여 전달할 수 있다.
이때, 뇌 신호 측정 장치(100)는 외부의 입력에 의해 뇌 신호 또는 생체 신호의 측정을 수행할 수 있으며, 또는, 뇌 신호 측정 장치(100)는 사전에 설정되는 시간 간격마다 뇌 신호 또는 생체 신호의 측정을 수행할 수도 있다.
이에 따라, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 복수개의 뇌 영역으로부터 나타나는 뇌 신호를 수집할 수 있다.
뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 뇌 신호에서 나타나는 머리 또는 안구의 움직임에 의한 잡음을 제거하고, 잡음이 제거된 뇌 신호를 사전에 설정되는 주파수 대역을 통과시키는 필터에 입력하여 주파수 정보를 추출할 수 있다.
이를 위해, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 뇌 신호로부터 고속 푸리에 변환(FFT: Fast Fourier Transform) 등의 기법을 이용하여 주파수 성분을 추출할 수 있으며, 머리 또는 안구의 움직임에 의한 잡음을 제거하도록 머리 또는 안구의 움직임으로부터 발생하는 주파수 영역을 대역 차단 필터(Band Reject Filter) 등을 이용하여 제거할 수 있다.
또는, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 머리 또는 안구의 움직임에 의한 잡음 외의 주파수 대역이 추출되도록 대역 통과 필터(Band Pass Filter)를 이용할 수도 있다.
이러한 경우에, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 뇌 신호를 제 1 주파수 대역을 통과시키는 제 1 필터에 입력하여 제 1 주파수 정보를 추출할 수 있으며, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 제 1 주파수 대역을 복수개의 주파수 대역으로 분류하는 제 2 주파수 대역에 따른 제 2 필터에 상기 제 1 주파수 정보를 입력하여 제 2 주파수 정보를 추출할 수 있다.
여기에서, 제 1 주파수 대역은 뇌-컴퓨터 인터페이스의 성능을 예측하는데 이용되는 주파수 대역의 전체 범위를 의미할 수 있으며, 예를 들어, 제 1 주파수 대역은 0.1 Hz 내지 50 Hz일 수 있다. 이에 따라, 제 1 필터는 제 1 주파수 대역을 통과시키는 대역 통과 필터(Band Pass Filter)가 이용될 수 있다.
또한, 제 2 주파수 대역은 제 1 주파수 대역을 복수개의 주파수 대역으로 분할하도록 마련되는 주파수 대역을 의미할 수 있으며, 예를 들어, 제 2 주파수 대역은 제 1 주파수 대역을 3 Hz 내지 5 Hz의 주파수 간격으로 분할하도록 마련될 수 있다. 이때, 제 2 주파수 대역은 0.1 Hz ~ 3 Hz, 4 Hz ~ 7 Hz, 8 Hz ~ 13 Hz, ……, 45 Hz ~ 50 Hz 와 같이 나타날 수 있다.
이에 따라, 제 2 주파수 정보는 복수개의 제 2 주파수 대역에 대해서 각각 추출될 수 있다.
뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 복수개의 뇌 영역 중 적어도 하나의 영역에서 수집된 뇌 신호에 대한 주파수 정보에 따라 연결 강도를 산출할 수 있다.
이때, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 뇌 신호로부터 추출되는 주파수 정보가 도달 가능한 임계치를 나타내는 기준 강도에 대해, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 수집되는 뇌 신호에 따른 주파수 정보의 강도에 따라 연결 강도를 산출할 수 있다. 여기에서, 기준 강도는 복수개의 뇌 영역 중 적어도 하나의 영역에 대해 각각 임계치가 설정될 수 있다.
또한, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 복수개의 뇌 연결 모델에서의 연결 강도를 각각 산출할 수 있으며, 이에 따라, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 가장 높은 연결 강도를 나타내는 뇌 연결 모델을 선택할 수 있다.
여기에서, 뇌 연결 모델은 복수개의 뇌 영역 중 특정 상태에서 유의미한 변화가 검측되는 적어도 하나의 뇌 영역을 연결한 모델을 의미할 수 있으며, 이에 따라, 각각의 뇌 영역의 주파수 정보의 변화에 따라 하나의 뇌 연결 모델이 매칭될 수 있다.
예를 들어, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 복수개의 뇌 영역 중 쐐기앞소엽과 우측 두정엽에 대한 주파수 정보가 기준 강도 보다 높게 나타나는 경우에, 사용자가 휴식 상태에 있는 것으로 판단하여 휴식 상태에 관련된 뇌 연결 모델을 선택할 수 있으며, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 우측 전운동피질과 보조 운동영역에 대한 주파수 정보가 기준 강도 보다 낮게 나오는 경우에, 사용자가 동작을 상상하는 상태에 있는 것으로 판단하여 동작 상상 상태에 관련된 뇌 연결 모델을 선택할 수 있다. 또한, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 좌측 전운동피질과 우측 전운동피질에 대한 주파수 정보가 기준 강도 보다 높게 나오는 경우에, 사용자가 동작을 상상하는 상태에 있는 것으로 판단하여 동작 상상 상태에 관련된 뇌 연결 모델을 선택할 수 있다.
이때, 기준 강도는 뇌 신호에 따른 주파수 정보의 강도가 상승하는 형태로 변화하여 임계치에 도달하는 것에 대한 기준치를 나타내도록 마련될 수 있으며, 기준 강도는 뇌 신호에 따른 주파수 정보의 강도가 하강하는 형태로 변화하여 임계치에 도달하는 것에 대한 기준치를 나타내도록 마련될 수 있다.
이와 관련하여, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 동적 인과관계 모델링(DCM: Dynamic Causal Modeling), 간섭성(Coherence) 및 그랜저 인과관계(Granger Causality) 등의 공지된 기법을 이용하여 연결 강도를 계산할 수도 있다.
한편, 기준 강도는 주파수 정보의 전력 스펙트럼 밀도(PSD: Power Spectrum Density)에 대한 임계치를 의미할 수 있으며, 이때, 전력 스펙트럼 밀도는 유한한 신호로부터 나타나는 에너지를 의미하는 것으로, 전력 스펙트럼 밀도를 계산하는 방법은 상용화되어 있는 바, 자세한 설명은 생략하도록 한다.
또한, 기준 강도는 주파수 정보의 강도를 판단할 수 있는 다른 공지된 수단을 이용할 수도 있음은 물론이다.
뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 계산된 연결 강도에서의 뇌-컴퓨터 인터페이스의 성능을 예측하여 성능 정보를 생성할 수 있다. 여기에서, 뇌-컴퓨터 인터페이스의 성능은 사용자로부터 발현되는 뇌 신호에 따라 산출된 연결 강도의 수준에서 뇌-컴퓨터 인터페이스 장치(300)를 이용하는 경우에, 사용자가 뇌-컴퓨터 인터페이스 장치(300)의 성능을 어느 정도로 이용할 수 있는지 나타내는 지표인 것으로 이해할 수 있다. 이때, 성능 정보는 뇌-컴퓨터 인터페이스 장치(300)에 따라 동일한 연결 강도의 수준에서 다르게 나타날 수도 있다.
뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 적어도 하나의 뇌 영역에 대한 연결 강도에 따라 선택되는 뇌 연결 모델에서의 연결 강도의 기준치를 나타내는 기준 연결 강도에 대해, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 수집되는 뇌 신호에 따른 연결 강도에 따라 성능 정보를 예측할 수 있다.
여기에서, 성능 정보는 기준 연결 강도에 대한 연결 강도의 비율로 나타날 수 있으며, 성능 정보는 기준 연결 강도에 대한 연결 강도의 비율 범위에 따른 단계로 나타날 수도 있다.
이때, 기준 연결 강도는 뇌 신호에 따른 연결 강도가 상승하는 형태로 변화하는 것에 대한 기준치를 나타내도록 마련될 수 있으며, 기준 연결 강도는 뇌 신호에 따른 주파수 정보의 강도가 하강하는 형태로 변화하는 것에 대한 기준치를 나타내도록 마련될 수 있다.
이와 관련하여, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 선형 회귀(MLR: Multiple Linear Regression), 리지 회귀(RR: Ridge Regression), 라소 회귀(LASSO: Least Absolute Shrinkage and Selection Operator), 엘라스틱 넷(Elastic Network) 및 커널 리지 회귀(KRR: Kernel Ridge Regression) 등의 공지된 기법을 이용하여 연결 강도로부터 뇌-컴퓨터 인터페이스의 성능 정보를 예측할 수도 있다.
이에 따라, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 성능 정보를 출력할 수 있으며, 이때, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 성능 정보의 수치를 텍스트 형태로 출력하거나, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 성능 정보의 비율을 그래프 등의 도형 형태로 출력할 수도 있다.
또한, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 예측된 성능 정보를 뇌-컴퓨터 인터페이스 장치(300)에 유선 또는 무선 네트워크를 이용하여 전달할 수도 있다. 이러한 경우에, 뇌-컴퓨터 인터페이스 장치(300)는 전달받은 성능 정보에 기초하여 동작할 수도 있다.
한편, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 성능 정보가 사전에 설정되는 성능 임계 정보 미만으로 예측된 경우, 사전에 설정되는 시간 간격 동안 휴식 상태 활성 모드로 동작하도록 제어할 수 있다.
여기에서, 휴식 상태 활성 모드는 휴식 상태에서 나타나는 뇌 신호의 패턴이 사용자로부터 검측 가능해지도록 사용자를 훈련시키는 모드로 이해할 수 있으며, 이와 같은 휴식 상태 활성 모드는 뉴로피드백(Neurofeedback) 등의 기법이 이용될 수 있다.
여기에서, 뉴로피드백은 사용자로부터 특정 뇌 신호가 검측되는 경우에, 사용자에게 해당 뇌 신호가 나타난 것을 알리도록 하는 기법으로, 이러한 경우에, 사용자로부터 해당 뇌 신호의 검측이 이전 보다 쉬워지는 것으로 알려져 있다.
이에 따라, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 휴식 상태 활성 모드로 동작하는 동안, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 나타나는 연결 강도가 사전에 설정되는 자극 임계 정보 이상으로 예측되는 경우에, 알림을 출력할 수 있다.
예를 들어, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 4시간 동안 휴식 상태 활성 모드로 동작할 수 있으며, 이러한 경우에, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 휴식 상태 활성 모드로 동작하는 4시간 동안, 연결 강도가 자극 임계 정보 이상으로 예측될 때마다, 알림을 출력할 수 있다.
또한, 휴식 상태 활성 모드에서 산출되는 연결 강도는 휴식 상태에서 나타나는 뇌 신호에 대한 연결 강도로 설정될 수 있으며, 자극 임계 정보는 연결 강도에 따라 예측되는 성능 정보가 사전에 설정되는 수준의 이상이 되도록 설정될 수 있다.
예를 들어, 성능 임계 정보는 연결 강도에 대한 뇌-컴퓨터 인터페이스의 성능으로 70% 수준이 설정될 수 있으며, 이에 따라, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 사용자로부터 수집되는 뇌 신호에 대한 성능 정보가 70% 미만으로 예측되는 경우에, 사전에 설정되는 시간 간격 동안 휴식 상태 활성 모드로 동작할 수 있다.
또한, 자극 임계 정보는 성능 정보가 50% 수준으로 도달하는 연결 강도로 설정될 수 있으며, 이에 따라, 뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 휴식 상태 활성 모드로 동작하는 동안, 사용자로부터 수집되는 뇌 신호로부터 산출되는 연결 강도에 대한 성능 정보가 50%로 예측되는 경우에 알림을 출력하여 사용자에게 성능 정보가 50% 이상으로 예측된 것을 알릴 수 있다.
한편, 뇌-컴퓨터 인터페이스 장치(300)는 사용자로부터 측정되는 뇌 신호의 패턴에 따라 외부의 장치를 제어하는 장치일 수 있으며, 뇌-컴퓨터 인터페이스 장치(300)는 사용자로부터 측정되는 뇌 신호의 패턴에 따라 사전에 설정되는 정보를 출력하는 장치일 수도 있다.
이와 같이, 뇌-컴퓨터 인터페이스 장치(300)는 뇌-컴퓨터 인터페이스 기반의 다양한 장치가 이용될 수 있으며, 본 발명의 정신 및 범위를 벗어나지 않으면서 변형 또는 변경될 수 있음이 이해되어야 한다.
도2는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 성능 예측 장치의 제어블록도이다.
뇌-컴퓨터 인터페이스 성능 예측 장치(200)는 수집부(210), 전처리부(220), 연결 강도 산출부(230), 성능 예측부(240), 성능 출력부(250), 제어부(260) 및 알림 출력부(270)를 포함할 수 있다.
수집부(210)는 복수개의 뇌 영역으로부터 나타나는 뇌 신호를 수집할 수 있다. 이때, 수집부(210)는 쐐기앞소엽(Prec: Precuneus), 우측 두정엽(rLP: right Lateral Parietal Area), 우측 전운동피질(rPMC: Right Premotor Cortex), 좌측 전운동피질(lPMC: Left Premotor Cortex) 및 보조 운동영역(SMA: Supplementary Motor Area) 중 적어도 하나의 영역에서 나타나는 뇌 신호를 수집할 수 있으며, 수집부(210)는 내측 전전두피질(mPFC: Medial Prefrontal Cortex), 좌측 두정엽(lLP: left Lateral Parietal Area) 등의 뇌의 영역에서 나타나는 뇌 신호를 더 수집할 수 있다.
전처리부(220)는 뇌 신호에서 나타나는 머리 또는 안구의 움직임에 의한 잡음을 제거하고, 잡음이 제거된 뇌 신호를 사전에 설정되는 주파수 대역을 통과시키는 필터에 입력하여 주파수 정보를 추출할 수 있다.
연결 강도 산출부(230)는 복수개의 뇌 영역 중 적어도 하나의 영역에서 수집된 뇌 신호에 대한 주파수 정보에 따라 연결 강도를 산출할 수 있다.
이때, 연결 강도 산출부(230)는 뇌 신호로부터 추출되는 주파수 정보가 도달 가능한 임계치를 나타내는 기준 강도에 대해, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 수집되는 뇌 신호에 따른 주파수 정보의 강도에 따라 연결 강도를 산출할 수 있다.
또한, 연결 강도 산출부(230)는 복수개의 뇌 연결 모델에서의 연결 강도를 각각 산출할 수 있으며, 이에 따라, 연결 강도 산출부(230)는 가장 높은 연결 강도를 나타내는 뇌 연결 모델을 선택할 수 있다.
이와 관련하여, 연결 강도 산출부(230)는 동적 인과관계 모델링(DCM: Dynamic Causal Modeling), 간섭성(Coherence) 및 그랜저 인과관계(Granger Causality) 등의 공지된 기법을 이용하여 연결 강도를 계산하고, 뇌 연결 모델을 선택할 수도 있다.
성능 예측부(240)는 계산된 연결 강도에서의 뇌-컴퓨터 인터페이스의 성능을 예측하여 성능 정보를 생성할 수 있다.
성능 예측부(240)는 적어도 하나의 뇌 영역에 대한 연결 강도에 따라 선택되는 뇌 연결 모델에서의 연결 강도의 기준치를 나타내는 기준 연결 강도에 대해, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 수집되는 뇌 신호에 따른 연결 강도에 따라 성능 정보를 예측할 수 있다.
성능 출력부(250)는 성능 정보를 출력할 수 있으며, 이때, 성능 출력부(250)는 성능 정보의 수치를 텍스트 형태로 출력하거나, 성능 출력부(250)는 성능 정보의 비율을 그래프 등의 도형 형태로 출력할 수도 있다.
또한, 성능 출력부(250)는 예측된 성능 정보를 뇌-컴퓨터 인터페이스 장치(300)에 유선 또는 무선 네트워크를 이용하여 전달할 수도 있다.
제어부(260)는 성능 정보가 사전에 설정되는 성능 임계 정보 미만으로 예측된 경우, 사전에 설정되는 시간 간격 동안 휴식 상태 활성 모드로 동작하도록 제어할 수 있다.
알림 출력부(270)는 휴식 상태 활성 모드로 동작하는 동안, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 나타나는 연결 강도가 사전에 설정되는 자극 임계 정보 이상으로 예측되는 경우에, 알림을 출력할 수 있다.
여기에서, 알림 출력부(270)는 연결 강도가 사전에 설정되는 자극 임계 정보 이상으로 예측되어 알림을 출력하는 경우에, 시각 자극, 청각 자극 및 촉각 자극 등의 형태로 알림을 출력할 수 있다.
도3은 도2의 성능 예측부에서 성능 정보를 예측하는 과정을 나타내는 블록도이다.
도3을 참조하면, 수집부(210)는 복수개의 뇌 영역으로부터 나타나는 뇌 신호를 뇌 신호 측정 장치(100)로부터 수집할 수 있다.
이에 따라, 전처리부(220)는 뇌 신호에서 나타나는 머리 또는 안구의 움직임에 의한 잡음을 제거하고, 잡음이 제거된 뇌 신호를 사전에 설정되는 주파수 대역을 통과시키는 필터에 입력하여 주파수 정보를 추출할 수 있다.
또한, 연결 강도 산출부(230)는 복수개의 뇌 영역 중 적어도 하나의 영역에서 수집된 뇌 신호에 대한 주파수 정보에 따라 연결 강도를 산출할 수 있다.
이때, 연결 강도 산출부(230)는 복수개의 뇌 연결 모델에서의 연결 강도를 각각 산출할 수 있으며, 이에 따라, 연결 강도 산출부(230)는 가장 높은 연결 강도를 나타내는 뇌 연결 모델을 선택할 수 있다.
이에 따라, 성능 예측부(240)는 계산된 연결 강도에서의 뇌-컴퓨터 인터페이스의 성능을 예측하여 성능 정보를 생성할 수 있으며, 이때, 성능 예측부(240)는 적어도 하나의 뇌 영역에 대한 연결 강도에 따라 선택되는 뇌 연결 모델에서의 연결 강도의 기준치를 나타내는 기준 연결 강도에 대해, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 수집되는 뇌 신호에 따른 연결 강도에 따라 성능 정보를 예측할 수 있다.
성능 출력부(250)는 성능 정보를 출력할 수 있으며, 이때, 성능 출력부(250)는 성능 정보의 수치를 텍스트 형태로 출력하거나, 성능 출력부(250)는 성능 정보의 비율을 그래프 등의 도형 형태로 출력할 수도 있다.
또한, 성능 출력부(250)는 예측된 성능 정보를 뇌-컴퓨터 인터페이스 장치(300)에 유선 또는 무선 네트워크를 이용하여 전달할 수도 있다.
도4는 도2의 제어부에서 휴식 상태 활성 모드로 동작하는 과정을 나타내는 블록도이다.
도4를 참조하면, 제어부(260)는 예측된 성능 정보가 사전에 설정되는 성능 임계 정보 미만으로 예측된 경우, 사전에 설정되는 시간 간격 동안 휴식 상태 활성 모드로 동작하도록 제어할 수 있다.
이에 따라, 수집부(210)는 수집되는 뇌 신호에 따라, 전처리부(220)는 주파수 정보를 추출하고, 연결 강도 산출부(230)는 복수개의 뇌 영역 중 적어도 하나의 영역에서 수집된 뇌 신호에 대한 주파수 정보에 따라 연결 강도를 산출할 수 있다.
이에 따라, 알림 출력부(270)는 휴식 상태 활성 모드로 동작하는 동안, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 나타나는 연결 강도가 사전에 설정되는 자극 임계 정보 이상으로 예측되는 경우에, 알림을 출력할 수 있다.
도5a 및 도5b는 도2의 연결 강도 산출부에서 선택되는 뇌 연결 모델의 일 실시예를 나타낸 개략도이다.
뇌 연결 모델은 복수개의 뇌 영역 중 특정 상태에서 유의미한 변화가 검측되는 적어도 하나의 뇌 영역을 연결한 모델을 의미할 수 있다.
도5a를 참조하면, 뇌 영역 중 내측 전전두피질(mPFC: Medial Prefrontal Cortex), 쐐기앞소엽(Prec: Precuneus), 좌측 두정엽(lLP: left Lateral Parietal Area) 및 우측 두정엽(rLP: right Lateral Parietal Area)이 연결된 뇌 연결 모델을 확인할 수 있다.
이와 관련하여, 쐐기앞소엽과 우측 두정엽에 대한 주파수 정보가 기준 강도 보다 높게 나타나는 경우에, 사용자가 휴식 상태에 있는 것으로 판단할 수 있으며, 이에 따라, 도5a는 휴식 상태에 관련된 뇌 연결 모델인 것으로 이해할 수 있다.
한편, 도5b를 참조하면, 뇌 영역 중 좌측 전운동피질(lPMC: Left Premotor Cortex), 우측 전운동피질(rPMC: Right Premotor Cortex), 보조 운동영역(SMA: Supplementary Motor Area), 중대뇌동맥(MCA: Middle Cerebral Artery) 좌측 M1 분절(lM1: left M1) 및 중대뇌동맥(MCA: Middle Cerebral Artery) 우측 M1 분절(rM1: right M1)이 연결된 뇌 연결 모델을 확인할 수 있다.
이와 관련하여, 우측 전운동피질과 보조 운동영역에 대한 주파수 정보가 기준 강도 보다 낮게 나오는 경우에, 사용자가 동작을 상상하는 상태에 있는 것으로 판단할 수 있으며, 좌측 전운동피질과 우측 전운동피질에 대한 주파수 정보가 기준 강도 보다 높게 나오는 경우에, 사용자가 동작을 상상하는 상태에 있는 것으로 판단할 수 있다. 이에 따라, 도5b는 동작 상상 상태에 관련된 뇌 연결 모델인 것으로 이해할 수 있다.
도6은 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 성능 예측 방법의 순서도이다.
본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 성능 예측 방법은 도 1에 도시된 뇌-컴퓨터 인터페이스 성능 예측 장치(200)와 실질적으로 동일한 구성 상에서 진행되므로, 도 1의 뇌-컴퓨터 인터페이스 성능 예측 장치(200)와 동일한 구성요소에 대해 동일한 도면 부호를 부여하고, 반복되는 설명은 생략하기로 한다.
뇌-컴퓨터 인터페이스 성능 예측 방법은 뇌 신호를 수집하는 단계(600), 주파수 정보를 추출하는 단계(610), 연결 강도를 산출하는 단계(620), 성능 정보를 생성하는 단계(630) 및 성능 정보를 출력하는 단계(640)를 포함할 수 있다.
뇌 신호를 수집하는 단계(600)는 복수개의 뇌 영역으로부터 나타나는 뇌 신호를 수집할 수 있다. 이때, 뇌 신호를 수집하는 단계(600)는 쐐기앞소엽(Prec: Precuneus), 우측 두정엽(rLP: right Lateral Parietal Area), 우측 전운동피질(rPMC: Right Premotor Cortex), 좌측 전운동피질(lPMC: Left Premotor Cortex) 및 보조 운동영역(SMA: Supplementary Motor Area) 중 적어도 하나의 영역에서 나타나는 뇌 신호를 수집할 수 있으며, 뇌 신호를 수집하는 단계(600)는 내측 전전두피질(mPFC: Medial Prefrontal Cortex), 좌측 두정엽(lLP: left Lateral Parietal Area) 등의 뇌의 영역에서 나타나는 뇌 신호를 더 수집할 수 있다.
주파수 정보를 추출하는 단계(610)는 뇌 신호에서 나타나는 머리 또는 안구의 움직임에 의한 잡음을 제거하고, 잡음이 제거된 뇌 신호를 사전에 설정되는 주파수 대역을 통과시키는 필터에 입력하여 주파수 정보를 추출할 수 있다.
연결 강도를 산출하는 단계(620)는 복수개의 뇌 영역 중 적어도 하나의 영역에서 수집된 뇌 신호에 대한 주파수 정보에 따라 연결 강도를 산출할 수 있다.
연결 강도를 산출하는 단계(620)는 뇌 신호로부터 추출되는 주파수 정보가 도달 가능한 임계치를 나타내는 기준 강도에 대해, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 수집되는 뇌 신호에 따른 주파수 정보의 강도에 따라 연결 강도를 산출할 수 있다.
또한, 연결 강도를 산출하는 단계(620)는 복수개의 뇌 연결 모델에서의 연결 강도를 각각 산출할 수 있으며, 이에 따라, 연결 강도를 산출하는 단계(620)는 가장 높은 연결 강도를 나타내는 뇌 연결 모델을 선택할 수 있다.
성능 정보를 생성하는 단계(630)는 계산된 연결 강도에서의 뇌-컴퓨터 인터페이스의 성능을 예측하여 성능 정보를 생성할 수 있다.
성능 정보를 생성하는 단계(630)는 적어도 하나의 뇌 영역에 대한 연결 강도에 따라 선택되는 뇌 연결 모델에서의 연결 강도의 기준치를 나타내는 기준 연결 강도에 대해, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 수집되는 뇌 신호에 따른 연결 강도에 따라 성능 정보를 예측할 수 있다.
성능 정보를 출력하는 단계(640)는 성능 정보를 출력할 수 있으며, 이때, 성능 정보를 출력하는 단계(640)는 성능 정보의 수치를 텍스트 형태로 출력하거나, 성능 정보를 출력하는 단계(640)는 성능 정보의 비율을 그래프 등의 도형 형태로 출력할 수도 있다.
또한, 성능 정보를 출력하는 단계(640)는 예측된 성능 정보를 뇌-컴퓨터 인터페이스 장치(300)에 유선 또는 무선 네트워크를 이용하여 전달할 수도 있다.
도7은 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 성능 예측 방법에서 휴식 상태 활성 모드로 동작하도록 제어하는 단계를 나타낸 세부 순서도이다.
뇌-컴퓨터 인터페이스 성능 예측 방법은 예측된 성능 정보가 사전에 설정되는 성능 임계 정보 미만으로 예측된 경우(650), 사전에 설정되는 시간 간격 동안 휴식 상태 활성 모드로 동작하도록 제어(660)할 수 있다.
이에 따라, 뇌 신호를 수집하는 단계(600)는 복수개의 뇌 영역으로부터 나타나는 뇌 신호를 수집할 수 있고, 주파수 정보를 추출하는 단계(610)는 뇌 신호에서 나타나는 머리 또는 안구의 움직임에 의한 잡음을 제거하고, 잡음이 제거된 뇌 신호를 사전에 설정되는 주파수 대역을 통과시키는 필터에 입력하여 주파수 정보를 추출할 수 있으며, 연결 강도를 산출하는 단계(620)는 복수개의 뇌 영역 중 적어도 하나의 영역에서 수집된 뇌 신호에 대한 주파수 정보에 따라 연결 강도를 산출할 수 있다.
이때, 뇌-컴퓨터 인터페이스 성능 예측 방법은 휴식 상태 활성 모드로 동작하는 동안, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 나타나는 연결 강도가 사전에 설정되는 자극 임계 정보 이상으로 예측(670)되는 경우에, 알림을 출력(680)할 수 있다.
이때, 알림을 출력하는 단계(680)는 연결 강도가 사전에 설정되는 자극 임계 정보 이상으로 예측되어 알림을 출력하는 경우에, 시각 자극, 청각 자극 및 촉각 자극 등의 형태로 알림을 출력할 수 있다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 뇌 신호 측정 장치
200: 뇌-컴퓨터 인터페이스 성능 예측 장치
300: 뇌-컴퓨터 인터페이스 장치

Claims (14)

  1. 복수개의 뇌 영역으로부터 나타나는 뇌 신호를 수집하는 수집부;
    상기 뇌 신호에서 나타나는 머리 또는 안구의 움직임에 의한 잡음을 제거하고, 잡음이 제거된 뇌 신호를 사전에 설정되는 주파수 대역을 통과시키는 필터에 입력하여 주파수 정보를 추출하는 전처리부;
    복수개의 뇌 영역 중 적어도 하나의 영역에서 수집된 뇌 신호에 대한 주파수 정보에 따라 연결 강도를 산출하는 연결 강도 산출부;
    상기 연결 강도에서의 뇌-컴퓨터 인터페이스의 성능을 예측하여 성능 정보를 생성하는 성능 예측부; 및
    상기 성능 정보를 출력하는 성능 출력부를 포함하고,
    상기 성능 정보가 사전에 설정되는 성능 임계 정보 미만으로 예측된 경우, 사전에 설정되는 시간 간격 동안 휴식 상태 활성 모드로 동작하도록 제어하는 제어부를 더 포함하는, 뇌 영역 간 연결 강도에 기초하는 뇌-컴퓨터 인터페이스 성능 예측 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 휴식 상태 활성 모드로 동작하는 동안, 상기 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 나타나는 연결 강도가 사전에 설정되는 자극 임계 정보 이상으로 예측되는 경우에, 알림을 출력하는 알림 출력부를 더 포함하는, 뇌 영역 간 연결 강도에 기초하는 뇌-컴퓨터 인터페이스 성능 예측 장치.
  4. 제1항에 있어서, 상기 수집부는,
    쐐기앞소엽(Prec: Precuneus), 우측 두정엽(rLP: Lateral Parietal Area), 우측 전운동피질(rPMC: Right Premotor Cortex), 좌측 전운동피질(lPMC: Left Premotor Cortex) 및 보조 운동영역(SMA: Supplementary Motor Area) 중 적어도 하나의 영역으로부터 나타나는 뇌 신호를 수집하는, 뇌 영역 간 연결 강도에 기초하는 뇌-컴퓨터 인터페이스 성능 예측 장치.
  5. 제1항에 있어서, 상기 성능 예측부는,
    적어도 하나의 뇌 영역에 대한 연결 강도에 따라 선택되는 뇌 연결 모델에서의 연결 강도의 기준치를 나타내는 기준 연결 강도에 대해, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 수집되는 뇌 신호에 따른 연결 강도에 따라 성능 정보를 예측하는, 뇌 영역 간 연결 강도에 기초하는 뇌-컴퓨터 인터페이스 성능 예측 장치.
  6. 제1항에 있어서, 상기 연결 강도 산출부는,
    복수개의 뇌 연결 모델에서의 연결 강도를 각각 산출하고, 가장 높은 연결 강도를 나타내는 뇌 연결 모델을 선택하는, 뇌 영역 간 연결 강도에 기초하는 뇌-컴퓨터 인터페이스 성능 예측 장치.
  7. 제1항에 있어서, 상기 연결 강도 산출부는,
    상기 뇌 신호로부터 추출되는 주파수 정보가 도달 가능한 임계치를 나타내는 기준 강도에 대해, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 수집되는 뇌 신호에 따른 주파수 정보의 강도에 따라 연결 강도를 산출하는, 뇌 영역 간 연결 강도에 기초하는 뇌-컴퓨터 인터페이스 성능 예측 장치.
  8. 뇌 영역 간 연결 강도에 기초한 뇌-컴퓨터 인터페이스 성능 예측 장치를 이용하는 뇌-컴퓨터 인터페이스 성능 예측 방법에 있어서,
    수집부에서 복수개의 뇌 영역으로부터 나타나는 뇌 신호를 수집하는 단계;
    전처리부에서 상기 뇌 신호에서 나타나는 머리 또는 안구의 움직임에 의한 잡음을 제거하고, 잡음이 제거된 뇌 신호를 사전에 설정되는 주파수 대역을 통과시키는 필터에 입력하여 주파수 정보를 추출하는 단계;
    연결 강도 산출부에서 복수개의 뇌 영역 중 적어도 하나의 영역에서 수집된 뇌 신호에 대한 주파수 정보에 따라 연결 강도를 산출하는 단계;
    성능 예측부에서 상기 연결 강도에서의 뇌-컴퓨터 인터페이스의 성능을 예측하여 성능 정보를 생성하는 단계; 및
    성능 출력부에서 상기 성능 정보를 출력하는 단계를 포함하고,
    제어부에서 상기 성능 정보가 사전에 설정되는 성능 임계 정보 미만으로 예측된 경우, 사전에 설정되는 시간 간격 동안 휴식 상태 활성 모드로 동작하도록 제어하는 단계를 더 포함하는, 뇌-컴퓨터 인터페이스 성능 예측 방법.
  9. 삭제
  10. 제8항에 있어서,
    알림 출력부에서 상기 휴식 상태 활성 모드로 동작하는 동안, 상기 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 나타나는 연결 강도가 사전에 설정되는 자극 임계 정보 이상으로 예측되는 경우에, 알림을 출력하는 단계를 더 포함하는, 뇌-컴퓨터 인터페이스 성능 예측 방법.
  11. 제8항에 있어서, 수집부에서 상기 뇌 신호를 수집하는 단계는,
    쐐기앞소엽(Prec: Precuneus), 우측 두정엽(rLP: Lateral Parietal Area), 우측 전운동피질(rPMC: Right Premotor Cortex), 좌측 전운동피질(lPMC: Left Premotor Cortex) 및 보조 운동영역(SMA: Supplementary Motor Area) 중 적어도 하나의 영역으로부터 나타나는 뇌 신호를 수집하는, 뇌-컴퓨터 인터페이스 성능 예측 방법.
  12. 제8항에 있어서, 성능 예측부에서 상기 성능 정보를 생성하는 단계는,
    적어도 하나의 뇌 영역에 대한 연결 강도에 따라 선택되는 뇌 연결 모델에서의 연결 강도의 기준치를 나타내는 기준 연결 강도에 대해, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 수집되는 뇌 신호에 따른 연결 강도에 따라 성능 정보를 예측하는, 뇌-컴퓨터 인터페이스 성능 예측 방법.
  13. 제8항에 있어서, 연결 강도 산출부에서 상기 연결 강도를 산출하는 단계는,
    복수개의 뇌 연결 모델에서의 연결 강도를 각각 산출하고, 가장 높은 연결 강도를 나타내는 뇌 연결 모델을 선택하는, 뇌-컴퓨터 인터페이스 성능 예측 방법.
  14. 제8항에 있어서, 연결 강도 산출부에서 상기 연결 강도를 산출하는 단계는,
    상기 뇌 신호로부터 추출되는 주파수 정보가 도달 가능한 임계치를 나타내는 기준 강도에 대해, 복수개의 뇌 영역 중 적어도 하나의 영역으로부터 수집되는 뇌 신호에 따른 주파수 정보의 강도에 따라 연결 강도를 산출하는, 뇌-컴퓨터 인터페이스 성능 예측 방법.

KR1020200018354A 2019-09-20 2020-02-14 뇌 영역 간 연결 강도에 기초하는 뇌-컴퓨터 인터페이스 성능 예측 장치 및 방법 KR102381125B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190116287 2019-09-20
KR1020190116287 2019-09-20

Publications (2)

Publication Number Publication Date
KR20210034457A KR20210034457A (ko) 2021-03-30
KR102381125B1 true KR102381125B1 (ko) 2022-03-31

Family

ID=75265257

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200018354A KR102381125B1 (ko) 2019-09-20 2020-02-14 뇌 영역 간 연결 강도에 기초하는 뇌-컴퓨터 인터페이스 성능 예측 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102381125B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102011126B1 (ko) * 2018-04-30 2019-08-14 고려대학교 산학협력단 뇌 연결성을 이용한 의식 수준 기반의 수면 단계 측정 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102011126B1 (ko) * 2018-04-30 2019-08-14 고려대학교 산학협력단 뇌 연결성을 이용한 의식 수준 기반의 수면 단계 측정 방법 및 장치

Also Published As

Publication number Publication date
KR20210034457A (ko) 2021-03-30

Similar Documents

Publication Publication Date Title
KR101653910B1 (ko) 뇌파 측정 기법에 기초한 대뇌 네트워크 특성 분석을 이용한 뉴로피드백 방법 및 장치
Hashimoto et al. EEG-based classification of imaginary left and right foot movements using beta rebound
WO2007030868A1 (en) Method and system for detecting and classifying facial muscle movements
JP6123167B2 (ja) 脳波解析装置及び脳波解析プログラム
US7756575B2 (en) Apparatus and method of diagnosing health using cumulative data pattern analysis via fast Fourier transformation of brain wave data measured from frontal lobe
EP2730216B1 (en) Biosignal transmitter, biosignal receiver, and biosignal transmitting method
KR101535352B1 (ko) 전두엽 뇌파를 이용한 우울증 심도 측정 방법
KR102043376B1 (ko) 심층 신경망 알고리즘을 이용하는 실시간 스트레스 분석 방법
KR20140054542A (ko) 생체 신호를 측정하는 장치 및 방법
KR102239984B1 (ko) 휴지기 뇌파를 이용한 뇌전증 진단 정보 제공 장치 및 방법
KR102381125B1 (ko) 뇌 영역 간 연결 강도에 기초하는 뇌-컴퓨터 인터페이스 성능 예측 장치 및 방법
KR100958166B1 (ko) 졸음탐지장치 및 방법
KR101577994B1 (ko) 뇌파 신호로부터 동잡음을 제거하는 동잡음 제거 방법
KR102395937B1 (ko) 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법 및 시스템
KR20210034458A (ko) 심층신경망 기반 의식 상태 판단 장치 및 방법
Kong et al. Estimation for driver fatigue with phase locking value
JP2020203032A (ja) 脳症判定プログラム、脳症判定方法および情報処理装置
KR101375673B1 (ko) 간질 발작 경보 방법 및 이를 지원하는 단말기
KR102186916B1 (ko) 생체신호 패턴 분석 방법 및 장치
TWI582727B (zh) 自適性（ａｄａｐｔｉｖｅ）生理反應之參數預測方法及其預測裝置
JP6536617B2 (ja) 脳波解析装置
CN110234272B (zh) 麻醉阶段识别与麻醉深度计算方法及装置
JP4411442B2 (ja) 脳波−運動指令変換装置
KR102452201B1 (ko) 자동 잡음신호 구간 검출 방법 및 장치
JP5592664B2 (ja) 快適性判定装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant