KR20230007139A - Ssvep 기반의 자극 검출 장치 및 그 방법 - Google Patents

Ssvep 기반의 자극 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR20230007139A
KR20230007139A KR1020210088008A KR20210088008A KR20230007139A KR 20230007139 A KR20230007139 A KR 20230007139A KR 1020210088008 A KR1020210088008 A KR 1020210088008A KR 20210088008 A KR20210088008 A KR 20210088008A KR 20230007139 A KR20230007139 A KR 20230007139A
Authority
KR
South Korea
Prior art keywords
stimulus
ssvep
user
calculated
correlation coefficients
Prior art date
Application number
KR1020210088008A
Other languages
English (en)
Inventor
남승규
이태준
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020210088008A priority Critical patent/KR20230007139A/ko
Priority to US17/580,013 priority patent/US11520405B1/en
Publication of KR20230007139A publication Critical patent/KR20230007139A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명은 SSVEP 기반의 자극 검출 장치 및 그 방법에 관한 것으로, 서로 다른 자극 주파수를 가지는 복수의 기준신호와 사용자의 다중채널 EEG 신호 간 상관계수를 기준시간 동안 주기적으로 산출하고, 상기 산출한 각 자극별 복수의 상관계수를 대상으로 공분산 분석을 수행하여 각 자극별 회귀직선의 기울기를 산출하며, 상기 산출한 각 자극별 회귀직선의 기울기 간 다중비교를 통해 사용자가 의도한 자극을 검출함으로써, 사전 학습과정 없이 사용자가 의도한 자극을 신속 정확하게 검출할 수 있는 SSVEP 기반의 자극 검출 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 다중채널의 EEG 신호를 획득하는 센서; 서로 다른 자극 주파수를 가지는 복수의 기준신호를 저장하는 저장부; 및 상기 복수의 기준신호와 상기 다중채널 EEG 신호 간 상관계수를 기준시간 동안 주기적으로 산출하고, 상기 산출한 각 자극별 복수의 상관계수를 정규화하며, 상기 정규화된 각 자극별 복수의 상관계수를 대상으로 공분산 분석을 수행하여 각 자극별 회귀직선의 기울기를 산출하고, 상기 산출한 각 자극별 회귀직선의 기울기에 기초하여 사용자가 의도한 자극을 검출하는 제어부를 포함할 수 있다.

Description

SSVEP 기반의 자극 검출 장치 및 그 방법{APPARATUS FOR DETECTING STIMULUS BASED ON SSVEP AND METHOD THEREOF}
본 발명은 BCI(Brain-Computer Interface) 시스템에서 SSVEP(Steady-State Visual Evoked Potential) 신호를 기반으로 사용자가 의도한 자극(stimulus)을 신속 정확하게 검출하는 기술에 관한 것이다.
일반적으로, EEG(ElectroEncephaloGram) 신호는 사람마다 다르며(Inter-subject variability), 아울러 동일인이라 하더라도 뇌의 상태가 시시각각 변동하기 때문에 시간에 따라 EEG 신호가 달라진다(Inter-trial variability).
BCI 시스템은 높은 인지 정확도와 빠른 인지 속도를 가져야 함은 물론, 사전 학습과정 없이 누구에게나 바로 적용될 수 있어야 하는데, 이를 위해서는 개체 간 변동성(Inter-subject variability) 및 시험 간 변동성(Inter-trial variability) 등과 같은 문제가 해결되어야 한다.
SSVEP는 반복적인 시각 자극(주파수 자극)에 의해 발생하는 뇌파신호로서, 이러한 SSVEP 기반의 BCI 시스템은 사용자가 의도한 자극을 SSVEP 기반으로 검출(사용자의 의도를 인지)하기 위해, 오프라인 분석을 통해 시험마다 고정된 타임 윈도(fixed time window)를 적용한다. 여기서, 타임 윈도는 EEG 신호에서 사용자가 의도한 SSVEP 신호를 검출하는데 필요한 시간(즉, 상기 EEG 신호의 수집 시간)을 나타내며, 상기 타임 윈도가 커질수록 인지(사용자가 의도한 SSVEP 신호의 검출) 정확도가 증가하지만 인지 속도가 감소하고, 상기 타임 윈도가 작아질수록 인지 속도는 증가하지만 인지 정확도가 감소하는 트레이드 오프(Trade-off) 관계가 존재한다.
BCI 시스템에 고정된 타임 윈도가 적용되는 경우, 개체 간 변동성 문제 및 시험 간 변동성 문제를 해결할 수 없는 바, 적응적 타임 윈도(Adaptive Time Window)가 적용되어야 한다.
이러한 적응적 타임 윈도가 적용된 BCI 시스템은 SSVEP 신호의 특성이 사전 정의된 임계치를 초과하는 경우, 상기 SSVEP 신호를 사용자가 의도한 신호로 인지한다. 이때, 동일 사용자의 사전 데이터(subject-specific)나 다른 사용자의 사전 데이터(subject-independent)를 통해 상기 임계치를 추정하기 때문에, 사용자에게 적용하기 위해서는 반드시 사전 학습과정 필요한 문제점이 있다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 서로 다른 자극 주파수를 가지는 복수의 기준신호와 사용자의 다중채널(Multi-Channel) EEG 신호 간 상관계수(CCA Coefficient)를 기준시간 동안 주기적으로 산출하고, 상기 산출한 각 자극(자극 주파수)별 복수의 상관계수를 대상으로 공분산 분석(Analysis of Covariance)을 수행하여 각 자극별 회귀직선의 기울기를 산출하며, 상기 산출한 각 자극별 회귀직선의 기울기 간 다중비교(Muitiple comparison)를 통해 사용자가 의도한 자극을 검출함으로써, 사전 학습과정 없이 사용자가 의도한 자극을 신속 정확하게 검출할 수 있는 SSVEP 기반의 자극 검출 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 장치는, 다중채널의 EEG 신호를 획득하는 센서; 서로 다른 자극 주파수를 가지는 복수의 기준신호를 저장하는 저장부; 및 상기 복수의 기준신호와 상기 다중채널 EEG 신호 간 상관계수를 기준시간 동안 주기적으로 산출하고, 상기 산출한 각 자극별 복수의 상관계수를 정규화하며, 상기 정규화된 각 자극별 복수의 상관계수를 대상으로 공분산 분석을 수행하여 각 자극별 회귀직선의 기울기를 산출하고, 상기 산출한 각 자극별 회귀직선의 기울기에 기초하여 사용자가 의도한 자극을 검출하는 제어부를 포함할 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 상기 산출한 각 자극별 회귀직선의 기울기 중에서 가장 큰 기울기를 기준으로, 나머지 각 기울기와의 차이에 대한 유의확률을 산출하고, 상기 유의확률이 모두 유의수준을 만족하는 경우, 상기 복수의 상관계수 중에서 가장 큰 상관계수에 상응하는 자극을 사용자가 의도한 자극으로서 검출할 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 상기 산출한 각 자극별 회귀직선의 기울기 중에서 가장 큰 기울기를 기준으로, 나머지 각 기울기와의 차이에 대한 유의확률을 산출하고, 상기 유의확률이 모두 유의수준을 만족하지 않는 경우, 상기 복수의 기준신호와 상기 다중채널 EEG 신호 간 상관계수를 추가 산출하여 누적할 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 상기 산출한 각 자극별 복수의 상관계수를 대상으로 소프트맥스(softmax)를 통해 정규화할 수 있다.
본 발명의 일 실시예에서, 상기 상관계수는 CCA(Canonical Correlation Analysis) 계수일 수 있다.
본 발명의 일 실시예에서, 상기 다중채널의 EEG 신호는 SSVEP(Steady-State Visual Evoked Potential)에 의해 유발될 수 있다.
본 발명의 일 실시예에서, 상기 제어부는 상기 정규화된 각 자극별 복수의 상관계수를 기반으로 사용자의 명령 입력시점을 판단해 낼 수 있다.
본 발명의 일 실시예에는, 상기 사용자가 의도한 자극을 디스플레이하는 표시부를 더 포함할 수 있다.
본 발명의 일 실시예에서, 상기 상관계수는 FBCCA(Filter Bank Canonical Correlation Analysis) 계수, TRCA(Task-Related Component Analysis) 계수 중 어느 하나일 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 방법은, 제어부가 서로 다른 자극 주파수를 가지는 복수의 기준신호와 사용자의 다중채널의 EEG 신호 간 상관계수를 기준시간 동안 주기적으로 산출하는 단계; 상기 제어부가 상기 산출한 각 자극별 복수의 상관계수를 정규화하는 단계; 상기 제어부가 상기 정규화된 각 자극별 복수의 상관계수를 대상으로 공분산 분석을 수행하여 각 자극별 회귀직선의 기울기를 산출하는 단계; 및 상기 제어부가 상기 산출한 각 자극별 회귀직선의 기울기에 기초하여 사용자가 의도한 자극을 검출하는 단계를 포함할 수 있다.
본 발명의 일 실시예는, 상기 산출한 각 자극별 회귀직선의 기울기 중에서 가장 큰 기울기를 기준으로, 나머지 각 기울기와의 차이에 대한 유의확률을 산출하는 단계; 상기 유의확률이 모두 유의수준을 만족하는 경우, 상기 복수의 상관계수 중에서 가장 큰 상관계수에 상응하는 자극을 사용자가 의도한 자극으로 검출하는 단계; 및 상기 유의확률이 모두 유의수준을 만족하지 않는 경우, 상기 복수의 기준신호와 상기 다중채널 EEG 신호 간 상관계수를 추가 산출하여 누적하는 단계를 포함할 수 있다.
본 발명의 일 실시예는, 상기 정규화하는 단계는 상기 산출한 각 자극별 복수의 상관계수를 대상으로 소프트맥스(softmax)를 통해 정규화하는 단계를 포함할 수 있다.
상기와 같은 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 장치 및 그 방법은, 서로 다른 자극 주파수를 가지는 복수의 기준신호와 사용자의 다중채널(Multi-Channel) EEG 신호 간 상관계수(CCA Coefficient)를 기준시간 동안 주기적으로 산출하고, 상기 산출한 각 자극(자극 주파수)별 복수의 상관계수를 대상으로 공분산 분석(Analysis of Covariance)을 수행하여 각 자극별 회귀직선의 기울기를 산출하며, 상기 산출한 각 자극별 회귀직선의 기울기 간 다중비교(Muitiple comparison)를 통해 사용자가 의도한 자극을 검출함으로써, 사전 학습과정 없이 사용자가 의도한 자극을 신속 정확하게 검출할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 장치가 적용되는 BCI 시스템의 일예시도,
도 2 는 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 장치에 대한 구성도,
도 3 은 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 장치에 구비된 제어부가 상관계수를 산출하는 과정을 나타내는 일예시도,
도 4 는 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 장치에 구비된 제어부가 산출한 정규화된 CCA 계수에 대한 일예시도,
도 5 는 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 방법에 대한 흐름도,
도 6 은 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 은 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 장치가 적용되는 BCI 시스템의 일예시도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 장치가 적용되는 BCI 시스템은, 자극 검출장치(100), SSVEP(Steady-State Visual Evoked Potential) 발생기(200), 및 외부 장치(External devices, 300)를 포함할 수 있다.
상기 각 구성요소들에 대해 살펴보면, 먼저 자극 검출장치(100)는 본 발명의 핵심 요지로서, 서로 다른 자극 주파수를 가지는 복수의 기준신호와 사용자의 다중채널(Multi-Channel) EEG 신호 간 상관계수(CCA Coefficient)를 기준시간 동안 주기적으로 산출하고, 상기 산출한 각 자극(자극 주파수)별 복수의 상관계수를 대상으로 공분산 분석(Analysis of Covariance)을 수행하여 각 자극별 회귀직선의 기울기를 산출하며, 상기 산출한 각 자극별 회귀직선의 기울기 간 다중비교(Muitiple comparison)를 통해 사용자가 의도한 자극을 검출할 수 있다. 여기서, 다중비교는 상기 산출한 각 자극별 회귀직선의 기울기 중에서 가장 큰 기울기를 기준으로, 나머지 각 기울기와의 차이에 대한 유의확률(P-value)을 각각 산출하는 과정을 의미한다.
일례로, 제1 자극, 제2 자극, 제3 자극의 순서로 기울기가 큰 경우, 자극 검출장치(100)는 제1 자극의 기울기와 제2 자극의 기울기 간 제1 유의확률을 산출하고, 제1 자극의 기울기와 제3 자극의 기울기 간 제2 유의 확률을 산출할 수 있다.
자극 검출장치(100)는 다중비교를 통해 산출한 각 유의확률이 모두 유의수준(significance level)을 만족(유의확률<유의수준)하는 경우, 통계적으로 유의미한 차이(statistically significant difference)가 있다고 판단하여, 상기 복수의 상관계수 중에서 가장 큰 상관계수에 상응하는 자극을 사용자가 의도한 자극으로서 검출할 수 있다. 여기서, 상기 유의수준(significance level)은 일례로 0.05, 0.01, 0.001 중 어느 하나로 설정될 수 있다.
SSVEP 발생기(200)는 사용자에게 외부 장치(300)에 대한 제어 명령에 상응하는 시각적 자극을 주고, 사용자가 상기 시각적 자극에 상응하는 뇌파를 포함하는 EEG 신호를 생성하도록 유도한다. 예를 들어, 사용자가 전진방향의 화살표를 주시하면, 사용자의 EEG 신호에는 전진방향에 상응하는 뇌파가 포함된다. 따라서, 자극 검출장치(100)는 사용자의 EEG 신호에서 전진방향의 화살표에 상응하는 뇌파를 검출해 낼 수 있다.
외부 장치(300)는 퍼스널 모빌리티(Personal mobility)를 포함할 수 있으며, 일례로 휠 체어(wheelchair), 보행 보조기(Exoskeleton) 등을 포함할 수 있다.
도 2 는 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 장치에 대한 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 장치(100)는, 저장부(10), EEG 신호 획득부(20), 표시부(30), 및 제어부(Controller, 40)를 포함할 수 있다. 이때, 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 장치(100)를 실시하는 방식에 따라 각 구성요소는 서로 결합되어 하나로 구현될 수도 있고, 일부의 구성요소가 생략될 수도 있다.
상기 각 구성요소들에 대해 살펴보면, 먼저 저장부(10)는 서로 다른 자극 주파수를 가지는 복수의 기준신호와 사용자의 다중채널(Multi-Channel) EEG 신호 간 상관계수(CCA Coefficient)를 기준시간 동안 주기적으로 산출하고, 상기 산출한 각 자극(자극 주파수)별 복수의 상관계수를 대상으로 공분산 분석(Analysis of Covariance)을 수행하여 각 자극별 회귀직선의 기울기를 산출하며, 상기 산출한 각 자극별 회귀직선의 기울기 간 다중비교(Muitiple comparison)를 통해 사용자가 의도한 자극을 검출하는 과정에서 요구되는 각종 로직과 알고리즘 및 프로그램을 저장할 수 있다.
저장부(10)는 사용자가 의도한 자극을 검출하는 과정을 수행하는 최대시간으로서 임계시간(일례로, 4초)을 설정할 수 있다. 이러한 임계시간은 사용자가 의도한 자극을 검출할 수 있는 상태와 사용자가 의도한 자극을 검출할 수 없는 상태를 구분하는 기준점이 될 수 있다.
저장부(10)는 사용자가 의도한 자극에 대한 검출을 시도하기까지 소요되는 시간으로서 기준시간(일례로, 0.5초)을 저장할 수 있다. 즉, 기준시간은 사용자가 의도한 자극에 대한 검출을 시작하는 시간을 의미한다. 이러한 기준시간은 사용자가 의도한 자극을 검출하는데 이용되는 최소한의 EEG 신호를 수집하는데 소요되는 시간을 의미할 수 있다. 결국, 기준시간 동안 수집된 EEG 신호에 기초하여 사용자가 의도한 자극을 검출한다.
저장부(10)는 기준시간 동안 수집된 EEG 신호에 기초하여 사용자가 의도한 자극을 검출하지 못한 경우, 기준시간을 증가시키기 위한 설정시간(일례로, 0.1초)을 저장할 수 있다. 이러한 설정시간(
Figure pat00001
)은 기준시간에 합해질 수 있으며, 이렇게 기준시간에 설정시간을 합하는 과정은 상기 임계시간을 초과하지 않는 범위 내에서 반복 수행될 수 있다. 이때, 설정시간은 CCA의 수행 주기를 의미한다.
저장부(10)는 서로 다른 자극 주파수(f1, f2, …, fk)를 가지는 복수의 기준신호(Yf1, Yf2, …, Yfk)를 저장할 수 있다.
저장부(10)는 CCA(Canonical Correlation Analysis) 알고리즘과 공분산 분석(Analysis of Covariance) 알고리즘을 저장할 수 있다.
저장부(10)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.
EEG 신호 획득부(20)는 SSVEP 발생기(200)에 의해 발생된 다중채널의 EEG 신호를 획득할 수 있다. 이러한 EEG 신호 획득부(20)는 센서로 구현될 수 있다.
표시부(30)는 제어부(40)에 의해 검출된 사용자가 의도한 자극(제어 명령)을 사용자가 확인할 수 있도록 디스플레이할 수 있다.
제어부(40)는 상기 각 구성요소들이 제 기능을 정상적으로 수행할 수 있도록 전반적인 제어를 수행할 수 있다. 이러한 제어부(40)는 하드웨어의 형태로 구현되거나, 또는 소프트웨어의 형태로 구현되거나, 또는 하드웨어 및 소프트웨어가 결합된 형태로 구현될 수 있다. 바람직하게는, 제어부(40)는 마이크로프로세서로 구현될 수 있으나 이에 한정되는 것은 아니다.
특히, 제어부(40)는 서로 다른 자극 주파수를 가지는 복수의 기준신호와 사용자의 다중채널(Multi-Channel) EEG 신호 간 상관계수(CCA Coefficient)를 기준시간 동안 주기적으로 산출하고, 상기 산출한 각 자극(자극 주파수)별 복수의 상관계수를 대상으로 공분산 분석(Analysis of Covariance)을 수행하여 각 자극별 회귀직선의 기울기를 산출하며, 상기 산출한 각 자극별 회귀직선의 기울기 간 다중비교(Muitiple comparison)를 수행하고, 상기 다중비교의 결과에 기초하여 사용자가 의도한 자극을 검출하는 과정에서 각종 제어를 수행할 수 있다.
일례로, 제어부(40)는 상기 산출한 각 자극별 회귀직선의 기울기 중에서 가장 큰 기울기를 기준으로, 나머지 각 기울기와의 차이에 대한 유의확률(P-value)을 산출하고, 상기 산출한 각 유의확률이 모두 유의수준(significance level)을 만족(유의확률<유의수준)하는 경우, 통계적으로 유의미한 차이(statistically significant difference)가 있다고 판단하여, 상기 복수의 상관계수 중에서 가장 큰 상관계수에 상응하는 자극을 사용자가 의도한 자극으로서 검출할 수 있다.
이하, 도 3 내지 도 4를 참조하여 제어부(40)의 동작에 대해 상세히 살펴보기로 한다.
도 3 은 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 장치에 구비된 제어부가 상관계수를 산출하는 과정을 나타내는 일예시도이다.
도 3에 도시된 바와 같이, 제어부(40)는 저장부(10)에 저장되어 있는 서로 다른 자극 주파수(f1, f2, …, fk)를 가지는 복수의 기준신호(Yf1, Yf2, …, Yfk)와, EEG 신호 획득부(20)를 통해 획득한 사용자의 다중채널 EEG 신호(X) 간 상관계수를 산출한다.
즉, 제어부(40)는 제1 자극 주파수(f1)를 가지는 기준신호(Yf1)와 다중채널 EEG 신호(X)를 기반으로 CCA를 수행하여 상관계수(
Figure pat00002
)를 산출하고, 제2 자극 주파수(f2)를 가지는 기준신호(Yf2)와 다중채널 EEG 신호(X)를 기반으로 CCA를 수행하여 상관계수(
Figure pat00003
)를 산출하며, 제k 자극 주파수(fk)를 가지는 기준신호(Yfk)와 다중채널 EEG 신호(X)를 기반으로 CCA를 수행하여 상관계수(
Figure pat00004
)를 산출한다.
이후, 제어부(40)는 상기 산출한 상관계수를 대상으로 소프트맥스(softmax) 알고리즘을 수행하여 정규화(normalization)한다. 즉, 제어부(40)는 상관계수(
Figure pat00005
,
Figure pat00006
,
Figure pat00007
)에 소프트맥스를 적용하여 정규화된 CCA 계수(
Figure pat00008
,
Figure pat00009
,
Figure pat00010
)를 산출한다.
도 4 는 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 장치에 구비된 제어부가 산출한 정규화된 CCA 계수에 대한 일예시도이다.
도 4에서, 세로축은 정규화된 CCA 계수의 값을 나타내고, 가로축은 시간을 나타낸다. 초기 0.5초까지는 각 자극별 정규화된 CCA 계수의 차이가 크지 않지만, 시간이 증가할수록 그 차이가 커지는 것을 알 수 있다.
따라서, 초기 0.5초까지의 각 자극별 정규화된 CCA 계수를 대상으로 공분산 분석을 수행하여 각 자극별 회귀직선의 기울기를 산출한 경우에는, 각 자극별 회귀직선의 기울기 간의 차이가 크지 않다.
그러나, 1초까지의 각 자극별 정규화된 CCA 계수를 대상으로 공분산 분석을 수행하여 각 자극별 회귀직선의 기울기를 산출한 경우에는, 사용자가 의도한 자극이 "410"이라는 것을 인지할 수 있을 정도로 각 자극별 회귀직선의 기울기 간의 차이가 커진다.
결국, 초기 타임 윈도(기준시간)를 0.5초로 설정하게 되면 사용자가 의도한 자극을 검출하는데 수차례의 설정시간이 요구될 수 있지만, 초기 타임 윈도를 1초로 설정하게 되면 추가 설정시간 없이 곧바로 사용자가 의도한 자극을 검출할 수 있다. 여기서, 타임 윈도는 사용자의 상태에 따라 적응적으로 변경되는 것을 알 수 있다. 즉, 사용자의 상태에 따라 사용자가 의도한 자극을 검출하는데 소요되는 시간이 짧을수도 또는 길수도 있지만, 그 어느 경우에 있어서도 자극의 검출 정확도는 모두 높다.
한편, 제어부(40)는 도 4에 도시된 바와 같은 각 자극에 대한 정규화된 CCA 계수를 기반으로, 사용자의 명령 입력시점을 판단해 낼 수 있다. 일반적으로, BCI 시스템이 사용자의 명령 입력시점을 판단할 수 있도록 사용자는 입력을 알리는 자극을 주시하여야 한다. 사용자는 명령을 입력할 때마다 입력을 알리는 자극을 주시해야 하는 바 불편함이 따른다. 결국, 제어부(40)는 BCI의 사용 시작을 표시하는 마커 또는 트리거 없이, 각 자극에 대한 정규화된 CCA 계수를 기반으로 사용자의 명령 입력시점을 판단해 낼 수 있다.
도 5 는 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 방법에 대한 흐름도로서, 제어부(40)에 의해 수행된다.
먼저, 제어부(40)는 설정시간(일례로, 0.1초) 동안 EEG 신호를 획득한다(501). 이때, 설정시간은 CCA(Canonical Correlation Analysis)를 수행하기 위해 필요한 최소한의 EEG 신호를 획득하는데 소요되는 시간을 의미한다.
이후, 제어부(40)는 서로 다른 자극 주파수를 가지는 복수의 기준신호와 사용자의 다중채널 EEG 신호를 대상으로 CCA를 수행하여 각 자극별 CCA 계수를 산출한다(502).
이후, 제어부(40)는 상기 각 자극별 CCA 계수를 대상으로 소프트맥스(softmax)를 수행하여 정규화(normalization)한다.
이후, 제어부(40)는 각 자극별 정규화된 CCA 계수를 누적한다(504).
이후, 제어부(40)는 로직을 시작한 이후로 임계시간(일례로, 4초)을 초과하였는지 판단한다(505).
상기 판단결과(505), 상기 임계시간을 초과하지 않았으면 "506" 과정으로 진행하고, 상기 임계시간을 초과했으면 "510" 과정으로 진행한다.
이후, 제어부(40)는 로직을 시작한 이후로 기준시간(일례로, 0.5초)을 초과하였는지 판단한다(506).
상기 판단결과(506), 상기 기준시간을 초과하지 않았으면 "501" 과정으로 진행하고, 상기 기준시간을 초과했으면 각 자극별 정규화된 CCA 계수를 기반으로 공분산 분석을 수행하여 각 자극별 회귀직선의 기울기를 산출한다(507).
이후, 제어부(40)는 다중비교를 수행한다(508). 즉, 제어부(40)는 상기 산출한 각 자극별 회귀직선의 기울기 중에서 가장 큰 기울기를 기준으로, 나머지 각 기울기와의 차이에 대한 유의확률을 각각 산출한다.
이후, 제어부(40)는 상기 유의확률이 모두 유의수준을 만족하는지 판단한다(509).
상기 판단결과(509), 상기 유의확률이 모두 유의수준을 만족하지 않으면 "501" 과정으로 진행하고, 상기 유의확률이 모두 유의수준을 만족하면 상기 정규화된 CCA 계수 중에서 가장 큰 CCA 계수에 상응하는 자극을 사용자가 의도한 자극으로서 검출한다(510).
본 발명의 일 실시예에서는 트레이닝이 필요없는(zero-training) CCA 방식을 예로 들어 설명하였으나, 개체에 독립적인(subject-independent) FBCCA(Filter Bank Canonical Correlation Analysis) 방식, 또는 개체에 종속적인(subject-dependent) TRCA(Task-Related Component Analysis) 방식 등을 이용할 수도 있다.
이때, 본 발명의 다른 실시예로서 FBCCA 방식을 이용하는 경우, "502" 과정은 "제어부(40)는 서로 다른 자극 주파수를 가지는 복수의 기준신호와 사용자의 다중채널 EEG 신호를 대상으로 FBCCA를 수행하여 각 자극별 FBCCA 계수를 산출한다(502)."로 대체될 수 있다.
또한, 본 발명의 또 다른 실시예로서 TRCA 방식을 이용하는 경우, "502" 과정은 "제어부(40)는 서로 다른 자극 주파수를 가지는 복수의 기준신호와 사용자의 다중채널 EEG 신호를 대상으로 TRCA를 수행하여 각 자극별 TRCA 계수를 산출한다(502)."로 대체될 수 있다.
도 6 은 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
도 6을 참조하면, 상술한 본 발명의 일 실시예에 따른 SSVEP 기반의 자극 검출 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory, 1310) 및 RAM(Random Access Memory, 1320)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, SSD(Solid State Drive), 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 저장부
20: EEG 신호 획득부
30: 표시부
40: 제어부

Claims (16)

  1. 다중채널의 EEG 신호를 획득하는 센서;
    서로 다른 자극 주파수를 가지는 복수의 기준신호를 저장하는 저장부; 및
    상기 복수의 기준신호와 상기 다중채널 EEG 신호 간 상관계수를 기준시간 동안 주기적으로 산출하고, 상기 산출한 각 자극별 복수의 상관계수를 정규화하며, 상기 정규화된 각 자극별 복수의 상관계수를 대상으로 공분산 분석을 수행하여 각 자극별 회귀직선의 기울기를 산출하고, 상기 산출한 각 자극별 회귀직선의 기울기에 기초하여 사용자가 의도한 자극을 검출하는 제어부
    를 포함하는 SSVEP 기반의 자극 검출 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 산출한 각 자극별 회귀직선의 기울기 중에서 가장 큰 기울기를 기준으로, 나머지 각 기울기와의 차이에 대한 유의확률을 산출하고, 상기 유의확률이 모두 유의수준을 만족하는 경우, 상기 복수의 상관계수 중에서 가장 큰 상관계수에 상응하는 자극을 사용자가 의도한 자극으로서 검출하는 것을 특징으로 하는 SSVEP 기반의 자극 검출 장치.
  3. 제 2 항에 있어서,
    상기 제어부는,
    상기 산출한 각 자극별 회귀직선의 기울기 중에서 가장 큰 기울기를 기준으로, 나머지 각 기울기와의 차이에 대한 유의확률을 산출하고, 상기 유의확률이 모두 유의수준을 만족하지 않는 경우, 상기 복수의 기준신호와 상기 다중채널 EEG 신호 간 상관계수를 추가 산출하여 누적하는 것을 특징으로 하는 SSVEP 기반의 자극 검출 장치.
  4. 제 1 항에 있어서,
    상기 제어부는,
    상기 산출한 각 자극별 복수의 상관계수를 대상으로 소프트맥스(softmax)를 통해 정규화하는 것을 특징으로 하는 SSVEP 기반의 자극 검출 장치.
  5. 제 1 항에 있어서,
    상기 상관계수는,
    CCA(Canonical Correlation Analysis) 계수인 것을 특징으로 하는 SSVEP 기반의 자극 검출 장치.
  6. 제 1 항에 있어서,
    상기 다중채널의 EEG 신호는,
    SSVEP(Steady-State Visual Evoked Potential)에 의해 유발되는 것을 특징으로 하는 SSVEP 기반의 자극 검출 장치.
  7. 제 1 항에 있어서,
    상기 제어부는,
    상기 정규화된 각 자극별 복수의 상관계수를 기반으로 사용자의 명령 입력시점을 판단해 내는 것을 특징으로 하는 SSVEP 기반의 자극 검출 장치.
  8. 제 1 항에 있어서,
    상기 사용자가 의도한 자극을 디스플레이하는 표시부
    를 더 포함하는 SSVEP 기반의 자극 검출 장치.
  9. 제 1 항에 있어서,
    상기 상관계수는,
    FBCCA(Filter Bank Canonical Correlation Analysis) 계수, TRCA(Task-Related Component Analysis) 계수 중 어느 하나인 것을 특징으로 하는 SSVEP 기반의 자극 검출 장치.
  10. 제어부가 서로 다른 자극 주파수를 가지는 복수의 기준신호와 사용자의 다중채널의 EEG 신호 간 상관계수를 기준시간 동안 주기적으로 산출하는 단계;
    상기 제어부가 상기 산출한 각 자극별 복수의 상관계수를 정규화하는 단계;
    상기 제어부가 상기 정규화된 각 자극별 복수의 상관계수를 대상으로 공분산 분석을 수행하여 각 자극별 회귀직선의 기울기를 산출하는 단계; 및
    상기 제어부가 상기 산출한 각 자극별 회귀직선의 기울기에 기초하여 사용자가 의도한 자극을 검출하는 단계
    를 포함하는 SSVEP 기반의 자극 검출 방법.
  11. 제 10 항에 있어서,
    상기 사용자가 의도한 자극을 검출하는 단계는,
    상기 산출한 각 자극별 회귀직선의 기울기 중에서 가장 큰 기울기를 기준으로, 나머지 각 기울기와의 차이에 대한 유의확률을 산출하는 단계;
    상기 유의확률이 모두 유의수준을 만족하는 경우, 상기 복수의 상관계수 중에서 가장 큰 상관계수에 상응하는 자극을 사용자가 의도한 자극으로 검출하는 단계; 및
    상기 유의확률이 모두 유의수준을 만족하지 않는 경우, 상기 복수의 기준신호와 상기 다중채널 EEG 신호 간 상관계수를 추가 산출하여 누적하는 단계
    를 포함하는 SSVEP 기반의 자극 검출 방법.
  12. 제 10 항에 있어서,
    상기 정규화하는 단계는,
    상기 산출한 각 자극별 복수의 상관계수를 대상으로 소프트맥스(softmax)를 통해 정규화하는 단계
    를 포함하는 SSVEP 기반의 자극 검출 방법.
  13. 제 10 항에 있어서,
    상기 상관계수는,
    CCA(Canonical Correlation Analysis) 계수인 것을 특징으로 하는 SSVEP 기반의 자극 검출 방법.
  14. 제 10 항에 있어서,
    상기 다중채널의 EEG 신호는,
    SSVEP(Steady-State Visual Evoked Potential)에 의해 유발되는 것을 특징으로 하는 SSVEP 기반의 자극 검출 방법.
  15. 제 10 항에 있어서,
    표시부가 상기 사용자가 의도한 자극을 디스플레이하는 단계
    를 더 포함하는 SSVEP 기반의 자극 검출 방법.
  16. 제 10 항에 있어서,
    상기 상관계수는,
    FBCCA(Filter Bank Canonical Correlation Analysis) 계수, TRCA(Task-Related Component Analysis) 계수 중 어느 하나인 것을 특징으로 하는 SSVEP 기반의 자극 검출 방법.
KR1020210088008A 2021-07-05 2021-07-05 Ssvep 기반의 자극 검출 장치 및 그 방법 KR20230007139A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210088008A KR20230007139A (ko) 2021-07-05 2021-07-05 Ssvep 기반의 자극 검출 장치 및 그 방법
US17/580,013 US11520405B1 (en) 2021-07-05 2022-01-20 SSVEP-based stimulus detection device and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210088008A KR20230007139A (ko) 2021-07-05 2021-07-05 Ssvep 기반의 자극 검출 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20230007139A true KR20230007139A (ko) 2023-01-12

Family

ID=84324903

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210088008A KR20230007139A (ko) 2021-07-05 2021-07-05 Ssvep 기반의 자극 검출 장치 및 그 방법

Country Status (2)

Country Link
US (1) US11520405B1 (ko)
KR (1) KR20230007139A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117298448B (zh) * 2023-10-31 2024-04-19 首都医科大学宣武医院 脑电异常捕捉及节律调控方法、系统、设备和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010057658A (ja) 2008-09-03 2010-03-18 Institute Of Physical & Chemical Research 検出装置および方法、並びにプログラム
US8391966B2 (en) 2009-03-16 2013-03-05 Neurosky, Inc. Sensory-evoked potential (SEP) classification/detection in the time domain
JP5711056B2 (ja) 2011-06-21 2015-04-30 アイシン精機株式会社 脳波インターフェースシステム
US11701046B2 (en) * 2016-11-02 2023-07-18 Northeastern University Portable brain and vision diagnostic and therapeutic system
FR3070852B1 (fr) 2017-09-08 2019-09-20 Centre National De La Recherche Scientifique Decodage de l'attention visuelle d'un individu a partir de signaux electroencephalographiques
KR102143900B1 (ko) 2017-09-14 2020-08-12 고려대학교 산학협력단 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법
KR102143910B1 (ko) 2017-09-14 2020-08-12 고려대학교 산학협력단 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법
US11717686B2 (en) * 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
US11478603B2 (en) * 2017-12-31 2022-10-25 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response

Also Published As

Publication number Publication date
US11520405B1 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
US10292613B2 (en) Eyeblink detection device
TWI652628B (zh) 指紋識別方法及電子裝置
US8639320B2 (en) Muscle-activity diagnosis apparatus, method, and program
KR20210047539A (ko) 근전도 신호 기반 사용자 인증 장치 및 인증 방법
EP3232312B1 (en) Method, apparatus and terminal device for setting interrupt threshold for fingerprint identification device
US10268862B2 (en) Fingerprint collection method, fingerprint collector, and terminal
KR20150113700A (ko) 진단 시스템 및 방법
WO2019011072A1 (zh) 虹膜活体检测方法及相关产品
EP3327613A1 (en) Fingerprint entry method, apparatus, and terminal device
Matos et al. Embedded system for individual recognition based on ECG Biometrics
WO2016060620A1 (en) Frame based spike detection module
CN112842362B (zh) 用于植入式电刺激装置的自响应检测参数优化方法及系统
KR20230007139A (ko) Ssvep 기반의 자극 검출 장치 및 그 방법
KR102364933B1 (ko) 시각적 피로발생구간 판단 방법 및 그 장치
CN105389575A (zh) 生物数据的处理方法和装置
JP2019041811A (ja) 判定装置、判定方法及び判定プログラム
JP2018515946A (ja) 指紋検出回路及び電子装置
CN108125678B (zh) 心电信号的方向检测方法、装置及电子设备
KR870009696A (ko) 코로트코프음 인지용 혈압계
KR20160069357A (ko) 각 센서 패드 간의 오프셋 보정을 수행하는 지문 검출 장치 및 이의 구동 방법
CN104905802A (zh) 一种测量注意力的方法和装置
KR20220084472A (ko) 인지 부하를 고려한 정상상태시각유발전위 분류 방법
CN113627238B (zh) 一种基于手部结构振动响应特征的生物识别方法、装置、设备及介质
KR20130097300A (ko) 계층적 뇌파인식 방법 및 시스템
KR102461157B1 (ko) 복수의 채널을 이용한 근육 활동 검출 장치 및 방법