KR102614772B1 - 순차적인 공분산 행렬을 이용한 뇌파 신호 탐지 장치및 방법 - Google Patents
순차적인 공분산 행렬을 이용한 뇌파 신호 탐지 장치및 방법 Download PDFInfo
- Publication number
- KR102614772B1 KR102614772B1 KR1020230083307A KR20230083307A KR102614772B1 KR 102614772 B1 KR102614772 B1 KR 102614772B1 KR 1020230083307 A KR1020230083307 A KR 1020230083307A KR 20230083307 A KR20230083307 A KR 20230083307A KR 102614772 B1 KR102614772 B1 KR 102614772B1
- Authority
- KR
- South Korea
- Prior art keywords
- covariance matrix
- eeg
- eeg signal
- signals
- signal
- Prior art date
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 78
- 210000004556 brain Anatomy 0.000 claims abstract description 49
- 230000000638 stimulation Effects 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 210000001595 mastoid Anatomy 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000004424 eye movement Effects 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/384—Recording apparatus or displays specially adapted therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Power Engineering (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
본 발명은 순차적으로 입력되는 다중 뇌파 신호를 이용하여 순차적으로 공분산 행렬을 구한 후에, 얻어진 공분산 행렬을 접선 공간(tangent space)으로 변환하고, 변환된 공분산 행렬을 벡터화해서, 얻어진 벡터를 입력으로 신경망을 학습함으로써, 입력된 뇌파 신호로부터 목표물을 탐지할 수 있는 기술에 관한 것이다. 이를 위해, 본 발명은 연속적인 자극에 의해 수집된 뇌파 신호로부터 목표물을 탐지하는 방법에 있어서, 전처리부에 의해 뇌파 신호로부터 원하는 신호를 추출하는 전처리 단계; 공분산 행렬 산출부에 의해 전처리된 신호로부터 순차적으로 공분산 행렬을 산출하는 단계; 접선 변환부에 의해 상기 공분산 행렬을 이용하여 접선 공간으로 변환된 행렬을 산출하는 단계; 특징 벡터 추출부에 의해 상기 접선 공간으로 변환된 행렬로부터 특징 벡터를 추출하는 단계; 딥러닝 학습부에 의해 상기 특징 벡터를 이용하여 딥러닝 학습을 수행하는 단계를 포함하는 순차적인 공분산 행렬을 이용한 뇌파 신호 탐지 기술을 제공한다. 따라서, 본 발명에 의하면, 연속 자극에 의한 뇌파 신호를 이용하여 연속적으로 목표물 탐지를 수행할 수 있다.
Description
본 발명은 뇌-컴퓨터 인터페이스(brain-computer interface, 이하 BCI라 함)에 적용 가능한 뇌파(electroencephalogram, EEG) 신호 처리 기술과 관련이 있다.
일반적으로 BCI 센서를 통해 신호를 수집 및 처리를 통해 필요한 응용 기술을 개발하기 위해서는, 적절한 센서와 전치앰프(pre-amp), 신호를 유선 혹은 무선으로 전송하는 장치, BCI센서 공급업체가 제공하는 소프트웨어 등을 사용하여 신호를 수집하고 처리하는 과정을 거친다.
이때, 사용되는 장치 및 소프트웨어는 다른 BCI 센서를 사용할 경우에 서로 호환이 되지 않는 경우가 일반적이다. 따라서, BCI 응용 기술 개발 환경에서는, 대부분 신호를 오프라인으로 저장하고, 그 이후에 저장된 데이터를 사용하는 과정들을 거치고 있다.
이러한 연속적이지 않은 이산적인 신호 수집과 처리 과정은 온라인 데이터를 수집하고 처리하는 기술을 요하는 응용 제품 등에는 쉽게 적용될 수 없는 한계가 있다. 또한, 피험자로부터 신호를 수집할 때 신호 수집 시점을 조절할 수 있는 특별한 기능이 없는 경우가 대부분이어서, 수신호 등에 의해 피험자와의 신호 수집 동기를 인위적으로 맞추고 있다. 이렇게 수집된 신호는 운영자가 추후 눈으로 확인하여 재 처리하는 과정을 거치게 되는데, 이러한 과정도 시간 소요가 많고 운영자에 의한 오류가 발생할 수 있는 확률이 매우 높다.
따라서, 기존의 BCI 신호 수집 과정의 단점을 해결하고, 보다 효율적으로 신호를 원하는 시점에서 원하는 시간만큼 저장 및 처리할 수 있는 기술 개발이 필요한 실정이다.
본 발명의 실시예에서는, 뇌파 신호로부터 순차적인 공분산 행렬을 추정하고, 접선 공간(tangent space)의 공간 변환을 통해 추정된 공분산 행렬을 벡터화함으로써, 연속적인 자극에 의해 수집된 뇌파 신호로부터 목표물을 탐지할 수 있는 뇌파 신호 탐지 기술을 제안하고자 한다.
본 발명의 실시예에서는, 접선 공간으로 변환된 공분산 행렬의 벡터 정보를 입력으로 하여 신경망을 학습함으로써, 입력된 뇌파 신호로부터 목표물을 용이하게 탐지할 수 있는 뇌파 신호 탐지 기술을 제안하고자 한다.
본 발명이 해결하고자 하는 과제는 상기에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재들로부터 본 발명이 속하는 통상의 지식을 가진 자에 의해 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따르면, 뇌파(electroencephalogram) 신호 탐지 장치의 뇌파 신호 탐지 방법에 있어서, 뇌파 측정 장치로부터 순차적으로(sequentially) 입력되는 다중 뇌파 신호에 대한 공분산 행렬(covariance matrix)을 산출하는 단계; 상기 공분산 행렬을 접선 공간으로 변환하는 단계; 상기 접선 공간으로 변환된 공분산 행렬을 벡터화하는 단계; 상기 벡터화된 공분산 행렬을 신경망에 입력하여 학습을 수행하는 단계; 및 상기 학습에 의해 상기 다중 뇌파 신호로부터 목표 영상을 탐지하는 단계;를 포함하는 뇌파 신호 탐지 방법을 제공할 수 있다.
여기서, 상기 공분산 행렬은 상기 다중 뇌파 신호의 기 설정된 뇌파 신호와, 상기 기 설정된 뇌파 신호에 인접하는 전후의 뇌파 신호에 기초하여 상관계수를 계산한 후 산출될 수 있다.
또한, 상기 접선 공간으로 변환된 공분산 행렬은, 수학식 에 의해 산출되고, 상기 G는 공분산 행렬의 평균, 상기 Pi는 i번째 공분산 행렬일 수 있다.
또한, 상기 벡터화하는 단계는 상기 접선 공간으로 변환된 공분산 행렬의 특징 벡터를 추출하는 단계를 포함할 수 있다.
또한, 상기 특징 벡터는 상기 수학식 Yi에서 대각선을 포함한 오른쪽 위 행렬 요소들을 수직으로 지그재그로 배열하여 구성하는 것을 특징으로 할 수 있다.
또한, 상기 학습은 LSTM-AE(long short-term memory auto encoder)에 의해 수행될 수 있다.
또한, 상기 목표 영상을 탐지하는 단계는 입력 벡터와 출력 벡터의 차를 이용하여 목표물을 탐지하는 단계를 포함할 수 있다.
또한, 상기 다중 뇌파 신호를 전처리하는 단계를 더 포함하고, 상기 전처리하는 단계는, 신호 간섭을 줄이는 마스토이드(mastoids) 처리 단계; 뇌파 센서로부터 상기 다중 뇌파 신호에 포함된 눈의 움직임에 의한 신호를 제거하는 단계; 고조파 성분(harmonic signal)을 제거하는 노치 필터링(notch filtering) 단계; 특정 대역 신호를 통과시키는 대역 통과 필터링 단계; 재표본화(resampling) 단계; 자극 록킹(locking) 처리 및 분할 단계; 및 뇌파 신호를 저장하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따르면, 뇌파 측정 장치로부터 순차적으로 입력되는 다중 뇌파 신호에 대한 공분산 행렬을 산출하는 공분산 행렬 산출부; 상기 공분산 행렬을 접선 공간으로 변환하는 접선 공간 변환부; 상기 접선 공간으로 변환된 공분산 행렬을 벡터화하는 특징 벡터 추출부; 상기 벡터화된 공분산 행렬을 신경망에 입력하여 학습을 수행하는 딥러닝 학습부; 및 상기 학습에 의해 상기 다중 뇌파 신호로부터 목표 영상을 탐지하는 목표 영상 탐지부;를 포함하는 뇌파 신호 탐지 장치를 제공할 수 있다.
여기서, 상기 공분산 행렬 산출부는 상기 다중 뇌파 신호의 기 설정된 뇌파 신호와, 상기 기 설정된 뇌파 신호에 인접하는 전후의 뇌파 신호에 기초하여 상관계수를 계산한 후 상기 공분산 행렬을 산출할 수 있다.
또한, 상기 접선 공간으로 변환된 공분산 행렬은, 수학식 에 의해 산출되고, 상기 G는 공분산 행렬의 평균, 상기 Pi는 i번째 공분산 행렬일 수 있다.
또한, 상기 특징 벡터 추출부는 상기 접선 공간으로 변환된 공분산 행렬의 특징 벡터를 추출할 수 있다.
또한, 상기 특징 벡터 추출부는 상기 수학식 Yi에서 대각선을 포함한 오른쪽 위 행렬 요소들을 수직으로 지그재그로 배열하여 상기 특징 벡터를 구성할 수 있다.
또한, 상기 딥러닝 학습부는 LSTM-AE에 의해 학습을 수행할 수 있다.
또한, 상기 목표 영상 탐지부는 벡터와 출력 벡터의 차를 이용하여 상기 목표 영상을 탐지할 수 있다.
또한, 상기 다중 뇌파 신호를 전처리하는 전처리부를 더 포함하고, 상기 전처리부는, 상기 다중 뇌파 신호의 신호 간섭을 줄이는 마스토이드 처리 과정을 수행하고, 상기 마스토이드 처리된 다중 뇌파 신호에 포함된 눈의 움직임에 의한 신호를 제거하며, 노치 필터링을 통해 상기 다중 뇌파 신호의 고조파 성분을 제거하고, 상기 고조파 성분이 제거된 다중 뇌파 신호의 특정 대역 신호를 통과시키며, 상기 특정 대역 신호를 통과시킨 다중 뇌파 신호를 재표본화하고, 상기 재표본화된 다중 뇌파 신호를 자극 록킹 처리 및 분할하며, 상기 분할된 뇌파 신호를 저장할 수 있다.
또한, 상기 장치는, 뇌파 자극 장치에 의해 생성된 동기 신호를 탐지하는 동기 신호 탐지부; 및 상기 동기 신호 탐지부에서 탐지된 동기 신호를 기초로 트리거링 신호를 생성하고, 상기 트리거링 신호를 상기 뇌파 측정 장치로 전송하는 트리거링부;를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 뇌파 신호 탐지 장치의 뇌파 신호 탐지 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고, 상기 방법은, 뇌파 측정 장치로부터 순차적으로 입력되는 다중 뇌파 신호에 대한 공분산 행렬을 산출하는 단계; 상기 공분산 행렬을 접선 공간으로 변환하는 단계; 상기 접선 공간으로 변환된 공분산 행렬을 벡터화하는 단계; 상기 벡터화된 공분산 행렬을 신경망에 입력하여 학습을 수행하는 단계; 및 상기 학습에 의해 상기 다중 뇌파 신호로부터 목표 영상을 탐지하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따르면, 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 뇌파 신호 탐지 장치의 뇌파 신호 탐지 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고, 상기 방법은, 뇌파 측정 장치로부터 순차적으로 입력되는 다중 뇌파 신호에 대한 공분산 행렬을 산출하는 단계; 상기 공분산 행렬을 접선 공간으로 변환하는 단계; 상기 접선 공간으로 변환된 공분산 행렬을 벡터화하는 단계; 상기 벡터화된 공분산 행렬을 신경망에 입력하여 학습을 수행하는 단계; 및 상기 학습에 의해 상기 다중 뇌파 신호로부터 목표 영상을 탐지하는 단계;를 포함할 수 있다.
본 발명의 실시예에 의하면, 기존의 BCI 신호 수집 과정의 단점을 해결하고, 보다 효율적으로 신호를 원하는 시점에서 원하는 시간만큼 저장 및 처리할 수 있게 되어 오프라인뿐만 아니라 온라인 BCI 응용기술을 개발할 수 있다. 구체적으로, 본 발명은 연속 자극에 의한 뇌파 신호를 이용하여 연속적으로 목표물 탐지를 할 수 있으며, 접선 공간으로 변환된 특징을 사용하기 때문에 탐지 성능은 뇌파 신호의 시간에 따른 특성 변화 등과 같은 환경에 크게 영향을 받지 않는다. 아울러, 벡터화된 특징을 사용하기 때문에 고속 훈련이 가능하여 고속 및 저비용으로 탐색기를 구현할 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른 뇌파 신호 탐지 장치를 포함하는 BCI 시스템의 개략적인 기능을 설명하는 블록도이다.
도 2는 도 1의 BCI 시스템의 개념도이다.
도 3은 본 발명의 실시예에 따른 뇌파 신호 탐지 장치, 예컨대 도 1 또는 도 2의 BCI 시스템 내에 포함되는 뇌파 신호 탐지 장치의 기능을 설명하는 블록도이다.
도 4는 본 발명의 실시예에 따른 뇌파 신호 탐지 장치의 뇌파 신호 탐지 과정을 예시적으로 설명하는 도면이다.
도 5는 도 3의 전처리부(110)의 신호 처리 과정을 예시적으로 설명하는 도면이다.
도 6은 도 3의 공분산 행렬 산출부(120)의 공분산 행렬 산출 과정을 예시적으로 설명하는 도면이다.
도 7은 도 3의 딥러닝 학습부(150)의 인공지능 학습 과정을 예시적으로 설명하는 도면이다.
도 2는 도 1의 BCI 시스템의 개념도이다.
도 3은 본 발명의 실시예에 따른 뇌파 신호 탐지 장치, 예컨대 도 1 또는 도 2의 BCI 시스템 내에 포함되는 뇌파 신호 탐지 장치의 기능을 설명하는 블록도이다.
도 4는 본 발명의 실시예에 따른 뇌파 신호 탐지 장치의 뇌파 신호 탐지 과정을 예시적으로 설명하는 도면이다.
도 5는 도 3의 전처리부(110)의 신호 처리 과정을 예시적으로 설명하는 도면이다.
도 6은 도 3의 공분산 행렬 산출부(120)의 공분산 행렬 산출 과정을 예시적으로 설명하는 도면이다.
도 7은 도 3의 딥러닝 학습부(150)의 인공지능 학습 과정을 예시적으로 설명하는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 BCI 시스템에 적용 가능한 뇌파 신호 처리에 관한 것으로, 특히 순차적으로 입력되는 다중 뇌파 신호를 이용하여 순차적으로 공분산 행렬을 구한 후에, 얻어진 공분산 행렬을 접선 공간으로 변환하고, 변환된 공분산 행렬을 벡터화해서, 얻어진 벡터를 입력으로 신경망을 학습함으로써, 입력된 뇌파 신호로부터 목표 영상을 탐지할 수 있는 뇌파 신호 탐지 기술을 제안하고자 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 뇌파 신호 탐지 장치(100)를 포함하는 BCI 시스템(1)의 개략적인 기능을 설명하는 블록도이다.
도 1에 도시한 바와 같이, BCI 시스템(1)은 뇌파 자극 장치(20), 뇌파 측정 장치(30), 통신부(40), 저장부(50) 및 뇌파 신호 탐지 장치(100)를 포함할 수 있다.
뇌파 자극 장치(20)는 시각 등 감각 기관을 통한 자극 행위에 의한 뇌파 신호를 생성하는 한편, 동기 신호를 생성할 수 있다.
뇌파 측정 장치(30)는 뇌파 자극 장치(20)에 의해 발생되는 뇌파 신호들을 수신하여 뇌파 신호 탐지 장치(100)로 전송할 수 있다.
본 발명의 실시예에 따른 뇌파 신호 탐지 장치(100)는 뇌파 측정 장치(30)로부터 순차적으로 입력되는 다중 뇌파 신호에 대한 공분산 행렬을 산출하고, 공분산 행렬을 접선 공간으로 변환하며, 접선 공간으로 변환된 공분산 행렬을 벡터화하고, 벡터화된 공분산 행렬을 신경망에 입력하여 학습을 수행하며, 학습에 의해 다중 뇌파 신호로부터 목표 영상을 탐지할 수 있다.
이러한 뇌파 신호 탐지 장치(100)에는 통신부(40) 및 저장부(50)가 연결될 수 있다. 통신부(40)는 뇌파 측정 장치(30)로부터 제공되는 다중 뇌파 신호를 뇌파 신호 탐지 장치(100)에 실시간으로 제공하고, 저장부(50)는 실시간으로 제공되는 다중 뇌파 신호를 저장하는 역할을 수행할 수 있다.
도 2는 도 1의 BCI 시스템의 개념도이다.
도 2에 도시한 바와 같이, 뇌파 자극 장치(20)는 뇌파를 발생시키기 위해 시각 등 감각 기관을 통한 자극을 줌과 동시에, 동기 신호를 생성하고 생성된 동기 신호를 뇌파 신호 탐지 장치(100)를 포함하는 컴퓨팅 장치(10)로 전송할 수 있다.
뇌파 측정 장치(30)는 뇌파 자극 장치(20)에 의해 발생되는 다중 뇌파 신호를 수신하여 컴퓨팅 장치(10)로 전송할 수 있다.
뇌파 자극 장치(20)는 피험자의 시각적인 자극을 위하여 디스플레이 장치(60)에 복수의 영상을 표시해 줄 수 있으며, 특정 주파수 대역의 영상을 출력할 수 있다. 이러한 복수의 영상에는 뇌파 측정 장치(30)에 의해 탐지하고자 하는 탐지 영상과 비탐지 영상이 혼합되어 포함될 수 있다.
뇌파 신호 탐지 장치(100)를 포함하는 컴퓨팅 장치(10)에는 동기 신호 탐지부(12)가 더 포함될 수 있으며, 이러한 동기 신호 탐지부(12)에는 트리거링부(14)가 연결될 수 있다.
동기 신호 탐지부(12)는 뇌파 자극 장치(20)에서 생성되는 동기 신호를 탐지하는 역할을 하며, 트리거링부(14)에서는 동기 신호 탐지부(12)에서 탐지된 동기 신호를 기초로 트리거링 신호를 생성하고, 생성되는 트리거링 신호를 뇌파 측정 장치(30)로 전송할 수 있다.
컴퓨팅 장치(10)로 전송되는 데이터들은 통신부(40)를 통해 전달되어 실시간으로 저장부(50)에 저장될 수 있다. 뇌파 신호 탐지 장치(100)는 저장부(50)에 저장된 데이터들을 실시간으로 처리하고, 그 처리 결과가 디스플레이 장치(60)에 표시되도록 디스플레이 장치(60)를 제어할 수 있다.
여기서, 통신부(40)는, 예를 들어 TCP/IP(transmission control protocol/internet protocol) 통신 장치를 포함할 수 있으며, 특정 통신 장치에 국한될 필요는 없다. 또한, 저장부(50)는, 예를 들어 하드디스크(hard disk drive), SSD(solid state drive) 등의 비휘발성 기록매체를 포함할 수 있으며, 특정 기록매체에 국한될 필요는 없다.
도 3은 본 발명의 실시예에 따른 뇌파 신호 탐지 장치, 예컨대 도 1 또는 도 2의 BCI 시스템(1) 내에 포함되는 뇌파 신호 탐지 장치(100)의 기능을 설명하는 블록도이다.
도 3에 도시한 바와 같이, 뇌파 신호 탐지 장치(100)는, 전처리부(110), 공분산 행렬 산출부(120), 접선 공간 변환부(130), 특징 벡터 추출부(140), 딥러닝 학습부(150) 및 목표 영상 탐지부(160)를 포함할 수 있다.
도 3에 도시한 바와 같이, 전처리부(110)는 다중 뇌파 신호를 전처리하는 역할을 수행할 수 있다.
공분산 행렬 산출부(120)는 전처리부(110)에서 전처리된 다중 뇌파 신호에 대한 공분산 행렬을 산출할 수 있다.
접선 공간 변환부(130)는 공분산 행렬 산출부(120)에서 산출된 공분산 행렬을 접선 공간으로 변환할 수 있다.
특징 벡터 추출부(140)는 접선 공간 변환부(130)를 통해 접선 공간으로 변환된 공분산 행렬을 벡터화하는 역할을 수행할 수 있다. 예를 들어, 특징 벡터 추출부(140)는 접선 공간으로 변환된 공분산 행렬의 특징 벡터를 추출할 수 있다.
딥러닝 학습부(150)는 특징 벡터 추출부(140)를 통해 벡터화된 공분산 행렬을 신경망에 입력하여 학습을 수행할 수 있다. 이러한 딥러닝 학습부(150)는, 예를 들어 LSTM-AE(long short-term memory auto encoder)를 포함할 수 있다.
목표 영상 탐지부(160)는 딥러닝 학습부(150)의 학습을 기초로 다중 뇌파 신호로부터 목표 영상을 탐지할 수 있다.
이하, 상술한 구성과 함께, 본 발명의 실시예에 따른 뇌파 신호 탐지 방법을, 첨부하는 도 4 내지 도 7을 참조하여 보다 구체적으로 설명하기로 한다.
먼저, 도 4는 본 발명의 실시예에 따른 뇌파 신호 탐지 장치(100)의 뇌파 신호 탐지 과정을 예시적으로 설명하는 도면이다.
도 4에 도시한 바와 같이, 뇌파 신호 탐지 장치(100)의 전처리부(110)는 연속적인 자극에 의해 수신되는 다중 뇌파 신호로부터 원하는 신호를 추출하는 전처리 과정을 수행할 수 있다(S100).
이러한 전처리 과정(S100)은 도 5에 보다 상세히 도시된다.
도 5를 참조하면, 전처리부(110)는, 다중 뇌파 신호를 입력 받는 단계(S200), 입력되는 다중 뇌파 신호의 신호 간섭을 줄이는 마스토이드(mastoids) 처리 과정을 수행하는 단계(S202), 마스토이드 처리된 다중 뇌파 신호에 포함된 눈의 움직임에 의한 신호를 제거하는 단계(S204), 노치 필터링(notch filtering)을 통해 다중 뇌파 신호의 고조파 성분을 제거하는 단계(S206), 고조파 성분이 제거된 다중 뇌파 신호의 특정 대역 신호를 통과시키는 단계(S208), 특정 대역 신호를 통과시킨 다중 뇌파 신호를 재표본화(resampling)하는 단계(S210), 재표본화된 다중 뇌파 신호를 자극 록킹(stimulus locking) 처리 및 분할하는 단계(S212, S214), 분할된 뇌파 신호를 저장하는 단계(S216)를 포함할 수 있다.
다시 도 4를 참조하면, 공분산 행렬 산출부(120)에서는 전처리부(100)에서 전처리된 다중 뇌파 신호를 이용하여 공분산 행렬을 산출할 수 있다(S102). 구체적으로, 공분산 행렬 산출부(120)는 순차적으로 발생되는 3개의 뇌파 신호의 크기(Xi-1, Xi, Xi+1)를 이용하여 각각의 상관계수를 계산할 수 있다.
즉, 도 5에 예시한 바와 같이, 공분산 행렬 산출부(120)는 다중 뇌파 신호의 뇌파 신호(Xi)와, 뇌파 신호(Xi)에 인접하는 전후의 뇌파 신호(Xi-1, Xi+1)에 기초하여 상관계수를 계산하고, 이를 기초로 공분산 행렬을 산출할 수 있다.
예를 들어, 뇌파 신호(Xi-1)와 뇌파 신호(Xi)의 상관계수()는 아래 [수학식 1]로 표현될 수 있다.
[수학식 1]에서 n은 사용환경에 따라 적절히 설정될 수 있으며, μ는 n개의 Xi의 평균을 의미한다.
공분산 행렬 산출부(120)는 각각 계산된 상관계수를 이용하여 공분산 행렬을 생성한다. 예를 들어, 공분산 행렬은 아래 [수학식 2]와 같이 생성될 수 있다.
여기서, 는 시간적 전과 후 신호간 상관관계를 나타내며, Pi는 로서, 공간적 상관관계를 나타낼 수 있다.
접선 공간 변환부(130)는 공분산 행렬 산출부(120)에 의해 산출된 공분산 행렬을 접선 공간으로 변환하여 접선 공간으로 변환된 공분산 행렬을 산출할 수 있다(S104). 예를 들어, 접선 공간으로 변환된 공분산 행렬 Yi는 다음 [수학식 3]과 같이 구해질 수 있다.
[수학식 3]에서 G는 저장부에 저장된 공분산 행렬의 평균을 나타낸다.
특징 벡터 추출부(140)는 접선 변환된 공분산 행렬을 이용하여 특징 벡터를 추출할 수 있다(S106). 이때, 대각선을 중심으로 상부 요소 및 우측 요소(대각선 요소 포함)들을 이용하여 특징 벡터를 추출할 수 있으며, 수직으로 지그재그 방향으로 특징 벡터를 추출할 수 있다.
이때, 대각 성분을 제외한 각 요소에 를 곱할 수 있다.
예를 들어, 접선 공간으로 변환된 공분산 행렬이 아래 [수학식 4]로 가정하면,
특징 벡터 추출부(140)는 특징 벡터를 아래 [수학식 5]와 같이 추출할 수 있다.
딥러닝 학습부(150)는 특징 벡터 추출부(140)에서 추출된 특징 벡터를 이용하여 인공 지능 학습을 수행할 수 있다(S108).
도 7은 이러한 딥러닝 학습부(150)의 인공지능 학습 과정을 예시적으로 설명하는 도면이다.
도 7을 참조하면, 딥러닝 학습부(150)에서는, 예를 들어 비지도 학습 방법인 LSTM-AE를 이용하여 인공지능 학습을 수행할 수 있다. 이러한 딥러닝 학습부(150)의 학습 방법은 예시적인 것이며, 특정 학습 방법에 국한될 필요는 없다.
특징 벡터 추출부(140)에 의해 추출된 특징 벡터는 입력 벡터로서 우선 128단의 LSTM에 입력되고, 이 출력은 다시 64단의 LSTM에 입력으로, 이 출력은 16단의 LSTM에 입력으로 사용되는 인코팅 과정을 거칠 수 있다.
디코딩 과정은 인코딩 과정의 역순, 즉, 16단, 64단, 128단 LSTM으로 구성될 수 있다.
목표 영상 탐지부(160)는 입력 벡터와 LSTM-AE의 출력 벡터의 차를 이용하여 목표 영상을 탐지할 수 있다.
예를 들어, 도 6에서 입력 벡터와 출력 벡터의 차가 설정값 이상이면 목표 영상 탐지부(160)는 Xi를 탐지 영상으로 판별하고, 설정값 미만이면 Xi를 비탐지 영상으로 판별할 수 있다.
이러한 결과들은 디스플레이 장치(60)에 실시간으로 표시될 수 있다.
한편, 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체(또는 메모리) 등에 저장되는 것도 가능하므로, 그 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체(또는 메모리)에 저장된 인스트럭션들은 블록도의 각 블록에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고, 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 적어도 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
1: BCI 시스템
10: 컴퓨팅 장치
12: 동기 신호 탐지부
14: 트리거링부
20: 뇌파 자극 장치
30: 뇌파 측정 장치
32: 전극
34: 데이터 수집 모듈
40: 통신부
50: 저장부
60: 디스플레이 장치
100: 뇌파 신호 탐지 장치
110: 전처리부
120: 공분산 행렬 산출부
130: 접선 공간 변환부
140: 특징 벡터 추출부
150: 딥러닝 학습부
160: 목표 영상 탐지부
10: 컴퓨팅 장치
12: 동기 신호 탐지부
14: 트리거링부
20: 뇌파 자극 장치
30: 뇌파 측정 장치
32: 전극
34: 데이터 수집 모듈
40: 통신부
50: 저장부
60: 디스플레이 장치
100: 뇌파 신호 탐지 장치
110: 전처리부
120: 공분산 행렬 산출부
130: 접선 공간 변환부
140: 특징 벡터 추출부
150: 딥러닝 학습부
160: 목표 영상 탐지부
Claims (19)
- 뇌파(electroencephalogram) 신호 탐지 장치의 뇌파 신호 탐지 방법에 있어서,
뇌파 측정 장치로부터 연속 자극에 의해 순차적으로(sequentially) 입력되는 다중 뇌파 신호에 대한 공분산 행렬(covariance matrix)을 산출하는 단계;
상기 공분산 행렬을 접선 공간(tangent space)으로 변환하는 단계;
상기 접선 공간으로 변환된 공분산 행렬을 벡터화하는 단계;
상기 벡터화된 공분산 행렬을 신경망에 입력하여 학습을 수행하는 단계; 및
상기 학습에 의해 상기 다중 뇌파 신호로부터 목표 영상을 연속적으로 탐지하는 단계;를 포함하되,
상기 공분산 행렬은 상기 다중 뇌파 신호의 기 설정된 뇌파 신호와, 상기 기 설정된 뇌파 신호에 인접하는 전후의 뇌파 신호에 기초하여 상관계수를 계산한 후 산출되고,
상기 기 설정된 뇌파 신호와, 상기 기 설정된 뇌파 신호에 인접하는 이전 뇌파 신호 간의 상관계수는 수학식 에 의해 산출되며,
상기 Xi는 상기 기 설정된 뇌파 신호, 상기 Xi-1은 상기 이전 뇌파 신호, 상기 μ는 상기 기 설정된 뇌파 신호 n개에 대한 평균인
뇌파 신호 탐지 방법.
- 삭제
- 제 1 항에 있어서,
상기 접선 공간으로 변환된 공분산 행렬은,
수학식 에 의해 산출되고,
상기 G는 공분산 행렬의 평균, 상기 Pi는 i번째 공분산 행렬인
뇌파 신호 탐지 방법.
- 제 3 항에 있어서,
상기 벡터화하는 단계는 상기 접선 공간으로 변환된 공분산 행렬의 특징 벡터를 추출하는 단계를 포함하는
뇌파 신호 탐지 방법.
- 제 4 항에 있어서,
상기 특징 벡터는 상기 수학식 Yi에서 대각선을 포함한 오른쪽 위 행렬 요소들을 수직으로 지그재그로 배열하여 구성하는 것을 특징으로 하는
뇌파 신호 탐지 방법.
- 제 1 항에 있어서,
상기 학습은 LSTM-AE(long short-term memory auto encoder)에 의해 수행되는
뇌파 신호 탐지 방법.
- 제 1 항에 있어서,
상기 목표 영상을 탐지하는 단계는 입력 벡터와 출력 벡터의 차를 이용하여 목표물을 탐지하는 단계를 포함하는
뇌파 신호 탐지 방법.
- 제 1 항에 있어서,
상기 다중 뇌파 신호를 전처리하는 단계를 더 포함하고,
상기 전처리하는 단계는,
신호 간섭을 줄이는 마스토이드(mastoids) 처리 단계;
뇌파 센서로부터 상기 다중 뇌파 신호에 포함된 눈의 움직임에 의한 신호를 제거하는 단계;
고조파 성분(harmonic signal)을 제거하는 노치 필터링(notch filtering) 단계;
특정 대역 신호를 통과시키는 대역 통과 필터링 단계;
재표본화(resampling) 단계;
자극 록킹(locking) 처리 및 분할 단계; 및
뇌파 신호를 저장하는 단계;를 포함하는
뇌파 신호 탐지 방법.
- 뇌파 측정 장치로부터 연속 자극에 의해 순차적으로 입력되는 다중 뇌파 신호에 대한 공분산 행렬을 산출하는 공분산 행렬 산출부;
상기 공분산 행렬을 접선 공간으로 변환하는 접선 공간 변환부;
상기 접선 공간으로 변환된 공분산 행렬을 벡터화하는 특징 벡터 추출부;
상기 벡터화된 공분산 행렬을 신경망에 입력하여 학습을 수행하는 딥러닝 학습부; 및
상기 학습에 의해 상기 다중 뇌파 신호로부터 목표 영상을 탐지하는 목표 영상 탐지부;를 포함하되,
상기 공분산 행렬 산출부는 상기 다중 뇌파 신호의 기 설정된 뇌파 신호와, 상기 기 설정된 뇌파 신호에 인접하는 전후의 뇌파 신호에 기초하여 상관계수를 계산한 후 상기 공분산 행렬을 산출하고,
상기 기 설정된 뇌파 신호와, 상기 기 설정된 뇌파 신호에 인접하는 이전 뇌파 신호 간의 상관계수는 수학식 에 의해 산출되며,
상기 Xi는 상기 기 설정된 뇌파 신호, 상기 Xi-1은 상기 이전 뇌파 신호, 상기 μ는 상기 기 설정된 뇌파 신호 n개에 대한 평균인
뇌파 신호 탐지 장치.
- 삭제
- 제 9 항에 있어서,
상기 접선 공간으로 변환된 공분산 행렬은,
수학식 에 의해 산출되고,
상기 G는 공분산 행렬의 평균, 상기 Pi는 i번째 공분산 행렬인
뇌파 신호 탐지 장치.
- 제 11 항에 있어서,
상기 특징 벡터 추출부는 상기 접선 공간으로 변환된 공분산 행렬의 특징 벡터를 추출하는
뇌파 신호 탐지 장치.
- 제 12 항에 있어서,
상기 특징 벡터 추출부는 상기 수학식 Yi에서 대각선을 포함한 오른쪽 위 행렬 요소들을 수직으로 지그재그로 배열하여 상기 특징 벡터를 구성하는
뇌파 신호 탐지 장치.
- 제 9 항에 있어서,
상기 딥러닝 학습부는 LSTM-AE에 의해 학습을 수행하는
뇌파 신호 탐지 장치.
- 제 9 항에 있어서,
상기 목표 영상 탐지부는 벡터와 출력 벡터의 차를 이용하여 상기 목표 영상을 탐지하는
뇌파 신호 탐지 장치.
- 제 9 항에 있어서,
상기 다중 뇌파 신호를 전처리하는 전처리부를 더 포함하고,
상기 전처리부는, 상기 다중 뇌파 신호의 신호 간섭을 줄이는 마스토이드 처리 과정을 수행하고, 상기 마스토이드 처리된 다중 뇌파 신호에 포함된 눈의 움직임에 의한 신호를 제거하며, 노치 필터링을 통해 상기 다중 뇌파 신호의 고조파 성분을 제거하고, 상기 고조파 성분이 제거된 다중 뇌파 신호의 특정 대역 신호를 통과시키며, 상기 특정 대역 신호를 통과시킨 다중 뇌파 신호를 재표본화하고, 상기 재표본화된 다중 뇌파 신호를 자극 록킹 처리 및 분할하며, 상기 분할된 뇌파 신호를 저장하는
뇌파 신호 탐지 장치.
- 제 9 항에 있어서,
뇌파 자극 장치에 의해 생성된 동기 신호를 탐지하는 동기 신호 탐지부; 및
상기 동기 신호 탐지부에서 탐지된 동기 신호를 기초로 트리거링 신호를 생성하고, 상기 트리거링 신호를 상기 뇌파 측정 장치로 전송하는 트리거링부;를 더 포함하는
뇌파 신호 탐지 장치.
- 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은,
뇌파 신호 탐지 장치의 뇌파 신호 탐지 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,
상기 방법은,
뇌파 측정 장치로부터 연속 자극에 의해 순차적으로 입력되는 다중 뇌파 신호에 대한 공분산 행렬을 산출하는 단계;
상기 공분산 행렬을 접선 공간으로 변환하는 단계;
상기 접선 공간으로 변환된 공분산 행렬을 벡터화하는 단계;
상기 벡터화된 공분산 행렬을 신경망에 입력하여 학습을 수행하는 단계; 및
상기 학습에 의해 상기 다중 뇌파 신호로부터 목표 영상을 연속적으로 탐지하는 단계;를 포함하되,
상기 공분산 행렬은 상기 다중 뇌파 신호의 기 설정된 뇌파 신호와, 상기 기 설정된 뇌파 신호에 인접하는 전후의 뇌파 신호에 기초하여 상관계수를 계산한 후 산출되고,
상기 기 설정된 뇌파 신호와, 상기 기 설정된 뇌파 신호에 인접하는 이전 뇌파 신호 간의 상관계수는 수학식 에 의해 산출되며,
상기 Xi는 상기 기 설정된 뇌파 신호, 상기 Xi-1은 상기 이전 뇌파 신호, 상기 μ는 상기 기 설정된 뇌파 신호 n개에 대한 평균인
컴퓨터 판독 가능한 기록매체.
- 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은,
뇌파 신호 탐지 장치의 뇌파 신호 탐지 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,
상기 방법은,
뇌파 측정 장치로부터 연속 자극에 의해 순차적으로 입력되는 다중 뇌파 신호에 대한 공분산 행렬을 산출하는 단계;
상기 공분산 행렬을 접선 공간으로 변환하는 단계;
상기 접선 공간으로 변환된 공분산 행렬을 벡터화하는 단계;
상기 벡터화된 공분산 행렬을 신경망에 입력하여 학습을 수행하는 단계; 및
상기 학습에 의해 상기 다중 뇌파 신호로부터 목표 영상을 연속적으로 탐지하는 단계;를 포함하되,
상기 공분산 행렬은 상기 다중 뇌파 신호의 기 설정된 뇌파 신호와, 상기 기 설정된 뇌파 신호에 인접하는 전후의 뇌파 신호에 기초하여 상관계수를 계산한 후 산출되고,
상기 기 설정된 뇌파 신호와, 상기 기 설정된 뇌파 신호에 인접하는 이전 뇌파 신호 간의 상관계수는 수학식 에 의해 산출되며,
상기 Xi는 상기 기 설정된 뇌파 신호, 상기 Xi-1은 상기 이전 뇌파 신호, 상기 μ는 상기 기 설정된 뇌파 신호 n개에 대한 평균인
기록매체에 저장된 컴퓨터 프로그램.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20230041083 | 2023-03-29 | ||
| KR1020230041083 | 2023-03-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102614772B1 true KR102614772B1 (ko) | 2023-12-15 |
Family
ID=89124778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230083307A KR102614772B1 (ko) | 2023-03-29 | 2023-06-28 | 순차적인 공분산 행렬을 이용한 뇌파 신호 탐지 장치및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102614772B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102174257B1 (ko) | 2018-11-22 | 2020-11-04 | 한국과학기술연구원 | 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템 및 방법 |
-
2023
- 2023-06-28 KR KR1020230083307A patent/KR102614772B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102174257B1 (ko) | 2018-11-22 | 2020-11-04 | 한국과학기술연구원 | 뇌-컴퓨터 인터페이스 제어를 위한 실시간 피드백 시스템 및 방법 |
Non-Patent Citations (3)
| Title |
|---|
| Elessawy R H, et. al. A Long Short-term Memory Autoencoder Approach for EEG Motor Imagery Classification. 2020 International Conference on Computation, Automation and Knowledge Management (ICCAKM)* * |
| Majidov I, Whangbo T. Efficient Classification of Motor Imagery Electroencephalography Signals Using Deep Learning Methods. Sensors. 2019.04.11.* * |
| Takeda Y, et. al. Temporal decomposition of EEG during a simple reaction time task into stimulus- and response-locked components. Neuroimage. 2007.09.14.* * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107844755B (zh) | 一种结合dae和cnn的脑电信号特征提取与分类方法 | |
| CN106846729B (zh) | 一种基于卷积神经网络的跌倒检测方法和系统 | |
| CN111523601B (zh) | 一种基于知识引导和生成对抗学习的潜在情绪识别方法 | |
| CN104490391B (zh) | 一种基于脑电信号的战斗人员状态监测系统 | |
| KR102043376B1 (ko) | 심층 신경망 알고리즘을 이용하는 실시간 스트레스 분석 방법 | |
| CN108926333A (zh) | 用于心率估计的系统和方法 | |
| CN108693973A (zh) | 一种融合脑电信号和环境信息的紧急状况检测系统 | |
| CN106500735A (zh) | 一种基于压缩感知的fbg信号自适应修复方法 | |
| KR20190033972A (ko) | 심층신경망을 이용한 자동 뇌파 잡음 제거 방법 및 장치 | |
| CN112673381A (zh) | 一种对抗样本的识别方法及相关装置 | |
| Shankar et al. | Epileptic seizure classification based on Gramian angular field transformation and deep learning | |
| KR20190073330A (ko) | 심층신경망을 이용한 자동 뇌파 잡음 제거 방법 및 장치 | |
| CN112022153A (zh) | 基于卷积神经网络的脑电信号检测方法 | |
| CN115177273B (zh) | 基于多头再注意力机制的运动意图识别方法及系统 | |
| KR102614772B1 (ko) | 순차적인 공분산 행렬을 이용한 뇌파 신호 탐지 장치및 방법 | |
| CN114287940A (zh) | 疲劳检测方法、装置和电子设备 | |
| CN106596735A (zh) | 一种钢轨裂纹声发射信号去噪及特征提取方法及系统 | |
| CN113935380A (zh) | 一种基于模板匹配的自适应运动想象脑机接口方法与系统 | |
| CN110390381A (zh) | 利用卷积神经网络来处理数据序列的装置和方法 | |
| CN111461206B (zh) | 一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法 | |
| Bashar et al. | Identification of arm movements using statistical features from EEG signals in wavelet packet domain | |
| CN113128585A (zh) | 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法 | |
| CN114781461B (zh) | 一种基于听觉脑机接口的目标探测方法与系统 | |
| CN110801227A (zh) | 基于可穿戴设备的立体色块障碍测试的方法和系统 | |
| CN113378702B (zh) | 一种用于登杆作业的多特征融合的疲劳监测识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |