KR101675875B1

KR101675875B1 - 스펙트럼 분석과 벡터 양자화를 이용한 뇌전도 신호를 검색하는 방법 및 시스템

Info

Publication number: KR101675875B1
Application number: KR1020150083514A
Authority: KR
Inventors: 김병만; 장태웅
Original assignee: 금오공과대학교 산학협력단
Priority date: 2015-06-12
Filing date: 2015-06-12
Publication date: 2016-11-15

Abstract

본 발명에 따른 뇌전도 신호 검색방법은, 뇌전도 신호 수신부를 통해 사용자의 뇌전도 입력신호가 입력되는 신호입력 단계와, 대역 필터링부가 상기 뇌전도 입력신호를 특정 영역의 주파수 대역으로 필터링하는 단계와, 특징 벡터 추출부가 STFT(Short-Time Fourier Transform) 방법을 이용하여 상기 필터링된 뇌전도 입력신호로부터 시간-공간 형태의 특징 벡터를 추출하는 단계와, 양자화부가 코드북을 이용하여 상기 특징 벡터를 양자화하여, 코드 ID로 구성된 코드 시퀀스를 생성하는 단계와, 쿼리 생성부가 코드 시퀀스에 대해 설정된 특정 개수의 멀티 쿼리(queries)를 생성하는 단계와, 쿼리 검색부가 상기 각 쿼리마다 구축된 역색인(inverted index) 구조를 이용하여 역색인을 수행하는 단계와, 랭킹 설정부가 역색인 수행결과에 대해 설정된 스코어값을 적용하여 각 쿼리에 대한 랭킹을 설정하는 단계 및 신호 검색부가 설정된 랭킹 중 가장 높은 순위의 쿼리와 대응되는 뇌전도 신호를 생체 신호 데이터베이스로부터 검색하여, 검색된 뇌전도 신호를 입력된 뇌전도 입력신호로 결정하는 단계를 포함하는 것을 특징으로 한다.

Description

스펙트럼 분석과 벡터 양자화를 이용한 뇌전도 신호를 검색하는 방법 및 시스템{METHOD AND SYSTEM FOR SEARCHING ELECTROENCEPHALOGRAPHY SIGNAL USING SPECTRUM ANALYSIS AND VECTOR QUANTIZATION}

본 발명은 뇌전도 신호를 검색하는 방법 및 시스템에 관한 것으로, 보다 상세하게는, 뇌전도(Electroencephalography, EEG)신호를 스펙트럼 분석 및 코드북을 생성하여 검색엔진을 구축함으로써 색인을 통해 원하는 신호를 빠르게 검색 및 분석할 수 있는 스펙트럼 분석과 벡터 양자화를 이용한 뇌전도 신호를 검색하는 방법 및 시스템에 관한 것이다.

일반적으로, HCI는 Human Computer Interaction의 약칭으로 인간과 컴퓨터 간의 상호작용에 관한 것으로, 인간과 컴퓨터가 쉽고 편하게 상호작용할 수 있도록 작동시스템을 디자인하고 평가하는 과정을 다루고 있다.

전통적인 HCI는 개인과 컴퓨터 그리고 상호작용이라는 세 가지 요소로 바라볼 수 있으며, 개인이 컴퓨터라는 기계를 이용하여 자기가 할 일을 쉽고 편리하게 수행할 수 있는 시스템을 개발하는 분야라 할 수 있다.

BCI(Brain Computer Interface)는 인간의 뇌와 컴퓨터 간의 상호 커뮤니케이션 하는 것을 의미하며, 특히 HCI분야에서도 각광을 받고 있는 분야이다. BCI는 인간의 뇌에서 발생되는 신호 즉, 뇌전도(EEG)신호를 인식하고 그에 따른 제어신호를 생성하여 컴퓨터 등을 제어할 수 있다.

BCI는 신체의 움직임 없이 사람의 의도를 뇌신호를 통해 제공하므로 신체의 일부를 사용할 수 없는 사람들에게 새로운 인터페이스 수단을 제공하게 되며 삶의 질의 향상을 기할 수 있으며, 일반인에게도 새로운 인터페이스 방법을 제공할 수 있는 특징이 있다.

모토 이미저리(moto imagery)는 스포츠 선수의 이미지 트레이닝과 같이 어떠한 동작을 상상하는 것으로, 운동 상상으로 발생하는 뇌파의 패턴이 실제 움직일 때 나타나는 패턴과 일치하는 것에서 시작되어 BCI 컴퓨터 제어의 패턴으로 많이 사용되고 있다. 이는 신체의 장애를 가지고 있는 장애인 역시 몸의 움직임을 상상하는 것으로 컴퓨터 혹은 기계를 제어할 수 있음을 의미하여 많이 연구가 이루어지고 있다.

BCI를 이용하여 제어를 시도하는 경우 사람의 의도에 따라 특정한 패턴의 EEG 신호가 발생하게 되고, BCI 시스템의 신호처리 알고리즘을 이용하여 이 신호로부터 의미있는 정보를 추출할 수 있다.

예를 들어, 도 1은 종래의 BCI 시스템을 나타내는 도면으로, BCI 시스템에서는 앰프를 통해 전기적인 뇌파 신호를 입력받게 되며 이를 디지털 수치화한다. 후에 아티팩트 프로세서를 이용하여 뇌파에서 눈의 깜박임과 같이 인간의 무의식적인 행동 들에서 발생하는 정보를 제거하며 특징 발생기에서 뇌파 신호를 분석을 위한 특징들을 모델링하여 이를 추출하며, 특징 변환기에서는 특징 신호들을 분석하여 해당 신호에서 사용자의 의도를 인식하여 컴퓨터의 제어신호로 바꾸게 된다.

그 후 이 신호를 이용하여 컨트롤 인터페이스를 거쳐 실제 디바이스 제어 신호로 변환한 후 디바이스 컨트롤러를 이용하여 디바이스를 제어하도록 할 수 있다.

또한, EEG 신호에 대한 기술로, ERSP(Event-Related Spectral Perturbation)을 이용한 CFE(Channel-Frequency-ERSP) 맵을 통해, 다채널로 구성된 EEG 신호에서 의미 있는 소수의 최적의 채널을 선택할 수 있는 기술이 제안되고 있다. 또한, EEG 신호의 시간에 따른 비정상적(non-stationary) 특징을 고려하여 각 시간-주파수 공간에 대한 비동질 공간 필터의 최적화 방법으로, CSP(Common Spatial Pattern)를 이용한 공간 필터와 시간 분할을 진행하여 시간-주파수 세그먼트를 구하는 기술이 개시되고 있다.

그러나, 종래의 기술들은 뇌전도 판별이나 검색을 위해 복잡한 신호 처리 공정이 필요하다는 단점이 있다.

1. 최종원. "뇌-컴퓨터 인터페이스 (BCI) 기술 동향" 특허동향보고서, 한국특허정보원, pp.1-10, 2003. 2. Birbaumer, Niels, "Breaking the silence: braincomputer interfaces (BCI) for communication and motor control", Psychophysiology, Vol.43.6, pp.517-532, 2006. 3. Wolpaw, Jonathan R., et al, "Braincomputer interfaces for communication and control", Clinical neurophysiology, Vol.113(6), pp.767-791, 2002. 4. Pfurtscheller, Gert, et al, "Current trends in Graz brain-computer interface (BCI) research", IEEE Transactions on Rehabilitation Engineering Vol.8(2), pp.216-219, 2000. 5. Pfurtscheller, Gert, and Christa Neuper, "Motor imagery and direct brain-computer communication", Proceedings of the IEEE, Vol.89(7), pp.1123-1134, 2001. 6. MASON. Steven G, BIRCH. Gary E, "A general framework for brain-computer interface design", Neural Systems and Rehabilitation Engineering, IEEE Transactions on, Vol.11(1) pp.70-85, 2003. 7. Bashashati, Ali, et al, "A survey of signal processing algorithms in braincomputer interfaces based on electrical brain signals", Journal of Neural engineering, Vol.4(2), R32, 2007. 8. Pfurtscheller G, Muller-Putz G R, Pfurtscheller J and Rupp R, "EEG-based asynchronous BCI controls functional electrical stimulation in a tetraplegic patient", EURASIP Journal on Applied Signal Processing 2005, pp.3152-3155, 2005. 9. Coyle D, Prasad G and McGinnity T M, "A time-frequency approach to feature extraction for a brain-computer interface with a comparative analysis of performance measures", EURASIP Journal on Applied Signal Processing 2005, pp.3141-3151, 2005. 10. Kubler A, Nijboer F, Mellinger J, Vaughan T M, Pawelzik H, Schalk G, McFarland D J, Birbaumer N and Wolpaw J R, "Patients with ALS can use sensorimotor rhythms to operate a brain-computer interface.", Neurology, Vol.64, pp.17751777, 2005. 11. Neuper C, Scherer R, Reiner M and Pfurtscheller G, "Imagery of motor actions: Differential effects of kinesthetic and visualmotor mode of imagery in single-trial EEG", Cognitive Brain Research, Vol.25(3), pp.668-677, 2005. 12. Burke D P, Kelly S P, de Chazal P, Reilly R B and Finucane C, "A parametric feature extraction and classification strategy for brain-computer interfacing", Neural Systems and Rehabilitation Engineering, IEEE Transactions on, Vol.13(1), pp.12-17, 2005. 13. Yoon H, Yang K and Shahabi C, "Feature subset selection and feature ranking for multivariate time series", Knowledge and Data Engineering, IEEE Transactions on, Vol.17(9), pp.1186-1198, 2005. 14. Bashashati A, Ward R K and Birch G E, "A new design of the asynchronous brain computer interface using the knowledge of the path of features", Neural Engineering, 2005. Conference Proceedings. 2nd International IEEE EMBS Conference on, pp.101-104, 2005. 15. Fatourechi M, Bashashati A, Ward R K and Birch G E, "A hybrid genetic algorithm approach for improving the performance of the LF-ASD brain computer interface." Acoustics, Speech, and Signal Processing, Proceedings.(ICASSP'05). IEEE International Conference on. Vol. 5, pp.345-348, 2005. 16. Glassman E L 2005 A wavelet-like filter based on neuron action potentials for analysis of human scalp electroencephalographs IEEE Trans. Biomed. Eng. 52 1851-62 17. Qin L and He B, "A wavelet-based timefrequency analysis approach for classification of motor imagery for braincomputer interface applications", Journal of neural engineering, Vol.2, pp.65-72, 2005. 18. Qin L, Kamousi B, Liu Z M, Ding L and He B, "Classification of motor imagery tasks by means of time-frequency-spatial analysis for braincomputer interface applications", In Proc, IEEE-EMBS Conf, on Neural Engineering (Arlington, VA), pp.374-376, 2005. 19. Schlogl, Alois. "Outcome of the BCI-competition 2003 on the Graz data set", Berlin, Germany: Graz University of Technology, 2003. 20. 석흥일, 이성환. "동작 상상 분류를 위한 EEG 채널 선택", 한국정보과학회 학술발표논문집, Vol.27(2C) pp.195-198, 2010. 21. Ramoser, Herbert, Johannes Muller-Gerking, and Gert Pfurtscheller. "Optimal spatial filtering of single trial EEG during imagined hand movement." Rehabilitation Engineering, IEEE Transactions on, Vol.8(4), pp. 441-446, 2000. 22. 감태의, 이성환, "비 동질 공간 필터 최적화 기반의 동작 상상 EEG 신호 분류", 한국정보과학회 학술발표논문집, 38(1A), pp.469-472, 2011. 23. Ang, Kai Keng, et al. "Filter bank common spatial pattern (FBCSP) in brain-computer interface." Neural Networks, 2008. IJCNN 2008.(IEEE World Congress on Computational Intelligence). IEEE International Joint Conference on. IEEE, 2008. 24. Griffiths, Peter R., and James A. De Haseth, "Fourier transform infrared spectrometry", John Wiley & Sons, Vol.171, 2007.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 스펙트럼 분석 및 코드북을 생성하여 검색 엔진을 구축한 후 뇌전도(Electroencephalography, EEG)신호의 입력에 따라 색인 과정을 통해, 생체 신호 데이터베이스로부터 원하는 신호를 빠르게 검색할 수 있는 스펙트럼 분석과 벡터 양자화를 이용한 뇌전도 신호를 검색하는 방법 및 시스템의 제공을 목적으로 한다.

그러나 본 발명의 목적은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명에 따른 스펙트럼 분석과 벡터 양자화를 이용한 뇌전도 신호를 검색하는 뇌전도 신호 검색방법은, 뇌전도 신호 수신부를 통해 사용자의 뇌전도 입력신호가 입력되는 신호입력 단계와, 대역 필터링부가 상기 뇌전도 입력신호를 특정 영역의 주파수 대역으로 필터링하는 단계와, 특징 벡터 추출부가 STFT(Short-Time Fourier Transform) 방법을 이용하여 상기 필터링된 뇌전도 입력신호로부터 시간-공간 형태의 특징 벡터를 추출하는 단계와, 양자화부가 코드북을 이용하여 상기 특징 벡터를 양자화하여, 코드 ID로 구성된 코드 시퀀스를 생성하는 단계와, 쿼리 생성부가 코드 시퀀스에 대해 설정된 특정 개수의 멀티 쿼리(queries)를 생성하는 단계와, 쿼리 검색부가 상기 각 쿼리마다 구축된 역색인(inverted index) 구조를 이용하여 역색인을 수행하는 단계와, 랭킹 설정부가 역색인 수행결과에 대해 설정된 스코어값을 적용하여 각 쿼리에 대한 랭킹을 설정하는 단계 및 신호 검색부가 설정된 랭킹 중 가장 높은 순위의 쿼리와 대응되는 뇌전도 신호를 생체 신호 데이터베이스로부터 검색하여, 검색된 뇌전도 신호를 입력된 뇌전도 입력신호로 결정하는 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 뇌전도 신호 검색방법은, 상기 학습 신호 검색 단계에서 사용되는 상기 코드북은, 상기 대역 필터링부가 생체 신호 데이터베이스에 저장된 뇌전도 신호를 특정 영역의 주파수 대역으로 필터링하여 노이즈를 제거하는 단계와, 상기 특징 벡터 추출부가 STFT(Short-Time Fourier Transform) 방법을 이용하여 상기 필터링된 뇌전도 신호로부터 시간-공간 형태의 특징 벡터를 추출하는 단계 및 코드북 생성부가 LBG(Linde-Buzo-Gray) 알고리즘을 사용하여 추출된 특징 벡터에 대해 양자화를 수행하고, 일정 개수의 코드를 가지는 특징 벡터 그룹으로 클러스터링(clustering)하여 코드북을 생성하는 단계를 포함하여 구성되는 것을 특징으로 한다.

또한, 본 발명에 따른 뇌전도 신호 검색방법은, 상기 학습 신호 검색 단계에서 사용되는 상기 역색인 구조는, 역색인 구조 생성부가, 상기 특징 벡터 추출부에서 추출된 상기 특징 벡터를 상기 코드북을 이용하여 양자화 과정을 수행하고, 양자화 과정을 통해 코드 단어 집합으로 변환하여 문서화하는 과정을 통해 이루어지는 것을 특징으로 한다.

또한, 본 발명에 따른 뇌전도 신호 검색방법은, 상기 노이즈 제거 단계 이후, 상기 특징 벡터 추출부는 STFT(Short-Time Fourier Transform) 방법을 이용하여 상기 필터링된 뇌전도 신호를 분석하고, 뇌전도 신호 내의 ERD(Event-Related Desynchronization)/ERS(Event-Related Synchronization) 패턴을 확인하는 것을 특징으로 한다.

또한, 본 발명에 따른 뇌전도 신호 검색방법은, 상기 노이즈를 제거하는 단계에서, 상기 대역 필터링부는 해밍 윈도우를 이용한 창함수 필터를 이용하여, 상기 뇌전도 신호가 뮤 리듬 및 베타 리듬 영역의 신호만을 통과하도록 필터링하는 것을 특징으로 한다.

본 발명에 따른 스펙트럼 분석과 벡터 양자화를 이용한 뇌전도 신호를 검색하는 뇌전도 신호 검색시스템은, 사용자의 뇌전도(Electroencephalography, EEG) 신호를 입력하는 뇌전도 신호 수신부와, 다수의 뇌전도 신호를 저장하는 생체 신호 데이터베이스와, 상기 뇌전도 입력신호 또는 상기 뇌전도 신호를 특정 영역의 주파수 대역으로 필터링하는 대역 필터링부와, 상기 필터링된 뇌전도 입력신호 또는 뇌전도 신호로부터 STFT(Short-Time Fourier Transform) 방법을 이용하여 시간-공간 형태의 특징 벡터를 추출하는 특징 벡터 추출부와, 코드북을 이용하고, 상기 특징 벡터를 양자화하여 코드 ID로 구성된 코드 시퀀스를 생성하는 양자화부와, 상기 코드 시퀀스에 대해 설정된 특정 개수의 멀티 쿼리(queries)를 생성하는 쿼리 생성부와, 상기 각 쿼리마다 구축된 역색인(inverted index) 구조를 이용하여 역색인을 수행하는 쿼리 검색부와, 역색인 수행결과에 대해 설정된 스코어값을 적용하여 각 쿼리에 대한 랭킹을 설정하는 랭킹 설정부 및 설정된 랭킹 중 가장 높은 순위의 쿼리와 대응되는 뇌전도 신호를 생체 신호 데이터베이스로부터 검색하여, 검색된 뇌전도 신호를 입력된 뇌전도 입력신호로 결정하는 신호 검색부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 뇌전도 신호 검색시스템은, 상기 코드북을 생성하는 코드북 생성부를 포함하고, 상기 코드북 생성부가 LBG(Linde-Buzo-Gray) 알고리즘을 사용하여 추출된 특징 벡터에 대해 양자화를 수행하고, 일정 개수의 코드를 가지는 특징 벡터 그룹으로 클러스터링(clustering)하여 코드북을 생성하는 특징으로 한다.

아울러, 본 발명에 따른 뇌전도 신호 검색시스템은, 상기 역색인 구조를 생성하는 역색인 구조 생성부를 포함하고, 상기 역색인 구조 생성부는, 상기 특징 벡터 추출부에서 추출된 상기 특징 벡터를 상기 코드북을 이용하여 양자화 과정을 수행하고, 양자화 과정을 통해 코드 단어 집합으로 변환하여 문서화하는 과정을 통해 이루어지는 것을 특징으로 한다.

본 발명에 따르면 스펙트럼 분석과 벡터 양자화를 이용한 검색 시스템의 검색 엔진은 색인을 통해 거대한 양의 문서 집단에서 원하는 문서를 빠르게 검색할 수 있다.

이를 통해 빠른 속도로 증가하는 생체 신호 데이터베이스를 구축할 수 있을 뿐만 아니라, 해당 시스템에서 원하는 신호들을 빠르게 검색 및 분석이 가능해지기 때문에 빅데이터로 구축되는 생체신호 처리의 활용이 가능하다는 이점이 있다.

도 1은, 종래의 BCI(Brain Computer Interface) 시스템을 개략적으로 나타내는 도면이다.
도 2는, 본 발명의 실시예에 따른 뇌전도 신호를 검색하는 시스템의 구성을 개략적으로 나타내는 블럭도이다.
도 3은, 본 발명의 실시예에 따른 뇌전도 신호를 검색하는 방법을 나타내는 흐름도이다.
도 4는, 본 발명에 따른 코드북(codebook)을 생성하는 방법을 나타내는 흐름도이다.
도 5는, 본 발명에 따른 역색인 구조를 예시적으로 나타내는 예시도이다.
도 6은, 본 발명에 따른 문서에 대한 각 포지션의 코드 및 포지션 가중치의 값을 예시적으로 나타내는 예시도이다.

이하, 본 발명의 바람직한 실시 예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 2는 본 발명의 실시예에 따른 뇌전도 신호를 검색하는 시스템의 구성을 개략적으로 나타내는 블럭도이고, 도 3은 본 발명에 따른 뇌전도 신호를 검색하는 방법을 나타내는 흐름도이며, 도 4는 코드북(codebook)을 생성하는 방법을 나태는 흐름도이다.

도면을 참조하면, 본 발명에 따른 스펙트럼 분석과 벡터 양자화를 이용한 뇌전도(Electroencephalography, EEG) 신호를 검색하는 뇌전도 신호 검색시스템(1)은, 뇌전도 신호 수신부(11), 생체신호 데이터베이스부(12), 대역 필터링부(13), 특징 벡터 추출부(14), 양자화부(15), 코드북 생성부(16), 쿼리 생성부(17), 쿼리 검색부(18), 역색인 구조 생성부(19) 랭킹 설정부(20) 및 신호 검색부(21)를 포함하여 구성될 수 있다.

상기와 같은 구성을 포함하는 뇌전도 신호 검색시스템(1)을 통해 사용자의 뇌전도 신호를 검색하는 방법은 다음과 같다.

먼저, 뇌전도 신호 수신부(11)를 통해 사용자의 뇌전도 입력신호가 입력되면(S101), 대역 필터링부(13)에서는 뇌전도 입력신호를 특정 영역의 주파수 대역으로 필터링한다(S102).

이때, 대역 필터링부(13)는 해밍 윈도우를 이용한 창함수 필터를 이용하여, 8∼30㎐의 대역만을 통과하도록 하여, 예를 들어, 뇌전도 신호가 뮤 리듬 및 베타 리듬 영역의 신호만을 통과시켜 노이즈를 제거시킬 수 있다.

특징 벡터 추출부(14)는 STFT(Short-Time Fourier Transform) 방법을 이용하여 필터링된 뇌전도 입력신호로부터 특징 벡터를 추출한다(S103).

이 특징 벡터 추출부(14)는 STFT 방법을 이용함으로써, 필터링된 뇌전도 신호를 분석하고 뇌전도 신호 내의 ERD(Event-Related Desynchronization)/ERS(Event-Related Synchronization) 패턴을 확인할 수 있다.

구체적으로, EEG 신호 안에서 ERD/ERS 패턴을 찾기 위해서는 각 주파수 대역의 파워 스펙트럼의 변화를 감시하여야 하고, 이에 신호를 주파수 공간으로 분석하는 방법 중 가장 대표적인 방법인 푸리에 변환을 사용할 수 있다.

푸리에 변환은 시간 영역으로 표현되어있는 신호 정보를 주파수 영역으로 변환하여 새로운 정보를 찾는 방법으로 신호처리 분야에서 신호의 분석을 위해 사용되는 방법으로, 푸리에 변환을 이용하여 주파수 영역에서의 파워의 변화를 알아볼 수 있으며 특정 주파수에서의 ERD/ERS 패턴을 찾는데 적합하다.

하지만 푸리에 변환은 시간적인 정보가 완전히 제거되기 때문에 이를 위해 시간-주파수 영역 분석을 위하여 본 발명에서는 STFT(Short-Time Fourier Transform)방법을 이용하였다.

STFT는 푸리에 변환을 근간으로 시간성 정보를 살리기 위해 단 구간의 신호를 잘라 윈도우잉과 오버랩을 통해 시간에 따른 주파수 스펙트럼의 변화를 확인할 수 있다.

따라서, 특징 벡터 추출부(14)는 필터링된 뇌전도 입력신호로부터 시간-공간 형태의 특징 벡터를 추출할 수 있다.

양자화부(15)는 코드북 생성부(16)를 통해 생성된 코드북을 이용하여, 특징 벡터에 대한 양자화를 수행하여 코드 ID로 구성된 코드 시퀀스를 생성한다(S104). 이후, 쿼리 생성부(17)에서는 양자화부(15)에서 생성된 코드 시퀀스에 대해 설정된 특정 개수의 멀티 쿼리(queries)를 생성한다(S105).

그리고, 쿼리 검색부(18)는 역색인 구조 생성부(19)를 통해 구축된 역색인(inverted index) 구조를 이용하여 각 쿼리마다 역색인을 수행한다(S106).

역색인 구조 생성부(19)는 특징 벡터 추출부(14)에서 추출된 특징 벡터를 코드북을 이용하여 양자화 과정을 수행하고, 이러한 양자화 과정을 통해 코드 단어 집합으로 변환하여 문서화하는 과정을 통해 이루어질 수 있다.

다음에 랭킹 설정부(20)가 역색인 수행결과에 대해 설정된 스코어값을 적용하여 각 쿼리에 대한 랭킹을 설정하고(S107), 신호 검색부(21)는 설정된 랭킹 중 가장 높은 순위의 쿼리와 대응되는 생체 신호 데이터베이스(12)에 저장된 뇌전도 신호를 검색한 후, 검색된 뇌전도 신호를 입력된 뇌전도 입력신호로 결정한다(S108).

단계(S104)에서 특징 벡터의 양자화에 사용되는 코드북은 도 4에 나타낸 바와 같이 코드북 생성부(16)를 통해서 생성될 수 있다.

이를 위해, 대역 필터링부(13)에서는 생체 신호 데이터베이스에 저장된 뇌전도 신호를 특정 주파수 대역으로 필터링(뮤 리듬 및 베타 리듬 영역의 신호만을 통과)한 후(S201), 특징 벡터 추출부(14)를 통해 STFT(Short-Time Fourier Transform) 방법을 이용하여 필터링된 뇌전도 신호에서 시간-공간 형태의 특징 벡터를 추출한다(S202).

이후, 코드북 생성부(16)는 LBG(Linde-Buzo-Gray) 알고리즘을 사용하여 추출된 특징 벡터에 대해 양자화를 수행하고, 일정 개수의 코드를 가지는 특징 벡터 그룹으로 클러스터링(clustering)하여 코드북을 생성한다(S203).

이하, 도면을 참조하여 본 발명에 따른 뇌전도 신호 검색에 대한 구체적인 설명은 다음과 같다.

EEG 신호는 위의 특징 추출단계에서 주파수 스펙트럼 특징으로 변화되어 하나의 시퀀스에 8~30㎐의 각 영역의 신호 파워를 담고 있다. 이러한 신호의 유형은 매우 다양하여 각각 하나의 단어로 생산할 경우 매우 많은 단어가 생산되게 되며 이후에도 뇌파데이터가 추가할수록 그 양은 더욱 많아질 수 있다.

이를 해결하기 위해 LBG 알고리즘을 사용하여, 벡터 양자화를 진행하였다. 즉, 특정 개수의 벡터의 유형을 압축하였으며, 이를 이용하여 코드북을 생성하고, 모든 시그널을 코드북의 각 벡터들과 유클리디안 거리법을 이용하여 양자화를 진행하였다.

역색인은 문서 검색 시스템에서 가장 대중적인 데이터 구조로서 문서가 데이터베이스에 추가될 때 늘어나는 처리를 위해 빠른 전문 검색을 가능하게 할 수 있다.

도 5는 본 발명에 따른 역색인 구조를 예시적으로 나타내는 예시도로, 도 5에 나타낸 바와 같이, 'Word id'는 코드북의 코드들을 의미하며 'doc'는 학습으로 제공된 'EEG' 신호를 나타낸다. 또한, 'pos'는 해당 코드가 해당 EEG 신호에서 나타나는 위치를 나타낸다.

각 단어를 포함하는 문서들을 링크드 리스트 형태로 연결하여 보관할 수 있고, 각 해당 문서의 번호와 문서의 어느 위치에 존재하는지의 정보를 가지고 있다. 예를 들어, 코드 1은 1번 EEG 신호의 2번째 위치와 8번째 위치에 존재함을 알 수 있다. 또한, 코드 7은 10번째 EEG 신호의 3번째 위치와 13번째 EEG 신호의 8번째 위치에 존재함을 알 수 있다.

EEG 데이터는 샘플의 개수만큼의 더블형 문자열로서 형식이 정해져 있어 지정된 숫자만큼 읽어 들여 배열로 변환이 가능하며 그 후 특징 추출 과정을 거쳐 특징 벡터를 생산하고 해당 특징 벡터를 미리 생성된 코드북을 이용하여 양자화 과정을 거쳐 코드 단어 집합으로 변환할 수 있다.

그 후 역색인 생산과정을 진행하며 이때 문서의 번호와 시퀀스 정보를 이용하여 하나의 튜플을 생성하여 이를 해당 단어의 링크드 리스트의 뒤에 연결할 수 있다.

문서와 쿼리의 유사도를 계산하기 위한 문서의 스코어 정책이 있고, 이를 통해 어떤 문서가 가장 유사한 문서인지 판단하게 될 수 있다. 문서의 스코어를 구하기 위해 가장 많이 사용되는 방법 중에 하나로 TF-IDF가 있으며 본 발명에서는 이를 조금 변경하여 사용할 수 있다.

TF-IDF는 단어의 출현 빈도와 단어의 유일성을 반영한 계수 값으로서 TF는 해당 단어가 문서에서 얼마나 출현했는지를 이용하여 이 문서에서의 단어의 중요성을 판별하며 IDF는 전체 문서에서 이 단어가 얼마나 쓰이는지를 판단하여 이 문서에서만 쓰이는 단어일수록 해당 단어와 문서간의 유사도가 증가하여야 하므로 이를 반영한 계수 값이다. 두 가지의 값을 구하는 방법은 아래의 식을 따른다.

[식 1]

[식 2]

여기서,

는 문서 집합 D의 크기, 또는 전체 문서의 수,

: 단어 t가 포함된 문서의 수(즉, tf(t,d)≠0), 단어가 전체 말뭉치 안에 존재하지 않을 경우 이는 분모가 0이 되는 결과를 가져오고, 이를 방지하기 위해

로 쓰는 것이 일반적일 수 있다.

상기와 같이, TF와 IDF 값을 아래식과 같이 곱하여 해당 단어의 문서에서의 중요도를 계수화 한다.

[식 3]

후에 코사인 유사도를 이용하여 해당 단어를 포함한 쿼리와 문서의 유사도를 계산하여 문서의 스코어 값을 계산하고 가장 유사한 문서를 찾게 된다.

본 발명에서는 특징벡터의 유일성의 정보를 이용하기 위해 IDF 값을 사용하였으며 ERD/ERS의 경우 특정 패턴의 움직임으로 동일한 벡터가 많이 나타나는 것은 오히려 노이즈 혹은 정보성이 낮은 벡터가 되어 TF를 대신 포지션 가중치를 사용하였다.

도 6은 본 발명에 따른 문서에 대한 각 포지션의 코드 및 포지션 가중치의 값을 예시적으로 나타내는 예시도로, 문서 1번에 대한 각 포지션의 코드들의 모습과 그에 따른 포지션 가중치의 값을 보여주고 있다.

도면을 참조하면, 문서 1은 코드 번호 5, 14, 46, 53, 4, 8, 6의 순서로 구성되어 있다. 또한, 총 7개의 시간 차원을 가지고 있고, 그에 맞는 해밍 윈도우를 생성하여 매핑한 결과 5와 6의 경우 0에 가까운 가중치 값을 가지게 되며 53번의 경우 1에 가까운 포지션 가중치를 갖게 된다.

이는 문서 1번에 대해서는 53번의 코드를 가진 쿼리가 올 경우 6 혹은 5를 갖는 쿼리보다 더 많은 스코어 값을 가질 수 있다.

구축된 코드북과 역색인을 이용하여 제공된 입력 신호를 질의하여 해당 신호와 가장 유사한 입력 신호의 검색을 실시하고, 검색된 신호들의 메타데이터인 클래스 라벨을 이용하여 입력 신호의 클래스 레벨링을 한다. 그 후 동일한 ERD/ERS 패턴을 발생시키는 저장된 뇌전도 신호를 입력 신호가 동일한 것으로 간주하여 검색을 수행할 수 있다.

상기 본 발명의 내용은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

1 : 뇌전도 신호 검색 시스템
11 : 뇌전도 신호 수신부
12 : 생체 신호 데이터베이스
13 : 대역 필터링부
14 : 특징 벡터 추출부
15 : 양자화부
16 : 코드북 생성부
17 : 쿼리 생성부
18 : 쿼리 검색부
19 : 역색인 구조 생성부
20 : 랭킹 설정부
21 : 신호 검색부

Claims

뇌전도(Electroencephalography, EEG) 신호 검색방법에 있어서,
뇌전도 신호 수신부를 통해 사용자의 뇌전도 입력신호가 입력되는 신호입력 단계;
대역 필터링부가 상기 뇌전도 입력신호를 특정 영역의 주파수 대역으로 필터링하는 단계;
특징 벡터 추출부가 STFT(Short-Time Fourier Transform) 방법을 이용하여 상기 필터링된 뇌전도 입력신호로부터 시간-공간 형태의 특징 벡터를 추출하는 단계;
양자화부가 코드북을 이용하여 상기 특징 벡터를 양자화하여, 코드 ID로 구성된 코드 시퀀스를 생성하는 단계;
쿼리 생성부가 코드 시퀀스에 대해 설정된 특정 개수의 멀티 쿼리(queries)를 생성하는 단계;
쿼리 검색부가 상기 각 쿼리마다 구축된 역색인(inverted index) 구조를 이용하여 역색인을 수행하는 단계;
랭킹 설정부가 역색인 수행결과에 대해 설정된 스코어값을 적용하여 각 쿼리에 대한 랭킹을 설정하는 단계; 및
신호 검색부가 설정된 랭킹 중 가장 높은 순위의 쿼리와 대응되는 뇌전도 신호를 생체 신호 데이터베이스로부터 검색하여, 검색된 뇌전도 신호를 입력된 뇌전도 입력신호로 결정하는 단계;를 포함하는 것을 특징으로 하는 뇌전도 신호 검색방법.
제 1 항에 있어서,
상기 코드 시퀀스를 생성하는 단계에서 사용되는 상기 코드북은,
상기 대역 필터링부가 생체 신호 데이터베이스에 저장된 뇌전도 신호를 특정 영역의 주파수 대역으로 필터링하여 노이즈를 제거하는 단계;
상기 특징 벡터 추출부가 STFT(Short-Time Fourier Transform) 방법을 이용하여 상기 필터링된 뇌전도 신호로부터 시간-공간 형태의 특징 벡터를 추출하는 단계; 및
코드북 생성부가 LBG(Linde-Buzo-Gray) 알고리즘을 사용하여 추출된 특징 벡터에 대해 양자화를 수행하고, 일정 개수의 코드를 가지는 특징 벡터 그룹으로 클러스터링(clustering)하여 코드북을 생성하는 단계;를 포함하여 구성되는 것을 특징으로 하는 뇌전도 신호 검색방법.
제 2 항에 있어서,
상기 역색인을 수행하는 단계에서 사용되는 상기 역색인 구조는,
역색인 구조 생성부가, 상기 특징 벡터 추출부에서 추출된 상기 특징 벡터를 상기 코드북을 이용하여 양자화 과정을 수행하고, 양자화 과정을 통해 코드 단어 집합으로 변환하여 문서화하는 과정을 통해 이루어지는 것을 특징으로 하는 뇌전도 신호 검색방법.
제 2 항에 있어서,
상기 노이즈 제거 단계 이후,
상기 특징 벡터 추출부는 STFT(Short-Time Fourier Transform) 방법을 이용하여 상기 필터링된 뇌전도 신호를 분석하고, 뇌전도 신호 내의 ERD(Event-Related Desynchronization)/ERS(Event-Related Synchronization) 패턴을 확인하는 것을 특징으로 하는 뇌전도 신호 검색방법.
제 2 항에 있어서,
상기 노이즈를 제거하는 단계에서,
상기 대역 필터링부는 해밍 윈도우를 이용한 창함수 필터를 이용하여, 상기 뇌전도 신호가 뮤 리듬 및 베타 리듬 영역의 신호만을 통과하도록 필터링하는 것을 특징으로 하는 뇌전도 신호 검색방법.
사용자의 뇌전도(Electroencephalography, EEG) 신호를 입력하는 뇌전도 신호 수신부;
다수의 뇌전도 신호를 저장하는 생체 신호 데이터베이스;
상기 뇌전도 입력신호 또는 상기 뇌전도 신호를 특정 영역의 주파수 대역으로 필터링하는 대역 필터링부;
상기 필터링된 뇌전도 입력신호 또는 뇌전도 신호로부터 STFT(Short-Time Fourier Transform) 방법을 이용하여 시간-공간 형태의 특징 벡터를 추출하는 특징 벡터 추출부;
코드북을 이용하고, 상기 특징 벡터를 양자화하여 코드 ID로 구성된 코드 시퀀스를 생성하는 양자화부;
상기 코드 시퀀스에 대해 설정된 특정 개수의 멀티 쿼리(queries)를 생성하는 쿼리 생성부;
상기 각 쿼리마다 구축된 역색인(inverted index) 구조를 이용하여 역색인을 수행하는 쿼리 검색부;
역색인 수행결과에 대해 설정된 스코어값을 적용하여 각 쿼리에 대한 랭킹을 설정하는 랭킹 설정부; 및
설정된 랭킹 중 가장 높은 순위의 쿼리와 대응되는 뇌전도 신호를 생체 신호 데이터베이스로부터 검색하여, 검색된 뇌전도 신호를 입력된 뇌전도 입력신호로 결정하는 신호 검색부;를 포함하는 것을 특징으로 하는 뇌전도 신호 검색시스템.
제 6 항에 있어서,
상기 코드북을 생성하는 코드북 생성부를 포함하고,
코드북 생성부가 LBG(Linde-Buzo-Gray) 알고리즘을 사용하여 추출된 특징 벡터에 대해 양자화를 수행하고, 일정 개수의 코드를 가지는 특징 벡터 그룹으로 클러스터링(clustering)하여 코드북을 생성하는 것을 특징으로 하는 뇌전도 신호 검색시스템.
제 6 항에 있어서,
상기 역색인 구조를 생성하는 역색인 구조 생성부를 포함하고,
상기 역색인 구조 생성부는, 상기 특징 벡터 추출부에서 추출된 상기 특징 벡터를 상기 코드북을 이용하여 양자화 과정을 수행하고, 양자화 과정을 통해 코드 단어 집합으로 변환하여 문서화하는 과정을 통해 이루어지는 것을 특징으로 하는 뇌전도 신호 검색시스템.
제 6 항에 있어서,
상기 대역 필터링부는 해밍 윈도우를 이용한 창함수 필터를 이용하여, 상기 뇌전도 입력신호 또는 뇌전도 신호가 뮤 리듬 및 베타 리듬 영역의 신호만을 통과하도록 필터링하는 것을 특징으로 하는 뇌전도 신호 검색시스템.