KR102300459B1 - Apparatus and method for generating a space-frequency feature map for deep-running based brain-computer interface - Google Patents

Apparatus and method for generating a space-frequency feature map for deep-running based brain-computer interface Download PDF

Info

Publication number
KR102300459B1
KR102300459B1 KR1020190085354A KR20190085354A KR102300459B1 KR 102300459 B1 KR102300459 B1 KR 102300459B1 KR 1020190085354 A KR1020190085354 A KR 1020190085354A KR 20190085354 A KR20190085354 A KR 20190085354A KR 102300459 B1 KR102300459 B1 KR 102300459B1
Authority
KR
South Korea
Prior art keywords
feature map
brain signal
frequency
generating
spatial
Prior art date
Application number
KR1020190085354A
Other languages
Korean (ko)
Other versions
KR102300459B9 (en
KR20200059129A (en
Inventor
이성환
방지선
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=70920492&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR102300459(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20200059129A publication Critical patent/KR20200059129A/en
Application granted granted Critical
Publication of KR102300459B1 publication Critical patent/KR102300459B1/en
Publication of KR102300459B9 publication Critical patent/KR102300459B9/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 장치에 있어서, 공간-주파수 특징맵을 생성하는 프로그램이 저장된 메모리; 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하고, 프로세서는 프로그램의 수행에 따라, 뇌 신호 측정부에 의하여 측정된 사용자의 동작상상 뇌 신호를 수신하고, 수신한 뇌 신호로부터 사용자별 최적화된 주파수 대역을 설정하고, 설정된 최적 주파수 대역을 통해 뇌 신호를 필터링하고, 필터링된 뇌 신호로부터 2차원 특징맵을 추출하고, 추출된 2차원 특징맵을 3차원으로 복셀화하여 입력맵을 생성하는, 공간-주파수 특징맵 생성 장치를 제공하고자 한다.An apparatus for generating a space-frequency feature map according to an embodiment of the present invention, comprising: a memory in which a program for generating a space-frequency feature map is stored; A processor for executing a program stored in a memory, wherein the processor receives the user's motion image brain signal measured by the brain signal measurement unit according to the execution of the program, and selects a frequency band optimized for each user from the received brain signal Space-frequency to set, filter the brain signal through the set optimal frequency band, extract a two-dimensional feature map from the filtered brain signal, and voxel the extracted two-dimensional feature map in three dimensions to generate an input map An object of the present invention is to provide an apparatus for generating a feature map.

Description

딥러닝 기반의 뇌-컴퓨터 인터페이스를 위한 공간-주파수 특징맵을 생성하는 장치 및 방법{APPARATUS AND METHOD FOR GENERATING A SPACE-FREQUENCY FEATURE MAP FOR DEEP-RUNNING BASED BRAIN-COMPUTER INTERFACE}Apparatus and method for generating a spatial-frequency feature map for a brain-computer interface based on deep learning

본 발명은 딥러닝 기반의 뇌-컴퓨터 인터페이스를 위한 공간-주파수 특징맵을 생성하는 장치 및 방법에 관한 것으로서, 구체적으로 사용자의 움직임 의도에 따른 뇌 신호를 분류하여 고성능 뇌-컴퓨터 인터페이스 기술을 구현하기 위한 공간-주파수 특징맵을 생성하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a spatial-frequency feature map for a brain-computer interface based on deep learning. Specifically, the present invention relates to a high-performance brain-computer interface technology by classifying a brain signal according to a user's movement intention. An apparatus and method for generating a spatial-frequency feature map for

뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)는 사용자의 뇌 신호를 분석하여 다양한 기기를 제어할 수 있는 방법을 제공하는 인터페이스 기술이다.Brain-Computer Interface (BCI) is an interface technology that analyzes a user's brain signal and provides a method for controlling various devices.

뇌-컴퓨터 인터페이스는 인간의 생각을 통하여 의도적으로 발현시킬 수 있는 특정 패턴의 뇌 신호를 분석하여 기기를 제어하기 위한 것으로서, 사용자를 위한 편의 기능 제공이나 루게릭병, 척수손상과 같은 중증장애를 가진 사람들의 생활보조 기술 개발을 위한 도구로 활용할 수 있다. The brain-computer interface is for controlling the device by analyzing the brain signal of a specific pattern that can be intentionally expressed through human thought. It can be used as a tool for the development of life support technology of

특히, 사용자의 의도에 따라 다양한 기기를 제어하기 위해서는 외부의 자극 없이 자발적인 뇌 신호를 생성하는 것이 중요하다. 이러한 자발적인 뇌 신호는 예를 들어 복잡한 숫자 계산, 무작위의 단어 상상 및 지도 상상 등이 있다.In particular, in order to control various devices according to the user's intention, it is important to generate spontaneous brain signals without external stimulation. These spontaneous brain signals include, for example, complex number calculations, random word imaginings, and map imaginings.

한편, 명령어에 대응하는 자발적인 뇌 신호 생성을 통해 드론이나 로봇팔 등을 제어할 수 있는 BCI 기술들이 존재한다. 최근에는 특정 신체 부위를 움직일 때의 느낌을 상상하는 동작 상상(Motor Imagery, MI), 시각자극에 의해 유발되는 뇌 신호를 이용하는 ERP(Event-related potential), SSVEP (Stead-state evoked potential)와 같은 방법 기반의 BCI 기술이 대표적으로 사용되고 있다.On the other hand, there are BCI technologies that can control drones or robotic arms through spontaneous brain signal generation corresponding to commands. Recently, motion imagining (Motor Imagery, MI) that imagines the feeling of moving a specific body part, ERP (Event-related potential) using brain signals induced by visual stimuli, SSVEP (Stead-state evoked potential), etc. Method-based BCI technology is typically used.

동작 상상(Motor Imagery, MI)의 경우, 사람이 특정 움직임을 상상할 때 이를 관장하는 뇌 영역에서 Event-Related Synchronization/Desynchronization (ERD/ERS) 신호가 발생하며, 해당 성분을 검출하는 것이 가능하다. 예를 들어, 왼손을 움직이는 동작상상을 수행할 경우 뇌의 우반구 영역에서 ERD/ERS가, 오른손을 움직이는 동작상상을 수행할 경우 뇌의 좌반구 영역에서 해당 신호가 관측된다.In the case of motor imagery (MI), when a person imagines a specific movement, an Event-Related Synchronization/Desynchronization (ERD/ERS) signal is generated in the brain region that controls it, and it is possible to detect the corresponding component. For example, when a motion image of moving the left hand is performed, ERD/ERS is observed in the right hemisphere region of the brain, and when a motion image moving the right hand is performed, the corresponding signal is observed in the left hemisphere region of the brain.

동작 상상 기반의 BCI는 ERD/ERS 성분의 분석을 통해 사용자의 의도(사용자가 상상하고 있는 동작상상의 신체 부위)를 인식하고 그에 대응하는 명령어를 수행하는 형태로 동작한다. 뇌 신호는 같은 동작을 수행하는 경우에도 사람에 따라 다르게 나타날 수 있다. 따라서 뇌-컴퓨터 인터페이스의 성능을 높이기 위해서는 사용자에 최적화된 주파수 영역으로부터 획득한 뇌신호를 통해 특징벡터를 구성하여 인식 성능을 높이고 결과를 분석하는 것이 매우 중요하다. The motion imagination-based BCI recognizes the user's intention (the body part on the motion picture imagined by the user) through the analysis of ERD/ERS components and operates in the form of executing a corresponding command. Brain signals may appear differently from person to person even when performing the same action. Therefore, in order to improve the performance of the brain-computer interface, it is very important to construct a feature vector through the brain signal obtained from the frequency domain optimized for the user to improve the recognition performance and to analyze the result.

최근에는 딥러닝 기술이라고 불리는 비선형 분류 방법이 이미지 분류, 음성인식 등 여러 분야에서 높은 성능을 보이고 있다. 하지만 이미지 및 음성과 달리 다차원의 정보를 포함하는 뇌 신호를 다루는 연구의 경우에는 비선형 분류기가 뇌 신호의 적합한 특징을 학습하게 하기 위해 적절한 특징맵을 생성한 후 분류를 진행시키도록 할 필요가 있다. 기존 기술에서는 이러한 고려가 충분히 이루어지지 않아, 뇌신호로부터 딥 네트워크에 입력되는 입력맵을 생성하는 과정에서 중요한 정보들이 변형되기 때문에, 비선형 분류기를 이용함에도 불구하고 기존 선형 분류기와 비슷한 정도의 낮은 성능을 보였다. Recently, a nonlinear classification method called deep learning technology has shown high performance in various fields such as image classification and speech recognition. However, in the case of research dealing with brain signals that include multidimensional information, unlike images and voices, it is necessary to generate an appropriate feature map and then proceed with classification in order for the nonlinear classifier to learn the appropriate features of the brain signal. In the existing technology, this consideration is not sufficiently taken into account, and important information is transformed in the process of generating an input map input to the deep network from brain signals. seemed

대한민국 등록특허공보 제10-1293446호(발명의 명칭: 움직임을 상상하는 뇌파 분류 방법 및 그 장치)Republic of Korea Patent Publication No. 10-1293446 (Title of the invention: EEG classification method and device for imagining movement)

본 발명에서는 높은 성능의 동작상상 기반 뇌 신호 분류를 위해, 딥러닝 시스템을 적용하고, 이를 위해 사용자에 최적화된 복수 개의 특징맵을 이용하여 입력맵을 생성하고, 이를 기초로 한 정확도 높은 뇌-신호 분류를 수행하고자 한다.In the present invention, for high-performance motion image-based brain signal classification, a deep learning system is applied. I want to do a classification.

본 발명은 다중 주파수 영역에 대응되는 2차원의 특징맵을 3차원으로 복셀화시켜 더 많은 정보를 포함하는 입력맵을 생성함으로써, 딥러닝 모델을 통해 높은 성능을 보장하는 사용자의 의도인식에 의해 발현되는 뇌신호 기반의 뇌-컴퓨터 인터페이스 기술을 제공하고자 한다.The present invention is expressed by user's intention recognition that guarantees high performance through a deep learning model by generating an input map containing more information by voxelizing a two-dimensional feature map corresponding to a multi-frequency domain in three dimensions. We want to provide brain-computer interface technology based on brain signals.

본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 장치에 있어서, 공간-주파수 특징맵을 생성하는 프로그램이 저장된 메모리; 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하고, 프로세서는 프로그램의 수행에 따라, 뇌 신호 측정부에 의하여 측정된 사용자의 동작상상 뇌 신호를 수신하고, 수신한 뇌 신호로부터 사용자별 최적화된 주파수 대역을 설정하고, 설정된 최적 주파수 대역을 통해 뇌 신호를 필터링하고, 필터링된 뇌 신호로부터 2차원 특징맵을 추출하고, 추출된 2차원 특징맵을 3차원으로 복셀화하여 입력맵을 생성하는, 공간-주파수 특징맵 생성 장치를 제공하고자 한다.An apparatus for generating a space-frequency feature map according to an embodiment of the present invention, comprising: a memory in which a program for generating a space-frequency feature map is stored; A processor for executing a program stored in a memory, wherein the processor receives the user's motion image brain signal measured by the brain signal measurement unit according to the execution of the program, and selects a frequency band optimized for each user from the received brain signal Space-frequency to set, filter the brain signal through the set optimal frequency band, extract a two-dimensional feature map from the filtered brain signal, and voxel the extracted two-dimensional feature map in three dimensions to generate an input map An object of the present invention is to provide an apparatus for generating a feature map.

본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 장치에 의하여 공간-주파수 특징맵을 생성하는 방법으로서, (a) 뇌 신호 측정부에 의하여 측정된 사용자의 동작상상 뇌 신호를 수신하는 단계; (b) 수신된 뇌 신호로부터 사용자별 최적화된 주파수 대역을 설정하는 단계; (c) 설정된 최적 주파수 대역을 통해 뇌 신호를 필터링하는 단계; (d) 필터링된 뇌 신호로부터 2차원 특징맵을 추출하는 단계; 및 (e) 추출된 2차원 특징맵을 3차원으로 복셀화하여 입력맵을 생성하는 단계를 포함하는, 공간-주파수 특징맵 생성 방법을 제공하고자 한다.According to an embodiment of the present invention, there is provided a method for generating a spatial-frequency feature map by an apparatus for generating a spatial-frequency feature map, the method comprising: (a) receiving a user's motion image brain signal measured by a brain signal measuring unit; (b) setting a frequency band optimized for each user from the received brain signal; (c) filtering the brain signal through the set optimal frequency band; (d) extracting a two-dimensional feature map from the filtered brain signal; and (e) generating an input map by voxelizing the extracted two-dimensional feature map in three dimensions.

본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 장치 및 방법은 사용자마다 움직임 의도에 의해 반응하는 뇌파의 주파수 영역이 상이하다는 점을 고려하여, 사용자별로 최적화된 복수 개의 주파수 대역으로 뇌 신호를 필터링한 데이터를 이용하여 개인별로 최적화된 사용자 의도 분석을 수행할 수 있다. The apparatus and method for generating a spatial-frequency feature map according to an embodiment of the present invention generate brain signals into a plurality of frequency bands optimized for each user in consideration of the fact that the frequency region of the brain wave that responds to each user's motion intention is different. User intention analysis optimized for each individual can be performed using the filtered data.

본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 장치 및 방법은 최종 입력맵이 복수 개의 주파수 대역에 대한 특징맵으로 구성되도록 하여, 입력맵이 시간, 공간 및 주파수 정보를 모두 포함하여 높은 정보량을 갖게 되므로, 높은 정확도로 사용자의 의도를 분석할 수 있다. The apparatus and method for generating a spatial-frequency feature map according to an embodiment of the present invention allow the final input map to be composed of a feature map for a plurality of frequency bands, so that the input map includes all of time, space, and frequency information and has a high amount of information Therefore, it is possible to analyze the user's intention with high accuracy.

본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 장치 및 방법은, 입력맵을 생성하는 과정에서 사용자에 최적화된 주파수 대역을 사용하므로, 종래의 뇌 신호 분류 기술이 사용자에 관계없이 공통된 주파수 대역을 분류에 사용하여 정확도가 낮아지는 단점을 극복할 수 있다.Since the apparatus and method for generating a spatial-frequency feature map according to an embodiment of the present invention uses a frequency band optimized for a user in the process of generating an input map, the conventional brain signal classification technology uses a common frequency band regardless of the user. can be used for classification to overcome the disadvantage of low accuracy.

도 1은 본 발명의 일 실시예에 따른 공간-주파수 특징맵을 생성 장치의 구성을 보여주는 구성도이다.
도 2는 본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 방법을 보여주는 개념도이다.
도 4는 본 발명의 일 실시예에 따른 최적 주파수 대역 설정 방법을 보여주는 흐름도이다
도 5는 본 발명의 일 실시예에 최종 입력맵을 보여주는 개념도이다.1 is a block diagram showing the configuration of an apparatus for generating a spatial-frequency feature map according to an embodiment of the present invention.
2 is a flowchart illustrating a method for generating a spatial-frequency feature map according to an embodiment of the present invention.
3 is a conceptual diagram illustrating a method for generating a spatial-frequency feature map according to an embodiment of the present invention.
4 is a flowchart illustrating a method for setting an optimal frequency band according to an embodiment of the present invention.
5 is a conceptual diagram showing a final input map according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art can easily carry out the present invention. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And, in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" to another part, it includes a case in which it is "directly connected" or "electrically connected" with another element interposed therebetween. In addition, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.

본 발명은 딥러닝 기반의 뇌-컴퓨터 인터페이스를 위한 공간-주파수 특징맵을 생성하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a spatial-frequency feature map for a brain-computer interface based on deep learning.

구체적으로, 본 발명은 딥러닝 기반의 학습 모델의 경우 비선형적 조합으로 구성되기 때문에 선형 분류기와 달리 2차원이 아닌 3차원의 특징맵을 입력으로 사용할 수 있다는 기술적 구성을 적용하여 개발한 것이다. 본 발명은 사용자별로 최적화된 복수의 뇌 신호 주파수 영역을 산출하여, 이에 대응하는 복수의 2차원 특징맵을 생성하고, 이들을 3차원으로 복셀화한 입력맵을 생성하여 딥러닝을 통해 학습시키기 위한 것이다. Specifically, the present invention was developed by applying a technical configuration that, unlike a linear classifier, a 3-dimensional feature map instead of a 2-dimensional one can be used as an input because a deep learning-based learning model is configured with a non-linear combination. The present invention is to calculate a plurality of brain signal frequency regions optimized for each user, generate a plurality of two-dimensional feature maps corresponding thereto, and generate a three-dimensional voxelized input map for learning through deep learning. .

도 1은 본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 장치(100)의 생성 도이다.1 is a diagram illustrating an apparatus 100 for generating a spatial-frequency feature map according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 장치(100)는, 통신 모듈(110), 메모리(120), 프로세서(130), 데이터베이스(DB: 140)를 포함할 수 있다.Referring to FIG. 1 , an apparatus 100 for generating a spatial-frequency feature map according to an embodiment of the present invention includes a communication module 110 , a memory 120 , a processor 130 , and a database (DB: 140 ). can do.

통신 모듈(110)은 통신망과 연동하여 공간-주파수 특징맵 생성 장치(100)에 통신 인터페이스를 제공하는데, 사용자의 뇌 신호 측정 기기와 데이터를 송수신하는 역할을 수행할 수 있다. 여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.The communication module 110 provides a communication interface to the apparatus 100 for generating a spatial-frequency feature map by interworking with a communication network, and may serve to transmit/receive data to and from a user's brain signal measuring device. Here, the communication module 110 may be a device including hardware and software necessary for transmitting and receiving signals such as control signals or data signals through wired/wireless connection with other network devices.

메모리(120)는 공간-주파수 특징맵을 생성하기 위한 프로그램이 기록될 수 있다. 또한, 메모리(120)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(120)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.A program for generating a spatial-frequency feature map may be recorded in the memory 120 . In addition, the memory 120 may perform a function of temporarily or permanently storing data processed by the processor 130 . Here, the memory 120 may include a volatile storage medium or a non-volatile storage medium, but the scope of the present invention is not limited thereto.

프로세서(130)는 공간-주파수 특징맵 생성 장치(100)에서 공간-주파수 특징맵을 생성하기 위한 프로그램이 수행하는 전체 과정을 제어할 수 있다. 프로세서(130)가 수행하는 과정의 각 단계에 대해서는 도 2 내지 도 5를 참조하여 후술하기로 한다.The processor 130 may control the entire process performed by the program for generating the space-frequency feature map in the space-frequency feature map generating apparatus 100 . Each step of the process performed by the processor 130 will be described later with reference to FIGS. 2 to 5 .

여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로서, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.Here, the processor 130 may include all kinds of devices capable of processing data, such as a processor. Here, the 'processor' may refer to a data processing device embedded in hardware, for example, having a physically structured circuit to perform a function expressed as a code or an instruction included in a program. As an example of the data processing device embedded in the hardware as described above, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated (ASIC) circuit) and a processing device such as a field programmable gate array (FPGA), but the scope of the present invention is not limited thereto.

데이터베이스(140)는 공간-주파수 특징맵을 생성하기 위한 기초 정보가 되는 사용자별 뇌-신호 데이터, 이에 대응되는 주파수 대역 정보, 특징맵, 입력맵 등이 저장되는 것일 수 있다The database 140 may store brain-signal data for each user as basic information for generating a spatial-frequency feature map, frequency band information corresponding thereto, a feature map, an input map, and the like.

아래에서는 본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 장치(100)에 의하여 공간-주파수 특징맵을 생성하는 방법에 대하여 설명하기로 한다.Hereinafter, a method for generating a space-frequency feature map by the apparatus 100 for generating a space-frequency feature map according to an embodiment of the present invention will be described.

도 2는 본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 방법을 보여주는 흐름도이다. 도 3은 본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 방법을 보여주는 개념도이다.2 is a flowchart illustrating a method for generating a spatial-frequency feature map according to an embodiment of the present invention. 3 is a conceptual diagram illustrating a method for generating a spatial-frequency feature map according to an embodiment of the present invention.

도 2 및 도 3을 참조하면, 공간-주파수 특징맵 생성 장치(100)는 뇌 신호 측정부에 의하여 측정된 사용자의 동작상상 뇌 신호를 수신하는 단계(S200)를 수행할 수 있다. 2 and 3 , the apparatus 100 for generating a spatial-frequency feature map may perform an operation S200 of receiving a user's motion image brain signal measured by the brain signal measuring unit.

여기에서, 뇌 신호 측정부는 일 예로 뇌파 측정 장비(EEG: Electroencephalogram)로서, 사용자가 특정 동작상상을 수행했을 때 두피에서 발생하는 뇌 신호를 측정하는 것일 수 있다. Here, the brain signal measuring unit is, for example, an electroencephalogram (EEG), and may measure a brain signal generated from the scalp when the user performs a specific motion image.

도 4는 본 발명의 일 실시예에 따른 최적 주파수 대역 설정 방법을 보여주는 흐름도이다4 is a flowchart illustrating a method for setting an optimal frequency band according to an embodiment of the present invention.

도 4를 참조하면 단계(S200) 다음으로, 공간-주파수 특징맵 생성 장치(100)의 프로세서(130)는 통신 모듈(110)에 의하여 수신한 뇌 신호로부터 사용자별 최적화된 주파수 대역을 설정하는 단계(S210)를 수행할 수 있다.Referring to FIG. 4 , after step S200 , the processor 130 of the spatial-frequency feature map generating apparatus 100 sets a frequency band optimized for each user from the brain signal received by the communication module 110 . (S210) may be performed.

구체적으로, 프로세서(130)는 뇌 신호 측정부에 의하여 측정된 뇌 신호로부터 복수 개의 최초 주파수 대역을 설정하는 단계(S211)를 수행할 수 있다. 예를 들어, 뇌 신호로부터 검출되는 주파수를 일정한 크기의 범위로 구분하여 복수 개의 주파수 대역을 설정할 수 있다. Specifically, the processor 130 may perform the step of setting a plurality of initial frequency bands from the brain signal measured by the brain signal measuring unit (S211). For example, a plurality of frequency bands may be set by dividing a frequency detected from a brain signal into a range of a certain size.

그 다음으로, 프로세서(130)는 복수 개의 최초 주파수 대역을 상호 의존 정보(mutual information)가 높은 순서에 따라 정렬하는 단계(S212)를 수행할 수 있다. 여기에서, 상호 의존 정보는 복수 개의 변수 사이의 상호 의존성을 측정한 것으로서, 특정 변수의 정보량을 의미할 수 있다. 복수 개의 변수는 특징 벡터와 레이블을 포함할 수 있다. 특징 벡터는 복수 개의 최초 주파수 대역으로 필터링된 뇌 신호로부터 추출되는 것일 수 있다. 레이블은 사용자의 의도가 적용되는 사용자의 동작상상에 의한 신체 부위에 관한 것일 수 있다. 즉, 상호 의존 정보는 특징 벡터를 통해 사용자의 의도를 분류하기 위한 정보량을 의미할 수 있다.Next, the processor 130 may perform a step ( S212 ) of arranging the plurality of initial frequency bands in the order in which mutual information is high. Here, the interdependence information is a measure of interdependence between a plurality of variables, and may mean an information amount of a specific variable. The plurality of variables may include a feature vector and a label. The feature vector may be extracted from a brain signal filtered by a plurality of initial frequency bands. The label may relate to a body part according to the user's motion image to which the user's intention is applied. That is, the interdependence information may mean an amount of information for classifying a user's intention through a feature vector.

구체적으로, 특징 벡터는 아래의 [수학식 1]에 의해 추출되는 것일 수 있다.Specifically, the feature vector may be extracted by [Equation 1] below.

[수학식 1][Equation 1]

Figure 112019072392580-pat00001
Figure 112019072392580-pat00001

F: 특징 벡터F: feature vector

W: 공통공간패턴(CSP: Common Spatial Pattern) 알고리즘W: Common Spatial Pattern (CSP) Algorithm

Z: 최초 주파수 대역으로 필터링된 뇌 신호Z: brain signal filtered by the original frequency band

T: 전치행렬 표시T: display the transpose matrix

여기에서, 공통공간패턴 알고리즘은 공간패턴 사이의 차이를 극대화하는 특징을 찾아주는 알고리즘으로서, 동작상상 뇌 신호에 적합한 특징 추출방법일 수 있다. 특징 벡터의 의미는 특정 주파수 범위로 필터링한 뇌신호로부터 추출된 특징값이라고 할 수 있다.Here, the common space pattern algorithm is an algorithm that finds a feature that maximizes the difference between spatial patterns, and may be a feature extraction method suitable for a brain signal in motion imagination. The meaning of the feature vector can be said to be a feature value extracted from a brain signal filtered in a specific frequency range.

그 다음으로, 프로세서(130)는 정렬된 최초 주파수 대역 중 상위 N개의 주파수 대역을 최적 주파수 대역으로 설정하는 단계(S213)를 수행할 수 있다.Next, the processor 130 may perform the step of setting the upper N frequency bands among the sorted initial frequency bands as the optimal frequency bands ( S213 ).

한편, 상호 의존 정보는 아래의 [수학식 2]에 의해 산출되는 것일 수 있다.Meanwhile, the interdependence information may be calculated by the following [Equation 2].

[수학식 2] [Equation 2]

Figure 112019072392580-pat00002
Figure 112019072392580-pat00002

Figure 112019072392580-pat00003
Figure 112019072392580-pat00003

Figure 112019072392580-pat00004
Figure 112019072392580-pat00004

I(Fi , Y): 상호 의존 정보I(F i , Y): interdependent information

Fi: i번째 최초 주파수 대역으로 필터링한 뇌신호로부터 추출된 특징 벡터F i : Feature vector extracted from the brain signal filtered by the i-th first frequency band

Y: 레이블Y: label

H(Y): 엔트로피H(Y): entropy

H(Y|Fi): 조건부 엔트로피H(Y|F i ): conditional entropy

C: 사용자의 동작상상 신체 부위의 개수C: The number of body parts in the user's motion image

이로써 상호 의존 정보가 산출되고, 이를 통해 주파수의 모집단을 순차로 정렬하여 상위 N 개의 주파수 대역을 추출할 수 있다. 이러한 주파수 대역들이 공간-주파수 특징맵을 생성할 때 활용될 수 있다. As a result, interdependence information is calculated, and the upper N frequency bands can be extracted by sequentially aligning a population of frequencies. These frequency bands may be utilized when generating a spatial-frequency feature map.

단계(S210) 다음으로, 공간-주파수 특징맵 생성 장치(100)의 프로세서(130)는 미리 설정된 N개의 최적 주파수 대역을 통해 뇌 신호를 필터링하는 단계(S220)를 수행할 수 있다. 즉, 각각의 최적 주파수 대역에 해당되는 뇌 신호들이 수집될 수 있는 것이다.After step S210, the processor 130 of the apparatus 100 for generating a spatial-frequency feature map may perform a step S220 of filtering the brain signal through preset N optimal frequency bands. That is, brain signals corresponding to each optimal frequency band may be collected.

단계(S210) 다음으로, 공간-주파수 특징맵 생성 장치(100)의 프로세서(130)는 필터링된 뇌 신호로부터 2차원 특징맵을 추출하는 단계(S230)를 수행할 수 있다.Step S210 Next, the processor 130 of the apparatus 100 for generating a spatial-frequency feature map may perform a step S230 of extracting a two-dimensional feature map from the filtered brain signal.

구체적으로, 2차원 특징맵은 아래의 [수학식 3]에 의하여 추출될 수 있다. Specifically, the two-dimensional feature map may be extracted by the following [Equation 3].

[수학식 3] [Equation 3]

Figure 112019072392580-pat00005
Figure 112019072392580-pat00005

M: 특징맵M: feature map

Z: 필터링된 뇌 신호Z: filtered brain signal

E: 뇌 신호 측정 채널 개수E: Number of brain signal measurement channels

t: 뇌 신호 측정 시간t: brain signal measurement time

T: 전치행렬 표시T: display the transpose matrix

여기에서, N개의 필터링된 뇌 신호들로부터 각각 N개의 특징맵을 추출할 수 있다. 필터링된 뇌 신호는 2차원 형태로서 뇌 신호를 측정한 채널의 개수와 뇌 신호를 측정한 시간의 크기로 구성(뇌 신호를 측정한 공간크기(E) x 뇌 신호를 측정한 시간크기(T))될 수 있다. 여기서 특징맵은 2차원 형태로서 (E x E)의 크기를 가질 수 있다.Here, N feature maps may be extracted from each of the N filtered brain signals. The filtered brain signal is a two-dimensional form, and consists of the number of channels measuring the brain signal and the size of the time at which the brain signal was measured (space size (E) where the brain signal was measured x time size (T) when the brain signal was measured ) can be Here, the feature map may have a size of (E x E) as a two-dimensional form.

도 5는 본 발명의 일 실시예에 최종 입력맵을 보여주는 개념도이다.5 is a conceptual diagram showing a final input map according to an embodiment of the present invention.

도 5를 참조하면 단계(S230) 다음으로, 공간-주파수 특징맵 생성 장치(100)의 프로세서(130)는 미리 추출된 2차원 특징맵을 3차원으로 복셀화하여 입력맵을 생성하는 단계(S240)를 수행할 수 있다. Referring to FIG. 5 , following step S230 , the processor 130 of the apparatus 100 for generating a spatial-frequency feature map generates an input map by voxelizing the pre-extracted two-dimensional feature map into three dimensions ( S240 ). ) can be done.

구체적으로 공간-주파수 특징맵 생성 장치(100)의 프로세서(130)는 뇌 신호를 각각의 최적 주파수 대역으로 필터링한 것으로부터 구해진 특징맵을 3차원으로 복셀화하여 입력맵을 생성할 수 있다.Specifically, the processor 130 of the spatial-frequency feature map generating apparatus 100 may generate an input map by voxelizing the feature map obtained from filtering the brain signal into each optimal frequency band in three dimensions.

여기에서, 분류기는 컨볼루션 신경망(CNN: Convolutional Neural Network) 분류기일 수 있다. 컨볼루션 신경망은 심층 신경망(DNN: Deep Neural Network)의 한 종류로, 하나 또는 여러 개의 콘볼루션 계층(convolutional layer)과 통합 계층(pooling layer), 완전하게 연결된 계층(fully connected layer)들로 구성된 신경망이다. 컨볼루션 신경망은 2차원 데이터의 학습에 적합한 구조를 가지고 있으며, 역전달(Backpropagation algorithm)을 통해 훈련될 수 있다. 따라서, 2차원 특징맵을 학습하여 3차원 입력맵을 생성하는 공간-주파수 특징맵 생성 장치(100)에 적합하다.Here, the classifier may be a convolutional neural network (CNN) classifier. A convolutional neural network is a type of deep neural network (DNN). It is a neural network composed of one or several convolutional layers, a pooling layer, and fully connected layers. am. The convolutional neural network has a structure suitable for learning two-dimensional data, and can be trained through a backpropagation algorithm. Accordingly, it is suitable for the apparatus 100 for generating a spatial-frequency feature map that generates a three-dimensional input map by learning a two-dimensional feature map.

단계(S240) 다음으로, 공간-주파수 특징맵 생성 장치(100)의 프로세서(130)는 분류기를 통해 입력맵을 학습하고 분류 결과를 출력하는 단계(S250)를 수행할 수 있다.Step S240 Next, the processor 130 of the apparatus 100 for generating a spatial-frequency feature map may learn an input map through a classifier and perform a step S250 of outputting a classification result.

본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 장치(100) 및 방법은 사용자마다 움직임 의도에 의해 반응하는 뇌파의 주파수 영역이 상이하다는 점을 고려하여, 사용자별로 최적화된 복수 개의 주파수 대역으로 뇌 신호를 필터링한 데이터를 이용하여 개인별로 최적화된 사용자 의도 분석을 수행할 수 있다. The apparatus 100 and method for generating a spatial-frequency feature map according to an embodiment of the present invention use a plurality of frequency bands optimized for each user in consideration of the fact that the frequency region of the brain wave that responds to each user's motion intention is different. User intention analysis optimized for each individual can be performed by using data obtained by filtering brain signals.

본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 장치(100) 및 방법은 최종 입력맵이 복수 개의 주파수 대역에 대한 특징맵으로 생성되도록 하여, 입력맵이 시간, 공간 및 주파수 정보를 모두 포함하여 높은 정보량을 갖게 되므로, 높은 정확도로 사용자의 의도를 분석할 수 있다. The apparatus 100 and method for generating a spatial-frequency feature map according to an embodiment of the present invention allow the final input map to be generated as a feature map for a plurality of frequency bands, so that the input map includes all of time, space, and frequency information. Therefore, since it has a high amount of information, it is possible to analyze the user's intention with high accuracy.

본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 장치(100) 및 방법은, 입력맵을 생성하는 과정에서 사용자에 최적화된 주파수 대역을 사용하므로, 종래의 뇌 신호 분류 기술이 사용자에 관계없이 공통된 주파수 대역을 분류에 사용하여 정확도가 낮아지는 단점을 극복할 수 있다.Since the spatial-frequency feature map generating apparatus 100 and method according to an embodiment of the present invention uses a frequency band optimized for a user in the process of generating an input map, the conventional brain signal classification technology can be used regardless of the user. By using a common frequency band for classification, the disadvantage of low accuracy can be overcome.

한편, 본 발명의 일 실시예에 따른 공간-주파수 특징맵 생성 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.Meanwhile, the method for generating a spatial-frequency feature map according to an embodiment of the present invention may be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Although the methods and systems of the present invention have been described with reference to specific embodiments, some or all of their components or operations may be implemented using a computer system having a general purpose hardware architecture.

이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains.

따라서, 본 발명에 개시된 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100: 공간-주파수 특징맵 생성 장치
110: 통신 모듈
120: 메모리
130: 프로세서
140: 데이터베이스100: Spatial-frequency feature map generating device
110: communication module
120: memory
130: processor
140: database

Claims (17)

공간-주파수 특징맵 생성 장치에 의하여 공간-주파수 특징맵을 생성하는 방법으로서,
(a) 뇌 신호 측정부에 의하여 측정된 사용자의 동작상상 뇌 신호를 수신하는 단계;
(b) 상기 수신한 뇌 신호로부터 사용자별 최적화된 주파수 대역을 설정하는 단계;
(c) 상기 설정된 최적 주파수 대역을 통해 상기 뇌 신호를 필터링하는 단계;
(d) 상기 필터링된 뇌 신호로부터 2차원 특징맵을 추출하는 단계; 및
(e) 상기 추출된 2차원 특징맵을 3차원으로 복셀화하여 입력맵을 생성하는 단계를 포함하되,
(b) 단계는,
상기 수신한 뇌 신호로부터 복수 개의 최초 주파수 대역을 설정하는 단계;
상기 복수 개의 최초 주파수 대역을 복수 개의 변수 사이의 상호 의존성에 관한 상호 의존 정보(mutual information)가 높은 순서에 따라 정렬하는 단계; 및
상기 정렬된 최초 주파수 대역 중 상위 N개의 주파수 대역을 최적 주파수 대역으로 설정하는 단계를 포함하고,
상기 상호 의존 정보는 하기 [수학식 2]에 의해 산출되는 것인, 공간-주파수 특징맵 생성 방법.
[수학식 2]
Figure 112021044751008-pat00023

Figure 112021044751008-pat00024

Figure 112021044751008-pat00025

I(Fi , Y): 상호 의존 정보
Fi: i번째 최초 주파수 대역으로 필터링한 뇌신호로부터 추출된 특징 벡터
Y: 레이블
H(Y): 엔트로피
H(Y|Fi): 조건부 엔트로피
C: 사용자의 동작상상 신체 부위의 개수
A method of generating a space-frequency feature map by a space-frequency feature map generating apparatus, comprising:
(a) receiving the brain signal of the user's motion image measured by the brain signal measuring unit;
(b) setting a frequency band optimized for each user from the received brain signal;
(c) filtering the brain signal through the set optimal frequency band;
(d) extracting a two-dimensional feature map from the filtered brain signal; and
(e) generating an input map by voxelizing the extracted two-dimensional feature map in three dimensions,
(b) step,
setting a plurality of initial frequency bands from the received brain signal;
arranging the plurality of initial frequency bands in an order of increasing mutual information on interdependence between a plurality of variables; and
Comprising the step of setting the upper N frequency bands among the sorted initial frequency bands as optimal frequency bands,
The interdependence information will be calculated by the following [Equation 2], a method of generating a spatial-frequency feature map.
[Equation 2]
Figure 112021044751008-pat00023

Figure 112021044751008-pat00024

Figure 112021044751008-pat00025

I(F i , Y): interdependent information
F i : Feature vector extracted from the brain signal filtered by the i-th first frequency band
Y: label
H(Y): entropy
H(Y|F i ): conditional entropy
C: The number of body parts in the user's motion image
 삭제delete 제1항에 있어서,
상기 복수 개의 변수는 특징 벡터와 레이블을 포함하고,
상기 특징 벡터는 복수 개의 최초 주파수 대역으로 필터링된 뇌 신호로부터 추출되는 것이고, 상기 레이블은 사용자의 동작상상에 의한 신체 부위에 관한 것인, 공간-주파수 특징맵 생성 방법.
According to claim 1,
The plurality of variables includes a feature vector and a label,
The feature vector is extracted from a brain signal filtered by a plurality of initial frequency bands, and the label relates to a body part according to a user's motion image.
 제3항에 있어서,
상기 특징 벡터는
Figure 112021502293299-pat00006
하기 [수학식 1]에 의해 추출되는 것인, 공간-주파수 특징맵 생성 방법.
[수학식 1]
Figure 112021502293299-pat00007

F: 특징 벡터
W: 공통공간패턴(CSP: Common Spatial Pattern) 알고리즘
Z: 최초 주파수 대역으로 필터링된 뇌 신호
T: 전치행렬 표시
4. The method of claim 3,
The feature vector is
Figure 112021502293299-pat00006
A method for generating a spatial-frequency feature map, which is extracted by the following [Equation 1].
[Equation 1]
Figure 112021502293299-pat00007

F: feature vector
W: Common Spatial Pattern (CSP) Algorithm
Z: brain signal filtered by the original frequency band
T: display the transpose matrix
 삭제delete 제1항에 있어서,
(d) 단계는, 하기 [수학식 3]에 의하여 상기 2차원 특징맵을 추출하는, 공간-주파수 특징맵 생성 방법.
[수학식 3]
Figure 112019072392580-pat00011

M: 특징맵
Z: 필터링된 뇌 신호
E: 뇌 신호 측정 채널 개수
t: 뇌 신호 측정 시간
T: 전치행렬 표시
According to claim 1,
Step (d) is, extracting the two-dimensional feature map by the following [Equation 3], a spatial-frequency feature map generating method.
[Equation 3]
Figure 112019072392580-pat00011

M: feature map
Z: filtered brain signal
E: Number of brain signal measurement channels
t: brain signal measurement time
T: display the transpose matrix
 제1항에 있어서,
(f) 분류기에 의하여 상기 입력맵을 학습하고 분류 결과를 출력하는 단계를 더 포함하는, 공간-주파수 특징맵 생성 방법.
According to claim 1,
(f) learning the input map by a classifier and outputting a classification result, the spatial-frequency feature map generating method.
 제7항에 있어서,
상기 분류기는 컨볼루션 신경망(CNN: Convolutional Neural Network) 분류기인, 공간-주파수 특징맵 생성 방법.
8. The method of claim 7,
The classifier is a convolutional neural network (CNN) classifier, a method for generating a spatial-frequency feature map.
 공간-주파수 특징맵 생성 장치에 있어서,
공간-주파수 특징맵을 생성하는 프로그램이 저장된 메모리;
상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하고,
상기 프로세서는 상기 프로그램의 수행에 따라,
뇌 신호 측정부에 의하여 측정된 사용자의 동작상상 뇌 신호를 수신하고, 상기 수신한 뇌 신호로부터 사용자별 최적화된 주파수 대역을 설정하고, 상기 설정된 최적 주파수 대역을 통해 상기 뇌 신호를 필터링하고, 상기 필터링된 뇌 신호로부터 2차원 특징맵을 추출하고, 상기 추출된 2차원 특징맵을 3차원으로 복셀화하여 입력맵을 생성하되,
상기 최적 주파수 대역을 설정하기 위하여, 상기 수신한 뇌 신호로부터 복수 개의 최초 주파수 대역을 설정하고, 상기 복수 개의 최초 주파수 대역을 복수 개의 변수 사이의 상호 의존성에 관한 상호 의존 정보(mutual information)가 높은 순서에 따라 정렬하고, 상기 정렬된 최초 주파수 대역 중 상위 N개의 주파수 대역을 최적 주파수 대역으로 설정하고,
상기 상호 의존 정보는 하기 [수학식 5]에 의해 산출되는 것인, 공간-주파수 특징맵 생성 장치.
[수학식 5]
Figure 112021044751008-pat00026

Figure 112021044751008-pat00027

Figure 112021044751008-pat00028

I(Fi , Y): 상호 의존 정보
Fi: i번째 최초 주파수 대역으로 필터링한 뇌신호로부터 추출된 특징 벡터
Y: 레이블
H(Y): 엔트로피
H(Y|Fi): 조건부 엔트로피
C: 사용자의 동작상상 신체 부위의 개수
An apparatus for generating a spatial-frequency feature map, comprising:
a memory in which a program for generating a spatial-frequency feature map is stored;
A processor for executing a program stored in the memory;
The processor according to the execution of the program,
Receives the user's motion image brain signal measured by the brain signal measurement unit, sets an optimized frequency band for each user from the received brain signal, filters the brain signal through the set optimal frequency band, and the filtering Extracting a two-dimensional feature map from the brain signal, and generating an input map by voxelizing the extracted two-dimensional feature map in three dimensions,
In order to set the optimal frequency band, a plurality of initial frequency bands are set from the received brain signal, and mutual information about the interdependence between a plurality of variables is set in the order of the plurality of initial frequency bands in a higher order. and set the top N frequency bands among the sorted first frequency bands as the optimal frequency bands,
The interdependence information will be calculated by the following [Equation 5], a spatial-frequency feature map generating apparatus.
[Equation 5]
Figure 112021044751008-pat00026

Figure 112021044751008-pat00027

Figure 112021044751008-pat00028

I(F i , Y): interdependent information
F i : Feature vector extracted from the brain signal filtered by the i-th first frequency band
Y: label
H(Y): entropy
H(Y|F i ): conditional entropy
C: The number of body parts in the user's motion image
 삭제delete 제9항에 있어서,
상기 복수 개의 변수는 특징 벡터와 레이블을 포함하고,
상기 특징 벡터는 복수 개의 최초 주파수 대역으로 필터링된 뇌 신호로부터 추출되는 것이고, 상기 레이블은 사용자의 동작상상에 의한 신체 부위에 관한 것인, 공간-주파수 특징맵 생성 장치.
10. The method of claim 9,
The plurality of variables includes a feature vector and a label,
The feature vector is extracted from a brain signal filtered by a plurality of initial frequency bands, and the label relates to a body part according to a user's motion image.
 제11항에 있어서,
상기 특징 벡터는
Figure 112021502293299-pat00012
하기 [수학식 4]에 의해 추출되는 것인, 공간-주파수 특징맵 생성 장치.
[수학식 4]
Figure 112021502293299-pat00013

F: 특징 벡터
W: 공통공간패턴(CSP: Common Spatial Pattern) 알고리즘
Z: 최초 주파수 대역으로 필터링된 뇌 신호
T: 전치행렬 표시
12. The method of claim 11,
The feature vector is
Figure 112021502293299-pat00012
A spatial-frequency feature map generating device, which is extracted by the following [Equation 4].
[Equation 4]
Figure 112021502293299-pat00013

F: feature vector
W: Common Spatial Pattern (CSP) Algorithm
Z: brain signal filtered by the original frequency band
T: display the transpose matrix
 삭제delete 제9항에 있어서,
상기 2차원 특징맵을 추출하기 위하여, 하기 [수학식 6]에 의하여 상기 2차원 특징맵을 추출하는, 공간-주파수 특징맵 생성 장치.
[수학식 6]
Figure 112020113588844-pat00017

M: 특징맵
Z: 필터링된 뇌 신호
E: 뇌 신호 측정 채널 개수
t: 뇌 신호 측정 시간
T: 전치행렬 표시
10. The method of claim 9,
In order to extract the two-dimensional feature map, the spatial-frequency feature map generating apparatus for extracting the two-dimensional feature map by the following [Equation 6].
[Equation 6]
Figure 112020113588844-pat00017

M: feature map
Z: filtered brain signal
E: Number of brain signal measurement channels
t: brain signal measurement time
T: display the transpose matrix
 제 9항에 있어서,
분류기에 의하여 상기 입력맵을 학습하고 분류 결과를 출력하는 단계를 더 포함하는, 공간-주파수 특징맵 생성 장치.
10. The method of claim 9,
The apparatus for generating a spatial-frequency feature map, further comprising: learning the input map by a classifier and outputting a classification result.
 제15항에 있어서,
상기 분류기는 컨볼루션 신경망(CNN: Convolutional Neural Network) 분류기인, 공간-주파수 특징맵 생성 장치.
16. The method of claim 15,
The classifier is a convolutional neural network (CNN) classifier, a spatial-frequency feature map generating apparatus.
 제1항, 제3항, 제4항, 제6항, 제7항 및 제8항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium recording a program for executing the method of any one of claims 1, 3, 4, 6, 7 and 8 on a computer.
KR1020190085354A 2018-11-20 2019-07-15 Apparatus and method for generating a space-frequency feature map for deep-running based brain-computer interface KR102300459B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180143330 2018-11-20
KR1020180143330 2018-11-20

Publications (3)

Publication Number Publication Date
KR20200059129A KR20200059129A (en) 2020-05-28
KR102300459B1 true KR102300459B1 (en) 2021-09-10
KR102300459B9 KR102300459B9 (en) 2023-09-07

Family

ID=70920492

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190085354A KR102300459B1 (en) 2018-11-20 2019-07-15 Apparatus and method for generating a space-frequency feature map for deep-running based brain-computer interface

Country Status (1)

Country Link
KR (1) KR102300459B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102459296B1 (en) * 2020-07-22 2022-10-27 울산과학기술원 Method and apparatus for extracting neuronal networking properties related to kinematic parameters for decoding process
KR102570451B1 (en) * 2022-07-29 2023-08-28 고려대학교 세종산학협력단 Apparatus and method for design parameter evaluation of user-adapted voice-user interaction system using bio-signals

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130231552A1 (en) 2012-03-05 2013-09-05 Siemens Corporation Method and System for Diagnosis of Attention Deficit Hyperactivity Disorder from Magnetic Resonance Images
KR101724939B1 (en) * 2015-10-28 2017-04-07 한양대학교 산학협력단 System and method for predicting intention of user using brain wave

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101293446B1 (en) 2011-04-29 2013-08-05 가톨릭대학교 산학협력단 Electroencephalography Classification Method for Movement Imagination and Apparatus Thereof
KR101842750B1 (en) * 2015-11-26 2018-03-27 인하대학교 산학협력단 Realtime simulator for brainwaves training and interface device using realtime simulator
KR101777948B1 (en) * 2016-02-19 2017-09-12 정영규 Apparatus for automatically detecting an object using an entropy and difference of background rate of change
EP3706617A4 (en) * 2017-11-10 2021-08-18 LVIS Corporation Efficacy and/or therapeutic parameter recommendation using individual patient data and therapeutic brain network maps
KR20190060606A (en) * 2017-11-24 2019-06-03 삼성전자주식회사 Apparatus and method for diagnosis of medical image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130231552A1 (en) 2012-03-05 2013-09-05 Siemens Corporation Method and System for Diagnosis of Attention Deficit Hyperactivity Disorder from Magnetic Resonance Images
KR101724939B1 (en) * 2015-10-28 2017-04-07 한양대학교 산학협력단 System and method for predicting intention of user using brain wave

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
동작 상상 기반 뇌-컴퓨터 인터페이스를 위한 사용자 종속적 주파수 필터 선택 방법. 안혜수 외 2명. 한국정보과학회 학술발표논문집. 2016.12. 567-569(3 pages)

Also Published As

Publication number Publication date
KR102300459B9 (en) 2023-09-07
KR20200059129A (en) 2020-05-28

Similar Documents

Publication Publication Date Title
Bashivan et al. Learning representations from EEG with deep recurrent-convolutional neural networks
Amin et al. Deep Learning for EEG motor imagery classification based on multi-layer CNNs feature fusion
JP6983937B2 (en) Structural learning in convolutional neural networks
Ko et al. Multi-scale neural network for EEG representation learning in BCI
CN108268885B (en) Feature point detection method, device, and computer-readable storage medium
CN111317468B (en) Electroencephalogram signal classification method, electroencephalogram signal classification device, computer equipment and storage medium
Zheng et al. Transfer components between subjects for EEG-based emotion recognition
Jang et al. EEG-based video identification using graph signal modeling and graph convolutional neural network
KR20190030612A (en) System for providing subject-independent brain-computer interface and method thereof
Taqi et al. Classification and discrimination of focal and non-focal EEG signals based on deep neural network
KR102361005B1 (en) Device and method for optimal channel selection using correlation and filter-bank common spatial pattern features in brain-computer interface
CN106408550A (en) Improved self-adaptive multi-dictionary learning image super-resolution reconstruction method
KR102300459B1 (en) Apparatus and method for generating a space-frequency feature map for deep-running based brain-computer interface
Nguyen et al. Tensor-variate restricted Boltzmann machines
CN114415842B (en) Brain-computer interface decoding method and device based on locus equivalent enhancement
Liu et al. LEICA: Laplacian eigenmaps for group ICA decomposition of fMRI data
KR20190048279A (en) Image processing method and apparatus using convolution neural network
CN114424940A (en) Emotion recognition method and system based on multi-mode spatiotemporal feature fusion
CN112990008A (en) Emotion recognition method and system based on three-dimensional characteristic diagram and convolutional neural network
KR20190136891A (en) Electronic apparatus and control method thereof
WO2023148471A1 (en) Classification of brain activity signals
CN116548985A (en) Electroencephalogram signal feature extraction method and device, computer equipment and storage medium
KR20200053411A (en) Deep learning based artificial electroencephalogram signal generation method and apparatus
CN115721323A (en) Brain-computer interface signal identification method and system and electronic equipment
Takeishi et al. Discriminant Dynamic Mode Decomposition for Labeled Spatiotemporal Data Collections

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
J202 Request for trial for correction [limitation]
J301 Trial decision

Free format text: TRIAL NUMBER: 2021105000126; TRIAL DECISION FOR CORRECTION REQUESTED 20211101

Effective date: 20220124

G170 Re-publication after modification of scope of protection [patent]