KR101416616B1 - Word speller based on multi-bio signals - Google Patents

Word speller based on multi-bio signals Download PDF

Info

Publication number
KR101416616B1
KR101416616B1 KR1020120156380A KR20120156380A KR101416616B1 KR 101416616 B1 KR101416616 B1 KR 101416616B1 KR 1020120156380 A KR1020120156380 A KR 1020120156380A KR 20120156380 A KR20120156380 A KR 20120156380A KR 101416616 B1 KR101416616 B1 KR 101416616B1
Authority
KR
South Korea
Prior art keywords
character
target
signal
matrix
safety
Prior art date
Application number
KR1020120156380A
Other languages
Korean (ko)
Inventor
김덕환
이병훈
유재환
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020120156380A priority Critical patent/KR101416616B1/en
Application granted granted Critical
Publication of KR101416616B1 publication Critical patent/KR101416616B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Neurology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Dermatology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

A word speller based on multi-bio signals disclosed. The word speller based on multi-bio signals includes an electroencephalogram signal processing unit determining target candidate characters in the manner of selecting one character from each of multiple character matrices based on the electroencephalogram signal of a human being corresponding to the multiple character matrix on which different characters are arranged; a safety signal processing unit detecting a character matrix gazed by the human being among the multiple character matrices based on the safety signal of the human being; and a target character determining unit determining, as a target character, a character belonging to the character matrix detected by the safety signal processing unit among the target candidate characters.

Description

다중 생체 신호 기반의 워드 스펠러{Word speller based on multi-bio signals}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a word-

본 발명은 뇌-컴퓨터 인터페이스에 관한 것으로, 특히 다중 생체 신호 기반의 워드 스펠러에 관한 것이다.The present invention relates to a brain-computer interface, and more particularly, to a multi-bio-signal-based word speller.

용한Yong

뇌-컴퓨터 인터페이스(Brain computer interface: BCI) 기술은 두뇌 활동으로 발생되는 뇌전도 신호를 이용하여 컴퓨터, 휠체어 또는 가상 공간 같은 외부 장치를 제어하기 위한 제어 명령어로 변환하는 기술이다. BCI를 활용하면 사용자의 의도를 감지할 뿐만 아니라 감정 및 인지 상태 정보를 뇌파로부터 추출하고 게임에 적용하여 몰입도를 높여주는 역할도 할 수 있다.Brain computer interface (BCI) technology is a technology that converts brain-conduction signals generated by brain activity into control commands for controlling external devices such as computers, wheelchairs, or virtual spaces. BCI can be used not only to detect user 's intention but also to extract emotional and cognitive status information from EEG and apply it to game to increase immersion.

BCI가 통신 및 제어 수단으로 활용되는 분야는 비디오 게임, 로봇 팔 제어, 휠체어 제어 등 다양하게 존재하지만 가장 기본이 되는 응용 분야인 단어 입력기(word speller) 관련 연구는 여전히 활발히 이뤄지고 있다.There are various fields where BCI is used as a communication and control means such as video game, robot arm control, and wheelchair control, but research on word speller, which is the most basic application field, is still actively carried out.

다양한 뇌 신호 측정 방법 중에서도 비침습형 뇌전도(Electroencephalograpy: EEG) 신호를 이용한 BCI 기법이 상대적으로 다른 장비에 비해 활용도가 높아 건강한 사람들도 다른 인터페이스 장치에 보조적인 역할로 사용될 수 있지만 여전히 대다수의 장비는 고가의 하드웨어 장비와 번거로운 측정 방법으로 활용하기가 쉽지 않다. 하지만 이모티브(Emotiv)나 뉴로 스카이(Neuro Sky) 등과 같은 저렴한 EEG 장비들이 지속적으로 출시되고 있으며 상황에 따라 P300 이나 SSVEP(Steady state visual evoked potential) 등에 기반한 BCI 기법을 적용하면 일정 수준의 성능이 나오며 제한된 용도로 활용이 가능하다.Among the various brain signal measurement methods, the BCI technique using the non-invasive electroencephalogram (EEG) signal can be used as an auxiliary function to the other interface device because the utilization of the BCI technique is relatively higher than that of the other equipment. However, It is not easy to use it as hardware equipment and cumbersome measurement method. However, inexpensive EEG devices such as Emotiv and Neuro Sky are constantly on the market. Depending on the situation, the BCI technique based on P300 or SSVEP (steady state visual evoked potential) It can be used for a limited purpose.

P300 기법은 뇌에 시각, 청각 또는 그 외의 자극이 주어지면 자극이 주어진 이후 300ms 이후에 특정 뇌 영역에서 포지티브 신호(Positive signal)이 발생되며 이러한 신호를 이용하여 사용자의 의도를 감지하기 위한 기법을 말한다. P300은 다른 기법에 비해 별도의 트레이닝 없이 신호 발생 가능하며 경우에 따라 적은 채널의 수만으로도 신호 감지할 수 있다는 장점이 있다.The P300 technique refers to a technique for detecting a user's intention by generating a positive signal in a specific brain region 300 ms after the stimulus is given when the brain is given visual, auditory, or other stimuli . The P300 has the advantage of being able to generate a signal without training in comparison with other techniques and, in some cases, to detect a signal with only a small number of channels.

자극 발생으로 뇌에서 유발되는 P300 신호를 감지하기 위해서는 일정 회수의 반복이 필요하며 그에 따른 시간이 소요된다. 입력해야 하는 명령의 수가 많아 질수록 발생시키는 전체 자극 회수가 많아지게 되며 그에 따른 수행 속도가 떨어질 수 밖에 없다.To detect the P300 signal induced by brain stimulation, it takes a certain number of repetitions and it takes time. As the number of commands to be input increases, the total number of stimuli to be generated increases, and the speed of execution accordingly decreases.

사상 유발 전위(event related potential: ERP) 감지는 BCI를 구성하는 방법중의 하나로 P300 기반의 워드 스펠러가 대표적인 응용 방법이다. 기존 P300 기반의 워드 스펠러에 주로 사용하는 도 1에 도시된 바와 같은 RCP(row/column paradigm) 매트릭스 구성은 자극이 열(Row)과 행(Column) 단위로 발생되게 하며 P300 신호들이 발생되는 열과 행의 교차 지점의 문자가 최종 선택된다.Event related potential (ERP) detection is one of the methods of constructing BCI, and P300 based word speller is a typical application method. The row / column paradigm (RCP) matrix configuration shown in FIG. 1, which is mainly used in the conventional P300-based word speller, causes the stimulus to be generated in units of row and column, The character at the intersection of the row is finally selected.

P300 스펠러의 성능을 향상시키기 위한 분류 알고리즘으로서, support vector machine, neural networks, Bayesian linear discriminant analysis 및 다중 분류 시스템에 대한 많은 연구들이 수행되었으며, 매트릭스 사이즈, 자극 빈도, 그리고 전극 부착 개수 및 위치들에 따른 성능 평가에 대한 많은 연구도 수행되어 왔다. 이러한 연구들로 많은 성능 개선이 이루어졌지만 기본적으로 스펠러에 적용되는 문자가 많아질수록 자극 발생을 위해 소요 시간이 늘어남으로써 발생되는 성능 감소 해결에 대한 연구는 부족하다. 다시 말하여, 기존의 워드 스펠러들은 감지 속도 및 정확도을 향상시키기 곤란하였다.A number of studies have been carried out on support vector machines, neural networks, Bayesian linear discriminant analysis and multiple classification systems as classification algorithms to improve the performance of the P300 speller. Matrix size, frequency of stimulation, There have been many studies on performance evaluation. Although many performance improvements have been made with these studies, there is a lack of research on solving the performance degradation caused by the increase in the time required for stimulation as the number of characters applied to the speller increases. In other words, conventional word spurs have been difficult to improve detection speed and accuracy.

한편, EOG는 특정 대상의 위치에 따라 수직 수평 EOG 신호가 발생되며 이러한 EOG의 특성을 이용하여 안구 운동량 및 움직임을 측정하기 위한 연구가 이뤄지고 있다. 기존 연구에서 P300 스펠러의 타겟 문자를 바라보면 응시하지 않았을 때 보다 시각유발 전위(Visual evoked potential: VEP) 신호가 더 명확해 진다는 연구 내용은 있었다. 그러나, 사지마비 환자의 안구가 마비되어 타겟 문자의 응시가 불가능할 때는 VEP를 이용한 P300 스펠러 활용의 효과가 감소한다는 실험 결과만 보여주고 있으며 EOG신호를 활용한 워드 스펠러의 예는 찾아 볼 수 없었다.On the other hand, in the EOG, vertical and horizontal EOG signals are generated depending on the position of a specific object, and studies are being conducted to measure eye movement and motion using the characteristics of the EOG. In previous studies, there was research that the visual evoked potential (VEP) signal becomes clearer when the target character of the P300 speller is looked at. However, when the paralysis of the limb paralysis is impossible and the target character can not be gazed, only the experimental results show that the effect of the P300 speller using VEP is reduced, and no example of the word speller using the EOG signal can be found .

공개특허 10-2012-100320 (공개일자 : 2012. 09. 12)Published patent application No. 10-2012-100320 (Publication date: 2012. 09.12)

A. Nijholt, D. Tan, B. Alison, J. del R. Milan, B. Graimann, "BrainGain: BCI for HCI and games,"Proceedings of the AISB Symposium on Brain Computer Interfaces and Human Computer Interaction: A Convergence of Ideas, Aberdeen, pp.32-35, 2008.A. Nijholt, D. Tan, B. Alison, J. Del R. Milan, B. Graimann, "BrainGain: BCI for HCI and games," Proceedings of the AISB Symposium on Brain Computer Interfaces and Human Computer Interaction: A Convergence of Ideas, Aberdeen, pp. 32-35, 2008.

본 발명의 실시 예들은 상기한 문제점을 해결하기 위한 다중 생체 신호 기반의 워드 스펠러에 관한 것이다.Embodiments of the present invention relate to a multi-bio-signal based word speller to solve the above problems.

본 실시 예들은 감지 속도를 향상시킬 수 있는 다중 생체 신호 기반의 워드 스펠러를 제공하는 것이다.The present embodiments provide a word speller based on multiple bio-signals that can improve the detection speed.

또한, 본 실시 예들은 정확도를 향상시킬 수 있는 다중 생체 신호 기반의 워드 스펠러를 제공하는 것이다. In addition, the present embodiments provide a multi-bio-signal based word speller that can improve accuracy.

본 발명의 일 실시 예에 따른 다중 생체 신호 기반의 워드 스펠러는: 서로 다른 문자들이 배열되어진 다중 문자 매트릭스에 대응한 사람의 뇌전도 신호에 근거하여 다중 문자 매트릭스 각각으로부터 한 문자씩을 선택하는 형태로 타겟 후보 문자들을 결정하는 뇌전도 신호 처리부; 상기 사람의 안전도 신호에 근거하여 상기 다중 문자 매트릭스 중 사람이 응시한 문자 매트릭스를 검출하는 안전도 신호 처리부; 및 상기 타겟 후보 문자들 중 상기 안전도 신호 처리부에 의해 검출된 문자 매트릭스에 속하는 문자를 타겟 문자로 결정하는 타겟 문자 결정부를 포함하는 것을 특징으로 한다.The multi-bio-signal-based word speller according to an embodiment of the present invention may be configured to select one character from each of multiple-character matrices based on a human's electroencephalogram signal corresponding to a multi-character matrix in which different characters are arranged, An electroencephalogram signal processing unit for determining candidate characters; A safety signal processor for detecting a character matrix of the multiple character matrix based on the safety signal of the person; And a target character determiner for determining, as a target character, a character belonging to the character matrix detected by the safety degree signal processor among the target candidate characters.

본 발명의 실시 예들에 따르면, 워드 스펠러는 다중 매트릭스에 대한 시각 자극들이 동시에 발생되도록 하고, 타겟 문자에 대한 시각 자극이 주어질 때 뇌전도로 발생하는 P300 신호를 분류 처리하여 타겟 문자를 감지한다. 또한 기존의 노이즈 제거를 위해 보조적인 생체신호로 활용되는 안전도(EOG)를 이용하여 매트릭스들 중 타겟 문자를 포함하는 매트릭스를 판별하는데 활용함으로써 전체적인 자극 발생시간(즉, 감지 속도)이 단축될 수 있다. 다시 말하여, 매트릭스 내의 문자를 감지하기 위해서는 뇌전도 신호를 사용하고 매트릭스를 판별하기 위해서는 안전도 신호를 활용하기 때문에, 워드 스펠러의 정확도가 향상될 수 있다.According to embodiments of the present invention, the word speller detects the target character by causing the visual stimuli for multiple matrices to be generated simultaneously, and classifying the P300 signal generated by the electroencephalogram when the visual stimulus for the target character is given. In addition, by using the safety diagram (EOG) used as an auxiliary bio-signal for eliminating the existing noise, the overall stimulation occurrence time (i.e., sensing speed) can be shortened by utilizing the matrix to identify the matrix including the target character have. In other words, the accuracy of the word speller can be improved because it uses an electroencephalogram signal to sense characters in the matrix and a safety signal to identify the matrix.

도 1은 기존의 P300 기반의 워드 스펠러에 사용된 문자 매트릭스를 도시하는 도면이다.
도 2는 본 발명의 실시 예에 따른 다중 생체 신호 기반의 워드 스펠러를 도시하는 블록도이다.
도 3은 본 발명의 실시 예에 따른 다중 생체 신호 기반의 워드 스펠러에 사용되는 다중 문자 매트릭스들을 도시하는 도면이다.
도 4a 및 도 4b는 도 3의 다중 문자 매트릭스 각각에서 선택되는 열 및 행 을 설명하는 도면이다.
도 5는 본 발명의 실시 예에 따른 다중 생체 신호 기반의 워드 스펠러가 EOG 신호에 근거하여 응시 매트릭스를 결정하는 과정을 설명하는 도면이다.
도 6은 피실험자에 대한 본 발명의 실시 예에 따른 다중 생체 신호 기반의 워드 스펠러의 실험 상태를 도시하는 사진이다.
도 7은 본 발명의 실시 예에 따른 다중 생체 신호 기반의 워드 스펠러에서 발생되는 P300 신호를 설명하는 데이터 시트이다.
도 8은 본 발명의 실시 예에 따른 다중 생체 신호 기반의 워드 스펠러에서 발생되는 매트릭스 상의 타겟 지점 별 수직 및 수평 EOG 신호들을 도시하는 데이터 시트이다.
도 9a 내지 도 9c는 본 발명의 실시 예에 따른 다중 생체 신호 기반의 워드 스펠러와 기존의 P300 기반의 워드 스펠러의 정확도 특성을 대비 설명하는 데이터 시트들이다.
도 10a 내지 도 10c는 본 발명의 실시 예에 따른 다중 생체 신호 기반의 워드 스펠러와 기존의 P300 기반의 워드 스펠러의 전송 속도을 대비 설명하는 데이터 시트들이다.
1 is a diagram showing a character matrix used in a conventional P300-based word speller.
2 is a block diagram illustrating a multi-bio-signal-based word speller in accordance with an embodiment of the present invention.
3 is a diagram illustrating multiple character matrices used in a multi-bio signal based word speller in accordance with an embodiment of the present invention.
Figs. 4A and 4B are diagrams illustrating rows and columns selected in each of the multiple character matrices of Fig. 3; Fig.
FIG. 5 is a diagram illustrating a process in which a word speller based on multiple bio-signals according to an embodiment of the present invention determines a reference matrix based on an EOG signal.
6 is a photograph showing an experimental state of a word speller based on multiple bio-signals according to an embodiment of the present invention for a subject.
7 is a data sheet illustrating a P300 signal generated in a word speller based on multiple bio-signals according to an embodiment of the present invention.
FIG. 8 is a data sheet showing vertical and horizontal EOG signals for a target point on a matrix generated in a word speller based on multiple bio-signals according to an embodiment of the present invention.
FIGS. 9A to 9C are data sheets illustrating the accuracy characteristics of a word speller based on multiple bio-signals and a conventional P300-based word speller according to an embodiment of the present invention.
FIGS. 10A to 10C are data sheets illustrating the transmission speeds of a multi-bio signal based word speller and a conventional P300 based word speller according to an embodiment of the present invention.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 바람직한 실시 예들에 따른 다중 생체 신호 기반의 워드 스펠러가 첨부된 도면들을 참조하여 상세하게 설명될 것이다. 본 발명의 실시 예들의 상세한 설명에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 구체적인 설명은 생략될 수 있다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described more fully hereinafter with reference to the accompanying drawings, in which exemplary embodiments of the invention are shown. . In the detailed description of the embodiments of the present invention, if it is determined that a detailed description of known configurations or functions related to the present invention can not be applied to the present invention, a detailed description thereof may be omitted.

도 2는 본 발명의 실시 예에 따른 다중 생체 신호 기반의 워드 스펠러의 구성을 도시한 블록도이다. 도 3은 본 발명의 실시 예에 따른 다중 생체 신호 기반의 워드 스펠러에 사용된 다중 문자 매트릭스를 도시하는 도면이다.FIG. 2 is a block diagram illustrating a configuration of a multi-bio-signal-based word speller according to an embodiment of the present invention. Referring to FIG. 3 is a diagram illustrating a multi-character matrix used in a multi-bio-signal-based word speller in accordance with an embodiment of the present invention.

도 2를 참조하면, 다중 생체 신호 기반의 워드 스펠러는 뇌전도(Electroencephalogram, EEG) 신호 처리부(10), 안전도(Electrooculogram, EOG) 신호 처리부(20) 및 타겟 문자 결정부(30)를 포함한다. 2, the multi-bio-signal based word speller includes an electroencephalogram (EEG) signal processor 10, an electrocardiogram (EOG) signal processor 20, and a target character determiner 30 .

상기 EEG 신호 처리부(10)는 사용자(또는 피실험자)로부터 EEG 신호들(예를 들면, P300 신호들)을 취득하여 그 EEG 신호들로부터 다중 문자 매트릭스의 타겟 문자들을 검출한다. 이를 위하여, 상기 EEG 신호 처리부(10)는 EEG 신호 취득부(12), 전처리 및 필터링부(14), 타겟 행/열 분류부(16) 및 타겟 후보 문자 선택부(18)를 포함한다.The EEG signal processing unit 10 acquires EEG signals (e.g., P300 signals) from a user (or a subject) and detects target characters of a multi-character matrix from the EEG signals. The EEG signal processing unit 10 includes an EEG signal acquisition unit 12, a preprocessing and filtering unit 14, a target row / column classification unit 16, and a target candidate character selection unit 18.

상기 다중 문자 매트릭스는 적어도 2 문자 매트릭스를 포함한다. 적어도 2 문자 매트릭스는 서로 다른 문자 및 숫자가 적어도 2 그룹으로 분류되고 그 분류된 문자들을 각각 포함한다. 예를 들면, 상기 다중 문자 매트릭스는, 도 3에 도시된 바와 같이, 제1 내지 제4 문자 매트릭스(MX1~MX4)를 포함할 수 있다. 제1 내지 제4 문자 매트릭스(MX1~MX4)는 알파벳 및 숫자가 4 그룹으로 분류되어진 서로 다른 문자 그룹을 포함한다. 제1 문자 매트릭스(MX1)는 3X3의 행렬로 배열되어진 "A 내지 I"의 알파벳 문자들을 포함한다. 제2 문자 매트릭스(MX2)는 3X3의 행렬로 배열되어진 "J 내지 R"의 알파벳 문자들을 포함한다. 제3 문자 매트릭스(MX3)는 3X3의 행렬로 배열되어진 "S 내지 Z"의 알파벳 문자들과 "0"의 숫자을 포함한다. 제4 문자 매트릭스(MX4)는 3X3의 행렬로 배열되어진 "1 내지 9"의 숫자들을 포함한다. 상기 제1 내지 제4 문자 매트릭스는 2X2의 행렬로 배열된다. 또한, 상기 제1 내지 제4 문자 매트릭스는 사용자(또는 피실험자)의 관측 위치에서 적어도 5°의 각도 차이가 발생될 수 있도록 서로로부터 이격되게 배치된다.The multi-character matrix includes at least two character matrices. At least two character matrices are categorized into at least two groups of different characters and numbers and each contain the categorized characters. For example, the multi-character matrix may include first through fourth character matrices MX1 through MX4, as shown in FIG. The first through fourth character matrices MX1 through MX4 include different character groups classified into four groups of alphanumeric characters. The first character matrix MX1 includes alphabetic characters "A to I" arranged in a matrix of 3X3. The second character matrix MX2 includes alphabetic characters "J to R" arranged in a matrix of 3X3. The third character matrix MX3 includes alphabetic characters "S to Z " and a number" 0 " arranged in a matrix of 3X3. The fourth character matrix MX4 includes "1 to 9" numbers arranged in a matrix of 3X3. The first through fourth character matrices are arranged in a matrix of 2x2. In addition, the first to fourth character matrices are spaced apart from each other such that an angular difference of at least 5 [deg.] Is generated at the observation position of the user (or the subject).

상기 EEG 신호 취득부(12)는 다수의 채널의 EEG 신호들을 사용자(또는 피실험자)로부터 감지한다. 예를 들면, 상기 EEG 신호 취득부(12)로는 14 채널의 EEG 신호를 사용자(또는 피실험자)로부터 감지할 수 있는 14채널(T7,T8,P7,P8,CP5,CP6,P3,P4,PO3,PO4,F7,F8,FP1,FP2)의 이모티브(Emotiv) EEG 헤드세트이 사용될 수 있으나, 이에 한정되는 것은 아니다. 이 경우, 상기 EEG 신호들로서는 P300 신호들이 될 수 있다.The EEG signal acquisition unit 12 detects EEG signals of a plurality of channels from a user (or a subject). For example, the EEG signal acquisition unit 12 includes 14 channels (T7, T8, P7, P8, CP5, CP6, P3, P4, PO3, Emotiv EEG head sets of PO4, F7, F8, FP1, FP2 may be used, but are not limited thereto. In this case, the EEG signals may be P300 signals.

상기 전처리 및 필터링부(14)는 대역 필터를 이용하여 대략 1~20Hz 주파수 영역대의 EEG 신호들을 추출한다. 상기 EEG 신호의 측정 시기 및 사용자마다 시각유발전위가 발생되는 신호의 위치가 조금씩 달라진다. 그런 만큼, EEG 신호들을 효과적으로 처리하기 위하여, 상기 전처리 및 필터링부(14)는 신호대잡음비를 증가 시켜주는 공간필터를 추가로 이용한다. 상기 전처리 및 필터링부(14)에 사용된 상기 공간 필터는 14 채널에 대한 트레이닝 데이터에 근거하여 14 채널들 각각에 대하여 가중치를 설정하고 각 채널별로 설정된 가중치에 따라 14 채널의 EEG 신호들 각각을 조정한다.The pre-processing and filtering unit 14 extracts EEG signals of a frequency band of approximately 1 to 20 Hz using a bandpass filter. The measurement timing of the EEG signal and the position of the signal where the visual evoked potential is generated for each user are slightly different. As such, in order to effectively process the EEG signals, the preprocessing and filtering unit 14 additionally uses a spatial filter to increase the signal-to-noise ratio. The spatial filter used in the preprocessing and filtering unit 14 sets a weight for each of the 14 channels based on training data for 14 channels and adjusts 14 channels of EEG signals according to a weight value set for each channel do.

상기 타겟 행/열 분류부(16)는 상기 전처리 및 필터링부(14)로부터 공급되는 EEG 신호들에 근거하여 각 문자 매트릭스 상의 타겟 열과 행을 결정한다. 타겟 열과 행을 결정하기 위하여, 상기 타겟 행/열 분류부(16)은 FLDA(Fisher Linear Discriminant Analysis) 기법을 사용할 수 있으나, 이에 한정되는 것은 아니다. 상기 FLDA 기법을 채용한 타겟 행/열 분류부(16)는 트레이닝 단계에서 얻어진 트레이닝 데이터에 근거하여 타겟 클래스와 논-타겟 클래스에 대한 클래스간 분산값과 클래스내 분산값을 산출하고 그 산출된 분산값들을 이용하여 각 클래스 내에서 분산에 대한 클래스 간의 분산 비율을 최대화하는 선형변환벡터를 미치 산출한다. 상기 트레이닝 데이터 얻기 위하여, 상기 타겟 행/열 분류부(16)는 상기 전처리 및 필터링부(14)로부터의 14채널의 EEG 신호들 각각을 초당 128번의 단위로 샘플링하고 그 샘플링된 데이터에 대해 자극 발생 이후 600ms 기간 동안 추출된 78개의 진폭 값을 기본특징값들로 트레이닝 데이터로서 제공한다. 그 후, 상기 전처리 및 필터링부(14)로부터 14채널의 EEG 신호들이 입력될 때, 상기 타겟 행/열 분류부(16)는 상기 선형변환벡터를 이용하여 상기 EEG 신호들 각각의 차원을 축소한 후 각 문자 매트릭스의 행들/열들 각각에 대한 타겟 클래스 및 논-타겟 클래스를 비교함으로서, 각 문자 매트릭스(MX) 상의 타겟 행 및 열을 결정한다. 신뢰도를 높이기 위해, 상기 타겟 행/열 분류부(16)는 차원 축소 및 비교 과정을 여러 번 (예를 들면, 12번) 반복할 수 있다. 이 경우, 타겟 행/열 분류부(16)는 가장 많이 타겟 클래스로 분류된 행과 열을 타겟 행 및 열로 결정한다. 이렇게 타겟 행/열 분류부(16)는 제1 내지 제4 문자 매트릭스(MX1~MX4) 각각에 대하여 한 쌍의 타겟 열 및 행을 결정한다. 다시 말하여, 타겟 행/열 분류부(16)에 의하여, 제1 내지 제4 문자 매트릭스에 대응하는 4쌍의 타겟 행 및 열이 결정된다. 예를 들면, 도 4a에 도시된 바와 같이, 제1 내지 제4 문자 매트릭스(MX1~MX3)에서 제3 컬럼들이 타겟 행/열 분류부(16)에 의해 선택될 수 있다. 아울러, 도 4b에 도시된 바와 같이, 제1 내지 제4 문자 매트릭스(MX1~MX4)에서 제3 열들이 타겟 행/열 분류부(16)에 의하여 선택될 수 있다.The target row / column classifier 16 determines a target column and a row on each character matrix based on the EEG signals supplied from the preprocessing and filtering unit 14. In order to determine a target column and a row, the target row / column classifier 16 may use a FLDA (Fisher Linear Discriminant Analysis) technique, but the present invention is not limited thereto. The target row / column classifying unit 16 employing the FLDA technique calculates a variance value between classes and a variance value between classes for the target class and the non-target class based on the training data obtained in the training step, Values are used to calculate a linear transformation vector that maximizes the variance ratio between classes for variance within each class. In order to obtain the training data, the target row / column sorting unit 16 samples each of 14 channels of EEG signals from the preprocessing and filtering unit 14 in units of 128 times per second and generates a stimulus The 78 amplitude values extracted for the following 600 ms period are provided as training data as basic feature values. Thereafter, when 14 channels of EEG signals are input from the pre-processing and filtering unit 14, the target row / column sorting unit 16 reduces the dimension of each of the EEG signals using the linear transformation vector Target rows and columns on each character matrix MX by comparing the target and non-target classes for each of the rows / columns of each character matrix. In order to increase the reliability, the target row / column classifier 16 may repeat the dimension reduction and comparison process several times (for example, 12 times). In this case, the target row / column classifier 16 determines the rows and columns classified as the target class as the target row and column most. In this manner, the target row / column classifier 16 determines a pair of target columns and rows for each of the first through fourth character matrices MX1 through MX4. In other words, by the target row / column classifier 16, four pairs of target rows and columns corresponding to the first through fourth character matrices are determined. For example, as shown in FIG. 4A, the third columns in the first through fourth character matrices MX1 through MX3 may be selected by the target row / column sorting unit 16. In addition, as shown in FIG. 4B, the third columns in the first through fourth character matrices MX1 through MX4 can be selected by the target row / column sorting unit 16.

상기 타겟 후보 문자 선택부(18)는 상기 타겟 행/열 분류부(16)로부터 공급된 4쌍의 타겟 행 및 열에 근거하여 제1 내지 제4 문자 매트릭스(MX1~MX4) 각각의 타겟 후보 문자를 결정한다. 다시 말하여, 타겟 후보 문자 선택부(18)은 각 쌍의 타겟 행과 타겟 열이 교차하는 지점에 위치한 알파벳 문자 또는 숫자를 타겟 후보 문자로 선택한다. 예를 들면, 제1 문자 매트릭스(MX1)에 대한 타겟 행과 타겟 열이 의하여 "A 내지 I"의 알파벳 문자들 중 어느 하나가 타겟 후보 문자로 선택될 수 있고, 제2 문자 매트릭스(MX2)에 대한 타겟 행과 타겟 열이 의하여 "J 내지 R"의 알파벳 문자들 중 어느 하나가 타겟 후보 문자로 선택될 수 있고, 제3 문자 매트릭스(MX3)에 대한 타겟 행과 타겟 열이 의하여 "S 내지 Z"의 문자들 및 "0"의 숫자 중 어느 하나가 타겟 후보 문자로 선택될 수 있고, 제4 문자 매트릭스(MX4)에 대한 타겟 행과 타겟 열이 의하여 "1 내지 9"의 숫자들 어느 하나가 타겟 후보 문자로 선택될 수 있다. 이렇게 타겟 후보 문자 선택부(18)는 타겟 행/열 분류부(16)으로부터의 4쌍의 타겟 행 및 열에 근거하여 4개의 타겟 후보 문자를 포함하는 타겟 후보 문자 그룹을 결정할 수 있다. 예를 들면, 도 4a 및 도 4b에 근거하여, 타겟 후보 문자 선택부(28)는 제1 문자 매트릭스(MX1)의 "I", 제2 문자 매트릭스(MX2)의 "R", 제3 문자 매트릭스(MX3)의 "0" 및 제4 문자 매트릭스(MX4)의 "9"을 타겟 후보 문자들로 선택할 수 있다.The target candidate character selector 18 selects target candidate characters of the first through fourth character matrices MX1 through MX4 based on the four pairs of target rows and columns supplied from the target row / . In other words, the target candidate character selector 18 selects an alphabet letter or a number located at a point where the target row and the target column of each pair intersect with each other as a target candidate character. For example, one of the alphabetical characters "A to I" may be selected as the target candidate character by the target row and target column for the first character matrix MX1, and the second character matrix MX2 One of the alphabetical characters of "J to R" may be selected as the target candidate character by the target row and the target column for the third character matrix MX3, and the target row and the target column for the third character matrix MX3 may be & "And the number of" 0 "may be selected as the target candidate character, and the target row and target column for the fourth character matrix MX4 may be any one of" 1 to 9 " It can be selected as a target candidate character. In this way, the target candidate character selector 18 can determine a target candidate character group including four target candidate characters based on four pairs of target rows and columns from the target row / column classifier 16. [ For example, based on FIGS. 4A and 4B, the target candidate character selector 28 selects the target letter character string "I" of the first character matrix MX1, "R" of the second character matrix MX2, Quot; 0 "of the fourth character matrix MX3 and" 9 "of the fourth character matrix MX4 as target candidate characters.

상기 EOG 신호 처리부(20)는 사용자(또는 피실험자)로부터 수평 및 수직 EOG 신호를 취득하여 그 EOG 신호들에 근거하여 다중 문자 매트릭스들(즉, 제1 내지 제4 문자 매트릭스(MX1~MX4)) 중 응시 문자 매트릭스를 검출한다. 이를 위하여, 상기 EOG 신호 처리부(20)는 EOG 신호 취득부(22), EOG 신호 보정부(24), 안구 위치 검출부(26) 및 응시 매트릭스 검출부(28)을 포함한다.The EOG signal processing unit 20 obtains the horizontal and vertical EOG signals from the user (or the subject), and generates the EOG signals based on the EOG signals of the multiple character matrices (i.e., the first to fourth character matrices MX1 to MX4) The test character matrix is detected. The EOG signal processing unit 20 includes an EOG signal acquisition unit 22, an EOG signal correction unit 24, an eye position detection unit 26, and a gaze matrix detection unit 28.

상기 EOG 신호 취득부(22)는 사용자(또는 피실험자)로부터 수평 및 수직 EOG 신호들을 취득한다. 이를 위하여, 상기 EOG 신호 취득부(22)는 바이오팍(BioPac)사에서 출시된 EOG 측정 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다. 상기 EOG 신호 취득부(22)에 의해 얻어진 상기 수평 및 수직 EOG 신호들은 상기 EOG 신호 보정부(24)에 공급된다.The EOG signal acquisition unit 22 acquires horizontal and vertical EOG signals from a user (or a subject). To this end, the EOG signal acquisition unit 22 may include an EOG measurement device manufactured by BioPac, but is not limited thereto. The horizontal and vertical EOG signals obtained by the EOG signal acquisition unit 22 are supplied to the EOG signal correction unit 24. [

상기 EOG 신호 보정부(24)는 상기 EOG 신호 취득부(22)로부터의 상기 수평 및 수직 EOG 신호들을 보정한다. 이 EOG 신호 보정부(24)에서 보정되어진 수평 및 수직 EOG 신호들은 안구 위치 검출부(26)에 공급된다.The EOG signal correcting unit 24 corrects the horizontal and vertical EOG signals from the EOG signal acquiring unit 22. The horizontal and vertical EOG signals corrected by the EOG signal correcting unit 24 are supplied to the eye position detecting unit 26.

상기 안구 위치 검출부(26)는 상기 EOG 신호 보정부(24)로부터의 보정된 수평 및 수직 EOG 신호에 근거하여 사용자(또는 피실험자)의 안구 위치를 검출한다. 이를 상세히 설명하면, 상기 안구 위치 검출부(26)는 상기 보정된 수평 EOG 신호를 수평 EOG 기준값(Vhor_ref)과 비교하여 안구가 좌우측 중 어디에 머물러 있는지를 검출할 수 있다. 또한, 상기 안구 위치 검출부(26)는 상기 보정된 수직 EOG 신호를 수직 EOG기준값(Vver_ref)과 비교하여 안구가 상하측 중 어디에 머물러 있는지를 검출할 수 있다. 상기 보정된 수평 EOG 신호와 상기 수평 EOG 기준값(Vhor_ref)과의 비교 결과 및 상기 보정된 수직 EOG 신호와 상기 수직 EOG 기준값(Vver_ref)과의 비교 결과는 안구 위치 검출 신호들로서 상기 응시 매트릭스 검출부(28)에 공급된다.The eye position detecting unit 26 detects the eye position of the user (or the subject) based on the corrected horizontal and vertical EOG signals from the EOG signal correcting unit 24. In detail, the eye position detecting unit 26 may detect where the eyeball stays on the right and left by comparing the corrected horizontal EOG signal with the horizontal EOG reference value Vhor_ref. In addition, the eyeball position detecting unit 26 may compare the corrected vertical EOG signal with the vertical EOG reference value Vver_ref to detect where the eyeball stays on the upper and lower sides. The result of the comparison between the corrected horizontal EOG signal and the horizontal EOG reference value Vhor_ref and the result of the comparison between the corrected vertical EOG signal and the vertical EOG reference value Vver_ref are input to the gaze matrix detector 28 as eye position detection signals, .

다른 방법으로, 상기 안구 위치 검출부(26)는 일정 기간동안의 상기 보정된 수평 및 수직 EOG 신호의 평균값을 산출하고, 산출된 수평 및 수직 EOG 평균값들을 상기 수평 및 수직 EOG 기준값(Vhor_ref, Vver_ref)과 각각 비교하여 안구의 위치를 좀 더 정확하게 검출할 수 있다. 상기 보정된 수평 EOG 신호의 평균값은 상기 보정된 수평 EOG 신호를 소정 시간 간격으로 수회 샘플링하고 그 샘플링된 수평 EOG 값들을 평균함에 의하여 얻어질 수 있다. 상기 보정된 수직 EOG 신호의 평균값은 상기 보정된 수직 EOG 신호를 소정 시간 간격으로 수회 샘플링하고 그 샘플링된 수직 EOG 값들을 평균함에 의하여 얻어질 수 있다. 상기 수평 및 수직 EOG 신호의 평균값들은 수학식 1 및 수학식 2와 같이 산출될 수 있다.Alternatively, the eye-position detecting unit 26 may calculate an average value of the corrected horizontal and vertical EOG signals during a predetermined period, and calculate the calculated horizontal and vertical EOG average values with the horizontal and vertical EOG reference values Vhor_ref and Vver_ref It is possible to detect the position of the eyeball more accurately. The average value of the corrected horizontal EOG signal may be obtained by sampling the corrected horizontal EOG signal several times at predetermined time intervals and averaging the sampled horizontal EOG values. The average value of the corrected vertical EOG signal may be obtained by sampling the corrected vertical EOG signal several times at predetermined time intervals and averaging the sampled vertical EOG values. The average values of the horizontal and vertical EOG signals can be calculated as shown in Equations (1) and (2).

[수학식 1][Equation 1]

Vhor_t = (

Figure 112012109053588-pat00001
)/TVhor_t = (
Figure 112012109053588-pat00001
) / T

수학식 1에 있어서, "Vhor_t"는 수평 EOG 신호의 평균값이고 "Vhor_tk"는 타겟 문자에 대한 수평 EOG 신호의 k번째 샘플링값이고, 그리고 "T"는 샘플링 횟수이다. In Equation 1, "Vhor_t" is the average value of the horizontal EOG signal, "Vhor_tk" is the kth sampling value of the horizontal EOG signal for the target character, and "T" is the sampling number.

[수학식 2]&Quot; (2) "

Vver_t = (

Figure 112012109053588-pat00002
)/TVver_t = (
Figure 112012109053588-pat00002
) / T

수학식 2에 있어서, "Vver_t"는 수직 EOG 신호의 평균값이고 "Vver_tk"는 타겟 문자에 대한 수직 EOG 신호의 k번째 샘플링값이고, 그리고 "T"는 샘플링 횟수이다.In Equation 2, "Vver_t" is the average value of the vertical EOG signal, "Vver_tk" is the kth sampling value of the vertical EOG signal for the target character, and "T" is the sampling number.

상기 응시 매트릭스 검출부(28)는, 도 5에 도시된 바와 같이, 상기 안구 위치 검출부(26)로부터의 상기 안구 위치 검출 신호(즉, 비교 결과들)에 근거하여 제1 내지 제4 문자 매트릭스(MX1~MX4) 중 사용자가 응시하고 있는 문자 매트릭스(MX)를 검출한다. 이를 상세히 설명하면, 상기 보정된 수직 EOG 신호의 평균값(Vver_t)이 상기 수직 EOG 기준값(Vver_ref)보다 작고(제1 조건(Cond1)) 상기 보정된 수평 EOG 신호의 평균값(Vhor_t)이 상기 수평 EOG 기준값(Vhor_ref)보다 작은(제3 조건(Cond3)) 경우, 상기 응시 매트릭스 검출부(28)는 사용자가 응시하고 있는 문자 매트릭스가 제1 문자 매트릭스(MX1)인 것으로 검출한다. 상기 보정된 수직 EOG 신호의 평균값(Vver_t)이 상기 수직 EOG 기준값(Vver_ref)보다 작고(제1 조건(Cond1)) 상기 보정된 수평 EOG 신호의 평균값(Vhor_t)이 상기 수평 EOG 기준값(Vhor_ref)보다 큰(제4 조건(Cond4)) 경우, 상기 응시 매트릭스 검출부(28)는 사용자가 응시하고 있는 문자 매트릭스가 제2 문자 매트릭스(MX2)인 것으로 검출한다. 상기 보정된 수직 EOG 신호의 평균값(Vver_t)이 상기 수직 EOG 기준값(Vver_ref)보다 크고(제2 조건(Cond1)) 상기 보정된 수평 EOG 신호의 평균값(Vhor_t)이 상기 수평 EOG 기준값(Vhor_ref)보다 작은(제3 조건(Cond3)) 경우, 상기 응시 매트릭스 검출부(28)는 사용자가 응시하고 있는 문자 매트릭스가 제3 문자 매트릭스(MX3)인 것으로 검출한다. 마지막으로, 상기 보정된 수직 EOG 신호의 평균값(Vver_t)이 상기 수직 EOG 기준값(Vver_ref)보다 크고(제2 조건(Cond2)) 상기 보정된 수평 EOG 신호의 평균값(Vhor_t)이 상기 수평 EOG 기준값(Vhor_ref)보다 큰(제4 조건(Cond4)) 경우, 상기 응시 매트릭스 검출부(28)는 사용자가 응시하고 있는 문자 매트릭스가 제4 문자 매트릭스(MX4)인 것으로 검출한다. 또한, 상기 응시 매트릭스 검출부(28)는 검출된 문자 매트릭스를 지시하는 응시 매트릭스 검출신호를 타겟 문자 결정부(30)에 공급한다. As shown in Fig. 5, the gaze matrix detecting unit 28 detects the gaze position of the first to fourth character matrices MX1 (MX1) based on the eye position detection signal (i.e., comparison results) from the eye position detector 26 To MX4 of the character matrix MX that the user is looking at. More specifically, if the average value Vver_t of the corrected vertical EOG signal is smaller than the vertical EOG reference value Vver_ref (first condition Cond1) and the average value Vhor_t of the corrected horizontal EOG signal is greater than the horizontal EOG reference value (The third condition (Cond3)), the entry matrix detection unit 28 detects that the character matrix being looked at by the user is the first character matrix MX1. Wherein the corrected vertical EOG signal Vver_t is smaller than the vertical EOG reference value Vver_ref (first condition Cond1) and the average value Vhor_t of the corrected horizontal EOG signal is greater than the horizontal EOG reference value Vhor_ref (Fourth condition (Cond4)), the test matrix detection unit 28 detects that the character matrix being looked at by the user is the second character matrix MX2. Wherein the corrected vertical EOG signal Vver_t is greater than the vertical EOG reference value Vver_ref and the corrected horizontal EOG signal Vhor_t is less than the horizontal EOG reference value Vhor_ref, (Third condition (Cond3)), the gaze matrix detection unit 28 detects that the character matrix that the user is looking at is the third character matrix MX3. Finally, when the average value Vver_t of the corrected vertical EOG signal is greater than the vertical EOG reference value Vver_ref (the second condition Cond2) and the average value Vhor_t of the corrected horizontal EOG signal is greater than the horizontal EOG reference value Vhor_ref (The fourth condition (Cond4)), the test matrix detection unit 28 detects that the character matrix being looked at by the user is the fourth character matrix MX4. Further, the gazette matrix detector 28 supplies the target character determiner 30 with a gazette matrix detection signal indicating the detected character matrix.

상기 타겟 문자 결정부(30)는 상기 응시 매트릭스 검출부(28)에 의하여 검출된 응시 매트릭스 검출신호에 근거하여 상기 타겟 후보 문자 선택부(18)로부터의 후보 문자 그룹(즉, 4개의 후보 문자들) 중 어느 하나를 타겟 문자로 결정한다. 예를 들어, 상기 응시 매트릭스 검출 신호가 제1 문자 매트릭스(MX1)를 지시하는 경우, 타겟 문자 결정부(30)는 상기 4개의 타겟 후보 문자들(예를 들면, "I", "R", "0" 및 "9") 중 제1 문자 매트릭스(MX1)에 속하는 문자(예를 들면, "I")를 타겟 문자로 결정할 수 있다. 다른 예로서, 상기 응시 매트릭스 검출 신호가 제2 문자 매트릭스(MX2)를 지시하는 경우, 타겟 문자 결정부(30)는 상기 4개의 타겟 후보 문자들(예를 들면, "I", "R", "0" 및 "9") 중 제2 문자 매트릭스(MX2)에 속하는 문자(예를 들면, "R")를 타겟 문자로 결정할 수 있다. 또 다른 예로서, 상기 응시 매트릭스 검출 신호가 제3 문자 매트릭스(MX3)를 지시하는 경우, 타겟 문자 결정부(30)는 상기 4개의 타겟 후보 문자들(예를 들면, "I", "R", "0" 및 "9") 중 제3 문자 매트릭스(MX3)에 속하는 문자(예를 들면, "0")를 타겟 문자로 결정한다. 또 다른 예로서, 상기 응시 매트릭스 검출 신호가 제4 문자 매트릭스(MX4)를 지시하는 경우, 타겟 문자 결정부(30)는 상기 4개의 타겟 후보 문자들(예를 들면, "I", "R", "0" 및 "9") 중 제4 문자 매트릭스(MX4)에 속하는 문자(예를 들면, "9")를 타겟 문자로 결정한다. 이렇게 타겟 문자 결정부(30)에 의하여 결정되어진 타겟 문자는, 사용자(또는 피실험자)가 입력하기 원하는 문자(또는 숫자)로서, 컴퓨터 시스템에 전송되게 된다.The target character determination unit 30 determines whether or not the candidate character group (i.e., four candidate characters) from the target candidate character selector 18 based on the candidate matrix detection signal detected by the candidate matrix detection unit 28, As a target character. For example, when the target matrix detection signal indicates the first character matrix MX1, the target character determination unit 30 determines whether or not the four target candidate characters (e.g., "I", "R" (For example, "I") belonging to the first character matrix MX1 among the character strings "0" As another example, when the target matrix detection signal indicates the second character matrix MX2, the target character determination unit 30 determines the target candidate character (e.g., "I", "R" (E.g., "R") belonging to the second character matrix MX2 out of the character strings "0" As another example, when the target matrix detection signal indicates the third character matrix MX3, the target character determination unit 30 determines the four target candidate characters (for example, "I", "R" (For example, "0") belonging to the third character matrix MX3 among the first character matrix MX3, "0" As another example, when the target matrix detection signal indicates the fourth character matrix MX4, the target character determination unit 30 determines the four target candidate characters (e.g., "I", "R" (E.g., "9") belonging to the fourth character matrix MX4 among the character strings MX4, 0, and 9 is determined as the target character. The target character determined by the target character determining unit 30 is transmitted to the computer system as a character (or number) desired to be input by the user (or the subject).

위와 같은 본 발명의 실시 예에 따른 다중 생체 기반의 워드 스펠러에 대하여 실험이 실시되었다. 실험에 있어서, 전체의 row와 column에 대해 한 차례 플래쉬가 발생한 것을 한 블록이라 하면 블록 즉 자극 반복회수를 각각 6번, 9번, 12번으로 변경하여 실행하였다. 플래쉬 발생은 0.1초간 유지되며 플래쉬 간격은 0.1초로 설정했다. 반복 간격은 4초의 간격으로 실험을 수행했다. 각 실험에 대해서 10회 이상 실행하였으며 결과값의 평균을 구하여 성능을 측정하였다. 한 블록이 수행될 때마다 타겟 문자가 row와 column에 속해있는 경우 두 번의 P300 신호가 발생하며 나머지 자극에 대해서는 non-p300 신호로 처리된다. 각 실험방법으로 한 번 실행할 때 마다 총 10개의 타겟 문자가 제시되고 이에 대한 분류 결과와 비교하여 정확도를 측정하였다. 또한, 피실험자의 신체 움직임을 자제시켜 근전도(EMG)로 인한 노이즈를 최대한 억제했으며 장시간 측정으로 인한 스트레스로 발생되는 노이즈를 제거하기 위해 하루에 두 번으로 테스트를 제한했다. Experiments have been performed on a multiple-body based word speller according to an embodiment of the present invention. In the experiment, if we assume that one block has occurred once for the whole row and column, the number of iterations of the block, that is, the number of repetitions, is changed to 6, 9, and 12, respectively. The flash generation is maintained for 0.1 second and the flash interval is set to 0.1 second. The repeat interval was 4 seconds apart. For each experiment, more than 10 runs were performed and the average of the results was obtained and the performance was measured. Whenever a block is executed, two P300 signals are generated when the target character belongs to row and column, and the non-p300 signal is processed for the remaining stimuli. In each experiment, a total of 10 target characters were presented for each run and the accuracy was compared with the classification result. In addition, the subjects were restrained by their body movements to minimize EMG noise, and the tests were limited to twice daily to eliminate noise caused by long-time measurement.

도 6은 2채널 EOG 전극(수평 EOG, 수직 EOG)을 부착한 실험 사진이며 도 7은 P3채널에서 발생한 신호에 대해 12번 반복 측정한 P300 신호의 평균값을 보여주고 있다. 도 8은 각 문자 매트릭스의 네 개의 응시 지점 별로 발생하는 수평 EOG와 수직 EOG 신호 결과를 도시한다.FIG. 6 is an experimental photograph with a 2-channel EOG electrode (horizontal EOG, vertical EOG) attached. FIG. 7 shows an average value of P300 signals measured 12 times for a signal generated in the P3 channel. FIG. 8 shows the horizontal EOG and vertical EOG signal results generated for each of the four gazing points of each character matrix.

제1 및 제4 문자 매트릭스(MX1,MX4)와 제2 및 제3 문자 매트릭스(MX2,MX3)의 수직 EOG 신호들간의 세기는 약 0.5 volt의 차이가 발생하며, 제1 및 제2 문자 매트릭스(MX1,MX2)와 제3 및 제4 문자 매트릭스(MX3,MX4)의 수직 EOG의 신호들은 거의 비슷하다. 또한 제1 및 제2 문자 매트릭스(MX1,MX2)와 제3 및 제4 문자 매트릭스(MX3,MX4)의 수평 EOG값들 사이에서도 약 0.5 volt의 차이가 생기며, 제1 및 제4 문자 매트릭스(MX1,MX4)와 제2 및 제3 문자 매트릭스(MX2,MX3)의 수평 EOG값들 사이에서의 차이는 거의 발생하지 않는다. EOG 신호들간의 차이가 충분히 발생하도록 문자 매트릭스들(MX)이 적어도 5°의 응시 각도 차이를 발생시킬 정도로 충분히 이격되었기 때문에, 93% 이상의 정확도로 피실험자가 응시한 문자 매트릭스가 판별될 수 있다.The difference between the intensity of the vertical EOG signals of the first and fourth character matrices MX1 and MX4 and the second and third character matrices MX2 and MX3 is about 0.5 volt and the difference between the first and second character matrices MX2 and MX3 MX1 and MX2 and the third and fourth character matrices MX3 and MX4 are almost the same. The difference between the horizontal EOG values of the first and second character matrices MX1 and MX2 and the third and fourth character matrices MX3 and MX4 is about 0.5 volt, and the first and fourth character matrices MX1, MX4) and the horizontal EOG values of the second and third character matrices (MX2, MX3) hardly occurs. Since the character matrices MX are sufficiently spaced to generate a gaze angle difference of at least 5 degrees so that the difference between the EOG signals is sufficiently generated, the character matrix that the subject has stood at can be determined with an accuracy of 93% or more.

도 9a 내지 도 9c는 기존 P300 기반의 워드 스펠러와 본 발명의 실시 예에 따른 다중 생체 신호 기반의 워드 스펠러에 대한 정확도 실험 결과를 설명한다. 도9a 내지 도 9c에서 볼 수 있듯이, 모든 자극 반복회수에 대해 기존 워드 스펠러보다 본 발명의 실시 예에 따른 워드 스펠러의 정확도가 우수하다는 것은 명백하다. 기존 P300 기반의 워드 스펠러와 본 실시 예의 워드 스펠러간의 성능의 차이는 피실험자 15명의 결과에 대한 분산분석으로 검증될 수 있었다. 각각의 자극 반복회수에 대한 실험은 6회(F(1,28) = 44.8, p<0.0002), 9회(F(1,28)= 17.531, p = 0.00025), 12회(F(1,28) = 24.15, p<0.0002)의 결과로서, 본 실시 예의 워드 스펠러가 유의미한 성능의 차이를 보여준다. 자극 반복회수를 6회의 경우 본 실시 예의 워드 스펠러의 정확도가 15명의 피실험자에 대해 평균 17% 향상되었으며 피실험자에 따라 최대 33%까지 향상되었다.FIGS. 9A to 9C illustrate accuracy test results of a conventional P300-based word speller and a multi-bio signal based word speller according to an embodiment of the present invention. As can be seen from Figs. 9A to 9C, it is clear that the accuracy of the word speller according to the embodiment of the present invention is superior to that of the conventional word speller for all the number of repetitions of stimulation. The difference in performance between the conventional P300-based word speller and the word speller of the present embodiment can be verified by a variance analysis of the results of 15 subjects. The experiment was repeated 6 times (F (1,28) = 44.8, p <0.0002), 9 times (F (1,28) = 17.531, p = 0.00025) 28) = 24.15, p < 0.0002), the word spellar of this embodiment shows significant performance differences. In the case of six repetition times, the accuracy of the word speller of this embodiment was improved by an average of 17% for 15 subjects and up to 33% for the subjects.

도 10a 내지 도 10c는 기존 P300 기반의 워드 스펠러의 전송률과 본 실시 예의 워드 스펠러의 전송률을 비교한 실험결과로 한 번 전송시도 시의 전송률은 수학식 3과 같이 표현될 수 있다.FIGS. 10A to 10C are experimental results in which the transmission rate of the conventional P300-based word speller is compared with the transmission rate of the word speller of the present embodiment, and the transmission rate at the time of one transmission attempt can be expressed by Equation (3).

[수학식 3]&Quot; (3) &quot;

TR = log2 N + p log2 p + (1-p)log2((1-p)/(N-1))TR = log 2 N + p log 2 p + (1-p) log 2 ((1-p) / (N-1))

수학식 3에 있어서, "N"은 클래스의 수이고, "p"는 정확도이다.In Equation (3), "N" is the number of classes and "p" is the accuracy.

상기 수학식 3에 분당 전송시도회수를 입력하여 bits/min 단위로 전송률을 산출할 수 있다. 도 10a 내지 도 10c에 나타난 바와 같이, 본 실시 예의 워드 스펠러의 전송률이 기존의 워드 스펠러의 그것보다 우수하다는 것은 명백하다. 특히, 자극 반복 횟수가 6번일 때 전송률의 차이가 가장 크게 나타남을 알 수 있다. 이는 기존 워드 스펠러로서는 반복회수가 줄어들면 정확도가 급격히 감소되며 그에 따라 실행시간이 단축돼도 전체적인 전송속도는 오히려 감소한다는 것을 나타낸다. 반면 본 발명의 실시 예에 따른 다중 생체 신호 기반의 워드 스펠러는 반복회수가 줄어도 정확도가 크게 줄지 않아 실행시간을 단축할 수 있고 아울러 전체적인 전송속도를 증가시킬 수 있다.The transmission rate may be calculated in units of bits / min by inputting the number of transmission attempts per minute in Equation (3). As shown in Figs. 10A to 10C, it is apparent that the transfer rate of the word speller of this embodiment is superior to that of the conventional word speller. Especially, when the number of stimulus repetition is 6, the difference of transmission rate is the largest. This indicates that the accuracy of the conventional word speller decreases sharply as the number of iterations decreases, and thus the overall transmission speed decreases even if the execution time is shortened. On the other hand, according to the embodiment of the present invention, even if the number of repetitions is decreased, the accuracy of the word speller based on the multi-bio signal can be reduced so that the execution time can be shortened and the overall transmission speed can be increased.

상술한 바와 같이, 본 발명의 실시 예에 따른 다중 생체 신호 기반의 워드 스펠러는 매트릭스 크기를 다수의 매트릭스 그룹으로 분할하여 시각 자극을 매트릭스 그룹에서 동시에 발생시키도록 하였다. 또한, 다수의 매트릭스에서 동시에 발생되는 시각자극 신호를 구별하기 위해 사용자의 안구 위치에 따라 발생하는 EOG신호를 측정하여 특정 매트릭스를 판별하였다. 그런 만큼, 전체적인 자극 발생 시간이 줄어들어 전송률이 2~5배 증가하였다. 또한 실험결과에서도 자극 반복을 6회 했을 때 기존 워드 스펄러보다 본 발명의 실시 예에 따른 워드 스펠러의 정확도가 평균적으로 17% 향상되었다.As described above, according to the embodiment of the present invention, the multi-bio-signal-based word speller divides the matrix size into a plurality of matrix groups so that visual stimuli are simultaneously generated in the matrix group. In order to distinguish the visual stimulation signals generated simultaneously in a plurality of matrices, a specific matrix is determined by measuring an EOG signal generated according to the eyeball position of the user. As a result, the overall stimulation time was reduced and the transmission rate increased 2 to 5 times. Also, in the experimental results, the accuracy of the word speller according to the embodiment of the present invention was improved by 17% on average when the stimulus repetition was performed six times.

이상에서 설명한 것은 본 발명에 따른 다중 생체 신호 기반의 워드 스펠러을 실시하기 위한 실시 예들에 불과하다. 그런 만큼, 본 발명은 상기한 실시 예들에 한정되지 않고, 이하의 특허청구범위에 기재된 바와 같이 본 발명의 요지 및 기술적 정신를 벗어남 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 포함하는 것으로 보호되어야 할 것이다.The embodiments described above are merely examples for implementing a word speller based on multiple bio-signals according to the present invention. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit and scope of the invention as defined in the appended claims. And should be protected to include to the extent practicable.

10 ; EEG 신호 처리부 12 ; EEG 신호 취득부
14 ; 전처리 및 필터링부 16 ; 타겟 행/열 분류부
18 ; 타겟 후보 문자 선택부 20 ; EOG 신호 처리부
22 ; EOG 신호 취득부 24 ; EOG 신호 보정부
26 ; 안구 위치 검출부 28 ; 응시 매트릭스 검출부
30 ; 타겟 문자 결정부
10; An EEG signal processing unit 12; EEG signal acquisition unit
14; A preprocessing and filtering unit 16; Target row / column classifier
18; A target candidate character selector 20; EOG signal processing section
22; An EOG signal acquisition unit 24; EOG signal correction unit
26; An eye position detecting unit 28; [0033]
30; The target-

Claims (6)

서로 다른 문자들이 배열되어진 다중 문자 매트릭스에 대응한 사람의 뇌전도 신호에 근거하여 다중 문자 매트릭스 각각으로부터 한 문자씩을 선택하는 형태로 타겟 후보 문자들을 결정하는 뇌전도 신호 처리부;
상기 사람의 안전도 신호들에 근거하여 상기 다중 문자 매트릭스 중 사람이 응시한 문자 매트릭스를 검출하는 안전도 신호 처리부; 및
상기 타겟 후보 문자들 중 상기 안전도 신호 처리부에 의해 검출된 문자 매트릭스에 속하는 문자를 타겟 문자로 결정하는 타겟 문자 결정부를 포함하고,
상기 뇌전도 신호 처리부는
상기 사람의 뇌전도 신호를 취득하기 위한 뇌전도 신호 취득부;
상기 뇌전도 신호 취득부로부터의 뇌전도 신호를 전처리 및 필터링하는 전처리 및 필터링부;
상기 전처리 및 필터링부로부터의 상기 뇌전도 신호에 근거하여 상기 다중 문자 매트릭스 각각에 대하여 타겟 행 및 타겟 열을 분류하는 타겟 행/열 분류부;
상기 타겟 행/열 분류부에 의해 분류된 타겟 행들 및 타겟 열들에 근거하여 다중 문자 매트릭스 각각으로부터 한 문자씩을 선택하는 형태로 상기 타겟 후보 문자들을 선택하여 선택된 타겟 후보 문자들을 상기 타겟 문자 결정부에 공급하는 타겟 후보 문자 선택부를 포함하는 것을 특징으로 하는 다중 생체 신호 기반의 워드 스펠러.
An electroencephalogram signal processing unit for determining target candidate characters by selecting one character from each of the multiple character matrices based on a human's electroencephalogram signal corresponding to a multi-character matrix in which different characters are arranged;
A safety signal processor for detecting a character matrix of the multiple character matrix based on the safety signals of the person; And
And a target character determination unit for determining, as a target character, a character belonging to the character matrix detected by the safety degree signal processing unit among the target candidate characters,
The electroencephalogram signal processing unit
An electroencephalogram signal acquisition unit for acquiring an electroencephalogram signal of the person;
A preprocessing and filtering unit for preprocessing and filtering an electroencephalogram signal from the electroencephalogram signal acquisition unit;
A target row / column classifier for classifying a target row and a target column for each of the multiple character matrices based on the electroencephalogram signal from the preprocessing and filtering unit;
Selecting the target candidate characters by selecting one character from each of the multiple character matrices based on the target rows and target columns classified by the target row / column classifier, and supplying the selected target candidate characters to the target character determiner Wherein the target candidate character selector comprises a target candidate character selector.
제 1 항에 있어서, 상기 다중 문자 매트릭스는 사람의 응시 지점에서 적어도 5도의 각도 차이가 발생될 수 있을 정도로 이격 배열된 적어도 2 이상의 문자 매트릭스들를 포함하는 것을 특징으로 하는 다중 생체 기반의 워드 스펠러.2. The multiple-body based word spell-checker of claim 1, wherein the multi-character matrix comprises at least two character matrices spaced apart such that an angular difference of at least 5 degrees can be generated at a human gaze point. 삭제delete 제 1 항에 있어서, 상기 전처리 및 필터링부는
상기 뇌전도 신호 취득부로부터의 상기 뇌전도 신호 중 특정 주파수 대역의 성분만을 추출하는 대역 필터; 및
상기 대역 필터로부터의 상기 뇌전도 신호의 신호대잡음비를 증가시키기 위한 공간 필터를 포함하는 것을 특징으로 하는 다중 생체 신호 기반의 워드 스펠러.
2. The apparatus of claim 1, wherein the preprocessing and filtering unit
A bandpass filter for extracting only a component of a specific frequency band from the electroencephalogram signal from the electroencephalogram signal acquisition unit; And
And a spatial filter for increasing a signal-to-noise ratio of the electroencephalogram signal from the band-pass filter.
제 1 항에 있어서, 상기 안전도 신호 처리부는
상기 사람으로부터 상기 안전도 신호들을 취득하기 위한 안전도 신호 취득부;
상기 안전도 신호 취득부로부터의 상기 안전도 신호들을 안전도 기준값들과 비교하여 상기 사람의 안구 위치를 검출하는 안구 위치 검출부; 및
상기 안구 위치 검출부에 의해 검출된 상기 안구 위치에 근거하여 상기 다중 문자 매트릭스 중 응시되고 있는 문자 매트릭스를 검출하고 그 검출된 문자 매트릭스에 대한 정보를 상기 타겟 문자 결정부에 제공하는 응시 매트릭스 검출부를 포함하는 것을 특징으로 하는 다중 생체 신호 기반의 워드 스펠러.
The apparatus as claimed in claim 1, wherein the safety signal processor
A safety degree signal acquisition unit for acquiring the safety degree signals from the person;
An eye position detecting unit for detecting the eye position of the person by comparing the safety degree signals from the safety degree signal acquisition unit with safety degree reference values; And
And a stray matrix detector for detecting a character matrix being examined among the multiple character matrices based on the eye position detected by the eye position detecting unit and for providing information on the detected character matrix to the target character determining unit A plurality of bio-signal based word spellers.
제 5 항에 있어서, 상기 안전도 신호 처리부는 상기 안전도 신호 취득부로부터 상기 안전 위치 검출부에 공급되는 상기 안전도 신호들을 보정하는 안전도 신호 보정부를 포함하는 것을 특징으로 하는 다중 생체 신호 기반의 워드 스펠러.[Claim 6] The system according to claim 5, wherein the safety signal processor includes a safety signal corrector for correcting the safety signals supplied from the safety signal acquisition unit to the safety position detector. Speller.
KR1020120156380A 2012-12-28 2012-12-28 Word speller based on multi-bio signals KR101416616B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120156380A KR101416616B1 (en) 2012-12-28 2012-12-28 Word speller based on multi-bio signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120156380A KR101416616B1 (en) 2012-12-28 2012-12-28 Word speller based on multi-bio signals

Publications (1)

Publication Number Publication Date
KR101416616B1 true KR101416616B1 (en) 2014-07-08

Family

ID=51741513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120156380A KR101416616B1 (en) 2012-12-28 2012-12-28 Word speller based on multi-bio signals

Country Status (1)

Country Link
KR (1) KR101416616B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101745774B1 (en) * 2015-03-30 2017-06-12 한양대학교 산학협력단 Method and System for Recognition of Eye-Character based on Tracking Technique of Electro Oculogram Gaze
KR101768106B1 (en) * 2016-03-21 2017-08-30 고려대학교 산학협력단 Apparatus and method for speller based on brain-computer interface
KR101929650B1 (en) 2017-02-13 2018-12-14 한양대학교 산학협력단 Method and apparatus for deciding intention using eog signal
US11269413B2 (en) 2018-11-07 2022-03-08 Korea University Research And Business Foundation Brain-computer interface system and method for decoding user's conversation intention using the same

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A.B.Usakli et al., "On the Use of Electrooculogram for Efficient Human Computer interfaces,"In the Proc. of the Computational Intelligence and Neuroscience, Vol. 2010, pp. 1-5, 2010. *
A.B.Usakli et al., "On the Use of Electrooculogram for Efficient Human Computer interfaces,"In the Proc. of the Computational Intelligence and Neuroscience, Vol. 2010, pp. 1-5, 2010.*
R.Fazel-Rezai et al., "A region-based P300 speller for brain-computer interface," In the CAN. J. of Elect. Comput, Eng., Vol. 34, No. 3, pp. 81-85, 2010.04.08. *
R.Fazel-Rezai et al., "A region-based P300 speller for brain-computer interface," In the CAN. J. of Elect. Comput, Eng., Vol. 34, No. 3, pp. 81-85, 2010.04.08.*
T.Kaufmann et al., "Spelling is just a click away - a user-centered brain-computer interface including auto-calibration and predictive text entry," In the Proc. of the Frontiers in neuroscience, Vol. *
T.Kaufmann et al., "Spelling is just a click away - a user-centered brain-computer interface including auto-calibration and predictive text entry," In the Proc. of the Frontiers in neuroscience, Vol.*

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101745774B1 (en) * 2015-03-30 2017-06-12 한양대학교 산학협력단 Method and System for Recognition of Eye-Character based on Tracking Technique of Electro Oculogram Gaze
KR101768106B1 (en) * 2016-03-21 2017-08-30 고려대학교 산학협력단 Apparatus and method for speller based on brain-computer interface
KR101929650B1 (en) 2017-02-13 2018-12-14 한양대학교 산학협력단 Method and apparatus for deciding intention using eog signal
US11269413B2 (en) 2018-11-07 2022-03-08 Korea University Research And Business Foundation Brain-computer interface system and method for decoding user's conversation intention using the same
US11687157B2 (en) 2018-11-07 2023-06-27 Korea University Research And Business Foundation Brain-computer interface system and method for recognizing conversation intention of user using the same

Similar Documents

Publication Publication Date Title
Hashimoto et al. EEG-based classification of imaginary left and right foot movements using beta rebound
Wang et al. A new hybrid BCI paradigm based on P300 and SSVEP
Wu et al. Controlling a human–computer interface system with a novel classification method that uses electrooculography signals
Spüler et al. Spatial filtering based on canonical correlation analysis for classification of evoked or event-related potentials in EEG data
Postelnicu et al. P300-based brain-neuronal computer interaction for spelling applications
Jin et al. Whether generic model works for rapid ERP-based BCI calibration
Shin et al. Simple adaptive sparse representation based classification schemes for EEG based brain–computer interface applications
Solis-Escalante et al. Analysis of sensorimotor rhythms for the implementation of a brain switch for healthy subjects
Bode et al. Predicting errors from patterns of event-related potentials preceding an overt response
Rozado et al. Improving the performance of an EEG-based motor imagery brain computer interface using task evoked changes in pupil diameter
KR101416616B1 (en) Word speller based on multi-bio signals
Qi et al. A speedy calibration method using Riemannian geometry measurement and other-subject samples on a P300 speller
Chen et al. A survey of the dummy face and human face stimuli used in BCI paradigm
Sburlea et al. Advantages of EEG phase patterns for the detection of gait intention in healthy and stroke subjects
Wang et al. An information fusion scheme based common spatial pattern method for classification of motor imagery tasks
Xu et al. Incorporation of inter-subject information to improve the accuracy of subject-specific P300 classifiers
Bahramisharif et al. Lateralized responses during covert attention are modulated by target eccentricity
Schwarz et al. Combining frequency and time-domain EEG features for classification of self-paced reach-and-grasp actions
Wang et al. A multiple autocorrelation analysis method for motor imagery EEG feature extraction
KR101768106B1 (en) Apparatus and method for speller based on brain-computer interface
Rizi et al. Spatial and spatio-temporal filtering based on common spatial patterns and Max-SNR for detection of P300 component
Noor et al. Eye movement activity that affected the eye signals using electrooculography (EOG) technique
Korda et al. Automatic identification of oculomotor behavior using pattern recognition techniques
WO2017081793A1 (en) Information processing method, information processing device, program, and eyewear
Nakanishi et al. Does frequency resolution affect the classification performance of steady-state visual evoked potentials?

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170626

Year of fee payment: 4