KR100913753B1 - System and Method for Word Recognition from Brain Activity - Google Patents

System and Method for Word Recognition from Brain Activity Download PDF

Info

Publication number
KR100913753B1
KR100913753B1 KR1020070014273A KR20070014273A KR100913753B1 KR 100913753 B1 KR100913753 B1 KR 100913753B1 KR 1020070014273 A KR1020070014273 A KR 1020070014273A KR 20070014273 A KR20070014273 A KR 20070014273A KR 100913753 B1 KR100913753 B1 KR 100913753B1
Authority
KR
South Korea
Prior art keywords
word
eeg
character
unit
brain wave
Prior art date
Application number
KR1020070014273A
Other languages
Korean (ko)
Other versions
KR20080075299A (en
Inventor
이도헌
김민수
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020070014273A priority Critical patent/KR100913753B1/en
Publication of KR20080075299A publication Critical patent/KR20080075299A/en
Application granted granted Critical
Publication of KR100913753B1 publication Critical patent/KR100913753B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Character Discrimination (AREA)

Abstract

본 발명은 뇌파를 이용한 단어 인식 시스템 및 단어 인식 방법에 관한 것으로서, 더욱 상세하게는 사용자의 별도의 훈련없이 한 단어를 구성하고 있는 일련의 문자를 상상할 시의 뇌파인 특정 뇌파를 출현시켜 측정함으로써, 뇌파를 통해 사용자가 의도한 단어를 인식할 수 있고, 각 문자들의 연속적인 관측인 은닉 마르코프 모델로 사용자의 의도 및 행위의 불일치를 최소화하여 실용성을 증가시켰으며, 단시간 내에 사용자가 의도한 단어를 인식할 수 있는 실시간 인터페이스로서 이용가능하고, 뇌파를 통한 자연스러운 의사 전달이 가능한 뇌파를 이용한 단어 인식 시스템 및 단어 인식 방법을 제공하기 위한 것으로서, 그 기술적 구성은 연속된 문자에 대한 뇌파 데이터를 검출하는 뇌파 검출부; 상기 뇌파 데이터를 증폭하는 뇌파 증폭부; 상기 증폭된 뇌파 데이터를 디지털 데이터로 변환시키는 A/D 변환부; 상기 디지털 데이터로 상기 연속된 문자를 인식하는 문자 인식부; 상기 문자 인식부에서 인식된 문자에서 단어를 인지하는 단어 인식부; 를 포함하여 이루어지는 것을 특징으로 한다.The present invention relates to a word recognition system and a word recognition method using brain waves, and more specifically, by appearing and measuring a specific brain wave, which is an brain wave when imagining a series of letters constituting a word without additional training of a user, EEG can recognize words intended by the user, and hidden Markov model, which is a continuous observation of each letter, improves practicality by minimizing inconsistency of users' intentions and actions, and recognizes words intended by users in a short time The present invention provides a word recognition system and a word recognition method using an EEG that can be used as a real-time interface capable of natural communication through EEG, and its technical configuration includes an EEG detection unit for detecting EEG data for a continuous character. ; An EEG amplifying unit for amplifying the EEG data; An A / D converter converting the amplified brain wave data into digital data; A character recognition unit for recognizing the continuous character with the digital data; A word recognition unit recognizing a word from the characters recognized by the character recognition unit; Characterized in that comprises a.

뇌파, 은닉 마르코프 모델, 단어 인식, 단어 매칭 EEG, Hidden Markov Models, Word Recognition, Word Matching

Description

뇌파를 이용한 단어 인식 시스템 및 단어 인식 방법{System and Method for Word Recognition from Brain Activity}Word recognition system and word recognition method using EEG {System and Method for Word Recognition from Brain Activity}

도 1은 본 발명에 따른 뇌파를 이용한 단어 인식 시스템을 개략적으로 도시한 블록도.1 is a block diagram schematically showing a word recognition system using an EEG according to the present invention.

도 2는 본 발명에 따른 뇌파를 이용한 단어 인식 방법을 개략적으로 도시한 흐름도.Figure 2 is a flow diagram schematically showing a word recognition method using the EEG according to the present invention.

도 3은 본 발명에 따른 뇌파를 이용한 단어 인식 방법 중 문자 인식 단계를 개략적으로 도시한 흐름도.Figure 3 is a flow chart schematically showing a character recognition step of the word recognition method using the EEG according to the present invention.

도 4는 본 발명에 따른 뇌파를 이용한 단어 인식 방법 중 단어 인식 단계를 개략적으로 도시한 흐름도.Figure 4 is a flow chart schematically showing a word recognition step of the word recognition method using the EEG according to the present invention.

<도면의 주요 부분에 대한 도면 부호의 간단한 설명><Brief description of reference numerals for the main parts of the drawings>

1: 뇌파를 이용한 단어 인식 시스템
10: 뇌파 검출부1: Word recognition system using EEG
10: EEG detector

20: 뇌파 증폭부
30: A/D 변환부20: EEG amplifier
30: A / D converter

40: 문자 인식부 41: 입력부40: character recognition unit 41: input unit

42: 계산부 43: 판단부42: calculation unit 43: determination unit

50: 단어 인식부 51: 은닉 마르코프 모델50: word recognition 51: hidden Markov model

52: 단어 매칭부 53: 단어 집합52: word matching unit 53: word set

본 발명은 뇌파를 이용한 단어 인식 시스템 및 단어 인식 방법에 관한 것으로, 더욱 상세하게는 사용자의 별도의 훈련없이 한 단어를 구성하고 있는 일련의 문자를 상상할 시의 뇌파인 특정 뇌파를 출현시켜 측정함으로써, 뇌파를 통해 사용자가 의도한 단어를 인식할 수 있고, 각 문자들의 연속적인 관측인 은닉 마르코프 모델로 사용자의 의도 및 행위의 불일치를 최소화하여 실용성을 증가시켰으며, 단시간 내에 사용자가 의도한 단어를 인식할 수 있는 실시간 인터페이스로서 이용가능하고, 뇌파를 통한 자연스러운 의사 전달이 가능한 뇌파를 이용한 단어 인식 시스템 및 단어 인식 방법에 관한 것이다.The present invention relates to a word recognition system and a word recognition method using brain waves, and more specifically, by appearing and measuring a specific brain wave, which is an brain wave when imagining a series of letters constituting a word without additional training of a user, EEG can recognize words intended by the user, and hidden Markov model, which is a continuous observation of each letter, improves practicality by minimizing inconsistency of users' intentions and actions, and recognizes words intended by users in a short time The present invention relates to a word recognition system and a word recognition method using an EEG, which can be used as a real-time interface that can be used and enables natural communication through EEG.

일반적으로, 인간의 두뇌활동은 다수개의 신경 세포(Neuron)의 상호 결합 또는 활동에 의하여 다양한 움직임을 나타내며, 이를 외부에서 기록할 수 있는 두피뇌파(EEG: Electroencephalogram)는 미세한 뇌 표면의 신호로서, 측정시의 상태 및 기능에 따라 시, 공간적으로 변화한다.In general, the brain activity of the human represents a variety of movements by the interaction or activity of a plurality of neurons (Neuron), the externally recorded scalp brain electroencephalogram (EEG: Electroencephalogram) is a signal of the fine brain surface, measured It changes in time and space according to the state and function of the time.

여기서, 뇌파를 이용한 인식방법은 두뇌의 신경 패턴을 인식할 수 있는데, 뇌파만을 이용하여 인간과 기계의 직접적인 인터페이스를 구축하려는 두뇌 컴퓨터 인터페이스(BCI: Brain Computer Interface) 분야로 뇌파의 응용 범위가 넓어지고 있다.Here, the brain wave recognition method can recognize the neural pattern of the brain, the brain computer interface (BCI) to build a direct interface between the human and the machine using only the brain wave (BCI) in the field of application of the brain wave is getting wider have.

그러나, 두뇌 컴퓨터 인터페이스(BCI: Brain Computer Interface)는 분별이 용이한 특정 뇌파를 고의로 출현시키기 위하여, 사용자의 의도적인 훈련이 요구되었고, 사용자의 의도 및 행위가 일치하지 못하여 의사소통 개념으로 볼 수 없었으며, 한 문자를 인식하기 위하여 다중 선택이 요구되어 실용성이 저하되고, 처리 시간이 증가하는 등의 문제점이 있었다.However, the brain computer interface (BCI) required deliberate training by the user to deliberately present specific brain waves that could be easily discerned, and could not be considered as a communication concept because the user's intentions and behaviors were inconsistent. In addition, multiple selection is required in order to recognize a single character, which impairs practicality and increases processing time.

본 발명은 상기한 문제점을 해결하기 위하여 안출한 것으로, 사용자의 별도의 훈련없이 한 단어를 구성하고 있는 일련의 문자를 상상할 시의 뇌파인 특정 뇌파를 출현시켜 측정함으로써, 뇌파를 통해 사용자가 의도한 단어를 인식할 수 있고, 각 문자들의 연속적인 관측인 은닉 마르코프 모델로 사용자의 의도 및 행위의 불일치를 최소화하여 실용성을 증가시켰으며, 단시간 내에 사용자가 의도한 단어를 인식할 수 있는 실시간 인터페이스로서 이용가능하고, 뇌파를 통한 자연스러운 의사 전달이 가능한 뇌파를 이용한 단어 인식 시스템 및 단어 인식 방법을 제공하는 것을 목적으로 한다.The present invention has been made to solve the above problems, by appearing and measuring a specific brain wave brain waves when imagining a series of characters constituting a word without the user's separate training, the user intended through the brain waves It is able to recognize words and increase practicality by minimizing inconsistency of user's intention and behavior with hidden Markov model, which is a continuous observation of each letter, and used as a real-time interface that can recognize a user's intended word within a short time It is an object of the present invention to provide a word recognition system and a word recognition method using an EEG capable of natural communication through EEG.

상기한 바와 같은 목적을 달성하기 위하여 본 발명은 연속된 문자에 대한 뇌파 데이터를 검출하는 뇌파 검출부; 상기 뇌파 데이터를 증폭하는 뇌파 증폭부; 상기 증폭된 뇌파 데이터를 디지털 데이터로 변환시키는 A/D 변환부; 상기 디지털 데이터로 상기 연속된 문자를 인식하는 문자 인식부; 상기 문자 인식부에서 인식된 문자에서 단어를 인지하는 단어 인식부; 를 포함하여 이루어진다.In order to achieve the object as described above, the present invention includes an EEG detecting unit for detecting EEG data for a continuous character; An EEG amplifying unit for amplifying the EEG data; An A / D converter converting the amplified brain wave data into digital data; A character recognition unit for recognizing the continuous character with the digital data; A word recognition unit recognizing a word from the characters recognized by the character recognition unit; It is made, including.

그리고, 상기 문자 인식부는 디지털 데이터로 변환된 뇌파가 입력되는 입력부; 상기 뇌파의 시간적 변화를 측정 및 계산하는 계산부; 상기 뇌파의 시간적 변화에 따라 일련의 문자를 판단하여 인식하는 판단부; 를 포함하는 것을 특징으로 한다.The character recognition unit may include an input unit to which brain waves converted into digital data are input; A calculator for measuring and calculating a temporal change of the brain wave; A determination unit that determines and recognizes a series of characters according to the temporal change of the brain wave; Characterized in that it comprises a.

또한, 상기 계산부는 상기 뇌파가 일정 시간에 문턱 전압(Threshold Voltage)을 초과하는 횟수를 계산하는 것을 특징으로 한다.The calculator may calculate a number of times the brain wave exceeds a threshold voltage at a predetermined time.

여기서, 상기 계산부는 뇌파로부터 문자를 판단하기 위하여, 기 설정된 특정 문자에 대응되는 뇌파와 측정한 뇌파를 이종 분류시키는 것을 특징으로 한다.Here, in order to determine the character from the brain waves, the calculation unit is characterized in that the brain waves corresponding to the predetermined specific character and the measured brain waves are heterogeneously classified.

더불어, 상기 단어 인식부는 상기 문자 인식부에서 인식한 문자로부터 문자열을 인식하는 은닉 마르코프 모델; 기 설정된 일정 범주의 단어를 포함하는 단어 집합; 상기 인식된 문자열의 단어와 상기 단어 집합의 단어를 매칭시키는 단어 매칭부; 로 이루어지는 것을 특징으로 한다.The word recognition unit may further include a hidden Markov model that recognizes a character string from a character recognized by the character recognition unit; A word set including words in a predetermined schedule category; A word matching unit which matches a word of the recognized string with a word of the word set; Characterized in that consists of.

그리고, 상기 은닉 마르코프 모델은 상기 문자 인식부에서 인식한 문자를 은닉 상태에 대응시키는 것을 특징으로 한다.The hidden Markov model is characterized in that the character recognized by the character recognition unit corresponds to the hidden state.

또한, 상기 단어 매칭부는 기 정의된 단어 집합으로부터 은닉 마르코프 모델의 은닉 상태에 대응된 단어에 근접한 단어를 매칭시키는 것을 특징으로 한다.The word matching unit may match a word close to a word corresponding to a hidden state of the hidden Markov model from a predefined word set.

여기서, 상기 은닉 마르코프 모델에서 인식한 문자열과 기 정의된 단어 집합 사이의 헤밍 거리를 포함한 척도로 비교하여 유사한 단어를 산출하는 것을 특징으로 한다.Here, a similar word is calculated by comparing the character string recognized by the hidden Markov model with a measure including a hemming distance between a predefined word set.

그리고, 연속된 문자에 대한 뇌파 데이터를 뇌파 검출부에서 검출하여, 이를 뇌파 증폭부에서 증폭시키는 단계; 상기 증폭된 뇌파 데이터인 아날로그 데이터를 디지털 데이터로 변환시키는 단계; 상기 디지털 데이터로 문자 인식부에서 상기 연속된 문자를 인식하는 문자 인식 단계; 상기 문자 인식부에서 인식된 문자에서 단어를 인지하는 단어 인지 단계; 를 포함하여 이루어진다.Detecting the EEG data of the continuous character in the EEG detector and amplifying the EEG data in the EEG amplification unit; Converting analog data which is the amplified brain wave data into digital data; A character recognition step of recognizing the continuous character in a character recognition unit by the digital data; A word recognition step of recognizing a word from a character recognized by the character recognition unit; It is made, including.

또한, 상기 문자 인식 단계는 디지털 데이터로 변환된 뇌파를 입력받는 입력 단계; 상기 뇌파의 시간적 변화를 측정 및 계산하는 계산 단계; 상기 뇌파의 시간적 변화에 따라 일련의 문자를 판단하여 인식하는 판단 단계; 를 포함하는 것을 특징으로 한다.The character recognition step may further include: an input step of receiving an EEG converted into digital data; A calculation step of measuring and calculating the temporal change of the brain wave; A determination step of determining and recognizing a series of characters according to the temporal change of the brain wave; Characterized in that it comprises a.

여기서, 상기 계산 단계는 상기 뇌파가 일정 시간에 문턱 전압(Threshold Voltage)을 초과하는 횟수를 계산하는 것을 특징으로 한다.Here, the calculating step is characterized in that the number of times the brain wave exceeds the threshold voltage (Threshold Voltage) in a predetermined time.

또한, 상기 계산 단계는 뇌파로부터 문자를 판단하기 위하여, 기 설정된 특정 문자에 대응되는 뇌파와 측정한 뇌파를 이종 분류시키는 것을 특징으로 한다.In addition, the calculating step is characterized in that the brain wave corresponding to the predetermined specific character and the measured brain wave is heterogeneously classified in order to determine the character from the brain wave.

그리고, 상기 단어 인지 단계는 상기 문자 인식 단계에서 인식한 문자로부터 문자열을 인식하는 은닉 마르코프 모델 실행하는 단계; 기 설정된 일정 범주의 단 어를 포함하는 단어 집합의 단어와 상기 인식된 문자열의 단어를 매칭시키는 단어 매칭부; 로 이루어지는 것을 특징으로 한다.The word recognition step may include executing a hidden Markov model that recognizes a character string from a character recognized in the character recognition step; A word matching unit that matches a word of a word set including a word of a predetermined category and a word of the recognized string; Characterized in that consists of.

더불어, 상기 은닉 마르코프 모델은 상기 문자 인식부에서 인식한 문자를 은닉 상태에 대응시키는 것을 특징으로 한다.In addition, the hidden Markov model is characterized in that the character recognized by the character recognition unit corresponding to the hidden state.

또한, 상기 단어 매칭 단계는 기 정의된 단어 집합으로부터 은닉 마르코프 모델의 은닉 상태에 대응된 단어에 근접한 단어를 매칭시키는 것을 특징으로 한다.In addition, the word matching step is characterized by matching a word close to a word corresponding to the hidden state of the hidden Markov model from a predefined word set.

여기서, 상기 은닉 마르코프 모델에서 인식한 문자열과 기 정의된 단어 집합 사이의 헤밍 거리를 포함한 척도로 비교하여 유사한 단어를 산출하는 것을 특징으로 한다.Here, a similar word is calculated by comparing the character string recognized by the hidden Markov model with a measure including a hemming distance between a predefined word set.

이하, 본 발명에 따른 실시예를 첨부된 예시도면을 참고로 하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 뇌파를 이용한 단어 인식 시스템을 개략적으로 도시한 블록도이다. 도면에서 도시하고 있는 바와 같이, 본 발명에 의한 뇌파를 이용한 단어 인식 시스템(1)은 뇌파 검출부(10)와 뇌파 증폭부(20)와 A/D 변환부(30)와 문자 인식부(40)와 단어 인식부(50)를 포함하여 이루어진다.1 is a block diagram schematically illustrating a word recognition system using an EEG according to the present invention. As shown in the figure, the word recognition system 1 using the EEG according to the present invention is the EEG detector 10, EEG amplification unit 20, A / D conversion unit 30 and the character recognition unit 40 And a word recognition unit 50.

여기서, 상기 뇌파 검출부(10)는 사용자가 상상한 단어를 검출하기 위하여 구비되며, 사용자의 두부에 장착되는 뇌파 검출부(10)는 뇌파 검출용 전극이 배치되는데, 통상적인 10 - 20 국제 전극 배치법(10 - 20 International Nomenclature)이 이용된다.Here, the EEG detecting unit 10 is provided to detect a word imagined by the user, the EEG detecting unit 10 mounted to the head of the user is disposed on the EEG detection electrode, the conventional 10-20 international electrode placement method ( 10-20 International Nomenclature) are used.

그리고, 상기 뇌파 검출부(10)는 사용자가 상상하는 단어에 대하여, 하나의 단어를 이루는 일련의 문자열들을 일정 간격을 두고 상상할 때 발생되는 뇌파를 검출할 수 있도록 이루어진다.In addition, the EEG detecting unit 10 is configured to detect an EEG generated when imagining a series of character strings forming a single word with respect to a word imagined by a user at a predetermined interval.

또한, 상기 뇌파 검출부(10)에서 검출된 뇌파의 신호를 증폭시키기 위하여 뇌파 증폭부(20)가 구비되는데, 상기 뇌파 증폭부(20)에서는 상기 뇌파 검출부(10)에서 통상적으로 수행되는 60Hz 교류 전류에 대한 필터링을 수행하고, 이 과정에서 뇌파에 포함된 노이즈를 제거시키는 것도 바람직하다.In addition, the EEG amplification unit 20 is provided to amplify the signal of the EEG detected by the EEG detection unit 10, the EEG amplification unit 20 60Hz AC current which is usually performed in the EEG detection unit 10 It is also preferable to perform filtering on and remove noise included in the EEG during this process.

그리고, 상기 뇌파 증폭부(20)에서 증폭된 신호는 측정된 아날로그 신호이기 때문에, 이를 디지털 신호로 변환시키기 위하여 A/D 변환부(30)가 구비되며, 하나의 단어를 이루는 일련의 문자열들을 일정 간격을 두고 상상할 때 발생하는 아날로그 데이터를 일정 시간 간격으로 디지털 데이터로 변환시킨다.In addition, since the signal amplified by the EEG amplification unit 20 is a measured analog signal, an A / D converter 30 is provided to convert the signal into a digital signal, and a series of character strings forming a single word is fixed. At intervals, imaginary analog data are converted into digital data at regular time intervals.

여기서, 상기 문자 인식부(40)는 상기 디지털 데이터로 변환된 하나의 단어를 이루는 일련의 문자열에 대한 뇌파를 입력받는 입력부(41)와, 상기 입력부(41)에서 입력된 디지털 데이터를 시간적 변화를 계산하는 계산부(42)와, 상기 계산된 시간적 변화에 따른 문자를 판단하는 판단부(43)가 구비된다.Here, the character recognizer 40 receives an input unit 41 for receiving a brain wave for a series of strings constituting a single word converted into the digital data, and changes the digital data input from the input unit 41 in time. A calculation unit 42 for calculating and a determination unit 43 for determining a character according to the calculated temporal change are provided.

더불어, 상기 계산부(42)에서는 신호의 시간적 변화를 계산할 때, 일정 시간 동안 특정 문턱 전위(Threshold Potential) 또는 문턱 전압(Threshold Voltage)을 초과하는 횟수를 계산하는데, 이는 뇌파가 특정한 문턱 전위(Threshold Potential) 또는 문턱 전압(Threshold Voltage)을 초과하는 횟수는 두피뇌파(scalp EEG, 이하 "뇌파"라고 한다.)의 특정 신호를 측정하기 위하여 사용된다.In addition, when calculating the temporal change of the signal, the calculation unit 42 calculates the number of times of exceeding a certain threshold potential or a threshold voltage for a predetermined time, which is due to the brain wave having a specific threshold potential. The number of times the potential or threshold voltage is exceeded is used to measure a specific signal of the scalp EEG (hereinafter referred to as "encephalogram").

여기서, 뇌파로부터 26개의 알파벳 문자 중 사용자가 상상한 문자를 구별하기 위하여, 동일한 사용자에 대해 뇌파가 특정 문턱 전압을 초과하는 횟수 및 그 양태를 산출하여 각각의 알파벳 문자에 대응되는 뇌파들을 테이블화된 데이터로써 저장하는 데이터 베이스를 구비하고, 이에 대하여 상상한 문자에 대하여 상기 각각의 알파벳 문자에 대응되는 뇌파를 테이블화한 데이터와 비교하는데, 예를 들어 A를 사용자가 상상했을 경우에는, A의 뇌파와 상기 기 테스트된 테이블화된 데이터를 각각 비교하며 총 325번(26C2)의 이종 분류(2-Class Classification)를 수행한다.Here, in order to distinguish the character imagined by the user among the 26 alphabet letters from the EEG, the number of times that the EEG exceeds a certain threshold voltage and its aspect are calculated for the same user, and the EEG corresponding to each alphabet letter is tabulated. A database for storing as data is provided, and the brainwaves corresponding to the respective alphabetic characters are compared with the tabulated data with respect to the characters imagined. For example, when the user imagines A, the brainwaves of A A total of 325 times ( 26 C 2 ) is performed by comparing the previously tabulated data with the previously tested table data.

상기 이종 분류는 알파벳 문자에서 가능한 모든 이종분류 즉, 325(26C2)개의 이종 분류를 말하고 상기 각 이종 분류는 사용자가 특성 문자를 상상할 때 나타나는 두피뇌파의 특성 테이블에 기초하여 두 문자 중 어느 하나를 선택하는 분류를 수행합니다. 즉, 이종 분류를 통한 문자의 인식은 상기 A에 대한 사용자의 두피뇌파를 325개의 이종 분류에 대입한 후 이종 분류 결과 즉, 두개의 문자중 선택된 문자를 취합하여 다수결의 방법으로 사용자가 상상한 문자를 판단하게 됩니다.The heterogeneous classification refers to all possible heterogeneous classifications in alphabetical characters, that is, 325 ( 26 C 2 ) heterogeneous classifications, each of which is based on a characteristic table of the scalp brain waves appearing when the user imagines a characteristic character. Perform classification to select. That is, character recognition through heterogeneous classification is performed by substituting the user's scalp brain waves for A into 325 heterogeneous classifications, and then selecting the result of heterogeneous classification, that is, selecting characters from the two characters, and the characters imagined by the majority by the method. Will be judged.

그리고, 상기 단어 인식부(50)는 은닉 마르코프 모델(51)과, 단어 매칭부(52)와, 단어 집합(53)으로 이루어져, 사용자가 상상한 하나의 단어를 이루는 일련의 문자열에 대한 단어를 인식하는데, 문자열은 문자를 이루는 일련의 문자들의 열(String)이며, 단어(Word)는 상기 문자열(String)이 하나의 의미있는 문장을 구성하는 구성 요소로서 문자열의 상위 개념이다.The word recognition unit 50 includes a hidden Markov model 51, a word matching unit 52, and a word set 53 to generate a word for a string of strings forming a single word imagined by the user. It is recognized that a string is a string of a series of characters constituting a character, and a word is a superordinate concept of a string as a component of which the string constitutes one meaningful sentence.

또한, 상기 은닉 마르코프 모델(51)은 상기 문자 인식부(40)에서 판단한 각각의 문자들로부터 상태 전이 확률, 초기 상태 분포 및 상태의 관측 확률 등을 이용하여 사용자가 상상한 문자열을 인식하는데, 이를 위하여 요구되는 상태 전이 확 률과 초기 상태 분포는 사용자가 사용할 것으로 예상되어 기 정의된 단어들의 집합에 의하여 결정되고, 상태의 관측 확률은 상기 문자 인식부(40)의 인식 결과의 분포에 따라 대응된다.In addition, the hidden Markov model 51 recognizes a character string imagined by the user by using the state transition probability, the initial state distribution, and the observation probability of the state from each character determined by the character recognizer 40. The required state transition probability and initial state distribution are determined by a set of predefined words expected to be used by the user, and the observed probability of the state corresponds to the distribution of the recognition result of the character recognizer 40. .

그리고, 상기 은닉 마르코프 모델(51)은 상기 문자 인식부(40)에서 인식한 각각의 문자를 은닉 상태(Hidden State)에 대응시키는데, 예를 들어 사용자가 상상한 단어를 이루는 각각의 문자들은 노이즈를 포함할 수 있으므로, 잘못 인식된 문자를 포함할 수 있다.The hidden Markov model 51 corresponds to a hidden state of each character recognized by the character recognition unit 40. For example, each character constituting a word imagined by a user may generate noise. Because it can contain, it can contain misrecognized characters.

여기서, 소정의 확률을 가지고 잘못 인식된 문자를 포함하는 일련의 단어를 형성해내어, 단어를 인식하는 과정을 은닉 상태(Hidden State)로 일컫게되는데, 이는 잘못 인식된 단어를 포함하여 의미있는 단어를 형성하여, 사용자가 지정한 단어 집합(53)으로부터 헤밍 거리를 포함한 척도로 유사한 단어를 산출하기까지, 잘못 인식된 단어를 포함하기 때문이다.Here, the process of recognizing a word by forming a series of words including letters that are incorrectly recognized with a predetermined probability is referred to as a hidden state, which includes meaningful words including words that are incorrectly recognized. This is because the words are incorrectly recognized until the words are formed to calculate similar words on the scale including the hemming distance from the user-specified word set 53.

여기서, 상기 단어 매칭부(52)는 상기 은닉 마르코프 모델(51)에서 인식한 문자열과 기 정의된 단어들의 집합 내의 단어들을 헤밍 거리(Hamming Distance)를 포함하는 거리로 비교함으로써, 가장 유사한 단어를 검색하여 최종적으로 사용자가 의도한 단어를 인식할 수 있다.Here, the word matching unit 52 searches for the most similar word by comparing words recognized in the hidden Markov model 51 with words in a set of predefined words by a distance including a hamming distance. Finally, the word intended by the user can be recognized.

더불어, 상기 헤밍 거리는 같은 비트 수를 가지는 2진 부호 사이에 대응되는 비트 값(Bit Value)이 일치하지 않는 개수를 일컫는데, 일반적으로 헤밍 거리 d가 d≥2a＋1이면, a 개의 오류를 정정할 수 있다.In addition, the hemming distance refers to a number in which bit values corresponding to binary codes having the same number of bits do not coincide. Generally, when the hemming distance d is d≥2a + 1, a number of errors may be corrected. have.

그리고, 상기 단어 집합(53)은 사용자가 상상하는 단어의 범주에 포함되는 일련의 집합으로, 사용자가 상상하여 뇌파를 측정하기 전에 미리 설정할 수 있으며, 이 범주에 포함되는 단어를 최종적으로 검색할 때까지 비교 및 검색하는 데이터베이스를 이룬다.The word set 53 is a series of sets included in a category of a word imagined by the user, and may be preset before the user measures a brainwave, and when the user finally searches for a word included in the category. Up to a database to compare and search.

도 2는 본 발명에 따른 뇌파를 이용한 단어 인식 방법을 개략적으로 도시한 흐름도이며, 도 1을 참조한다. 도면에서 도시하고 있는 바와 같이, 본 발명에 의한 뇌파를 이용한 단어 인식 시스템 및 단어 인식 방법은 연속된 문자에 대한 뇌파 데이터를 뇌파 검출부(10)에서 검출하고(S10), 사용자가 상상한 단어를 검출하기 위하여 구비되는데, 사용자의 두부에 장착되는 뇌파 검출부(10)는 뇌파 검출용 전극을 구비한다.2 is a flowchart schematically illustrating a word recognition method using an EEG according to the present invention, referring to FIG. 1. As shown in the figure, the word recognition system and word recognition method using the EEG according to the present invention detects the EEG data for the continuous character in the EEG detection unit 10 (S10), the user imagines a word detected It is provided for, the EEG detection unit 10 mounted to the head of the user is provided with an EEG detection electrode.

그리고, 상기 뇌파 검출부(10)는 사용자가 상상하는 단어에 대하여, 하나의 단어를 이루는 일련의 문자열들을 일정 간격을 두고 상상할 때 발생되는 뇌파를 검출할 수 있도록 이루어진다.In addition, the EEG detecting unit 10 is configured to detect an EEG generated when imagining a series of character strings forming a single word with respect to a word imagined by a user at a predetermined interval.

또한, 상기 뇌파 검출부(10)에서 검출된 뇌파의 신호를 증폭시키기 위하여 뇌파 증폭부(20)로 뇌파를 증폭시키는데(S20), 상기 뇌파 증폭부(20)에서는 상기 뇌파 검출부(10)에서 통상적으로 수행되는 60Hz 교류 전류에 대한 필터링을 수행하고, 이 과정에서 뇌파에 포함된 노이즈를 제거시키는 것도 바람직하다.In addition, in order to amplify the EEG signal detected by the EEG detection unit 10 to amplify the EEG with the EEG amplification unit 20 (S20), the EEG amplification unit 20 in the EEG detection unit 10 is typically It is also preferable to perform filtering on the 60 Hz alternating current to be performed, and to remove noise contained in the EEG during this process.

그리고, 상기 뇌파 증폭부(20)에서 증폭된 신호는 측정된 아날로그 신호이기 때문에, 이를 디지털 신호로 변환시키기 위하여 A/D 변환부(30)가 구비되며, 하나의 단어를 이루는 일련의 문자열들을 일정 간격을 두고 상상할 때 발생하는 아날로 그 데이터를 일정 시간 간격으로 디지털 데이터로 변환시킨다(S30).In addition, since the signal amplified by the EEG amplification unit 20 is a measured analog signal, an A / D converter 30 is provided to convert the signal into a digital signal, and a series of character strings forming a single word is fixed. Analog data generated when imagining at intervals is converted into digital data at predetermined time intervals (S30).

여기서, 상기 문자 인식부(40)는 상기 디지털 데이터로 변환된 하나의 단어를 이루는 일련의 문자열에 대한 뇌파를 입력받는 입력부(41)와, 상기 입력부(41)에서 입력된 디지털 데이터를 시간적 변화를 계산하는 계산부(42)와, 상기 계산된 시간적 변화에 따른 문자를 판단하는 판단부(43)가 구비된다.Here, the character recognizer 40 receives an input unit 41 for receiving a brain wave for a series of strings constituting a single word converted into the digital data, and changes the digital data input from the input unit 41 in time. A calculation unit 42 for calculating and a determination unit 43 for determining a character according to the calculated temporal change are provided.

그래서, 상기 문자 인식부(40)는 디지털 데이터로 변환된 하나의 단어를 이루는 일련의 연속된 문자를 인식할 수 있도록 구비되는데, 상기 계산부(42)에서는 신호의 시간적 변화를 계산할 때, 일정 시간 동안 특정 문턱 전위(Threshold Potential) 또는 문턱 전압(Threshold Voltage)을 초과하는 횟수를 계산하는데, 이는 뇌파가 특정한 문턱 전위(Threshold Potential) 또는 문턱 전압(Threshold Voltage)을 초과하는 횟수는 뇌파(두피뇌파(scalp EEG))의 특정 신호를 측정하기 위하여 사용된다.Thus, the character recognition unit 40 is provided to recognize a series of consecutive characters constituting a single word converted into digital data, the calculation unit 42 when calculating the temporal change of the signal, a predetermined time The number of times a certain threshold potential or threshold voltage is exceeded is calculated during the period, which is the number of times the brain waves exceed a certain threshold potential or threshold voltage. scalp EEG)) is used to measure specific signals.

여기서, 뇌파로부터 26개의 알파벳 문자 중 사용자가 상상한 문자를 구별하기 위하여, 동일한 사용자에 대해 뇌파가 특정 문턱 전압을 초과하는 횟수 및 그 양태를 산출하여 각각의 알파벳 문자에 대응되는 뇌파들을 테이블화된 데이터로써 저장하는 데이터 베이스를 구비하고, 이에 대하여 상상한 문자에 대하여 상기 각각의 알파벳 문자에 대응되는 뇌파를 테이블화한 데이터와 비교하는데, 예를 들어 A를 사용자가 상상했을 경우에는, A의 뇌파와 상기 기 테스트된 테이블화된 데이터를 각각 비교하며 총 325번(26C2)의 이종 분류(2-Class Classification)를 수행한다.Here, in order to distinguish the character imagined by the user among the 26 alphabet letters from the EEG, the number of times that the EEG exceeds a certain threshold voltage and its aspect are calculated for the same user, and the EEG corresponding to each alphabet letter is tabulated. A database for storing as data is provided, and the brainwaves corresponding to the respective alphabetic characters are compared with the tabulated data with respect to the characters imagined. For example, when the user imagines A, the brainwaves of A A total of 325 times ( 26 C 2 ) is performed by comparing the previously tabulated data with the previously tested table data.

상기 이종 분류는 알파벳 문자에서 가능한 모든 이종분류 즉, 325(26C2)개의 이종 분류를 말하고 상기 각 이종 분류는 사용자가 특성 문자를 상상할 때 나타나는 두피뇌파의 특성 테이블에 기초하여 두 문자 중 어느 하나를 선택하는 분류를 수행합니다. 즉, 이종 분류를 통한 문자의 인식은 상기 A에 대한 사용자의 두피뇌파를 325개의 이종 분류에 대입한 후 이종 분류 결과 즉, 두개의 문자중 선택된 문자를 취합하여 다수결의 방법으로 사용자가 상상한 문자를 판단하게 됩니다(S40).The heterogeneous classification refers to all possible heterogeneous classifications in alphabetical characters, that is, 325 ( 26 C 2 ) heterogeneous classifications, each of which is based on a characteristic table of the scalp brain waves appearing when the user imagines a characteristic character. Perform classification to select. That is, character recognition through heterogeneous classification is performed by substituting the user's scalp brain waves for A into 325 heterogeneous classifications, and then selecting the result of heterogeneous classification, that is, selecting characters from the two characters, and the characters imagined by the majority by the method. Will be determined (S40).

마지막으로, 상기 문자 인식부(40)에서 파악한 하나의 단어를 이루는 일련의 문자열을 하나의 의미있는 단어로 인식할 수 있는 단어 인식부(50)에서 단어를 인지하도록 이루어지는데(S50), 상기 단어 인식부(50)는 은닉 마르코프 모델(51)과, 단어 매칭부(52)와, 단어 집합(53)으로 이루어져, 사용자가 상상한 하나의 단어를 이루는 일련의 문자열에 대한 단어를 인식하는데, 문자열은 문자를 이루는 일련의 문자들의 열(String)이며, 단어(Word)는 상기 문자열(String)이 하나의 의미있는 문장을 구성하는 구성 요소로서 문자열의 상위 개념이다.Finally, the word recognition unit 50 that can recognize a series of strings constituting a single word identified by the character recognition unit 40 as one meaningful word is made to recognize the word (S50) The recognition unit 50 includes a hidden Markov model 51, a word matching unit 52, and a word set 53 to recognize a word for a string of strings forming a single word imagined by the user. Is a string of a series of characters constituting a character, and word is a superordinate concept of a string as a component of which the string constitutes one meaningful sentence.

또한, 상기 은닉 마르코프 모델(51)은 상기 문자 인식부(40)에서 판단한 각각의 문자들로부터 상태 전이 확률, 초기 상태 분포 및 상태의 관측 확률 등을 이용하여 사용자가 상상한 문자열을 인식하는데, 이를 위하여 요구되는 상태 전이 확률과 초기 상태 분포는 사용자가 사용할 것으로 예상되어 기 정의된 단어들의 집합에 의하여 결정되고, 상태의 관측 확률은 상기 문자 인식부(40)의 인식 결과의 분포에 따라 대응된다.In addition, the hidden Markov model 51 recognizes a character string imagined by the user by using the state transition probability, the initial state distribution, and the observation probability of the state from each character determined by the character recognizer 40. The required state transition probability and initial state distribution are determined by a set of predefined words that are expected to be used by the user, and the observed probability of the state corresponds to the distribution of the recognition result of the character recognition unit 40.

그리고, 상기 은닉 마르코프 모델(51)은 상기 문자 인식부(40)에서 인식한 각각의 문자를 은닉 상태(Hidden State)에 대응시키는데, 예를 들어 사용자가 상상한 단어를 이루는 각각의 문자들은 노이즈를 포함할 수 있으므로, 잘못 인식된 문자를 포함할 수 있다.The hidden Markov model 51 corresponds to a hidden state of each character recognized by the character recognition unit 40. For example, each character constituting a word imagined by a user may generate noise. Because it can contain, it can contain misrecognized characters.

여기서, 소정의 확률을 가지고 잘못 인식된 문자를 포함하는 일련의 단어를 형성해내어, 단어를 인식하는 과정을 은닉 상태(Hidden State)로 일컫게되는데, 이는 잘못 인식된 단어를 포함하여 의미있는 단어를 형성하여, 사용자가 지정한 단어 집합(53)으로부터 헤밍 거리를 포함한 척도로 유사한 단어를 산출하기까지, 잘못 인식된 단어를 포함하기 때문이다.Here, the process of recognizing a word by forming a series of words including letters that are incorrectly recognized with a predetermined probability is referred to as a hidden state, which includes meaningful words including words that are incorrectly recognized. This is because the words are incorrectly recognized until the words are formed to calculate similar words on the scale including the hemming distance from the user-specified word set 53.

여기서, 상기 단어 매칭부(52)는 상기 은닉 마르코프 모델(51)에서 인식한 문자열과 기 정의된 단어들의 집합 내의 단어들을 헤밍 거리(Hamming Distance)를 포함하는 거리로 비교함으로써, 가장 유사한 단어를 검색하여 최종적으로 사용자가 의도한 단어를 인식할 수 있다.Here, the word matching unit 52 searches for the most similar word by comparing words recognized in the hidden Markov model 51 with words in a set of predefined words by a distance including a hamming distance. Finally, the word intended by the user can be recognized.

더불어, 상기 헤밍 거리는 같은 비트 수를 가지는 2진 부호 사이에 대응되는 비트 값(Bit Value)이 일치하지 않는 개수를 일컫는데, 일반적으로 헤밍 거리 d가 d≥2a＋1이면, a 개의 오류를 정정할 수 있다.In addition, the hemming distance refers to a number in which bit values corresponding to binary codes having the same number of bits do not coincide. Generally, when the hemming distance d is d≥2a + 1, a number of errors may be corrected. have.

그리고, 상기 단어 집합(53)은 사용자가 상상하는 단어의 범주에 포함되는 일련의 집합으로, 사용자가 상상하여 뇌파를 측정하기 전에 미리 설정할 수 있으며, 이 범주에 포함되는 단어를 최종적으로 검색할 때까지 비교 및 검색하는 데이터베이스를 이룬다.The word set 53 is a series of sets included in a category of a word imagined by the user, and may be preset before the user measures a brainwave, and when the user finally searches for a word included in the category. Up to a database to compare and search.

도 3은 본 발명에 따른 뇌파를 이용한 단어 인식 방법 중 문자 인식 단계를 개략적으로 도시한 흐름도이고, 도 1을 참조한다. 도면에서 도시하고 있는 바와 같이, 본 발명에 의한 뇌파를 이용한 단어 인식 시스템 및 단어 인식 방법은 다음과 같이 이루어진다.3 is a flowchart schematically illustrating a character recognition step of a word recognition method using an EEG according to the present invention, referring to FIG. 1. As shown in the figure, the word recognition system and word recognition method using the brain wave according to the present invention is made as follows.

상기 문자 인식부(40)의 문자 인식 단계(S40)는 상기 디지털 데이터로 변환된 하나의 단어를 이루는 일련의 문자열에 대한 뇌파를 입력받는 입력부(41)에서의 입력 단계(S41)와, 상기 입력부(41)에서 입력된 디지털 데이터를 시간적 변화를 계산하는 계산부(42)에서의 계산 단계(S42)와, 상기 계산된 시간적 변화에 따른 문자를 판단하는 판단부(43)에서의 판단 단계(S43)로 이루어진다.Character recognition step (S40) of the character recognition unit 40 is an input step (S41) in the input unit 41 for receiving a brain wave for a series of strings forming a single word converted into the digital data, and the input unit The calculation step (S42) in the calculation unit 42 for calculating the temporal change of the digital data input in (41), and the determination step (S43) in the determination unit 43 for determining the character according to the calculated temporal change. )

그래서, 상기 문자 인식부(40)는 디지털 데이터로 변환된 하나의 단어를 이루는 일련의 연속된 문자를 인식할 수 있도록 구비되는데, 상기 계산부(42)에서는 신호의 시간적 변화를 계산할 때, 일정 시간 동안 특정 문턱 전위(Threshold Potential) 또는 문턱 전압(Threshold Voltage)을 초과하는 횟수를 계산하는데, 이는 뇌파가 특정한 문턱 전위(Threshold Potential) 또는 문턱 전압(Threshold Voltage)을 초과하는 횟수는 뇌파(두피뇌파(scalp EEG))의 특정 신호를 측정하기 위하여 사용된다(S42).Thus, the character recognition unit 40 is provided to recognize a series of consecutive characters constituting a single word converted into digital data, the calculation unit 42 when calculating the temporal change of the signal, a predetermined time The number of times a certain threshold potential or threshold voltage is exceeded is calculated during the period, which is the number of times the brain waves exceed a certain threshold potential or threshold voltage. scalp EEG)) is used to measure a specific signal (S42).

여기서, 뇌파로부터 26개의 알파벳 문자 중 사용자가 상상한 문자를 구별하기 위하여, 동일한 사용자에 대해 뇌파가 특정 문턱 전압을 초과하는 횟수 및 그 양태를 산출하여 각각의 알파벳 문자에 대응되는 뇌파들을 테이블화된 데이터로써 저장하는 데이터 베이스를 구비하고, 이에 대하여 상상한 문자에 대하여 상기 각각의 알파벳 문자에 대응되는 뇌파를 테이블화한 데이터와 비교하는데, 예를 들어 A를 사용자가 상상했을 경우에는, A의 뇌파와 상기 기 테스트된 테이블화된 데이터를 각각 비교하며 총 325번(26C2)의 이종 분류(2-Class Classification)를 수행한다.Here, in order to distinguish the character imagined by the user among the 26 alphabet letters from the EEG, the number of times that the EEG exceeds a certain threshold voltage and its aspect are calculated for the same user, and the EEG corresponding to each alphabet letter is tabulated. A database for storing as data is provided, and the brainwaves corresponding to the respective alphabetic characters are compared with the tabulated data with respect to the characters imagined. For example, when the user imagines A, the brainwaves of A A total of 325 times ( 26 C 2 ) is performed by comparing the previously tabulated data with the previously tested table data.

상기 이종 분류는 알파벳 문자에서 가능한 모든 이종분류 즉, 325(26C2)개의 이종 분류를 말하고 상기 각 이종 분류는 사용자가 특성 문자를 상상할 때 나타나는 두피뇌파의 특성 테이블에 기초하여 두 문자 중 어느 하나를 선택하는 분류를 수행합니다. 즉, 이종 분류를 통한 문자의 인식은 상기 A에 대한 사용자의 두피뇌파를 325개의 이종 분류에 대입한 후 이종 분류 결과 즉, 두개의 문자중 선택된 문자를 취합하여 다수결의 방법으로 사용자가 상상한 문자를 판단하게 됩니다(S43).The heterogeneous classification refers to all possible heterogeneous classifications in alphabetical characters, that is, 325 ( 26 C 2 ) heterogeneous classifications, each of which is based on a characteristic table of the scalp brain waves appearing when the user imagines a characteristic character. Perform classification to select. That is, character recognition through heterogeneous classification is performed by substituting the user's scalp brain waves for A into 325 heterogeneous classifications, and then selecting the result of the heterogeneous classification, that is, selecting characters from the two characters. Will be determined (S43).

도 4는 본 발명에 따른 뇌파를 이용한 단어 인식 방법 중 단어 인식 단계를 개략적으로 도시한 흐름도이고, 도 1을 참조한다. 도면에서 도시하고 있는 바와 같이 마지막으로, 상기 문자 인식부(40)에서 파악한 하나의 단어를 이루는 일련의 문자열을 하나의 의미있는 단어로 인식할 수 있는 단어 인식부(50)의 단어 인식 단계(S50)는 은닉 마르코프 모델(51)로 문자열을 인식하는 단계(S51)와, 인식된 문자열로부터 기 정해진 단어 집합(53)의 단어와 매칭하는 단어 매칭 단계(S53)와, 상기 단어가 기 정해진 단어 집합(53)의 매칭 결과에 따라 의미있는 단어로 완성되었는지의 여부를 확인하는 단계(S55)와, 상기 단어가 완성될 때까지 상기 단계(S53)로 반복구동하고, 단어가 완성되면 단어 집합(53)에 포함되는 단어를 최종적으로 출력(S57)하며 종료시키는 것을 특징으로 한다.4 is a flowchart schematically illustrating a word recognition step of a word recognition method using an EEG according to the present invention, referring to FIG. 1. Finally, as shown in the figure, the word recognition step of the word recognition unit 50 that can recognize a series of strings constituting one word identified by the character recognition unit 40 as one meaningful word (S50) Recognizing a character string with the hidden Markov model 51 (S51), a word matching step (S53) to match the word of the predetermined word set 53 from the recognized string, and the word is a predetermined word set According to the matching result of (53) (S55) and confirming whether or not complete with a meaningful word, and repeating the drive to the step (S53) until the word is completed, and if the word is complete, the word set (53) Finally, the word included in the output (S57) and is characterized in that the end.

그리고, 사용자가 상상한 하나의 단어를 이루는 일련의 문자열에 대한 단어를 인식하는데, 문자열은 문자를 이루는 일련의 문자들의 열(String)이며, 단어(Word)는 상기 문자열(String)이 하나의 의미있는 문장을 구성하는 구성 요소로서 문자열의 상위 개념이다.Then, the user recognizes a word for a series of strings that constitute a single word, which is imagined by the user, and a string is a string of a series of characters constituting a letter, and a word means one string. Consisting of a sentence, it is a superset of a string.

또한, 상기 은닉 마르코프 모델(51)은 상기 문자 인식부(40)에서 판단한 각 각의 문자들로부터 상태 전이 확률, 초기 상태 분포 및 상태의 관측 확률 등을 이용하여 사용자가 상상한 문자열을 인식하는데, 이를 위하여 요구되는 상태 전이 확률과 초기 상태 분포는 사용자가 사용할 것으로 예상되어 기 정의된 단어들의 집합에 의하여 결정되고, 상태의 관측 확률은 상기 문자 인식부(40)의 인식 결과의 분포에 따라 대응된다.In addition, the hidden Markov model 51 recognizes a character string imagined by a user using state transition probability, initial state distribution, and state observation probability from each character determined by the character recognition unit 40. The state transition probability and initial state distribution required for this purpose are determined by a set of predefined words that are expected to be used by the user, and the observation probability of the state corresponds to the distribution of the recognition result of the character recognition unit 40. .

그리고, 상기 은닉 마르코프 모델(51)은 상기 문자 인식부(40)에서 인식한 각각의 문자를 은닉 상태(Hidden State)에 대응시키는데, 예를 들어 사용자가 상상한 단어를 이루는 각각의 문자들은 노이즈를 포함할 수 있으므로, 잘못 인식된 문자를 포함할 수 있다.The hidden Markov model 51 corresponds to a hidden state of each character recognized by the character recognition unit 40. For example, each character constituting a word imagined by a user may generate noise. Because it can contain, it can contain misrecognized characters.

여기서, 소정의 확률을 가지고 잘못 인식된 문자를 포함하는 일련의 단어를 형성해내어, 단어를 인식하는 과정을 은닉 상태(Hidden State)로 일컫게되는데, 이는 잘못 인식된 단어를 포함하여 의미있는 단어를 형성하여, 사용자가 지정한 단어 집합(53)으로부터 헤밍 거리를 포함한 척도로 유사한 단어를 산출하기까지, 잘못 인식된 단어를 포함하기 때문이다.Here, the process of recognizing a word by forming a series of words including letters that are incorrectly recognized with a predetermined probability is referred to as a hidden state, which includes meaningful words including words that are incorrectly recognized. This is because the words are incorrectly recognized until the words are formed to calculate similar words on the scale including the hemming distance from the user-specified word set 53.

여기서, 상기 단어 매칭부(52)는 상기 은닉 마르코프 모델(51)에서 인식한 문자열과 기 정의된 단어들의 집합 내의 단어들을 헤밍 거리(Hamming Distance)를 포함하는 거리로 비교함으로써, 가장 유사한 단어를 검색하여 최종적으로 사용자가 의도한 단어를 인식할 수 있다.Here, the word matching unit 52 searches for the most similar word by comparing words recognized in the hidden Markov model 51 with words in a set of predefined words by a distance including a hamming distance. Finally, the word intended by the user can be recognized.

더불어, 상기 헤밍 거리는 같은 비트 수를 가지는 2진 부호 사이에 대응되는 비트 값(Bit Value)이 일치하지 않는 개수를 일컫는데, 일반적으로 헤밍 거리 d가 d≥2a＋1이면, a 개의 오류를 정정할 수 있다.In addition, the hemming distance refers to a number in which bit values corresponding to binary codes having the same number of bits do not coincide. Generally, when the hemming distance d is d≥2a + 1, a number of errors may be corrected. have.

그리고, 상기 단어 집합(53)은 사용자가 상상하는 단어의 범주에 포함되는 일련의 집합으로, 사용자가 상상하여 뇌파를 측정하기 전에 미리 설정할 수 있으며, 이 범주에 포함되는 단어를 최종적으로 검색할 때까지 비교 및 검색하는 데이터베이스를 이룬다.The word set 53 is a series of sets included in a category of a word imagined by the user, and may be preset before the user measures a brainwave, and when the user finally searches for a word included in the category. Up to a database to compare and search.

이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이같은 특정 실시예에만 한정되지 않으며 해당 분야에서 통상의 지식을 가진자라면 본 발명의 특허 청구 범위내에 기재된 범주 내에서 적절하게 변경이 가능 할 것이다.Although the preferred embodiments of the present invention have been described above by way of example, the scope of the present invention is not limited to such specific embodiments, and those skilled in the art are appropriate within the scope described in the claims of the present invention. It will be possible to change.

이상에서 설명한 바와 같이 상기와 같은 구성을 갖는 본 발명은 사용자의 별도의 훈련없이 한 단어를 구성하고 있는 일련의 문자를 상상할 시의 뇌파인 특정 뇌파를 출현시켜 측정함으로써, 뇌파를 통해 사용자가 의도한 단어를 인식할 수 있고, 각 문자들의 연속적인 관측인 은닉 마르코프 모델로 사용자의 의도 및 행위의 불일치를 최소화하여 실용성을 증가시켰으며, 단시간 내에 사용자가 의도한 단어를 인식할 수 있는 실시간 인터페이스로서 이용가능하고, 뇌파를 통한 자연스러운 의사 전달이 가능한 등의 효과를 거둘 수 있다.As described above, the present invention having the configuration as described above can measure and display specific brain waves, which are brain waves when imagining a series of letters constituting a word, without the user's separate training. It is able to recognize words and increase practicality by minimizing inconsistency of user's intention and behavior with hidden Markov model, which is a continuous observation of each letter, and used as a real-time interface that can recognize a user's intended word within a short time It is possible to achieve the effect, such as natural communication through the EEG.

Claims (16)

연속된 문자에 대한 뇌파 데이터를 검출하는 뇌파 검출부;An EEG detecting unit for detecting EEG data for a continuous character; 상기 뇌파 데이터를 증폭하는 뇌파 증폭부;An EEG amplifying unit for amplifying the EEG data; 상기 증폭된 뇌파 데이터를 디지털 데이터로 변환시키는 A/D 변환부;An A / D converter converting the amplified brain wave data into digital data; 상기 디지털 데이터로 상기 연속된 문자를 인식하는 문자 인식부;A character recognition unit for recognizing the continuous character with the digital data; 상기 문자 인식부에서 인식된 문자에서 단어를 인지하는 단어 인식부;A word recognition unit recognizing a word from the characters recognized by the character recognition unit; 를 포함하되,Including but not limited to: 상기 문자 인식부는The character recognition unit 디지털 데이터로 변환된 뇌파가 입력되는 입력부;An input unit to which brain waves converted into digital data are input; 상기 뇌파의 시간적 변화를 측정 및 계산하는 계산부;A calculator for measuring and calculating a temporal change of the brain wave; 상기 뇌파의 시간적 변화에 따라 일련의 문자를 판단하여 인식하는 판단부;A determination unit that determines and recognizes a series of characters according to the temporal change of the brain wave; 를 포함하는 것을 특징으로 하는 뇌파를 이용한 단어 인식 시스템.Word recognition system using the EEG, comprising a. 삭제delete 제1항에 있어서,The method of claim 1, 상기 계산부는 상기 뇌파가 일정 시간에 문턱 전압(Threshold Voltage)을 초과하는 횟수를 계산하는 것을 특징으로 하는 뇌파를 이용한 단어 인식 시스템.The calculator is a word recognition system using the EEG, characterized in that for calculating the number of times the EEG exceeds the threshold voltage (Threshold Voltage) in a predetermined time. 제3항에 있어서,The method of claim 3, 상기 계산부는 뇌파로부터 문자를 판단하기 위하여, 기 설정된 특정 문자에 대응되는 뇌파와 측정한 뇌파를 이종 분류시키는 것을 특징으로 하는 뇌파를 이용한 단어 인식 시스템.The calculation unit is a word recognition system using a brain wave, characterized in that for classifying the brain wave and the measured brain wave corresponding to a predetermined specific character in order to determine the character from the brain wave. 제1항에 있어서,The method of claim 1, 상기 단어 인식부는The word recognition unit 상기 문자 인식부에서 인식한 문자로부터 문자열을 인식하는 은닉 마르코프 모델;A hidden Markov model for recognizing a character string from characters recognized by the character recognition unit; 기 설정된 일정 범주의 단어를 포함하는 단어 집합;A word set including words in a predetermined schedule category; 상기 인식된 문자열의 단어와 상기 단어 집합의 단어를 매칭시키는 단어 매칭부;A word matching unit which matches a word of the recognized string with a word of the word set; 로 이루어지는 것을 특징으로 하는 뇌파를 이용한 단어 인식 시스템.Word recognition system using brain waves, characterized in that consisting of. 제5항에 있어서,The method of claim 5, 상기 상기 은닉 마르코프 모델은 상기 문자 인식부에서 인식한 문자를 은닉 상태에 대응시키는 것을 특징으로 하는 뇌파를 이용한 단어 인식 시스템.The hidden Markov model is a word recognition system using an EEG, characterized in that for the character recognized by the character recognition unit corresponding to the hidden state. 제6항에 있어서,The method of claim 6, 상기 단어 매칭부는 기 정의된 단어 집합으로부터 은닉 마르코프 모델의 은닉 상태에 대응된 단어에 근접한 단어를 매칭시키는 것을 특징으로 하는 뇌파를 이용한 단어 인식 시스템.And the word matching unit matches a word close to a word corresponding to a hidden state of a hidden Markov model from a predefined word set. 제5항에 있어서,The method of claim 5, 상기 단어 매칭부는 상기 은닉 마르코프 모델에서 인식한 문자열과 기 정의된 단어 집합 사이의 헤밍 거리를 포함한 척도로 비교하여 유사한 단어를 산출하는 것을 특징으로 하는 뇌파를 이용한 단어 인식 시스템.The word matching unit is a word recognition system using an EEG, characterized in that to calculate a similar word by comparing a measure including the hemming distance between the character string recognized in the hidden Markov model and a predefined set of words. 연속된 문자에 대한 뇌파 데이터를 뇌파 검출부에서 검출하여, 이를 뇌파 증폭부에서 증폭시키는 단계;Detecting EEG data for a sequence of characters by an EEG detector and amplifying the EEG data by EEG amplification unit; 상기 증폭된 뇌파 데이터인 아날로그 데이터를 디지털 데이터로 변환시키는 단계;Converting analog data, the amplified brain wave data, into digital data; 상기 디지털 데이터로 문자 인식부에서 상기 연속된 문자를 인식하는 문자 인식 단계;A character recognition step of recognizing the continuous character in a character recognition unit by the digital data; 상기 문자 인식부에서 인식된 문자에서 단어를 인지하는 단어 인지 단계;A word recognition step of recognizing a word from a character recognized by the character recognition unit; 를 포함하되,Including but not limited to: 상기 문자 인식 단계는The character recognition step 디지털 데이터로 변환된 뇌파를 입력받는 입력 단계;An input step of receiving brain waves converted into digital data; 상기 뇌파의 시간적 변화를 측정 및 계산하는 계산 단계;A calculation step of measuring and calculating the temporal change of the brain wave; 상기 뇌파의 시간적 변화에 따라 일련의 문자를 판단하여 인식하는 판단 단계;A determination step of determining and recognizing a series of characters according to the temporal change of the brain wave; 를 포함하는 것을 특징으로 하는 뇌파를 이용한 단어 인식 방법.Word recognition method using an EEG comprising a. 삭제delete 제9항에 있어서,The method of claim 9, 상기 계산 단계는 상기 뇌파가 일정 시간에 문턱 전압(Threshold Voltage)을 초과하는 횟수를 계산하는 것을 특징으로 하는 뇌파를 이용한 단어 인식 방법.The calculating step is a word recognition method using the EEG, characterized in that for calculating the number of times the EEG exceeds the threshold voltage (Threshold Voltage) in a predetermined time. 제9항에 있어서,The method of claim 9, 상기 계산 단계는 뇌파로부터 문자를 판단하기 위하여, 기 설정된 특정 문자에 대응되는 뇌파와 측정한 뇌파를 이종 분류시키는 것을 특징으로 하는 뇌파를 이용한 단어 인식 방법.The calculating step is a word recognition method using the EEG, characterized in that to classify the brain wave and the measured brain wave corresponding to the predetermined specific character in order to determine the character from the brain wave. 제9항에 있어서,The method of claim 9, 상기 단어 인지 단계는The word recognition step 상기 문자 인식 단계에서 인식한 문자로부터 문자열을 인식하는 은닉 마르코프 모델 실행하는 단계;Executing a hidden Markov model for recognizing a character string from a character recognized in the character recognition step; 기 설정된 일정 범주의 단어를 포함하는 단어 집합의 단어와 상기 인식된 문자열의 단어를 매칭시키는 단어 매칭 단계;A word matching step of matching a word of a word set including a word of a predetermined category with a word of the recognized string; 로 이루어지는 것을 특징으로 하는 뇌파를 이용한 단어 인식 방법.Word recognition method using an EEG, characterized in that consisting of. 제13항에 있어서,The method of claim 13, 상기 은닉 마르코프 모델은 상기 문자 인식부에서 인식한 문자를 은닉 상태에 대응시키는 것을 특징으로 하는 뇌파를 이용한 단어 인식 방법.The hidden Markov model is a word recognition method using an EEG, characterized in that for the character recognized by the character recognition unit corresponding to the hidden state. 제13항에 있어서,The method of claim 13, 상기 단어 매칭 단계는 기 정의된 단어 집합으로부터 은닉 마르코프 모델의 은닉 상태에 대응된 단어에 근접한 단어를 매칭시키는 것을 특징으로 하는 뇌파를 이용한 단어 인식 방법.The word matching step of the word recognition method using a brain wave, characterized in that for matching the word close to the word corresponding to the hidden state of the hidden Markov model from a predefined word set. 제13항에 있어서,The method of claim 13, 상기 단어 매칭 단계는 상기 은닉 마르코프 모델에서 인식한 문자열과 기 정의된 단어 집합 사이의 헤밍 거리를 포함한 척도로 비교하여 유사한 단어를 산출하는 것을 특징으로 하는 뇌파를 이용한 단어 인식 방법.The word matching step of the word recognition method using brain waves, characterized in that to compare similar to the scale including the hemming distance between the character string and the predefined word set recognized in the hidden Markov model.
KR1020070014273A 2007-02-12 2007-02-12 System and Method for Word Recognition from Brain Activity KR100913753B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070014273A KR100913753B1 (en) 2007-02-12 2007-02-12 System and Method for Word Recognition from Brain Activity

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070014273A KR100913753B1 (en) 2007-02-12 2007-02-12 System and Method for Word Recognition from Brain Activity

Publications (2)

Publication Number Publication Date
KR20080075299A KR20080075299A (en) 2008-08-18
KR100913753B1 true KR100913753B1 (en) 2009-08-24

Family

ID=39878978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070014273A KR100913753B1 (en) 2007-02-12 2007-02-12 System and Method for Word Recognition from Brain Activity

Country Status (1)

Country Link
KR (1) KR100913753B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014171598A1 (en) * 2013-04-16 2014-10-23 고려대학교 산학협력단 Brain-machine interface device and method for recognizing intention by using brain waves
US10524683B2 (en) 2013-04-16 2020-01-07 Korea University Research And Business Foundation EEG-based brain-machine interface apparatus and method for recognizing human-intention using flickering visual stimulus
US11269413B2 (en) 2018-11-07 2022-03-08 Korea University Research And Business Foundation Brain-computer interface system and method for decoding user's conversation intention using the same

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014066855A1 (en) * 2012-10-26 2014-05-01 The Regents Of The University Of California Methods of decoding speech from brain activity data and devices for practicing the same
KR101581895B1 (en) * 2014-05-20 2016-01-04 경희대학교 산학협력단 Brain-computer interface system for word typing using p300 and word typing methods therefor
KR101724939B1 (en) * 2015-10-28 2017-04-07 한양대학교 산학협력단 System and method for predicting intention of user using brain wave
US10362385B1 (en) * 2018-03-05 2019-07-23 Harman International Industries, Incorporated Controlling perceived ambient sounds based on focus level

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207592A (en) * 1997-01-20 1998-08-07 Technos Japan:Kk Intention transmission device utilizing living body signal
US20050017870A1 (en) 2003-06-05 2005-01-27 Allison Brendan Z. Communication methods based on brain computer interfaces
KR20050063618A (en) * 2003-12-22 2005-06-28 한국전자통신연구원 Method and appratus for recognizing positive/negative intention using fine change of gamma wave of brain wave
JP2006285224A (en) * 2005-03-09 2006-10-19 Advanced Telecommunication Research Institute International Speech function aiding apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207592A (en) * 1997-01-20 1998-08-07 Technos Japan:Kk Intention transmission device utilizing living body signal
US20050017870A1 (en) 2003-06-05 2005-01-27 Allison Brendan Z. Communication methods based on brain computer interfaces
KR20050063618A (en) * 2003-12-22 2005-06-28 한국전자통신연구원 Method and appratus for recognizing positive/negative intention using fine change of gamma wave of brain wave
JP2006285224A (en) * 2005-03-09 2006-10-19 Advanced Telecommunication Research Institute International Speech function aiding apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014171598A1 (en) * 2013-04-16 2014-10-23 고려대학교 산학협력단 Brain-machine interface device and method for recognizing intention by using brain waves
US10524683B2 (en) 2013-04-16 2020-01-07 Korea University Research And Business Foundation EEG-based brain-machine interface apparatus and method for recognizing human-intention using flickering visual stimulus
US11269413B2 (en) 2018-11-07 2022-03-08 Korea University Research And Business Foundation Brain-computer interface system and method for decoding user's conversation intention using the same
US11687157B2 (en) 2018-11-07 2023-06-27 Korea University Research And Business Foundation Brain-computer interface system and method for recognizing conversation intention of user using the same

Also Published As

Publication number Publication date
KR20080075299A (en) 2008-08-18

Similar Documents

Publication Publication Date Title
KR100913753B1 (en) System and Method for Word Recognition from Brain Activity
CN108629313B (en) Emotion adjusting method, device and system and computer storage medium
CN108186011B (en) Atrial fibrillation detection method, atrial fibrillation detection device and readable storage medium
US7282028B2 (en) Method and apparatus for measuring animal&#39;s condition by acquiring and analyzing its biological signals
EP2224346B1 (en) Ecg signal analysis tool
US10433752B2 (en) Method for the real-time identification of seizures in an electroencephalogram (EEG) signal
CN104503593A (en) Control information determination method and device
Sharmila Epilepsy detection from EEG signals: a review
CN107480697B (en) Myoelectric gesture recognition method and system
Vullings et al. ECG segmentation using time-warping
KR102141185B1 (en) A system of detecting epileptic seizure waveform based on coefficient in multi-frequency bands from electroencephalogram signals, using feature extraction method with probabilistic model and machine learning
KR20060053812A (en) Biometric appratus and method using bio signal
KR102277811B1 (en) A Deep learning-based real time emotional recognition system using bi-signal and methodology.
CN113040771B (en) Emotion recognition method, system, wearable device and storage medium
US11640204B2 (en) Systems and methods decoding intended symbols from neural activity
Nguyen et al. Cover your cough: Detection of respiratory events with confidence using a smartwatch
KR102267741B1 (en) Deep learning based emotional recognition system and methods using PPG signals
Mehta et al. Support Vector Machine for Cardiac Beat Detection in Single Lead Electrocardiogram.
US10956792B2 (en) Methods and apparatus to analyze time series data
CN115120236A (en) Emotion recognition method and device, wearable device and storage medium
AU2021300430A1 (en) Systems and methods decoding intended symbols from neural activity
US20050137493A1 (en) Apparatus and method for recognizing positive/negative intention using fine change of gamma wave of brainwave
KR20110127029A (en) Method for estimating degree of subjective well-being based on language of user
Kumar et al. Verification-based design of a robust EMG wake word
CN101571747A (en) Method for realizing multi-mode EEG-control intelligent typewriting

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee