JP2515875B2 - A syllable recognition device using EEG topography - Google Patents
A syllable recognition device using EEG topographyInfo
- Publication number
- JP2515875B2 JP2515875B2 JP1052872A JP5287289A JP2515875B2 JP 2515875 B2 JP2515875 B2 JP 2515875B2 JP 1052872 A JP1052872 A JP 1052872A JP 5287289 A JP5287289 A JP 5287289A JP 2515875 B2 JP2515875 B2 JP 2515875B2
- Authority
- JP
- Japan
- Prior art keywords
- syllable
- pattern
- topography
- electroencephalogram
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012876 topography Methods 0.000 title claims description 58
- 238000013528 artificial neural network Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 11
- 238000002360 preparation method Methods 0.000 description 24
- 238000000537 electroencephalography Methods 0.000 description 19
- 210000004556 brain Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010304 firing Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、発声した音節もしくは発声しようとイメ
ージした音節を、発声直前もしくは発声しようとイメー
ジした時の脳波トポグラフィパターンから神経回路網に
よって認識して呈示する脳波トポグラフィによる音節認
識装置に関するものである。DETAILED DESCRIPTION OF THE INVENTION [Industrial application] The present invention recognizes a syllable uttered or a syllable imagined to be uttered by a neural network from an electroencephalographic topography pattern immediately before uttering or when imagining to utter. The present invention relates to a syllable recognition device using electroencephalographic topography.
脳波トポグラフィは、第９図に示すように、国際電極
配置法（10−20法）で単極導出した12〜16（図では12）
チャンネルの脳波から、補間関数を用いて電極間の電位
を推定するものであり、この結果をもとに一定電位幅で
の段階付けを行い、カラーやドットパターンで２次元等
電位分布図を作成するものである。As shown in Fig. 9, the electroencephalographic topography was unipolarly derived by the international electrode placement method (10-20 method) 12-16 (12 in the figure).
The potential between the electrodes is estimated from the electroencephalogram of the channel using an interpolation function. Based on this result, stepping with a constant potential width is performed, and a two-dimensional equipotential distribution map is created using color or dot patterns. To do.
なお、第９図で、〜は測定点を示し、●印は前記
測定点〜のデータに基いて補間する点であり、Ｈは
頭部を示す。In FIG. 9, ~ indicates measurement points, ● marks indicate points to be interpolated based on the data of the measurement points ~, and H indicates the head.
人や動物が運動を始めるにあたって、脳の中に運動の
準備状態が作られるであろうことはKornhuberら（196
4）が運動準備電位を記録したころから想定されてい
た。これは、人が手や足を動かす動作をするとき、頭皮
上に電極を置き、運動開始時点を基準として信号を加算
して得られるものである（塚原仲晃、脳の情報処理、18
64年、p180参照）。音声を発するという動作も随意運動
であり、同じく運動準備電位が記録できる。As humans and animals start exercising, the state of preparation for exercise in the brain may be created by Kornhuber et al. (196
It was assumed from the time when 4) recorded the exercise preparation potential. This is obtained by placing electrodes on the scalp and adding signals based on the starting point of exercise when a person moves his or her hand or foot (Nakaaki Tsukahara, Information processing in the brain, 18
64, p180). The action of producing a voice is also a voluntary exercise, and similarly, the exercise preparation potential can be recorded.
アメリカ、ミズーリ大学メディカルセンターのドナル
ド・ヨークと、シカゴ大学のトム・ジェンセンは、1985
年脳波と言語の相関関数を被験者に単語を発声させる形
で調査した結果、単語を発音する直前、同じ発音の単語
に対しては同じ脳波パターン（この場合は被験者の頭皮
上で電極により記録した発声直前の準備電位のパター
ン）が現れたことを確認し、15の英単語に対しては20人
の間に波形の一致が確認され脳波辞書が作られた。Donald York of the University of Missouri Medical Center and Tom Jensen of the University of Chicago, 1985
As a result of investigating the correlation function between the EEG and the language in the form in which the subject utters a word, the same EEG pattern (in this case, an electrode was recorded on the subject's scalp with the same EEG pattern immediately before the word was pronounced) It was confirmed that the pattern of the preparation potential just before utterance) appeared, and the matching of the waveform was confirmed among 20 people for 15 English words, and the EEG dictionary was created.
また、その後のジェンセンの研究では、英語圏の被験
者とイラン南部の地方語圏の被験者に同じ英単語を発声
させて同様な実験をしたところ、使用する言語の相違に
かかわらず単語を発声する直前の脳波パターン（準備電
位パターン）はまったく同じであった。したがって、発
声においては発音する音節レベルに対して、脳の中枢プ
ログラムは人種に関わらない共通した処理が行われてい
るものと考えられる（金子隆一、最近脳科学1988年10月
p179〜180参照）。In a subsequent Jensen's study, when English-speaking subjects and local-speaking subjects in southern Iran were made to speak the same English words and conducted similar experiments, immediately before uttering a word regardless of the language used. EEG patterns (preparative potential patterns) were exactly the same. Therefore, it is considered that the central processing of the brain performs the same processing regardless of race for the syllable level to be pronounced in vocalization (Ryuichi Kaneko, Recently Brain Science, October 1988).
See p179-180).
しかし、実験的に示された発音する音節に対する時系
列脳波パターンを認識するにあたっては、従来はStepwi
se discriminant analysis（SWDA）やPrincipal compon
net analysis（PCA）等の学習機能のない時間軸波形に
対する解析手段に限定されており、空間的な広がりが意
味を持つトポグラフィパターンの判別は困難であった。
また、被験者に発生した運動準備電位の脳波トポグラフ
ィパターンから被験者が頭でイメージした音節を認識さ
せるにあたって、神経回路網によって認識させるという
従来の技術は存在しない。However, in order to recognize the time-series EEG patterns for the experimentally pronounced syllables, the conventional method is Stepwi.
se discriminant analysis (SWDA) and Principal compon
Since it is limited to analysis methods for time-axis waveforms that do not have a learning function, such as net analysis (PCA), it has been difficult to identify topographic patterns whose spatial spread has meaning.
In addition, there is no conventional technique in which a neural network recognizes a syllable imaged by the subject from the electroencephalographic topography pattern of the exercise preparation potential generated by the subject.
神経回路網は、第10図にユニットを示すように、生物
の神経素子の働きを模した多入力多出力の人工的神経ユ
ニットを多数結合することにより、信号処理，情報処理
の機能を実現する電気回路網の総称である、近年、神経
回路網にあるパターンを分類させてみて間違った場合に
は、結合の重みを修正するということを繰り返すことに
よって最終的に全てのパターンを正しく識別できるよう
にする誤り訂正型の教師あり学習の方法（バックブロパ
ケーション学習法）が公知の技術として各種提案されて
いる（D.E.Rumelhart,J.L.Moclelland and the PDP Res
earch Group,Parallel distributed processing,Vol.1
＆2,MIT Press,1986、および麻生英紀、ニューラルネッ
トワーク情報処理、産業図書、1988参照）。The neural network realizes the functions of signal processing and information processing by connecting a large number of multi-input multi-output artificial neural units that imitate the functions of biological neural elements, as shown in FIG. It is a general term for electrical networks, and in recent years, when trying to classify patterns in neural networks and making a mistake, it is possible to finally correctly identify all patterns by repeating the correction of connection weights. Various error-correction-type supervised learning methods (backbroaching learning methods) have been proposed as known techniques (DERumelhart, JLMoclelland and the PDP Res.
earch Group, Parallel distributed processing, Vol.1
& 2, MIT Press, 1986, and Hideki Aso, Neural Network Information Processing, Industrial Books, 1988).
この発明の目的は、脳波トポグラフィによる音節認識
にあたって、神経回路網の学習性と雑音に強い処理機構
を導入し、発声した音声信号そのものの認識がいらな
い、あるいは音声の発生を必要としない脳波トポグラフ
ィによる音声認識装置を提供することにある。An object of the present invention is to introduce a learning mechanism of a neural network and a processing mechanism resistant to noise in syllable recognition by electroencephalographic topography, and use the electroencephalographic topography that does not require recognition of the uttered voice signal itself or does not require generation of voice. It is to provide a voice recognition device.
この発明にかかる脳波トポグラフィによる音節認識装
置は、多数の電極とそれら電極からのデータをもとに脳
波を検出する脳波検出手段と、脳波検出手段において検
出された脳波を２次元のトポグラフィパターンに変換す
る脳波処理手段と、２次元トポグラフィパターンを入力
としてそのパターンに対応する音節データを出力する認
識手段と、音節データの呈示手段と、学習用音節データ
をもとに認識手段に対して教師データを生成する音声デ
ータ教示部と、前記各部の制御を行う制御部とから構成
されている。A syllable recognition device using electroencephalographic topography according to the present invention includes a large number of electrodes and an electroencephalogram detecting means for detecting an electroencephalogram based on data from the electrodes, and an electroencephalogram detected by the electroencephalogram detecting means is converted into a two-dimensional topography pattern. Brain wave processing means, a recognition means for inputting a two-dimensional topography pattern and outputting syllable data corresponding to the pattern, a syllable data presentation means, and teacher data for the recognition means based on the learning syllable data. It is composed of a voice data teaching unit to be generated and a control unit for controlling each unit.
さらに認識手段を複数のユニットとそれらユニットを
結ぶ重み付きのリンクからなる神経回路網で構成したも
のである。Further, the recognition means is composed of a neural network consisting of a plurality of units and a weighted link connecting the units.
この発明においては、人がある音節を発声したとき、
その直前もしくはある音節の発声をイメージしたとき、
その直前に生じる脳波トポグラフィパターンを神経回路
網に複数回教師あり学習させ、神経回路網の学習後は、
脳波トポグラフィパターンに対して対応する音節を自動
的に認識，呈示する。In this invention, when a person utters a certain syllable,
Immediately before that or when you imagine the utterance of a certain syllable,
The EEG topography pattern that occurs immediately before that is trained on the neural network multiple times with supervision, and after learning the neural network,
It automatically recognizes and presents the syllable corresponding to the EEG topography pattern.
第１図はこの発明の一実施例を説明する図、第２図は
この発明の処理の流れ図である。FIG. 1 is a diagram for explaining an embodiment of the present invention, and FIG. 2 is a flow chart of processing of the present invention.
第１図において、１は多数の電極、２は脳波計、３は
脳波トポグラフィパターン作成装置、４は２次元トポグ
ラフィパターンを入力としてそのパターンに対応する音
節データを出力する認識手段としての神経回路網、５は
教示データを生成する音節データ教示部、６は音節呈示
部、７は全体を制御する制御部、８は音声検出装置、９
は脳波トポグラフィパターンの神経回路網４への入力前
処理装置である。また、ａは前記多数の電極１により検
出された検出信号、ｂは脳波信号、c1は脳波トポグラフ
ィパターン信号、c2は前処理された脳波トポグラフィ信
号、ｄは音節データ教師信号、ｅは音節データ呈示信
号、f,g,h,i,kは制御信号、ｊは音声トリガ信号であ
る。In FIG. 1, 1 is a large number of electrodes, 2 is an electroencephalograph, 3 is an electroencephalographic topography pattern creating device, and 4 is a neural network as a recognition means for inputting a two-dimensional topography pattern and outputting syllable data corresponding to the pattern. 5, 5 is a syllable data teaching unit that generates teaching data, 6 is a syllable presentation unit, 7 is a control unit that controls the whole, 8 is a voice detection device, and 9 is a voice detection device.
Is an input preprocessing device for the electroencephalographic topography pattern to the neural network 4. Further, a is a detection signal detected by the plurality of electrodes 1, b is an electroencephalogram signal, c1 is an electroencephalography topography signal, c2 is a preprocessed electroencephalography topography signal, d is a syllable data teacher signal, and e is syllable data presentation. Signals, f, g, h, i, k are control signals, and j is a voice trigger signal.
第２図はこの発明における処理の流れ図である。この
図において、Ａは音節発声時の準備電位トポグラフィパ
ターンと対応する音節データの学習モード、Ｂ−１は音
節発声時の準備電位のトポグラフィパターン認識による
音節の認識モード、Ｂ−２は音節発声イメージ時の準備
電位のトポグラフィパターン認識による音節の認識モー
ドである。FIG. 2 is a flow chart of processing in the present invention. In this figure, A is a learning mode of syllable data corresponding to the preparation potential topography pattern at the time of syllable utterance, B-1 is a syllable recognition mode by the topography pattern recognition of the preparation potential at the time of syllable utterance, and B-2 is a syllable utterance image. This is a syllable recognition mode by topography pattern recognition of the preparation potential at the time.
第３図は脳波トポグラフィパターンの神経回路網４へ
の入力の概要を示す図で、（ア）は入力層、（イ）は隠
れ層、（ウ）は出力層、（エ）は５×５の数値マトリク
スデータである。FIG. 3 is a diagram showing an outline of the input of the electroencephalographic topography pattern to the neural network 4, where (A) is an input layer, (A) is a hidden layer, (C) is an output layer, and (D) is 5 × 5. Is numerical matrix data of.
第４図（ａ），（ｂ）は音節発声時の時系列準備電位
パターンの一例を示し、第５図（ａ）〜（ｆ）は音節発
声直前の準備電位トポグラフィーパターンの一例を示す
図で、10階調の濃淡で示したもので、濃度の大きい部分
が濃度の薄い部分より準備電位の大きいことを示してい
る。第６図は神経回路網４への入力にあたり前処理され
た脳波トポグラフィパターンの数値マトリクスで、２次
元トポグラフィパターンである。第７図は神経回路網４
の構成概要であり、第３図と同じく（ア）は入力層、
（イ）は隠れ層、（ウ）は出力層であり、点線はユニッ
ト間の重み付けの更新を示している。FIGS. 4 (a) and 4 (b) show an example of a time-series preparatory potential pattern at the time of syllable utterance, and FIGS. 5 (a) to 5 (f) show examples of the preparatory potential topography pattern immediately before syllable utterance. In the figure, the gradation is shown in 10 gradations, and it is shown that the preparation potential of the high density portion is larger than that of the low density portion. FIG. 6 is a numerical matrix of the electroencephalographic topography pattern which has been preprocessed for input to the neural network 4, and is a two-dimensional topography pattern. Fig. 7 shows neural network 4
(A) is the input layer,
(A) is a hidden layer, (C) is an output layer, and the dotted line shows updating of weighting between units.
以下、第１図，第２図に基づき神経回路網４の学習モ
ードＡと、ある発声した音節を発声直前の準備電位トポ
グラフィから神経回路網４によって認識する認識モード
Ｂ−１、ある音節を発声しようとイメージしたときの準
備電位トポグラフィから神経回路網４によって音節を認
識する認識モードＢ−２の３つに大別してこの発明の動
作の説明を行う。1 and 2, the learning mode A of the neural network 4 and the recognition mode B-1 for recognizing a uttered syllable by the neural network 4 from the preparation potential topography immediately before uttering, and uttering a certain syllable. The operation of the present invention will be described by roughly classifying into three recognition modes B-2 for recognizing syllables by the neural network 4 based on the preparation potential topography at the time of making an image.
はじめに神経回路網４の学習モードＡから説明する。
まず、適宜の人にある音節を発声させる。この発声の最
中に第１図の多数の電極１によって検出された検出信号
ａは、脳波計２によって時系列の脳波信号ｂとして検出
され、脳波トポグラフィパターン作成装置３に送られ
る。ここで、音声検出装置８により発声の瞬間はトリガ
され、トリガ信号を基準に発声前後の脳波を加算して背
景脳波を消去する。ここで、発声から信号の加算までの
一連の操作がＮ回繰り返しされると、Ｎ回加算された多
チャンネル時系列準備電位パターンができあがる（ここ
でＮは数十回未満である）。いま、音節“あ”と“げ”
を発声したときのこの多チャンネル時系列準備電位パタ
ーンの典型的な一例を第４図（ａ），（ｂ）に示す。こ
の時系列パターンは本例では発声前準備電位のpeak to
peakが最大なるときのみピーク時脳波トポグラフィパタ
ーン信号c1として脳波トポグラフィパターン作成装置３
によって、入力前処理装置９に出力される。いま、音節
“あ”と“げ”を発声したときのピーク時トポグラフィ
パターンを第５図（ａ）〜（ｃ）と（ｄ）〜（ｆ）に示
す。入力前処理装置９に入力されたパターンは、脳波ト
ポグラフィ数値マトリクスとして神経回路網４に入力さ
れる。この数値マトリクスの一例を第６図に示す。同時
にこのイメージした音節が何であるかは音節データ教示
部５から神経回路網４に音節データ教示信号ｄとして教
示される。学習を継続する場合は以上の動作を同じ音節
あるいは異なる音節に対して複数回繰り返す。学習を終
了する場合は以上で学習モード終了とする。First, the learning mode A of the neural network 4 will be described.
First, utter a certain person's syllable. The detection signal a detected by the large number of electrodes 1 in FIG. 1 during this utterance is detected by the electroencephalograph 2 as a time-series electroencephalogram signal b and sent to the electroencephalography topography pattern creating device 3. Here, the voice detection device 8 triggers the moment of utterance, and the brain waves before and after utterance are added based on the trigger signal to erase the background brain waves. Here, when a series of operations from utterance to addition of signals is repeated N times, a multi-channel time-series preparation potential pattern added N times is completed (where N is less than tens of times). Now, syllables "a" and "ge"
Typical examples of this multi-channel time series preparation potential pattern when uttering is shown in FIGS. 4 (a) and 4 (b). In this example, this time series pattern is the peak to
Only when peak becomes maximum EEG topography pattern generation device 3 as peak EEG topography pattern signal c1
Is output to the input preprocessing device 9. Now, the peak topography patterns when the syllables "a" and "ge" are uttered are shown in FIGS. 5 (a) to (c) and (d) to (f). The pattern input to the input preprocessor 9 is input to the neural network 4 as a brain wave topography numerical matrix. An example of this numerical matrix is shown in FIG. At the same time, what the imaged syllable is is taught from the syllable data teaching unit 5 to the neural network 4 as a syllable data teaching signal d. To continue learning, the above operation is repeated multiple times for the same syllable or different syllables. When the learning is ended, the learning mode is ended.
次に神経回路網４の認識モードＢ−１について説明す
る。認識モードＢ−１とは、人が実際にある音節を発声
したときの準備電位トポグラフィパターン（第６図）か
ら神経回路網４によって発声音節を認識するモードであ
る。まず、学習モードＡと同じ人に対して既に神経回路
網４が学習済みの音節のうちのどれか１つを１回ないし
複数回としてＮ回連続して発声してもらう。この発声中
に第９図の多数の電極１によって検出された信号ａは脳
波計２によって時系列脳波信号ｂとして検出され、音声
検出装置８による発声時のトリガ信号を基準にして発声
前後の信号脳波が加算され、この発声から加算までの操
作をＮ回繰り返す。加算が繰り返された時系列準備電位
は、脳波トポグラフィに変換されて、入力前処理装置９
により処理されて、脳波トポグラフィ信号c2となってか
ら神経回路網４へ入力される。神経回路網４は入力され
た脳波トポグラフィパターンを数値マトリクスとして認
識して、既に学習した脳波トポグラフィパターンに基づ
き対応する音節を出力ｅとして音節呈示部６へ送信す
る。認識モードＢ−１による方法を音節“あ”と“げ”
の発声時に適用し、学習済みの神経回路網４に対して未
学習のそれぞれの音節に対するトポグラフィパターンを
認識させた一例を第８図に示す。ここで、横軸は各音節
に対するトポグラフィパターンの種類、縦軸は神経回路
網４の出力ユニットの各パターンに対する発火率であ
る。いま、発火率の高低でのみ識別を行うとすれば、10
パターン中10パターンに対して認識が可能なることが示
されている。なお、神経回路網４は３層のバックブロバ
ゲーションで入力層（ア）が25ユニット、隠れ層（イ）
が10ユニット、出力層（ウ）が２ユニットで各層間は全
結合である。概略を第７図に示す。Next, the recognition mode B-1 of the neural network 4 will be described. The recognition mode B-1 is a mode in which the neural network 4 recognizes a vocal syllable from the preparation potential topography pattern (FIG. 6) when a person actually vocalizes a certain syllable. First, the same person as in the learning mode A is asked to utter any one of the syllables already learned by the neural network 4 once or plural times N times in succession. During this utterance, the signal a detected by the large number of electrodes 1 in FIG. 9 is detected by the electroencephalograph 2 as a time-series EEG signal b, and the signals before and after utterance are based on the trigger signal at the time of utterance by the voice detection device 8. Brain waves are added, and the operations from vocalization to addition are repeated N times. The time-series preparatory potential in which the addition is repeated is converted into an electroencephalographic topography, and the input preprocessing device 9
Is processed into a brain wave topography signal c2 and then input to the neural network 4. The neural network 4 recognizes the input EEG topography pattern as a numerical matrix, and transmits the corresponding syllable as an output e to the syllable presentation unit 6 based on the already learned EEG topography pattern. The method according to the recognition mode B-1 is the syllable "a" and "ge".
FIG. 8 shows an example in which the learned neural network 4 is applied at the time of utterance to recognize the topography pattern for each unlearned syllable. Here, the horizontal axis is the type of topography pattern for each syllable, and the vertical axis is the firing rate for each pattern of the output unit of the neural network 4. Now, if identification is performed only with high and low firing rates, 10
It is shown that recognition is possible for 10 of the patterns. In addition, the neural network 4 is a three-layer back bubbation, the input layer (a) is 25 units, and the hidden layer (a).
Is 10 units, the output layer (c) is 2 units, and each layer is fully connected. The outline is shown in FIG. 7.
次に認識モードＢ−２について述べる。認識モードＢ
−２とは、人がある音節を発声しようとイメージしたと
きの準備電位トポグラフィパターンから神経回路網４に
よって発声しようとした音節を認識するモードである。
脳波信号の取り込みを開始してから、被験者は神経回路
網４に学習モードＡにおいてすでに被験者自身が学習さ
せた音節を発声し、それをＮ回繰り返す。これにより、
多チャンネル時系列準備電位パターンがシーケンシャル
に記憶される。この時系列データに対して、種々の音節
に対してそれぞれ認識モードＢ−１において加算された
多チャンネル時系列準備電位パターンの代表的な任意の
パターンの１つを、テンプレートとして認識モードＢ−
２において適応相関平均法によって複数回の音節発声イ
メージに対する準備電位パターンを、基準となるトリガ
信号なしで時間軸を揃えた上で加算して、多チャンネル
の時系列準備電位パターンが形成される。このパターン
は入力前処理装置９に入力されて認識モードＢ−１時と
以下同様に処理される。Next, the recognition mode B-2 will be described. Recognition mode B
-2 is a mode in which the neural network 4 recognizes the syllable to be uttered from the preparation potential topography pattern when a person imagines to utter a syllable.
After starting the acquisition of the electroencephalogram signal, the subject utters a syllable that the subject has already learned in the learning mode A in the neural network 4, and repeats it N times. This allows
The multi-channel time series preparation potential patterns are stored sequentially. For this time series data, one of the typical arbitrary patterns of the multi-channel time series preparation potential pattern added in the recognition mode B-1 for various syllables is used as a template in the recognition mode B-
In 2, the preparation potential patterns for a plurality of syllable vocalization images are added by the adaptive correlation averaging method after aligning the time axes without a reference trigger signal to form a multi-channel time-series preparation potential pattern. This pattern is input to the input preprocessor 9 and processed in the same manner as in recognition mode B-1.
この実施例では、脳波トポグラフィパターンをある音
節発声の準備段階におけるある発声時と発声時から１秒
前の間のpeak to peakを認識した例を示した。すなわ
ち、ここでは準備電位振幅がpeak to peakで最大になる
ときのトポグラフィパターンによって対応する音節を認
識したが、時間軸によって離散化した多数の連続した数
値マトリクスを、神経回路網４に入力して神経回路網４
を学習させて、かつ認識も連続した数値マトリクスを対
象として行うことも同様に可能である。また、第６図に
示す数値マトリクスは、第５図にアナログ的に示す準備
電位トポグラフィパターンをディジタル的に表現したも
ので、２次元トポグラフィパターンであることは明白で
ある。In this example, an example of recognizing the electroencephalographic topography pattern at a certain utterance in the preparation stage for a certain syllable utterance and a peak to peak between one second before the utterance and the utterance is shown. That is, here, the corresponding syllable was recognized by the topography pattern when the preparation potential amplitude was maximum from peak to peak, but a large number of continuous numerical matrices discretized by the time axis were input to the neural network 4. Neural network 4
It is also possible to perform learning with respect to a numerical matrix whose recognition is also continuous. The numerical matrix shown in FIG. 6 is a digital representation of the preparation potential topography pattern shown in analog form in FIG. 5, and it is obvious that it is a two-dimensional topography pattern.
以上説明したようにこの発明は、人が音節を発声もし
くは発声をイメージしたときの脳波トポグラフィパター
ンを神経回路網によって学習し、学習後に神経回路網に
よって脳波トポグラフィパターンからその人が発声もし
くはイメージしている音節を認識して自動的に呈示する
ので、パターンの特徴の自動抽出、類似パターンの高識
別化、高耐性を実現することができ、ある音節の発声を
イメージしたときの脳波トポグラフィから音節を識別す
るモードにおいては、脳波トポグラフィパターンから従
来不可能であったその人がイメージしている音節の自動
認識を音節を実際には発声しなくても認識を行えるとい
う利点がある。As described above, the present invention learns the EEG topography pattern when a person utters a syllable or an image of utterance by a neural network, and after learning, the person utters or images from the EEG topography pattern by the neural network. Since it recognizes existing syllables and presents them automatically, it is possible to realize automatic extraction of pattern features, high discrimination of similar patterns, and high tolerance. In the identification mode, there is an advantage that it is possible to perform automatic recognition of syllables imagined by the person based on the electroencephalographic topography pattern, without actually uttering the syllables.
この発明の応用分野としては、従来のキーボード，タ
ッチペン，マウスにかわる入力の動作を必要としない入
力装置としての利用、音声認識入力に代わる周囲雑音に
影響されない入力装置としての応用等が考えられ、具体
的には雑音環境下で、かつ手等の動作部位を使えない状
況における入力手段、ろう唖者の意志伝達手段としての
福祉分野への応用、体の保持手段がない無重量の空間内
で動作を必要とする入力デバイスが使えず、かつ雑音で
音声認識が使えないような宇宙ステーション内作業時の
入力装置、航空機パイロットの操縦装置の入力手段とし
ての応用等が考えられる。As an application field of the present invention, use as an input device that does not require input operation in place of conventional keyboards, touch pens, and mice, application as an input device that is not affected by ambient noise in place of voice recognition input, and the like are conceivable. Specifically, in a noisy environment and in the welfare field as an input means in the situation where the moving parts such as hands cannot be used, as a means to convey the will of the deaf person, in a weightless space without body holding means. There are possible applications such as an input device when working in a space station where an input device that requires operation cannot be used and voice recognition cannot be used due to noise, and as an input means of an aircraft pilot control device.
第１図はこの発明の脳波トポグラフィパターンによる音
節認識装置のブロック図、第２図はこの発明における処
理の流れ図、第３図は脳波トポグラフィパターンの神経
回路網への入力の概要の説明図、第４図は音節発声時の
時系列準備電位パターンの一例を示す図、第５図は音節
発声直前の準備電位トポグラフィパターンの一例を示す
図、第６図は脳波トポグラフィパターンの数値マトリク
スの一例を示す図、第７図は神経回路網の概要を示す構
成図、第８図は学習済みの神経回路網に未学習の脳波ト
ポグラフィパターンを入力したときの神経回路網出力ユ
ニットの発火率の一例を示す図、第９図は国際電極配置
法による脳波測定の電極配置図、第10図は神経素子の概
要を示す構成図である。 図中、１は電極、２は脳波計、３は脳波トポグラフィパ
ターン作成装置、４は神経回路網、５は音節データ教示
部、６は音節呈示部、７は制御部、８は音声検出装置、
９は入力前処理装置である。FIG. 1 is a block diagram of a syllable recognition apparatus using an electroencephalographic topography pattern of the present invention, FIG. 2 is a flow chart of processing in the present invention, and FIG. 3 is an explanatory diagram of an outline of input of an electroencephalographic topography pattern to a neural network. FIG. 4 is a diagram showing an example of a time-series preparation potential pattern at the time of syllable utterance, FIG. 5 is a diagram showing an example of preparation potential topography pattern immediately before syllable utterance, and FIG. 6 is an example of a numerical matrix of an electroencephalographic topography pattern. Fig. 7 is a block diagram showing the outline of the neural network, and Fig. 8 shows an example of the firing rate of the neural network output unit when an unlearned EEG topography pattern is input to the learned neural network. Fig. 9 and Fig. 9 are electrode arrangement diagrams for electroencephalogram measurement by the international electrode arrangement method, and Fig. 10 is a configuration diagram showing an outline of a neural element. In the figure, 1 is an electrode, 2 is an electroencephalograph, 3 is an electroencephalographic topography pattern generation device, 4 is a neural network, 5 is a syllable data teaching unit, 6 is a syllable presentation unit, 7 is a control unit, 8 is a voice detection device,
Reference numeral 9 is an input preprocessing device.
Claims (2)
とに脳波を検出する脳波検出手段と、前記脳波検出手段
において検出された脳波を２次元トポグラフィパターン
に変換する脳波処理手段と、前記２次元トポグラフィパ
ターンを入力としてそのパターンに対応する音節データ
を出力する認識手段と、音節データの呈示手段と、学習
用音節データをもとに前記認識手段に対して教師データ
を生成する音節データ教示部と、前記各部の制御を行う
制御部とから構成されたことを特徴とする脳波トポグラ
フィによる音節認識装置。1. An electroencephalogram detecting means for detecting an electroencephalogram based on a large number of electrodes and data from the electrodes, an electroencephalogram processing means for converting the electroencephalogram detected by the electroencephalogram detecting means into a two-dimensional topography pattern, Recognition means for inputting a two-dimensional topography pattern and outputting syllable data corresponding to the pattern, syllable data presentation means, and syllabic data teaching for generating teacher data to the recognition means based on learning syllable data. A syllable recognition device using electroencephalographic topography, comprising: a unit and a control unit that controls each unit.
とに脳波を検出する脳波検出手段と、前記脳波検出手段
において検出された脳波を２次元のトポグラフィパター
ンに変換する脳波処理手段と、前記２次元トポグラフィ
パターンを入力としてそのパターンに対応する音節デー
タを出力する認識手段と、音節データの呈示手段と、学
習用音節データをもとに前記認識手段に対して教師デー
タを生成する音節データ教示部と、前記各部の制御を行
う制御部とから構成され、さらに前記認識手段を複数の
ユニットとそれらユニットを結ぶ重み付きのリンクから
なる神経回路網で構成したことを特徴とする脳波トポグ
ラフィによる音節認識装置。2. An electroencephalogram detecting means for detecting an electroencephalogram based on a large number of electrodes and data from the electrodes, and an electroencephalogram processing means for converting the electroencephalogram detected by the electroencephalogram detecting means into a two-dimensional topography pattern. Recognition means for inputting the two-dimensional topography pattern and outputting syllable data corresponding to the pattern, syllable data presentation means, and syllable data for generating teacher data for the recognition means based on the learning syllable data. According to the electroencephalographic topography, which is configured by a teaching unit and a control unit that controls each unit, and further, the recognizing unit is configured by a neural network composed of a plurality of units and a weighted link connecting the units. Syllable recognition device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1052872A JP2515875B2 (en) | 1989-03-07 | 1989-03-07 | A syllable recognition device using EEG topography |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1052872A JP2515875B2 (en) | 1989-03-07 | 1989-03-07 | A syllable recognition device using EEG topography |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02232783A JPH02232783A (en) | 1990-09-14 |
| JP2515875B2 true JP2515875B2 (en) | 1996-07-10 |
Family
ID=12926971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1052872A Expired - Fee Related JP2515875B2 (en) | 1989-03-07 | 1989-03-07 | A syllable recognition device using EEG topography |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2515875B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285224A (en) * | 2005-03-09 | 2006-10-19 | Advanced Telecommunication Research Institute International | Speech function aiding apparatus |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2850763B2 (en) * | 1994-07-22 | 1999-01-27 | 日本電気株式会社 | Biological internal state transmission device and method therefor |
| CA2154406C (en) * | 1994-07-22 | 2000-01-25 | Tomoharu Kiyuna | System for predicting internal condition of live body |
| WO2005057548A2 (en) * | 2003-12-08 | 2005-06-23 | Neural Signals, Inc. | System and method for speech generation from brain activity |
| JP2012146116A (en) * | 2011-01-12 | 2012-08-02 | Kyushu Institute Of Technology | Device and method for identifying speech content |
| KR101238780B1 (en) * | 2011-03-03 | 2013-03-04 | 서울대학교산학협력단 | Devices and methods for readiness potential-based brain-computer interface |
| JP7043081B2 (en) * | 2019-05-23 | 2022-03-29 | 恒雄 新田 | Voice recall recognition device, wearer, voice recall recognition method and program |
-
1989
- 1989-03-07 JP JP1052872A patent/JP2515875B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285224A (en) * | 2005-03-09 | 2006-10-19 | Advanced Telecommunication Research Institute International | Speech function aiding apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02232783A (en) | 1990-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Schultz et al. | Biosignal-based spoken communication: A survey | |
| Jorgensen et al. | Speech interfaces based upon surface electromyography | |
| CN113288183B (en) | Silent voice recognition method based on facial neck surface myoelectricity | |
| Denby et al. | Silent speech interfaces | |
| CN112766173B (en) | Multi-mode emotion analysis method and system based on AI deep learning | |
| WO2019040669A1 (en) | Method for detecting facial expressions and emotions of users | |
| US20070055523A1 (en) | Pronunciation training system | |
| Lopez-Larraz et al. | Syllable-based speech recognition using EMG | |
| Kello et al. | A neural network model of the articulatory-acoustic forward mapping trained on recordings of articulatory parameters | |
| US20170084266A1 (en) | Voice synthesis apparatus and method for synthesizing voice | |
| CN117389441B (en) | Writing imagination Chinese character track determining method and system based on visual following assistance | |
| Fels | Glove-talkII: mapping hand gestures to speech using neural networks-an approach to building adaptive interfaces. | |
| Freitas et al. | An introduction to silent speech interfaces | |
| JP2515875B2 (en) | A syllable recognition device using EEG topography | |
| Wu et al. | Neural network vowel-recognition jointly using voice features and mouth shape image | |
| Wand | Advancing electromyographic continuous speech recognition: Signal preprocessing and modeling | |
| Ye et al. | Attention bidirectional LSTM networks based mime speech recognition using sEMG data | |
| US20230162719A1 (en) | System And Method For Measuring Human Intention | |
| Zhang et al. | Feature selection of mime speech recognition using surface electromyography data | |
| Patel et al. | Teachable interfaces for individuals with dysarthric speech and severe physical disabilities | |
| Arjunan et al. | Unspoken vowel recognition using facial electromyogram | |
| Freitas et al. | Multimodal silent speech interface based on video, depth, surface electromyography and ultrasonic doppler: Data collection and first recognition results | |
| DE60315907T2 (en) | A learning method and apparatus, mobile communication terminal and information recognition system based on the analysis of movements of the speech organs of a speaking user | |
| Sharma et al. | Human-Computer Interaction with Special Emphasis on Converting Brain Signals to Speech | |
| Bu et al. | Phoneme classification for speech synthesiser using differential EMG signals between muscles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |