JPH02232783A - 脳波トポグラフィによる音節認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） この発明は、発生した音節もしくは発生しようとイメー
ジした音節を、発生直前もしくは発生しようとイメージ
した時の脳波トポグラフィパターンから神経回路網によ
って認識して呈示する脳波トポグラフィによる音節認識
装置に関するものである。

〔従来の技術〕

脳波トポグラフィは、第９図に示すように、国際ｔ８ｉ
配置法（１０−２０法）で単極導出した１２〜１６（図
では１２）チャンネルの脳波から、補間関数を用いて電
極間の電位を推定するものであり、この結果をもとに一
定電位幅での段階付けを行い、カラーやドットパターン
で２次元等電位分布図を作成するものである。

なお、第９図で、■〜＠は測定点を示し、●印は前記測
定点■〜＠のデータに基いて補間する点であり、Ｈは頭
部を示す。

人や動物が運動を始めるにあたって、脳の中に運動の準
備状態が作られるであろうことはＫｏｒｎｈ−ｂｅｒら
（１９６４）が運動準備電位を記録したころから想定さ
れていた．これは、人が手や足を動かす動作をするとき
、頭皮上に電極を置き、運動開始時点を基準として信号
を加算して得られるものである（塚原仲晃、脳の情報処
理、１８６４年、ｐｉｓｏ参照）．音声を発するという
動作も随意運動であり、同じく運動準備電位が記録でき
る。

アメリカ、ミズーリ大学メディカルセンターのドナルド
・ヨークと、シカゴ大学のトム・ジエンセンは、１９８
５年脳波と言語の相関関数を被験者に単語を発声させる
形で調査した結果、単語を発音する直前、同じ発音の単
語に対しては同じ脳波バダーン（この場合は被験者の頭
皮上で電極により記録した発声直前の準備電位のパター
ン）が現れたことを確認し、１５の英単語に対しては２
０人の間に波形の一致が確認され脳波辞書が作られた． また、その後のジェンセンの研究では、英語圏の被験者
とイラン南部の地方語圏の被験者に同じ英単語を発声さ
せて同様な実験をしたところ、使用する言語の相違にか
かわらず単語を発声する直前の脳波パターン（準位電位
パターン）はまったく同じであった．したがって、発声
においては発音する音節レベルに対して、脳の中枢プロ
グラムは人種に関わらない共通した処理が行われている
ものと考えられる（金子Ｕ−、最近脳科学１９８８年１
０月２１７９〜１８０参照）． （発明が解決しようとする課題） しかし、実験的に示された発音する音節に対する時系列
脳波パターンを認識するにあたっては、従来はＳｔｅｐ
ｗｉｓａ　ｄｉｓｃｒｆｉｎａｎｔ　ａｎａｌｙｓｉｓ
（ＳＷＤＡ）やＰｒｉｎｃｉｐａｌ　ｃｏｍｐｏｎｅｎ
ｔ　ａｎａｌｙｓｉｓ（ＰＣＡ）等の学習機能のない時
間軸波形に対する解析手段に限定されており、空間的な
広がりが意味を持つトポグラフィパターンの判別は困難
であった。また、被験者に発生した運動準備電位の脳波
トポグラフィパターンから被験者が頭でイメージした音
節を認識させるにあたって、神経回路網によクて認識さ
せるという従来の技術は存在しない． 神経回路網は、第１０図にユニットを示すように、生物
の神経素子の働きを模した多入力多出力の人工的神経ユ
ニットを多数結合することにより、信号処理，情報処理
の機能を実現する電気回路網の総称である。近年、神経
回路網にあるパターンを分類させてみて間違った場合に
は、結合の重みを修正するということを繰り返すことに
よって最終的に全てのパターンを正しく識別できるよう
にする誤り訂正型の教師あり学習の方法（バックブロバ
ケーション学習法）が公知の技術として各種提案されて
いる（Ｄ．Ｅ．Ｒｕｍｅｌｈａｒｔ，Ｊ．Ｌ．ＭｏＣｌ
ｇ−１１ａｎｄ　ａｎｄ　ｔｈｅ　ＰＤＰ　Ｒｅｓｅａ
ｒｃｈ　Ｇｒｏｕｐ，Ｐａｒａｌｌｅｌｄｉｓｔｒｉｂ
ｕｔｅｄ　　ｐｒｏｃｅｓｓｉｎｇ．Ｖｏｌ．ｉ＆２，
ＭＩＴ　　Ｐｒｅｓｓ．１９８６、および麻生英紀、ニ
ューラルネットワーク情報処理、産業図書、１９８８参
照）。

この発明の目的は、脳波トポグラフィによる音節認識に
あたって、神経回路網の学習性と雑音に強い処理機構を
導入し、発声した音声信号そのものの認識がいらない、
あるいは音声の発生を必要としない脳波トポグラフィに
よる音声認識装置を提供することにある。

（課題を解決するための手段） この発明にかかる脳波トポグラフィによる音節認識装置
は、多数の電極とそれら電極からのデータをもとに脳波
を検出する脳波検出手段と、脳波検出手段において検出
された脳波を２次元のトポグラフィパターンに変換する
脳波処理手段と、２次元トポグラフィパターンを入力と
してそのパターンに対応する音節データを出力する認識
手段と、音節データの呈示手段と、学習用音節データを
もとに認識手段に対して教師データを生成する音声デー
タ教示部と、前記各部の制御を行う制御郎とから構成さ
れている。

さらに認識手段を複数のユニットとそれらユニットを結
ぶ重み付きのリンクからなる神経回路網で構成したもの
である． 〔作用〕 この発明においては、人がある音節を発声したとき、そ
の直前もしくはある音節の発声をイメージしたとき、そ
の直前に生じる脳波トポグラフィパターンを神経回路網
に複数回教師あり学習させ、神経回路網の学習後は、脳
波トポグラフィパターンに対して対応する音節を自動的
に認識，呈示する． （実施例〕 第１図はこの発明の一実施例を説明する図、第２図はこ
の発明の処理の流れ図である。

第１図において、１は多数の電極、２は脳波計、３は脳
波トポグラフィパターン作成装置、４は２次元トポグラ
フィパターンを入力としてそのパターンに対応する音節
データを出力する認識手段としての神経回路網、５は教
示データを生成する音節データ教示部、６は音節呈示部
、７は全体を制御する制御部、８は音声検出装置、９は
脳波トポグラフィパターンの神経回路網４への入力前処
理装置である。また、ａは前記多数の電極１により検出
された検出信号、ｂは脳波信号、ｃ１は脳波トポグラフ
ィパターン信号、ｃ２は前処理された脳波トポグラフィ
信号、ｄは音節データ教師信号、ｅは音節データ呈示信
号、ｆ，ｇ，ｈ，ｉ，ｋは制御信号、ｊは音声トリガ信
号である。

第２図はこの発明における処理の流れ図である。この図
において、Ａは音節発声時の準備電位トポグラフィパタ
ーンと対応する音節データの学習モード、Ｂ−１は音節
発声時の準備電位のトポグラフィパターン認識による音
節のＵ識モード、Ｂ−２は音節発声イメージ時の準備電
位のトポグラフィパターン認識による音節の認識モード
である。

第３図は脳波トポグラフィパターンの神経回路ｌ！４４
への入力の概要を示す図で、（ア）は人力層、（イ）は
隠れ層、（ウ）は出力層、（工）は５×５の数値マトリ
クスデータである。

第４図（ａ）．（ｂ）は音節発声時の時系列準備電位パ
ターンの一例を示し、第５図（ａ）〜（ｆ）は音節発声
直前の準備電位トポグラフィーパターンの一例を示す図
で、１０階調の濃淡で示したもので、濃度の大きい部分
が濃度の薄い部分より準備電位の大きいことを示してい
る．第６図は神経回路網４への入力にあたり前処理され
た脳波トポグラフィパターンの数値マトリクスで、２次
元トポグラフィパターンである。第７図は神経回路網４
の構成ｗ４要であり、第３図と同じく（ア）は入力層、
（イ）は隠れ層、（ウ）は出力層であり、点線はユニッ
ト間の重み付けの更新を示している。

以下、第１図，第２図に基づき神経回路綱４の学習モー
ドＡと、ある発声した音節を発声直前の準位電位トポグ
ラフィから神経回路網４によって認識する認識モードＢ
−１、ある音節を発声しようとイメージしたときの準位
電位トポグラフィから神経回路綱４によフて音節を認識
する認識モードＢ−２の３つに大別してこの発明の動作
の説明を行う． はじめに神経回路ｍ４の学習千ードＡから説明する。ま
ず、適宜の人にある音節を発声させる。

この発声の最中に第１図の多数の電極１によって検出さ
れた検出信号ａは、脳波計２によって時系列の脳波信号
ｂとして検出され、脳波トポグラフィパターン作成装置
３に送られる．ここで、音声検出装置８により発声の瞬
間はトリガされ、ｌ〜リガ信号を基準に発声前後の脳波
を加算して背景脳波を消去する。ここで、発声から信号
の加算までの一連の操作がＮ回繰り返しされると、Ｎ回
加算された多チャンネル時系列準備電位パターンができ
あがる（ここでＮは数十回未満である）。いま、音節“
あ”と“げ“を発声したときのこの多チャンネル時系列
準備電位パターンの典型的な一例を第４図（ａ）．（ｂ
）に示す．この時系列パターンは本例では発声前準備電
位のｐｅａｋ　ｔｏ　ｐｅａｋが最大なときのみのピー
ク時トボグラフイパターンｃ１としてトポグラフィパタ
ーン作成装置３によって、前処理装置９に出力される。

いま、音節“あ“と“げ”を発声したときのピーク時ト
ポグラフィパターンを第５図（ａ）〜（Ｃ）と（ｄ）〜
（ｆ）に示す。前処理装置９に人力されたパターンは、
脳波トポグラフィ数値マトリクスとして神経回路網４に
人力される。この数値マトリクスの一例を第６図に示す
．同時にこのイメージした音節が何であるかは音節デー
タ教示部５から神経回路網４に音節データ教示信号ｄと
して教示される。学習を継続する場合は以上の動作を同
じ音節あるいは異なる音節に対して複数回繰り返す。学
習を終了する場合は以上で学習モード終了とする。

次に神経回路網４の認識モードＢ−１について説明する
．認識モードＢ−１とは、人が実際にある音節を発声し
たときの準備電位，トポグラフィパターン（第６図）か
ら神経回路ＩＡ４によって発声音節を認識するモードで
ある。まず、学習モードＡと同じ人に対して既に神経回
路網４が学習済みの音節のうちのどれか１つを１回ない
し複数回としてＮ回連続して発声してもらう。この発声
中に第９図の多数の電極１によって検出されたイＭ号８
は脳波計２によって時系列脳波信号ｂとして検出され、
音声検出装置８による発声時のトリガ信号を基準にして
発声前後の信号脳波が加算され、この発声から加算まで
の操作をＮ回縁り返す。加算が繰り返された時系列準備
電位は、脳波トポグラフィに変換されて、入力前処理装
置９により処理されて、脳波トポグラフィ信号Ｃ２とな
ってから神経回路網４へ入力される。神経回路網４は入
力された脳波トポグラフィパターンを数値マトリクスと
して認識して、既に学習した脳波トポグラフィパターン
に基づき対応する音節を出力ｅとして音節呈示部６へ送
信する．認識モードＢ−１による方法を．音節”あ“と
“げ″の発声時に適用し、学習済みの神経回路１ｉ４に
対して未学習のそれぞれの音節に対するトボグラフイパ
ターンを認識させた一例を第８図に示す．ここで、横軸
は各音節に対するトポグラフィパターンの種類、縦軸は
神軽回路網４の出力ユニットの各パターンに対する発火
率である。いま、発火率の高低でのみ識別を行うとすれ
ば、１０パターン中１０パターンに対して認識が可能な
ることが示されている．なお、神経回路ｗ４４は３層の
パックブロバゲーションで人力層（ア）が２５ユニット
、隠れ層（イ）が１０ユニット、出力層（ウ）が２ユニ
ットで各層間は全結合である．概略を第７図に示す。

次に認識モードＢ−２について述べる．認識モードＢ−
２とは、人がある音節を発声しようとイメージしたとき
の準備電位トポグラフィパターンから神経回路網４によ
って発声しようとした音節を認識するモードである．脳
波信号の取り込みを開始してから、被験者は神経回路Ｈ
４に学習モードＡにおいてすでに被験者自身が学習させ
た音節を発声し、それをＮ回繰り返す。これにより、多
チャンネル時系列準備電位パターンがシーケンシャルに
記憶される．この時系列データに対して、種々の音節に
対してそれぞれ認識モードＢ−１において加算された多
チャンネル時系列準備電位パターンの代表的な任意のパ
ターンの１つを、テンプレートとして認識モードＢ−２
において適応相関平均法によって複数回の音節発声イメ
ージに対する準備電位パターンを、基準となるトリガ信
号なしで時間軸を揃えた上で加算して、多チャンネルの
時系列準備電位パターンが形成される。このパターンは
前処理装置９に入力されてｕ７２モードＢ−１時と以下
同様に処理さわる。

この実施例では、脳波トポグラフィパターンをある音節
発声の準備段階におけるある発声時と発声時から１秒前
の間のｐｅａｋ　ｔｏ　ｐｅａｋを認識した例を示した
．すなわち、ここでは準備電位娠幅がｐｅａｋ　ｔｏ　
ｐａａｋで最大になるときのトポグラフィパターンによ
って対応する音節を認識したが、時間軸によ７て離散化
した多数の連続した数値マトリクスを、神経回路網４に
入力して神経回路網４を学習させて、かつ認識も連続し
た数値マトリクスを対象として行うことも同様に可能で
ある。また、第６図に示す数値マトリクスは、第５図に
アナログ的に示す準備電位トポグラフィパターンをディ
ジタル的に表現したもので、２次元トポグラフィパター
ンであることは明白である。

（発明の効果〕 以十説明したようにこの発明は、人が音節を発声もしく
は発声をイメージし・たときの脳波トポグラフィパター
ンを神経回路網によって学習し、学習後に神経回路網に
よって脳波トボグラフイパターンからその人が発声もし
くはイメージしている音節を認識して自動的に呈示する
ので、パターンの特徴の自動抽出、類似パターンの高識
別化、高耐性を実現することができ、ある音節の発声を
イメージしたときの脳波トボグラフイから音節を識別す
るモードにおいては、脳波トボグラフイパターンから従
来不可能であったモの人がイメージしている音節の自！
Ｉ］認識を音節を実際には発声しなくても認識を行える
という利点がある．この発明の応用分野としては、従来
のキーボード，タッチベン，マウスにかわる入力の動作
を必要としない入力装置としての利用、音声認識入力に
代わる周囲雑音に影響されない入力装置としての応用等
が考えられ、具体的には雑音環境下で、かつ手等の動作
部位を使えない状況における入力手段、ろう唖者の意志
伝達手段としての福祉分野への応用、体の保持手段がな
い無重量の空間内で動作を必要とする入力デバイスが使
えず、かつ雑音で音声認識が使えないような宇宙ステー
ション内作業時の入力装置、航空機パイロットの操縦装
賀の入力手段としての応用等が考えられる。

【図面の簡単な説明】

第１図はこの発明の脳波トポグラフィパターンによる音
節認識装置のブロック図、第２図はこの発明における処
理の流れ図、第３図は脳波トポグラフィパターンの神経
回路網への入力の概要の説明図、第４図は音節発声時の
時系列準備電位パターンの一例を示す図、第５図は音節
発声直前の準備電位トポグラフィパターンの一例を示す
図、第６図は脳波トポグラフィパターンの数値マトリク
スの一例を示す図、第７図は神経回路網の概要を示す構
成図、第８図は学習済みの神経回路網に未学習の脳波ト
ポグラフィパターンを入力したときの神経回路網出力ユ
ニットの発火Ｖの一例を示す図、第９図は国際電極配置
法による脳波測定の電極配置図、第１０図は神経素子の
概要を示す構成図である。 第３図 第 図 （ａ） （Ｅ）） ゛あ′の発ｐｌ｝ｉ８ １Ｔ′の金声時 第 図 “あ゛の発１１時 ｛ア゛め完一時 第 図 層 第 １丁＼の９：犬 手

Claims (2)

【特許請求の範囲】
1. （１）多数の電極とそれら電極からのデータをもとに脳
   波を検出する脳波検出手段と、前記脳波検出手段におい
   て検出された脳波を２次元トポグラフィパターンに変換
   する脳波処理手段と、前記２次元トポグラフィパターン
   を入力としてそのパターンに対応する音節データを出力
   する認識手段と、音節データの呈示手段と、学習用音節
   データをもとに前記認識手段に対して教師データを生成
   する音節データ教示部と、前記各部の制御を行う制御部
   とから構成されたことを特徴とする脳波トポグラフィに
   よる音節認識装置。
2. （２）多数の電極とそれら電極からのデータをもとに脳
   波を検出する脳波検出手段と、前記脳波検出手段におい
   て検出された脳波を２次元のトポグラフィパターンに変
   換する脳波処理手段と、前記２次元トポグラフィパター
   ンを入力としてそのパターンに対応する音節データを出
   力する認識手段と、音節データの呈示手段と、学習用音
   節データをもとに前記認識手段に対して教師データを生
   成する音節データ教示部と、前記各部の制御を行う制御
   部とから構成され、さらに前記認識手段を複数のユニッ
   トとそれらユニットを結ぶ重み付きのリンクからなる神
   経回路網で構成したことを特徴とする脳波トポグラフィ
   による音節認識装置。