JPH07118015B2 - 頭皮電位分布パターン認識型音節入力装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、側索性硬化症等の疾病によって、発声や、眼
球動作，キーボード操作等の随意運動を全く行うことが
できない障害者や、過大な重力加速度にさらされるため
に腕や指，口の随意運動ができない状況下のユーザ等が
使用する頭皮電位分布パターン認識型音節入力装置（以
下、単に「入力装置」ともいう）に関し、特に、上述の
如きユーザの頭皮から検出される準備電位分布パターン
から発声を意図する音節を認識するようにした入力装置
に関する。

〔従来の技術〕

従来、上述の如き随意運動が充分にできない障害者や、
過大な重力加速度にさらされるために腕や指，口の随意
運動ができない状況下のユーザ等を対象とした入力装置
として、例えば、脳波トポグラフィを応用した準備電位
分布パターンを認識・解析する方式に基づくものが研究
されている。

なお、上述の脳波トポグラフィを応用した準備電位分布
パターンを認識・解析する方式に関しては塚原による
「脳の情報処理」（1964年）,180頁、金子による「最新
脳科学」（1988年10月）,179頁の記載が参考になる。

また、上述の脳波トポグラフィを応用した準備電位分布
パターンを認識・解析する方式を応用した入力装置に
は、本発明者等が特願平１−52872号（特開平２−23278
3号公報参照）「脳波トポグラフィによる音節認識装
置」に提案した装置、同じく、本発明者等が特願平２−
37456号（特開平３−241414号公報参照）（頭皮準備電
位パターンによる操作装置」に提案した装置がある。

〔発明が解決しようとする課題〕

上述の従来技術の項に記載した装置は、いずれも、人が
随意運動としての発声や手の動作を行う直前に、頭皮か
ら電位分布変化として検出される準備電位パターンを、
パターンの学習・認識能力に優れた神経回路網（ニュー
ラル・ネットワーク）を用いて、ユーザが意図した発声
音節や手の動作を認識・識別するようにしたものであ
る。これらの装置においては、認識部を構成する神経回
路網が、頭皮準備電位パターンと意図する随意運動の関
係を学習するときに用いた頭皮準備電位パターンは、発
声もしくは手等の動作を実際にユーザに行わせることに
よって随意運動の開始時点を特定し、その開始時点を基
準として、それより遡って設定した観測窓により得られ
る時系列のパターンであった。

従って、上述の認識部の神経回路網の学習を行うために
は、ユーザが何等かの随意運動を行う能力を有すること
が不可欠であり、疾病等のためにあらゆる随意運動を行
うことができない人に対しては、この装置を用いての入
力を行うことができないという問題があった。

本発明は上記事情に鑑みてなされたもので、その目的と
するところは、従来の技術における上述の如き問題を解
消し、疾病等のためにあらゆる随意運動を行うことがで
きない人に対しても適用可能な、実際の発声等の随意運
動を必要としない入力装置を提供することにある。

〔課題を解決するための手段〕

本発明の上述の目的は、複数の皮膚表面電極と、該電極
により検出される電位を基に頭皮電位を検出する検出部
と、前記頭皮電位の多チャンネル時系列分布パターンを
記憶するとともに必要な前処理を行う記憶部と、該記憶
部により記憶・前処理された多チャンネル時系列分布パ
ターンに対して、対応する発声音節を識別・出力する認
識部とを有する入力装置において、前記認識部のパター
ン学習時に、ユーザが発声を意図すべき音節の種類とそ
の心読のタイミングを呈示する呈示部を設けるととも
に、前記認識部を、複数のユニットとそれらを結ぶ重み
付きのリンクから成る神経回路網で構成することを特徴
とする入力装置によって達成される。

〔作用〕

本発明に係る入力装置においては、ユーザの頭皮から検
出される電位分布パターンからユーザが意図する発声音
節を認識する入力装置において、ユーザに、発声を意図
すべき音節の種類と、その心読のタイミングを呈示部に
呈示して、ユーザに発声等を意図させることにより、認
識部のパターン学習時においても実際の発声等の随意運
動の必要性をなくし、あらゆる随意運動ができないユー
ザも使用することを可能にしたものである。

なお、本明細書中において、「心読」とは、実際に発声
することなく文字を音節単位で発声を意図しながら読む
ことを言い、「発声を意図する」または「発声をイメー
ジする」とは、音節単位で発声を意識しながら実際には
発声しないことを言う。また、本発明において「音節」
と言う語は、いわゆるモノシラブルの発声単位から、こ
れらが複数個連続して（組み合わされて）発声されるシ
ラブルまでを含み、例えば、アルファベットまたは五十
音から一文字漢字までをも含むものとする。

〔実施例〕

以下、本発明の実施例を図面に基づいて詳細に説明す
る。

第１図は、本発明の一実施例である入力装置の全体構成
を示す図である。図において、１は多数の皮膚表面電
極、２は該皮膚表面電極１から検出される電位を基に、
人の頭皮から検出される電位を検出する検出部、３は上
述の人の頭皮から検出される電位の時系列パターンを記
憶する記憶部、４は該記憶部３により記憶された多チャ
ンネルの時系列電位パターンを入力として、該多チャン
ネル電位パターンを認識して、対応する音節を出力する
認識部、５は該認識部４で認識した音節を呈示する呈示
部を示している。また、６は上記認識部４のパターン学
習時に、ユーザが発声を意図すべき音節の種類を生成
し、音節の呈示信号を生成する呈示信号生成部、７は該
呈示信号生成部６で生成された音節信号を呈示する呈示
部、８は上述の各部のタイミングをとって、各部の動作
を制御する制御部である。

なお、第１図中の各信号ａ〜ｊの意味は、下記の通りで
ある。ａは皮膚表面電極１で検出された頭皮電位時系列
信号、ｂは検出部２によって処理された頭皮電位時系列
信号、ｃは記憶部３によって前処理された、数値化され
た頭皮電位時系列信号、ｄは認識部４によって識別され
た音節信号、e,f,gおよびｈは制御部８と各部の動作を
動期させ、制御する制御信号、ｉは認識部４のパターン
学習時に、ユーザが発声を意図すべき音節の種類を認識
部４に教師データとして呈示する信号、ｊは呈示信号生
成部６により呈示部７に呈示すべく生成された信号を示
している。

第２図は、上述の認識部４の詳細を示す構成図であり、
４−１は神経回路網、４−２は重み更新制御部を示して
いる。ここでは、神経回路網４−１を層状に接続し、３
層で構成した場合を示しており、重み更新制御部４−２
は、認識部４の学習モード時に、制御部８により起動さ
れ、誤差検出４−2aによって呈示信号生成部６からの信
号と神経回路網４−１の出力との差を検出し、これに基
づいて、荷重更新値計算４−2bによって荷重更新のため
の信号処理を行うものである。

以下、上述の如く構成された本実施例の動作を説明す
る。なお、以下の説明においては、認識部４の神経回路
網４−１の学習モードＡと、ユーザがある音節の発声を
意図して、発声をイメージしたときに、頭皮電位分布変
化に混在して出現する準備電位パターンを認識・識別し
て発声を意図する音節を認識する認識モードＢについ
て、順次、説明する。

まず、認識部４が頭皮電位分布パターンと発声を意図す
る音節との関係を学習する学習モードＡについて説明す
る。

学習モードＡとは、ユーザの頭皮から検出される電位分
布パターンとユーザが意図する発声音節の関係を、認識
部４の神経回路網４−１に学習させるモードである。音
節の種類と、その心読のタイミングをディスプレイ装置
に呈示し、それに従って、ユーザに発声を意図させるよ
う指示することによって、実際の随意運動を行わせるこ
となく、学習パターンデータを特定できるようにしたも
ので、実際の随意運動の必要性をなくし、あらゆる随意
運動ができないユーザでも使用することが可能となる。
この動作のタイミングチャートを第４図に、また、フロ
ーチャートを第７図に示す。

学習モードＡは、大きく分けて、ユーザの心読トレーニ
ングを行う期間（ステップ72〜79）と、心読を意識しな
い期間（ステップ80〜83）から成る。

学習モードＡでは、まず、ユーザに、呈示される音節を
意図して心読するように指示して、ユーザが、呈示部７
に呈示される音節を心読し、心読に伴ってユーザの頭皮
上に発生する準備電位を含む頭皮電位分布を認識部４の
入力とし、呈示された音節の種類を出力として、認識部
４の神経回路網４−１が入力と出力との関係を学習す
る。

今、呈示部７への音節の呈示が、第３図に示す如くアル
ファベット対象とする場合、格子状に表示されたアルフ
ァベットが、この順に、第４図のタイミングチャートに
おける呈示部７の文字のフラッシュ時に、発声を促す音
節の文字のみ背景色が反転してフラッシュするものとす
る。この文字のフラッシュは、アルファベット順に行わ
れ、時間的にも等間隔で行われる。ユーザは、この等間
隔のタイミングを見計いながら、発声を意図してディス
プレイ装置に表示される音節を心読するものとする。

ユーザが呈示部７のフラッシュのタイミングに慣れる
と、ユーザは、フラッシュ刺激の直前に、次に心読すべ
き文字の発声準備を意識し、フラッシュのタイミングに
心読できるようになる。このとき、ユーザの頭皮に装着
された皮膚表面電極から得られた頭皮電位は、検出部２
によって信号として検出され、記憶部３に記憶された呈
示部７のフラッシュの直前、１秒前からフラッシュ直前
までの時間の頭皮電位時系列信号として処理され、第５
図に示す如く数値マトリクス化され、認識部４の神経回
路網４−１の入力層４−1aに、第６図に示す如き入力パ
ターンとして与えられる。

このとき、認識部４の神経回路網４−１の出力層４−1c
には、呈示された音節の種類が教師信号として与えられ
る。第６図では、入力層４−1aに音節“b"の心読直前に
得られた、頭皮電位時経系列信号の数値マトリクスを与
えた場合を示しており、教師信号としては、図に示す如
く、出力層４−1cの“b"のユニットのみに“1"を、他の
ユニットには“0"を与える例を示している。

すべての音節に対して、複数回、上述の心読を繰り返し
た後、心読による認識部４の学習は終了する。その後、
そのままの状態で、認識部４にはユーザが心読を意識し
ていない状態の頭皮電位時系列信号を与え、出力層４−
1cには入力音節無しを教示し、これを複数回繰り返す。
入力音節無しの頭皮電位のパターンの学習が終了した
ら、学習モードＡは終了とする。

ここで、認識部４の神経回路網４−１の学習法には、既
に提案されている種々の方法を利用することができ、例
えば、誤差逆伝播法の場合、認識部４の学習において、
一つのパターンの学習は、神経回路網が、入力と出力に
与えられたパターン関係に誤差がなくなるように、ある
いは、誤差許容量に達するまで何度も学習するものであ
る。

次に、認識モードＢについて、第９図に示すフローチャ
ートに基づいて説明する。認識部４の学習モードが終っ
たら、ユーザの頭皮電位の取り込みを開始する（ステッ
プ91）。以後、ユーザは、自分が入力を意図する音節を
順次、心読して、発声のイメージを行う。ここで、第８
図に示す如く、時系列の頭皮電位信号に対して、学習モ
ードＡで開いたと同じ長さの観測窓（ここでは１秒間）
を開き、観測窓内の信号を学習モードＡの場合と同様
に、数値マトリクス化し、認識部４の神経回路網４−１
の入力層４−1aに与える（ステップ92〜93）。

与えられた入力パターンとしての数値マトリクスに対し
て、それぞれの音節に対応した出力層４−1cの各ユニッ
トが出力するが、この出力層のユニットのなかで、一番
出力値の高いユニットを、認識した音節とする（ステッ
プ94）。例えば、出力層ユニットの出力値のうち、“e"
のユニットの出力値が一番大きい値ならば、ユーザが発
声を意図する音節は、“e"であるとする。サンプリング
レートをΔｔとすると、連続した頭皮電位時系列信号に
対して、第８図に示す如く、順次、時間窓をずらしてい
き（ステップ95〜96）、それぞれの時間窓内の頭皮電位
時系列信号に対して、認識部４によって認識を行ってい
く。上述の処理により、出力された音節列によって、ユ
ーザが発声を意図した文字列が形成される。

上記実施例によれば、背景脳波に混在し、心読または発
声を意図することもしくは実際の発声に伴って出現する
準備電位変化のパターンの認識と識別を、学習能力を有
する神経回路網によって行い、かつ、神経回路網の学習
時には、ユーザが、ユーザに呈示される信号に対して、
心読のタイミングを同期して行うので、随意運動を全く
行うことができない状態においても、自分の意図する音
節列を入力することができる。

なお、上述の説明においては、アルファベットを対象音
節の例として説明したが、前述の如く、五十音を対象に
すること、他の言語の音節を対象とすることも可能であ
る。また、第４図に示したタイミングチャートにおいて
は、呈示部のフラッシュ刺激のインターバルを1.6〜1.9
秒とした例を示したが、フラッシュ刺激のインターバル
を変えること、フラッシュの継続時間を変えることは、
フラッシュ刺激に伴ってユーザの頭皮に観測される誘発
電位P300の影響が観測窓内に入らない範囲において、か
つ、ユーザが認知できる範囲内において、それぞれ可能
である。

更に、認識部の神経回路網の充分な学習が終了している
場合、すなわち、不特定多数の充分な数のユーザの発す
る頭皮電位時系列パターンと、上記ユーザの意図する発
声音節の関係を学習した認識部の神経回路網の重み値を
用いることができる場合には、少数カテゴリ、例えば、
数個の音節の弁別に関しては、前述の頭皮電位時系列パ
ターンの個人差を、前記神経回路網が吸収できることか
ら、上記実施例に示した入力装置から、呈示信号生成部
６と呈示部７とを除去した構成として、学習モードＡを
経ていない不特定のユーザに対しても、本装置を、認識
モードＢの専用機として提供することも可能である。

つまり、複数の皮膚表面電極と、該電極により検出され
る電位を基に頭皮電位を検出する検出部と、前記頭皮電
位の多チャンネル時系列分布パターンを記憶するととも
に必要な前処理を行う記憶部と、該記憶部により記憶・
前処理された多チャンネル時系列分布パターンに対し
て、対応する発声音節を識別・出力する認識部とを有す
る頭皮電位分布パターン認識型音節入力装置において、
前記認識部を、複数のユニットとそれらを結ぶ重み付き
のリンクから成る神経回路網で構成し、かつ、該認識部
は、充分な学習を終了したものとすることを特徴とする
頭皮電位分布パターン認識型音節入力装置も実現可能で
ある。

〔発明の効果〕

以上、詳細に説明した如く、本発明によれば、複数の皮
膚表面電極と、該電極により検出される電位を基に頭皮
電位を検出する検出部と、前記頭皮電位の多チャンネル
時系列分布パターンを記憶するとともに必要な前処理を
行う記憶部と、該記憶部により記憶・前処理された多チ
ャンネル時系列分布パターンに対して、対応する発声音
節を識別・出力する認識部とを有する頭皮電位分布パタ
ーン認識型音節入力装置において、前記認識部のパター
ン学習時に、ユーザが発声を意図すべき音節の種類とそ
の心読のタイミングを呈示する呈示部を設けるととも
に、前記認識部を、複数のユニットとそれらを結ぶ重み
付きのリンクから成る神経回路網で構成したので、疾病
等のためにあらゆる随意運動を行うことができない人に
対しても適用可能な、実際の発声等の随意運動を必要と
しない入力装置を実現できるという顕著な効果を奏する
ものである。

【図面の簡単な説明】

第１図は本発明の一実施例である入力装置の全体構成を
示す図、第２図は認識部４の詳細を示す構成図、第３図
は呈示部の呈示画面の一例を示す図、第４図は学習モー
ドＡにおけるタイミングチャート、第５図は第４図のタ
イミングチャートに基づいて時系列頭皮電位信号を数値
マトリクスに変換する処理の説明図、第６図は上記数値
マトリクスを認識部に入力し、対応する音節を教師信号
として出力層へ教示する状況を説明する図、第７図は学
習モードＡ時の動作フローチャート、第８図は学習モー
ドが終了した認識部が時系列頭皮電位信号を認識する状
況を示す図、第９図は認識モードＢの動作フローチャー
トである。 1:皮膚表面電極、2:検出部、3:記憶部、4:認識部、４−
1:神経回路網、４−1a:入力層、４−1b:隠れ層、４−1
c:出力層、４−2:重み更新制御部、４−2a:誤差検出、
４−2b:荷重更新値計算、5:認識内容呈示部、6:呈示信
号生成部、7:呈示部、8:制御部。

フロントページの続き (56)参考文献 特開 平２−232783（ＪＰ，Ａ) 特開 平３−241414（ＪＰ，Ａ) 1989年電子情報通信学会秋季全国大会講 演論文集Ｄ−８「音節発生直前の準備電位 時空間パターンのニューラルネットによる 認識の検討」 Ｒｏｌａｎｄ Ｐ．Ｅ．ｅｔ ａｌ．, 「Ｓｕｐｐｌｅｍｅｎｔａｒｙ ｍｏｔｏ ｒ ａｒｅａ ａｎｄ ｏｔｈｅｒ ｃｏ ｒｔｉｃａｌ ａｒｅａｓ ｉｎ ｏｒｇ ａｎｉｚａｔｉｏｎ ｏｆ ｖｏｌｕｎｔ ａｒｙ ｍｏｖｅｍｅｎｔｓ ｉｎ ｍａ ｎ」，Ｊｏｕｒｎａｌ ｏｆ Ｎｅｕｒｏ ｐｈｙｓｉｏｌｏｇｙ，43，Ｐ．118− 136，1980

Claims (1)

【特許請求の範囲】
1. 【請求項１】複数の皮膚表面電極と、該電極により検出
   される電位を基に頭皮電位を検出する検出部と、前記頭
   皮電位の多チャンネル時系列分布パターンを記憶すると
   ともに必要な前処理を行う記憶部と、該記憶部により記
   憶・前処理された多チャンネル時系列分布パターンに対
   して、対応する発声音節を識別・出力する認識部とを有
   する頭皮電位分布パターン認識型音節入力装置におい
   て、前記認識部のパターン学習時に、ユーザが発声を意
   図すべき音節の種類とその心読のタイミングを呈示する
   呈示部を設けるとともに、前記認識部を、複数のユニッ
   トとそれらを結ぶ重み付きのリンクから成る神経回路網
   で構成することを特徴とする頭皮電位分布パターン認識
   型音節入力装置。