JP3113255B2 - 頭皮準備電位パターンによる操作装置 - Google Patents
頭皮準備電位パターンによる操作装置Info
- Publication number
- JP3113255B2 JP3113255B2 JP02037456A JP3745690A JP3113255B2 JP 3113255 B2 JP3113255 B2 JP 3113255B2 JP 02037456 A JP02037456 A JP 02037456A JP 3745690 A JP3745690 A JP 3745690A JP 3113255 B2 JP3113255 B2 JP 3113255B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- potential
- signal
- time
- series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、腕や指の随意運動を実際に行うことな
く、頭のなかで腕や指の動作をイメージしたときに、人
の頭皮から検出される準備電位パターンを認識すること
によって操縦を行うようにした操作装置に関するもので
ある。
く、頭のなかで腕や指の動作をイメージしたときに、人
の頭皮から検出される準備電位パターンを認識すること
によって操縦を行うようにした操作装置に関するもので
ある。
人間から機械、すなわちコンピュータやビークルへの
意図伝達手段において、人間にとって自然な情報表現を
抑制しない、人間から機械への操作環境とすることが近
年主張されている。
意図伝達手段において、人間にとって自然な情報表現を
抑制しない、人間から機械への操作環境とすることが近
年主張されている。
人間から機械の自然な操作環境を実現するには、機械
側が要求する特性への人間のチューニングから、人間の
特性へのチューニングが望ましい（文献、平岩明ほか、
ヒューマンインタフェースシンポジウム、1989年秋季予
稿集、pp.209−241、1989）。
側が要求する特性への人間のチューニングから、人間の
特性へのチューニングが望ましい（文献、平岩明ほか、
ヒューマンインタフェースシンポジウム、1989年秋季予
稿集、pp.209−241、1989）。
人間の特性へのチューニングとしてのヒューマン／マ
シンインタフェースの一例として、例えば側索性軸索硬
化症等の疾患のために随意運動ができない障害者や、腕
や指の動作が通常よりも大きい重力加速度のためにでき
ないパイロットのために、頭皮から検出される電位分布
である脳波を認識する手段として、従来は視覚刺激や聴
覚刺激に誘発して検出される誘発応答電位（Evoked Pot
ential）のなかで、刺激から300msec後に検出されるP30
0波を認識する装置が提案されている（L.A.Farwell ＆
E.Donchin、Talking off the top of your head:toward
a mental prothesis utilizing event−related brain
potentials,Electroencephalography and clinical Ne
urophysiology,70,pp510−523,1988）。
シンインタフェースの一例として、例えば側索性軸索硬
化症等の疾患のために随意運動ができない障害者や、腕
や指の動作が通常よりも大きい重力加速度のためにでき
ないパイロットのために、頭皮から検出される電位分布
である脳波を認識する手段として、従来は視覚刺激や聴
覚刺激に誘発して検出される誘発応答電位（Evoked Pot
ential）のなかで、刺激から300msec後に検出されるP30
0波を認識する装置が提案されている（L.A.Farwell ＆
E.Donchin、Talking off the top of your head:toward
a mental prothesis utilizing event−related brain
potentials,Electroencephalography and clinical Ne
urophysiology,70,pp510−523,1988）。
前記P300波を検出する装置では、入力を意図する人が
アルファベット26文字が表示されたCRTディスプレイに
対面し、周期的に点滅するＡ〜Ｚの26文字のうち、入力
を意図する文字に意識を集中しているときに頭皮から検
出される誘発応答電位のP300波を検出して、検出された
P300と点滅している文字のタイミングから入力者が入力
を意図する文字を検出するものであった。
アルファベット26文字が表示されたCRTディスプレイに
対面し、周期的に点滅するＡ〜Ｚの26文字のうち、入力
を意図する文字に意識を集中しているときに頭皮から検
出される誘発応答電位のP300波を検出して、検出された
P300と点滅している文字のタイミングから入力者が入力
を意図する文字を検出するものであった。
上記の誘発応答電位P300波を検出する方法では、入力
者に対して外部から視覚刺激や聴覚刺激等の刺激を与え
て、その刺激に対して刺激から人が認知するのに要する
タイムディレイにともなって出現する誘発応答を検出す
るために、入力にあたってのタイムディレイが避けられ
ず、リアルタイム性に欠けること、前記の刺激によって
眼等の人間の認知のためのセンシング器官が疲労すると
いう欠点があった。
者に対して外部から視覚刺激や聴覚刺激等の刺激を与え
て、その刺激に対して刺激から人が認知するのに要する
タイムディレイにともなって出現する誘発応答を検出す
るために、入力にあたってのタイムディレイが避けられ
ず、リアルタイム性に欠けること、前記の刺激によって
眼等の人間の認知のためのセンシング器官が疲労すると
いう欠点があった。
この発明の目的は、上記にかんがみてなされたもの
で、随意運動に先行して頭皮に出現する準備電位パター
ンを用い、この準備電位パターンの認識にあたって、神
経回路網の学習性と雑音に強い高耐性能力、線形分離不
可能なパターンの分離能力の機構を導入し、実際の指や
腕の随意運動そのものの認識がいらない、あるいは指運
動や腕動作を必要とせず、人の認知にともなうタイムデ
ィレイをともなわない頭皮準備電位パターンによる操作
装置を提供することにある。
で、随意運動に先行して頭皮に出現する準備電位パター
ンを用い、この準備電位パターンの認識にあたって、神
経回路網の学習性と雑音に強い高耐性能力、線形分離不
可能なパターンの分離能力の機構を導入し、実際の指や
腕の随意運動そのものの認識がいらない、あるいは指運
動や腕動作を必要とせず、人の認知にともなうタイムデ
ィレイをともなわない頭皮準備電位パターンによる操作
装置を提供することにある。
人が意図的に動作を行う随意運動において、Kornhube
rらは1960年代に人の実際の指や手動作に先行して頭皮
から検出される準備電位（Readiness Potential）を確
認している（L.Deecke et.al.Distribution of Readine
ss Potential,Premotion Positivity,and Motor Potent
ial of the Human Cerebral Cortex Preceding Volunta
ry Finger Movements,Exp,Brain Res.7,pp158−168,196
9）。さらに、Rolandらはポジトロンエミッショントモ
グラフィ（PET）によって、指の随意運動に先行して活
動する脳の領野として、補足運動野付近の血流が増加す
ること及び実際に指の動作をしなくても、指の動作過程
を頭の中でイメージするだけでも補足運動野付近の血流
が増加することを確認した。
rらは1960年代に人の実際の指や手動作に先行して頭皮
から検出される準備電位（Readiness Potential）を確
認している（L.Deecke et.al.Distribution of Readine
ss Potential,Premotion Positivity,and Motor Potent
ial of the Human Cerebral Cortex Preceding Volunta
ry Finger Movements,Exp,Brain Res.7,pp158−168,196
9）。さらに、Rolandらはポジトロンエミッショントモ
グラフィ（PET）によって、指の随意運動に先行して活
動する脳の領野として、補足運動野付近の血流が増加す
ること及び実際に指の動作をしなくても、指の動作過程
を頭の中でイメージするだけでも補足運動野付近の血流
が増加することを確認した。
次に、丹治らは霊長類の猿に対して脳内への微小電極
を挿入した実験において、指や腕動作に先行して出現す
る準備電位の発生源が補足運動野であることを実験的に
確認した（丹治順、蔵田潔、運動、日本臨床、第45巻、
第９号別冊、pp64−69,1987）。
を挿入した実験において、指や腕動作に先行して出現す
る準備電位の発生源が補足運動野であることを実験的に
確認した（丹治順、蔵田潔、運動、日本臨床、第45巻、
第９号別冊、pp64−69,1987）。
同様に、指や手等の随意運動において、その動作過程
を頭のなかでイメージするだけで、補足運動野が活動す
ることが確認されている（Roland,P.E.et al.,Suppleme
tary motor area and other cortical areas in organi
zation of voluntary movements in man,Journal of Ne
urophysiolgy,43,118−136,1980）。
を頭のなかでイメージするだけで、補足運動野が活動す
ることが確認されている（Roland,P.E.et al.,Suppleme
tary motor area and other cortical areas in organi
zation of voluntary movements in man,Journal of Ne
urophysiolgy,43,118−136,1980）。
以上より、補足運動野の電気的興奮を頭皮から捉えれ
ば、人が実際の動作を行わなくてもその人の意図する動
作を検出できることが可能となる（平岩明ほか、音節発
生直前の準備電位時空間パターンのニューラルネットに
よる認識の検討、電子情報通信学会秋季大会予稿集、６
−8,1989）。
ば、人が実際の動作を行わなくてもその人の意図する動
作を検出できることが可能となる（平岩明ほか、音節発
生直前の準備電位時空間パターンのニューラルネットに
よる認識の検討、電子情報通信学会秋季大会予稿集、６
−8,1989）。
この発明は、以上のことを具体的に実現する頭皮準備
電位パターンによる操作装置であって、複数の皮膚表面
電極と、それら皮膚表面電極から検出される電位をもと
に、人の頭皮から検出される準備電位を検出する検出部
と、多チャンネルの準備電位の時系列信号を記憶すると
ともに前処理を行う記憶部と、複数のユニットと重み付
けのリンクからなる神経回路網で構成され、記憶部によ
り記憶・前処理された多チャンネルの時系列準備電位を
入力としてその多チャンネル時系列準備電位に対して対
応する手の動作を識別・出力する認識部と、認識部に対
して識別信号を与える識別信号生成部と、制御部からな
り、前記記憶部は前記制御部からの制御信号に基づき、
操作の瞬間より一定時間前から操作の瞬間までの多チャ
ンネルの準備電位の時系列信号を一時的に記憶し、記憶
した多チャンネルの時系列準備電位信号に対して前処理
を行い前記認識部への入力とする構成を有し、前記識別
信号生成部は手指動作を物理的手段で検出して、前記制
御部に対して操作の瞬間を通知するとともに、この通知
と同期して、前記認識部に対して神経回路網の教示用に
認識信号を与える構成を有するものである。
電位パターンによる操作装置であって、複数の皮膚表面
電極と、それら皮膚表面電極から検出される電位をもと
に、人の頭皮から検出される準備電位を検出する検出部
と、多チャンネルの準備電位の時系列信号を記憶すると
ともに前処理を行う記憶部と、複数のユニットと重み付
けのリンクからなる神経回路網で構成され、記憶部によ
り記憶・前処理された多チャンネルの時系列準備電位を
入力としてその多チャンネル時系列準備電位に対して対
応する手の動作を識別・出力する認識部と、認識部に対
して識別信号を与える識別信号生成部と、制御部からな
り、前記記憶部は前記制御部からの制御信号に基づき、
操作の瞬間より一定時間前から操作の瞬間までの多チャ
ンネルの準備電位の時系列信号を一時的に記憶し、記憶
した多チャンネルの時系列準備電位信号に対して前処理
を行い前記認識部への入力とする構成を有し、前記識別
信号生成部は手指動作を物理的手段で検出して、前記制
御部に対して操作の瞬間を通知するとともに、この通知
と同期して、前記認識部に対して神経回路網の教示用に
認識信号を与える構成を有するものである。
この発明では、側索性軸索硬化症等によって随意運動
が著しく困難な身障者や、体の動作が過大な重力のため
にできないパイロット、通信に伴うタイムディレイによ
って遠隔操縦の遅れが問題となる操縦者が、意図する随
意運動を実際の随意運動に先行して運動のイメージだけ
でも出現する頭皮準備電位パターンを頭皮に装着した皮
膚表面電極によって検出し、この検出した準備電位時空
間パターンを線形分離不可能なパターンを各属性別に分
離する能力と、逆問題の解決能力に優れた神経回路網に
複数回教師あり学習させ、対応する腕や指等の動作パタ
ーンを認識、識別して操作装置機能を実現する。
が著しく困難な身障者や、体の動作が過大な重力のため
にできないパイロット、通信に伴うタイムディレイによ
って遠隔操縦の遅れが問題となる操縦者が、意図する随
意運動を実際の随意運動に先行して運動のイメージだけ
でも出現する頭皮準備電位パターンを頭皮に装着した皮
膚表面電極によって検出し、この検出した準備電位時空
間パターンを線形分離不可能なパターンを各属性別に分
離する能力と、逆問題の解決能力に優れた神経回路網に
複数回教師あり学習させ、対応する腕や指等の動作パタ
ーンを認識、識別して操作装置機能を実現する。
第１図はこの発明の一実施例を示すブロック図であっ
て、１は多数の皮膚表面電極、２は前記皮膚表面電極１
から検出される電位をもとに人の頭皮から検出される準
備電位変化を検出する検出部、３は前記準備電位の多チ
ャンネルの時系列信号を記憶する記憶部、４は前記記憶
部３により記憶された多チャンネルの時系列準備電位を
入力として、その多チャンネル時系列準備電位パターン
に対して対応する手の動作データを出力する認識部、５
は前記認識部４に対して操作の種類の教師信号を生成し
て提示する識別信号生成部、６は各部の制御を行う制御
部である。また、（ａ）は検出された頭皮電位分布時系
列信号、（ｂ）は前記検出部２によって処理された時系
列脳波信号、（ｃ）は記憶部３によって前処理され数値
化された脳波時空間パターン信号、（ｄ）は前記認識部
４で識別された操作信号、例えばジョイスティック操作
信号、（ｅ）は操作の種類を生成して認識部４に提示す
る識別信号、（ｆ），（ｇ），（ｈ），（ｉ）は各部の
処理の同期等をとる制御信号である。
て、１は多数の皮膚表面電極、２は前記皮膚表面電極１
から検出される電位をもとに人の頭皮から検出される準
備電位変化を検出する検出部、３は前記準備電位の多チ
ャンネルの時系列信号を記憶する記憶部、４は前記記憶
部３により記憶された多チャンネルの時系列準備電位を
入力として、その多チャンネル時系列準備電位パターン
に対して対応する手の動作データを出力する認識部、５
は前記認識部４に対して操作の種類の教師信号を生成し
て提示する識別信号生成部、６は各部の制御を行う制御
部である。また、（ａ）は検出された頭皮電位分布時系
列信号、（ｂ）は前記検出部２によって処理された時系
列脳波信号、（ｃ）は記憶部３によって前処理され数値
化された脳波時空間パターン信号、（ｄ）は前記認識部
４で識別された操作信号、例えばジョイスティック操作
信号、（ｅ）は操作の種類を生成して認識部４に提示す
る識別信号、（ｆ），（ｇ），（ｈ），（ｉ）は各部の
処理の同期等をとる制御信号である。
さらに、第２図は第１図の認識部４を神経回路網で構
成する場合を示すものである。
成する場合を示すものである。
第２図において、４−１は神経回路網、４−２は重み
更新制御部である。神経回路網４−１は生物の神経素子
の働きを模した多入力，多出力の人工的神経ユニットＵ
を荷重付けリンクＬ（●は荷重）で多数結合することに
より信号処理，情報処理の機能を実現する電気回路の総
称である。重み更新制御部４−２については後述する。
更新制御部である。神経回路網４−１は生物の神経素子
の働きを模した多入力，多出力の人工的神経ユニットＵ
を荷重付けリンクＬ（●は荷重）で多数結合することに
より信号処理，情報処理の機能を実現する電気回路の総
称である。重み更新制御部４−２については後述する。
第７図に神経ユニットＵの実現例を示す。第７図にお
いて、神経ユニットＵは重み付けされた入力の総和Σを
とり、その後非線形変換を行う。近年、神経回路網４−
１にあるパターンを分類させてみて、間違った場合には
結合の重みを修正するということを繰り返すことによっ
て、最終的に全てのパターンを正しく識別できるように
する誤り訂正型の教師あり学習の方法（バックプロパゲ
ーション学習法）が公知の技術として各種提案されてい
る（D.E.Rumethart,J.L.MoClelland and PDP Research
Group,Parallel distributed processing,vol.1＆2,MIT
Press,1986及び麻生英紀、ニューラルネットワーク情
報処理、産業図書,1988）。
いて、神経ユニットＵは重み付けされた入力の総和Σを
とり、その後非線形変換を行う。近年、神経回路網４−
１にあるパターンを分類させてみて、間違った場合には
結合の重みを修正するということを繰り返すことによっ
て、最終的に全てのパターンを正しく識別できるように
する誤り訂正型の教師あり学習の方法（バックプロパゲ
ーション学習法）が公知の技術として各種提案されてい
る（D.E.Rumethart,J.L.MoClelland and PDP Research
Group,Parallel distributed processing,vol.1＆2,MIT
Press,1986及び麻生英紀、ニューラルネットワーク情
報処理、産業図書,1988）。
神経回路網４−１は第７図に示した神経ユニットＵを
荷重付けリンクＬで層状に接続、３層で構成した場合の
例であり、重み更新制御部４−２は学習モード時に制御
部６より起動され、神経回路網４−１の出力と識別信号
生成部５からの信号による誤差検出によって荷重更新の
ための信号を処理するものである。
荷重付けリンクＬで層状に接続、３層で構成した場合の
例であり、重み更新制御部４−２は学習モード時に制御
部６より起動され、神経回路網４−１の出力と識別信号
生成部５からの信号による誤差検出によって荷重更新の
ための信号を処理するものである。
第３図は、第１図の認識部４を第２図の神経回路網４
−１で構成し、識別信号生成部５をジョイスティック５
−１とスティック動作弁別部５−２で構成する場合の例
である。なお、Ｈは頭部を示す。
−１で構成し、識別信号生成部５をジョイスティック５
−１とスティック動作弁別部５−２で構成する場合の例
である。なお、Ｈは頭部を示す。
第６図（ａ），（ｂ）は、第３図における処理の流れ
図である。第６図（ａ）は手や指等随意運動直前に頭皮
で検出される準備電位のパターンと対応する指及び腕動
作データの学習モード（以下、学習モードＡという）、
（ｂ）は手や腕動作を頭の中でイメージしたときに頭皮
電位分布パターンに重畳する準備電位パターンを認識す
るモードである（以下、モードＢという）。
図である。第６図（ａ）は手や指等随意運動直前に頭皮
で検出される準備電位のパターンと対応する指及び腕動
作データの学習モード（以下、学習モードＡという）、
（ｂ）は手や腕動作を頭の中でイメージしたときに頭皮
電位分布パターンに重畳する準備電位パターンを認識す
るモードである（以下、モードＢという）。
第４図は時系列脳波信号（ｂ）を記憶部３で前処理す
る概要を示す図で、（ア）は多チャンネルの脳波時系列
生データ、（イ）は（ア）の脳波時系列生データと取込
むための一定時間幅の観測窓、３は記憶部、（ウ）は前
記記憶部３によって処理された頭皮電位分布パターンの
数値マトリクスである。
る概要を示す図で、（ア）は多チャンネルの脳波時系列
生データ、（イ）は（ア）の脳波時系列生データと取込
むための一定時間幅の観測窓、３は記憶部、（ウ）は前
記記憶部３によって処理された頭皮電位分布パターンの
数値マトリクスである。
第５図は頭皮電位分布パターンの数値マトリクスを神
経回路網４−１へ入力する概要を示す図で、（ウ）は頭
皮電位分布パターンの数値マトリクス、４は認識部であ
る。
経回路網４−１へ入力する概要を示す図で、（ウ）は頭
皮電位分布パターンの数値マトリクス、４は認識部であ
る。
以下、第２図，第３図，第４図，第５図および第６図
に基づき神経回路網４−１の学習モードＡと、ある意図
する手や腕の動作を頭の中でイメージした動作にともな
って出現する準備電位から、神経回路網４−１によって
認識する、もしくはある実際の手や腕等の動作よりも先
行して前記動作を検出するモードＢについてこの発明の
動作の説明を行う。
に基づき神経回路網４−１の学習モードＡと、ある意図
する手や腕の動作を頭の中でイメージした動作にともな
って出現する準備電位から、神経回路網４−１によって
認識する、もしくはある実際の手や腕等の動作よりも先
行して前記動作を検出するモードＢについてこの発明の
動作の説明を行う。
はじめに、神経回路網４−１の学習モードＡから説明
する。説明にあたり、文章ならびに図面中のｘは人の実
際の随意運動において準備電位が先行して出現する時間
（約１秒）とする。なお、（S1）〜（S12）は各ステッ
プを示す。
する。説明にあたり、文章ならびに図面中のｘは人の実
際の随意運動において準備電位が先行して出現する時間
（約１秒）とする。なお、（S1）〜（S12）は各ステッ
プを示す。
まず、適宜の人に多電極の皮膚表面電極１を頭部Ｈに
装着し脳波時系列生データ（ア）の取込みを開始する
（S1）。脳波時系列生データ（ア）を前記の一定時間幅
の観測窓（イ）によって取込みながら、前記の人はジョ
イスティック５−１を前後左右に倒す、もしくは中立の
ままの状態にしておく動作を実際に行う（S2）。前記脳
波時系列生データ（ア）は時系列脳波信号（ｂ）として
検出され、脳波データ前処理装置に送られる。ここで、
記憶部３は脳波信号を取込んでいる最中に2x秒間に操作
があったかどうか判別し（S3）、操作があった場合、操
作の瞬間をスティック動作弁別部５−２によりトリガし
（S4）、操作の瞬間からマイナスｘ秒さかのぼったｘ秒
間の時系列脳波信号（ｂ）を記憶部３で一時的に記憶す
る（S5）。ステップ（S3）で操作がなかった場合、2x秒
間のうち、始め1x秒間の時系列脳波信号（ｂ）を記憶部
３で一時記憶する（S6）。
装着し脳波時系列生データ（ア）の取込みを開始する
（S1）。脳波時系列生データ（ア）を前記の一定時間幅
の観測窓（イ）によって取込みながら、前記の人はジョ
イスティック５−１を前後左右に倒す、もしくは中立の
ままの状態にしておく動作を実際に行う（S2）。前記脳
波時系列生データ（ア）は時系列脳波信号（ｂ）として
検出され、脳波データ前処理装置に送られる。ここで、
記憶部３は脳波信号を取込んでいる最中に2x秒間に操作
があったかどうか判別し（S3）、操作があった場合、操
作の瞬間をスティック動作弁別部５−２によりトリガし
（S4）、操作の瞬間からマイナスｘ秒さかのぼったｘ秒
間の時系列脳波信号（ｂ）を記憶部３で一時的に記憶す
る（S5）。ステップ（S3）で操作がなかった場合、2x秒
間のうち、始め1x秒間の時系列脳波信号（ｂ）を記憶部
３で一時記憶する（S6）。
以上の脳波データ前処理装置を有する記憶部３に一時
的に記憶された脳波データは、頭皮電位分布時空間パタ
ーンとして数値マトリクス化の処理が行われ（S7）、数
値マトリクスは神経回路網４−１に入力される（S8）。
神経回路網４−１にはスティックの操作方向を教示し
（S9）、神経回路網４−１の内部リンクのウエイト値の
学習が収束して終了するまで、神経回路網４−１の学習
を本例では誤差逆伝播法で繰り返す（S10,S11）。神経
回路網４−１の学習が収束したら他の操作時の頭皮電位
分布パターンの学習を繰り返す（S12）。
的に記憶された脳波データは、頭皮電位分布時空間パタ
ーンとして数値マトリクス化の処理が行われ（S7）、数
値マトリクスは神経回路網４−１に入力される（S8）。
神経回路網４−１にはスティックの操作方向を教示し
（S9）、神経回路網４−１の内部リンクのウエイト値の
学習が収束して終了するまで、神経回路網４−１の学習
を本例では誤差逆伝播法で繰り返す（S10,S11）。神経
回路網４−１の学習が収束したら他の操作時の頭皮電位
分布パターンの学習を繰り返す（S12）。
次に、第３図，第４図，第５図および第６図にもとず
き認識部４によるモードＢを説明する。なお、（S21）
〜（S25）は各ステップを示す。
き認識部４によるモードＢを説明する。なお、（S21）
〜（S25）は各ステップを示す。
前記学習モード時Ａにジョイスティック５−１の操作
を行った人と同じ人に、学習モードＡ時と同じ位置と個
数の皮膚表面電極１を頭部Ｈに装着し、脳波時系列生デ
ータ（ア）の取込みを開始する（S21）。第４図の多チ
ャンネルの脳波時系列生データ（ア）に対してｘ秒間観
測窓（イ）を開いてその間の脳波時系列生データ（ア）
を数値マトリクス化する（22）。こうして得られた数値
マトリクス（ウ）をこの数値マトリクス（ウ）のデータ
数と同じ個数のユニットを神経回路網４−１をもつ認識
部４に入力し認識させる（S23）。このとき、神経回路
網出力ユニットのうち前後左右中立の５ユニットのうち
最大発火ユニットの動作をスティック操作指令とする
（S24）。以後は第２図の流れ図に基づき、ジョイステ
ィック５−１操作が終了するまで処理をループとして行
う（S25）。
を行った人と同じ人に、学習モードＡ時と同じ位置と個
数の皮膚表面電極１を頭部Ｈに装着し、脳波時系列生デ
ータ（ア）の取込みを開始する（S21）。第４図の多チ
ャンネルの脳波時系列生データ（ア）に対してｘ秒間観
測窓（イ）を開いてその間の脳波時系列生データ（ア）
を数値マトリクス化する（22）。こうして得られた数値
マトリクス（ウ）をこの数値マトリクス（ウ）のデータ
数と同じ個数のユニットを神経回路網４−１をもつ認識
部４に入力し認識させる（S23）。このとき、神経回路
網出力ユニットのうち前後左右中立の５ユニットのうち
最大発火ユニットの動作をスティック操作指令とする
（S24）。以後は第２図の流れ図に基づき、ジョイステ
ィック５−１操作が終了するまで処理をループとして行
う（S25）。
この実施例では、ジョイスティック５−１操作が前後
左右中立の動作パターンが５種で、手あるいは腕に対し
て適用した例について示したが、これに限定されるもの
ではなく、動作パターンの種類の増すこと、認識部４と
しての神経回路網４−１の学習方法に誤差逆伝播法以外
の線形分離不可能なパターンをパターンの属性別に分離
する能力を有する神経回路網の学習方法を適用すること
等は、それぞれ独立に実施することが可能であり、この
発明の要旨を逸脱しない範囲で種々の変更が可能であ
る。
左右中立の動作パターンが５種で、手あるいは腕に対し
て適用した例について示したが、これに限定されるもの
ではなく、動作パターンの種類の増すこと、認識部４と
しての神経回路網４−１の学習方法に誤差逆伝播法以外
の線形分離不可能なパターンをパターンの属性別に分離
する能力を有する神経回路網の学習方法を適用すること
等は、それぞれ独立に実施することが可能であり、この
発明の要旨を逸脱しない範囲で種々の変更が可能であ
る。
この発明の応用分野としては、人が手や腕を随意的に
動かすか、もしくは動かすことをイメージしたときに、
実際の動作に先行して人の頭皮から検出される準備電位
パターンを神経回路網によって学習し、学習後に神経回
路網によって頭皮に出現する準備電位パターンを認識し
て操縦するジョイスティックなので、身体の一部の部位
が欠けているハンディキャップのある人の自助具として
福祉用途への応用、過大な重力が体にかかる航空機パイ
ロットの操縦装置として、あるいは通常の健常者がコン
ピュータ操作をスティックで行う場合の補助的装置とし
ての応用が考えられる。
動かすか、もしくは動かすことをイメージしたときに、
実際の動作に先行して人の頭皮から検出される準備電位
パターンを神経回路網によって学習し、学習後に神経回
路網によって頭皮に出現する準備電位パターンを認識し
て操縦するジョイスティックなので、身体の一部の部位
が欠けているハンディキャップのある人の自助具として
福祉用途への応用、過大な重力が体にかかる航空機パイ
ロットの操縦装置として、あるいは通常の健常者がコン
ピュータ操作をスティックで行う場合の補助的装置とし
ての応用が考えられる。
以上説明したように、この発明は複数の皮膚表面電極
と、人の頭皮に装着されるそれら皮膚表面電極から検出
される電位をもとに、準備電位を検出する検出部と、前
記多チャンネルの準備電位の時系列信号を記憶するとと
もに前処理を行う記憶部と、複数のユニットと重み付け
のリンクからなる神経回路網で構成され、前記記憶部に
より記憶・前処理された多チャンネルの時系列準備電位
を入力としてその多チャンネル時系列準備電位に対応す
る手の動作を識別・出力する認識部と、この認識部に対
して識別信号を与える識別信号生成部と、前記各部を制
御する制御部からなり、前記記憶部は前記制御部からの
制御信号に基づき、操作の瞬間より一定時間前から操作
の瞬間までの多チャンネルの準備電位の時系列信号を一
時的に記憶し、記憶した多チャンネルの時系列準備電位
信号に対して前処理を行い前記認識部への入力とする構
成を有し、前記識別信号生成部は手指動作を物理的手段
で検出して、前記制御部に対して操作の瞬間を通知する
とともに、この通知と同期して、前記認識部に対して神
経回路網の教示用に識別信号を与える構成を有するもの
である。したがって、頭皮から検出される準備電位を線
形分離不可能なパターンを各属性別に分離する能力と、
雑音のなかの微弱な信号パターンの検出能力の高い神経
回路網によって認識するので、従来不可能であった脳波
の一種である準備電位パターンによって操作装置を操縦
することが可能となる。さらに、識別信号生成部から与
えられる識別信号と記憶部から与えられる頭皮電位分布
時空間パターンとの同期をとり、認識部（ニューラルネ
ット）に適切な教示データを与えることが可能となる効
果が得られる。
と、人の頭皮に装着されるそれら皮膚表面電極から検出
される電位をもとに、準備電位を検出する検出部と、前
記多チャンネルの準備電位の時系列信号を記憶するとと
もに前処理を行う記憶部と、複数のユニットと重み付け
のリンクからなる神経回路網で構成され、前記記憶部に
より記憶・前処理された多チャンネルの時系列準備電位
を入力としてその多チャンネル時系列準備電位に対応す
る手の動作を識別・出力する認識部と、この認識部に対
して識別信号を与える識別信号生成部と、前記各部を制
御する制御部からなり、前記記憶部は前記制御部からの
制御信号に基づき、操作の瞬間より一定時間前から操作
の瞬間までの多チャンネルの準備電位の時系列信号を一
時的に記憶し、記憶した多チャンネルの時系列準備電位
信号に対して前処理を行い前記認識部への入力とする構
成を有し、前記識別信号生成部は手指動作を物理的手段
で検出して、前記制御部に対して操作の瞬間を通知する
とともに、この通知と同期して、前記認識部に対して神
経回路網の教示用に識別信号を与える構成を有するもの
である。したがって、頭皮から検出される準備電位を線
形分離不可能なパターンを各属性別に分離する能力と、
雑音のなかの微弱な信号パターンの検出能力の高い神経
回路網によって認識するので、従来不可能であった脳波
の一種である準備電位パターンによって操作装置を操縦
することが可能となる。さらに、識別信号生成部から与
えられる識別信号と記憶部から与えられる頭皮電位分布
時空間パターンとの同期をとり、認識部（ニューラルネ
ット）に適切な教示データを与えることが可能となる効
果が得られる。
第１図はこの発明の一実施例のブロック図、第２図は、
第１図における神経回路網の概要を示す図、第３図は、
第１図の識別信号生成部をジョイスティックとしたブロ
ック図、第４図は時系列多チャンネル頭皮電位分布パタ
ーンを記憶部で前処理する概要を示す図、第５図は頭皮
電位分布パターンの数値マトリクスを神経回路網へ入力
する概要を示す図、第６図は、第３図の動作を説明する
ための処理の流れ図、第７図は神経ユニットの実現例を
示す図である。 図中、１は皮膚表面電極、２は検出部、３は記憶部、４
は認識部、４−１は神経回路網、４−２は重み更新制御
部、５は識別信号生成部、６は制御部である。
第１図における神経回路網の概要を示す図、第３図は、
第１図の識別信号生成部をジョイスティックとしたブロ
ック図、第４図は時系列多チャンネル頭皮電位分布パタ
ーンを記憶部で前処理する概要を示す図、第５図は頭皮
電位分布パターンの数値マトリクスを神経回路網へ入力
する概要を示す図、第６図は、第３図の動作を説明する
ための処理の流れ図、第７図は神経ユニットの実現例を
示す図である。 図中、１は皮膚表面電極、２は検出部、３は記憶部、４
は認識部、４−１は神経回路網、４−２は重み更新制御
部、５は識別信号生成部、６は制御部である。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭63−54618（ＪＰ，Ａ) 特許2515875（ＪＰ，Ｂ２) 平岩明，下原勝憲，内山匡，徳永幸 生，”音節発生直前の準備電位時空間パ ターンのニューラルネットによる認識の 検討”，1989年電子情報通信学会秋季全 国大会論文集〔分冊６〕情報・システ ム，1989年，Ｄ−８，ｐ．６−８ (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 3/033 G06F 15/18
Claims (1)
- 【請求項１】複数の皮膚表面電極と、人の頭皮に装着さ
れるそれら皮膚表面電極から検出される電位をもとに、
準備電位を検出する検出部と、多チャンネルの準備電位
の時系列信号を記憶するとともに前処理を行う記憶部
と、複数のユニットと重み付けのリンクからなる神経回
路網で構成され、前記記憶部により記憶・前処理された
多チャンネルの時系列準備電位を入力としてその多チャ
ンネル時系列準備電位に対応する手の動作を認識・出力
する認識部と、この認識部に対して識別信号を与える認
識信号生成部と、前記各部を制御する制御部からなり、
前記記憶部は前記制御部からの制御信号に基づき、操作
の瞬間より一定時間前から操作の瞬間までの多チャンネ
ルの準備電位の時系列信号を一時的に記憶し、記憶した
多チャンネルの時系列準備電位信号に対して前処理を行
い前記認識部への入力とする構成を有し、前記識別信号
生成部は手指動作を物理的手段で検出して、前記制御部
に対して操作の瞬間を通知するとともに、この通知と同
期して、前記認識部に対して神経回路網の教示用に識別
信号を与える構成を有することを特徴とする頭皮準備電
位パターンによる操作装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02037456A JP3113255B2 (ja) | 1990-02-20 | 1990-02-20 | 頭皮準備電位パターンによる操作装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02037456A JP3113255B2 (ja) | 1990-02-20 | 1990-02-20 | 頭皮準備電位パターンによる操作装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03241414A JPH03241414A (ja) | 1991-10-28 |
| JP3113255B2 true JP3113255B2 (ja) | 2000-11-27 |
Family
ID=12498022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02037456A Expired - Fee Related JP3113255B2 (ja) | 1990-02-20 | 1990-02-20 | 頭皮準備電位パターンによる操作装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3113255B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2593625B2 (ja) * | 1994-01-12 | 1997-03-26 | 株式会社脳機能研究所 | 生体情報自動識別装置 |
| JP2850763B2 (ja) * | 1994-07-22 | 1999-01-27 | 日本電気株式会社 | 生体内部状態伝達装置およびその方法 |
| JP2814969B2 (ja) * | 1995-10-06 | 1998-10-27 | 日本電気株式会社 | 活動部位検出装置 |
| GB2311854B (en) * | 1995-11-17 | 2000-03-22 | Hitachi Ltd | Optical measurement instrument for living body |
| JP3949469B2 (ja) * | 2002-02-22 | 2007-07-25 | 三菱電機株式会社 | 脳波信号を用いた制御装置及び制御方法 |
| JP4411442B2 (ja) * | 2007-02-20 | 2010-02-10 | 国立大学法人 岡山大学 | 脳波−運動指令変換装置 |
| JP4876988B2 (ja) * | 2007-03-13 | 2012-02-15 | 日本電気株式会社 | ブレイン・コンピュータ・インタフェース装置 |
| KR101238780B1 (ko) * | 2011-03-03 | 2013-03-04 | 서울대학교산학협력단 | 준비전위기반 뇌-컴퓨터 인터페이스 장치 및 방법 |
-
1990
- 1990-02-20 JP JP02037456A patent/JP3113255B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 平岩明，下原勝憲，内山匡，徳永幸生，"音節発生直前の準備電位時空間パターンのニューラルネットによる認識の検討"，１９８９年電子情報通信学会秋季全国大会論文集〔分冊６〕情報・システム，１９８９年，Ｄ−８，ｐ．６−８ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH03241414A (ja) | 1991-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Amiri et al. | A review of hybrid brain-computer interface systems | |
| Ang et al. | EEG-based strategies to detect motor imagery for control and rehabilitation | |
| Mao et al. | Progress in EEG-based brain robot interaction systems | |
| Wu et al. | Controlling a human–computer interface system with a novel classification method that uses electrooculography signals | |
| Birch et al. | Initial on-line evaluations of the LF-ASD brain-computer interface with able-bodied and spinal-cord subjects using imagined voluntary motor potentials | |
| Bevilacqua et al. | A novel BCI-SSVEP based approach for control of walking in virtual environment using a convolutional neural network | |
| Stanford | Biosignals offer potential for direct interfaces and health monitoring | |
| Yao et al. | A BCI system based on somatosensory attentional orientation | |
| Yamawaki et al. | An enhanced time-frequency-spatial approach for motor imagery classification | |
| Singh et al. | Developments in the human machine interface technologies and their applications: a review | |
| Yao et al. | A novel calibration and task guidance framework for motor imagery BCI via a tendon vibration induced sensation with kinesthesia illusion | |
| Jialu et al. | Offline analysis for designing electrooculogram based human computer interface control for paralyzed patients | |
| JP3113255B2 (ja) | 頭皮準備電位パターンによる操作装置 | |
| Penaloza et al. | Towards intelligent brain-controlled body augmentation robotic limbs | |
| Achanccaray et al. | Visual-electrotactile stimulation feedback to improve immersive brain-computer interface based on hand motor imagery | |
| Tøttrup et al. | Decoding covert speech for intuitive control of brain-computer interfaces based on single-trial EEG: a feasibility study | |
| Ashok | High-level hands-free control of wheelchair–a review | |
| Belhadj et al. | CSP features extraction and FLDA classification of EEG-based motor imagery for Brain-Computer Interaction | |
| Rezeika et al. | 30-targets hybrid BNCI speller based on SSVEP and EMG | |
| Gulrez et al. | A sensorized garment controlled virtual robotic wheelchair | |
| Carpi et al. | Non invasive brain-machine interfaces | |
| Salih et al. | Brain computer interface based smart keyboard using neurosky mindwave headset | |
| Longo et al. | Using brain-computer interface to control an avatar in a virtual reality environment | |
| Vinoj et al. | IoT-powered deep learning brain network for assisting quadriplegic people | |
| Noel et al. | Utilizing Deep Neural Networks for Brain–Computer Interface-Based Prosthesis Control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070922 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080922 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |