JPH05111881A - 学習型筋電パターン認識ロボツトハンド制御装置 - Google Patents

学習型筋電パターン認識ロボツトハンド制御装置

Info

Publication number
JPH05111881A
JPH05111881A JP3274167A JP27416791A JPH05111881A JP H05111881 A JPH05111881 A JP H05111881A JP 3274167 A JP3274167 A JP 3274167A JP 27416791 A JP27416791 A JP 27416791A JP H05111881 A JPH05111881 A JP H05111881A
Authority
JP
Japan
Prior art keywords
pattern
teacher
bending angle
myoelectric
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3274167A
Other languages
English (en)
Other versions
JP2913611B2 (ja
Inventor
Akira Hiraiwa
明 平岩
Katsunori Shimohara
勝憲 下原
Noriyoshi Uchida
典佳 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP3274167A priority Critical patent/JP2913611B2/ja
Publication of JPH05111881A publication Critical patent/JPH05111881A/ja
Application granted granted Critical
Publication of JP2913611B2 publication Critical patent/JP2913611B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)
  • Prostheses (AREA)

Abstract

(57)【要約】 (修正有) 【目的】 筋電信号によってロボットハンド(又は義
手)を的確に制御する。 【構成】 健常者または前腕切断者が自分自身の意図す
る手の運動において生じる筋電を皮膚表面電極1,3,
5,7によって検出し、この検出した筋電信号を高速フ
ーリエ変換部21,23で高速フ―リエ変換処理して、
周波数解析したパタ―ンを、線型分離不可能なパタ―ン
を各パタ―ンの属性別に分離する能力を有する認識部2
9の神経回路網に、複数回学習させる。この過程におい
て、ユーザの指曲げ角度教師値を連続して時系列的に認
識する指曲げ角度教師値認識部を有し、前記指曲げ角度
教師値を、指曲げ角度教師値呈示インタフェース部31
で、サンプリングした指曲げ角度教師値を時間平均して
から神経回路網に呈示する。これにより、複数の指曲げ
角度を筋電パターンから時系列的に連続して認識し、対
応する手指の動作パタ―ンを認識、識別してロボットハ
ンドを的確に制御する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、皮膚表面電極から検
出された筋電信号を高速フ―リエ変換して周波数解析し
たパタ―ンを神経回路網によって認識して、指曲げ角度
認識値で制御動作を行う学習型筋電パターン認識ロボッ
トハンド制御装置に関する。
【0002】
【従来の技術】筋電信号によって人工の手としてのロボ
ットハンドまたは義手を制御する着想は、N.Winerに
よって1948年に発表され(Cybernetics,The
M.I.T. Press, 1948年参照)、その後、
種々の装置が実際に開発された。筋電義手について鑑み
れば、切断部位断端の筋電位により義手操作を制御する
方法であり、通常、断端から数対の皮膚表面電極を介し
て100ないし1000マイクロボルト程度の筋電位を
検出し、増幅器で増幅して電気的前処理(整流、平滑化
等)を行い、処理後の信号を認識、識別することにより
義手の手先具の手指または間接継手の動作を制御するも
のであり、世界的に普及している。
【0003】従来の筋電義手は、研究レベル、実用レベ
ルを問わず、動作制御の対象とする目的において2種類
に大別される。
【0004】第1は、検出された筋電から制御する対象
として前腕用手先具の動作を目的とするもので、通常、
機能を1自由度に限定して義手(手先具)の手指の動作
の開閉を行うことを対象とする。
【0005】1自由度の制御方法は、オン・オフ制御方
式、比例制御方式の2種が代表的である。
【0006】オン・オフ制御方式では、断端部の残存屈
筋と伸筋の2箇所の電極から検出された筋電から同相の
ノイズ信号を除去し、整流、平滑化した2つの信号から
差信号を作り、義手手指の開閉を行うものである(日本
整形外科学会、日本リハビリテ―ション医学会編集、義
肢装具のチェックポイント、医学書院、1987年、第
59頁〜第68頁参照)。
【0007】比例制御方式は、積分した筋電信号と筋緊
張との間には、ほぼ比例関係が成り立つという神経生理
学的に公知の事実を利用して、義手手指の開閉速度、把
持力の調整を行う方式である。比例制御方式は、パルス
幅変調を利用するもので、筋電信号が弱いと義手開閉動
作用モ―タは僅かな時間オンになり、筋収縮が増すとオ
ンの時間が長く、パルス幅も大きくなり、モ―タ回転数
がより増して義手手指の開閉速度が速くなるものであ
る。
【0008】このようなオン・オフ制御方式および比例
制御方式は、いずれも整流、平滑化された筋電信号に対
し、しきい値を設定してスイッチングするものであっ
て、装着時にしきい値を設定してしまうと、装着者の体
調や、切断後の時間経過に伴う筋電のレベル変化に対応
できずに、装着者の意図通りに動かないという問題があ
る。
【0009】通常、筋電義手の装着までの訓練過程にお
いて、幻肢の手関節の屈曲運動を行い、片側切断では、
健常側上肢、切断肢ともに前に出して、上記運動を行わ
せ、筋電検出計を装着予定者に観察させながら、義手の
筋電識別回路の認識するレベルに適合する筋電がでるよ
うに訓練させる。しかしながら、訓練しても屈筋、伸筋
の2チャンネルの筋電が別々に弁別して発生することの
できない装着予定者は、筋電義手を扱う対象とならない
という前腕切断者にとっては死活問題とさえいえる欠点
がある。
【0010】第2は、検出された筋電から同時に何自由
度制御するかに重点をおく方式であり、肩甲胸郭切断等
の高位切断者を対象とした上腕用義手の制御を目的とす
るものである。
【0011】多自由度制御のための筋電識別方法の1つ
に、多電極から検出された筋電信号を平滑、整流して、
一定時間毎に時間平均した信号をパ―セプトロンに入力
し、動作を教師信号として与えて学習させる例がある
(鈴木良次、末松辰美、Link−8を用いた筋電流パタ
―ンの学習識別、医用電子と生体工学、第7巻、第1
号、1969年、第47頁〜第48頁参照)。この例で
は、皮膚表面電極を相違なる3ケ所の筋肉の直上に装着
して、7種類の動作を識別させたが、パ―セプトロンの
線形分離不可能なパタ―ン分離ができない性質により、
電極の装着位置や、動作の種類が増すと実用的に動作識
別ができないという問題がある。
【0012】多自由度制御のための筋電識別方法の他の
例としては、前記例と同様に、相異なる4ケ所の筋肉の
直上に皮膚表面電極を装着して、整流平滑処理した筋電
に対して、1次の線形識別関数によって肩の5種の動作
識別を試みた例があるが(谷和男、他7名、義手制御の
ための筋電パタ―ン識別学習、バイオメカニズム5、東
京大学出版会、1980年、第88頁〜第95頁参
照)、学習筋電パタ―ンが多くなると、識別関数の収束
に時間がかかり、線形分離できない場合が多かったり、
学習パタ―ン、認識用パタ―ンともにノイズがはいる
と、学習が収束しなかったり、または動作を認識できな
いというような問題がある。
【0013】前記2つの多自由度制御の方法では、多動
作識別において多チャンネルの電極の装着を必要とする
問題が共通してある。
【0014】多自由度制御のための筋電識別方法の第3
番目の従来技術として、同一部位からの筋電が動作によ
り相異なる周波数特性を示す事実を利用して、前腕とう
側手根屈筋から検出した1チャンネルの筋電に帯域フィ
ルタをかけて、10分割した筋電の周波数スペクトルに
対して1次および2次の線形識別関数によって4種類の
前腕の動作識別を試みた例があるが(榊原久司、他3
名、筋電の周波数情報を用いた多機能前腕義手の制御、
バイオメカニズム4、東京大学出版会、1978年、第
131頁〜第138頁参照)、線形識別関数を使用して
いるために、識別関数の学習用筋電パタ―ンを作成する
にあたって、通常、協調動作で行われている手の動作を
単純な動作に分解して、手の動作を行うように、被験者
が訓練しなければならないという問題がある。但し、本
例では、筋電の周波数特性が筋収縮力の強弱、筋疲労に
よっての変化が小さいという特性を利用しているので、
動作識別における再現性がよいという利点がある。
【0015】
【発明が解決しようとする課題】以上、手指開閉動作制
御を目的とした1自由度の制御方法および上腕または前
腕の動作を目的とした多自由度の制御方法はともに、従
来の学習能力のない筋電の認識、識別方法によって動作
させる方法であり、装着者自身が認識、識別装置に適合
する筋電が発生できるように自分自身が既に形成したボ
ディイメ―ジ(成長によって獲得された自分の意志に応
じて体の各部位の筋肉の協調動作を無意識的に行う能
力)を再構成しなおさなければならないという問題があ
る。また、筋電を認識、識別して手の動作パタ―ンに変
換する過程に学習機能を持たせた従来の線形識別関数ま
たはパ―セプトロンによる方法では、識別すべき動作パ
タ―ンが多くなると、パタ―ンが線形分離できない確率
が高くなり、動作パタ―ンの既知な筋電信号の学習時
に、学習が収束しない場合が多く、特に筋電デ―タにノ
イズが入ると、学習が永遠に収束しない(谷和男、他7
名、義手制御のための筋電パタ―ン識別学習、バイオメ
カニズム5、東京大学出版会、1980年、第88頁〜
第95頁参照)ために実用的でない。
【0016】また、学習が収束しても筋電のア―チファ
クト等、ノイズが混入した場合には、識別が不可能であ
るという問題がある。
【0017】更に、認識、識別する動作パタ―ンが多く
なると、装着すべき電極が多すぎて実用的でないという
問題もある。
【0018】また、手指動作の開閉だけでない各指の動
作を分離して認識、識別することは、従来の筋電信号の
識別では不可能であるという問題がある。
【0019】こうした問題点を解決する手段として、高
速フーリエ変換(FFT)処理された筋電パターンをパ
ターンの非線形分離能力を有する神経回路網(バックプ
ロパゲーション)で認識する筋電制御学習型ロボットハ
ンドが、本願出願人から提案されているが(特願平1−
114215)、その認識は、どの指を曲げたか曲げな
いかの2値の弁別を定常的な状況で各指について行うも
ので、各指の動的かつ連続した動作を、連続した指曲げ
角度の認識として行うものではなかった。
【0020】この発明は、上記に鑑みてなされたもの
で、その目的とするところは、認識手段として学習性と
雑音に強い神経回路網を導入し、この神経回路網の学習
に用いる教師信号パターンの生成をユーザの手指動作か
ら連続して時系列的に検出して行い、各指の動的かつ連
続した指曲げ動作を、連続した指曲げ角度の認識として
的確に行う学習型筋電パターン認識ロボットハンド制御
装置を提供することにある。
【0021】
【課題を解決するための手段】前記目的を達成するため
にこの発明は、皮膚表面電極と、この皮膚表面電極から
検出された筋電信号を増幅する増幅器と、この増幅器で
増幅された前記筋電信号の低周波成分および高周波成分
を除去するフィルタ手段と、前記フィルタ手段で低周波
成分および高周波成分を除去された筋電信号を高速フ―
リエ変換して周波数解析する高速フ―リエ変換手段と、
このフ―リエ変換手段で周波数解析された筋電信号のバ
ンド幅別の信号成分レベルを数値マトリックスパタ―ン
に変換するパタ―ン変換手段と、複数のユニットとこの
複数のユニットを結ぶ重み付けのリンクとからなる学習
機能を有する神経回路網で構成され、前記数値マトリッ
クスパタ―ンを入力として、このパタ―ンに対応する指
の曲げ角度デ―タを出力する認識手段と、指曲げ角度教
師値を時系列的に認識する指曲げ角度教師値認識部を備
えてこの指曲げ角度教師値認識部により認識された指曲
げ角度教師値を教師データとして前記認識手段に出力す
る教師信号生成手段と、前記認識手段から出力される指
の曲げ角度デ―タに基づく動作指令信号を出力するロボ
ットハンド制御手段と、このロボットハンド制御手段か
ら出力される動作指令信号に基づいて動作を行うロボッ
トハンドとを有する構成としてある。
【0022】
【作用】この発明の学習型筋電パターン認識ロボットハ
ンド制御装置では、健常者または前腕切断者が自分自身
の意図する手の運動において生じる筋電を運動に関与す
る筋肉の近傍に装着した皮膚表面電極によって検出し、
この検出した筋電信号を高速フ―リエ変換して、周波数
解析したパタ―ンを、線形分離不可能なパタ―ンを各パ
タ―ンの属性別に分離する能力を有する神経回路網に、
複数回教師あり学習させる。この学習過程において、ユ
ーザの指曲げ角度教師値を連続して時系列的に認識する
指曲げ角度教師値認識部を有し、前記指曲げ角度教師値
を神経回路網に呈示するのに、サンプリングした指曲げ
角度教師値を時間平均してから神経回路網に呈示するの
で、複数の指曲げ角度を筋電パターンから時系列的に連
続して認識でき、対応する指の動作パタ―ンを認識、識
別してロボットハンドを的確に制御する。
【0023】
【実施例】以下、この発明の実施例を図面に基づき説明
する。
【0024】図1は、この発明の第1実施例に係わる学
習型筋電パターン認識ロボットハンド制御装置の全体構
成を示すブロック図である。同図において、ロボットハ
ンド操作予定者であるユーザAは、手首の総指伸筋付近
に皮膚表面電極1,3を、同手首の浅指屈筋付近に皮膚
表面電極5,7をそれぞれ装着するとともに、公知の技
術である指曲げ角度認識センサ付き手袋(例えば、商品
名“データグローブ“、VPL社製、手袋表面に装着さ
れた光ファイバに光を通し、ファイバの曲げに伴う光の
減衰から指の関節曲げ角度を認識するもの)8をはめ
る。ここで、健常者の場合には操作する方の手にはめ、
切断者の場合には残存している側の手にはめる。
【0025】9,11は、皮膚表面電極1,3、5,7
で検出された筋電信号a1 ,a2 を増幅する増幅器、1
3,15は増幅器9,11で増幅された筋電信号bから
低周波成分を遮断するロ―カットフィルタ、17,19
はロ―カットフィルタ13,15で低周波成分を遮断さ
れた筋電信号cから高周波成分を遮断するハイカットフ
ィルタ、21,23はハイカットフィルタ17,19で
高周波成分を遮断された筋電信号dを高速フ―リエ変換
して周波数解析し、筋電信号パタ―ンeに変換する高速
フ―リエ変換部(FFT)、27は高速フ―リエ変換部
21,23で周波数解析された筋電信号パタ―ンeのバ
ンド幅別の信号成分レベルを数値マトリックスパタ―ン
fに変換するマトリックスパタ―ン変換部、29は複数
のユニットとこれらのユニットを結ぶ重み付けのリンク
からなる学習機能を有する神経回路網で構成され、前記
マトリックスパタ―ン変換部27からの数値マトリック
スパタ―ンfを入力として、その数値マトリックスパタ
―ンfに対応する手の動作デ―タhを出力する認識部、
31は、ユーザの指曲げ角度教師値を連続して時系列的
に認識する指曲げ角度教師値認識部および、指曲げ角度
教師値認識部で認識したユーザの指曲げ角度教師値を時
間平均して前記神経回路網に呈示するインタフェース部
を備え、前記認識部29に対し教師データを生成して指
曲げ角度教師信号パターンgとして出力して指曲げ角度
教師値を連続して時系列的に認識させる指曲げ角度教師
値呈示インタフェース部、25は、指曲げ角度教師値呈
示インタフェース部31での指曲げ角度処理を、同期信
号j,k,m,nにより筋電信号eの処理と同期をとる
ための信号統括部、33は前記認識部29からの手指の
曲げ角度動作デ―タhを入力し、この手指の曲げ角度動
作デ―タhに対応する動作指令信号iを出力するロボッ
トハンド制御部、35はこのロボットハンド制御部33
からの動作指令信号iに基づいて手指の動作を再現する
ロボットハンドである。
【0026】図2は、図1の認識部29の神経回路網3
7による構成を示す図である。同図において、39は前
記マトリックスパタ―ン変換部27および指曲げ角度教
師値呈示インタフェース部31からの各信号f、gの入
出力パターンのペアを取り込む入出力パターン記憶部、
41は入出力パターン記憶部39から供給される数値マ
トリックスパタ―ンfである認識用入力信号パタ―ン、
43は手指の曲げ角度動作デ―タhとして出力される出
力パタ―ン、45は前記指曲げ角度教師値呈示インタフ
ェース部31から供給される曲げ角度教師信号デ―タg
である学習用指曲げ角度教師値パタ―ン、47は神経回
路網37の入力層ユニット、49は中間層ユニット、5
1は出力層ユニットであり、これらの層間のリンクによ
る結合の重み付けが出力パタ―ン43の結果により更新
されるようになっている。
【0027】図3(a)は認識部29における神経回路
網37のユニットの入出力関係、図3(b)は神経回路
網37の神経細胞ユニットの構造をそれぞれ示してお
り、入力層ユニット47に入力されたバンド幅別レベル
パターンに対して、出力層ユニット51が発火する。出
力層ユニット51は、それぞれ各指の第1,第2関節の
指曲げ角度に出力が対応し、5本指各2関節で合計10
関節である。
【0028】図4〜図8は、高速フ―リエ変換部21,
23から出力される筋電信号パタ―ンe、すなわち高速
フ―リエ変換部21,23で高速フ―リエ変換され、1
/3オクタ―ブ周波数解析された筋電信号パタ―ンeを
示す図であり、図4は5本の指すべてを曲げた状態の筋
電信号パタ―ンe、図5は人差し指のみを曲げた状態の
筋電信号パタ―ンe、図6は中指のみを曲げた状態の筋
電信号パタ―ンe、図7は親指のみを曲げた状態の筋電
信号パタ―ンe、図8はすべての指を開いた状態の筋電
信号パタ―ンeを示している。
【0029】次に、上記のように構成された学習型筋電
パターン認識ロボットハンド制御装置の作用を、認識部
29の神経回路網37における学習モードと、発生した
筋電信号から意図する手の動作を認識する認識モードと
の2つに分けて説明する。
【0030】まず、認識部29の学習モードについて説
明する。ここでは、2チャンネルの皮膚表面電極1,3
および5,7の筋電信号を検出して、片側の手の指の第
1,第2関節の合計10関節の指曲げ角度を認識する例
について説明する。ユーザAは、動作を意図する手の動
作を数分間連続して行う。このとき、健常者の場合には
実際に手を動かし、前腕切断者の場合には、幻肢として
手の動作を頭の中でイメ―ジしてもらうか、または皮膚
表面電極1,3,5,7の装着された反対側の健常腕と
実際には存在しない切断側の手をイメ―ジ上で左右対称
に動かすようにする。この動作の中で、皮膚表面電極
1,3,5,7で検出された筋電信号a1 ,a2 は増幅
器9,11によって増幅され、時系列筋電信号bとして
ロ―カットフィルタ13,15およびハイカットフィル
タ17,19をそれぞれ通過して低周波成分および高周
波成分が遮断され、時系列筋電信号dとなって、高速フ
―リエ変換部21,23に供給される。
【0031】高速フ―リエ変換部21,23において
は、各指のそれぞれの動作状態において検出された筋電
信号dの1/3オクタ―ブ周波数解析され、前述した図
4〜図8に示すような筋電信号パタ―ンeに変換され、
マトリックスパタ―ン変換部27においては、筋電信号
パタ―ンeは各バンド幅別に、その信号成分レベルが数
値マトリックスパタ―ンfに変換される。図9はこのよ
うに各バンド幅別に信号成分レベルと手の動作の関係を
示す数値マトリックスパタ―ンfを示す一例であり、同
図においてinput の次の横1行が1動作のパタ―ンに対
応している。
【0032】マトリックスパタ―ン変換部27からの数
値マトリックスパタ―ンfは、認識部29の神経回路網
37に入力される。また、これと同時に認識部29には
数値マトリックスパタ―ンfに対応した動作が、指曲げ
角度教師値呈示インタフェース部31より曲げ角度教師
信号パターンgとして与えられる。
【0033】ここで、認識部29に入力される数値マト
リックスパターンfと、曲げ角度教師信号パターンgと
のタイミングの対応について図9〜図11に基づき説明
する。なお、ここでは高速フーリエ変換部21,23
は、時系列筋電信号dに対してフレーム長500msec,
フレーム周期250msecで高速フーリエ変換し、一方指
曲げ角度教師値のサンプリングは、毎秒32点で行うこ
ととする。また、時系列筋電信号は、ハイカット周波数
3000Hz、ローカット周波数50Hzで漉波し、高
速フーリエ変換部21,23は1/3オクターブ分析を
10バンド(中心周波数63,80,100,125,
160,200,250,315,400,500H
z)で解析する。
【0034】まず、図10に示すように前述の条件下で
は、認識部29は毎秒4点のパターンについて認識を行
う。時系列の筋電,教師の各信号f,gは、図10のよ
うに両者の観測窓が一致するように開き、それぞれが認
識部29に与えられる。時系列筋電信号dは、図10に
示すように、500msecの観測窓を開いて高速フーリエ
変換部21,23に取り込んだものが、図4〜図8に示
されるような筋電信号パターンeとなる。さらに、これ
をマトリックスパターン変換部27によって図9のinpu
t 次の横一列の数値パターンに変換する。
【0035】図10において、筋電信号fがEMG(1)
のときは、時間的に対応する指曲げ角度教師値信号g
は、Teacher (1) が対応する。EMG(2) ,(3) のとき
も同様にTeacher (2) ,(3) がそれぞれ対応する。この
とき、指曲げ角度教師値のサンプリングレートは、認識
部29のサンプリングレートとは異なるので、両者のサ
ンプリングレートが一致するように、指曲げ角度教師値
を時間平均する。この時間平均処理は、図11に示すよ
うに、毎秒32点サンプリングしている指曲げ角度教師
値に対して、高速フーリエ変換処理する時系列筋電信号
と同じ長さの時間窓を開いて16点の信号を取り込み、
これら16点の信号の和の1/16をとって時間平均す
る。こうした、指曲げ角度教師値の処理は、指曲げ角度
教師値呈示インタフェース部31で信号統括部25の同
期信号j,k,m,nに基づき、筋電信号fの処理と図
10のように同期をとりながら行う。
【0036】図11に示す通り、図10のt(1) のとき
の認識部29に対しては、図11のt(1) のときの指曲
げ教師値を、t(2) のときの認識部29に対してはこれ
に対応するt(2) の指曲げ教師値をそれぞれ与えるもの
とする。図9は、指曲げ角度教師値を指曲げ角度教師値
呈示インタフェース部31で変換したgと、対応する高
速フーリエ変換された数値マトリックス筋電パターンf
を認識部29の学習用入出力パターンとして示したもの
であり、teacher の次の行一列が、変換された指曲げ角
度教師値パターンである。ここでの変換は、指曲げ角度
0度から120度を、数値−0.5から+0.5まで比
例的に変換してある。
【0037】認識部29における神経回路網37の学習
は、図12のフローチャートに基づき行う。まず、認識
部29の神経回路網37の各ユニット間の重みと、各ユ
ニットのオフセットを欄数で初期化する(ステップ11
0)。次に、ユーザは手の動作を数分間繰り返し(ステ
ップ120)、前述したようにして処理された筋電信号
fと指曲げ角度教師値gの入出力パターンのペアを認識
部29の入出力パターン記憶部39に取り込む(ステッ
プ130)。手の動作が終了すると(ステップ14
0)、入出力パターン記憶部39から入出力パターンの
ペアを引き出して、神経回路網37の学習を例えばバッ
クプロパゲーション法(中野馨監修 “ニューロコンピ
ュータ“ 技術評論社 1989年 第47頁参照)に
より行い(ステップ150)、神経回路網37の各ユニ
ット間の重みの更新と、各ユニットのオフセットの更新
を行う(ステップ160)。
【0038】具体的には、図9に示した、入出力パター
ンのペアを上から下へ順々と神経回路網37に与えて学
習を行い、最後の入出力ペアに達したら、再度初めのペ
アから学習を繰り返すものとする(ステップ170〜1
90)。繰り返し行われた学習回数が、所定の制限回数
を超えたら(ステップ200)学習を終了する。
【0039】次に、認識部29の認識モード、すなわち
皮膚表面電極1,3,5,7を装着してロボットハンド
を制御するモードを、図13のフローチャートに基づき
説明する。この認識モードでは、まずユーザAは指曲げ
角度認識センサ付き手袋8を外す。ユーザが健常者の場
合には、皮膚表面電極1,3,5,7を装着する側の手
を動かし、切断者の場合には、幻肢により頭の中で手を
動かすことをイメージする(ステップ210)。
【0040】この手の動作もしくはイメージ中に皮膚表
面電極1,3,5,7によって検出された筋電信号は、
学習モード時と同様に増幅器9,11で増幅され、ロ―
カットフィルタ13,15およびハイカットフィルタ1
7,19でそれぞれ低周波成分および高周波成分が遮断
されて、時系列筋電信号dとして高速フ―リエ変換部2
1,23に供給される。この筋電信号dは,学習モード
と同じ条件下で時間軸上に開いた高速フ―リエ変換の時
間窓数単位毎に離散化して周波数解析され、マトリック
スパタ―ン変換部27に筋電信号パタ―ンeとして供給
される(ステップ220)。
【0041】その後、筋電信号パタ―ンeはマトリック
スパタ―ン変換部27において前述した学習モ―ドの場
合と同様に数値マトリックスパタ―ンfに変換され、認
識部29の神経回路網37に入力される(ステップ23
0)。数値マトリックスパタ―ンfは学習モ―ドにおい
て既に学習したパタ―ンに基づき、対応する指の曲げ角
度値を指の曲げ角度デ―タhとして認識し(ステップ2
40)、ロボットハンド制御部33に出力する(ステッ
プ250)。ロボットハンド制御部33は、指の曲げ角
度デ―タhに基づき形成した動作指令信号iをロボット
ハンド35に出力し、ロボットハンド35は動作指令信
号iに基づいて手の動作を再現する(ステップ26
0)。使用を継続する場合には、ステップ220に戻っ
て同様の動作を繰り返し(ステップ270)、そうでな
い場合には手の動作を終了する(ステップ280)。
【0042】図14は、学習済みの認識部29に対して
未学習の手の指曲げ動作の2チャンネルの筋電パターン
を認識したときの、人差し指第1関節の指曲げ角度の筋
電パターンによる指曲げ認識値と、同時に指曲げ角度認
識センサ付き手袋(データグローブ)8によって測定し
た指曲げ角度の真の値とを時系列的に示した認識の一例
を示す。上記実施例による筋電パターンから認識した指
曲げ角度(実線で示す)と、真の曲げ角度(破線で示
す)と、よく一致しており、この発明の有効性がよく示
されている。
【0043】図15は、図14と同様の条件下での、筋
電パターンによる指曲げ認識値と、指曲げ角度の真の値
との相関関係を示した認識の一例を示している。これに
よれば、両者は相関係数が0.691であってほぼ一致
しており、この発明の有効性が示されている。
【0044】なお、この発明は上記実施例に限定される
ものではなく、例えば以下のような構成としてもよい。
【0045】皮膚表面電極を2対の2チャンネルより増
加させ、各電極からの信号を高速フーリエ変換処理し
て、バンド幅別レベル数値パターンに変換し、さらに神
経回路網37の入力層47のユニット層を増やして多数
対の電極からのパターンを同時に入力するようにする。
【0046】高速フーリエ変換処理のバンド幅、バンド
数を変更する。
【0047】手指に代わりに、人体の他の部位の運動に
適用する。
【0048】バックプロパゲーション型の神経回路網以
外の、線形分離不可能なパターンをパタ―ンの属性別に
分離する能力を有する神経回路網を用いる。
【0049】あらかじめ不特定多数のユーザに適合した
認識部の神経回路網の重みとオフセットを固定して、学
習モードの機能を省いた装置を用いる。
【0050】図16は、この発明の第2実施例に係わる
学習型筋電パターン認識ロボットハンド制御装置の全体
構成を示すブロック図である。この実施例は、前記第1
実施例の指曲げ角度認識センサ付き手袋8の代わりに、
単数または複数の手指画像撮影カメラ(可視光カメラ、
赤外線サーモグラフィカメラなど)53で、手指の曲げ
角度を画像処理して認識し、この認識信号pを指曲げ角
度教師値呈示インタフェース部31に取り込むようにし
たものである。その他の構成および作用は第1実施例と
同様である。
【0051】この発明の応用分野としては、前腕切断者
用の筋電義手、他部位切断者用の義手,義足などの動力
義手としての福祉分野への利用、健常者を操縦者とした
宇宙空間,原子力発電所格納容器内,深海,火災現場,
毒性を有する微生物の培養容器内作業などの極限作業用
遠隔制御ロボットのロボットハンドの制御、遠隔手術時
のロボットハンドの医師によるオペレ―ション、血管,
眼球等の微小臓器の手術時のマイクロロボットハンドの
医師によるオペレ―ション、LSIデバイスなどの微小
デバイスのハンドリングのためのロボットハンドの有人
オペレ―ション、無人電話局,無人電波中継施設,とう
道,無人変電所などの保守管理を要する施設の保守管理
にあたる遠隔操縦型ロボットのロボットハンドの有人オ
ペレ―ション、航空機パイロットの操縦装置への入力デ
バイスなどが考えられる。
【0052】
【発明の効果】以上説明してきたように、この発明によ
れば、皮膚表面電極からの筋電信号を高速フ―リエ変換
処理したパタ―ンを、線形分離不可能なパタ―ンをパタ
―ンの属性別に識別し学習機能を有する神経回路網によ
って、手の動作種類別に教師あり学習し、学習後に神経
回路網によって皮膚表面電極を装着したロボットハンド
操縦者からの筋電を認識してロボットハンドを制御して
いるので、神経回路網のパタ―ン特徴の自動抽出,類似
パタ―ンの高識別化,高耐性能力から学習モ―ド時に手
の動作に直接関与する筋肉の直上に電極を位置しなくて
も、学習用パタ―ンが多くても、学習用パタ―ンにノイ
ズが混入しても、学習が収束し、また識別モ―ド時に電
極の位置ずれや筋電信号にノイズやア―チファクトが混
入しても、数種の筋群が協調して動作して動く手の動作
時に,手の動作に直接関与する筋肉の直上に電極が位置
しなくても、数種の筋群から発生する筋電位が同時に非
線形に干渉,混合,クロスト―クして皮膚表面に到達す
る皮膚表面筋電から,対応する手の指曲げ角度を認識で
きる。したがって、従来不可能であった皮膚表面筋電か
らの手の指の曲げ角度認識による、ロボットハンドの指
の曲げ角度の制御が可能となる。また、体調の変化や年
齢の変化に伴う発生筋電の変化に対しては、ロボットハ
ンドを使用する前、または使用する最中にときどき使用
を中断して、学習モ―ドを行うことにより、さらに発生
筋電に適合した状態で使用することが可能となる。
【図面の簡単な説明】
【図1】この発明の第1実施例に係わる学習型筋電パタ
ーン認識ロボットハンド制御装置の全体構成を示すブロ
ック図である。
【図2】図1の学習型筋電パターン認識ロボットハンド
制御装置に使用されている認識部の神経回路網の構成図
である。
【図3】図3(a)は図2の認識部の神経細胞ユニット
の入出力関係を示す説明図、図3(b)は同神経細胞ユ
ニットの構成図である。
【図4】高速フーリエ変換処理した筋電パターン図であ
る。
【図5】高速フーリエ変換処理した筋電パターン図であ
る。
【図6】高速フーリエ変換処理した筋電パターン図であ
る。
【図7】高速フーリエ変換処理した筋電パターン図であ
る。
【図8】高速フーリエ変換処理した筋電パターン図であ
る。
【図9】周波数分析された筋電信号のバンド幅別の信号
成分レベルである入力パターンと手の指曲げ角度教師値
パターンとからなる認識部の学習パターンの一例を示す
説明図である。
【図10】認識部の学習モード時の入出力パターンのタ
イミングチャートである。
【図11】認識部の学習モード時の指曲げ角度教師値の
サンプリングと時間平均の方法との関係を示す説明図で
ある。
【図12】認識部の学習モード時での制御動作を示すフ
ローチャートである。
【図13】認識部の認識モード時での制御動作を示すフ
ローチャートである。
【図14】筋電パターンによる指曲げ認識値と、指曲げ
角度の真の値とを時系列的に示した認識の一例を示す説
明図である。
【図15】筋電パターンによる指曲げ認識値と、指曲げ
角度の真の値との相関関係を示した認識の一例を示す説
明図である。
【図16】この発明の第2実施例に係わる学習型筋電パ
ターン認識ロボットハンド制御装置の全体構成を示すブ
ロック図である。
【符号の説明】
1,3,5,7 皮膚表面電極 9,11 増幅器 13,15 ロ―カットフィルタ(フィルタ手段) 17,19 ハイカットフィルタ(フィルタ手段) 21,23 高速フ―リエ変換部(高速フ―リエ変換手
段) 27 マトリックスパタ―ン変換部(パターン変換手
段) 29 認識部(認識手段) 31 指曲げ角度教師値呈示インタフェース部(教師信
号生成手段) 33 ロボットハンド制御部(ロボットハンド制御手
段) 35 ロボットハンド

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 皮膚表面電極と、この皮膚表面電極から
    検出された筋電信号を増幅する増幅器と、この増幅器で
    増幅された前記筋電信号の低周波成分および高周波成分
    を除去するフィルタ手段と、前記フィルタ手段で低周波
    成分および高周波成分を除去された筋電信号を高速フ―
    リエ変換して周波数解析する高速フ―リエ変換手段と、
    このフ―リエ変換手段で周波数解析された筋電信号のバ
    ンド幅別の信号成分レベルを数値マトリックスパタ―ン
    に変換するパタ―ン変換手段と、複数のユニットとこの
    複数のユニットを結ぶ重み付けのリンクとからなる学習
    機能を有する神経回路網で構成され、前記数値マトリッ
    クスパタ―ンを入力として、このパタ―ンに対応する指
    の曲げ角度デ―タを出力する認識手段と、指曲げ角度教
    師値を時系列的に認識する指曲げ角度教師値認識部を備
    えてこの指曲げ角度教師値認識部により認識された指曲
    げ角度教師値を教師データとして前記認識手段に出力す
    る教師信号生成手段と、前記認識手段から出力される指
    の曲げ角度デ―タに基づく動作指令信号を出力するロボ
    ットハンド制御手段と、このロボットハンド制御手段か
    ら出力される動作指令信号に基づいて動作を行うロボッ
    トハンドとを有することを特徴とする学習型筋電パター
    ン認識ロボットハンド制御装置。
JP3274167A 1991-10-22 1991-10-22 学習型筋電パターン認識ロボットハンド制御装置 Expired - Lifetime JP2913611B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3274167A JP2913611B2 (ja) 1991-10-22 1991-10-22 学習型筋電パターン認識ロボットハンド制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3274167A JP2913611B2 (ja) 1991-10-22 1991-10-22 学習型筋電パターン認識ロボットハンド制御装置

Publications (2)

Publication Number Publication Date
JPH05111881A true JPH05111881A (ja) 1993-05-07
JP2913611B2 JP2913611B2 (ja) 1999-06-28

Family

ID=17537972

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3274167A Expired - Lifetime JP2913611B2 (ja) 1991-10-22 1991-10-22 学習型筋電パターン認識ロボットハンド制御装置

Country Status (1)

Country Link
JP (1) JP2913611B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0724766A (ja) * 1993-07-12 1995-01-27 Atr Ningen Joho Tsushin Kenkyusho:Kk ロボット制御装置
JPH07299773A (ja) * 1994-04-28 1995-11-14 Nec Corp 身体の動作再現装置
WO2002074204A1 (fr) * 2001-03-21 2002-09-26 Harada Electronics Co., Ltd. Commutateur myogene et unite de commande de main artificielle comprenant ledit commutateur
JP2007136041A (ja) * 2005-11-22 2007-06-07 Tokyo Institute Of Technology 学習支援装置、学習支援方法、仮想ヒューマンインタフェース装置、仮想ヒューマンインタフェース方法、仮想ヒューマンインタフェースシステム、これらの装置を実現するプログラムおよび記録媒体
JP2008305198A (ja) * 2007-06-07 2008-12-18 Fujitsu Component Ltd 入力システム及び入力装置
JP2010125287A (ja) * 2008-12-01 2010-06-10 Gifu Univ 指関節角度推定装置
JP2010269392A (ja) * 2009-05-20 2010-12-02 Tokyo Institute Of Technology 筋骨格系機構システム
JP2011078611A (ja) * 2009-10-08 2011-04-21 Toyota Motor Corp 動作補助装置
JP2015514467A (ja) * 2012-03-27 2015-05-21 ビー10ニックス エッセ.エッレ.エッレ. 筋肉活動の取得および分析用のシステムならびにその動作方法
JP2016062584A (ja) * 2014-09-12 2016-04-25 株式会社国際電気通信基礎技術研究所 動作識別システム、情報処理装置、情報処理プログラム、および情報処理システム
WO2017141578A1 (ja) * 2016-02-15 2017-08-24 オムロン株式会社 関連付け装置、関連付けシステム、関連付け方法及び関連付けプログラム
CN107378944A (zh) * 2017-06-20 2017-11-24 东南大学 一种基于主成分分析法的多维表面肌电信号假手控制方法
JP2020504633A (ja) * 2016-10-28 2020-02-13 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 認知システムによるロボット・プロテーゼの増強された制御
CN111449813A (zh) * 2020-04-14 2020-07-28 重庆大学 一种用于假肢手运动姿态感觉反馈的穿戴式电刺激系统
US11723591B2 (en) 2014-08-29 2023-08-15 Resonea, Inc. Method and apparatus for enhancing nervous function
CN117281667A (zh) * 2023-11-09 2023-12-26 浙江强脑科技有限公司 运动模式识别方法、装置、智能假肢、终端及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8875714B2 (en) * 2007-02-22 2014-11-04 The Invention Science Fund I, Llc Coded-sequence activation of surgical implants
KR101896473B1 (ko) * 2012-01-04 2018-10-24 삼성전자주식회사 로봇 핸드의 제어 방법
CN108874149B (zh) * 2018-07-28 2020-06-02 华中科技大学 一种基于表面肌电信号连续估计人体关节角度的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02298479A (ja) * 1989-05-09 1990-12-10 Nippon Telegr & Teleph Corp <Ntt> 筋電制御学習型ロボットハンド

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02298479A (ja) * 1989-05-09 1990-12-10 Nippon Telegr & Teleph Corp <Ntt> 筋電制御学習型ロボットハンド

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0724766A (ja) * 1993-07-12 1995-01-27 Atr Ningen Joho Tsushin Kenkyusho:Kk ロボット制御装置
JPH07299773A (ja) * 1994-04-28 1995-11-14 Nec Corp 身体の動作再現装置
WO2002074204A1 (fr) * 2001-03-21 2002-09-26 Harada Electronics Co., Ltd. Commutateur myogene et unite de commande de main artificielle comprenant ledit commutateur
JP2007136041A (ja) * 2005-11-22 2007-06-07 Tokyo Institute Of Technology 学習支援装置、学習支援方法、仮想ヒューマンインタフェース装置、仮想ヒューマンインタフェース方法、仮想ヒューマンインタフェースシステム、これらの装置を実現するプログラムおよび記録媒体
JP4617467B2 (ja) * 2005-11-22 2011-01-26 国立大学法人東京工業大学 学習支援装置、仮想ヒューマンインタフェース装置、仮想ヒューマンインタフェース方法、仮想ヒューマンインタフェースシステム、これらの装置を実現するプログラムおよび記録媒体
JP2008305198A (ja) * 2007-06-07 2008-12-18 Fujitsu Component Ltd 入力システム及び入力装置
US8704757B2 (en) 2007-06-07 2014-04-22 Fujitsu Component Limited Input system and input apparatus
JP2010125287A (ja) * 2008-12-01 2010-06-10 Gifu Univ 指関節角度推定装置
JP2010269392A (ja) * 2009-05-20 2010-12-02 Tokyo Institute Of Technology 筋骨格系機構システム
JP2011078611A (ja) * 2009-10-08 2011-04-21 Toyota Motor Corp 動作補助装置
JP2015514467A (ja) * 2012-03-27 2015-05-21 ビー10ニックス エッセ.エッレ.エッレ. 筋肉活動の取得および分析用のシステムならびにその動作方法
US11723591B2 (en) 2014-08-29 2023-08-15 Resonea, Inc. Method and apparatus for enhancing nervous function
JP2016062584A (ja) * 2014-09-12 2016-04-25 株式会社国際電気通信基礎技術研究所 動作識別システム、情報処理装置、情報処理プログラム、および情報処理システム
WO2017141578A1 (ja) * 2016-02-15 2017-08-24 オムロン株式会社 関連付け装置、関連付けシステム、関連付け方法及び関連付けプログラム
JP2020504633A (ja) * 2016-10-28 2020-02-13 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 認知システムによるロボット・プロテーゼの増強された制御
CN107378944A (zh) * 2017-06-20 2017-11-24 东南大学 一种基于主成分分析法的多维表面肌电信号假手控制方法
CN111449813A (zh) * 2020-04-14 2020-07-28 重庆大学 一种用于假肢手运动姿态感觉反馈的穿戴式电刺激系统
CN111449813B (zh) * 2020-04-14 2022-11-25 重庆大学 一种用于假肢手运动姿态感觉反馈的穿戴式电刺激系统
CN117281667A (zh) * 2023-11-09 2023-12-26 浙江强脑科技有限公司 运动模式识别方法、装置、智能假肢、终端及存储介质
CN117281667B (zh) * 2023-11-09 2024-04-09 浙江强脑科技有限公司 运动模式识别方法、装置、智能假肢、终端及存储介质

Also Published As

Publication number Publication date
JP2913611B2 (ja) 1999-06-28

Similar Documents

Publication Publication Date Title
JP2913611B2 (ja) 学習型筋電パターン認識ロボットハンド制御装置
Menon et al. Study on interaction between temporal and spatial information in classification of EMG signals for myoelectric prostheses
CN107397649B (zh) 一种基于径向基神经网络上肢外骨骼运动意图识别方法
Tenore et al. Towards the control of individual fingers of a prosthetic hand using surface EMG signals
Smith et al. Continuous decoding of finger position from surface EMG signals for the control of powered prostheses
Pulliam et al. EMG-based neural network control of transhumeral prostheses
Khezri et al. Real-time intelligent pattern recognition algorithm for surface EMG signals
JP2659653B2 (ja) ロボットハンド制御装置
Khezri et al. Neuro-fuzzy surface EMG pattern recognition for multifunctional hand prosthesis control
CN111616847B (zh) 基于肌肉协同和人机语音交互的上臂假肢控制系统和方法
Chicoine et al. Prosthesis-guided training of pattern recognition-controlled myoelectric prosthesis
Wojtczak et al. Hand movement recognition based on biosignal analysis
Wołczowski et al. Human–machine interface in bioprosthesis control using EMG signal classification
Fraiwan et al. Real time virtual prosthetic hand controlled using EMG signals
KR100994408B1 (ko) 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치
JP2019004915A (ja) 時系列情報を用いた筋電パターン識別方法及び筋電義手
JP2507043B2 (ja) 筋電制御学習型ロボットハンド
Geng et al. Recognition of combined arm motions using support vector machine
Aishwarya et al. Feature extraction for EMG based prostheses control
Latwesen et al. Identification of lower arm motions using the EMG signals of shoulder muscles
Cho et al. Estimating simultaneous and proportional finger force intention based on sEMG using a constrained autoencoder
Wang et al. Multi-finger myoelectric signals for controlling a virtual robotic prosthetic hand
JP3816762B2 (ja) ニューラルネットワーク、ニューラルネットワークシステム及びニューラルネットワーク処理プログラム
Kelly et al. Myoelectric signal analysis using neural networks
Sharma et al. Movement control of robot in real time using EMG signal

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090416

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090416

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100416

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100416

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110416

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120416

Year of fee payment: 13

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120416

Year of fee payment: 13