JP4078419B2 - ポインティングデバイス - Google Patents
ポインティングデバイス Download PDFInfo
- Publication number
- JP4078419B2 JP4078419B2 JP2003173965A JP2003173965A JP4078419B2 JP 4078419 B2 JP4078419 B2 JP 4078419B2 JP 2003173965 A JP2003173965 A JP 2003173965A JP 2003173965 A JP2003173965 A JP 2003173965A JP 4078419 B2 JP4078419 B2 JP 4078419B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- pointer
- pointing device
- neural network
- biological signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000013528 artificial neural network Methods 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 28
- 230000000306 recurrent effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 230000003183 myoelectrical effect Effects 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims 2
- 238000001914 filtration Methods 0.000 claims 2
- 238000000034 method Methods 0.000 description 19
- 239000013598 vector Substances 0.000 description 13
- 210000003205 muscle Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 8
- 210000000245 forearm Anatomy 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 4
- 230000004118 muscle contraction Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 210000002027 skeletal muscle Anatomy 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 229910021607 Silver chloride Inorganic materials 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- HKZLPVFGJNLROG-UHFFFAOYSA-M silver monochloride Chemical compound [Cl-].[Ag+] HKZLPVFGJNLROG-UHFFFAOYSA-M 0.000 description 1
- 210000002460 smooth muscle Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
【発明の属する技術分野】
この発明は、重度の障害者などでも使用することのできる筋電位(EMG)、脳波(EEG)、手足の動き(加速度)、呼気、接触圧などの生体信号を利用して制御が可能な全方位型のポインティングデバイスに関するものである。
【0002】
【従来の技術】
生体信号を利用したポインティングデバイスに関しては、平滑筋電位信号の強度情報からカーソル座標を直接指定する方法などが既に提案されている(例えば、特許文献1参照)。また、生体信号の識別に関しては、ニューラルネットを利用した筋電位特徴パターンからの意図推定などが提案されている(例えば、特許文献2参照)。また、生体信号を利用したインタフェース装置に関しては、重度障害者が自身の筋電位、脳波、眼電位などを利用して意思伝達を行なうための装置などが提案されている(例えば、特許文献3参照)。
【0003】
しかしながら従来手法による生体信号の利用は、特許文献1に記載されているような信号の強度に依存した制御か、特許文献2ないし3に記載されているような特徴パターンをあらかじめ決められた有限数のクラスに識別する方法に限られていた。このため、ポインティングデバイスにおいて全方位に自由にカーソルを移動するような制御を実現することは極めて困難であった。また、従来のシステムには、使用者へのフィードバック機能やカーソルの運動を決める物理モデルなどが無いなど構成が不十分であり、操作性に問題があった。
【0004】
ところで、人間の筋収縮レベルに応じて発生するEMG信号などの生体信号には、どのような動作をどのくらいの力で行おうとしているのか、筋の粘弾性はどの程度かなどの有益な情報が含まれており、これらの情報を効率よく抽出することができれば、これまでにない新しいインタフェース装置を実現できる可能性がある。
EMG信号から人間の運動意志を推定する研究は、主に電動義手の制御法に関して従来から試みられており、本発明者らもこれまでに、ニューラルネットによるEMGパターンの識別を利用した電動義手やマニピュレータの制御を行ってきた(例えば、非特許文献1〜5参照)。しかしながら、これらの研究では、電動義手の多自由度制御問題をEMGパターンの動作識別問題に帰着させて考えているため、駆動関節などの自由度はパターン識別のクラス数に限定されていた。これらの手法をポインティングデバイスの操作に直接利用し、例えばポインタの移動方向をパターン識別問題に帰着させた場合、ポインタの移動可能方向の総数をあらかじめ設定しなければならず、この数が増えるにつれて膨大な学習サンプル数、学習時間が必要となる。
そこで、本発明者らはこれまでに、無限に存在するポインタの移動可能方向を、有限個の基準方向の組み合わせで表現することにより、この問題を解決してきた(例えば、非特許文献6参照)。この方式は、移動方向の推定には本発明者らが提案したLog-Linearized Gaussian Mixture Network(対数線形化混合正規分布ネットワーク:以下、LLGMNと記す)を利用して各基準方向に対する事後確率を計算し、それを各々ベクトルと考えて合成することにより、360°全方位へのポインタの移動を可能とするものである。この際、LLGMNは設定した基準方向に対する事後確率だけ推定すればよく、学習の負担軽減やネットワーク構造の単純化が実現できる。しかしながら、この方法は時刻毎に得られるパターン、すなわち信号の静的な特性だけしかモデル化できないため、信号の変動が激しい場合には識別精度の低下が見られた。また、基準方向以外の学習していない方向にはカーソル移動が困難となる場合があった。
【0005】
一方、本発明者らは、LLGMNにリカレント構造を持たせたニューラルネットRecurrent Log-Linearized Gaussian Mixture Network(再帰性LLGMN:以下、R-LLGMNと記す)を提案した(例えば、非特許文献7参照)。このネットワークは、統計モデルの一つである混合正規分布モデルと、動的な確率モデルの一つである隠れマルコフモデル(Hidden Markov Model : HMM)を内包した構造を有しており、使用者のEMG信号の時系列的な特性を学習により獲得することができる。
【0006】
而して、EMG信号、EEG信号を利用したヒューマンインタフェースに関する研究がこれまでに数多く試みられている。例えば、Rosenbergは、ウエアラブルコンピュータのインタフェースとして、EMG信号を用いた二次元ポインティングデバイスの研究を行っている(例えば、非特許文献8参照)。しかしながら、この方法はBPNN (Back Propagation Neural Network)を用いており、Fittsの法則(例えば、非特許文献9参照)に基づき操作性を評価すると、通常のマウスの14%ほどのパーフォーマンスしか実現できていない。一方、Barretoらは、障害者支援用に、EEG信号とEMG信号を用いたコンピュータインタフェースを開発した(例えば、非特許文献10参照)。この方法では、EEG信号の周波数情報と、表面筋から計測されたEMG信号を用い、4方向へのポインティングとクリック操作を実現している。また、Robertsら、MasonらによりEMG信号のみを用いたポインティングの研究が報告されている(例えば、非特許文献11、12参照)。Robertsらは1chのEEG信号から2種類のコマンドの識別を行った。これに対し、Masonらは、EEG信号の特徴を利用しスイッチング操作を行った。しかしながら、これらのシステムでは、個人差、疲労、発汗などによる信号の変化に対してシステムを適応させることはできなかったため、臨床で適用することは困難であった。
【0007】
【特許文献1】
特開平8-36459号公報
【特許文献2】
特開2002-345862号公報
【特許文献3】
特開平11-203022号公報
【非特許文献1】
辻敏夫、森大一郎、伊藤宏司:「統計構造を組み込んだニューラルネットによるEMG動作識別法」、電気学会論文誌C,Vol.112-C,No.8,465/473,(1992)
【非特許文献2】
辻敏夫、市延弘行、金子真:「混合正規分布モデルを用いたフィードフォワード型ニューラルネット」電子情報通信学会論文誌、D-II,Vol.77,No.10,2093/2100,(1994)
【非特許文献3】
福田修、辻敏夫、金子真:「EMG信号を利用した手動制御人間支援マニュピュレータ」、日本ロボット学会誌、Vol.18,No.3,387/394,(2000)
【非特許文献4】
O.Fukuda,T.Tsuji and M.Kaneko:「An EMG Controlled Robotic Manipulator Using Neural Networks」, Proceedings of IEEE International Workshop on Robot and Human Communication,442/447,(1997)
【非特許文献5】
O.Fukuda,T.Tsuji,A.Otsuka and M.Kaneko:「An EMG-based Human Robot Interface for Rehabilitation Aid」, Proceedings of IEEE International Conference on Robotics and Automation,3492/3497,(1998)
【非特許文献6】
辻敏夫,福田修,村上満,金子真:「ニューラルネットを利用したEMG制御型ポインティングデバイス」、計測自動制御学会論文集、Vol.1,No.1,1/7,(2000)
【非特許文献7】
T.Tsuji, N.Bu,Fukuda, and M.Kaneko: 「A Recurrent Log-Linearized Gaussian Mixture Network」,IEEE Trans. On Neural Networks,(in press)
【非特許文献8】
R.Rosenberg: 「The Biofeedback Pointer :EMG Control of a Two Dimensional Pointer」, Proceedings of the 2nd. International Symposium on Wearable Computers,162/163, (1998)
【非特許文献9】
P.M.Fitts :「The information capacity of the motor system in controlling the amplitude of movement」, Journal of Experimental Psychology, vol.47,381/391, (1954)
【非特許文献10】
A.B.Barreto, S. D. Scargle and M. Adjouadi:「A Practical EMG-based Human-computer Interface for Users with Motor Disabilities」, Journal of Rehabilitation Research and Development, 37(1),53-63,(2000)
【非特許文献11】
S.J.Roberts, W.D. Penny:「Real-time Brain-Computer Interfacing: a Preliminary Study Using Bayesian Learning, Medical,Biological Engineering and Computing, Vol.38,56/61, (2000)
【非特許文献12】
S. J. Mason,G. E. Birch:「A Brain-Computer Switch for Asynchronous Control Applications」, IEEE Transactions on Biological Engineering, Vol.47,No.10,1297/1307, (2000)
【0008】
【発明の解決しようとする課題】
本発明は、上記の問題に鑑みなされたものであって、その目的は、筋電位、脳波、手足の動き(加速度)、呼気、接触圧などを利用して、変化の激しい信号に大しても精度よく制御が可能な、未学習の方向に対しても容易に移動が可能なポインティングデバイスを提供できるようにすることである。
【0009】
【課題を解決するための手段】
上記の目的を達成するため、本発明によれば、生体信号を収集する生体信号収集部と、前記生体信号から特徴パターンを抽出する機能、および、前記生体信号の平均的強度を算出する機能を有する生体信号処理部と、前記特徴パターンから使用者が意図するポインタ移動方向についての確率を計算するニューラルネット部と、ニューラルネット部が計算した確率からポインタの移動方向を決定する移動方向決定部、および、前記ポインタの移動方向と前記生体信号の平均的強度とからポインタの移動量を物理モデルに基づいて計算するポインタ移動量算出部を有するポインタ制御部と、各部で使用するパラメータを保存・読み出し可能なパラメータ保存部と、を含むポインティングデバイスにおいて、前記ニューラルネット部がリカレント構造を有する対数線形化混合正規分布ネットワークR-LLGMNを利用するものであることを特徴とするポインティングデバイス、が提供される。
【0010】
【発明の実施の形態】
次に、本発明の実施の形態を図面を参照して詳細に説明する。図1は、本発明の一実施の形態の概略の構成を示すブロック図である。本発明に係るポインティングデバイスは、上肢切断者等の身体障害者において有利に利用されるものであるが、健常者においても利用可能なものであり、ディスプレイを除いて、若しくはディスプレイをも含めてウエアラブルに構成可能なものである。
本発明のポインティングデバイスは、操作者によって発せられる複数のEMG信号に対して所定の処理を施してEMG信号の特徴量を抽出するEMG信号処理部と、入力された特徴量から移動方向の確率を算出するニューラルネット部と、ポインタの移動量を算出するポインタ制御部との3ブロックにて構成され、さらにフィードバック部を構成するディスプレイを備えている。ディスプレイには、計測した生体信号、算出された特徴パターン、ニューラルネット部の出力、移動方向推定結果、ポインタの移動量などをグラフィカルに使用者に提示することができる。上記の3ブロックは、中央処理部(CPU)と各種のデータやパラメータが格納されるメモリとを備えた情報処理装置により構成されており、この情報処理装置は外部との信号の授受のためのインターフェース(I/F)を備えている。メモリに格納されるパラメータとしては、入力部において選択した信号の種類、EMG信号処理部での特徴抽出の際に用いられるフィルタのカットオフ周波数、信号のピーク値に係るしきい値、ニューラルネット部における重み係数などのニューラルネットのパラメータ、ポインタ制御部における慣性、粘性、弾性などのパラメータなどが含まれ、これらのパラメータの内少なくともニューラルネット部に係るパラメータは使用者毎に保存されている。
以下、各部の動作について詳細に説明する。
【0011】
〔EMG信号処理部〕
EMG信号処理部においては、複数の筋から得られるEMG信号から筋力の協調パターンを特徴量として抽出する。例えば、マルチテレメータ(Web5000:(株)日本光電製)で計測した(L+1)チャネル分のEMG信号をA/D変換し,チャネル毎に全波整流した後、2次のディジタルバタワースフィルタ(カットオフ周波数:1Hz)で平滑化する。さらにこの信号をサンプリング周波数100Hzで再サンプリングし、この時系列信号をEMGl(t)(l=1,2,…,L+1)とする。このEMGl(t)のうちLチャンネル(l=1,2,…,L)は、方向と速度、1チャネル (l=L+1) はクリックイベントの処理に利用する。
【0012】
EMGl(t)(l=1,2,…,L)に関しては、Lチャンネルの和が1となるように(1)式に従って正規化したものを特徴パターンx(t)=[x1(t),x2(t),…,x L(t)]としてニューラルネット部へ入力する。ここで、x(t)はベクトルである。図2おいて、x1(t),x2(t),…,x L(t)は、x1,x2,…,xdと表記されている。
【0013】
【数1】
ここで、EMGl stbarは安静時におけるEMGl(t)の時間平均である。
EMGL+1(t)に関しては計測部位をLチャンネルとは別の部位(例えば首部)とし、この値を最大筋収縮時の値で正規化したものをクリック信号β(t)とする。この値が設定したしきい値を越えた時にクリックイベントが発生したと判定する。
【0014】
EMG信号処理部では、またピーク値の検出が行われ、ピーク値がしきい値が越えたか否かが判定される。しきい値を越えた場合には、ポインタ移動の動作が行われたものと判定され、ニューラルネット部への特徴パターンの出力が行われ、ニューラルネット部での処理が行われる。また、このピーク値がしきい値を越えた場合にポインタ制御部においてポインタの移動が行われるようにしてもよい。ピーク値がしきい値が越えたか否かの判定は、EMGl(t)(l=1,2,…,L)の和または二乗和がしきい値が越えたか否かで判定する。あるいは、EMGl(t)(l=1,2,…,L)の中の何れかがあるしきい値が越えた場合にピーク値がしきい値が越えたと判定してもよい。
EMG信号処理部では、また周波数解析処理を行うようにしてもよい。例えば、EMG信号に対してFFT(Fast Fourier Transform)処理を加え、周波数軸についての信号変化を解析するようにしてもよい。
【0015】
〔ニューラルネット部〕
ニューラルネット部では、EMG信号処理部で計算した使用者のEMGパターン(ベクトル)x(n)(n=t-T+1,…,t)からポインタの各基準方向への事後確率を推定する。ここでTは入力パターンの時間方向への長さとする。この計算には本発明者らが提案したR-LLGMNを用いる。このネットワークは、統計モデルの一つである混合正規分布と、動的な確率モデルの一つである隠れマルコフモデルを構造として内包しており、使用者のEMG信号の時系列的な特性を学習により獲得することができる。まずポインタの制御を行う前に、R-LLGMNを利用してEMG信号の時系列パターンとポインタの移動方向の関係を学習する。学習後のR-LLGMNは各基準方向に対してポインタが移動する事後確率をモデルに基づいて推定することができ、基準方向に対応する出力層の各ユニットからそれぞれの方向に対する事後確率(5)Oc(t)(c=1,…,C)を出力する。
前向き計算では、まず、入力ベクトルx(t)を次の(2)式に従って非線形変換し、新たな入力ベクトルとして用いる。
【0016】
【数2】
第1層はH=1+L(L+3)/2個のユニットから構成され、恒等関数を入出力関数として用いている。この新たな入力ベクトルXh(t)(h=1,2,…,H)はそのまま(1)Oh(t)として出力される。なお、図2においてXh(t)(h=1,2,…,H)はXh(h=1,2,…,H)と表記されている。
第2層のユニット{c,k,k’,m}(c=1,…,C;k,k’=1,…,Kc;m=1,…,Mc,k)は第1層のユニットの出力に重み係数wc k ’ ,k,m,h が掛け合わされたものを受け取る。第2層の入出力関係は、次の(3)、(4)式により与えられる。
【0017】
【数3】
ただし、Cは基準方向数、Kcは隠れマルコフモデルの状態数に対応するパラメータ、Mc,kは基準方向c、状態kに対応する混合ガウス分布モデルのコンポーネント数を表す。
【0018】
第3層のユニット{c,k,k’}への入力は、第2層のユニット{c,k,k’,m}(m=1,…Mc,k)の出力を統合したものである。また、その入力に1時刻前の第4層の出力を乗じた値が第3層の出力となる。第3層の入出力関係は、次の(5)、(6)式により与えられる。
【0019】
【数4】
ただし、初期状態は(4)Oc k ’(0)=1.0とする。
さらに第4層は第3層のユニット{c,k,k’}の出力を統合したものを受け取る。
入出力関係は、次の(7)、(8)式により与えられる。
【0020】
【数5】
【0021】
最後に、第5層のユニットcは第4層のKcユニット{c,k}(k=1,…,Kc)の出力を統合したものである。入出力関係は、次の(9)、(10)式により与えられる。
【0022】
【数6】
この出力(5)Oc(t)が基準方向cに対する事後確率となる。
以上のように、このネットワークは、第3層と第4層の間にリカレント結合を有することで、 1時刻前の出力を考慮することができる。また、第1層と第2層の間の重み係数wを学習的に調節するだけで、基準方向に対する事後確率を混合正規分布モデルに基づいてモデル化することができる。
【0023】
学習時には、まずシステムから使用者に対してポインタの目標移動方向φ(0≦φ<2π)をランダムに提示する。ただし、 φは図1のx軸方向を0とし、反時計回りに増加するように定義する。使用者は指定された方向へのポインタ移動を意図して各筋を収縮する。そしてこのときのEMG信号と目標移動方向φをN組採取し、学習用サンプルデータセットとして使用する。
いま、時刻Tにおいて、n 番目の入力ベクトルx(t)(n)に対応する教師ベクトルT(n)(φ)=(T1 (n)(φ),…,Tc (n)(φ) ,…,Tc (n)(φ))T(n=1,…,N)を(11)式により計算する。
【0024】
【数7】
ただしφcは、下記の(12)式のように定義する。
φc=2πc/C (12)
この教師信号は、目標移動方向φを、その方向を挟む2つの基準方向に分解したときの成分に対応する。もちろん確率であるから、その和は常に1である。例として、基準方向をφ=0,π/2,π,3/2πradの4方向とした場合の教師信号を図3に示す。
図から分かるように、目標移動方向が基準方向と一致しない場合にはφに近い二つの基準方向が選択され、その方向に対応する出力ユニットに教師信号が与えられている。この方法により、基準方向以外の方向も学習用データとして用いることが可能となる。
【0025】
R-LLGMNは、 C個の基準方向それぞれに用意されたL個の時系列信号(N=LxC)を学習データとして学習を行う。
学習用データに対するネットワークの評価関数Jは、下記の(13)式の通り定義し、
【0026】
【数8】
これを最小化、すなわち対数尤度を最大化するように学習を行う。ただし、Yc(t) は入力ベクトルx(t)(n)に対する時刻Tでの出力を意味している。また、R-LLGMNに含まれるリカレント結合の影響を考慮するため、P.J. Werbos:「Backpropagation through time:what it does and how to do it」, Proceedings of the IEEE, Vol.78,No.10,1550/1560,(1990)に記載された通時的誤差逆伝播方式(BPTT)を用いる。これは時系列中の誤差勾配を蓄積して、重み修正量を計算するという方式である。
ここで、学習の収束時間を待つことになる操作者の精神的負担を少しでも軽減することを目的として、ZakがM. Zak: 「Terminal Attractors for Addressable Memory in Neural Networks」, Physics Letters A, Vol.133,18/22(1988)において提案したターミナルアトラクタ(Terminal Attractor)を学習側に導入し、収束時間の上限値を設定可能とした。
【0027】
〔ポインタ制御部〕(移動方向決定部)
ここでは、R-LLGMNからの出力および推定した筋活動レベルα(t)を基にポインタの動きを計算する。
R-LLGMNからの出力は、図1に示すように各基準方向cへポインタが移動する可能性を示している。そこで時刻tのEMGパターンによるポインタの移動方向ベクトルe(t)=(eX(t),eY(t))を、以下の(14)〜(17)式のように定義する。
【0028】
【数9】
【0029】
【数10】
ここで、v X(t), v Y(t)は各基準方向へ対応するベクトル成分のx成分、y成分を示す。
【0030】
〔ポインタ制御部〕(ポインタ移動量算出部)
また筋活動レベルα(t)を以下の(18)式の通り計算する。
【0031】
【数11】
ここでEMGc maxbarは各基準方向に対する最大随意筋収縮時のEMG信号EMGcl max (t)のチャンネル和を時間平均したものである。このような筋活動レベルを利用することで各方向に対する最大随意筋収縮レベルの違いを調節することができ、これをポインタの移動速度の決定に利用する。
【0032】
使用者の力特性に合ったポインタの操作感覚を実現するためには、我々が日常経験する物理則にしたがったポインタの運動が適すると考えられる。そこで、筋活動レベルα(t)と移動方向ベクトルe(t)に基づき、以下の(19)式のインピーダンスモデルを用いてポインタがどのように移動するかを計算する。
【0033】
【数12】
Me,Beはそれぞれ慣性、粘性パラメータでp(t)はポインタの位置ベクトルである。インピーダンスモデルに弾性力を加味してもよい。その場合には、(19)式左辺にEe p(t)を加える。ここでEeは弾性パラメータである。またF(t)はポインタに加える駆動力で、α(t)、e(t) から0次ホールドを用いて(20)式の通り計算する。
【0034】
【数13】
ただし、 gは力ゲインを表す。α0 はポインタ操作の有無を判定するしきい値である。
(19)式は粘性摩擦Beを有する平面に置かれた質量Meの物体に力F(t)が加わった際の運動方程式を表している。このような物理モデルに従い、数値積分によってポインタの位置、速度を計算することで、操作者の力感覚に対応した自然な操作感が期待できる。
【0035】
〔実験〕
構築した実施の形態装置の操作性を調べるための実験を行った。被験者は6名で、被験者(Subject)A,B,C,D,Eについては、いずれも健常な男子学生(22才、23 才、22才、22才、24 才)とした。被験者Fは男性( 45才)で4年前に事故のため右手首から15cm程の部位で前腕部を切断している。 どの被験者も事前に十分な練習を行った。
EMG信号計測用の電極(NT-511G、NT-512G:(株)日本光電製)は材質がAg/AgCl,形状が直径0.012mの円形、双極差動型のものを用いた。使用数は7chで右前腕部に6ch(橈側手根伸筋、橈側手根屈筋、尺側手根伸筋、尺側手根屈筋、 深指屈筋、固有示指伸筋)、左前腕部に1ch(橈側手根伸筋)を装着した。左前腕の電極は、クリックイベント発生用である。ただし、これらの電極の装着位置に関しては、自由に装着してもシステムに導入したニューラルネットによりある程度、適応が可能である。臨床で使用する際には、EMG信号に関して知識不十分 な使用者も想定され、特定の筋の上に電極を装着することが困難と考えられるので、このような適応機能が有効と考えられる。
実験では、ポインタの移動方向を右手首の曲げ方向に対応させてニューラルネットの学習を行った。ただし、切断者の場合は脳内に残された手首の運動イメージによりマウスを操作するように指示した。
データのサンプリング周波数は100[Hz]で、R-LLGMNのパラメータであるコンポーネント数、状態数は、それぞれ、M=1,K=1,学習に用いた基準方向はφ=0からπ/2radきざみの4方向と設定した。なお本実験では、ディスプレイのサイズは17インチ、解像度は640x480とした。
【0036】
〔操作例〕
図4、図5に操作の一例として被験者Aが円を描いた際の結果を示す。R-LLGMN学習時の時系列長は20とし、推定時の時系列長は5とした。図4はディスプレイ上のポインタの軌跡を示しており、ポインタの色が濃い区間ではドラッグ操作を行っている。図5は制御中の信号処理の様子を示しており、上から順にEMG信号、筋活動レベルα(t)、クリック信号β(t)、ポインタの移動速度、移動方向を示している。この図から、EMG信号を利用してポインタを随意的に制御可能なことが分かる。
【0037】
次に、図6、図7に被験者F(上肢切断者)による操作例を示す。ここでは、ディスプレイ上にランダムに幾つかの円を配置し、その円を順番にクリックするタスクを実行している。使用電極数は8chで切断された前腕部の残存筋に7ch、また、左前腕部(橈側手根伸筋)にクリックイベント用の1chを装着した。R-LLGMN学習時の時系列長は20とし、推定時の時系列長は5とした。図6はディスプレイ上のポインタの軌跡、図7は制御中の信号処理の様子を示しており、上から順にEMG信号 、筋活動レベルα(t)、クリック信号β(t)、ポインタの移動速度、移動方向を示している。本システムが、上肢切断者に対してもスムーズなポインティングを提供可能なことが分かる。
【0038】
〔方向精度の検証〕
開発したシステムの全方位への制御特性を調べるために、方向精度の検証を行った。各被験者には、ディスプレイによるフィードバックの無い状態で、手首をπ/8radきざみの16方向に各方向2秒間動作するよう指示した。そして、このとき計測したEMG信号から推定したポインタ移動方向と操作者への指示方向との誤差を評価指標として計算した。
図8 に実験結果を示す。図8(a)は被験者A、図8(b)は被験者Bの結果であり、
学習時、推定時に入力する特徴パターンの時系列長を、それぞれ1きざみで1から40までの計1600通りに変化させて計算した誤差平均を示している。ただし、誤差平均は全方位に対する誤差の平均値である。図より各被験者とも学習時の時系列長が長く、推定時の時系列長が短くなるに従い誤差が減少していることが分かる。
【0039】
ここで方向精度には、学習方向、未学習方向で違いが見られたため、図8の実験結果 を学習した4方向と未学習の12方向に分けて再計算した。図9、図10はそれぞれ学習方向、未学習方向の誤差平均であり、それぞれ(a)は被験者A、 (b)は被験者B、の結果である。この図より、学習時の時系列長が長く、推定時の時系列長が短くなるにつれて、学習した方向では誤差が増加し、未学習の方向では減少することが分かる。これは、推定時の時系列長が学習時のそれよりも短くなることで、情報量が低下し、R-LLGMNからの事後確率の出力が曖昧になったためである。この結果より、全方位への精度を平均的に向上させるためには、学習した方向の誤差が増大してしまうものの、推定信号は短いほうが良いことが分かる。以下では、学習時の時系列長を10、推定時の時系列長を1として操作を行うこととする。
【0040】
次に、本システムにおけるR-LLGMN の有効性を示すために、LLGMN、Back Propagation Neural Network(以下、BPNNと記す)を利用した場合のシステムとの比較実験を行った。LLGMN は、混合正規分布モデルを構造として導入しており、R-LLGMNからリカレント結合を除いた場合に相当する。被験者にはディスプレイによるフィードバックのある状態で、指定された方向にポインタを移動するように指示し、その際の方向推定精度を求めた。
この実験において、 LLGMN のコンポーネント数、ターミナルアトラクタのパラメータである学習時間、学習率、サンプリングタイムはR-LLGMNのそれらと同数に設定した。BPNNのユニット数に関しては、方向推定精度が高くなるように、入力層6、第2層7、第3層6、出力層4と試行錯誤的に決定した。なお、ポインタの移動方向推定処理では、BPNN 出力の総和が1となるように正規化し、 R-LLGMNの場合と同様のアルゴリズムで方向推定を実施した。学習の評価関数には、教師信号との二乗誤差を利用し、学習率、慣性係数、学習終了誤差しきい値のパラメータをそれぞれ0.01,0.001,0.0003とした。ただし、評価関数の値が5万回の繰り返し計算の後に誤差しきい値以下にならない場合は収束不能とし学習を打ち切った。
図11に被験者Bによる実験結果を示す。各レーダチャートは各指定方向を示してから2秒間における誤差の平均と標準偏差を表しており、
(a)はLLGMN、(b)はBPNN、(c)は R-LLGMNの結果である。この図から、R-LLGMN は、BPNNやLLGMNに比べて方向精度にばらつきが無く、指示された方向に正しく推定が行えていることが分かる。
【0041】
〔操作性の検証〕
最後に本発明デバイスの操作性を評価するための実験を行った。実験時に被験者に提示した画面を、図12に示す。図におけるポインタの大きさ、ターゲットの大きさ、ポインタとターゲットの距離、それぞれの比率はディスプレイに表示されるものと同等にしてある。この図のように、被験者はディスプレイ上に表示された2点間を往復するタスクを実行した。2 点間の距離は400pixels、ポインタの移動方向はπ/6radきざみの6方向とし、往復操作における操作時間、最短軌道からのずれの積分値を計算する。 6方向すべてに対する操作を1セッションとし、5セッションのデータの平均値、標準偏差を求めた。R-LLGMN, LLGMN,BPNNの設定は〔方向精度の検証〕の場合と同様とした。
に実験結果を示す。
図13、図14に実験結果を示す。図13は往復走査の平均時間、図14は最短起動からのずれの積分値を示している。また、図14 のR-LLGMNの結果を基準にBPNN, LLGMNの結果を検定した(片側検定)。ここで、危険率、5.1 %で有意差ありと判定された結果にはそれぞれ、 印を表中に示す。各手法を比較すると、R-LLGMN が平均時間、軌道誤差ともに小さくなる傾向となっており、操作性が最も高いことが確かめられた。
【0042】
以上好ましい実施の形態について説明したが、本発明はこれに限定されるものではなく、本発明の要旨を逸脱することのない範囲内において適宜の変更が可能なものである。例えば、実施の形態では、生体信号にはEMG信号を用いていたが、これに代え若しくはこの信号と併用して脳波、手足の動き(加速度)、接触圧などの信号を用いることができる。
【0043】
【発明の効果】
以上説明したように、本発明のポインティングデバイスは、Recurrent構造を有するニューラルネットを用いてポインタの移動方向を推定するものであるので、変化の激しい生体信号に対しても精度よく対応することのできる、また、基準方向以外の学習していない方向に対してもスムースな移動が可能な全方位型ポインティングデバイスを提供することができる。
【図面の簡単な説明】
【図1】 本発明のシステムの概略を示すブロック図。
【図2】 本発明のポインティングデバイスにおいて用いられるニューラルネット(R-LLGMN)の動作説明図。
【図3】 本発明のポインティングデバイスにおける学習過程を説明するための、基準方向と教師信号との関係を示す図。
【図4】 本発明のポインティングデバイスの使用結果を示す図(その1)。
【図5】 図4の結果を得た際の各部の信号波形図。
【図6】 本発明のポインティングデバイスの使用結果を示す図(その2)。
【図7】 図6の結果を得た際の各部の信号波形図。
【図8】 学習時と推定時の時系列長をパラメータとする方向誤差を示すグラフ(その1)。
【図9】 学習時と推定時の時系列長をパラメータとする方向誤差を示すグラフ(その2)。
【図10】 学習時と推定時の時系列長をパラメータとする方向誤差を示すグラフ(その3)。
【図11】 ニューラルネット部にR-LLGMNを用いた場合と、他の方式を用いた場合との推定方向の精度を示す図。
【図12】 本発明のポインティングデバイスの操作性を検証するために用いたディスプレイ上の目標点を示す図。
【図13】 ニューラルネット部にR-LLGMNを用いた場合と、他の方式を用いた場合との往復操作の平均時間を示す図表。
【図14】 ニューラルネット部にR-LLGMNを用いた場合と、他の方式を用いた場合との最短軌道からのずれの積分値を示す図表。
Claims (14)
- 生体信号を収集する生体信号収集部と、前記生体信号から特徴パターンを抽出する生体信号処理部と、前記特徴パターンから使用者が意図するポインタ移動方向についての確率を計算するニューラルネット部と、ニューラルネット部が計算した確率からポインタの移動方向を決定する移動方向決定部、および、前記ポインタの移動方向と前記生体信号の平均的強度とからポインタの移動量を物理モデルに基づいて計算するポインタ移動量算出部を有するポインタ制御部と、各部で使用するパラメータを読み出し可能に保存するパラメータ保存部と、を含むポインティングデバイスにおいて、
前記ニューラルネット部は、リカレント構造を有する対数線形化混合正規分布ネットワークR-LLGMN(Recurrent Log-Linearized Gaussian Mixture Network)を有し、該R-LLGMNの学習時、推定時に入力する特徴パターンの時系列長を調節することにより該R-LLGMNの事後確率の出力の曖昧さを調節することを特徴とするポインティングデバイス。 - 前記生体信号収集部は、入力として筋電位、脳波、手足の加速度、接触圧を選択・組み合わせて受けることが可能であることを特徴とする請求項1に記載のポインティングデバイス。
- 前記生体信号処理部では、整流処理、フィルタリング処理、正規化処理、ピーク検出処理が行われることを特徴とする請求項1に記載のポインティングデバイス。
- 前記生体信号処理部では、整流処理、フィルタリング処理、周波数解析処理、正規化処理、ピーク検出処理が行われることを特徴とする請求項1に記載のポインティングデバイス。
- ニューラルネット部には、使用する生体信号に含まれる個人差に適応するために、ニューラルネットを利用した学習機構を備えることを特徴とする請求項1に記載のポインティングデバイス。
- ニューラルネット部は、得られた特徴パターンに対してポインタが左右、上下などの複数の基準方向に移動する確率を計算することを特徴とする請求項1に記載のポインティングデバイス。
- 移動方向決定部では、ニューラルネット部で計算した各基準方向に対するポインタ移動確率に基づいて移動方向を決定することを特徴とする請求項6に記載のポインティングデバイス。
- ポインタ制御部では、使用者が意図する力をポインタの移動方向と前記生体信号の平均的強度から計算し、慣性、粘性からなる物理モデルにしたがってポインタの移動量を算出することを特徴とする請求項1に記載のポインティングデバイス。
- ポインタ制御部では、使用者が意図する力をポインタの移動方向と前記生体信号の平均的強度から計算し、慣性、粘性、弾性からなる物理モデルにしたがってポインタの移動量を算出することを特徴とする請求項1に記載のポインティングデバイス。
- ポインタ制御中の各部の処理状況を使用者に提示するフィードバック部をさらに有することを特徴とする請求項1に記載のポインティングデバイス。
- 前記フィードバック部では、計測した生体信号、特徴パターン部、ニューラルネット部の出力、移動方向推定結果、移動量の中の少なくとも一つをグラフィカルに使用者に提示することを特徴とする請求項10に記載のポインティングデバイス。
- パラメータ保存部に格納されるデータには、前記生体信号収集部において選択された信号の種類、生体信号処理部での特徴パターン抽出の際に用いられるフィルタのカットオフ周波数、信号のピーク値に係るしきい値、ニューラルネット部における重み係数などのニューラルネットに係るパラメータ、ポインタ制御部における慣性、粘性などのパラメータの中の一つまたは複数が含まれることを特徴とする請求項1に記載のポインティングデバイス。
- パラメータ保存部に格納されるニューラルネット部において用いられるパラメータは、使用者毎に保存されることを特徴とする請求項1に記載のポインティングデバイス。
- システム全体は、ウエアラブルに構成されていることを特徴とする請求項1に記載のポインティングデバイス。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003173965A JP4078419B2 (ja) | 2003-06-18 | 2003-06-18 | ポインティングデバイス |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003173965A JP4078419B2 (ja) | 2003-06-18 | 2003-06-18 | ポインティングデバイス |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005011037A JP2005011037A (ja) | 2005-01-13 |
JP4078419B2 true JP4078419B2 (ja) | 2008-04-23 |
Family
ID=34097625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003173965A Expired - Lifetime JP4078419B2 (ja) | 2003-06-18 | 2003-06-18 | ポインティングデバイス |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4078419B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8062620B2 (en) | 2004-11-29 | 2011-11-22 | Shell Oil Company | Catalytic process for the conversion of Co (II)hydroxide in Co (III)oxidehydroxide |
US10866637B2 (en) | 2016-02-02 | 2020-12-15 | Samsung Electronics Co. Ltd. | Gesture classification apparatus and method using EMG signal |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006309448A (ja) * | 2005-04-27 | 2006-11-09 | Sony Corp | ユーザインターフェース装置及び方法 |
WO2011007569A1 (ja) | 2009-07-15 | 2011-01-20 | 国立大学法人筑波大学 | 分類推定システムおよび分類推定プログラム |
CN101995947B (zh) * | 2009-08-21 | 2012-07-04 | 香港中文大学 | 通过网络感知用户动作的系统和方法 |
US20130046715A1 (en) * | 2010-01-11 | 2013-02-21 | Universite De Mons | Method to determine an artificial limb movement from an electroencephalographic signal |
JP5623759B2 (ja) * | 2010-02-26 | 2014-11-12 | 公益財団法人東京都医学総合研究所 | 筋電図信号に基づいた脳内の並列運動制御機能の同定及び評価法 |
KR102131358B1 (ko) | 2013-06-17 | 2020-07-07 | 삼성전자주식회사 | 유저 인터페이스 장치 및 유저 인터페이스 장치의 동작 방법 |
JP6226175B2 (ja) * | 2013-09-04 | 2017-11-08 | 株式会社Ihi | 操作性評価装置、方法およびプログラム |
EP3487402B1 (en) * | 2016-07-25 | 2021-05-05 | Facebook Technologies, LLC | Methods and apparatus for inferring user intent based on neuromuscular signals |
CN106725463B (zh) * | 2017-01-18 | 2020-02-21 | 浙江大学 | 应用皮层脑电信号对大脑皮层手部功能区定位的方法和系统 |
CN106963372B (zh) * | 2017-04-10 | 2019-10-18 | 中国兵器工业计算机应用技术研究所 | 一种脑电-肌电信号融合装置及融合方法 |
CN115192049B (zh) * | 2022-09-14 | 2022-12-09 | 深圳市心流科技有限公司 | 一种智能假肢的肌电采样频率调节方法 |
-
2003
- 2003-06-18 JP JP2003173965A patent/JP4078419B2/ja not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8062620B2 (en) | 2004-11-29 | 2011-11-22 | Shell Oil Company | Catalytic process for the conversion of Co (II)hydroxide in Co (III)oxidehydroxide |
US10866637B2 (en) | 2016-02-02 | 2020-12-15 | Samsung Electronics Co. Ltd. | Gesture classification apparatus and method using EMG signal |
Also Published As
Publication number | Publication date |
---|---|
JP2005011037A (ja) | 2005-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111209885B (zh) | 一种手势信息处理方法、装置、电子设备及存储介质 | |
Tsinganos et al. | Improved gesture recognition based on sEMG signals and TCN | |
CN107378944B (zh) | 一种基于主成分分析法的多维表面肌电信号假手控制方法 | |
Raurale et al. | Real-time embedded EMG signal analysis for wrist-hand pose identification | |
Ahsan et al. | EMG signal classification for human computer interaction: a review | |
US20190033974A1 (en) | Armband for tracking hand motion using electrical impedance measurement | |
Naik et al. | Hand gestures for HCI using ICA of EMG | |
JP4078419B2 (ja) | ポインティングデバイス | |
Ma et al. | A bi-directional LSTM network for estimating continuous upper limb movement from surface electromyography | |
Nasr et al. | MuscleNET: mapping electromyography to kinematic and dynamic biomechanical variables by machine learning | |
Bachynskyi et al. | Is motion capture-based biomechanical simulation valid for hci studies? study and implications | |
WO2021052045A1 (zh) | 肢体动作的识别方法、装置、计算机设备及存储介质 | |
Erkilinc et al. | Camera control with EMG signals using principal component analysis and support vector machines | |
Sadarangani et al. | A preliminary investigation on the utility of temporal features of Force Myography in the two-class problem of grasp vs. no-grasp in the presence of upper-extremity movements | |
Beaulieu et al. | Multi-position training improves robustness of pattern recognition and reduces limb-position effect in prosthetic control | |
Dwivedi et al. | Extraction of nonlinear synergies for proportional and simultaneous estimation of finger kinematics | |
Kumar et al. | A critical review on hand gesture recognition using semg: Challenges, application, process and techniques | |
Sîmpetru et al. | Sensing the full dynamics of the human hand with a neural interface and deep learning | |
Zengyu et al. | A simultaneous gesture classification and force estimation strategy based on wearable A-mode ultrasound and cascade model | |
KR100994408B1 (ko) | 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치 | |
Wu et al. | A new EMG decomposition framework for upper limb prosthetic systems | |
Sakr et al. | Estimation of user-applied isometric force/torque using upper extremity force myography | |
Lew et al. | Biofeedback Upper Limb Assessment Using Electroencephalogram, Electromyographic and Electrocardiographic with Machine Learning in Signal Classification. | |
Kim et al. | Using common spatial pattern algorithm for unsupervised real-time estimation of fingertip forces from sEMG signals | |
Naik et al. | Real-time hand gesture identification for human computer interaction based on ICA of surface electromyogram |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4078419 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |