JP4078419B2 - ポインティングデバイス - Google Patents
ポインティングデバイス Download PDFInfo
- Publication number
- JP4078419B2 JP4078419B2 JP2003173965A JP2003173965A JP4078419B2 JP 4078419 B2 JP4078419 B2 JP 4078419B2 JP 2003173965 A JP2003173965 A JP 2003173965A JP 2003173965 A JP2003173965 A JP 2003173965A JP 4078419 B2 JP4078419 B2 JP 4078419B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- pointer
- pointing device
- neural network
- biological signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、重度の障害者などでも使用することのできる筋電位（ＥＭＧ）、脳波（ＥＥＧ）、手足の動き（加速度）、呼気、接触圧などの生体信号を利用して制御が可能な全方位型のポインティングデバイスに関するものである。
【０００２】
【従来の技術】
生体信号を利用したポインティングデバイスに関しては、平滑筋電位信号の強度情報からカーソル座標を直接指定する方法などが既に提案されている（例えば、特許文献１参照）。また、生体信号の識別に関しては、ニューラルネットを利用した筋電位特徴パターンからの意図推定などが提案されている（例えば、特許文献２参照）。また、生体信号を利用したインタフェース装置に関しては、重度障害者が自身の筋電位、脳波、眼電位などを利用して意思伝達を行なうための装置などが提案されている（例えば、特許文献3参照）。
【０００３】
しかしながら従来手法による生体信号の利用は、特許文献１に記載されているような信号の強度に依存した制御か、特許文献２ないし３に記載されているような特徴パターンをあらかじめ決められた有限数のクラスに識別する方法に限られていた。このため、ポインティングデバイスにおいて全方位に自由にカーソルを移動するような制御を実現することは極めて困難であった。また、従来のシステムには、使用者へのフィードバック機能やカーソルの運動を決める物理モデルなどが無いなど構成が不十分であり、操作性に問題があった。
【０００４】
ところで、人間の筋収縮レベルに応じて発生するＥＭＧ信号などの生体信号には、どのような動作をどのくらいの力で行おうとしているのか、筋の粘弾性はどの程度かなどの有益な情報が含まれており、これらの情報を効率よく抽出することができれば、これまでにない新しいインタフェース装置を実現できる可能性がある。
ＥＭＧ信号から人間の運動意志を推定する研究は、主に電動義手の制御法に関して従来から試みられており、本発明者らもこれまでに、ニューラルネットによるＥＭＧパターンの識別を利用した電動義手やマニピュレータの制御を行ってきた（例えば、非特許文献１〜５参照）。しかしながら、これらの研究では、電動義手の多自由度制御問題をEMGパターンの動作識別問題に帰着させて考えているため、駆動関節などの自由度はパターン識別のクラス数に限定されていた。これらの手法をポインティングデバイスの操作に直接利用し、例えばポインタの移動方向をパターン識別問題に帰着させた場合、ポインタの移動可能方向の総数をあらかじめ設定しなければならず、この数が増えるにつれて膨大な学習サンプル数、学習時間が必要となる。
そこで、本発明者らはこれまでに、無限に存在するポインタの移動可能方向を、有限個の基準方向の組み合わせで表現することにより、この問題を解決してきた（例えば、非特許文献６参照）。この方式は、移動方向の推定には本発明者らが提案したLog-Linearized Gaussian Mixture Network（対数線形化混合正規分布ネットワーク：以下、LLGMNと記す）を利用して各基準方向に対する事後確率を計算し、それを各々ベクトルと考えて合成することにより、360°全方位へのポインタの移動を可能とするものである。この際、LLGMNは設定した基準方向に対する事後確率だけ推定すればよく、学習の負担軽減やネットワーク構造の単純化が実現できる。しかしながら、この方法は時刻毎に得られるパターン、すなわち信号の静的な特性だけしかモデル化できないため、信号の変動が激しい場合には識別精度の低下が見られた。また、基準方向以外の学習していない方向にはカーソル移動が困難となる場合があった。
【０００５】
一方、本発明者らは、LLGMNにリカレント構造を持たせたニューラルネットRecurrent Log-Linearized Gaussian Mixture Network（再帰性LLGMN：以下、R-LLGMNと記す）を提案した（例えば、非特許文献７参照）。このネットワークは、統計モデルの一つである混合正規分布モデルと、動的な確率モデルの一つである隠れマルコフモデル（Hidden Markov Model : HMM）を内包した構造を有しており、使用者のEMG信号の時系列的な特性を学習により獲得することができる。
【０００６】
而して、EMG信号、EEG信号を利用したヒューマンインタフェースに関する研究がこれまでに数多く試みられている。例えば、Rosenbergは、ウエアラブルコンピュータのインタフェースとして、EMG信号を用いた二次元ポインティングデバイスの研究を行っている（例えば、非特許文献８参照）。しかしながら、この方法はBPNN （Back Propagation Neural Network）を用いており、Fittsの法則（例えば、非特許文献９参照）に基づき操作性を評価すると、通常のマウスの１４％ほどのパーフォーマンスしか実現できていない。一方、Barretoらは、障害者支援用に、EEG信号とEMG信号を用いたコンピュータインタフェースを開発した（例えば、非特許文献１０参照）。この方法では、EEG信号の周波数情報と、表面筋から計測されたEMG信号を用い、４方向へのポインティングとクリック操作を実現している。また、Robertsら、MasonらによりEMG信号のみを用いたポインティングの研究が報告されている（例えば、非特許文献１１、１２参照）。Robertsらは1chのEEG信号から２種類のコマンドの識別を行った。これに対し、Masonらは、EEG信号の特徴を利用しスイッチング操作を行った。しかしながら、これらのシステムでは、個人差、疲労、発汗などによる信号の変化に対してシステムを適応させることはできなかったため、臨床で適用することは困難であった。
【０００７】
【特許文献１】
特開平8-36459号公報
【特許文献２】
特開2002-345862号公報
【特許文献３】
特開平11-203022号公報
【非特許文献１】
辻敏夫、森大一郎、伊藤宏司：「統計構造を組み込んだニューラルネットによるEMG動作識別法」、電気学会論文誌C,Vol.112-C,No.8,465/473,(1992)
【非特許文献２】
辻敏夫、市延弘行、金子真:「混合正規分布モデルを用いたフィードフォワード型ニューラルネット」電子情報通信学会論文誌、D-II,Vol.77,No.10,2093/2100,(1994)
【非特許文献３】
福田修、辻敏夫、金子真:「EMG信号を利用した手動制御人間支援マニュピュレータ」、日本ロボット学会誌、Vol.18,No.3,387/394,(2000)
【非特許文献４】
O.Fukuda,T.Tsuji and M.Kaneko:「An EMG Controlled Robotic Manipulator Using Neural Networks」, Proceedings of IEEE International Workshop on Robot and Human Communication,442/447,(1997)
【非特許文献５】
O.Fukuda,T.Tsuji,A.Otsuka and M.Kaneko:「An EMG-based Human Robot Interface for Rehabilitation Aid」, Proceedings of IEEE International Conference on Robotics and Automation,3492/3497,(1998)
【非特許文献６】
辻敏夫,福田修,村上満,金子真:「ニューラルネットを利用したEMG制御型ポインティングデバイス」、計測自動制御学会論文集、Vol.1,No.1,1/7,(2000)
【非特許文献７】
T.Tsuji, N.Bu,Fukuda, and M.Kaneko: 「A Recurrent Log-Linearized Gaussian Mixture Network」,IEEE Trans. On Neural Networks,(in press)
【非特許文献８】
R.Rosenberg: 「The Biofeedback Pointer :EMG Control of a Two Dimensional Pointer」, Proceedings of the 2nd. International Symposium on Wearable Computers,162/163, (1998)
【非特許文献９】
P.M.Fitts :「The information capacity of the motor system in controlling the amplitude of movement」, Journal of Experimental Psychology, vol.47,381/391, (1954)
【非特許文献１０】
A.B.Barreto, S. D. Scargle and M. Adjouadi:「A Practical EMG-based Human-computer Interface for Users with Motor Disabilities」, Journal of Rehabilitation Research and Development, 37(1),53-63,(2000)
【非特許文献１１】
S.J.Roberts, W.D. Penny:「Real-time Brain-Computer Interfacing: a Preliminary Study Using Bayesian Learning, Medical,Biological Engineering and Computing, Vol.38,56/61, (2000)
【非特許文献１２】
S. J. Mason,G. E. Birch:「A Brain-Computer Switch for Asynchronous Control Applications」, IEEE Transactions on Biological Engineering, Vol.47,No.10,1297/1307, (2000)
【０００８】
【発明の解決しようとする課題】
本発明は、上記の問題に鑑みなされたものであって、その目的は、筋電位、脳波、手足の動き（加速度）、呼気、接触圧などを利用して、変化の激しい信号に大しても精度よく制御が可能な、未学習の方向に対しても容易に移動が可能なポインティングデバイスを提供できるようにすることである。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため、本発明によれば、生体信号を収集する生体信号収集部と、前記生体信号から特徴パターンを抽出する機能、および、前記生体信号の平均的強度を算出する機能を有する生体信号処理部と、前記特徴パターンから使用者が意図するポインタ移動方向についての確率を計算するニューラルネット部と、ニューラルネット部が計算した確率からポインタの移動方向を決定する移動方向決定部、および、前記ポインタの移動方向と前記生体信号の平均的強度とからポインタの移動量を物理モデルに基づいて計算するポインタ移動量算出部を有するポインタ制御部と、各部で使用するパラメータを保存・読み出し可能なパラメータ保存部と、を含むポインティングデバイスにおいて、前記ニューラルネット部がリカレント構造を有する対数線形化混合正規分布ネットワークR-LLGMNを利用するものであることを特徴とするポインティングデバイス、が提供される。
【００１０】
【発明の実施の形態】
次に、本発明の実施の形態を図面を参照して詳細に説明する。図１は、本発明の一実施の形態の概略の構成を示すブロック図である。本発明に係るポインティングデバイスは、上肢切断者等の身体障害者において有利に利用されるものであるが、健常者においても利用可能なものであり、ディスプレイを除いて、若しくはディスプレイをも含めてウエアラブルに構成可能なものである。
本発明のポインティングデバイスは、操作者によって発せられる複数のEMG信号に対して所定の処理を施してEMG信号の特徴量を抽出するEMG信号処理部と、入力された特徴量から移動方向の確率を算出するニューラルネット部と、ポインタの移動量を算出するポインタ制御部との３ブロックにて構成され、さらにフィードバック部を構成するディスプレイを備えている。ディスプレイには、計測した生体信号、算出された特徴パターン、ニューラルネット部の出力、移動方向推定結果、ポインタの移動量などをグラフィカルに使用者に提示することができる。上記の３ブロックは、中央処理部(CPU)と各種のデータやパラメータが格納されるメモリとを備えた情報処理装置により構成されており、この情報処理装置は外部との信号の授受のためのインターフェース（I/F）を備えている。メモリに格納されるパラメータとしては、入力部において選択した信号の種類、EMG信号処理部での特徴抽出の際に用いられるフィルタのカットオフ周波数、信号のピーク値に係るしきい値、ニューラルネット部における重み係数などのニューラルネットのパラメータ、ポインタ制御部における慣性、粘性、弾性などのパラメータなどが含まれ、これらのパラメータの内少なくともニューラルネット部に係るパラメータは使用者毎に保存されている。
以下、各部の動作について詳細に説明する。
【００１１】
〔EMG信号処理部〕
EMG信号処理部においては、複数の筋から得られるEMG信号から筋力の協調パターンを特徴量として抽出する。例えば、マルチテレメータ（Web5000:（株）日本光電製）で計測した（L+1）チャネル分のEMG信号をA/D変換し，チャネル毎に全波整流した後、２次のディジタルバタワースフィルタ（カットオフ周波数：1Hz）で平滑化する。さらにこの信号をサンプリング周波数100Hzで再サンプリングし、この時系列信号をEMGｌ(t)(l=1,2,…,L+1)とする。このEMGｌ(t)のうちLチャンネル(l=1,2,…,L)は、方向と速度、1チャネル (l=L+1) はクリックイベントの処理に利用する。
【００１２】
EMGｌ(t)(l=1,2,…,L)に関しては、Lチャンネルの和が１となるように(1)式に従って正規化したものを特徴パターンx(t)=[x1(t),x2(t),…,x L(t)]としてニューラルネット部へ入力する。ここで、x(t)はベクトルである。図２おいて、x1(t),x2(t),…,x L(t)は、x1,x2,…,xｄと表記されている。
【００１３】
【数１】
ここで、EMGｌ stbarは安静時におけるEMGｌ(t)の時間平均である。
EMGL+1(t)に関しては計測部位をLチャンネルとは別の部位（例えば首部）とし、この値を最大筋収縮時の値で正規化したものをクリック信号β(t)とする。この値が設定したしきい値を越えた時にクリックイベントが発生したと判定する。
【００１４】
EMG信号処理部では、またピーク値の検出が行われ、ピーク値がしきい値が越えたか否かが判定される。しきい値を越えた場合には、ポインタ移動の動作が行われたものと判定され、ニューラルネット部への特徴パターンの出力が行われ、ニューラルネット部での処理が行われる。また、このピーク値がしきい値を越えた場合にポインタ制御部においてポインタの移動が行われるようにしてもよい。ピーク値がしきい値が越えたか否かの判定は、EMGｌ(t)(l=1,2,…,L)の和または二乗和がしきい値が越えたか否かで判定する。あるいは、EMGｌ(t)(l=1,2,…,L)の中の何れかがあるしきい値が越えた場合にピーク値がしきい値が越えたと判定してもよい。
EMG信号処理部では、また周波数解析処理を行うようにしてもよい。例えば、EMG信号に対してFFT（Fast Fourier Transform）処理を加え、周波数軸についての信号変化を解析するようにしてもよい。
【００１５】
〔ニューラルネット部〕
ニューラルネット部では、ＥＭＧ信号処理部で計算した使用者のEMGパターン（ベクトル）x(n)(n=t-T+1,…,t)からポインタの各基準方向への事後確率を推定する。ここでＴは入力パターンの時間方向への長さとする。この計算には本発明者らが提案したR-LLGMNを用いる。このネットワークは、統計モデルの一つである混合正規分布と、動的な確率モデルの一つである隠れマルコフモデルを構造として内包しており、使用者のEMG信号の時系列的な特性を学習により獲得することができる。まずポインタの制御を行う前に、R-LLGMNを利用してEMG信号の時系列パターンとポインタの移動方向の関係を学習する。学習後のR-LLGMNは各基準方向に対してポインタが移動する事後確率をモデルに基づいて推定することができ、基準方向に対応する出力層の各ユニットからそれぞれの方向に対する事後確率(5)Oc(t)(c=1,…,C)を出力する。
前向き計算では、まず、入力ベクトルx(t)を次の（２）式に従って非線形変換し、新たな入力ベクトルとして用いる。
【００１６】
【数２】
第1層はH=1+L(L+3)/2個のユニットから構成され、恒等関数を入出力関数として用いている。この新たな入力ベクトルXh(t)（h=1,2,…,H）はそのまま(1)Oh(t)として出力される。なお、図２においてXh(t)（h=1,2,…,H）はXh（h=1,2,…,H）と表記されている。
第２層のユニット｛c,k,k’,m｝(c=1,…,C;k,k’=1,…,Kc;m=1,…,Mc,k)は第１層のユニットの出力に重み係数wc k ’ ,k,m,h が掛け合わされたものを受け取る。第2層の入出力関係は、次の（３）、（４）式により与えられる。
【００１７】
【数３】
ただし、Cは基準方向数、Kcは隠れマルコフモデルの状態数に対応するパラメータ、Mc,kは基準方向c、状態ｋに対応する混合ガウス分布モデルのコンポーネント数を表す。
【００１８】
第３層のユニット｛c,k,k’｝への入力は、第２層のユニット｛c,k,k’,m｝(m=1,…Mc,k）の出力を統合したものである。また、その入力に１時刻前の第４層の出力を乗じた値が第３層の出力となる。第３層の入出力関係は、次の（５）、（６）式により与えられる。
【００１９】
【数４】
ただし、初期状態は(4)Oc k ’(0)=1.0とする。
さらに第４層は第３層のユニット｛c,k,k’｝の出力を統合したものを受け取る。
入出力関係は、次の（７）、（８）式により与えられる。
【００２０】
【数５】
【００２１】
最後に、第５層のユニットcは第４層のKcユニット｛c,k｝（k=1,…,Kc）の出力を統合したものである。入出力関係は、次の（９）、（１０）式により与えられる。
【００２２】
【数６】
この出力(5)Oc(t)が基準方向cに対する事後確率となる。
以上のように、このネットワークは、第３層と第４層の間にリカレント結合を有することで、 １時刻前の出力を考慮することができる。また、第１層と第２層の間の重み係数wを学習的に調節するだけで、基準方向に対する事後確率を混合正規分布モデルに基づいてモデル化することができる。
【００２３】
学習時には、まずシステムから使用者に対してポインタの目標移動方向φ（０≦φ＜２π）をランダムに提示する。ただし、 φは図１のx軸方向を０とし、反時計回りに増加するように定義する。使用者は指定された方向へのポインタ移動を意図して各筋を収縮する。そしてこのときのEMG信号と目標移動方向φをN組採取し、学習用サンプルデータセットとして使用する。
いま、時刻Tにおいて、n 番目の入力ベクトルx(t)(n)に対応する教師ベクトルT(n)(φ)=(T1 (n)(φ),…,Tc (n)(φ) ,…,Tc (n)(φ))T(n=1,…,N)を（１１）式により計算する。
【００２４】
【数７】
ただしφcは、下記の（１２）式のように定義する。
φc=2πc／C （１２）
この教師信号は、目標移動方向φを、その方向を挟む2つの基準方向に分解したときの成分に対応する。もちろん確率であるから、その和は常に1である。例として、基準方向をφ=0,π/2,π,3/2πradの4方向とした場合の教師信号を図３に示す。
図から分かるように、目標移動方向が基準方向と一致しない場合にはφに近い二つの基準方向が選択され、その方向に対応する出力ユニットに教師信号が与えられている。この方法により、基準方向以外の方向も学習用データとして用いることが可能となる。
【００２５】
R-LLGMNは、 C個の基準方向それぞれに用意されたL個の時系列信号(N=LxC)を学習データとして学習を行う。
学習用データに対するネットワークの評価関数Jは、下記の（１３）式の通り定義し、
【００２６】
【数８】
これを最小化、すなわち対数尤度を最大化するように学習を行う。ただし、Yc(t) は入力ベクトルx(t)(n)に対する時刻Tでの出力を意味している。また、R-LLGMNに含まれるリカレント結合の影響を考慮するため、P.J. Werbos:「Backpropagation through time:what it does and how to do it」, Proceedings of the IEEE, Vol.78,No.10,1550/1560,(1990)に記載された通時的誤差逆伝播方式(BPTT)を用いる。これは時系列中の誤差勾配を蓄積して、重み修正量を計算するという方式である。
ここで、学習の収束時間を待つことになる操作者の精神的負担を少しでも軽減することを目的として、ZakがM. Zak: 「Terminal Attractors for Addressable Memory in Neural Networks」, Physics Letters A, Vol.133,18/22(1988)において提案したターミナルアトラクタ(Terminal Attractor)を学習側に導入し、収束時間の上限値を設定可能とした。
【００２７】
〔ポインタ制御部〕（移動方向決定部）
ここでは、R-LLGMNからの出力および推定した筋活動レベルα(t)を基にポインタの動きを計算する。
R-LLGMNからの出力は、図１に示すように各基準方向cへポインタが移動する可能性を示している。そこで時刻tのEMGパターンによるポインタの移動方向ベクトルe(t)=(eX(t),eY(t))を、以下の（１４）〜（１７）式のように定義する。
【００２８】
【数９】
【００２９】
【数１０】
ここで、v X(t), v Y(t)は各基準方向へ対応するベクトル成分のx成分、y成分を示す。
【００３０】
〔ポインタ制御部〕（ポインタ移動量算出部）
また筋活動レベルα(t)を以下の（１８）式の通り計算する。
【００３１】
【数１１】
ここでEMGc maxbarは各基準方向に対する最大随意筋収縮時のEMG信号EMGcl max (t)のチャンネル和を時間平均したものである。このような筋活動レベルを利用することで各方向に対する最大随意筋収縮レベルの違いを調節することができ、これをポインタの移動速度の決定に利用する。
【００３２】
使用者の力特性に合ったポインタの操作感覚を実現するためには、我々が日常経験する物理則にしたがったポインタの運動が適すると考えられる。そこで、筋活動レベルα(t)と移動方向ベクトルe(t)に基づき、以下の（１９）式のインピーダンスモデルを用いてポインタがどのように移動するかを計算する。
【００３３】
【数１２】
Me,Beはそれぞれ慣性、粘性パラメータでp(t)はポインタの位置ベクトルである。インピーダンスモデルに弾性力を加味してもよい。その場合には、（１９）式左辺にEe p(t)を加える。ここでEeは弾性パラメータである。またF(t)はポインタに加える駆動力で、α(t)、e(t) から0次ホールドを用いて（２０）式の通り計算する。
【００３４】
【数１３】
ただし、 gは力ゲインを表す。α0 はポインタ操作の有無を判定するしきい値である。
（１９）式は粘性摩擦Beを有する平面に置かれた質量Meの物体に力F(t)が加わった際の運動方程式を表している。このような物理モデルに従い、数値積分によってポインタの位置、速度を計算することで、操作者の力感覚に対応した自然な操作感が期待できる。
【００３５】
〔実験〕
構築した実施の形態装置の操作性を調べるための実験を行った。被験者は6名で、被験者（Subject）A,B,C,D,Eについては、いずれも健常な男子学生（22才、23 才、22才、22才、24 才）とした。被験者Fは男性（ 45才）で4年前に事故のため右手首から15cm程の部位で前腕部を切断している。 どの被験者も事前に十分な練習を行った。
EMG信号計測用の電極(NT-511G、NT-512G:（株）日本光電製)は材質がAg/AgCl,形状が直径0.012mの円形、双極差動型のものを用いた。使用数は7chで右前腕部に6ch（橈側手根伸筋、橈側手根屈筋、尺側手根伸筋、尺側手根屈筋、 深指屈筋、固有示指伸筋）、左前腕部に1ch（橈側手根伸筋）を装着した。左前腕の電極は、クリックイベント発生用である。ただし、これらの電極の装着位置に関しては、自由に装着してもシステムに導入したニューラルネットによりある程度、適応が可能である。臨床で使用する際には、EMG信号に関して知識不十分 な使用者も想定され、特定の筋の上に電極を装着することが困難と考えられるので、このような適応機能が有効と考えられる。
実験では、ポインタの移動方向を右手首の曲げ方向に対応させてニューラルネットの学習を行った。ただし、切断者の場合は脳内に残された手首の運動イメージによりマウスを操作するように指示した。
データのサンプリング周波数は100[Hz]で、R-LLGMNのパラメータであるコンポーネント数、状態数は、それぞれ、M=1,K=1,学習に用いた基準方向はφ=0からπ/2radきざみの4方向と設定した。なお本実験では、ディスプレイのサイズは１７インチ、解像度は640x480とした。
【００３６】
〔操作例〕
図４、図５に操作の一例として被験者Aが円を描いた際の結果を示す。R-LLGMN学習時の時系列長は20とし、推定時の時系列長は5とした。図４はディスプレイ上のポインタの軌跡を示しており、ポインタの色が濃い区間ではドラッグ操作を行っている。図５は制御中の信号処理の様子を示しており、上から順にEMG信号、筋活動レベルα(t)、クリック信号β(t)、ポインタの移動速度、移動方向を示している。この図から、EMG信号を利用してポインタを随意的に制御可能なことが分かる。
【００３７】
次に、図６、図７に被験者F（上肢切断者）による操作例を示す。ここでは、ディスプレイ上にランダムに幾つかの円を配置し、その円を順番にクリックするタスクを実行している。使用電極数は8chで切断された前腕部の残存筋に7ch、また、左前腕部（橈側手根伸筋）にクリックイベント用の1chを装着した。R-LLGMN学習時の時系列長は20とし、推定時の時系列長は５とした。図６はディスプレイ上のポインタの軌跡、図７は制御中の信号処理の様子を示しており、上から順にEMG信号 、筋活動レベルα(t)、クリック信号β(t)、ポインタの移動速度、移動方向を示している。本システムが、上肢切断者に対してもスムーズなポインティングを提供可能なことが分かる。
【００３８】
〔方向精度の検証〕
開発したシステムの全方位への制御特性を調べるために、方向精度の検証を行った。各被験者には、ディスプレイによるフィードバックの無い状態で、手首をπ/8radきざみの16方向に各方向２秒間動作するよう指示した。そして、このとき計測したEMG信号から推定したポインタ移動方向と操作者への指示方向との誤差を評価指標として計算した。
図８ に実験結果を示す。図８(a)は被験者A、図８(b)は被験者Bの結果であり、
学習時、推定時に入力する特徴パターンの時系列長を、それぞれ1きざみで1から40までの計1600通りに変化させて計算した誤差平均を示している。ただし、誤差平均は全方位に対する誤差の平均値である。図より各被験者とも学習時の時系列長が長く、推定時の時系列長が短くなるに従い誤差が減少していることが分かる。
【００３９】
ここで方向精度には、学習方向、未学習方向で違いが見られたため、図８の実験結果 を学習した４方向と未学習の12方向に分けて再計算した。図９、図１０はそれぞれ学習方向、未学習方向の誤差平均であり、それぞれ(a)は被験者A、 (b)は被験者B、の結果である。この図より、学習時の時系列長が長く、推定時の時系列長が短くなるにつれて、学習した方向では誤差が増加し、未学習の方向では減少することが分かる。これは、推定時の時系列長が学習時のそれよりも短くなることで、情報量が低下し、R-LLGMNからの事後確率の出力が曖昧になったためである。この結果より、全方位への精度を平均的に向上させるためには、学習した方向の誤差が増大してしまうものの、推定信号は短いほうが良いことが分かる。以下では、学習時の時系列長を10、推定時の時系列長を1として操作を行うこととする。
【００４０】
次に、本システムにおけるR-LLGMN の有効性を示すために、LLGMN、Back Propagation Neural Network（以下、BPNNと記す）を利用した場合のシステムとの比較実験を行った。LLGMN は、混合正規分布モデルを構造として導入しており、R-LLGMNからリカレント結合を除いた場合に相当する。被験者にはディスプレイによるフィードバックのある状態で、指定された方向にポインタを移動するように指示し、その際の方向推定精度を求めた。
この実験において、 LLGMN のコンポーネント数、ターミナルアトラクタのパラメータである学習時間、学習率、サンプリングタイムはR-LLGMNのそれらと同数に設定した。BPNNのユニット数に関しては、方向推定精度が高くなるように、入力層６、第２層７、第３層６、出力層４と試行錯誤的に決定した。なお、ポインタの移動方向推定処理では、BPNN 出力の総和が１となるように正規化し、 R-LLGMNの場合と同様のアルゴリズムで方向推定を実施した。学習の評価関数には、教師信号との二乗誤差を利用し、学習率、慣性係数、学習終了誤差しきい値のパラメータをそれぞれ0.01,0.001,0.0003とした。ただし、評価関数の値が5万回の繰り返し計算の後に誤差しきい値以下にならない場合は収束不能とし学習を打ち切った。
図１１に被験者Bによる実験結果を示す。各レーダチャートは各指定方向を示してから2秒間における誤差の平均と標準偏差を表しており、
(a)はLLGMN、(b)はBPNN、(c)は R-LLGMNの結果である。この図から、R-LLGMN は、BPNNやLLGMNに比べて方向精度にばらつきが無く、指示された方向に正しく推定が行えていることが分かる。
【００４１】
〔操作性の検証〕
最後に本発明デバイスの操作性を評価するための実験を行った。実験時に被験者に提示した画面を、図１２に示す。図におけるポインタの大きさ、ターゲットの大きさ、ポインタとターゲットの距離、それぞれの比率はディスプレイに表示されるものと同等にしてある。この図のように、被験者はディスプレイ上に表示された2点間を往復するタスクを実行した。2 点間の距離は400pixels、ポインタの移動方向はπ/6radきざみの6方向とし、往復操作における操作時間、最短軌道からのずれの積分値を計算する。 6方向すべてに対する操作を1セッションとし、5セッションのデータの平均値、標準偏差を求めた。R-LLGMN, LLGMN,BPNNの設定は〔方向精度の検証〕の場合と同様とした。
に実験結果を示す。
図１３、図１４に実験結果を示す。図１３は往復走査の平均時間、図１４は最短起動からのずれの積分値を示している。また、図１４ のR-LLGMNの結果を基準にBPNN, LLGMNの結果を検定した（片側検定）。ここで、危険率、5.1 ％で有意差ありと判定された結果にはそれぞれ、 印を表中に示す。各手法を比較すると、R-LLGMN が平均時間、軌道誤差ともに小さくなる傾向となっており、操作性が最も高いことが確かめられた。
【００４２】
以上好ましい実施の形態について説明したが、本発明はこれに限定されるものではなく、本発明の要旨を逸脱することのない範囲内において適宜の変更が可能なものである。例えば、実施の形態では、生体信号にはEMG信号を用いていたが、これに代え若しくはこの信号と併用して脳波、手足の動き（加速度）、接触圧などの信号を用いることができる。
【００４３】
【発明の効果】
以上説明したように、本発明のポインティングデバイスは、Recurrent構造を有するニューラルネットを用いてポインタの移動方向を推定するものであるので、変化の激しい生体信号に対しても精度よく対応することのできる、また、基準方向以外の学習していない方向に対してもスムースな移動が可能な全方位型ポインティングデバイスを提供することができる。
【図面の簡単な説明】
【図１】 本発明のシステムの概略を示すブロック図。
【図２】 本発明のポインティングデバイスにおいて用いられるニューラルネット（R-LLGMN）の動作説明図。
【図３】 本発明のポインティングデバイスにおける学習過程を説明するための、基準方向と教師信号との関係を示す図。
【図４】 本発明のポインティングデバイスの使用結果を示す図（その１）。
【図５】 図４の結果を得た際の各部の信号波形図。
【図６】 本発明のポインティングデバイスの使用結果を示す図（その２）。
【図７】 図６の結果を得た際の各部の信号波形図。
【図８】 学習時と推定時の時系列長をパラメータとする方向誤差を示すグラフ（その１）。
【図９】 学習時と推定時の時系列長をパラメータとする方向誤差を示すグラフ（その２）。
【図１０】 学習時と推定時の時系列長をパラメータとする方向誤差を示すグラフ（その３）。
【図１１】 ニューラルネット部にR-LLGMNを用いた場合と、他の方式を用いた場合との推定方向の精度を示す図。
【図１２】 本発明のポインティングデバイスの操作性を検証するために用いたディスプレイ上の目標点を示す図。
【図１３】 ニューラルネット部にR-LLGMNを用いた場合と、他の方式を用いた場合との往復操作の平均時間を示す図表。
【図１４】 ニューラルネット部にR-LLGMNを用いた場合と、他の方式を用いた場合との最短軌道からのずれの積分値を示す図表。
【発明の属する技術分野】
この発明は、重度の障害者などでも使用することのできる筋電位（ＥＭＧ）、脳波（ＥＥＧ）、手足の動き（加速度）、呼気、接触圧などの生体信号を利用して制御が可能な全方位型のポインティングデバイスに関するものである。
【０００２】
【従来の技術】
生体信号を利用したポインティングデバイスに関しては、平滑筋電位信号の強度情報からカーソル座標を直接指定する方法などが既に提案されている（例えば、特許文献１参照）。また、生体信号の識別に関しては、ニューラルネットを利用した筋電位特徴パターンからの意図推定などが提案されている（例えば、特許文献２参照）。また、生体信号を利用したインタフェース装置に関しては、重度障害者が自身の筋電位、脳波、眼電位などを利用して意思伝達を行なうための装置などが提案されている（例えば、特許文献3参照）。
【０００３】
しかしながら従来手法による生体信号の利用は、特許文献１に記載されているような信号の強度に依存した制御か、特許文献２ないし３に記載されているような特徴パターンをあらかじめ決められた有限数のクラスに識別する方法に限られていた。このため、ポインティングデバイスにおいて全方位に自由にカーソルを移動するような制御を実現することは極めて困難であった。また、従来のシステムには、使用者へのフィードバック機能やカーソルの運動を決める物理モデルなどが無いなど構成が不十分であり、操作性に問題があった。
【０００４】
ところで、人間の筋収縮レベルに応じて発生するＥＭＧ信号などの生体信号には、どのような動作をどのくらいの力で行おうとしているのか、筋の粘弾性はどの程度かなどの有益な情報が含まれており、これらの情報を効率よく抽出することができれば、これまでにない新しいインタフェース装置を実現できる可能性がある。
ＥＭＧ信号から人間の運動意志を推定する研究は、主に電動義手の制御法に関して従来から試みられており、本発明者らもこれまでに、ニューラルネットによるＥＭＧパターンの識別を利用した電動義手やマニピュレータの制御を行ってきた（例えば、非特許文献１〜５参照）。しかしながら、これらの研究では、電動義手の多自由度制御問題をEMGパターンの動作識別問題に帰着させて考えているため、駆動関節などの自由度はパターン識別のクラス数に限定されていた。これらの手法をポインティングデバイスの操作に直接利用し、例えばポインタの移動方向をパターン識別問題に帰着させた場合、ポインタの移動可能方向の総数をあらかじめ設定しなければならず、この数が増えるにつれて膨大な学習サンプル数、学習時間が必要となる。
そこで、本発明者らはこれまでに、無限に存在するポインタの移動可能方向を、有限個の基準方向の組み合わせで表現することにより、この問題を解決してきた（例えば、非特許文献６参照）。この方式は、移動方向の推定には本発明者らが提案したLog-Linearized Gaussian Mixture Network（対数線形化混合正規分布ネットワーク：以下、LLGMNと記す）を利用して各基準方向に対する事後確率を計算し、それを各々ベクトルと考えて合成することにより、360°全方位へのポインタの移動を可能とするものである。この際、LLGMNは設定した基準方向に対する事後確率だけ推定すればよく、学習の負担軽減やネットワーク構造の単純化が実現できる。しかしながら、この方法は時刻毎に得られるパターン、すなわち信号の静的な特性だけしかモデル化できないため、信号の変動が激しい場合には識別精度の低下が見られた。また、基準方向以外の学習していない方向にはカーソル移動が困難となる場合があった。
【０００５】
一方、本発明者らは、LLGMNにリカレント構造を持たせたニューラルネットRecurrent Log-Linearized Gaussian Mixture Network（再帰性LLGMN：以下、R-LLGMNと記す）を提案した（例えば、非特許文献７参照）。このネットワークは、統計モデルの一つである混合正規分布モデルと、動的な確率モデルの一つである隠れマルコフモデル（Hidden Markov Model : HMM）を内包した構造を有しており、使用者のEMG信号の時系列的な特性を学習により獲得することができる。
【０００６】
而して、EMG信号、EEG信号を利用したヒューマンインタフェースに関する研究がこれまでに数多く試みられている。例えば、Rosenbergは、ウエアラブルコンピュータのインタフェースとして、EMG信号を用いた二次元ポインティングデバイスの研究を行っている（例えば、非特許文献８参照）。しかしながら、この方法はBPNN （Back Propagation Neural Network）を用いており、Fittsの法則（例えば、非特許文献９参照）に基づき操作性を評価すると、通常のマウスの１４％ほどのパーフォーマンスしか実現できていない。一方、Barretoらは、障害者支援用に、EEG信号とEMG信号を用いたコンピュータインタフェースを開発した（例えば、非特許文献１０参照）。この方法では、EEG信号の周波数情報と、表面筋から計測されたEMG信号を用い、４方向へのポインティングとクリック操作を実現している。また、Robertsら、MasonらによりEMG信号のみを用いたポインティングの研究が報告されている（例えば、非特許文献１１、１２参照）。Robertsらは1chのEEG信号から２種類のコマンドの識別を行った。これに対し、Masonらは、EEG信号の特徴を利用しスイッチング操作を行った。しかしながら、これらのシステムでは、個人差、疲労、発汗などによる信号の変化に対してシステムを適応させることはできなかったため、臨床で適用することは困難であった。
【０００７】
【特許文献１】
特開平8-36459号公報
【特許文献２】
特開2002-345862号公報
【特許文献３】
特開平11-203022号公報
【非特許文献１】
辻敏夫、森大一郎、伊藤宏司：「統計構造を組み込んだニューラルネットによるEMG動作識別法」、電気学会論文誌C,Vol.112-C,No.8,465/473,(1992)
【非特許文献２】
辻敏夫、市延弘行、金子真:「混合正規分布モデルを用いたフィードフォワード型ニューラルネット」電子情報通信学会論文誌、D-II,Vol.77,No.10,2093/2100,(1994)
【非特許文献３】
福田修、辻敏夫、金子真:「EMG信号を利用した手動制御人間支援マニュピュレータ」、日本ロボット学会誌、Vol.18,No.3,387/394,(2000)
【非特許文献４】
O.Fukuda,T.Tsuji and M.Kaneko:「An EMG Controlled Robotic Manipulator Using Neural Networks」, Proceedings of IEEE International Workshop on Robot and Human Communication,442/447,(1997)
【非特許文献５】
O.Fukuda,T.Tsuji,A.Otsuka and M.Kaneko:「An EMG-based Human Robot Interface for Rehabilitation Aid」, Proceedings of IEEE International Conference on Robotics and Automation,3492/3497,(1998)
【非特許文献６】
辻敏夫,福田修,村上満,金子真:「ニューラルネットを利用したEMG制御型ポインティングデバイス」、計測自動制御学会論文集、Vol.1,No.1,1/7,(2000)
【非特許文献７】
T.Tsuji, N.Bu,Fukuda, and M.Kaneko: 「A Recurrent Log-Linearized Gaussian Mixture Network」,IEEE Trans. On Neural Networks,(in press)
【非特許文献８】
R.Rosenberg: 「The Biofeedback Pointer :EMG Control of a Two Dimensional Pointer」, Proceedings of the 2nd. International Symposium on Wearable Computers,162/163, (1998)
【非特許文献９】
P.M.Fitts :「The information capacity of the motor system in controlling the amplitude of movement」, Journal of Experimental Psychology, vol.47,381/391, (1954)
【非特許文献１０】
A.B.Barreto, S. D. Scargle and M. Adjouadi:「A Practical EMG-based Human-computer Interface for Users with Motor Disabilities」, Journal of Rehabilitation Research and Development, 37(1),53-63,(2000)
【非特許文献１１】
S.J.Roberts, W.D. Penny:「Real-time Brain-Computer Interfacing: a Preliminary Study Using Bayesian Learning, Medical,Biological Engineering and Computing, Vol.38,56/61, (2000)
【非特許文献１２】
S. J. Mason,G. E. Birch:「A Brain-Computer Switch for Asynchronous Control Applications」, IEEE Transactions on Biological Engineering, Vol.47,No.10,1297/1307, (2000)
【０００８】
【発明の解決しようとする課題】
本発明は、上記の問題に鑑みなされたものであって、その目的は、筋電位、脳波、手足の動き（加速度）、呼気、接触圧などを利用して、変化の激しい信号に大しても精度よく制御が可能な、未学習の方向に対しても容易に移動が可能なポインティングデバイスを提供できるようにすることである。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため、本発明によれば、生体信号を収集する生体信号収集部と、前記生体信号から特徴パターンを抽出する機能、および、前記生体信号の平均的強度を算出する機能を有する生体信号処理部と、前記特徴パターンから使用者が意図するポインタ移動方向についての確率を計算するニューラルネット部と、ニューラルネット部が計算した確率からポインタの移動方向を決定する移動方向決定部、および、前記ポインタの移動方向と前記生体信号の平均的強度とからポインタの移動量を物理モデルに基づいて計算するポインタ移動量算出部を有するポインタ制御部と、各部で使用するパラメータを保存・読み出し可能なパラメータ保存部と、を含むポインティングデバイスにおいて、前記ニューラルネット部がリカレント構造を有する対数線形化混合正規分布ネットワークR-LLGMNを利用するものであることを特徴とするポインティングデバイス、が提供される。
【００１０】
【発明の実施の形態】
次に、本発明の実施の形態を図面を参照して詳細に説明する。図１は、本発明の一実施の形態の概略の構成を示すブロック図である。本発明に係るポインティングデバイスは、上肢切断者等の身体障害者において有利に利用されるものであるが、健常者においても利用可能なものであり、ディスプレイを除いて、若しくはディスプレイをも含めてウエアラブルに構成可能なものである。
本発明のポインティングデバイスは、操作者によって発せられる複数のEMG信号に対して所定の処理を施してEMG信号の特徴量を抽出するEMG信号処理部と、入力された特徴量から移動方向の確率を算出するニューラルネット部と、ポインタの移動量を算出するポインタ制御部との３ブロックにて構成され、さらにフィードバック部を構成するディスプレイを備えている。ディスプレイには、計測した生体信号、算出された特徴パターン、ニューラルネット部の出力、移動方向推定結果、ポインタの移動量などをグラフィカルに使用者に提示することができる。上記の３ブロックは、中央処理部(CPU)と各種のデータやパラメータが格納されるメモリとを備えた情報処理装置により構成されており、この情報処理装置は外部との信号の授受のためのインターフェース（I/F）を備えている。メモリに格納されるパラメータとしては、入力部において選択した信号の種類、EMG信号処理部での特徴抽出の際に用いられるフィルタのカットオフ周波数、信号のピーク値に係るしきい値、ニューラルネット部における重み係数などのニューラルネットのパラメータ、ポインタ制御部における慣性、粘性、弾性などのパラメータなどが含まれ、これらのパラメータの内少なくともニューラルネット部に係るパラメータは使用者毎に保存されている。
以下、各部の動作について詳細に説明する。
【００１１】
〔EMG信号処理部〕
EMG信号処理部においては、複数の筋から得られるEMG信号から筋力の協調パターンを特徴量として抽出する。例えば、マルチテレメータ（Web5000:（株）日本光電製）で計測した（L+1）チャネル分のEMG信号をA/D変換し，チャネル毎に全波整流した後、２次のディジタルバタワースフィルタ（カットオフ周波数：1Hz）で平滑化する。さらにこの信号をサンプリング周波数100Hzで再サンプリングし、この時系列信号をEMGｌ(t)(l=1,2,…,L+1)とする。このEMGｌ(t)のうちLチャンネル(l=1,2,…,L)は、方向と速度、1チャネル (l=L+1) はクリックイベントの処理に利用する。
【００１２】
EMGｌ(t)(l=1,2,…,L)に関しては、Lチャンネルの和が１となるように(1)式に従って正規化したものを特徴パターンx(t)=[x1(t),x2(t),…,x L(t)]としてニューラルネット部へ入力する。ここで、x(t)はベクトルである。図２おいて、x1(t),x2(t),…,x L(t)は、x1,x2,…,xｄと表記されている。
【００１３】
【数１】
EMGL+1(t)に関しては計測部位をLチャンネルとは別の部位（例えば首部）とし、この値を最大筋収縮時の値で正規化したものをクリック信号β(t)とする。この値が設定したしきい値を越えた時にクリックイベントが発生したと判定する。
【００１４】
EMG信号処理部では、またピーク値の検出が行われ、ピーク値がしきい値が越えたか否かが判定される。しきい値を越えた場合には、ポインタ移動の動作が行われたものと判定され、ニューラルネット部への特徴パターンの出力が行われ、ニューラルネット部での処理が行われる。また、このピーク値がしきい値を越えた場合にポインタ制御部においてポインタの移動が行われるようにしてもよい。ピーク値がしきい値が越えたか否かの判定は、EMGｌ(t)(l=1,2,…,L)の和または二乗和がしきい値が越えたか否かで判定する。あるいは、EMGｌ(t)(l=1,2,…,L)の中の何れかがあるしきい値が越えた場合にピーク値がしきい値が越えたと判定してもよい。
EMG信号処理部では、また周波数解析処理を行うようにしてもよい。例えば、EMG信号に対してFFT（Fast Fourier Transform）処理を加え、周波数軸についての信号変化を解析するようにしてもよい。
【００１５】
〔ニューラルネット部〕
ニューラルネット部では、ＥＭＧ信号処理部で計算した使用者のEMGパターン（ベクトル）x(n)(n=t-T+1,…,t)からポインタの各基準方向への事後確率を推定する。ここでＴは入力パターンの時間方向への長さとする。この計算には本発明者らが提案したR-LLGMNを用いる。このネットワークは、統計モデルの一つである混合正規分布と、動的な確率モデルの一つである隠れマルコフモデルを構造として内包しており、使用者のEMG信号の時系列的な特性を学習により獲得することができる。まずポインタの制御を行う前に、R-LLGMNを利用してEMG信号の時系列パターンとポインタの移動方向の関係を学習する。学習後のR-LLGMNは各基準方向に対してポインタが移動する事後確率をモデルに基づいて推定することができ、基準方向に対応する出力層の各ユニットからそれぞれの方向に対する事後確率(5)Oc(t)(c=1,…,C)を出力する。
前向き計算では、まず、入力ベクトルx(t)を次の（２）式に従って非線形変換し、新たな入力ベクトルとして用いる。
【００１６】
【数２】
第２層のユニット｛c,k,k’,m｝(c=1,…,C;k,k’=1,…,Kc;m=1,…,Mc,k)は第１層のユニットの出力に重み係数wc k ’ ,k,m,h が掛け合わされたものを受け取る。第2層の入出力関係は、次の（３）、（４）式により与えられる。
【００１７】
【数３】
【００１８】
第３層のユニット｛c,k,k’｝への入力は、第２層のユニット｛c,k,k’,m｝(m=1,…Mc,k）の出力を統合したものである。また、その入力に１時刻前の第４層の出力を乗じた値が第３層の出力となる。第３層の入出力関係は、次の（５）、（６）式により与えられる。
【００１９】
【数４】
さらに第４層は第３層のユニット｛c,k,k’｝の出力を統合したものを受け取る。
入出力関係は、次の（７）、（８）式により与えられる。
【００２０】
【数５】
最後に、第５層のユニットcは第４層のKcユニット｛c,k｝（k=1,…,Kc）の出力を統合したものである。入出力関係は、次の（９）、（１０）式により与えられる。
【００２２】
【数６】
以上のように、このネットワークは、第３層と第４層の間にリカレント結合を有することで、 １時刻前の出力を考慮することができる。また、第１層と第２層の間の重み係数wを学習的に調節するだけで、基準方向に対する事後確率を混合正規分布モデルに基づいてモデル化することができる。
【００２３】
学習時には、まずシステムから使用者に対してポインタの目標移動方向φ（０≦φ＜２π）をランダムに提示する。ただし、 φは図１のx軸方向を０とし、反時計回りに増加するように定義する。使用者は指定された方向へのポインタ移動を意図して各筋を収縮する。そしてこのときのEMG信号と目標移動方向φをN組採取し、学習用サンプルデータセットとして使用する。
いま、時刻Tにおいて、n 番目の入力ベクトルx(t)(n)に対応する教師ベクトルT(n)(φ)=(T1 (n)(φ),…,Tc (n)(φ) ,…,Tc (n)(φ))T(n=1,…,N)を（１１）式により計算する。
【００２４】
【数７】
φc=2πc／C （１２）
この教師信号は、目標移動方向φを、その方向を挟む2つの基準方向に分解したときの成分に対応する。もちろん確率であるから、その和は常に1である。例として、基準方向をφ=0,π/2,π,3/2πradの4方向とした場合の教師信号を図３に示す。
図から分かるように、目標移動方向が基準方向と一致しない場合にはφに近い二つの基準方向が選択され、その方向に対応する出力ユニットに教師信号が与えられている。この方法により、基準方向以外の方向も学習用データとして用いることが可能となる。
【００２５】
R-LLGMNは、 C個の基準方向それぞれに用意されたL個の時系列信号(N=LxC)を学習データとして学習を行う。
学習用データに対するネットワークの評価関数Jは、下記の（１３）式の通り定義し、
【００２６】
【数８】
ここで、学習の収束時間を待つことになる操作者の精神的負担を少しでも軽減することを目的として、ZakがM. Zak: 「Terminal Attractors for Addressable Memory in Neural Networks」, Physics Letters A, Vol.133,18/22(1988)において提案したターミナルアトラクタ(Terminal Attractor)を学習側に導入し、収束時間の上限値を設定可能とした。
【００２７】
〔ポインタ制御部〕（移動方向決定部）
ここでは、R-LLGMNからの出力および推定した筋活動レベルα(t)を基にポインタの動きを計算する。
R-LLGMNからの出力は、図１に示すように各基準方向cへポインタが移動する可能性を示している。そこで時刻tのEMGパターンによるポインタの移動方向ベクトルe(t)=(eX(t),eY(t))を、以下の（１４）〜（１７）式のように定義する。
【００２８】
【数９】
【数１０】
【００３０】
〔ポインタ制御部〕（ポインタ移動量算出部）
また筋活動レベルα(t)を以下の（１８）式の通り計算する。
【００３１】
【数１１】
【００３２】
使用者の力特性に合ったポインタの操作感覚を実現するためには、我々が日常経験する物理則にしたがったポインタの運動が適すると考えられる。そこで、筋活動レベルα(t)と移動方向ベクトルe(t)に基づき、以下の（１９）式のインピーダンスモデルを用いてポインタがどのように移動するかを計算する。
【００３３】
【数１２】
【００３４】
【数１３】
（１９）式は粘性摩擦Beを有する平面に置かれた質量Meの物体に力F(t)が加わった際の運動方程式を表している。このような物理モデルに従い、数値積分によってポインタの位置、速度を計算することで、操作者の力感覚に対応した自然な操作感が期待できる。
【００３５】
〔実験〕
構築した実施の形態装置の操作性を調べるための実験を行った。被験者は6名で、被験者（Subject）A,B,C,D,Eについては、いずれも健常な男子学生（22才、23 才、22才、22才、24 才）とした。被験者Fは男性（ 45才）で4年前に事故のため右手首から15cm程の部位で前腕部を切断している。 どの被験者も事前に十分な練習を行った。
EMG信号計測用の電極(NT-511G、NT-512G:（株）日本光電製)は材質がAg/AgCl,形状が直径0.012mの円形、双極差動型のものを用いた。使用数は7chで右前腕部に6ch（橈側手根伸筋、橈側手根屈筋、尺側手根伸筋、尺側手根屈筋、 深指屈筋、固有示指伸筋）、左前腕部に1ch（橈側手根伸筋）を装着した。左前腕の電極は、クリックイベント発生用である。ただし、これらの電極の装着位置に関しては、自由に装着してもシステムに導入したニューラルネットによりある程度、適応が可能である。臨床で使用する際には、EMG信号に関して知識不十分 な使用者も想定され、特定の筋の上に電極を装着することが困難と考えられるので、このような適応機能が有効と考えられる。
実験では、ポインタの移動方向を右手首の曲げ方向に対応させてニューラルネットの学習を行った。ただし、切断者の場合は脳内に残された手首の運動イメージによりマウスを操作するように指示した。
データのサンプリング周波数は100[Hz]で、R-LLGMNのパラメータであるコンポーネント数、状態数は、それぞれ、M=1,K=1,学習に用いた基準方向はφ=0からπ/2radきざみの4方向と設定した。なお本実験では、ディスプレイのサイズは１７インチ、解像度は640x480とした。
【００３６】
〔操作例〕
図４、図５に操作の一例として被験者Aが円を描いた際の結果を示す。R-LLGMN学習時の時系列長は20とし、推定時の時系列長は5とした。図４はディスプレイ上のポインタの軌跡を示しており、ポインタの色が濃い区間ではドラッグ操作を行っている。図５は制御中の信号処理の様子を示しており、上から順にEMG信号、筋活動レベルα(t)、クリック信号β(t)、ポインタの移動速度、移動方向を示している。この図から、EMG信号を利用してポインタを随意的に制御可能なことが分かる。
【００３７】
次に、図６、図７に被験者F（上肢切断者）による操作例を示す。ここでは、ディスプレイ上にランダムに幾つかの円を配置し、その円を順番にクリックするタスクを実行している。使用電極数は8chで切断された前腕部の残存筋に7ch、また、左前腕部（橈側手根伸筋）にクリックイベント用の1chを装着した。R-LLGMN学習時の時系列長は20とし、推定時の時系列長は５とした。図６はディスプレイ上のポインタの軌跡、図７は制御中の信号処理の様子を示しており、上から順にEMG信号 、筋活動レベルα(t)、クリック信号β(t)、ポインタの移動速度、移動方向を示している。本システムが、上肢切断者に対してもスムーズなポインティングを提供可能なことが分かる。
【００３８】
〔方向精度の検証〕
開発したシステムの全方位への制御特性を調べるために、方向精度の検証を行った。各被験者には、ディスプレイによるフィードバックの無い状態で、手首をπ/8radきざみの16方向に各方向２秒間動作するよう指示した。そして、このとき計測したEMG信号から推定したポインタ移動方向と操作者への指示方向との誤差を評価指標として計算した。
図８ に実験結果を示す。図８(a)は被験者A、図８(b)は被験者Bの結果であり、
学習時、推定時に入力する特徴パターンの時系列長を、それぞれ1きざみで1から40までの計1600通りに変化させて計算した誤差平均を示している。ただし、誤差平均は全方位に対する誤差の平均値である。図より各被験者とも学習時の時系列長が長く、推定時の時系列長が短くなるに従い誤差が減少していることが分かる。
【００３９】
ここで方向精度には、学習方向、未学習方向で違いが見られたため、図８の実験結果 を学習した４方向と未学習の12方向に分けて再計算した。図９、図１０はそれぞれ学習方向、未学習方向の誤差平均であり、それぞれ(a)は被験者A、 (b)は被験者B、の結果である。この図より、学習時の時系列長が長く、推定時の時系列長が短くなるにつれて、学習した方向では誤差が増加し、未学習の方向では減少することが分かる。これは、推定時の時系列長が学習時のそれよりも短くなることで、情報量が低下し、R-LLGMNからの事後確率の出力が曖昧になったためである。この結果より、全方位への精度を平均的に向上させるためには、学習した方向の誤差が増大してしまうものの、推定信号は短いほうが良いことが分かる。以下では、学習時の時系列長を10、推定時の時系列長を1として操作を行うこととする。
【００４０】
次に、本システムにおけるR-LLGMN の有効性を示すために、LLGMN、Back Propagation Neural Network（以下、BPNNと記す）を利用した場合のシステムとの比較実験を行った。LLGMN は、混合正規分布モデルを構造として導入しており、R-LLGMNからリカレント結合を除いた場合に相当する。被験者にはディスプレイによるフィードバックのある状態で、指定された方向にポインタを移動するように指示し、その際の方向推定精度を求めた。
この実験において、 LLGMN のコンポーネント数、ターミナルアトラクタのパラメータである学習時間、学習率、サンプリングタイムはR-LLGMNのそれらと同数に設定した。BPNNのユニット数に関しては、方向推定精度が高くなるように、入力層６、第２層７、第３層６、出力層４と試行錯誤的に決定した。なお、ポインタの移動方向推定処理では、BPNN 出力の総和が１となるように正規化し、 R-LLGMNの場合と同様のアルゴリズムで方向推定を実施した。学習の評価関数には、教師信号との二乗誤差を利用し、学習率、慣性係数、学習終了誤差しきい値のパラメータをそれぞれ0.01,0.001,0.0003とした。ただし、評価関数の値が5万回の繰り返し計算の後に誤差しきい値以下にならない場合は収束不能とし学習を打ち切った。
図１１に被験者Bによる実験結果を示す。各レーダチャートは各指定方向を示してから2秒間における誤差の平均と標準偏差を表しており、
(a)はLLGMN、(b)はBPNN、(c)は R-LLGMNの結果である。この図から、R-LLGMN は、BPNNやLLGMNに比べて方向精度にばらつきが無く、指示された方向に正しく推定が行えていることが分かる。
【００４１】
〔操作性の検証〕
最後に本発明デバイスの操作性を評価するための実験を行った。実験時に被験者に提示した画面を、図１２に示す。図におけるポインタの大きさ、ターゲットの大きさ、ポインタとターゲットの距離、それぞれの比率はディスプレイに表示されるものと同等にしてある。この図のように、被験者はディスプレイ上に表示された2点間を往復するタスクを実行した。2 点間の距離は400pixels、ポインタの移動方向はπ/6radきざみの6方向とし、往復操作における操作時間、最短軌道からのずれの積分値を計算する。 6方向すべてに対する操作を1セッションとし、5セッションのデータの平均値、標準偏差を求めた。R-LLGMN, LLGMN,BPNNの設定は〔方向精度の検証〕の場合と同様とした。
に実験結果を示す。
図１３、図１４に実験結果を示す。図１３は往復走査の平均時間、図１４は最短起動からのずれの積分値を示している。また、図１４ のR-LLGMNの結果を基準にBPNN, LLGMNの結果を検定した（片側検定）。ここで、危険率、5.1 ％で有意差ありと判定された結果にはそれぞれ、 印を表中に示す。各手法を比較すると、R-LLGMN が平均時間、軌道誤差ともに小さくなる傾向となっており、操作性が最も高いことが確かめられた。
【００４２】
以上好ましい実施の形態について説明したが、本発明はこれに限定されるものではなく、本発明の要旨を逸脱することのない範囲内において適宜の変更が可能なものである。例えば、実施の形態では、生体信号にはEMG信号を用いていたが、これに代え若しくはこの信号と併用して脳波、手足の動き（加速度）、接触圧などの信号を用いることができる。
【００４３】
【発明の効果】
以上説明したように、本発明のポインティングデバイスは、Recurrent構造を有するニューラルネットを用いてポインタの移動方向を推定するものであるので、変化の激しい生体信号に対しても精度よく対応することのできる、また、基準方向以外の学習していない方向に対してもスムースな移動が可能な全方位型ポインティングデバイスを提供することができる。
【図面の簡単な説明】
【図１】 本発明のシステムの概略を示すブロック図。
【図２】 本発明のポインティングデバイスにおいて用いられるニューラルネット（R-LLGMN）の動作説明図。
【図３】 本発明のポインティングデバイスにおける学習過程を説明するための、基準方向と教師信号との関係を示す図。
【図４】 本発明のポインティングデバイスの使用結果を示す図（その１）。
【図５】 図４の結果を得た際の各部の信号波形図。
【図６】 本発明のポインティングデバイスの使用結果を示す図（その２）。
【図７】 図６の結果を得た際の各部の信号波形図。
【図８】 学習時と推定時の時系列長をパラメータとする方向誤差を示すグラフ（その１）。
【図９】 学習時と推定時の時系列長をパラメータとする方向誤差を示すグラフ（その２）。
【図１０】 学習時と推定時の時系列長をパラメータとする方向誤差を示すグラフ（その３）。
【図１１】 ニューラルネット部にR-LLGMNを用いた場合と、他の方式を用いた場合との推定方向の精度を示す図。
【図１２】 本発明のポインティングデバイスの操作性を検証するために用いたディスプレイ上の目標点を示す図。
【図１３】 ニューラルネット部にR-LLGMNを用いた場合と、他の方式を用いた場合との往復操作の平均時間を示す図表。
【図１４】 ニューラルネット部にR-LLGMNを用いた場合と、他の方式を用いた場合との最短軌道からのずれの積分値を示す図表。
Claims (14)
- 生体信号を収集する生体信号収集部と、前記生体信号から特徴パターンを抽出する生体信号処理部と、前記特徴パターンから使用者が意図するポインタ移動方向についての確率を計算するニューラルネット部と、ニューラルネット部が計算した確率からポインタの移動方向を決定する移動方向決定部、および、前記ポインタの移動方向と前記生体信号の平均的強度とからポインタの移動量を物理モデルに基づいて計算するポインタ移動量算出部を有するポインタ制御部と、各部で使用するパラメータを読み出し可能に保存するパラメータ保存部と、を含むポインティングデバイスにおいて、
前記ニューラルネット部は、リカレント構造を有する対数線形化混合正規分布ネットワークR-LLGMN（Recurrent Log-Linearized Gaussian Mixture Network）を有し、該R-LLGMNの学習時、推定時に入力する特徴パターンの時系列長を調節することにより該R-LLGMNの事後確率の出力の曖昧さを調節することを特徴とするポインティングデバイス。 - 前記生体信号収集部は、入力として筋電位、脳波、手足の加速度、接触圧を選択・組み合わせて受けることが可能であることを特徴とする請求項１に記載のポインティングデバイス。
- 前記生体信号処理部では、整流処理、フィルタリング処理、正規化処理、ピーク検出処理が行われることを特徴とする請求項１に記載のポインティングデバイス。
- 前記生体信号処理部では、整流処理、フィルタリング処理、周波数解析処理、正規化処理、ピーク検出処理が行われることを特徴とする請求項１に記載のポインティングデバイス。
- ニューラルネット部には、使用する生体信号に含まれる個人差に適応するために、ニューラルネットを利用した学習機構を備えることを特徴とする請求項１に記載のポインティングデバイス。
- ニューラルネット部は、得られた特徴パターンに対してポインタが左右、上下などの複数の基準方向に移動する確率を計算することを特徴とする請求項１に記載のポインティングデバイス。
- 移動方向決定部では、ニューラルネット部で計算した各基準方向に対するポインタ移動確率に基づいて移動方向を決定することを特徴とする請求項６に記載のポインティングデバイス。
- ポインタ制御部では、使用者が意図する力をポインタの移動方向と前記生体信号の平均的強度から計算し、慣性、粘性からなる物理モデルにしたがってポインタの移動量を算出することを特徴とする請求項１に記載のポインティングデバイス。
- ポインタ制御部では、使用者が意図する力をポインタの移動方向と前記生体信号の平均的強度から計算し、慣性、粘性、弾性からなる物理モデルにしたがってポインタの移動量を算出することを特徴とする請求項１に記載のポインティングデバイス。
- ポインタ制御中の各部の処理状況を使用者に提示するフィードバック部をさらに有することを特徴とする請求項１に記載のポインティングデバイス。
- 前記フィードバック部では、計測した生体信号、特徴パターン部、ニューラルネット部の出力、移動方向推定結果、移動量の中の少なくとも一つをグラフィカルに使用者に提示することを特徴とする請求項１０に記載のポインティングデバイス。
- パラメータ保存部に格納されるデータには、前記生体信号収集部において選択された信号の種類、生体信号処理部での特徴パターン抽出の際に用いられるフィルタのカットオフ周波数、信号のピーク値に係るしきい値、ニューラルネット部における重み係数などのニューラルネットに係るパラメータ、ポインタ制御部における慣性、粘性などのパラメータの中の一つまたは複数が含まれることを特徴とする請求項１に記載のポインティングデバイス。
- パラメータ保存部に格納されるニューラルネット部において用いられるパラメータは、使用者毎に保存されることを特徴とする請求項１に記載のポインティングデバイス。
- システム全体は、ウエアラブルに構成されていることを特徴とする請求項１に記載のポインティングデバイス。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003173965A JP4078419B2 (ja) | 2003-06-18 | 2003-06-18 | ポインティングデバイス |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003173965A JP4078419B2 (ja) | 2003-06-18 | 2003-06-18 | ポインティングデバイス |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005011037A JP2005011037A (ja) | 2005-01-13 |
| JP4078419B2 true JP4078419B2 (ja) | 2008-04-23 |
Family
ID=34097625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003173965A Expired - Lifetime JP4078419B2 (ja) | 2003-06-18 | 2003-06-18 | ポインティングデバイス |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4078419B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8062620B2 (en) | 2004-11-29 | 2011-11-22 | Shell Oil Company | Catalytic process for the conversion of Co (II)hydroxide in Co (III)oxidehydroxide |
| US10866637B2 (en) | 2016-02-02 | 2020-12-15 | Samsung Electronics Co. Ltd. | Gesture classification apparatus and method using EMG signal |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006309448A (ja) * | 2005-04-27 | 2006-11-09 | Sony Corp | ユーザインターフェース装置及び方法 |
| WO2011007569A1 (ja) | 2009-07-15 | 2011-01-20 | 国立大学法人筑波大学 | 分類推定システムおよび分類推定プログラム |
| CN101995947B (zh) * | 2009-08-21 | 2012-07-04 | 香港中文大学 | 通过网络感知用户动作的系统和方法 |
| US20130046715A1 (en) * | 2010-01-11 | 2013-02-21 | Universite De Mons | Method to determine an artificial limb movement from an electroencephalographic signal |
| JP5623759B2 (ja) * | 2010-02-26 | 2014-11-12 | 公益財団法人東京都医学総合研究所 | 筋電図信号に基づいた脳内の並列運動制御機能の同定及び評価法 |
| KR102131358B1 (ko) | 2013-06-17 | 2020-07-07 | 삼성전자주식회사 | 유저 인터페이스 장치 및 유저 인터페이스 장치의 동작 방법 |
| JP6226175B2 (ja) * | 2013-09-04 | 2017-11-08 | 株式会社Ihi | 操作性評価装置、方法およびプログラム |
| US10409371B2 (en) * | 2016-07-25 | 2019-09-10 | Ctrl-Labs Corporation | Methods and apparatus for inferring user intent based on neuromuscular signals |
| CN106725463B (zh) * | 2017-01-18 | 2020-02-21 | 浙江大学 | 应用皮层脑电信号对大脑皮层手部功能区定位的方法和系统 |
| CN106963372B (zh) * | 2017-04-10 | 2019-10-18 | 中国兵器工业计算机应用技术研究所 | 一种脑电-肌电信号融合装置及融合方法 |
| CN115192049B (zh) * | 2022-09-14 | 2022-12-09 | 深圳市心流科技有限公司 | 一种智能假肢的肌电采样频率调节方法 |
-
2003
- 2003-06-18 JP JP2003173965A patent/JP4078419B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8062620B2 (en) | 2004-11-29 | 2011-11-22 | Shell Oil Company | Catalytic process for the conversion of Co (II)hydroxide in Co (III)oxidehydroxide |
| US10866637B2 (en) | 2016-02-02 | 2020-12-15 | Samsung Electronics Co. Ltd. | Gesture classification apparatus and method using EMG signal |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005011037A (ja) | 2005-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209885B (zh) | 一种手势信息处理方法、装置、电子设备及存储介质 | |
| Tsinganos et al. | Improved gesture recognition based on sEMG signals and TCN | |
| Kim et al. | EMG-based hand gesture recognition for realtime biosignal interfacing | |
| CN107378944B (zh) | 一种基于主成分分析法的多维表面肌电信号假手控制方法 | |
| Raurale et al. | Real-time embedded EMG signal analysis for wrist-hand pose identification | |
| Ahsan et al. | EMG signal classification for human computer interaction: a review | |
| US20190033974A1 (en) | Armband for tracking hand motion using electrical impedance measurement | |
| Shanmuganathan et al. | R-CNN and wavelet feature extraction for hand gesture recognition with EMG signals | |
| Naik et al. | Hand gestures for HCI using ICA of EMG | |
| JP4078419B2 (ja) | ポインティングデバイス | |
| Bachynskyi et al. | Is motion capture-based biomechanical simulation valid for hci studies? study and implications | |
| Nasr et al. | MuscleNET: mapping electromyography to kinematic and dynamic biomechanical variables by machine learning | |
| WO2021052045A1 (zh) | 肢体动作的识别方法、装置、计算机设备及存储介质 | |
| Ma et al. | A bi-directional LSTM network for estimating continuous upper limb movement from surface electromyography | |
| Erkilinc et al. | Camera control with EMG signals using principal component analysis and support vector machines | |
| Sadarangani et al. | A preliminary investigation on the utility of temporal features of Force Myography in the two-class problem of grasp vs. no-grasp in the presence of upper-extremity movements | |
| Beaulieu et al. | Multi-position training improves robustness of pattern recognition and reduces limb-position effect in prosthetic control | |
| Dwivedi et al. | Extraction of nonlinear synergies for proportional and simultaneous estimation of finger kinematics | |
| Zengyu et al. | A simultaneous gesture classification and force estimation strategy based on wearable A-mode ultrasound and cascade model | |
| Sîmpetru et al. | Sensing the full dynamics of the human hand with a neural interface and deep learning | |
| KR100994408B1 (ko) | 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치 | |
| Kumar et al. | A critical review on hand gesture recognition using semg: Challenges, application, process and techniques | |
| Naik et al. | Subtle hand gesture identification for hci using temporal decorrelation source separation bss of surface emg | |
| Sakr et al. | Estimation of user-applied isometric force/torque using upper extremity force myography | |
| Wu et al. | A new EMG decomposition framework for upper limb prosthetic systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050315 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070531 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080108 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4078419 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |