JP4617467B2 - 学習支援装置、仮想ヒューマンインタフェース装置、仮想ヒューマンインタフェース方法、仮想ヒューマンインタフェースシステム、これらの装置を実現するプログラムおよび記録媒体 - Google Patents

Description

本発明は、複数の筋肉の筋電信号から所望の機械学習のモデルを生成する学習支援装置、そのモデルに基づいて複数の筋肉に対応した関節の状態の組み合わせの時系列を推定する仮想ヒューマンインタフェース装置および仮想ヒューマンインタフェース方法、この仮想ヒューマンインタフェース装置を介して複数の関節に対応したロボットアクチュエータを駆動する仮想ヒューマンインタフェースシステム、これらの装置を実現するプログラムおよび記録媒体に関する。

指を用いた操作は、日常多く見られる。例えば、テレビ等のリモコンを使うときや自動券売機を利用して切符を買うときだけではなく、電話をかけたり、キーボードを介して計算機を操作する場合には、指でボタンを押す操作が行われる。これらの操作は、一本の指で一つづつボタンを順次押してもストレスがない場合もあるが、複数の指で次々とボタンを押した方が効率的に行われる場合もある。また、楽器の演奏の過程では、例えば、簡単な縦笛であっても、複数の指を同時に動かすることによって目的の音程が決定されている。

近年、筋電信号を用いて指の運動を推定し、義手に応用しようとする研究が行われている。しかし，指は、肩や肘に比べて自由度が多く、簡単な姿勢であっても、それを実現する筋電信号パターンが無数に存在する。したがって、従来、筋電信号を用いた指の運動の識別は、姿勢と、その姿勢とは関係がない筋電信号パターンとの対応関係に基づいて行われてきた。

また、従来、筋電信号に基づいて義手やロボットを操作するための制御信号は、複数の筋電信号パターンの識別、あるいは神経回路モデルなどを用いた連続的な状態に基づいて生成されていた。このような従来例では、複数の指によって定まる姿勢の識別は、例えば、鉛筆を持つ姿勢のように、何らかの意味がある所望の数の姿勢が予め想定され、かつ数秒間に亘ってほぼ同じ姿勢を維持する操作者から得られた筋電信号が参照されることによって実現されていた。

しかし、筋電信号に基づく所望の姿勢の識別は、例えば、指がない障害者であっても、その障害者が現実と同じような感覚で所望の装置を操作できる仮想ヒューマンインタフェースの実現に欠くことができない基礎技術である。したがって、上述した研究は、様々な指の動作の認識を可能とする手法の実現に向けて積極的に進められつつある。
特開平０７−０３１６３８号公報 「常時装用インタフェース技術」、ＮＴＴ技術ジャーナル、ｐｐ．５７−６０、２００３−９、福本雅朗、杉村利明、 "A survey of Glove-based Input", IEEE Computer Graphics and Applications, vol.14, Issue.1, pp.30-39,1994-1,D.J. Stuman and D.Zeltzer

ところで、上述した従来例では、定常的な筋電パターンに基づいて学習が行われていたため、新たに指や筋肉の使い方を覚える負担が操作者に課され、しかも、指の運動や姿勢をリアルタイムに識別することは実現できなかった。
なお、指の動きや姿勢を決定する個々関節の角度の推定は、従来、神経回路モデルを用いて実現することが可能である。

しかし、このような構成の実現には、上述した識別に必要なデータを得る学習に時間を要し、かつ高価な設備が必要である。さらに、指の動きや姿勢を決定する関節（自由度）の数は、「２０」ないし「３０」と大きい。したがって、これらの関節の角度の組み合わせとして指の一本一本の動作をリアルタイムに識別することは、実現されていなかった。
本発明は、筋肉の動きが制約されることなく、複数の筋肉の筋電信号に基づいて所望の複数の関節の状態やこれらの状態の組み合わせの時系列を精度よく高速に推定できる学習支援装置、学習支援方法、仮想ヒューマンインタフェース装置、仮想ヒューマンインタフェース方法、仮想ヒューマンインタフェースシステム、これらの装置を実現するプログラムおよび記録媒体を提供することを目的とする。

本発明にかかわる第一の学習支援装置では、検出手段は、複数の関節の動きを定める複数の筋肉の筋電信号より複数の筋肉の張力を検出する。モデル生成手段は、複数の関節の標本化すべき動作状態に対応する区間での複数の筋肉の張力の履歴にラベルを付与して、複数の筋肉の張力の時系列入力から複数の関節の動作を、ラベルに基づいて標本化された動作状態の組み合わせの時系列として推定する機械学習のモデルを生成する。
本発明にかかわる第二の学習支援装置では、検出手段は、複数の関節の動きを定める複数の筋肉の筋電信号より複数の筋肉の張力を検出する。観測手段は、複数の関節の動きを観測する。モデル生成手段は、観測手段によって観測された複数の関節の標本化すべき動作状態に対応する区間での複数の筋肉の張力の履歴にラベルを付与して、複数の筋肉の張力の時系列入力から複数の関節の動作を、ラベルに基づいて標本化された動作状態の組み合わせの時系列として推定する機械学習のモデルを生成する。

本発明にかかわる仮想ヒューマンインタフェース装置では、検出手段は、複数の関節の動きを定める複数の筋肉の筋電信号より複数の筋肉の張力を検出する。記憶手段には、複数の関節の標本化すべき動作状態に対応する区間での複数の筋肉の張力の履歴にラベルを付与して、複数の筋肉の張力の時系列入力から複数の関節の動作を、ラベルに基づいて標本化された動作状態の組み合わせの時系列として推定する機械学習のモデルが予め格納される。推定手段は、検出手段によって検出された複数の筋肉の張力の時系列に基づいてモデルを参照し、標本化された動作状態の組み合わせの時系列を推定する。

本発明にかかわる仮想ヒューマンインタフェース方法では、複数の関節の動きを定める複数の筋肉の筋電信号より複数の筋肉の張力が検出される。さらに、複数の関節の標本化すべき動作状態に対応する区間での複数の筋肉の張力の履歴にラベルを付与して、複数の筋肉の張力の時系列入力から複数の関節の動作を、ラベルに基づいて標本化された動作状態の組み合わせの時系列として推定する機械学習のモデルを検出された複数の筋肉の張力の時系列に基づいて参照し、標本化された動作状態の組み合わせの時系列を推定する。

本発明にかかわる仮想ヒューマンインタフェースシステムでは、検出手段は、複数の関節の動きを定める複数の筋肉の筋電信号より複数の筋肉の張力を検出する。記憶手段には、複数の関節の標本化すべき動作状態に対応する区間での複数の筋肉の張力の履歴にラベルを付与して、複数の筋肉の張力の時系列入力から複数の関節の動作を、ラベルに基づいて標本化された動作状態の組み合わせの時系列として推定する機械学習のモデルが予め格納される。推定手段は、検出手段によって検出された複数の筋肉の張力の時系列に基づいてモデルを参照し、標本化された動作状態の組み合わせの時系列を推定する。駆動手段は、推定手段によって推定された標本化された動作状態の組み合わせの時系列に基づいて複数の関節に対応したロボットアクチュエータを駆動する。

本発明にかかわるプログラムは、既述の第一もしくは第二の学習支援装置、または仮想ヒューマンインタフェース装置としてコンピュータを機能させる。
本発明にかかわる記録媒体は、既述の第一もしくは第二の学習支援装置、または仮想ヒューマンインタフェース装置としてコンピュータを機能させるためのプログラムが記録され、かつコンピュータ読み取り可能である。

上述したように本発明によれば、多数の関節がどのような組み合わせや順列で動かされた場合であっても、これらの関節の状態の組み合わせの時系列、あるいは個々の関節の状態が筋電信号に基づいて精度よく高速に推定される。
したがって、身体障害者による複雑な行動や活動の支援その他の多くの分野に対しても、筋電信号を用いた仮想ヒューマンインタフェースの適用の可能性が拡大される。

以下、図面に基づいて本発明の実施形態について詳細に説明する。
図１は、本発明の第一および第二の実施形態を示す図である。
図において、筋電計１１の入力には、本発明にかかわる学習支援装置または仮想ヒューマンインタフェース装置の利用者の腕から、その利用者の指の動きや姿勢に密接に関連する１４箇所の筋肉の表面筋電信号（以下、単に「筋電信号」という。）が並列に入力される。なお、このような筋電信号は、何れも、該当する筋肉に添付された乾式電極を介して得られる。筋電計１１の出力はコンピュータ１２のアナログ入力ポートに接続される。コンピュータ１２のディジタル入力ポートには、三次元位置計測装置１３の出力が接続される。さらに、コンピュータ１２には、外部記憶装置１４およびロボットアクチュエータ１５-1〜１５-nが接続される。

図２は、本発明の第一の実施形態の動作を説明する第一の図である。
図３は、本発明の第一および第二の実施形態におけるコンピュータの動作フローチャートである。
〔第一の実施形態〕
以下、図１ないし図３を参照して、本発明の第一の実施形態の動作を説明する。

本実施形態では、まず、以下の手順で筋電パターンの計測および学習が行われる。
利用者は、前腕を机の上に置き、かつ力を抜いた状態で手を自然な状態に保つ。さらに、利用者は、例えば、下記の「タスク１」ないし「タスク３」をそれぞれ９．５秒間で１０回ずつ、合計で２６０回試行する。
（タスク１） 一本の指のみを繰り返し上下させる。
（タスク２） 親指から小指まで順番に一本ずつ指を上下させる。
（タスク３） 特定の指を一本上げたまま別の指を一本上下させる。

これらの「タスク１」ないし「タスク３」によって得られる筋電信号は，指の単純な動作の連続に関する認識の精度を高め、かつ特定の指の動作により検出される筋電信号が他の指の状態の識別に与える影響を確認するために有効である。なお、「タスク１」ないし「タスク３」において各指が上下されるタイミングは、完全にランダムなものでよい。
筋電計１１は、例えば、２ｋＨｚのサンプリング周波数でこれらの筋電信号をサンプリングすることによって、個々の筋電信号の瞬時値を示す１４個のディジタル信号の列を生成する。三次元位置計測装置１３は、利用者の各指の位置を毎秒２００回の速度で反復して計測する。

コンピュータ１２は、上述したディジタル信号の列として得られた１４個の筋電信号に個別にディジタル領域で下記の処理を施すことによって、該当する１４個の筋肉の疑似張力を推定する（図３ステップＳ１）。
(1) 全波整流
(2) １０点毎の移動平均
(3) 所定の濾波特性を有する２次のローパスフィルタによる濾波
次に、コンピュータ１２は、これらの疑似張力を一括して７５ｍｓｅｃの幅の時間ウィンドウで区切り、かつ１０ｍｓｅｃ毎にずらして平均値をとることによって、１４個の時系列データを生成する（図３ステップＳ２）。

ところで、３状態レフト・トゥ・ライト型の隠れマルコフモデル（以下、「ＨＭＭ」という。）は、一般的に、下式に示されるように、初期状態確率ベクトルπと、状態遷移確率行列Ａと、符号出力確率行列Ｂとから構成されるλのパラメータで表現される。
λ＝（Ａ，Ｂ，π）
コンピュータ１２は、例えば、先行して生成された時系列データにＢａｕｍ−Ｗｅｌｃｈのアルゴリズムを適用することによって、このようなＨＭＭに適した各パラメータを推定する（図３ステップＳ３）。

このようなパラメータの推定の過程では、例えば、三次元位置計測装置１３によって計測された位置が参照されることによって２本の指の位置（図２(a))が上と下との何れにあるかが判定される。さらに、上述した１４個の時系列データの内、これらの２本の指に対して好適な３つの時系列データ（既述の疑似緊張力を個別に示す。)(図２(b))が時間軸上で区分される。さらに、このような区分によって得られる時間軸上の区間にラベル付けが行われ、これらのラベル毎にＨＭＭの学習が行われる。なお、この学習では、指の状態が別の状態に切り替わる時の擬似張力の変化にはＨＭＭの最初と最後の２つの状態が対応し、何れの指も、ある状態が維持された時の疑似張力の変化にはＨＭＭの中央の状態がそれぞれ対応することを前提として、パラメータλがそれぞれ推定される。そして最後に、図２(c) に示すように、ラベル毎のＨＭＭをまとめる学習が行われる。

コンピュータ１２は、上述した学習の結果として得られたＨＭＭのモデルを所定のデータベースとして外部記憶装置１４に格納する（図３ステップＳ４）。
このようにして学習が完了した後には、コンピュータ１２は、以下の処理を行う。
[1] 三次元位置計測装置１３の稼働を停止させる（図３ステップＳ５）。
[2] 利用者の筋電信号に応じて筋電計１１が出力するディジタル信号の列に既述の処理を施すことによって、１４個の疑似張力を推定し、これらの疑似張力に対応した１４個の時系列データを生成する（図３ステップＳ６）。
[3] 図４に示すように、ビタビアルゴリズムに基づいて上述したモデル（データベース）を参照することによって、これらの時系列データが反映された指の状態や動きを示すラベルの時系列を得る（図３ステップＳ７）。なお、このようなビタビアルゴリズムに基づく認識は、一般に、入力状態系列Ｏ[1,T]＝ｏ[1]ｏ[2]…ｏ[T]に対する最適状態系列Ｑ[1, T]＝ｑ[1]ｑ[2]…ｑ[T] を求め、その系列上で求められた出力確率が最大となるラベルの時系列を得る処理として実現される。

また、既述のＨＭＭは、何らかの指の位置や姿勢を決定する複数の関節の状態と、これらの関節の状態を決定する複数の筋肉の疑似張力との履歴や実績に基づいて、これらの複数の関節の状態の組み合わせの時系列を推定可能な機械学習のモデルである。
すなわち、本実施形態では、利用者の腕にある複数の筋肉から得られた筋電信号がこのようなＨＭＭの入力として用いられるので、利用者の複数の指がどのような組み合わせで並行して動いた場合であっても、これらの複数の指の全ての状態は、例えば「押ボタン等を押しているか否か」の２値として識別される。

以下、このようにして指の状態が識別される速度や精度に関して記述する。
「中指が上げられたまま人差し指が上下される複雑なタスク」の過程では、これらの中指と人差し指との高さは、図５(a) に２つの大きな波形で示されるように、三次元位置計測装置１３によって計測される。また、このような過程で時系列の順に計測された１４個の擬似張力と、ＨＭＭに基づいて時系列の順に認識されたラベルとについては、本発明の発明者による評価によれば、図５(b) に示す結果が得られた。なお、図５(b) において、ラベル「ｃ」は中指のみが机から離れている状態を意味し。ラベル「ｂｃ」は人差し指と中指との何れもが机から離れている状態を意味する。

本実施形態では、脳の運動指令や筋張力を良く表している筋電信号に基づいてＨＭＭが用いられ、そのＨＭＭでは、筋肉の収縮に応じて関節の状態が変化する前の状態が既述のラベルの出力に有効に反映される。したがって、図５(a),(b) の対比により導き出されるように、指の状態が変化した時刻の差は０．１秒以下となり、しかも、中指および人指し指の何れの状態も正確に認識される。

また、このようなタスク以外のタスクにおいても、認識結果のラベルによって指の状態が精度よく識別され、かつ上述した時刻の差もほぼ同様の値となった。
上述したように本実施形態によれば、５本の指が一本ずつだけではなく、多様な組み合わせで複数並行して動かされる場合であっても、何れの指の状態もほぼリアルタイムに精度よく推定され、従来例では達成されなかった「筋電信号に基づく複数の指の仮想ヒューマンインタフェース」が実現される。

なお、本実施形態では、利用者の指の位置が三次元位置計測装置１３によって計測されている。しかし、このような三次元位置計測装置１３は、例えば、コンピュータ１２が所定の周辺装置を介して利用者に既述の「タスク１」ないし「タスク３」の指示を与えることが可能である場合には、備えられなくてもよい。
また、本実施形態では、筋電計１１によって計測される筋電信号の数、その筋電信号のサンプリング周波数、各指の位置の計測が行われる周期および頻度は、所望の精度や応答性が確保される範囲で如何なる値に設定されてもよい。
〔第二の実施形態〕
以下、図１および図３を参照して本発明の第二の実施形態の動作を説明する。

本実施形態の特徴は、コンピュータ１２が下記の処理を行う点にある。
コンピュータ１２は、ビタビアルゴリズムに基づいて既述のモデルを参照することによって新たなラベルを得る（図３ステップＳ７）度に、その新たなラベルに対応した状態にロボットアクチュエータ１５-1〜１５-nの状態を更新する（図３ステップＳ８）。
すなわち、本実施形態では、「関節の単なる角度」ではなく、「複数の関節（自由度）の角度の組み合わせとして定まる指等の形状や姿勢の時系列」、あるいは「これらの複数の関節（自由度）の状態の組み合わせの時系列」が既述の通りに筋電信号に基づいて識別され、その識別の結果がロボットアクチュエータ１５-1〜１５-nを介して具現化される。

また、上述したようにロボットアクチュエータ１５-1〜１５-nを駆動する仮想ヒューマンインタフェース装置は、腕から得られた筋電信号に応じて指の位置や姿勢を識別するため、手や指を失った利用者でも利用可能である。
したがって、ロボットアクチュエータ１５-1〜１５-nによって操作される機器として、例えば、楽器が備えられた場合には、手や指がない利用者であってもその楽器を演奏することが可能となる。

なお、本実施形態では、ロボットアクチュエータ１５-1〜１５-nによって操作される機器は、オカリナ、トランペット、フルートなどの管楽器に限定されず、例えば、コンピュータの周辺機器であるキーボードのように、指で操作される多様な機器であってもよい。さらに、ロボットアクチュエータ１５-1〜１５-nによって操作される機器は、手や腕の位置や姿勢も本発明に基づいて並行して識別される場合には、打楽器や鍵盤楽器、あるいは多自由度のヒューマノイドロボットであってもよい。

また、上述した各実施形態では、既述の「タスク１」ないし「タスク３」は、腕を机の上に置く条件下で行われている。しかし、例えば、利用者が力んでいる状態やその利用者が力んでいない状態のように、腕や手首の姿勢が同じであるにもかかわらず、疑似張力が異なる状態があり得る場合であっても、これらの状態の全てに適した学習によりＨＭＭその他のモデルが構築されるならば、本発明は適用可能である。

さらに、既述の指だけではなく、例えば、多数の関節の角度の組み合わせとして定まる人体の位置や姿勢の識別にも、本発明は適用可能である。
また、手や肘の位置や動きの組み合わせの時系列として表される手話の動作のように、多数の関節（自由度）の状態の組み合わせやその組み合わせの変化の過程を識別するためにも、本発明は適用可能である。

さらに、上述した各実施形態では、ＨＭＭが用いられている。しかし、本発明では、このようなＨＭＭは、神経回路モデル、ベイズ推定その他の機械学習で代替されてもよい。
また、上述した各実施形態では、ビタビ・アルゴリズムが用いられているが、ＨＭＭその他の機械学習の方式に適した如何なるアルゴリズムが用いられてもよい。
さらに、本発明は、上述した実施形態に限定されるものではなく、本発明の範囲において多様な形態による実施形態が可能であり、かつ構成装置の一部もしくは全てに如何なる改良が施されてもよい。

本発明の第一および第二の実施形態を示す図である。 本発明の第一の実施形態の動作を説明する第一の図である。 本発明の第一および第二の実施形態におけるコンピュータの動作フローチャートである。 ビタビアルゴリズムに基づいてラベルの時系列が生成される過程を示す図である。 本実施形態において実測された指の位置と疑似張力との対応関係の一例を示す図である。

符号の説明

１１ 筋電計
１２ コンピュータ
１３ 三次元位置計測装置
１４ 外部記憶装置
１５ ロボットアクチュエータ

Claims (9)

1. 複数の関節の動きを定める複数の筋肉の筋電信号より前記複数の筋肉の張力を検出する検出手段と、
   前記複数の関節の標本化すべき動作状態に対応する区間での前記複数の筋肉の張力の履歴にラベルを付与して、前記複数の筋肉の張力の時系列入力から前記複数の関節の動作を、前記ラベルに基づいて標本化された前記動作状態の組み合わせの時系列として推定する機械学習のモデルを生成するモデル生成手段と
   を備えたことを特徴とする学習支援装置。
2. 複数の関節の動きを定める複数の筋肉の筋電信号より前記複数の筋肉の張力を検出する検出手段と、
   前記複数の関節の動きを観測する観測手段と、
   前記観測手段によって観測された前記複数の関節の標本化すべき動作状態に対応する区間での前記複数の筋肉の張力の履歴にラベルを付与して、前記複数の筋肉の張力の時系列入力から前記複数の関節の動作を、前記ラベルに基づいて標本化された前記動作状態の組み合わせの時系列として推定する機械学習のモデルを生成するモデル生成手段と
   を備えたことを特徴とする学習支援装置。
3. 複数の関節の動きを定める複数の筋肉の筋電信号より前記複数の筋肉の張力を検出する検出手段と、
   前記複数の関節の標本化すべき動作状態に対応する区間での前記複数の筋肉の張力の履歴にラベルを付与して、前記複数の筋肉の張力の時系列入力から前記複数の関節の動作を、前記ラベルに基づいて標本化された前記動作状態の組み合わせの時系列として推定する機械学習のモデルが予め格納された記憶手段と、
   前記検出手段によって検出された前記複数の筋肉の張力の時系列に基づいて前記モデルを参照し、前記標本化された動作状態の組み合わせの時系列を推定する推定手段と
   を備えたことを特徴とする仮想ヒューマンインタフェース装置。
4. 複数の関節の動きを定める複数の筋肉の筋電信号より前記複数の筋肉の張力を検出し、
   前記複数の関節の標本化すべき動作状態に対応する区間での前記複数の筋肉の張力の履歴にラベルを付与して、前記複数の筋肉の張力の時系列入力から前記複数の関節の動作を、前記ラベルに基づいて標本化された前記動作状態の組み合わせの時系列として推定する機械学習のモデルを前記検出された複数の筋肉の張力の時系列に基づいて参照し、前記標本化された動作状態の組み合わせの時系列を推定する
   ことを特徴とする仮想ヒューマンインタフェース方法。
5. 複数の関節の動きを定める複数の筋肉の筋電信号より前記複数の筋肉の張力を検出する検出手段と、
   前記複数の関節の標本化すべき動作状態に対応する区間での前記複数の筋肉の張力の履歴にラベルを付与して、前記複数の筋肉の張力の時系列入力から前記複数の関節の動作を、前記ラベルに基づいて標本化された前記動作状態の組み合わせの時系列として推定する機械学習のモデルが予め格納された記憶手段と、
   前記検出手段によって検出された前記複数の筋肉の張力の時系列に基づいて前記モデルを参照し、前記標本化された動作状態の組み合わせの時系列を推定する推定手段と、
   前記推定手段によって推定された前記標本化された動作状態の組み合わせの時系列に基づいて前記複数の関節に対応したロボットアクチュエータを駆動する駆動手段と
   を備えたことを特徴とする仮想ヒューマンインタフェースシステム。
6. 請求項１または請求項２に記載の学習支援装置としてコンピュータを機能させるためのプログラム。
7. 請求項３に記載の仮想ヒューマンインタフェース装置としてコンピュータを機能させるためのプログラム。
8. 請求項１または請求項２に記載の学習支援装置としてコンピュータを機能させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
9. 請求項３に記載の仮想ヒューマンインタフェース装置としてコンピュータを機能させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images