JP6408435B2 - 機能的電気刺激を用いた双方向遠隔制御システム - Google Patents
機能的電気刺激を用いた双方向遠隔制御システム Download PDFInfo
- Publication number
- JP6408435B2 JP6408435B2 JP2015142500A JP2015142500A JP6408435B2 JP 6408435 B2 JP6408435 B2 JP 6408435B2 JP 2015142500 A JP2015142500 A JP 2015142500A JP 2015142500 A JP2015142500 A JP 2015142500A JP 6408435 B2 JP6408435 B2 JP 6408435B2
- Authority
- JP
- Japan
- Prior art keywords
- human
- remote control
- control system
- information
- electrical stimulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、離れたヒト同士が互いに遠隔制御を行う双方向遠隔制御システムであり、機能的電気刺激（Functional Electrical Stimulation:ＦＥＳ）を利用して、互いに同期する動作を行ったり、臨場感を共有したりできるようにしたものである。
ＦＥＳは、筋肉に動作を起こさせる目的で生体の末梢神経と筋肉との接合部に直接加える電気的な刺激である。末梢神経と筋肉との接合部近辺に単一のパルス電流を与えると、筋肉は一度ピクンと収縮して直ぐに弛緩する。パルス電流を繰り返し与えると、収縮が加重されて筋肉が滑らかに収縮し、所定の動作が行われる。ＦＥＳは、中枢神経からの運動指令伝達機能に障害を持つ患者の失われた動作を再建する技術として開発が進められている。
下記特許文献１及び非特許文献１には、ロボット等の被制御装置(スレーブ)を遠隔操作するオペレータに対し、被制御装置からの反力情報をＦＥＳを利用してフィードバックするシステムが開示されている。
図１７は、特許文献１に記載された図面を示している。このシステムでは、オペレータが操作装置３で被制御装置１を遠隔操作すると、被制御装置１からの反力信号１２が制御装置２の変換手段２２に送られ、変換手段２２は、反力信号１２を電気刺激信号１３に変換する。電気刺激信号１３は、オペレータの腕等に貼り付けられた刺激電極４に付与され、そのため、オペレータの筋肉が収縮し、オペレータは被制御装置１の反力を感じることができる。
また、特許文献１には、図１８に示すように、オペレータの腕に、刺激電極４とは別に、筋電位（Electromyography:ＥＭＧ）を測定する測定電極５を設け、測定電極５で測定したＥＭＧを制御装置２に戻し、電気刺激信号１３にフィードバックすることも記載されている。
図１７は、特許文献１に記載された図面を示している。このシステムでは、オペレータが操作装置３で被制御装置１を遠隔操作すると、被制御装置１からの反力信号１２が制御装置２の変換手段２２に送られ、変換手段２２は、反力信号１２を電気刺激信号１３に変換する。電気刺激信号１３は、オペレータの腕等に貼り付けられた刺激電極４に付与され、そのため、オペレータの筋肉が収縮し、オペレータは被制御装置１の反力を感じることができる。
また、特許文献１には、図１８に示すように、オペレータの腕に、刺激電極４とは別に、筋電位（Electromyography:ＥＭＧ）を測定する測定電極５を設け、測定電極５で測定したＥＭＧを制御装置２に戻し、電気刺激信号１３にフィードバックすることも記載されている。
また、非特許文献１には、操作者の腕をマスタとし、スレーブのマニピュレータにマスタと同様の動作を行わせるシステムが開示されている。
マスタとスレーブとの間で姿勢と力の状態を一致させるために行われる遠隔制御は“バイラテラル制御”と言われているが、このシステムでは、バイラテラル制御を実現するため、三次元位置センサを操作者の腕に取付けて、三次元位置センサで検出した腕の角度や動きをマニピュレータの運動指令に変換し、また、マニピュレータに６軸力センサを取付けて、マニピュレータと環境との干渉力を各関節軸周りの受動トルクに換算し、それをＦＥＳによる力覚フィードバック信号に変換して操作者に与えている。
マスタとスレーブとの間で姿勢と力の状態を一致させるために行われる遠隔制御は“バイラテラル制御”と言われているが、このシステムでは、バイラテラル制御を実現するため、三次元位置センサを操作者の腕に取付けて、三次元位置センサで検出した腕の角度や動きをマニピュレータの運動指令に変換し、また、マニピュレータに６軸力センサを取付けて、マニピュレータと環境との干渉力を各関節軸周りの受動トルクに換算し、それをＦＥＳによる力覚フィードバック信号に変換して操作者に与えている。
巌見武裕他「機能的電気刺激により反力提示する新しいバイラテラル遠隔制御システムの開発,」日本ロボット学会誌, Vol. 20, No.8, pp. 844-851, 2002
ヒトが被制御機械を遠隔制御するシステムでは、被制御機械の操作を専らヒトが行い、被制御機械からは被制御機械と環境との干渉力がヒトにフィードバックされるだけであるが、ヒトが遠隔制御の技術を利用して離れたヒトと関わることができれば、バイラテラル制御により、お互いの動作を同期させたり、臨場感を共有したりすることが可能になる。
こうした双方向の遠隔制御システムでは、熟練作業者が遠隔地の初心者の作業を支援したり、遠隔地の機器の点検や修理を現地の担当者と同じ臨場感を体感しながら遠隔操作したりすることができる。また、無医村での遠隔医療や緊急時の遠隔手術等への応用の可能性も有している。
このように、ヒト同士の遠隔制御を可能にする双方向遠隔制御システムは、高い利便性を有し、広範囲の発展性を備えている。
こうした双方向の遠隔制御システムでは、熟練作業者が遠隔地の初心者の作業を支援したり、遠隔地の機器の点検や修理を現地の担当者と同じ臨場感を体感しながら遠隔操作したりすることができる。また、無医村での遠隔医療や緊急時の遠隔手術等への応用の可能性も有している。
このように、ヒト同士の遠隔制御を可能にする双方向遠隔制御システムは、高い利便性を有し、広範囲の発展性を備えている。
本発明は、こうした事情を考慮して創案したものであり、離れたヒト同士の同期した動作を可能にする双方向遠隔制御システムであって、大型装置や複雑な装置を必要とせずに、簡単に構成できるシステムを提供することを目的としている。
本発明は、離れたヒト同士の同期した動作を可能にする双方向遠隔制御システムであって、各々のヒトにＦＥＳを与えるための貼付け電極と、各々のヒトの身体位置情報、力覚情報、筋電情報の少なくとも一つを含む検出データを検出する検出センサと、検出センサの検出データを基に各々のヒトの貼付け電極に与えるＦＥＳを生成する制御部と、を備えることを特徴とする。
このシステムでは、互いに離れているヒトの一方で行われた動作と同一の動作が他方のヒトでも行われるようにＦＥＳを用いて制御され、また、他方のヒトで行われた動作と同一の動作が一方のヒトでも行われるようにＦＥＳを用いて制御される。
このシステムでは、互いに離れているヒトの一方で行われた動作と同一の動作が他方のヒトでも行われるようにＦＥＳを用いて制御され、また、他方のヒトで行われた動作と同一の動作が一方のヒトでも行われるようにＦＥＳを用いて制御される。
また、本発明の双方向遠隔制御システムでは、制御部が、ＦＥＳを加える貼付け電極と、その電極にＦＥＳを加えたときの身体の運動形態(身体のどの部位がどの方向に動くか)と、その身体の運動量とＦＥＳの強さとの関係と、が記述されたＦＥＳデータベースを有し、制御部は、検出センサの検出データを基に、ＦＥＳデータベースを参照して、貼付け電極に与えるＦＥＳを算出する。
また、本発明の双方向遠隔制御システムでは、バイラテラル制御方法として、「位置対称型」「力逆送型」「力帰還形」「力順送型」あるいは「４ｃｈ型」の制御方法を用いることができる。
また、本発明の双方向遠隔制御システムでは、検出データに、一方のヒトの筋電情報（ＥＭＧ）を含め、制御部が、一方のヒトの検出データから筋電情報を取得して筋出力を推定し、その筋出力を生成する機能的電気刺激を他のヒトの貼付け電極に与えるようにしても良い。
この場合、筋電情報だけを用いて遠隔制御を行うことができる。
この場合、筋電情報だけを用いて遠隔制御を行うことができる。
また、本発明の双方向遠隔制御システムでは、検出データに、身体位置情報や力覚情報と共に、一方のヒトの筋電情報を含め、制御部が、検出データから身体位置情報や力覚情報を取得して「位置対称型」「力逆送型」「力帰還形」「力順送型」又は「４ｃｈ型」の遠隔制御を行うまでの間、検出データから筋電情報を取得して筋出力を推定し、その筋出力を生成する機能的電気刺激を他のヒトの貼付け電極に与えるようにしても良い。
筋電情報は、運動が開始する１００ｍｓ程前に発生するので、筋電情報による遠隔制御と「位置対称型」「力逆送型」「力帰還形」「力順送型」又は「４ｃｈ型」の遠隔制御とを組み合わせることで、離れたヒト同士の動作を同期させる際の遅延を減らすことができる。
筋電情報は、運動が開始する１００ｍｓ程前に発生するので、筋電情報による遠隔制御と「位置対称型」「力逆送型」「力帰還形」「力順送型」又は「４ｃｈ型」の遠隔制御とを組み合わせることで、離れたヒト同士の動作を同期させる際の遅延を減らすことができる。
本発明の双方向遠隔制御システムは、簡単な構成で、離れたヒト同士の動作を同期させることを可能にする。このシステムに参加するヒトは、幾つかの電極を身体に張り付けるだけであるため、複雑な機械を装着する場合に比べて、拘束感や圧迫感を受けない。
図１は、本発明の双方向遠隔制御システムの実施形態を模式的に示している。
ここでは、腕１０を備えるヒトをマスタ、腕２０を備えるヒトをスレーブとして説明するが、この双方向遠隔制御システムでは、マスタとスレーブとが適宜入れ替わる。
このシステムは、マスタ側が、腕１０の表面に貼付けられた電極１１と、マスタの身体位置情報や力覚情報、筋電情報等を検出する検出センサ１２と、電極１１に加えるＦＥＳを生成する制御部４０とを備え、スレーブ側が、同様に、腕２０の表面に貼付けられた電極２１と、スレーブの身体位置情報や力覚情報、筋電情報等を検出する検出センサ２２と、電極２１に加えるＦＥＳを生成する制御部５０とを備えている。
ここでは、腕１０を備えるヒトをマスタ、腕２０を備えるヒトをスレーブとして説明するが、この双方向遠隔制御システムでは、マスタとスレーブとが適宜入れ替わる。
このシステムは、マスタ側が、腕１０の表面に貼付けられた電極１１と、マスタの身体位置情報や力覚情報、筋電情報等を検出する検出センサ１２と、電極１１に加えるＦＥＳを生成する制御部４０とを備え、スレーブ側が、同様に、腕２０の表面に貼付けられた電極２１と、スレーブの身体位置情報や力覚情報、筋電情報等を検出する検出センサ２２と、電極２１に加えるＦＥＳを生成する制御部５０とを備えている。
電極１１、２１は、末梢神経と筋肉との接合部近辺の表皮上に貼り付けられる。身体は６００以上の筋肉で駆動されており、電極１１、１２の数を増やすことで、ＦＥＳによる身体の複雑な運動の再現が可能になる。
身体位置情報を検出する検出センサ１２、２２には、非特許文献１に記載されているように、磁気式３次元位置センサを用いることができる。この場合、腕１０、２０にレシーバを取付けて身体位置情報を検出する。また、モーションキャプチャ等を用いても良い。
また、力覚を検出する検出センサ１２、２２には、６軸力センサ等を用いることができ、それを腕１０、２０に固定したり、手で把持する物体に取付けたりして力覚を検出する。
また、筋電情報を検出する場合は、図１８に示すように、測定電極５を腕１０、２０に貼り付ける。
なお、検出センサ１２、２２は、必ずしも、身体位置情報、力覚情報及び筋電情報の全てを検出する必要は無く、後述するように、採用するバイラテラル制御方法によっては、身体位置情報だけの検出、身体位置情報と力覚情報との検出、あるいは、筋電情報だけの検出で足りる場合がある。
身体位置情報を検出する検出センサ１２、２２には、非特許文献１に記載されているように、磁気式３次元位置センサを用いることができる。この場合、腕１０、２０にレシーバを取付けて身体位置情報を検出する。また、モーションキャプチャ等を用いても良い。
また、力覚を検出する検出センサ１２、２２には、６軸力センサ等を用いることができ、それを腕１０、２０に固定したり、手で把持する物体に取付けたりして力覚を検出する。
また、筋電情報を検出する場合は、図１８に示すように、測定電極５を腕１０、２０に貼り付ける。
なお、検出センサ１２、２２は、必ずしも、身体位置情報、力覚情報及び筋電情報の全てを検出する必要は無く、後述するように、採用するバイラテラル制御方法によっては、身体位置情報だけの検出、身体位置情報と力覚情報との検出、あるいは、筋電情報だけの検出で足りる場合がある。
制御部４０は、図２に示すように、検出センサ１２の検出データが入力するマスタ身体位置／力覚／筋電情報入力部４３と、入力したマスタ側の身体位置／力覚／筋電情報をスレーブ側に送信するマスタ身体位置／力覚／筋電情報送信部４６と、スレーブ側の身体位置／力覚／筋電情報を受信するスレーブ身体位置／力覚／筋電情報受信部４５と、マスタ側及びスレーブ側の身体位置／力覚／筋電情報を用いて、バイラテラル制御を実現するためのＦＥＳ生成信号を算出するＦＥＳ生成信号算出部４２と、ＦＥＳ生成信号算出部４２が算出に際して参照するＦＥＳデータベース４１と、ＦＥＳ生成信号を電極１１に出力するＦＥＳ生成信号出力部４４と、を備えている。
スレーブ側の制御部５０の構成は、マスタとスレーブが入れ替わっただけで、実質的に制御部４０の構成と同じである。
また、ここでは、制御部４０と制御部５０との間でマスタ情報とスレーブ情報とを送受信しているが、制御部４０及び制御部５０の機能を一つに纏めた単一の制御部でマスタ及びスレーブの両方を制御しても良い。
スレーブ側の制御部５０の構成は、マスタとスレーブが入れ替わっただけで、実質的に制御部４０の構成と同じである。
また、ここでは、制御部４０と制御部５０との間でマスタ情報とスレーブ情報とを送受信しているが、制御部４０及び制御部５０の機能を一つに纏めた単一の制御部でマスタ及びスレーブの両方を制御しても良い。
ＦＥＳデータベース４１には、電極１１の識別情報と、各電極１１にＦＥＳを加えたときの身体の運動形態(身体のどの部位がどの方向に動くか)と、その身体の運動量とＦＥＳの強さとの関係を表す参考データや数式等が記述されている。
ＦＥＳ生成信号算出部４２は、ＦＥＳデータベース４１を参照して、バイラテラル制御を実現するためのＦＥＳ生成信号の出力先電極１１を決定し、そのＦＥＳ生成信号の強さ（パルス信号の振幅）を算出する。
ＦＥＳ生成信号出力部４４は、ＦＥＳ生成信号算出部４２が算出した振幅のパルス信号を、ＦＥＳ生成信号算出部４２が決定した電極１１に出力する。
ＦＥＳ生成信号算出部４２は、ＦＥＳデータベース４１を参照して、バイラテラル制御を実現するためのＦＥＳ生成信号の出力先電極１１を決定し、そのＦＥＳ生成信号の強さ（パルス信号の振幅）を算出する。
ＦＥＳ生成信号出力部４４は、ＦＥＳ生成信号算出部４２が算出した振幅のパルス信号を、ＦＥＳ生成信号算出部４２が決定した電極１１に出力する。
次に、ＦＥＳ生成信号算出部４２でのＦＥＳ生成信号の算出手順について説明する。
図３は、「位置対称型」と呼ばれるバイラテラル制御方法を示している。（なお、図３において、Ｘ１：マスタの位置、Ｘ２：スレーブの位置、Ｕ１：マスタの入力、Ｕ２：スレーブの入力、を表している。）
この制御方法を実施する場合、制御部４０、５０のＦＥＳ生成信号算出部４２は、図４のフロー図に示すように、サンプリングタイムに(ステップ１)、マスタ及びスレーブの身体位置情報を取得して（ステップ２）、身体位置の差分を算出する(ステップ３)。そして、ＦＥＳデータベース４１を参照して、身体位置情報の差分を解消するために必要な運動を実現するＦＥＳ生成信号を算出する(ステップ４)。算出されたＦＥＳ生成信号は、マスタ側の電極１１及びスレーブ側の電極２１にそれぞれ出力される(ステップ５)。この動作が稼働時間の終了するまで繰り返される(ステップ６)。
この位置対称型のバイラテラル制御方法は、検出センサで検出された身体位置情報だけを用いて行うことができる。
図３は、「位置対称型」と呼ばれるバイラテラル制御方法を示している。（なお、図３において、Ｘ１：マスタの位置、Ｘ２：スレーブの位置、Ｕ１：マスタの入力、Ｕ２：スレーブの入力、を表している。）
この制御方法を実施する場合、制御部４０、５０のＦＥＳ生成信号算出部４２は、図４のフロー図に示すように、サンプリングタイムに(ステップ１)、マスタ及びスレーブの身体位置情報を取得して（ステップ２）、身体位置の差分を算出する(ステップ３)。そして、ＦＥＳデータベース４１を参照して、身体位置情報の差分を解消するために必要な運動を実現するＦＥＳ生成信号を算出する(ステップ４)。算出されたＦＥＳ生成信号は、マスタ側の電極１１及びスレーブ側の電極２１にそれぞれ出力される(ステップ５)。この動作が稼働時間の終了するまで繰り返される(ステップ６)。
この位置対称型のバイラテラル制御方法は、検出センサで検出された身体位置情報だけを用いて行うことができる。
図５は、「力逆送型」と呼ばれるバイラテラル制御方法を示している。（なお、図５において、Ｘ１：マスタの位置、Ｘ２：スレーブの位置、Ｕ１：マスタの入力、Ｕ２：スレーブの入力、Ｆ２：スレーブの力、を表している。）
この制御方法を実施する場合、制御部４０（５０）のＦＥＳ生成信号算出部４２は、図６のフロー図に示すように、サンプリングタイムに(ステップ１１)、マスタ及びスレーブの身体位置情報と、スレーブの力覚情報とを取得し(ステップ１２)、身体位置の差分を算出する(ステップ１３)。そして、ＦＥＳデータベース４１を参照して、身体位置の差分を解消するために必要な運動を実現するＦＥＳ生成信号と、スレーブ側の力覚を生じるために必要なＦＥＳ生成信号とを算出する(ステップ１４)。身体位置差分解消のためのＦＥＳ生成信号はスレーブの電極２１に出力され、力覚生成のためのＦＥＳ生成信号はマスタの電極１１に出力される(ステップ１５)。この動作が稼働時間の終了するまで繰り返される(ステップ１６)。
この力逆送型のバイラテラル制御方法は、検出センサで検出された身体位置情報と力覚情報とを用いて行われる。
この制御方法を実施する場合、制御部４０（５０）のＦＥＳ生成信号算出部４２は、図６のフロー図に示すように、サンプリングタイムに(ステップ１１)、マスタ及びスレーブの身体位置情報と、スレーブの力覚情報とを取得し(ステップ１２)、身体位置の差分を算出する(ステップ１３)。そして、ＦＥＳデータベース４１を参照して、身体位置の差分を解消するために必要な運動を実現するＦＥＳ生成信号と、スレーブ側の力覚を生じるために必要なＦＥＳ生成信号とを算出する(ステップ１４)。身体位置差分解消のためのＦＥＳ生成信号はスレーブの電極２１に出力され、力覚生成のためのＦＥＳ生成信号はマスタの電極１１に出力される(ステップ１５)。この動作が稼働時間の終了するまで繰り返される(ステップ１６)。
この力逆送型のバイラテラル制御方法は、検出センサで検出された身体位置情報と力覚情報とを用いて行われる。
図７は、「力帰還型」と呼ばれるバイラテラル制御方法を示している。（なお、図７において、Ｘ１：マスタの位置、Ｘ２：スレーブの位置、Ｕ１：マスタの入力、Ｕ２：スレーブの入力、Ｆ１：マスタの力、Ｆ２：スレーブの力、を表している。）
この制御方法を実施する場合、制御部４０（５０）のＦＥＳ生成信号算出部４２は、図８のフロー図に示すように、サンプリングタイムに(ステップ２１)、マスタ及びスレーブの身体位置情報と、マスタ及びスレーブの力覚情報とを取得し(ステップ２２)、身体位置の差分を算出し(ステップ２３)、力覚の和を算出する（ステップ２４）。そして、ＦＥＳデータベース４１を参照して、身体位置の差分を解消するために必要な運動を実現するＦＥＳ生成信号と、力覚の和の解消に必要なＦＥＳ生成信号とを算出する(ステップ２５)。身体位置差分解消のためのＦＥＳ生成信号はスレーブの電極１１に出力され、力覚和分解消ためのＦＥＳ生成信号はマスタの電極１１に出力される(ステップ２６)。この動作が稼働時間の終了するまで繰り返される(ステップ２７)。
この力帰還型のバイラテラル制御方法は、検出センサで検出された身体位置情報と力覚情報とを用いて行われる。
この制御方法を実施する場合、制御部４０（５０）のＦＥＳ生成信号算出部４２は、図８のフロー図に示すように、サンプリングタイムに(ステップ２１)、マスタ及びスレーブの身体位置情報と、マスタ及びスレーブの力覚情報とを取得し(ステップ２２)、身体位置の差分を算出し(ステップ２３)、力覚の和を算出する（ステップ２４）。そして、ＦＥＳデータベース４１を参照して、身体位置の差分を解消するために必要な運動を実現するＦＥＳ生成信号と、力覚の和の解消に必要なＦＥＳ生成信号とを算出する(ステップ２５)。身体位置差分解消のためのＦＥＳ生成信号はスレーブの電極１１に出力され、力覚和分解消ためのＦＥＳ生成信号はマスタの電極１１に出力される(ステップ２６)。この動作が稼働時間の終了するまで繰り返される(ステップ２７)。
この力帰還型のバイラテラル制御方法は、検出センサで検出された身体位置情報と力覚情報とを用いて行われる。
図９は、「力順送型」と呼ばれるバイラテラル制御方法を示している。（なお、図９において、Ｘ１：マスタの位置、Ｘ２：スレーブの位置、Ｕ１：マスタの入力、Ｕ２：スレーブの入力、Ｆ１：マスタの力、を表している。）
この制御方法を実施する場合、制御部４０（５０）のＦＥＳ生成信号算出部４２は、図１０のフロー図に示すように、サンプリングタイムに(ステップ３１)、マスタ及びスレーブの身体位置情報と、マスタの力覚情報とを取得し(ステップ３２)、身体位置の差分を算出する(ステップ３３)。そして、ＦＥＳデータベース４１を参照して、身体位置の差分を解消するために必要な運動を実現するＦＥＳ生成信号と、マスタ側の力覚に対応する身体位置に制御するためのＦＥＳ生成信号とを算出する(ステップ１４)。身体位置差分解消のためのＦＥＳ生成信号はマスタの電極１１に出力され、力覚対応の身体位置に制御するためのＦＥＳ生成信号はスレーブの電極２１に出力される(ステップ３５)。この動作が稼働時間の終了するまで繰り返される(ステップ３６)。
この力順送型のバイラテラル制御方法は、検出センサで検出された身体位置情報と力覚情報とを用いて行われる。
この制御方法を実施する場合、制御部４０（５０）のＦＥＳ生成信号算出部４２は、図１０のフロー図に示すように、サンプリングタイムに(ステップ３１)、マスタ及びスレーブの身体位置情報と、マスタの力覚情報とを取得し(ステップ３２)、身体位置の差分を算出する(ステップ３３)。そして、ＦＥＳデータベース４１を参照して、身体位置の差分を解消するために必要な運動を実現するＦＥＳ生成信号と、マスタ側の力覚に対応する身体位置に制御するためのＦＥＳ生成信号とを算出する(ステップ１４)。身体位置差分解消のためのＦＥＳ生成信号はマスタの電極１１に出力され、力覚対応の身体位置に制御するためのＦＥＳ生成信号はスレーブの電極２１に出力される(ステップ３５)。この動作が稼働時間の終了するまで繰り返される(ステップ３６)。
この力順送型のバイラテラル制御方法は、検出センサで検出された身体位置情報と力覚情報とを用いて行われる。
図１１は、「４ｃｈ型」と呼ばれるバイラテラル制御方法を示している。（なお、図１１において、Ｘ１：マスタの位置、Ｘ２：スレーブの位置、Ｕ１：マスタの入力、Ｕ２：スレーブの入力、Ｆ１：マスタの力、Ｆ２：スレーブの力、を表している。）
この制御方法を実施する場合、制御部４０、５０のＦＥＳ生成信号算出部４２は、図１２のフロー図に示すように、サンプリングタイムに(ステップ４１)、マスタ及びスレーブの身体位置情報及び力覚情報を取得し(ステップ４２)、身体位置の差分（Ｘ２−Ｘ１）を算出し（ステップ４３）、力覚の和（Ｆ１＋Ｆ２）を算出する（ステップ４４）。そして、ＦＥＳデータベース４１を参照して、身体位置の差分（Ｘ２−Ｘ１）の加速度と力覚の和（Ｆ１＋Ｆ２）との差分や和分を解消するＦＥＳ生成信号を算出する(ステップ４５)。差分を解消するＦＥＳ生成信号はマスタの電極１１に出力され、和分を解消するＦＥＳ生成信号はスレーブの電極２１に出力される(ステップ４６)。この動作が稼働時間の終了するまで繰り返される(ステップ４７)。
この４ｃｈ型のバイラテラル制御方法は、検出センサで検出された身体位置情報と力覚情報とを用いて行われる。
この制御方法を実施する場合、制御部４０、５０のＦＥＳ生成信号算出部４２は、図１２のフロー図に示すように、サンプリングタイムに(ステップ４１)、マスタ及びスレーブの身体位置情報及び力覚情報を取得し(ステップ４２)、身体位置の差分（Ｘ２−Ｘ１）を算出し（ステップ４３）、力覚の和（Ｆ１＋Ｆ２）を算出する（ステップ４４）。そして、ＦＥＳデータベース４１を参照して、身体位置の差分（Ｘ２−Ｘ１）の加速度と力覚の和（Ｆ１＋Ｆ２）との差分や和分を解消するＦＥＳ生成信号を算出する(ステップ４５)。差分を解消するＦＥＳ生成信号はマスタの電極１１に出力され、和分を解消するＦＥＳ生成信号はスレーブの電極２１に出力される(ステップ４６)。この動作が稼働時間の終了するまで繰り返される(ステップ４７)。
この４ｃｈ型のバイラテラル制御方法は、検出センサで検出された身体位置情報と力覚情報とを用いて行われる。
次に、筋電情報を用いるバイラテラル制御について説明する。
筋電情報（ＥＭＧ）と筋出力との関係は、例えば、図１５のようにモデル化できる。ここで、横軸はＥＭＧの電圧（Ｖ）であり、縦軸は筋出力（Ｆ）である。また、Ｖｔｈは閾値であり、Ｋｖｆは、閾値を超えた状態でのＦ／Ｖの傾きである。
このモデルでは、筋出力（Ｆ）は、
Ｖ＜Ｖｔｈのとき、Ｆ＝０
Ｖ≧Ｖｔｈのとき、Ｆ＝Ｋｖｆ（Ｖ−Ｖｔｈ）
と表される。
筋電情報（ＥＭＧ）と筋出力との関係は、例えば、図１５のようにモデル化できる。ここで、横軸はＥＭＧの電圧（Ｖ）であり、縦軸は筋出力（Ｆ）である。また、Ｖｔｈは閾値であり、Ｋｖｆは、閾値を超えた状態でのＦ／Ｖの傾きである。
このモデルでは、筋出力（Ｆ）は、
Ｖ＜Ｖｔｈのとき、Ｆ＝０
Ｖ≧Ｖｔｈのとき、Ｆ＝Ｋｖｆ（Ｖ−Ｖｔｈ）
と表される。
図１３のフロー図は、筋電情報のみを用いてバイラテラル制御を行うときの手順を示している。
制御部４０（５０）のＦＥＳ生成信号算出部４２は、サンプリングタイムに(ステップ５１)、マスタの検出データからＥＭＧを取得し(ステップ５２)、ＦＥＳデータベース４１に保持された図１５のモデルを参照して、ＥＭＧに対応する筋出力を算出し(ステップ５３)、算出した筋出力を実現するＦＥＳ生成信号を算出する(ステップ５４)。このＦＥＳ生成信号は、スレーブの電極２１に出力される(ステップ５５)。この手順が稼働時間の終了するまで繰り返される(ステップ５６)。
なお、マスタとスレーブを入れ替えて、スレーブのＥＭＧを取得し、算出したＦＥＳ生成信号をマスタの電極１１に出力するようにしても良い。
このバイラテラル制御方法は、筋電情報だけを用いて行うことができる。
制御部４０（５０）のＦＥＳ生成信号算出部４２は、サンプリングタイムに(ステップ５１)、マスタの検出データからＥＭＧを取得し(ステップ５２)、ＦＥＳデータベース４１に保持された図１５のモデルを参照して、ＥＭＧに対応する筋出力を算出し(ステップ５３)、算出した筋出力を実現するＦＥＳ生成信号を算出する(ステップ５４)。このＦＥＳ生成信号は、スレーブの電極２１に出力される(ステップ５５)。この手順が稼働時間の終了するまで繰り返される(ステップ５６)。
なお、マスタとスレーブを入れ替えて、スレーブのＥＭＧを取得し、算出したＦＥＳ生成信号をマスタの電極１１に出力するようにしても良い。
このバイラテラル制御方法は、筋電情報だけを用いて行うことができる。
また、筋電情報を用いる遠隔制御と、「位置対称型」「力逆送型」「力帰還形」「力順送型」又は「４ｃｈ型」の遠隔制御とを組み合わせることもできる。
図１４のフロー図は、組み合わせたバイラテラル制御の手順を示している。
制御部４０（５０）のＦＥＳ生成信号算出部４２は、サンプリングタイムに(ステップ６１)、マスタの検出データからＥＭＧを取得し(ステップ６２)、ＦＥＳデータベース４１に保持された図１５のモデルを参照して、ＥＭＧに対応する筋出力を算出し(ステップ６３)、算出した筋出力を実現するＦＥＳ生成信号を算出する(ステップ６４)。このＦＥＳ生成信号は、スレーブの電極２１に出力される(ステップ６５)。
図１４のフロー図は、組み合わせたバイラテラル制御の手順を示している。
制御部４０（５０）のＦＥＳ生成信号算出部４２は、サンプリングタイムに(ステップ６１)、マスタの検出データからＥＭＧを取得し(ステップ６２)、ＦＥＳデータベース４１に保持された図１５のモデルを参照して、ＥＭＧに対応する筋出力を算出し(ステップ６３)、算出した筋出力を実現するＦＥＳ生成信号を算出する(ステップ６４)。このＦＥＳ生成信号は、スレーブの電極２１に出力される(ステップ６５)。
その後、「位置対称型」の遠隔制御に切り替えて、図４のステップ２〜ステップ５の手順を行い、または、「力逆送型」の遠隔制御に切り替えて、図６のステップ１２〜ステップ１５の手順を行い、または、「力帰還形」の遠隔制御に切り替えて、図８のステップ２２〜ステップ２６の手順を行い、または、「力順送型」の遠隔制御に切り替えて、図１０のステップ３２〜ステップ３５の手順を行い、または、「４ｃｈ型」の遠隔制御に切り替えて、図１２のステップ４２〜ステップ４６の手順を行う(ステップ６６)。
筋電情報は、身体運動が開始する１００ｍｓ程前に発生すると言われているので、このように、筋電情報を用いる遠隔制御を先行させることで、離れたヒト同士の動作を同期させる際の遅延を減らすことができる。
なお、筋電情報と筋出力との関係は、ニューラルネットワークを用いて構築しても良い。
筋電情報は、身体運動が開始する１００ｍｓ程前に発生すると言われているので、このように、筋電情報を用いる遠隔制御を先行させることで、離れたヒト同士の動作を同期させる際の遅延を減らすことができる。
なお、筋電情報と筋出力との関係は、ニューラルネットワークを用いて構築しても良い。
本発明の双方向遠隔制御システムでは、こうしたバイラテラル制御を行うことにより、互いに離れているヒトの一方で行われた身体動作と同一の身体動作を他方のヒトに行わせることができ、また、その逆に、他方のヒトで行われた身体動作と同一の身体動作を一方のヒトに行わせることができる。
図１６は、この双方向遠隔制御システムの実証実験の模様を示している。手前側の人物がマスタ(操作者)であり、奥の人物がスレーブである。マスタ及びスレーブの二の腕には電極が貼り付けられており、また、マスタ及びスレーブの腕には、肘関節の屈曲角を検出するセンサが装着されている。ここでは、一台のＰＣを、マスタ及びスレーブのバイラテラル制御を行う制御部として用いている。
スレーブはマスタ側を見ていない。この状態でマスタ側が自由に肘関節を折り曲げると、スレーブの肘は、マスタの肘と同じ角度で折れ曲がり、マスタとスレーブとの同期した身体動作が観測できた。
スレーブはマスタ側を見ていない。この状態でマスタ側が自由に肘関節を折り曲げると、スレーブの肘は、マスタの肘と同じ角度で折れ曲がり、マスタとスレーブとの同期した身体動作が観測できた。
この双方向遠隔制御システムでは、二人の身体運動を同期させることができるので、熟練者の身体の動きに初学者の身体の動きを合せることで、熟練者の技能を初学者に伝えることができる。
また、離れたヒトの間で力覚を伝え合うことで、触覚通信が実現できる。また、臨場感も共有できる。触覚や臨場感が共有できれば、熟練者は、遠隔地に赴かなくても、現地のヒトを通じて高度の技能を発揮できる。例えば、無医村での遠隔医療や遠隔手術、あるいは、遠隔地からの機器の点検や修理なども可能になる。
また、触覚通信は、ネットショッピングの商品に直接触れたときの感触を伝える手段としても応用できる。
また、本発明の双方向遠隔制御システムには、複数のヒトが同時に参加することができ、複数のヒトが臨場感を共有したり、商品に触れた感触を複数のヒトに伝えたりすることもできる。
また、離れたヒトの間で力覚を伝え合うことで、触覚通信が実現できる。また、臨場感も共有できる。触覚や臨場感が共有できれば、熟練者は、遠隔地に赴かなくても、現地のヒトを通じて高度の技能を発揮できる。例えば、無医村での遠隔医療や遠隔手術、あるいは、遠隔地からの機器の点検や修理なども可能になる。
また、触覚通信は、ネットショッピングの商品に直接触れたときの感触を伝える手段としても応用できる。
また、本発明の双方向遠隔制御システムには、複数のヒトが同時に参加することができ、複数のヒトが臨場感を共有したり、商品に触れた感触を複数のヒトに伝えたりすることもできる。
本発明の双方向遠隔制御システムは、ヒト同士が遠隔制御を通じて臨場感を共有したり、触覚を伝え合ったりすることが可能であり、教育、文化、医療、サービス、商業、通信等の多岐に亘る分野で広く利用することができる。
１０ 腕
１１ 電極
１２ 検出センサ
２０ 腕
２１ 電極
２２ 検出センサ
４０ 制御部
４１ ＦＥＳデータベース
４２ ＦＥＳ生成信号算出部
４３ マスタ身体位置／力覚／筋電情報入力部
４４ ＦＥＳ生成信号出力部
４５ スレーブ身体位置／力覚／筋電情報受信部
４６ マスタ身体位置／力覚／筋電情報送信部
５０ 制御部
１１ 電極
１２ 検出センサ
２０ 腕
２１ 電極
２２ 検出センサ
４０ 制御部
４１ ＦＥＳデータベース
４２ ＦＥＳ生成信号算出部
４３ マスタ身体位置／力覚／筋電情報入力部
４４ ＦＥＳ生成信号出力部
４５ スレーブ身体位置／力覚／筋電情報受信部
４６ マスタ身体位置／力覚／筋電情報送信部
５０ 制御部
Claims (9)
- 離れたヒト同士の同期した動作を可能にする双方向遠隔制御システムであって、
各々のヒトに機能的電気刺激を与えるための貼付け電極と、
各々のヒトの身体位置情報、力覚情報、筋電情報の少なくとも一つを含む検出データを検出する検出センサと、
前記検出センサの検出データを基に各々のヒトの前記貼付け電極に与える前記機能的電気刺激を生成する制御部と、
を備えることを特徴とする双方向遠隔制御システム。 - 請求項１に記載の双方向遠隔制御システムであって、前記制御部は、前記機能的電気刺激を加える貼付け電極と、当該電極に前記機能的電気刺激を加えたときの身体の運動形態と、前記身体の運動量と前記機能的電気刺激の強さとの関係と、が記述された機能的電気刺激データベースを有し、前記検出センサの検出データを基に、前記機能的電気刺激データベースを参照して、前記貼付け電極に与える前記機能的電気刺激を算出する、ことを特徴とする双方向遠隔制御システム。
- 請求項１又は２に記載の双方向遠隔制御システムであって、前記検出データには、各々のヒトの身体位置情報が含まれ、前記制御部は、各々のヒトの前記検出データから各々のヒトの前記身体位置情報を取得して、それらの差分を算出し、前記差分を解消するように生成した前記機能的電気刺激を各々のヒトの前記貼付け電極に与える、ことを特徴とする双方向遠隔制御システム。
- 請求項１又は２に記載の双方向遠隔制御システムであって、前記検出データには、各々のヒトの身体位置情報と力覚情報とが含まれ、前記制御部は、各々のヒトの前記検出データから各々のヒトの前記身体位置情報を取得して、それらの差分を算出し、前記差分を解消するように生成した前記機能的電気刺激を一方のヒトの前記貼付け電極に与え、前記一方のヒトの前記検出データから取得した前記力覚情報に基づいて、他方のヒトの前記貼付け電極に与える前記機能的電気刺激を生成する、ことを特徴とする双方向遠隔制御システム。
- 請求項１又は２に記載の双方向遠隔制御システムであって、前記検出データには、各々のヒトの身体位置情報と力覚情報とが含まれ、前記制御部は、各々のヒトの前記検出データから各々のヒトの前記身体位置情報を取得して、それらの差分を算出し、前記差分を解消するように生成した前記機能的電気刺激を一方のヒトの前記貼付け電極に与え、各々のヒトの前記検出データから各々のヒトの前記力覚情報を取得して、それらの和分を算出し、前記和分に基づいて、他方のヒトの前記貼付け電極に与える前記機能的電気刺激を生成する、ことを特徴とする双方向遠隔制御システム。
- 請求項１又は２に記載の双方向遠隔制御システムであって、前記検出データには、各々のヒトの身体位置情報と力覚情報とが含まれ、前記制御部は、各々のヒトの前記検出データから各々のヒトの前記身体位置情報を取得して、それらの差分を算出し、前記差分を解消するように生成した前記機能的電気刺激を一方のヒトの前記貼付け電極に与え、前記一方のヒトの前記検出データから取得した前記力覚情報に基づいて、他方のヒトの前記身体位置を制御する前記機能的電気刺激を生成して、前記他方のヒトの前記貼付け電極に与える、ことを特徴とする双方向遠隔制御システム。
- 請求項１又は２に記載の双方向遠隔制御システムであって、前記検出データには、各々のヒトの身体位置情報と力覚情報とが含まれ、前記制御部は、各々のヒトの前記検出データから各々のヒトの前記身体位置情報を取得して、それらの差分を算出するとともに、各々のヒトの前記検出データから各々のヒトの前記力覚情報を取得して、それらの和分を算出し、前記身体位置情報の差分の加速度と前記力覚情報の和分との差分又は和分を解消するように生成した前記機能的電気刺激を各々のヒトの前記貼付け電極に与える、ことを特徴とする双方向遠隔制御システム。
- 請求項１又は２に記載の双方向遠隔制御システムであって、前記検出データには、一方のヒトの筋電情報が含まれ、前記制御部は、一方のヒトの前記検出データから前記筋電情報を取得して筋出力を推定し、該筋出力を生成する前記機能的電気刺激を他のヒトの前記貼付け電極に与える、ことを特徴とする双方向遠隔制御システム。
- 請求項３から７のいずれかに記載の双方向遠隔制御システムであって、前記検出データには、さらに、一方のヒトの筋電情報が含まれ、前記制御部は、前記検出データから前記身体位置情報又は力覚情報を取得するまでの間、前記検出データから前記筋電情報を取得して筋出力を推定し、該筋出力を生成する前記機能的電気刺激を他のヒトの前記貼付け電極に与える、ことを特徴とする双方向遠隔制御システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015142500A JP6408435B2 (ja) | 2015-07-16 | 2015-07-16 | 機能的電気刺激を用いた双方向遠隔制御システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015142500A JP6408435B2 (ja) | 2015-07-16 | 2015-07-16 | 機能的電気刺激を用いた双方向遠隔制御システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017023223A JP2017023223A (ja) | 2017-02-02 |
| JP6408435B2 true JP6408435B2 (ja) | 2018-10-17 |
Family
ID=57944701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015142500A Active JP6408435B2 (ja) | 2015-07-16 | 2015-07-16 | 機能的電気刺激を用いた双方向遠隔制御システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6408435B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7351523B2 (ja) | 2020-05-26 | 2023-09-27 | 国立大学法人 東京大学 | システム及び操作方法 |
| WO2023135902A1 (ja) * | 2022-01-14 | 2023-07-20 | 株式会社Ｎｔｔドコモ | 人間拡張プラットフォーム装置及び身体能力拡張方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11210021A (ja) * | 1998-01-21 | 1999-08-03 | Tokyu Constr Co Ltd | 反力提示装置 |
| JP4348577B2 (ja) * | 1999-08-17 | 2009-10-21 | ソニー株式会社 | 筋電位情報を利用したモーションキャプチャー装置とその制御方法、並びにこれを用いた電気刺激装置、力触覚呈示装置とこれらの制御方法 |
| JP3543097B2 (ja) * | 1999-11-24 | 2004-07-14 | 株式会社先端科学技術インキュベーションセンター | 電気刺激を用いた触覚呈示方法及び装置 |
| JP5268161B2 (ja) * | 2010-01-05 | 2013-08-21 | 日本電信電話株式会社 | 運動学習支援装置および方法 |
| JP6201126B2 (ja) * | 2013-11-07 | 2017-09-27 | 株式会社人機一体 | マスタスレーブシステム |
-
2015
- 2015-07-16 JP JP2015142500A patent/JP6408435B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017023223A (ja) | 2017-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | Hand rehabilitation learning system with an exoskeleton robotic glove | |
| Stanton et al. | Teleoperation of a humanoid robot using full-body motion capture, example movements, and machine learning | |
| Khademi et al. | Haptic augmented reality to monitor human arm's stiffness in rehabilitation | |
| Galambos | Vibrotactile feedback for haptics and telemanipulation: Survey, concept and experiment | |
| Zannatha et al. | Development of a system based on 3D vision, interactive virtual environments, ergonometric signals and a humanoid for stroke rehabilitation | |
| Jarrassé et al. | A methodology to quantify alterations in human upper limb movement during co-manipulation with an exoskeleton | |
| Chen et al. | Evaluation by expert dancers of a robot that performs partnered stepping via haptic interaction | |
| Lanini et al. | Teleoperation of two six-degree-of-freedom arm rehabilitation exoskeletons | |
| Erwin et al. | A haptic feedback scheme to accurately position a virtual wrist prosthesis using a three-node tactor array | |
| Pierce et al. | A data-driven method for determining natural human-robot motion mappings in teleoperation | |
| JP6408435B2 (ja) | 機能的電気刺激を用いた双方向遠隔制御システム | |
| Bouteraa et al. | Smart solution for pain detection in remote rehabilitation | |
| Filgueiras et al. | Vibrotactile sensory substitution on personal navigation: Remotely controlled vibrotactile feedback wearable system to aid visually impaired | |
| Kousidou et al. | Assistive exoskeleton for task based physiotherapy in 3-dimensional space | |
| Koochaki et al. | A novel architecture for cooperative remote rehabilitation system | |
| Kitamura et al. | Bilateral control of human upper limbs using functional electrical stimulation based on dynamic model approximation | |
| Galambos et al. | Vibrotactile force feedback for telemanipulation: Concept and applications | |
| Padilla-Castañeda et al. | The modulation of ownership and agency in the virtual hand illusion under visuotactile and visuomotor sensory feedback | |
| JP2019020670A (ja) | 熟練動作教示システム | |
| Wu et al. | Virtual reality training system for upper limb rehabilitation | |
| Malosio et al. | Robot-assisted upper-limb rehabilitation platform | |
| Tatsumi et al. | Cane walk in the virtual reality space using virtual haptic sensing: toward developing haptic VR technologies for the visually impaired | |
| Manresa-Yee et al. | A vibrotactile interface to motivate movement for children with severe to profound disabilities | |
| Du et al. | Data fusion of multiple kinect sensors for a rehabilitation system | |
| Tachi | Forty Years of Telexistence—From Concept to TELESAR VI (Invited Talk) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170612 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20171225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180920 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6408435 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |