JPWO2008072756A1 - 反力提示方法、および力覚提示システム - Google Patents

反力提示方法、および力覚提示システム Download PDF

Info

Publication number
JPWO2008072756A1
JPWO2008072756A1 JP2008549389A JP2008549389A JPWO2008072756A1 JP WO2008072756 A1 JPWO2008072756 A1 JP WO2008072756A1 JP 2008549389 A JP2008549389 A JP 2008549389A JP 2008549389 A JP2008549389 A JP 2008549389A JP WO2008072756 A1 JPWO2008072756 A1 JP WO2008072756A1
Authority
JP
Japan
Prior art keywords
force
tool
force sensor
reaction force
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008549389A
Other languages
English (en)
Other versions
JP5177560B2 (ja
Inventor
和之 永田
和之 永田
充徳 多田
充徳 多田
英丈 岩崎
英丈 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
BL Autotec Ltd
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
BL Autotec Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST, BL Autotec Ltd filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2008549389A priority Critical patent/JP5177560B2/ja
Publication of JPWO2008072756A1 publication Critical patent/JPWO2008072756A1/ja
Application granted granted Critical
Publication of JP5177560B2 publication Critical patent/JP5177560B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Manipulator (AREA)

Abstract

コンピュータ内部に構築した仮想モデルとツール型力覚センサを備えたハプティックインタフェースから得られた実測出力値とを比較して差分を求め、実物操作ツールに該差分を提示する反力提示方法であって、操作量に応じて仮想モデルが受ける反力と実物操作ツールが受ける実測された反力との差分を算出し、該差分を反力として提示する反力提示方法及びハプティクス(Haptics)の記録と再生ができる力覚提示システム。

Description

本発明は、教習や訓練に主に用いられるハプティクス(Haptics)の記録と再生ができる力覚提示システムに関する。ハプティクス(Haptics)とは、触覚センサの情報と運動情報の組み合わせのことをいう。
具体的には、実際に人が物を操作したときの操作データ(操作力と運動)が計測・再生できる力覚提示システムである。特に、人が手で扱うツールの操作データが記録・再生できるシステムに関する。
18世紀の産業革命により始まった工場制機械工業は、高度な製品を安価に供給する流れを作り、現在の科学技術の進歩と実生活に著しい改革をもたらした。これは技能者の技を機械に置き換える歴史でもあった。しかしながら、物やサービス全てが機械化されたわけでなく、人間が機械より優秀な分野は、現在でも分析と機械化への努力が継続されている。機械化を当面困難な技能は、人への伝承に、その訓練法等が継続研究されている。
従来から手先を使用した技能の訓練、修得に関する教習具や訓練装置は種々提案されている。手本や熟練者の形を視覚的にまねることはできても、力のいれ具合まで修得することは難しい。近年、熟練者の操作データを取得してモデルを構築する発明や、構築されたモデルと訓練者の操作とを比較する発明が提案されている。これらのモデルは、コンピュータの中に対象物(人体)を再現した仮想モデルであり、訓練者はディスプレイに表示された映像を対象に仮想空間において操作具を操ってシュミレーションする。また、人体構造を詳細に再現した医療用マネキンなどの模型を使用する方法がある。従来提案されている発明では、模型を使ったとしても、実物との差が存在する。一方、本発明者は操作データの入力精度を向上させる指装着型の力覚センサや力覚センサを搭載した操作具あるいは力覚を手指に提示する発明を提案した。本発明では、訓練に使用される環境(対象物や訓練用模型を含む)の条件を加味した、力覚を訓練者に提示することによって、よりリアルな訓練、修得ができるシステムを提案するものである。
具体的な、先行文献は各種あるが例えば次の例をあげることができる。
特許文献1(特許第3802483号公報)書道学習支援システム、
特許文献2(特開2005−287656号公報)力触覚を活用した鍼治療訓練システム
特許文献3(特開2005−189297号公報)力触覚を伴う歯科治療訓練システム
特許文献4(特開2000−259074号公報)道具媒介型の力覚提示システム
特許文献5(特開平10−91327号公報)描画装置
特許文献6(特開2004−213351号公報)力覚提示装置および力覚提示システム
特許文献7(特開2002−132138号公報)硬膜外穿刺シュミレータ
前記特許文献7は、旧来の訓練用の実物モデルである。特許文献1〜6は、コンピュータ仮想空間で物体を操作する訓練手法が開示されて、仮想空間での反力を提示しているが、実操作データ(実在する物を操作したときの運動と力)の記録機能はない。
本発明者は操作データの入力精度を向上させる指装着型の力覚センサや力覚センサを搭載した操作具あるいは力覚を手指に提示する発明を提案した。
特許文献8(特許第3261653号公報)指装着型6軸力覚センサ
特許文献9(特許第3409160号公報)把握データ入力装置
特許文献10(特許第3624374号公報)力覚提示装置
特許文献10は、仮想空間で物体を操作したときの反力提示機能と、実操作データ(実在する物を操作したときの運動と力)の記録機能を設けたものである。指で物体を操作したときの操作データの記録と再生が可能なもので、ツールの操作データを記録・再生する機能はない。具体的には、特許文献10で開示した装置でツールを操った場合、指先力覚センサの合力により、ツールに作用する操作力の計測は可能であって、指の運動は計測できるが、ツールの運動を計測することまではできない。この発明は、指の運動からはツールの運動を計測することはできない。例えば、人がペンを持った場合、ペンの中心軸に沿った方向の把持拘束は不定となり、ペンの中心軸方向の運動は計測することができない。特許文献10に開示された具体的な反力提示機構は次のようなものである。
特許文献10に開示された発明は、指に装着できる力覚センサ、マニピュレータ、ベースおよび制御装置を備えた力覚提示装置であって、上記ベースは、外部固定部材に固定可能又は上記力覚提示装置の使用者の手に装着可能であり、上記マニピュレータは、アクチュエータと角度検出センサから成る能動関節、角度検出センサのみから成る受動関節、およびリンクを備えており、上記アクチュエータおよび角度検出センサは、夫々リンク機構を構成するリンクとリンクの枢支部および上記リンクとベースの枢着部に選択的に取り付けられており、上記角度検出センサにより上記リンク機構の動きを計測することにより手指の3次元運動を計測できるとともに、上記力覚センサにより人間の指先の接触力を計測することができ、上記アクチュエータは、指先に提示しようとする力覚と上記力覚センサの出力値との差に基づいて上記制御装置で制御され、力覚を指先に提示することを特徴とする力覚提示装置を提供する。
上記アクチュエータは、直流電動モータ又は交流電動モータとしてもよい。又、上記角度検出センサは、ポテンショメータ又はエンコーダとしてもよい。
図20に示すとおり、本力覚提示装置は、人間の指にはめることのできる力覚センサ1、小型マニピュレータ2、ベース3から構成される。
図21に、本発明の力覚提示装置で使用する力覚センサ1の構成を示す。力覚センサ1は、図21に示すとおり、指サック20、弾性構造体21、指カバー22、リンク結合部23から構成される。なお、図20〜21に記載された符号は、特許文献10に記載された符号を援用するものであって、本願発明に関する符号とは関係しない。
弾性構造体21は、特定の力覚成分に対して歪み易い構造をもっている。図22に弾性構造体21の一例を示す。これは、基部30と周辺リング31を3本のビーム32を介して連結したもので、ビーム32の各面には歪みゲージ33が貼られている。
この弾性構造体21に外力がはたらくと、外力成分に応じてビーム32が歪む。この歪みを歪みゲージ33により電気信号に変換することにより、力覚成分を歪みゲージ33の電気信号として取り出すことができる。
弾性構造体21に作用する6軸力(3方向の力とモーメント)と各ビームの歪みゲージの出力の関係を表す歪みスティフネス行列は予めキャリブレーションにより求められている。歪みスティフネス行列とは、各ビームの歪みゲージの出力を力覚に変換する行列である。歪みスティフネス行列を用い、歪みゲージの出力信号から、弾性構造体21に作用する6軸力を計算により求めることができる。
指カバー22は、実際に物体と触れる部分で、取付けブロック24を介して弾性構造体21の周辺リング31と連結している。リンク結合部23は、指カバー22と連結しており、力覚提示装置の小型マニピュレータ2と連結する。
指先に力覚を提示するためには、能動関節の数は提示したい力覚成分と同数以上必要となる。従って、指先に3軸の力のみを提示する場合には、必要な能動関節の数は3以上となり、6軸力全てを提示する場合には、必要な能動関節の数は6以上となる。
能動関節の自由度の配置は、小型マニピュレータ2の先端が提示したい力覚成分の全ての方向に運動が生成できるように配置される。受動関節は、小型マニピュレータ2の先端が能動関節の自由度のみで人間の指の運動に追従できないときに必要となる。受動関節の数は、人間の指の自由度の数と、人間の指の自由度と一致する能動関節の数の差となる。
そして、これらの能動関節、受動関節によって、リンク機構を構成するリンク6を連結している。
本発明の力覚提示装置の基本原理は以下の通りである。本力覚提示装置の力覚センサ1の指サック20に指12を挿入し、小型マニピュレータ2を駆動すると、能動関節の数に応じて人間の指先12に力を加えることができる。この小型マニピュレータ2が指先12に加えた力は、指先に装着した6軸力覚センサにより検出される。
計算機内部に構築した仮想モデルに基づき、計算機により与えられる目標力と、小型マニピュレータ2により人間の指先12に加えられる力が等しくなるように、6軸力覚センサ1の出力をフィードバックしながら小型マニピュレータ2を制御することで、人間の指先12に力覚を提示することができる。
計算機の内部には、仮想物体10と、その仮想物体10を操作する仮想的な指9(以後、仮想指と呼ぶ)が構築されている。仮想指9は、力覚提示装置の指先の運動に応じて計算機内部の仮想世界を自由に運動することができる。
人間は、力覚提示装置の力覚センサ1に指を挿入し、指を動かす。このとき、小型マニピュレータ2の角度検出センサ5の角度データを用い、指先位置・指先速度が計算される。その指先位置・指先速度のデータに応じて仮想指9は計算機内部の仮想空間内を運動する。その結果、仮想指9は力覚提示装置を装着した人間の指12によって操られる。
計算機は、仮想指9が仮想世界を運動したり、仮想物体10を操作しているときに、仮想指9に作用する力覚を計算する。この計算された力覚は、小型マニピュレータ2の力制御の目標値として与えられる。
計算機により計算された目標力は、力覚提示装置の6軸力覚センサ1の力覚データと比較され、その差がゼロとなるように、小型マニピュレータ2のアクチュエータ4に与える指令値が計算機により計算される。計算された指令値は、計算機からアクチュエータ4のサーボドライバに出力され、指先の6軸力覚センサ1の力覚データが目標力に収束するようアクチュエータ4が駆動される。
これより、指の運動により計算機内部の仮想指9を操り、計算機は仮想指9の運動に応じて仮想指9に作用する力覚を計算し、その力覚を目標力として小型マニピュレータ2を力制御することで、操作者の指先にあたかも仮想物体が実在し、操作しているかのように感じさせることができる。
従来の力覚提示システムは、図1に示すようにハプティックインタフェース、物体モデル(物体モデル・ライブラリー)、環境モデル(環境モデル・ライブラリー)、仮想空間、表示装置から構成されている。ハプティックインタフェースは複数のリンクとジョイントで構成した小型ロボットアームを用いることが多く、ハプティックインタフェースの動きと仮想空間内の物体の動きは連動している。人はハプティックインタフェースの先端を手に持って操作することにより、仮想空間内の物体を操作することができる。システムは、予め構築された物体モデルと環境モデルを仮想空間に配置する手段を有し、操作者は表示装置に表示された仮想空間内の物体を見ながらハプティックインタフェースを用いて仮想空間の物体を操作する。このときシステムは仮想物体と仮想環境との接触を判定して接触力を計算し、ハプティックインタフェースのアクチュエータの発生トルクを制御することで、接触力を人に提示する。
従来の力覚提示システムは、あくまで仮想空間の物体を操作するもので、実在する物体の操作データを記録する機能はない
本発明者は、さらに研究開発を続け、より精度を向上した指装着型の6軸力覚センサ(特願2006−205781号)及び6軸力覚センサ用把持型ツール(特願2006−205780号)を提案した。
特許第3802483号公報 特開2005−287656号公報 特開2005−189297号公報 特開2000−259074号公報 特開平10−91327号公報 特開2004−213351号公報 特開2002−132138号公報 特許第3261653号公報 特許第3409160号公報 特許第3624374号公報
本発明は、ハプティクス(Haptics)の記録と再生ができる力覚提示システムを提供することを目的とする。例えば、人が手で扱うツールの操作データを記録し再現できるので、訓練に使用される実環境(対象物や訓練用模型を含む)の条件を加味した、力覚を訓練者に提示することによって、より実際に則した訓練、修得ができるシステムを提案するものである。これにより技能の伝達が可能となる。
(1)コンピュータ内部に構築した仮想モデルとツール型力覚センサを備えたハプティックインタフェースから得られた実測出力値とを比較して差分を求め、ハプティックインタフェースに該差分を提示する反力提示方法であって、
操作量に応じて仮想モデルが受ける反力とハプティックインタフェースの先端に取り付けたツール型力覚センサが実環境から受ける実測された反力との差分を算出し、該差分を反力として提示することを特徴とする反力提示方法。
(2)コンピュータ内部に構築した仮想モデルとツール型力覚センサを備えたハプティックインタフェースから得られた実測出力値とを比較して差分を求め、ハプティックインタフェースに該差分を提示する反力提示方法であって、
仮想モデル構築状況とは環境因子あるいはツール因子を変更した状況でのハプティックインタフェースを操作した場合に、仮想モデルが操作量によって受けると算出された量と実測値の差分を修正して出力して提示する反力とすることを特徴とする反力提示方法。
(3)ツール型力覚センサを備えたハプティックインタフェース及び制御装置を備えた力覚提示システムであって、
ツール型力覚センサを備えたハプティックインタフェースは、ツール型力覚センサとツール型力覚センサに連結されるマニピュレータから構成され、
ツール型力覚センサは、ツール機能部と把持部と、ツール機能部と把持部の間に力覚センサ本体を有しており、
マニピュレータは、ツール型力覚センサの3次元運動を計測できるとともに、アクチュエータに駆動されて、前記ツール型力覚センサを把持した操作者に力覚を提示する機能を有しており、
制御装置は、実測演算部、データ記憶部、モデル推定器、物体モデルデータベース、環境モデルデータベース、物体モデルと環境モデルと相互作用演算部からなる仮想空間演算部、重ね合わせ処理部及び表示部から構成され、
該制御装置は、ハプティックインタフェースの操作による実測値に基づいて仮想環境内の仮想モデルを操作する機能と、ハプティックインタフェースを操作する際に操作者に対して提示する修正した力覚を計算する機能を有し、
修正した力覚の提示は、ハプティックインタフェースの操作によって得られる実操作量を予め既に構築されている仮想モデルに対して直接操作量として入力し、仮想空間内の仮想物体同士あるいは仮想物体と仮想環境との間の相互作用演算により反力を計算し、ツール型力覚センサの操作による実測値から得られた反力データとを重ね合わせて処理部にて重ね合わせ処理して差分を算出し、環境変化の因子やツールの変更の因子を加味することなくその差分を修正反力として提示することで、ハプティックインタフェースによりつくられた修正反力と実環境から受ける反力を加えた力覚を操作者に提示すること、あるいは、修正した力覚の提示は、環境変化あるいはツールを変更した場合は、変化因子を加味した相互作用修正量を加味した力覚を提示するものであって、仮想モデルが実測操作量によって受ける反力と前記実測反力との差を修正量とし、実環境から受ける反力と変化因子を加味した修正反力を加えて操作者に力覚を提示することを特徴とする力覚提示システム。(4)6軸力覚センサを備えたツール型力覚センサは、6軸力覚センサ本体に対してツール機能部あるいは把持部を着脱交換可能としたことを特徴とする(3)記載の力覚提示システム。
本発明は、実際のツールにセンサを組み込んだツール型センサを実際に操作することにより、実際のツールを利用した状態の反力を提示することが可能となり、ツールを用いた訓練などの再現性を向上させることができる。
特に、本発明は、実測データとモデルデータを重畳することで、触覚の拡張現実感の提示が可能となる。これにより、例えば実操作においてペンの書き心地やメスの切れ味を変えたり、柔らかい物を硬く提示したり、硬い物を柔らかく提示することができる。本機能は技能訓練において、極めて有用な機能である。
道具と環境の力学的相互作用を実測することで、物体と環境のインピーダンス特性、摩擦係数、環境のテクスチャといった物体−環境間の物理パラメータを抽出することができ、これより、物体−環境間の物理特性を、その場で仮想空間のモデルに反映することが可能となる。
本発明により、達筆な人の筆運びや、名医のメスさばきなどのデータを記録し、その道具を使うための肝を抽出・抽象化するなど、名人の技の秘密にせまることができる。今後、外科手術など手技の熟練度評価・トレーニング・技能伝達、手で扱う道具の評価などに適用できる。
本発明の力覚提示システムは、道具と環境との間の力学的相互作用が実測できることであり、1)手技の可視化、2)実測に基づく仮想モデル(物体モデル・環境モデル)構築、3)触覚の拡張現実感提示が可能となる。
[図1]従来の力覚提示システム構成
[図2]ツール型力覚センサの例
[図3]アーム連結ツール型センサの使用状態
[図4]力覚提示システム基本構成
[図5]ペン型6軸力覚センサを用いた筆跡と筆圧(3軸力)を立体表示した例
[図6]実測による仮想モデル構築システム図
[図7]ボタン押し操作時の実測データと仮想データの重ね合わせ例
[図8]実測データ・仮想データ重ね合わせシステム構成図
[図9]メス型ツールセンサを示す
[図10]筆記具ツールの分解斜視図を示す
[図11]筆記具タイプツールセンサ本体と把持部の結合を示す
[図12]筆記具先端部例を示す図
[図13]ツール型力覚センサをアームに取り付ける状態を示す
(1)モーションキャプチャ力覚センサとしての利用
力覚センサ:モデルとなる師匠の力加減を計測
(2)ハプティック力覚センサとしての利用
力提示装置:X,Y,Zの位置情報を再現
力覚センサ:研修生の力加減を計測し、先生のモデルとの差異を表示
[図14]ペン型6軸力覚センサを用いた筆跡と筆圧(3軸力)を立体表示したn例
ペン型6軸力覚センサを用いて記録した筆跡と筆圧(3軸力)を立体表示及び角度を変えて表示してn例を示す。カタカナ文字「イ」の縦棒を軸として、n1を0°として右回転したイメージ表示である。
(1)n1:紙面に対して正面から表示
(2)n2:36°振った表示
(3)n3:72°振った表示
(4)n4:108°振った表示
(5)n5:144°振った表示
[図15]ペン型6軸力覚センサを用いた筆跡と筆圧(3軸力)を立体表示したw例
ペン型6軸力覚センサを用いて記録した筆跡と筆圧(3軸力)を立体表示及び角度を変えて表示してw例を示す。カタカナ文字「イ」の縦棒を軸として、w1を0°として右回転したイメージ表示である。
(1)w1:紙面に対して正面から表示
(2)w2:36°振った表示
(3)w3:72°振った表示
(4)w4:108°振った表示
(5)w5:144°振った表示
[図16]ペン型6軸力覚センサを用いた筆跡と筆圧(3軸力)を立体表示したn2の説明図
[図17]押しボタンのデータの記録・再生実験で使用した仮想空間モデル(Virtual enviroment model)を示す。
[図18]ハプティックインタフェースで記録したボタン押下データのForce−Displacement曲線(Recorded Force−Displacement
Curve)を示す。
[図19(a)]ボタンデータ再生時のデータを示したものであって、ユーザがハプティックインタフェースを操り仮想ボタンを押したときの仮想ボタンの変位を表す。
[図19(b)]ボタンデータ再生時のデータを示したものであって、ハプティックインタフェースによりユーザに提示された力を表す。
[図19(c)]ボタンデータ再生時のデータを示したものであって、仮想ボタンの操作変位と提示力の関係を示したものを表す。
[図20]特許文献10開示力覚提示装置
[図21]特許文献10開示指装着型6軸力覚センサの基本構成
[図22]特許文献10力覚センサ弾性構造体の一例
力覚センサを備えたハプティックインタフェースを通して熟練者の操作データを入力して模範となる仮想モデルを構築することができ、訓練者などがツール型センサを利用して得られた実操作データと仮想空間内で仮想モデルを操作したデータとの差から修正反力を構成して、ハプティックインタフェースに出力して、ハプティックインタフェースにより作られる修正反力と実環境からの反力を合わせて操作者に力覚として提示するものである。力覚センサとしては、3軸あるいは6軸を用いることができる。6軸の方が良い再現性の精度に優れている。以下は6軸を中心に説明する。本発明は、さらにこの力覚を対象物の模型(例えば医療トレーニング用の人体模型)に対してツール型センサを適用するものであって、対象物の模型の物性などをツール型センサを操作しつつ実測することができる構成であるので、実際に適用する対象物との差を反映して反力を構成してハプティックインタフェースに出力して、操作者に力覚として提示するものである。さらに、構築された仮想モデルの構築された状況と異なる条件を入力することにより、同じ模型を用いながら操作者に対して別の状況の対象物の訓練などを提示することができる。
本発明の力覚提示システムは、ツール型6軸力覚センサを備えたハプティックインタフェース及び制御装置を備えており、6軸力覚センサを備えたツール型力覚センサを操作することにより、ツール型力覚センサの3次元の運動データと実環境からツール型力覚センサに加えられる力に関するデータを制御装置に入力することができ、一方、制御装置からツール型力覚センサに反力を提示することができる。制御装置は、ハプティックインタフェースからの入力データに基づいて仮想空間内のモデルを操作できることと、相互作用演算処理と重ね合わせ処理を設けて、既存の構築された仮想モデルとその後の実測データとの差分を求めることと、被処理操作対象物の属性をフィードバックして、修正反力を出力して力覚を提示するものである。
1.ツール型6軸力覚センサを備えたハプティックインタフェースの基本構成
ハプティックインタフェースは、小型アームとツール型力覚センサから構成される。操作者は、ハプティックインタフェースのツール型力覚センサを手にとって操作する。ツール型力覚センサは、道具と環境との間の力学的相互作用を実測するため、手作業具に用いる実物のツールを用いて構成する。
ツール型力覚センサの一例を図2に示す。図2(a)のペン型6軸力覚センサは、先端に、アダプタを介して市販のボールペンを利用して、ペン先(本例は、ZEBRA社製のボールペンJIM−KNOCKのペン先を利用)を取り付けた。先端アダプタに鉛筆やマーカー、他のボールペンのペン先を取り付けることで、様々な筆記具の6軸力覚センサが構成できる。図2(b)のメス型6軸力覚センサは、市販のメスの柄と刃(本例は、松吉医科器械社製の刃形状No.21の刃と柄替刃ハンドルNo.4の柄を利用)を利用して、アダプタを介して起わい体に取り付けて構成した。アダプタに別の種類の刃や柄を取り付けることで、様々な医療器具の6軸力覚センサが構成できる。この様に、ツール型6軸力覚センサはアダプタを介して様々な実物のツールを取り付けることができる。小型アームはSensAbleTechnologies社PHANToMを改造したものを用いた。図2に6軸力覚センサを備えたツール型センサの使用状態の外観を示す。
ツール型力覚センサは、特願2006−205780号にて提案したものを用いることができる。すなわち、手作業具を用いた操作情報を入手するために用いる機器において、センサ本体Aと把持部Bと作業部Cとから構成される6軸力覚センサ用把持型ツールであって、把持部B及び作業部Cは、センサ本体Aに対して着脱可能な連結構造を有し、該連結構造は、把持部Bあるいは作業部Cに付属されて設けられているか、又は、別体のコネクターD、Eであって、把持部B及び/又は作業部Cは、ツールの種類に応じて、複数備えられている6軸力覚センサ用把持型ツールである。図9〜13参照。
[センサ本体A]
本発明に用いるセンサは6軸力覚センサである。本発明に用いる力覚センサは、薄型が適している。現状では、筐体部の外形が厚さ約10mmで外形が20mm弱の径とすることができた。
主に、歪みゲージを用いた6軸力覚センサの感知部について、以下に例示する。
6軸力覚センサの感知部は、弾性構造体であり特定の力成分(力とモーメント)に対して歪み易い構造をもっている。基部とフランジ部を3本のビームを介して連結し、ビームの各面には歪みゲージを取り付ける。この弾性構造体に外力がはたらくと、ビームが歪み、この歪みを歪みゲージにより電気信号に変換することにより、力成分を歪みゲージの電気信号として取り出すことができる。なお、6軸力覚センサ弾性構造体の歪みを検出する素子として、歪みゲージの代わりに光センサユニットを用いることもできる。この弾性構造体は、2mm厚以下に作ることができる。
弾性構造体に作用する6軸力(3軸方向の力とモーメント)と各ビームの歪みゲージの出力の関係を表す歪みスティフネス行列は予めキャリブレーションにより求められている。歪みスティフネス行列とは、各ビームの歪みゲージの出力を力に変換する行列である。歪みスティフネス行列を用い、歪みゲージの出力信号から、弾性構造体に作用する6軸力を計算により求めることができる。
この弾性構造体を筐体に収容し、リンク機構に接続するための突起部を設けてリンク結合部とし、及び、信号取り出し用のケーブルを取り付けて、6軸力覚センサ本体を構成する。ケーブルは、外部の増幅器等に接続される。筐体は、略円筒形であって、一方の面に操作用の柄を取り付け可能とし、他方の面には手術用のメスの刃先など用具の機能部分を取り付け可能とする。取り付け面は、ネジ穴を設けた平面とし、相手方の平面フランジとを突き合わせてネジ止めすることができる。取り付け用の部材としては、突出したリブ、ネジ部等適宜設定することができる。また、取り付け面には、相手方との位置合わせ用及び回り止めの凹凸を作成することも可能である。
名人などの力加減などの情報を収集する目的で用いるモーションキャプチャ力覚センサ用として用いる場合は、弾性構造体の受感面は用具を取り付ける面側となる。反対側は固定部として、情報入力面とはならない。
練習者などが訓練する場合に、名人等の雛形の力加減をフィードバックしながら本ツールを使用するハプティック力覚センサ用に用いる場合は、弾性構造体の受感面は柄などを取り付ける面側となる。反対側は固定部となる
リンク機構に接続することにより、モーションキャプチャ力覚センサでは、3次元の空間情報を収集することができ、ハプティック力覚センサでは、訓練者への位置情報を提示することが可能となる。
[把持部B]
把持部は、手指で実際に持つ部分で、作業具の柄に相当する部分である。この把持部は、実際に用いられる作業具の柄を加工して準備することもできる。また、実際の作業具の柄に類した形状に作成することもできる。
手術用のメスなどは、実際に使用するものに近いことが望ましいので、実際の手術に用いられるメスの柄を加工して製造することが望ましい。
鉛筆、ボールペン、万年筆などは、ペン先はいろんな種類を普段に使っているが、柄は標準的な柄で対応することが可能である。もちろん、実物から加工して製造することもできる。
把持部とセンサ本体とは、標準的な把持部には、センサ本体部の取り付け面に直接連結可能な構造とすることができる。実物の柄を加工して製造する場合は、柄の先端とセンサ本体を連結するためのコネクターを用いて対応することができる。
把持部の先端部には約10mm厚のセンサ本体部が接続され、その前に作業用の機能部が接続され、鉛筆やボールペンなどの筆記具ではテーパ部から最先端まで10〜20mm程度であるので、把持部は先端から20〜30mm以降となり、筆記具の持ち部分としては十分な位置である。把持部の長さは、実際の作業具の長さが確保できる範囲で、作業部位、センサ本体の長さを除いた長さにカット等の加工を施す。
[作業部C]
手術に用いられる刃先や筆記具のペン先など作業具の実際の作業部である機能部は、それぞれの用具に応じて特有の形状をしているので、機能部に直接接合構造を形成することは、現実的ではなく、接続用にコネクターを介して、センサ本体と連結することが好ましい。
作業部は、実際に機能する部分を確保し、作業具の実長に近い長さを確保できる範囲で後端部を切除及びコネクターの接合部に適合する形状に加工する。
筆記具では、10〜20mm程度確保できれば筆記機能は可能である。手術用のメスは様々であるが、刃付き部が40〜50mmのものであっても、先端部から20mm程度が実際に使用される部分であり、この例でも30mm程度の刃付き部が確保できることが望ましいので、コネクターによって覆われる部分も含めて、十分な長さを確保できる。
その他の作業具としては、技能者が掴んで用いる手作業具一般に適用することができる。
例えば、外科医、脳外科医、眼科医、婦人科医、大工、調理師、仏師、彫刻家などが用いる道具が挙げられる。
外科医であれば、手術用具であるメス一式、鉗子、縫合器、ピンセットなどが挙げられる。検査用機器である内臓などの生体検査用のサンプル採取具や注射器などは内科医でも使用する必要がある。また、内視鏡及びレーザーなどの治療器具を備えた内視鏡も挙げられる。手術用具は、脳外科用、眼科用などその使用対象によって専用化している器具もある。大工でも、細工が必要な指物用のノミ、鉋、あるいは宮大工などの細工道具、又、包丁さばきなどが必要な調理器具も例示できる。
[コネクターD、E]
手術に用いるメスの刃先部や柄をセンサ本体部に接続する際に用いるコネクターである。センサ本体部と把持部や作業部はぐらつきや遊びが無いようにしっかりと連結される必要がある。ぐらつきがあると、データが不正確になる。
コネクターは、センサ本体側は、センサ本体の取り付け面に適合した形状とする。例えば、平面同士の面突き合わせの場合は、平面を備える。平面フランジ同士の面を突き合わせてネジ止めする連結機構は、把持部や先端側のふらつきを防止して固定制度を高めることができ、情報精度を向上させることが容易である。また、柄側については、フランジ部を薄くできて実際に指で押さえる位置の制限を小さくすることができる。そして、ネジ穴や位置決め・回り止め用に係合用凹凸などを適宜備えることとする。
作業部側は、それぞれの作業部の形状にあわせた連結構造を工夫することができる。手術用のメスなどある程度形状が類似しているものは、作業部の方を加工して、共通の連結構造とすることが可能である。
柄に相当する把持部は、丸棒、平棒など共通して使用可能なものは、センサ本体との接合構造を備えた専用品を備えることができる。例えば、丸棒の先端にフランジを固定した把持部などである。手術用のメスなどは丸棒や六角棒、大小のサイズの異なる平棒など様々の用途に合わせてバリエーションのあるものは、作業部側と同様に、コネクターを介在させることが好ましい。この場合でも、柄は加工して、連結構造部に適する形状とすることができる。
柄や作業部を連結する構造は、割型の間に挿入して、受け凹部を形成した割型に挟圧して押さえ込んで固定する手段や、円筒割型の空隙に根本を挿入して外側から締め込む手段、螺着、嵌合など適宜採用することができる。
これらのパーツを組み立てた6軸力覚センサ用把持型ツールを、手に持って操作するとその操作力データがケーブルを経由して増幅器、CPUへ送られて、蓄積される。
把持部や作業部は取り替えることができるので、ひとつの仕事に必要なさまざまな作業具の種類に応じて、準備しておくことによって、トータル的なデータを収集することができる。
例えば、ひとつの手術に必要なデータの全体を収集することができることとなり、シュミュレータの開発データが得られる。また、遠隔医療用ツールであるハプテックインタフェースに装備することができる。
これらのツール型力覚センサの例を図9、10、11、12に示す。図9は、交換可能なツールとして手術用メスを用いたものである。図10〜12は、ペン型力覚センサの例を示す。これらの符号は先願に示したものをそのまま援用している。図13は、これらのツール型力覚センサを小型アームに取り付けた例を示す。この小型アームは特許文献10に示したものと同様のものを利用することができる。
1−2システム構成
力覚提示システムの基本システム構成を図4に示す。基本システムは入出力デバイスである前述のハプティックインタフェース、実計測演算部、データ記録部、モデル推定器、モデルデータベース(環境モデルデータベース、物体モデルデータベース)、仮想空間演算部、実データ―モデルデータ重畳演算部、および表示部から構成される。道具と環境の力学的相互作用を実測することで、以下のことが可能となる。
1−2−1 熟練技能の可視化と蓄積(手技のディジタル記録)
前述のツール型力覚センサを操作して操作データを計測して蓄積することにより、データを様々な形式で表示することができる。例えば、操作データと過去に記録されたデータを重ねて表示することで、操作者のデータと熟練者のデータの比較表示が可能となる。技能のコツを抽出するためには、操作データの可視化は不可欠である。図5は、ペン型6軸力覚センサを用いて記録した筆跡と筆圧(3軸力)を立体表示した例である。
1−2−2 実データに基づく物体・環境モデル構築
道具と環境の力学的相互作用を実測することで、物体と環境のインピーダンス特性、摩擦係数、環境のテクスチャといった物体−環境間の物理パラメータを抽出することができる。これより、物体−環境間の物理特性を、その場で仮想空間のモデルに反映することが可能となる。
1−2−3 実測データと仮想データの重畳による拡張現実感の提示(触覚のAugmented reality)
ツール操作時に、実測データとモデルデータを重畳することで、触覚の拡張現実感の提示が可能となる。これにより、例えば実操作においてペンの書き心地やメスの切れ味を変えたり、柔らかい物を硬く提示したり、硬い物を柔らかく提示することができる。本機能は技能訓練において必須のアイテムになる。
1−3
本発明の力覚提示システムを身体・道具・環境の力学的相互作用を記録&再生する「次世代力提示装置」と位置付け、その基本システムの構成について提案する。本発明の力覚提示システムは、道具と環境との間の力学的相互作用が実測できることであり、1)手技の可視化、2)実測に基づく物体・環境モデル構築、3)触覚の拡張現実感提示が可能となる。
2.作用
図6は、実測による仮想モデル構築のシステム図である。操作者はツール型力覚センサを用いて実物の対象物に操作を加える。
例えば、ハプティックインタフェースの先端に取り付けられたペン型力覚センサで紙の上に文字を書いたり、ハプティックインタフェースの先端に取り付けられたメス型力覚センサやナイフ型力覚センサで物を切ったり、ハプティックインタフェースの先端リンクでボタンやスイッチを押したりする。このときシステムの実計測演算部により、物体操作時にペンやメスあるいは先端リンクに加わる接触力と、ペン,メス,先端リンクの運動が計測され、データ記憶装置に記録される。
このデータを用いて、モデル推定器によりペンと紙の間の摩擦特性、メスやナイフで物を切ったときのインピーダンス特性(剛性、粘性特性)、ボタンの剛性特性といった物体や環境の物理パラメータを計算する。こうして計算された物理パラメータを物体モデルや環境モデルとして物体モデルライブラリー(物体モデルデータベース)や環境モデルライブラリー(環境モデルデータベース)に登録する。次に、物体モデルライブラリーや環境モデルライブラリーに登録されているモデルを仮想空間に配置し、操作者がハプティックインタフェースを用いて仮想空間内の物体モデルを操作する。
このとき仮想空間の物体が環境から受ける反力を相互作用演算により計算し、ハプティックインタフェースによりその反力を操作者に提示する。これにより、実空間にある物体や環境の物理特性をその場で仮想空間のモデルに反映し、操作者に提示することができる。
2−1[実測データと仮想データの重ね合わせ]
次に、ツール型力覚センサを用いて、過去に記録された対象物とは別の対象物に操作を加える。このとき、対象物の物理特性は、過去に記録された物体モデルや環境モデルの物理特性とは異なっているものとする。
ハプティックインタフェースの先端でボタンを押す操作を例示する。一般にボタンのバネ係数は非線形でボタンの押し込み量Δxの関数となる。図7(a)に示すように過去に記録・登録されたボタンのバネ係数をkm(Δx)とする。また、図7(b)に示すように実物のボタンのバネ係数をkr(Δx)とする。このとき、人が実物のボタンを押したときに感じる反力frは式(1)である。ここで
frは人がボタンを押したときに感じる反力である。また、Δxはボタンの押し込み量である。Δxはハプティックインタフェースにより計測される。
式(1) fr=kr(Δx)Δx
ここで図7(c)に示すように、制御部で、ボタンの押し込み量Δxに応じた力fhが式(2)で生成され操作者に提示する。
式(2) fh={km(Δx)−kr(Δx)}Δx
すると操作者が感じる力fmは、式(3)に示すように、ハプティックインタフェースにより生成される反力fhと実際にボタンから受ける反力frの和となり、バネ係数kr(Δx)の実ボタンを押しているにもかかわらず、あたかも過去に記録されたバネ係数km(Δx)のボタンを押しているかのような感覚を体感することができる。
式(3) fm=fr+fh=km(Δx)Δx
一般に、身の回りにあるボタンやスイッチのバネ特性は既知ではない。そこで、ハプティックインタフェースでボタンを押す操作の過程でリアルタイムにボタンのバネ係数kr(Δx)を計算し、式(2)から反力の修正量を計算して人に提示する。
上記実測データと仮想データの重ね合わせは、ボタンを押す操作ばかりでなく、ペンで文字を書いたときのペンと紙の間の摩擦特性を修正して別の書き心地を実現したり、メスやナイフで物を切るときのインピーダンス特性を修正して別の切断感覚を作り出すことができる。例えば、人の皮膚をメスで切ったときのインピーダンス特性を予め記録しておき、医療トレーニング用の人体模型を用いて外科手術のトレーニングを行う際に、マネキンの皮膚をメスで切ったときに、あたかも人の皮膚を切っているかのように体感させることが可能となる。
2−2 [実測データ・仮想データの重ね合わせを実現するシステム構成]
図8は、実測データ・仮想データの重ね合わせを実現するシステム構成図である。
操作者は、ハプティックインタフェースを用いて実物の対象物に操作を加える。例えば、ハプティックインタフェース先端に取り付けられたペン型力覚センサで紙の上に文字を書いたり、ハプティックインタフェース先端に取り付けられたメス型力覚センサやナイフ型力覚センサで物を切ったり、ハプティックインタフェース先端リンクでボタンやスイッチを押したりする。このときシステムの制御部の実計測演算部により、物体操作時にペンやメスあるいは先端リンクに加わる接触力とペン、メス、先端リンクの運動が計測され、そのデータはデータ記憶装置に記録される。一方、ハプティックインタフェースの操作部であるツール型力覚センサの運動は、仮想空間内の物体モデルの操作にも用いられ、仮想空間内の物体と環境との相互作用演算が行われる。ここで実測データと仮想データとの重ね合わせには次の二つの方法がある。
一つは、重ね合わせ処理において、モデルから計算された反力と実測により得られた反力を直接比較して修正反力を計算するものである。
いわゆる、実対象物の物理パラメータの推定を行わない方法である。ボタン押しの例で説明すると、ハプティックインタフェースからボタンの押し込み量Δxが仮想空間に入力され、仮想空間の相互作用演算で力fmが式(4)で計算され、重ね合わせ処理に入力される。また、制御部により計測された実ボタンを押したときの反力frが重ね合わせ処理部に入力される(図8(a))。
式(4) fm=km(Δx)Δx
重ね合わせ処理では、反力fhが式(5)により計算され相互作用修正量としてハプティックインタフェースに入力される。ハプティックインタフェースは、(5)式の反力fhを操作者に提示することで、操作者はハプティックインタフェースにより生成される反力fhと実際にボタンから受ける反力frの和を反力として感じる。
式(5) fh=fm−fr
二つめは、重ね合わせ処理において、モデルから計算された物体・環境の物理パラメータと、実測データを用いてモデル推定器によりリアルタイムで計算された物理パラメータを比較演算して修正反力を計算するものである。ボタン押しの例で説明すると、ハプティックインタフェースで実際にボタンを押したときの押し込み量Δxが実測される。実測された押し込み量Δxは仮想空間に入力され、仮想空間の相互作用演算でボタンのバネ計数km(Δx)が計算され、重ね合わせ処理に入力される。
また、ハプティックインタフェースによる実測データを用いて、モデル推定器で実ボタンのバネ計数kr(Δx)が計算され、重ね合わせ処理に入力される(図8(b))。また、ボタンの押し込み量Δxが重ね合わせ処理に入力される(図8(a))。重ね合わせ処理では、式(6)の演算により反力fhが計算され相互作用修正量としてハプティックインタフェースに入力される。ハプティックインタフェースは、(6)式の反力fhを操作者に提示することで、操作者はハプティックインタフェースにより生成される反力fhと実際にボタンから受ける反力frの和を反力として感じる。
式(6) fh={km(Δx)−kr(Δx)}Δx
[実測データの表示例]
ペン型6軸力覚センサを用いて被験者nと被験者wの2名によるカタカナ文字「イ」手書きデータをサンプリングした。その筆跡と筆圧(3軸力)を立体表示した例を図14と図15に示す。被験者nのデータをn1〜n5に視点を変えて図14に示し、被験者wのデータをw1〜w5に視点を変えて図15に示す。両図の視点は同じであり、カタカナ文字「イ」の縦棒を軸として、n1を0°として右回転したイメージ表示である。(1)n1は、紙面に対して正面から表示、(2)n2は36°振った表示、(3)n3は72°振った表示、(4)n4は108°振った表示、(5)n5は144°振った表示であり、w1〜w5も同様である。
図16に、n2を用いて表示説明例を示す。筆圧の強さと方向性は、ヘアラインとして3次元ベクトル表示され、筆の運びスピードはヘアラインの間隔に表されている。ヘアラインの間隔が短いほど、ゆっくりとした筆運びとなる。
図14に示される被験者nの筆跡は、筆圧が強くゆっくりとした運びであり、図15に示される被験者wの筆跡は、筆圧が弱く早い運びであることが解る。筆圧の加えられる方向もそれぞれヘアラインにより表示されている。本発明では、このような実際の筆跡を立体的に視点を変えて表示することができ、それぞれを比較して、表示することもできる。そして、被験者nの筆跡をモデルとした場合に、被験者wに対して、比較した差分の力覚を提示することもできる。あるいは、異なる条件の紙を設定して、被験者nのモデル筆跡を構築することもでき、被験者wは、その紙の条件下で動作している力覚を提示することができる。
したがって、本発明は、実際に極めて近い手道具をもちいて、操作しながら実体験に近いモデル環境にて、操作データを取得することができ、そして、モデルと比較した力覚提示うけて訓練することができる。あるいは、自分の操作履歴を残すことにより習熟度を確認することもできる。
[実測に基づく仮想物体モデル構築]
力覚提示システムの基本構成を示し、「手技の可視化」の例として、手書き文字筆圧データの可視化を上記に示した。本発明で提案する力覚提示システムは、小型アームと実物のツールを用いたツール型力覚センサから構成されている(図3参照)。これにより、ハプティックデータの提示機能に加え、実物の道具と環境との間の力学的相互作用の実測が可能になる。力覚提示システムの「実測に基づく仮想モデル構築」の例として、実物のボタンを押したときのハプティックデータを記録し、その場で仮想空間に反映して操作者に提示する例を示す。
<仮想環境モデル>
押しボタンのデータの記録・再生実験で使用した仮想空間モデルを図17に示す。押しボタンは半径r[mm],高さh[mm]で記述される円柱で表現し、属性としてストロークs[mm]を持つ。
図17の点はツール型力覚センサの作用点として示されたproxyを表し、ハプティックインタフェースの運動に連動して仮想空間内を運動する。ツール型力覚センサを操作してproxyで仮想空間のボタンを押すと、ボタンのストローク範囲内でボタンは押し込まれる。
<ボタンデータのサンプリング>
ハプティックインタフェースでボタンを押下したときのボタンの変位と反力を記録したデータを図18に示す。図18はハプティックインタフェースでキーボード(ELECOM TK−U12FYALBK)のキーを押したときのForce−Displacement曲線である。図18の上の曲線がキーを押したときのデータであり、下の曲線がキーを開放したときのデータである。この様に、ボタンやスイッチを押したときのForce−Displacement曲線は押下時と開放時で異なった曲線となり、ヒステリシスを描く。
<サンプリングデータのモデル化>
記録されたForce−Displacement曲線は、ボタンの変位を一定間隔で離散化し、変位に対する反力をサンプリングデータの線形補間により求め、仮想ボタンの反力モデルを構築した。また、Force−Displacement曲線の最大変位を仮想ボタンのストロークとした。
<サンプリングデータの再生>
記録されたボタンデータの提示反力は、Proxyと仮想ボタンの接触状態、速度から、以下の五つの条件(式7〜11に表す)に分けて提示した。
(1)Proxyとボタンが非接触
式(7) f=0
(2)Proxyとボタンが接触、かつボタン可動範囲内
・Proxyの速度がボタン押下方向
式(8) f=f press
・Proxyの速度がボタン開放方向
式(9) f=f release
(3)Proxyとボタンが接触、かつボタンの底に到達
・Proxyの速度がボタン押下方向
式(10) f=−KpΔp−KvVc
・Proxyの速度がボタン開放方向
式(11) f=f release_max
ここでfはハプティックインタフェースがユーザに提示する力、f press、f releaseはそれぞれ仮想ボタンモデルのForce−Displacement曲線(図18)から得られる押下時、および解放時の力、Kp、Kv、はサーボゲイン、Δpはボタンの底に到達後の変位、Vcはボタン押下方向の速度、frelease_maxはfreleaseの最大値を表す。
図19はボタンデータ再生時のデータを示したものである。図19(a)はユーザがハプティックインタフェースを操り仮想ボタンを押したときの仮想ボタンの変位、図19(b)はハプティックインタフェースによりユーザに提示された力、図19(c)は仮想ボタンの操作変位と提示力の関係を示したものである。図19(b)のピークはproxyがボタンの底に到達したときのもの。データ再生の感触は、proxyがボタンのストローク範囲内にある場合には満足のいくものであった。
ハプティックレコーダの重要な機能の一つである、「実測に基づく仮想モデル構築」の例として行ったボタン押下データの記録・再生の実験結果は、データの記録から再生はすべてオンラインで行っており、その場で、目の前にあるボタンデータを仮想空間に反映し、ユーザに提示することができた。

Claims (6)

  1. コンピュータ内部に構築した仮想モデルのデータとツール型力覚センサを備えたハプティックインタフェースから得られた実測値データとを比較して差分を求め、ハプティックインタフェースに該差分を提示する力覚提示方法であって、
    操作量に応じて仮想モデルが受ける反力とハプティックインタフェース先端に取り付けたツール型力覚センサが実環境から受ける反力との差分を算出し、該差分を反力として提示することを特徴とする反力提示方法。
  2. コンピュータ内部に構築した仮想モデルのデータとツール型力覚センサを備えたハプティックインタフェースから得られた実測値データとを比較して差分を求め、ハプティックインタフェースに該差分を提示する力覚提示方法であって、
    仮想モデル構築状況とは環境因子あるいはツール因子を変更した状況でのハプティックインタフェースを操作した場合に、仮想モデルが操作量によって受けると算出された量と実測値の差分を修正して出力して提示する反力とすることを特徴とする反力提示方法。
  3. ツール型力覚センサを備えたハプティックインタフェース及び制御装置を備えた力覚提示システムであって、
    ツール型力覚センサを備えたハプティックインタフェースは、ツール型力覚センサとツール型力覚センサに連結されるマニピュレータから構成され、
    ツール型力覚センサは、ツール機能部と把持部と、ツール機能部と把持部の間に力覚センサ本体を有しており、
    マニピュレータは、ツール型力覚センサの3次元運動を計測できるとともに、アクチュエータに駆動されて、ツール型力覚センサを把持している操作者に力覚を提示する機能を有しており、
    制御装置は、実測演算部、データ記憶部、モデル推定器、物体モデルデータベース、環境モデルデータベース、物体モデルと環境モデルと相互作用演算部からなる仮想空間演算部、重ね合わせ処理部及び表示部から構成され、
    該制御装置は、ハプティックインタフェースの操作による実測値に基づいて仮想環境内の仮想モデルを操作する機能と、ハプティックインタフェースを操作する際に操作者に対して提示する修正した力覚を計算する機能を有し、
    修正した力覚の提示は、ハプティックインタフェースの操作によって得られる実操作量を予め構築されている仮想モデルに対して直接操作量として入力し、仮想空間内の仮想物体同士あるいは仮想物体と仮想環境との間の力学的相互作用演算により反力を計算し、ツール型力覚センサの操作による実測値から得られた反力データとを重ね合わせて処理部にて重ね合わせ処理して差分を算出し、環境変化の因子やツールの変更の因子を加味することなくその差分を修正反力として提示することで、ハプティックインタフェースによりつくられた修正反力と実環境から受ける反力を加えた力覚を操作者に提示すること、あるいは、修正した力覚の提示は、環境変化あるいはツールを変更した場合は、変化因子を加味した相互作用修正量を加味した力覚を提示するものであって、仮想モデルが実測操作量によって受ける反力と前記実測反力との差を修正量とし、実環境から受ける反力と変化因子を加味した修正反力を加えて操作者に力覚を提示することを特徴とする力覚提示システム。
  4. 請求項3記載の力覚提示システムにおいて、ツール型力覚センサを操作して操作データを計測して記録し、過去に記録された操作データと現在の操作データを重ねて表示したり、過去に記録された操作データと現在の操作データの差分を表示することで、熟練者の教師操作データと操作者のデータを視覚的に比較表示することを可能とする力覚提示システム。
  5. 請求項3記載の力覚提示システムにおいて、実環境に対してツール型力覚センサを操作して操作データを計測して記録することで、道具と環境の力学的相互作用を実測することができ、環境のインピーダンス特性(粘弾性特性)、摩擦係数、環境のテクスチャの物理パラメータを計算により求めることができ、その物理パラメータをその場で仮想空間のモデルに反映することを可能とする力覚提示システム。
  6. 6軸力覚センサを備えたツール型力覚センサは、6軸力覚センサ本体に対してツール機能部あるいは把持部を着脱交換可能としたことを特徴とする請求項3〜5のいずれかに記載の力覚提示システム。
JP2008549389A 2006-12-13 2007-12-11 反力提示方法、および力覚提示システム Expired - Fee Related JP5177560B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008549389A JP5177560B2 (ja) 2006-12-13 2007-12-11 反力提示方法、および力覚提示システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006336138 2006-12-13
JP2006336138 2006-12-13
PCT/JP2007/074188 WO2008072756A1 (ja) 2006-12-13 2007-12-11 反力提示方法、および力覚提示システム
JP2008549389A JP5177560B2 (ja) 2006-12-13 2007-12-11 反力提示方法、および力覚提示システム

Publications (2)

Publication Number Publication Date
JPWO2008072756A1 true JPWO2008072756A1 (ja) 2010-04-02
JP5177560B2 JP5177560B2 (ja) 2013-04-03

Family

ID=39511767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008549389A Expired - Fee Related JP5177560B2 (ja) 2006-12-13 2007-12-11 反力提示方法、および力覚提示システム

Country Status (2)

Country Link
JP (1) JP5177560B2 (ja)
WO (1) WO2008072756A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015031976A (ja) * 2013-07-31 2015-02-16 株式会社栗本鐵工所 力覚提示システム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927009B1 (ko) * 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
JP5364035B2 (ja) * 2010-05-11 2013-12-11 日本放送協会 仮想力覚提示装置及び仮想力覚提示プログラム
JP6032669B2 (ja) * 2012-11-30 2016-11-30 国立大学法人広島大学 力覚提示システム
JP6104288B2 (ja) * 2015-01-06 2017-03-29 三菱プレシジョン株式会社 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ
KR20200070607A (ko) * 2018-12-10 2020-06-18 (주)리얼감 강도를 이용한 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체
US11396103B2 (en) * 2020-03-10 2022-07-26 Samsung Electronics Co., Ltd. Method and apparatus for manipulating a tool to control in-grasp sliding of an object held by the tool

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0181547U (ja) * 1987-11-20 1989-05-31
JP4354540B2 (ja) * 1996-10-18 2009-10-28 ヤマハ株式会社 力覚駆動装置、力覚付与方法および記録媒体
JP2000259074A (ja) * 1999-03-11 2000-09-22 Minolta Co Ltd 道具媒介型の力覚呈示システム
JP3624374B2 (ja) * 2000-12-12 2005-03-02 独立行政法人産業技術総合研究所 力覚呈示装置
JP3802483B2 (ja) * 2002-12-26 2006-07-26 大日本印刷株式会社 書道学習支援システム、コンピュータ、プログラム、及び記録媒体
JP4273464B2 (ja) * 2006-07-28 2009-06-03 独立行政法人産業技術総合研究所 6軸力覚センサ用把持型ツール

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015031976A (ja) * 2013-07-31 2015-02-16 株式会社栗本鐵工所 力覚提示システム

Also Published As

Publication number Publication date
JP5177560B2 (ja) 2013-04-03
WO2008072756A1 (ja) 2008-06-19

Similar Documents

Publication Publication Date Title
JP5177560B2 (ja) 反力提示方法、および力覚提示システム
US20180137782A1 (en) Virtual Tool Manipulation System
US5704791A (en) Virtual surgery system instrument
Kirkpatrick et al. Application-based evaluation of haptic interfaces
US10540910B2 (en) Haptic-based dental simulationrpb
KR101092372B1 (ko) 하이브리드 의료 시뮬레이션 시스템 및 방법
Wei et al. Augmented optometry training simulator with multi-point haptics
US20170278432A1 (en) Medical procedure simulator
Ershad et al. Adaptive surgical robotic training using real-time stylistic behavior feedback through haptic cues
Suzuki et al. Simulator for virtual surgery using deformable organ models and force feedback system
US11176846B2 (en) Dental simulation machine
Burdea Virtual reality and robotics in medicine
US11657730B2 (en) Simulator for manual tasks
JP4273464B2 (ja) 6軸力覚センサ用把持型ツール
KR20200080534A (ko) 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템
Peine et al. A tactile sensing and display system for surgical applications
CN111276032A (zh) 一种虚拟手术训练系统
Selim et al. A comprehensive review of haptic feedback in minimally invasive robotic liver surgery: Advancements and challenges
CN113272910A (zh) 使用索引到运动图片来训练用户
CN1677064A (zh) 一种手术刀的力采集装置
CN115328317A (zh) 一种基于虚拟现实的质控反馈系统及方法
Sánchez-Margallo et al. Using the CyberGlove
Rosenberg Interactive Technology and the New Paradigm 322 for Healthcare K. Morgan, RM Satava, HB Sieburg, R. Mattheus, and JP Christensen (Eds.) IOS Press and Ohmsha, 1995

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121226

R150 Certificate of patent or registration of utility model

Ref document number: 5177560

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees