JP5177560B2 - 反力提示方法、および力覚提示システム - Google Patents
反力提示方法、および力覚提示システム Download PDFInfo
- Publication number
- JP5177560B2 JP5177560B2 JP2008549389A JP2008549389A JP5177560B2 JP 5177560 B2 JP5177560 B2 JP 5177560B2 JP 2008549389 A JP2008549389 A JP 2008549389A JP 2008549389 A JP2008549389 A JP 2008549389A JP 5177560 B2 JP5177560 B2 JP 5177560B2
- Authority
- JP
- Japan
- Prior art keywords
- tool
- model
- force sensor
- data
- force
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 98
- 238000000034 method Methods 0.000 title claims description 44
- 230000006870 function Effects 0.000 claims description 69
- 238000004364 calculation method Methods 0.000 claims description 60
- 230000033001 locomotion Effects 0.000 claims description 59
- 230000003993 interaction Effects 0.000 claims description 57
- 230000007613 environmental effect Effects 0.000 claims description 45
- 238000005259 measurement Methods 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 26
- 238000013500 data storage Methods 0.000 claims description 22
- 230000003190 augmentative effect Effects 0.000 claims description 15
- 230000035807 sensation Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 238000010276 construction Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 238000003825 pressing Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 238000005520 cutting process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012800 visualization Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000531116 Blitum bonus-henricus Species 0.000 description 1
- 235000008645 Chenopodium bonus henricus Nutrition 0.000 description 1
- 241000283070 Equus zebra Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000001467 acupuncture Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
具体的には、実際に人が物を操作したときの操作データ(操作力と運動)が計測・再生できる力覚提示システムである。特に、人が手で扱うツールの操作データが記録・再生できるシステムに関する。
従来から手先を使用した技能の訓練、修得に関する教習具や訓練装置は種々提案されている。手本や熟練者の形を視覚的にまねることはできても、力のいれ具合まで修得することは難しい。近年、熟練者の操作データを取得してモデルを構築する発明や、構築されたモデルと訓練者の操作とを比較する発明が提案されている。これらのモデルは、コンピュータの中に対象物(人体)を再現した仮想モデルであり、訓練者はディスプレイに表示された映像を対象に仮想空間において操作具を操ってシュミレーションする。また、人体構造を詳細に再現した医療用マネキンなどの模型を使用する方法がある。従来提案されている発明では、模型を使ったとしても、実物との差が存在する。一方、本発明者は操作データの入力精度を向上させる指装着型の力覚センサや力覚センサを搭載した操作具あるいは力覚を手指に提示する発明を提案した。本発明では、訓練に使用される環境(対象物や訓練用模型を含む)の条件を加味した、力覚を訓練者に提示することによって、よりリアルな訓練、修得ができるシステムを提案するものである。
具体的な、先行文献は各種あるが例えば次の例をあげることができる。
特許文献1(特許第3802483号公報)書道学習支援システム、
特許文献2(特開2005−287656号公報)力触覚を活用した鍼治療訓練システム
特許文献3(特開2005−189297号公報)力触覚を伴う歯科治療訓練システム
特許文献4(特開2000−259074号公報)道具媒介型の力覚提示システム
特許文献5(特開平10−91327号公報)描画装置
特許文献6(特開2004−213351号公報)力覚提示装置および力覚提示システム
特許文献7(特開2002−132138号公報)硬膜外穿刺シュミレータ
前記特許文献7は、旧来の訓練用の実物モデルである。特許文献1〜6は、コンピュータ仮想空間で物体を操作する訓練手法が開示されて、仮想空間での反力を提示しているが、実操作データ(実在する物を操作したときの運動と力)の記録機能はない。
本発明者は操作データの入力精度を向上させる指装着型の力覚センサや力覚センサを搭載した操作具あるいは力覚を手指に提示する発明を提案した。
特許文献8(特許第3261653号公報)指装着型6軸力覚センサ
特許文献9(特許第3409160号公報)把握データ入力装置
特許文献10(特許第3624374号公報)力覚提示装置
特許文献10は、仮想空間で物体を操作したときの反力提示機能と、実操作データ(実在する物を操作したときの運動と力)の記録機能を設けたものである。指で物体を操作したときの操作データの記録と再生が可能なもので、ツールの操作データを記録・再生する機能はない。具体的には、特許文献10で開示した装置でツールを操った場合、指先力覚センサの合力により、ツールに作用する操作力の計測は可能であって、指の運動は計測できるが、ツールの運動を計測することまではできない。この発明は、指の運動からはツールの運動を計測することはできない。例えば、人がペンを持った場合、ペンの中心軸に沿った方向の把持拘束は不定となり、ペンの中心軸方向の運動は計測することができない。特許文献10に開示された具体的な反力提示機構は次のようなものである。
特許文献10に開示された発明は、指に装着できる力覚センサ、マニピュレータ、ベースおよび制御装置を備えた力覚提示装置であって、上記ベースは、外部固定部材に固定可能又は上記力覚提示装置の使用者の手に装着可能であり、上記マニピュレータは、アクチュエータと角度検出センサから成る能動関節、角度検出センサのみから成る受動関節、およびリンクを備えており、上記アクチュエータおよび角度検出センサは、夫々リンク機構を構成するリンクとリンクの枢支部および上記リンクとベースの枢着部に選択的に取り付けられており、上記角度検出センサにより上記リンク機構の動きを計測することにより手指の3次元運動を計測できるとともに、上記力覚センサにより人間の指先の接触力を計測することができ、上記アクチュエータは、指先に提示しようとする力覚と上記力覚センサの出力値との差に基づいて上記制御装置で制御され、力覚を指先に提示することを特徴とする力覚提示装置を提供する。
上記アクチュエータは、直流電動モータ又は交流電動モータとしてもよい。又、上記角度検出センサは、ポテンショメータ又はエンコーダとしてもよい。
図20に示すとおり、本力覚提示装置は、人間の指にはめることのできる力覚センサ1、小型マニピュレータ2、ベース3から構成される。
図21に、本発明の力覚提示装置で使用する力覚センサ1の構成を示す。力覚センサ1は、図21に示すとおり、指サック20、弾性構造体21、指カバー22、リンク結合部23から構成される。なお、図20〜21に記載された符号は、特許文献10に記載された符号を援用するものであって、本願発明に関する符号とは関係しない。
弾性構造体21は、特定の力覚成分に対して歪み易い構造をもっている。図22に弾性構造体21の一例を示す。これは、基部30と周辺リング31を3本のビーム32を介して連結したもので、ビーム32の各面には歪みゲージ33が貼られている。
この弾性構造体21に外力がはたらくと、外力成分に応じてビーム32が歪む。この歪みを歪みゲージ33により電気信号に変換することにより、力覚成分を歪みゲージ33の電気信号として取り出すことができる。
弾性構造体21に作用する6軸力(3方向の力とモーメント)と各ビームの歪みゲージの出力の関係を表す歪みスティフネス行列は予めキャリブレーションにより求められている。歪みスティフネス行列とは、各ビームの歪みゲージの出力を力覚に変換する行列である。歪みスティフネス行列を用い、歪みゲージの出力信号から、弾性構造体21に作用する6軸力を計算により求めることができる。
指カバー22は、実際に物体と触れる部分で、取付けブロック24を介して弾性構造体21の周辺リング31と連結している。リンク結合部23は、指カバー22と連結しており、力覚提示装置の小型マニピュレータ2と連結する。
指先に力覚を提示するためには、能動関節の数は提示したい力覚成分と同数以上必要となる。従って、指先に3軸の力のみを提示する場合には、必要な能動関節の数は3以上となり、6軸力全てを提示する場合には、必要な能動関節の数は6以上となる。
能動関節の自由度の配置は、小型マニピュレータ2の先端が提示したい力覚成分の全ての方向に運動が生成できるように配置される。受動関節は、小型マニピュレータ2の先端が能動関節の自由度のみで人間の指の運動に追従できないときに必要となる。受動関節の数は、人間の指の自由度の数と、人間の指の自由度と一致する能動関節の数の差となる。
そして、これらの能動関節、受動関節によって、リンク機構を構成するリンク6を連結している。
本発明の力覚提示装置の基本原理は以下の通りである。本力覚提示装置の力覚センサ1の指サック20に指12を挿入し、小型マニピュレータ2を駆動すると、能動関節の数に応じて人間の指先12に力を加えることができる。この小型マニピュレータ2が指先12に加えた力は、指先に装着した6軸力覚センサにより検出される。
計算機内部に構築した仮想モデルに基づき、計算機により与えられる目標力と、小型マニピュレータ2により人間の指先12に加えられる力が等しくなるように、6軸力覚センサ1の出力をフィードバックしながら小型マニピュレータ2を制御することで、人間の指先12に力覚を提示することができる。
計算機の内部には、仮想物体10と、その仮想物体10を操作する仮想的な指9(以後、仮想指と呼ぶ)が構築されている。仮想指9は、力覚提示装置の指先の運動に応じて計算機内部の仮想世界を自由に運動することができる。
人間は、力覚提示装置の力覚センサ1に指を挿入し、指を動かす。このとき、小型マニピュレータ2の角度検出センサ5の角度データを用い、指先位置・指先速度が計算される。その指先位置・指先速度のデータに応じて仮想指9は計算機内部の仮想空間内を運動する。その結果、仮想指9は力覚提示装置を装着した人間の指12によって操られる。
計算機は、仮想指9が仮想世界を運動したり、仮想物体10を操作しているときに、仮想指9に作用する力覚を計算する。この計算された力覚は、小型マニピュレータ2の力制御の目標値として与えられる。
計算機により計算された目標力は、力覚提示装置の6軸力覚センサ1の力覚データと比較され、その差がゼロとなるように、小型マニピュレータ2のアクチュエータ4に与える指令値が計算機により計算される。計算された指令値は、計算機からアクチュエータ4のサーボドライバに出力され、指先の6軸力覚センサ1の力覚データが目標力に収束するようアクチュエータ4が駆動される。
これより、指の運動により計算機内部の仮想指9を操り、計算機は仮想指9の運動に応じて仮想指9に作用する力覚を計算し、その力覚を目標力として小型マニピュレータ2を力制御することで、操作者の指先にあたかも仮想物体が実在し、操作しているかのように感じさせることができる。
従来の力覚提示システムは、図1に示すようにハプティックインタフェース、物体モデル(物体モデル・ライブラリー)、環境モデル(環境モデル・ライブラリー)、仮想空間、表示装置から構成されている。ハプティックインタフェースは複数のリンクとジョイントで構成した小型ロボットアームを用いることが多く、ハプティックインタフェースの動きと仮想空間内の物体の動きは連動している。人はハプティックインタフェースの先端を手に持って操作することにより、仮想空間内の物体を操作することができる。システムは、予め構築された物体モデルと環境モデルを仮想空間に配置する手段を有し、操作者は表示装置に表示された仮想空間内の物体を見ながらハプティックインタフェースを用いて仮想空間の物体を操作する。このときシステムは仮想物体と仮想環境との接触を判定して接触力を計算し、ハプティックインタフェースのアクチュエータの発生トルクを制御することで、接触力を人に提示する。
従来の力覚提示システムは、あくまで仮想空間の物体を操作するもので、実在する物体の操作データを記録する機能はない
本発明者は、さらに研究開発を続け、より精度を向上した指装着型の6軸力覚センサ(特願2006−205781号)及び6軸力覚センサ用把持型ツール(特願2006−205780号)を提案した。
(2) ハプティックインタフェースに取り付けられたツール型力覚センサを用いて実物の対象物に操作を加えたときの実測データと、仮想モデルのデータを重畳することで、操作者に対して触覚の拡張現実感を提示する力覚提示方法であって、ツールは手操作する医療用器具であって、ツール型力覚センサは、ツールの作業部と把持部の間に力覚センサが配置されており、該力覚センサの本体がマニュピュレータに接続される構成となっており、実測データは、前記ツール型力覚センサの作業部または先端リンクに加わる接触力のデータと運動データであり、仮想モデルデータは、環境モデルと物体モデルから構築されており、前記実測データの運動データは、仮想空間内における物体モデルの操作にも用いられ、仮想モデルから計算された物体と環境との相互作用の物理パラメータと、実測データを用いてモデル推定器によりリアルタイムに計算される実際の物体と環境との相互作用の物理パラメータとを比較して差分を求め、該差分から修正反力を計算し、提示反力としてハプティックインタフェースにより操作者に提示することを特徴とする反力提示方法。
(3) ハプティックインタフェースに取り付けられたツール型力覚センサを用いて実物の対象物に操作を加えたときの実測データと、仮想モデルのデータを重畳することで、操作者に対して触覚の拡張現実感を提示する力覚提示システムであって、力覚提示システムは、ハプティックインタフェース及び制御装置を備えており、ハプティックインタフェースは、ツール型力覚センサとツール型力覚センサに連結されるマニピュレータから構成され、ツールは手操作する医療用器具であって、ツール型力覚センサは、作業部と把持部と、作業部と把持部の間に力覚センサ本体を有しており、力覚センサ本体がマニュピュレータに接続される構成でありマニピュレータは、ツール型力覚センサの3次元運動を計測できるとともに、アクチュエータに駆動されて、ツール型力覚センサを把持している操作者に力覚を提示する機能を有しており、制御装置は、実測演算部、データ記憶部、モデル推定器、物体モデルデータベース、環境モデルデータベース、物体モデルと環境モデルと相互用演算部からなる仮想空間演算部、重ね合わせ処理部及び表示部から構成され、該制御装置は、操作者が把持部を介して操作されたハプティックインタフェースのツールの運動データに基づいて仮想モデルを操作する機能と、ハプティックインタフェースを操作する際に操作者に対して提示する反力を計算する機能を有し、 実測演算部はハプティックインタフェースの操作により得られる実測データを計測演算する機能を有し、該データはデータ記憶部に記憶され、環境モデルが登録された環境モデルライブラリーと物体モデルが登録された物体モデルライブラリーから環境モデルと物体モデルを選定して仮想空間に配置することで仮想モデルが構築され、一方、相互演算部は、前記ツールの運動データに基づいて仮想モデルを操作したときの前記環境モデルと前記物体モデルの力学的相互作用を演算するものであって、相互作用演算された出力は、表示部に出力され、また、該出力は、実計測演算部から出力されたツール型センサの出力と重ね合わせ処理部にて比較してその差分を提示反力として出力されるものであり、該差分の提示反力に基づいてハプティックインタフェースを駆動して操作者に対して反力を提示することを特徴とする力覚提示システム。
(4) (3)記載の力覚提示システムにおいて、データ記憶部には過去にツール型力覚センサを操作して記録された操作データが蓄積されており、前記データ記憶部に記録された過去の操作データと、現在の操作データとを重ねて表示し、あるいは、過去に記録された操作データと現在の操作データの差分を表示装置に表示することで、過去のデータと操作者のデータを視覚的に比較表示することを可能とする力覚提示システム。
(5) (3)記載の力覚提示システムにおいて、実環境に対してツール型力覚センサを操作して操作データを計測して記録することで、ツールと環境の力学的相互作用を実測することができ、環境のインピーダンス特性(粘弾性特性)、摩擦係数、環境のテクスチャの物理パラメータを計算により求めることができ、その物理パラメータをその場で仮想空間のモデルに反映して仮想モデルデータとすることを可能とする力覚提示システム。
(6) 力覚センサを備えたツール型力覚センサは、6軸力覚センサであり、6軸力覚センサ本体に対して作業部あるいは把持部を着脱交換可能としたことを特徴とする(3)〜(5)のいずれかに記載の力覚提示システム。
(7) 医療用器具が、メス、鉗子、縫合器、サンプル採取具、注射器、内視鏡、レーザーのいずれかであり、 実物の対象物が、訓練用模型であることを特徴とする(1)又は(2)記載の反力提示方法。
(8) 医療用器具が、メス、鉗子、縫合器、サンプル採取具、注射器、内視鏡、レーザーのいずれかであり、 実物の対象物が、訓練用模型であることを特徴とする(3)〜(6)のいずれかに記載された力覚提示システム。
(9) ハプティックインタフェースに取り付けられたツール型力覚センサのツールを用いて実物の対象物に操作を加えたときの実測データと、仮想モデルのデータを重畳することで、操作者に対して触覚の拡張現実感を提示する力覚提示方法であって、ツールは手操作する筆記具であって、ツール型力覚センサは、ツールの作業部と把持部の間に力覚センサが配置されており、該力覚センサの本体がマニュピュレータに接続される構成となっており、実測データは、前記ツール型力覚センサの作業部に加わる接触力のデータと運動データであり、仮想モデルデータは、環境モデルと物体モデルから構築されており、前記実測データの運動データは、仮想空間内における物体モデルの操作にも用いられ、実測データと仮想モデルのデータの重畳は、前記ツール型力覚センサのツールを用いて実物の対象物に操作を加えたときの接触力の実測データと、仮想空間内の物体と環境との相互作用演算により計算される反力のデータを比較して差分を求めハプティックインタフェースの提示反力とすることであり、該差分を提示反力としてハプティックインタフェースにより操作者に提示することを特徴とする反力提示方法。
(10) ハプティックインタフェースに取り付けられたツール型力覚センサのツールを用いて実物の対象物に操作を加えたときの実測データと、仮想モデルのデータを重畳することで、操作者に対して触覚の拡張現実感を提示する力覚提示方法であって、ツールは手操作する筆記具であって、ツール型力覚センサは、ツールの作業部と把持部の間に力覚センサが配置されており、該力覚センサの本体がマニュピュレータに接続される構成となっており、実測データは、前記ツール型力覚センサの作業部に加わる接触力のデータと運動データであり、仮想モデルデータは、環境モデルと物体モデルから構築されており、前記実測データの運動データは、仮想空間内における物体モデルの操作にも用いられ、仮想モデルから計算された物体と環境との相互作用の物理パラメータと、実測データを用いてモデル推定器によりリアルタイムに計算される実際の物体と環境との相互作用の物理パラメータとを比較して差分を求め、該差分から修正反力を計算し、提示反力としてハプティックインタフェースにより操作者に提示することを特徴とする反力提示方法。
(11) ハプティックインタフェースに取り付けられたツール型力覚センサのツールを用いて実物の対象物に操作を加えたときの実測データと、仮想モデルのデータを重畳することで、操作者に対して触覚の拡張現実感を提示する力覚提示システムであって、ツールは手操作する筆記具であって、ツール型力覚センサは、作業部と把持部と、作業部と把持部の間に力覚センサ本体を有しており、力覚センサ本体がマニュピュレータに接続される構成であり力覚提示システムは、ハプティックインタフェース及び制御装置を備えており、ハプティックインタフェースは、ツール型力覚センサとツール型力覚センサに連結されるマニピュレータから構成され、ツール型力覚センサは、作業部と把持部と、ツール機能部と把持部の間に力覚センサ本体を有しており、マニピュレータは、ツール型力覚センサの3次元運動を計測できるとともに、アクチュエータに駆動されて、ツール型力覚センサを把持している操作者に力覚を提示する機能を有しており、制御装置は、実測演算部、データ記憶部、モデル推定器、物体モデルデータベース、環境モデルデータベース、物体モデルと環境モデルと相互用演算部からなる仮想空間演算部、重ね合わせ処理部及び表示部から構成され、該制御装置は、操作者が把持部を介して操作されたハプティックインタフェースのツールの運動データに基づいて仮想モデルを操作する機能と、ハプティックインタフェースを操作する際に操作者に対して提示する反力を計算する機能を有し、 実測演算部はハプティックインタフェースの操作により得られる実測データを計測演算する機能を有し、該データはデータ記憶部に記憶され、環境モデルが登録された環境モデルライブラリーと物体モデルが登録された物体モデルライブラリーから環境モデルと物体モデルを選定して仮想空間に配置することで仮想モデルが構築され、一方、相互演算部は、前記ツールの運動データに基づいて仮想モデルを操作したときの前記環境モデルと前記物体モデルの力学的相互作用を演算するものであって、相互作用演算された出力は、表示部に出力され、また、該出力は、実計測演算部から出力されたツール型力覚センサの出力と重ね合わせ処理部にて比較してその差分を提示反力として出力されるものであり、該差分の提示反力に基づいてハプティックインタフェースを駆動して操作者に対して反力を提示することを特徴とする力覚提示システム。
(12) (11)記載の力覚提示システムにおいて、データ記憶部には過去にツール型力覚センサを操作して記録された操作データが蓄積されており、前記データ記憶部に記録された過去の操作データと、現在の操作データとを重ねて表示し、あるいは、過去に記録された操作データと現在の操作データの差分を表示装置に表示することで、過去のデータと操作者のデータを視覚的に比較表示することを可能とする力覚提示システム。
(13) (11)記載の力覚提示システムにおいて、実環境に対してツール型力覚センサを操作して操作データを計測して記録することで、ツールと環境の力学的相互作用を実測することができ、環境のインピーダンス特性、摩擦係数、環境のテクスチャの物理パラメータを計算により求めることができ、その物理パラメータをその場で仮想空間のモデルに反映して仮想モデルデータとすることを可能とする力覚提示システム。
(14) 力覚センサを備えたツール型力覚センサは、6軸力覚センサであり、6軸力覚センサ本体に対してツール機能部あるいは把持部を着脱交換可能としたことを特徴とする(11)〜(13)のいずれかに記載の力覚提示システム。
特に、本発明は、実測データとモデルデータを重畳することで、触覚の拡張現実感の提示が可能となる。これにより、例えば実操作においてペンの書き心地やメスの切れ味を変えたり、柔らかい物を硬く提示したり、硬い物を柔らかく提示することができる。本機能は技能訓練において、極めて有用な機能である。
道具と環境の力学的相互作用を実測することで、物体と環境のインピーダンス特性、摩擦係数、環境のテクスチャといった物体−環境間の物理パラメータを抽出することができ、これより、物体−環境間の物理特性を、その場で仮想空間のモデルに反映することが可能となる。
本発明により、達筆な人の筆運びや、名医のメスさばきなどのデータを記録し、その道具を使うための肝を抽出・抽象化するなど、名人の技の秘密にせまることができる。今後、外科手術など手技の熟練度評価・トレーニング・技能伝達、手で扱う道具の評価などに適用できる。
本発明の力覚提示システムは、道具と環境との間の力学的相互作用が実測できることであり、1)手技の可視化、2)実測に基づく仮想モデル(物体モデル・環境モデル)構築、3)触覚の拡張現実感提示が可能となる。
[図2]ツール型力覚センサの例
[図3]アーム連結ツール型センサの使用状態
[図4]力覚提示システム基本構成
[図5]ペン型6軸力覚センサを用いた筆跡と筆圧(3軸力)を立体表示した例
[図6]実測による仮想モデル構築システム図
[図7]ボタン押し操作時の実測データと仮想データの重ね合わせ例
[図8]実測データ・仮想データ重ね合わせシステム構成図
[図9]メス型ツールセンサを示す
[図10]筆記具ツールの分解斜視図を示す
[図11]筆記具タイプツールセンサ本体と把持部の結合を示す
[図12]筆記具先端部例を示す図
[図13]ツール型力覚センサをアームに取り付ける状態を示す
(1)モーションキャプチャ力覚センサとしての利用
力覚センサ:モデルとなる師匠の力加減を計測
(2)ハプティック力覚センサとしての利用
力提示装置:X,Y,Zの位置情報を再現
力覚センサ:研修生の力加減を計測し、先生のモデルとの差異を表示
[図14]ペン型6軸力覚センサを用いた筆跡と筆圧(3軸力)を立体表示したn例
ペン型6軸力覚センサを用いて記録した筆跡と筆圧(3軸力)を立体表示及び角度を変えて表示してn例を示す。カタカナ文字「イ」の縦棒を軸として、n1を0°として右回転したイメージ表示である。
(1)n1:紙面に対して正面から表示
(2)n2:36°振った表示
(3)n3:72°振った表示
(4)n4:108°振った表示
(5)n5:144°振った表示
[図15]ペン型6軸力覚センサを用いた筆跡と筆圧(3軸力)を立体表示したw例
ペン型6軸力覚センサを用いて記録した筆跡と筆圧(3軸力)を立体表示及び角度を変えて表示してw例を示す。カタカナ文字「イ」の縦棒を軸として、w1を0°として右回転したイメージ表示である。
(1)w1:紙面に対して正面から表示
(2)w2:36°振った表示
(3)w3:72°振った表示
(4)w4:108°振った表示
(5)w5:144°振った表示
[図16]ペン型6軸力覚センサを用いた筆跡と筆圧(3軸力)を立体表示したn2の説明図
[図17]押しボタンのデータの記録・再生実験で使用した仮想空間モデル(Virtual enviroment model)を示す。
[図18]ハプティックインタフェースで記録したボタン押下データのForce−Displacement曲線(Recorded Force−Displacement
Curve)を示す。
[図19(a)]ボタンデータ再生時のデータを示したものであって、ユーザがハプティックインタフェースを操り仮想ボタンを押したときの仮想ボタンの変位を表す。
[図19(b)]ボタンデータ再生時のデータを示したものであって、ハプティックインタフェースによりユーザに提示された力を表す。
[図19(c)]ボタンデータ再生時のデータを示したものであって、仮想ボタンの操作変位と提示力の関係を示したものを表す。
[図20]特許文献10開示力覚提示装置
[図21]特許文献10開示指装着型6軸力覚センサの基本構成
[図22]特許文献10力覚センサ弾性構造体の一例
本発明の力覚提示システムは、ツール型6軸力覚センサを備えたハプティックインタフェース及び制御装置を備えており、6軸力覚センサを備えたツール型力覚センサを操作することにより、ツール型力覚センサの3次元の運動データと実環境からツール型力覚センサに加えられる力に関するデータを制御装置に入力することができ、一方、制御装置からツール型力覚センサに反力を提示することができる。制御装置は、ハプティックインタフェースからの入力データに基づいて仮想空間内のモデルを操作できることと、相互作用演算処理と重ね合わせ処理を設けて、既存の構築された仮想モデルとその後の実測データとの差分を求めることと、被処理操作対象物の属性をフィードバックして、修正反力を出力して力覚を提示するものである。
1.ツール型6軸力覚センサを備えたハプティックインタフェースの基本構成
ハプティックインタフェースは、小型アームとツール型力覚センサから構成される。操作者は、ハプティックインタフェースのツール型力覚センサを手にとって操作する。ツール型力覚センサは、道具と環境との間の力学的相互作用を実測するため、手作業具に用いる実物のツールを用いて構成する。
ツール型力覚センサの一例を図2に示す。図2(a)のペン型6軸力覚センサは、先端に、アダプタを介して市販のボールペンを利用して、ペン先(本例は、ZEBRA社製のボールペンJIM−KNOCKのペン先を利用)を取り付けた。先端アダプタに鉛筆やマーカー、他のボールペンのペン先を取り付けることで、様々な筆記具の6軸力覚センサが構成できる。図2(b)のメス型6軸力覚センサは、市販のメスの柄と刃(本例は、松吉医科器械社製の刃形状No.21の刃と柄替刃ハンドルNo.4の柄を利用)を利用して、アダプタを介して起わい体に取り付けて構成した。アダプタに別の種類の刃や柄を取り付けることで、様々な医療器具の6軸力覚センサが構成できる。この様に、ツール型6軸力覚センサはアダプタを介して様々な実物のツールを取り付けることができる。小型アームはSensAbleTechnologies社PHANToMを改造したものを用いた。図2に6軸力覚センサを備えたツール型センサの使用状態の外観を示す。
ツール型力覚センサは、特願2006−205780号にて提案したものを用いることができる。すなわち、手作業具を用いた操作情報を入手するために用いる機器において、センサ本体Aと把持部Bと作業部Cとから構成される6軸力覚センサ用把持型ツールであって、把持部B及び作業部Cは、センサ本体Aに対して着脱可能な連結構造を有し、該連結構造は、把持部Bあるいは作業部Cに付属されて設けられているか、又は、別体のコネクターD、Eであって、把持部B及び/又は作業部Cは、ツールの種類に応じて、複数備えられている6軸力覚センサ用把持型ツールである。図9〜13参照。
[センサ本体A]
本発明に用いるセンサは6軸力覚センサである。本発明に用いる力覚センサは、薄型が適している。現状では、筐体部の外形が厚さ約10mmで外形が20mm弱の径とすることができた。
主に、歪みゲージを用いた6軸力覚センサの感知部について、以下に例示する。
6軸力覚センサの感知部は、弾性構造体であり特定の力成分(力とモーメント)に対して歪み易い構造をもっている。基部とフランジ部を3本のビームを介して連結し、ビームの各面には歪みゲージを取り付ける。この弾性構造体に外力がはたらくと、ビームが歪み、この歪みを歪みゲージにより電気信号に変換することにより、力成分を歪みゲージの電気信号として取り出すことができる。なお、6軸力覚センサ弾性構造体の歪みを検出する素子として、歪みゲージの代わりに光センサユニットを用いることもできる。この弾性構造体は、2mm厚以下に作ることができる。
弾性構造体に作用する6軸力(3軸方向の力とモーメント)と各ビームの歪みゲージの出力の関係を表す歪みスティフネス行列は予めキャリブレーションにより求められている。歪みスティフネス行列とは、各ビームの歪みゲージの出力を力に変換する行列である。歪みスティフネス行列を用い、歪みゲージの出力信号から、弾性構造体に作用する6軸力を計算により求めることができる。
この弾性構造体を筐体に収容し、リンク機構に接続するための突起部を設けてリンク結合部とし、及び、信号取り出し用のケーブルを取り付けて、6軸力覚センサ本体を構成する。ケーブルは、外部の増幅器等に接続される。筐体は、略円筒形であって、一方の面に操作用の柄を取り付け可能とし、他方の面には手術用のメスの刃先など用具の機能部分を取り付け可能とする。取り付け面は、ネジ穴を設けた平面とし、相手方の平面フランジとを突き合わせてネジ止めすることができる。取り付け用の部材としては、突出したリブ、ネジ部等適宜設定することができる。また、取り付け面には、相手方との位置合わせ用及び回り止めの凹凸を作成することも可能である。
名人などの力加減などの情報を収集する目的で用いるモーションキャプチャ力覚センサ用として用いる場合は、弾性構造体の受感面は用具を取り付ける面側となる。反対側は固定部として、情報入力面とはならない。
練習者などが訓練する場合に、名人等の雛形の力加減をフィードバックしながら本ツールを使用するハプティック力覚センサ用に用いる場合は、弾性構造体の受感面は柄などを取り付ける面側となる。反対側は固定部となる
リンク機構に接続することにより、モーションキャプチャ力覚センサでは、3次元の空間情報を収集することができ、ハプティック力覚センサでは、訓練者への位置情報を提示することが可能となる。
[把持部B]
把持部は、手指で実際に持つ部分で、作業具の柄に相当する部分である。この把持部は、実際に用いられる作業具の柄を加工して準備することもできる。また、実際の作業具の柄に類した形状に作成することもできる。
手術用のメスなどは、実際に使用するものに近いことが望ましいので、実際の手術に用いられるメスの柄を加工して製造することが望ましい。
鉛筆、ボールペン、万年筆などは、ペン先はいろんな種類を普段に使っているが、柄は標準的な柄で対応することが可能である。もちろん、実物から加工して製造することもできる。
把持部とセンサ本体とは、標準的な把持部には、センサ本体部の取り付け面に直接連結可能な構造とすることができる。実物の柄を加工して製造する場合は、柄の先端とセンサ本体を連結するためのコネクターを用いて対応することができる。
把持部の先端部には約10mm厚のセンサ本体部が接続され、その前に作業用の機能部が接続され、鉛筆やボールペンなどの筆記具ではテーパ部から最先端まで10〜20mm程度であるので、把持部は先端から20〜30mm以降となり、筆記具の持ち部分としては十分な位置である。把持部の長さは、実際の作業具の長さが確保できる範囲で、作業部位、センサ本体の長さを除いた長さにカット等の加工を施す。
[作業部C]
手術に用いられる刃先や筆記具のペン先など作業具の実際の作業部である機能部は、それぞれの用具に応じて特有の形状をしているので、機能部に直接接合構造を形成することは、現実的ではなく、接続用にコネクターを介して、センサ本体と連結することが好ましい。
作業部は、実際に機能する部分を確保し、作業具の実長に近い長さを確保できる範囲で後端部を切除及びコネクターの接合部に適合する形状に加工する。
筆記具では、10〜20mm程度確保できれば筆記機能は可能である。手術用のメスは様々であるが、刃付き部が40〜50mmのものであっても、先端部から20mm程度が実際に使用される部分であり、この例でも30mm程度の刃付き部が確保できることが望ましいので、コネクターによって覆われる部分も含めて、十分な長さを確保できる。
その他の作業具としては、技能者が掴んで用いる手作業具一般に適用することができる。
例えば、外科医、脳外科医、眼科医、婦人科医、大工、調理師、仏師、彫刻家などが用いる道具が挙げられる。
外科医であれば、手術用具であるメス一式、鉗子、縫合器、ピンセットなどが挙げられる。検査用機器である内臓などの生体検査用のサンプル採取具や注射器などは内科医でも使用する必要がある。また、内視鏡及びレーザーなどの治療器具を備えた内視鏡も挙げられる。手術用具は、脳外科用、眼科用などその使用対象によって専用化している器具もある。大工でも、細工が必要な指物用のノミ、鉋、あるいは宮大工などの細工道具、又、包丁さばきなどが必要な調理器具も例示できる。
[コネクターD、E]
手術に用いるメスの刃先部や柄をセンサ本体部に接続する際に用いるコネクターである。センサ本体部と把持部や作業部はぐらつきや遊びが無いようにしっかりと連結される必要がある。ぐらつきがあると、データが不正確になる。
コネクターは、センサ本体側は、センサ本体の取り付け面に適合した形状とする。例えば、平面同士の面突き合わせの場合は、平面を備える。平面フランジ同士の面を突き合わせてネジ止めする連結機構は、把持部や先端側のふらつきを防止して固定制度を高めることができ、情報精度を向上させることが容易である。また、柄側については、フランジ部を薄くできて実際に指で押さえる位置の制限を小さくすることができる。そして、ネジ穴や位置決め・回り止め用に係合用凹凸などを適宜備えることとする。
作業部側は、それぞれの作業部の形状にあわせた連結構造を工夫することができる。手術用のメスなどある程度形状が類似しているものは、作業部の方を加工して、共通の連結構造とすることが可能である。
柄に相当する把持部は、丸棒、平棒など共通して使用可能なものは、センサ本体との接合構造を備えた専用品を備えることができる。例えば、丸棒の先端にフランジを固定した把持部などである。手術用のメスなどは丸棒や六角棒、大小のサイズの異なる平棒など様々の用途に合わせてバリエーションのあるものは、作業部側と同様に、コネクターを介在させることが好ましい。この場合でも、柄は加工して、連結構造部に適する形状とすることができる。
柄や作業部を連結する構造は、割型の間に挿入して、受け凹部を形成した割型に挟圧して押さえ込んで固定する手段や、円筒割型の空隙に根本を挿入して外側から締め込む手段、螺着、嵌合など適宜採用することができる。
これらのパーツを組み立てた6軸力覚センサ用把持型ツールを、手に持って操作するとその操作力データがケーブルを経由して増幅器、CPUへ送られて、蓄積される。
把持部や作業部は取り替えることができるので、ひとつの仕事に必要なさまざまな作業具の種類に応じて、準備しておくことによって、トータル的なデータを収集することができる。
例えば、ひとつの手術に必要なデータの全体を収集することができることとなり、シュミュレータの開発データが得られる。また、遠隔医療用ツールであるハプテックインタフェースに装備することができる。
これらのツール型力覚センサの例を図9、10、11、12に示す。図9は、交換可能なツールとして手術用メスを用いたものである。図10〜12は、ペン型力覚センサの例を示す。これらの符号は先願に示したものをそのまま援用している。図13は、これらのツール型力覚センサを小型アームに取り付けた例を示す。この小型アームは特許文献10に示したものと同様のものを利用することができる。
1−2システム構成
力覚提示システムの基本システム構成を図4に示す。基本システムは入出力デバイスである前述のハプティックインタフェース、実計測演算部、データ記録部、モデル推定器、モデルデータベース(環境モデルデータベース、物体モデルデータベース)、仮想空間演算部、実データ―モデルデータ重畳演算部、および表示部から構成される。道具と環境の力学的相互作用を実測することで、以下のことが可能となる。
1−2−1 熟練技能の可視化と蓄積(手技のディジタル記録)
前述のツール型力覚センサを操作して操作データを計測して蓄積することにより、データを様々な形式で表示することができる。例えば、操作データと過去に記録されたデータを重ねて表示することで、操作者のデータと熟練者のデータの比較表示が可能となる。技能のコツを抽出するためには、操作データの可視化は不可欠である。図5は、ペン型6軸力覚センサを用いて記録した筆跡と筆圧(3軸力)を立体表示した例である。
1−2−2 実データに基づく物体・環境モデル構築
道具と環境の力学的相互作用を実測することで、物体と環境のインピーダンス特性、摩擦係数、環境のテクスチャといった物体−環境間の物理パラメータを抽出することができる。これより、物体−環境間の物理特性を、その場で仮想空間のモデルに反映することが可能となる。
1−2−3 実測データと仮想データの重畳による拡張現実感の提示(触覚のAugmented reality)
ツール操作時に、実測データとモデルデータを重畳することで、触覚の拡張現実感の提示が可能となる。これにより、例えば実操作においてペンの書き心地やメスの切れ味を変えたり、柔らかい物を硬く提示したり、硬い物を柔らかく提示することができる。本機能は技能訓練において必須のアイテムになる。
1−3
本発明の力覚提示システムを身体・道具・環境の力学的相互作用を記録&再生する「次世代力提示装置」と位置付け、その基本システムの構成について提案する。本発明の力覚提示システムは、道具と環境との間の力学的相互作用が実測できることであり、1)手技の可視化、2)実測に基づく物体・環境モデル構築、3)触覚の拡張現実感提示が可能となる。
2.作用
図6は、実測による仮想モデル構築のシステム図である。操作者はツール型力覚センサを用いて実物の対象物に操作を加える。
例えば、ハプティックインタフェースの先端に取り付けられたペン型力覚センサで紙の上に文字を書いたり、ハプティックインタフェースの先端に取り付けられたメス型力覚センサやナイフ型力覚センサで物を切ったり、ハプティックインタフェースの先端リンクでボタンやスイッチを押したりする。このときシステムの実計測演算部により、物体操作時にペンやメスあるいは先端リンクに加わる接触力と、ペン,メス,先端リンクの運動が計測され、データ記憶装置に記録される。
このデータを用いて、モデル推定器によりペンと紙の間の摩擦特性、メスやナイフで物を切ったときのインピーダンス特性(剛性、粘性特性)、ボタンの剛性特性といった物体や環境の物理パラメータを計算する。こうして計算された物理パラメータを物体モデルや環境モデルとして物体モデルライブラリー(物体モデルデータベース)や環境モデルライブラリー(環境モデルデータベース)に登録する。次に、物体モデルライブラリーや環境モデルライブラリーに登録されているモデルを仮想空間に配置し、操作者がハプティックインタフェースを用いて仮想空間内の物体モデルを操作する。
このとき仮想空間の物体が環境から受ける反力を相互作用演算により計算し、ハプティックインタフェースによりその反力を操作者に提示する。これにより、実空間にある物体や環境の物理特性をその場で仮想空間のモデルに反映し、操作者に提示することができる。
2−1[実測データと仮想データの重ね合わせ]
次に、ツール型力覚センサを用いて、過去に記録された対象物とは別の対象物に操作を加える。このとき、対象物の物理特性は、過去に記録された物体モデルや環境モデルの物理特性とは異なっているものとする。
ハプティックインタフェースの先端でボタンを押す操作を例示する。一般にボタンのバネ係数は非線形でボタンの押し込み量Δxの関数となる。図7(a)に示すように過去に記録・登録されたボタンのバネ係数をkm(Δx)とする。また、図7(b)に示すように実物のボタンのバネ係数をkr(Δx)とする。このとき、人が実物のボタンを押したときに感じる反力frは式(1)である。ここで
frは人がボタンを押したときに感じる反力である。また、Δxはボタンの押し込み量である。Δxはハプティックインタフェースにより計測される。
式(1) fr=kr(Δx)Δx
ここで図7(c)に示すように、制御部で、ボタンの押し込み量Δxに応じた力fhが式(2)で生成され操作者に提示する。
式(2) fh={km(Δx)−kr(Δx)}Δx
すると操作者が感じる力fmは、式(3)に示すように、ハプティックインタフェースにより生成される反力fhと実際にボタンから受ける反力frの和となり、バネ係数kr(Δx)の実ボタンを押しているにもかかわらず、あたかも過去に記録されたバネ係数km(Δx)のボタンを押しているかのような感覚を体感することができる。
式(3) fm=fr+fh=km(Δx)Δx
一般に、身の回りにあるボタンやスイッチのバネ特性は既知ではない。そこで、ハプティックインタフェースでボタンを押す操作の過程でリアルタイムにボタンのバネ係数kr(Δx)を計算し、式(2)から反力の修正量を計算して人に提示する。
上記実測データと仮想データの重ね合わせは、ボタンを押す操作ばかりでなく、ペンで文字を書いたときのペンと紙の間の摩擦特性を修正して別の書き心地を実現したり、メスやナイフで物を切るときのインピーダンス特性を修正して別の切断感覚を作り出すことができる。例えば、人の皮膚をメスで切ったときのインピーダンス特性を予め記録しておき、医療トレーニング用の人体模型を用いて外科手術のトレーニングを行う際に、マネキンの皮膚をメスで切ったときに、あたかも人の皮膚を切っているかのように体感させることが可能となる。
2−2 [実測データ・仮想データの重ね合わせを実現するシステム構成]
図8は、実測データ・仮想データの重ね合わせを実現するシステム構成図である。
操作者は、ハプティックインタフェースを用いて実物の対象物に操作を加える。例えば、ハプティックインタフェース先端に取り付けられたペン型力覚センサで紙の上に文字を書いたり、ハプティックインタフェース先端に取り付けられたメス型力覚センサやナイフ型力覚センサで物を切ったり、ハプティックインタフェース先端リンクでボタンやスイッチを押したりする。このときシステムの制御部の実計測演算部により、物体操作時にペンやメスあるいは先端リンクに加わる接触力とペン、メス、先端リンクの運動が計測され、そのデータはデータ記憶装置に記録される。一方、ハプティックインタフェースの操作部であるツール型力覚センサの運動は、仮想空間内の物体モデルの操作にも用いられ、仮想空間内の物体と環境との相互作用演算が行われる。ここで実測データと仮想データとの重ね合わせには次の二つの方法がある。
一つは、重ね合わせ処理において、モデルから計算された反力と実測により得られた反力を直接比較して修正反力を計算するものである。
いわゆる、実対象物の物理パラメータの推定を行わない方法である。ボタン押しの例で説明すると、ハプティックインタフェースからボタンの押し込み量Δxが仮想空間に入力され、仮想空間の相互作用演算で力fmが式(4)で計算され、重ね合わせ処理に入力される。また、制御部により計測された実ボタンを押したときの反力frが重ね合わせ処理部に入力される(図8(a))。
式(4) fm=km(Δx)Δx
重ね合わせ処理では、反力fhが式(5)により計算され相互作用修正量としてハプティックインタフェースに入力される。ハプティックインタフェースは、(5)式の反力fhを操作者に提示することで、操作者はハプティックインタフェースにより生成される反力fhと実際にボタンから受ける反力frの和を反力として感じる。
式(5) fh=fm−fr
二つめは、重ね合わせ処理において、モデルから計算された物体・環境の物理パラメータと、実測データを用いてモデル推定器によりリアルタイムで計算された物理パラメータを比較演算して修正反力を計算するものである。ボタン押しの例で説明すると、ハプティックインタフェースで実際にボタンを押したときの押し込み量Δxが実測される。実測された押し込み量Δxは仮想空間に入力され、仮想空間の相互作用演算でボタンのバネ計数km(Δx)が計算され、重ね合わせ処理に入力される。
また、ハプティックインタフェースによる実測データを用いて、モデル推定器で実ボタンのバネ計数kr(Δx)が計算され、重ね合わせ処理に入力される(図8(b))。また、ボタンの押し込み量Δxが重ね合わせ処理に入力される(図8(a))。重ね合わせ処理では、式(6)の演算により反力fhが計算され相互作用修正量としてハプティックインタフェースに入力される。ハプティックインタフェースは、(6)式の反力fhを操作者に提示することで、操作者はハプティックインタフェースにより生成される反力fhと実際にボタンから受ける反力frの和を反力として感じる。
式(6) fh={km(Δx)−kr(Δx)}Δx
[実測データの表示例]
ペン型6軸力覚センサを用いて被験者nと被験者wの2名によるカタカナ文字「イ」手書きデータをサンプリングした。その筆跡と筆圧(3軸力)を立体表示した例を図14と図15に示す。被験者nのデータをn1〜n5に視点を変えて図14に示し、被験者wのデータをw1〜w5に視点を変えて図15に示す。両図の視点は同じであり、カタカナ文字「イ」の縦棒を軸として、n1を0°として右回転したイメージ表示である。(1)n1は、紙面に対して正面から表示、(2)n2は36°振った表示、(3)n3は72°振った表示、(4)n4は108°振った表示、(5)n5は144°振った表示であり、w1〜w5も同様である。
図16に、n2を用いて表示説明例を示す。筆圧の強さと方向性は、ヘアラインとして3次元ベクトル表示され、筆の運びスピードはヘアラインの間隔に表されている。ヘアラインの間隔が短いほど、ゆっくりとした筆運びとなる。
図14に示される被験者nの筆跡は、筆圧が強くゆっくりとした運びであり、図15に示される被験者wの筆跡は、筆圧が弱く早い運びであることが解る。筆圧の加えられる方向もそれぞれヘアラインにより表示されている。本発明では、このような実際の筆跡を立体的に視点を変えて表示することができ、それぞれを比較して、表示することもできる。そして、被験者nの筆跡をモデルとした場合に、被験者wに対して、比較した差分の力覚を提示することもできる。あるいは、異なる条件の紙を設定して、被験者nのモデル筆跡を構築することもでき、被験者wは、その紙の条件下で動作している力覚を提示することができる。
したがって、本発明は、実際に極めて近い手道具をもちいて、操作しながら実体験に近いモデル環境にて、操作データを取得することができ、そして、モデルと比較した力覚提示うけて訓練することができる。あるいは、自分の操作履歴を残すことにより習熟度を確認することもできる。
[実測に基づく仮想物体モデル構築]
力覚提示システムの基本構成を示し、「手技の可視化」の例として、手書き文字筆圧データの可視化を上記に示した。本発明で提案する力覚提示システムは、小型アームと実物のツールを用いたツール型力覚センサから構成されている(図3参照)。これにより、ハプティックデータの提示機能に加え、実物の道具と環境との間の力学的相互作用の実測が可能になる。力覚提示システムの「実測に基づく仮想モデル構築」の例として、実物のボタンを押したときのハプティックデータを記録し、その場で仮想空間に反映して操作者に提示する例を示す。
<仮想環境モデル>
押しボタンのデータの記録・再生実験で使用した仮想空間モデルを図17に示す。押しボタンは半径r[mm],高さh[mm]で記述される円柱で表現し、属性としてストロークs[mm]を持つ。
図17の点はツール型力覚センサの作用点として示されたproxyを表し、ハプティックインタフェースの運動に連動して仮想空間内を運動する。ツール型力覚センサを操作してproxyで仮想空間のボタンを押すと、ボタンのストローク範囲内でボタンは押し込まれる。
<ボタンデータのサンプリング>
ハプティックインタフェースでボタンを押下したときのボタンの変位と反力を記録したデータを図18に示す。図18はハプティックインタフェースでキーボード(ELECOM TK−U12FYALBK)のキーを押したときのForce−Displacement曲線である。図18の上の曲線がキーを押したときのデータであり、下の曲線がキーを開放したときのデータである。この様に、ボタンやスイッチを押したときのForce−Displacement曲線は押下時と開放時で異なった曲線となり、ヒステリシスを描く。
<サンプリングデータのモデル化>
記録されたForce−Displacement曲線は、ボタンの変位を一定間隔で離散化し、変位に対する反力をサンプリングデータの線形補間により求め、仮想ボタンの反力モデルを構築した。また、Force−Displacement曲線の最大変位を仮想ボタンのストロークとした。
<サンプリングデータの再生>
記録されたボタンデータの提示反力は、Proxyと仮想ボタンの接触状態、速度から、以下の五つの条件(式7〜11に表す)に分けて提示した。
(1)Proxyとボタンが非接触
式(7) f=0
(2)Proxyとボタンが接触、かつボタン可動範囲内
・Proxyの速度がボタン押下方向
式(8) f=f press
・Proxyの速度がボタン開放方向
式(9) f=f release
(3)Proxyとボタンが接触、かつボタンの底に到達
・Proxyの速度がボタン押下方向
式(10) f=−KpΔp−KvVc
・Proxyの速度がボタン開放方向
式(11) f=f release_max
ここでfはハプティックインタフェースがユーザに提示する力、f press、f releaseはそれぞれ仮想ボタンモデルのForce−Displacement曲線(図18)から得られる押下時、および解放時の力、Kp、Kv、はサーボゲイン、Δpはボタンの底に到達後の変位、Vcはボタン押下方向の速度、frelease_maxはfreleaseの最大値を表す。
図19はボタンデータ再生時のデータを示したものである。図19(a)はユーザがハプティックインタフェースを操り仮想ボタンを押したときの仮想ボタンの変位、図19(b)はハプティックインタフェースによりユーザに提示された力、図19(c)は仮想ボタンの操作変位と提示力の関係を示したものである。図19(b)のピークはproxyがボタンの底に到達したときのもの。データ再生の感触は、proxyがボタンのストローク範囲内にある場合には満足のいくものであった。
ハプティックレコーダの重要な機能の一つである、「実測に基づく仮想モデル構築」の例として行ったボタン押下データの記録・再生の実験結果は、データの記録から再生はすべてオンラインで行っており、その場で、目の前にあるボタンデータを仮想空間に反映し、ユーザに提示することができた。
Claims (14)
- 力覚提示システムを用いた力覚提示方法において、
ハプティックインタフェースに取り付けられたツール型力覚センサを用いて実物の対象物に操作を加えたときの実測データと、仮想モデルのデータを重畳することで、操作者に対して触覚の拡張現実感を提示する力覚提示方法であって、
力覚提示システムは、ツール型力覚センサを備えたハプティックインタフェース及び制御装置を備えており、
ハプティックインタフェースは、ツール型力覚センサとツール型力覚センサに連結されるマニピュレータから構成され、
ツール型力覚センサは、ツール機能部と把持部と、ツール機能部と把持部の間に力覚センサ本体を有しており、ツールは手操作する医療用器具であって、機能部は実際の作業部であり、
センサの感知部は、特定の力成分に対して歪み易い弾性構造体であり、
弾性構造体の受感面はツール機能部を取り付ける面側であり、
マニピュレータは、ツール型力覚センサの3次元運動を計測できるとともに、アクチュエータに駆動されて、前記ツール型力覚センサを把持した操作者に力覚を提示する機能を有しており、
制御装置は、実計測演算部、データ記憶部、モデル推定器、物体モデルデータベース、環境モデルデータベース、物体モデルと環境モデルと相互作用演算部からなる仮想空間演算部、重ね合わせ処理部及び表示部から構成され、
該制御装置は、操作者が把持部を介して操作されたハプティックインタフェースのツールの運動データに基づいて仮想モデルを操作する機能と、ハプティックインタフェースを操作する際に操作者に対して提示する反力を計算する機能を有し、
環境モデルが登録された環境モデルライブラリーと物体モデルが登録された物体モデルライブラリーから環境モデルと物体モデルを選定して仮想空間に配置することで仮想モデルが構築され、
操作者が力覚提示システムのハプティックインタフェースに取り付けられたツール型力覚センサを用いて実物の対象物に操作を加え、このときシステムの実計測演算部により、操作時にツール機能部に加わる接触力とツール型力覚センサの運動が計測され、該接触力は重ね合わせ処理部に入力され,
該ツール型力覚センサの運動は仮想空間内の物体モデルの操作にも用いられ、相互作用演算部において仮想空間内の物体モデルと環境モデルとの相互作用を演算して反力が計算され、重ね合わせ処理部に入力され,
重ね合わせ処理部において、ツール機能部に加わる接触力の実測データと、仮想モデルの相互作用演算により計算される反力のデータを比較して差分を求め、提示反力とし、
ハプティックインタフェースは、当該提示反力を操作者に提示することで、操作者はハプティックインタフェースにより生成される反力と実操作対象物から受ける反力の和を反力として感じることを特徴とする反力提示方法。 - 力覚提示システムを用いた力覚提示方法において、
ハプティックインタフェースに取り付けられたツール型力覚センサを用いて実物の対象物に操作を加えたときの実測データと、仮想モデルのデータを重畳することで、操作者に対して触覚の拡張現実感を提示する力覚提示方法であって、
力覚提示システムは、ツール型力覚センサを備えたハプティックインタフェース及び制御装置を備えており、
ハプティックインタフェースは、ツール型力覚センサとツール型力覚センサに連結されるマニピュレータから構成され、
ツール型力覚センサは、ツール機能部と把持部と、ツール機能部と把持部の間に力覚センサ本体を有しており、ツールは手操作する医療用器具であって、機能部は実際の作業部であり、
センサの感知部は、特定の力成分に対して歪み易い弾性構造体であり、
弾性構造体の受感面はツール機能部を取り付ける面側であり、
マニピュレータは、ツール型力覚センサの3次元運動を計測できるとともに、アクチュエータに駆動されて、前記ツール型力覚センサを把持した操作者に力覚を提示する機能を有しており、
制御装置は、実計測演算部、データ記憶部、モデル推定器、物体モデルデータベース、環境モデルデータベース、物体モデルと環境モデルと相互作用演算部からなる仮想空間演算部、重ね合わせ処理部及び表示部から構成され、
該制御装置は、操作者が把持部を介して操作されたハプティックインタフェースのツールの運動データに基づいて仮想モデルを操作する機能と、ハプティックインタフェースを操作する際に操作者に対して提示する反力を計算する機能を有し、
環境モデルが登録された環境モデルライブラリーと物体モデルが登録された物体モデルライブラリーから環境モデルと物体モデルを選定して仮想空間に配置することで仮想モデルが構築され、
操作者が力覚提示システムのハプティックインタフェースに取り付けられたツール型力覚センサを用いて実物の対象物に操作を加え、このときシステムの実計測演算部により、操作時にツール機能部に加わる接触力とツール型力覚センサの運動が計測され、実操作対象物に対する操作量が計測され、
実測された操作量は仮想空間に入力され、仮想空間の相互作用演算で物体モデルと環境モデルの相互作用の物理パラメータが計算され、重ね合わせ処理部に入力され,
また、ハプティックインタフェースによる実測データを用いて、モデル推定器で実際の物体と環境との相互作用の物理パラメータが計算され、重ね合わせ処理部に入力され,
また、実測された操作量は重ね合わせ処理部に入力され,
重ね合わせ処理部では、仮想モデルから計算された物体と環境との相互作用の物理パラメータと、実測データを用いてモデル推定器により計算された実際の物体と環境との相互作用の物理パラメータとを比較して差分を求め、該差分と実測された操作量から修正反力を計算し、提示反力とし、
ハプティックインタフェースは、当該反力を操作者に提示することで、操作者はハプティックインタフェースにより生成される反力と実操作対象物から受ける反力の和を反力として感じることを特徴とする反力提示方法。 - ハプティックインタフェースに取り付けられたツール型力覚センサを用いて実物の対象物に操作を加えたときの実測データと、仮想モデルのデータを重畳することで、操作者に対して触覚の拡張現実感を提示する力覚提示システムであって、
力覚提示システムは、ツール型力覚センサを備えたハプティックインタフェース及び制御装置を備えており、
ハプティックインタフェースは、ツール型力覚センサとツール型力覚センサに連結されるマニピュレータから構成され、
ツール型力覚センサは、ツール機能部と把持部と、ツール機能部と把持部の間に力覚センサ本体を有しており、力覚センサ本体はマニュピュレータに接続される構成であり
ツールは手操作する医療用器具であって、機能部は実際の作業部であり、
センサの感知部は、特定の力成分に対して歪み易い弾性構造体であり、
弾性構造体の受感面はツール機能部を取り付ける面側であり、
マニピュレータは、ツール型力覚センサの3次元運動を計測できるとともに、アクチュエータに駆動されて、ツール型力覚センサを把持している操作者に力覚を提示する機能を有しており、
制御装置は、実計測演算部、データ記憶部、モデル推定器、物体モデルデータベース、環境モデルデータベース、物体モデルと環境モデルと相互作用演算部からなる仮想空間演算部、重ね合わせ処理部及び表示部から構成され、
該制御装置は、操作者が把持部を介して操作されたハプティックインタフェースのツールの運動データに基づいて仮想モデルを操作する機能と、ハプティックインタフェースを操作する際に操作者に対して提示する反力を計算する機能を有し、
実計測演算部はハプティックインタフェースの操作により得られる実測データを計測演算する機能を有し、該データはデータ記憶部に記憶され、
環境モデルが登録された環境モデルライブラリーと物体モデルが登録された物体モデルライブラリーから環境モデルと物体モデルを選定して仮想空間に配置することで仮想モデルが構築され、
一方、相互作用演算部は、前記ツールの運動データに基づいて仮想モデルを操作したときの前記環境モデルと前記物体モデルの力学的相互作用を演算するものであって、相互作用演算された出力は、表示部に出力され、また、該出力は、実計測演算部から出力されたツール型力覚センサの出力と重ね合わせ処理部にて比較してその差分を提示反力として出力されるものであり、該差分の提示反力に基づいてハプティックインタフェースを駆動して操作者に対して反力を提示することを特徴とする力覚提示システム。 - 請求項3記載の力覚提示システムにおいて、
データ記憶部には過去にツール型力覚センサを操作して記録された操作データが蓄積されており、
前記データ記憶部に記録された過去の操作データと、現在の操作データとを重ねて表示し、あるいは、過去に記録された操作データと現在の操作データの差分を表示装置に表示することで、過去のデータと操作者のデータを視覚的に比較表示することを可能とする力覚提示システム。 - 請求項3記載の力覚提示システムにおいて、
実物の対象物に対してツール型力覚センサを操作して操作データを計測して記録することで、
ツールと実対象物との力学的相互作用を実測することができ、モデル推定器により実対象物のインピーダンス特性(粘弾性特性)、摩擦係数、実対象物のテクスチャの物理パラメータを演算により求めることができ、その物理パラメータを
物体モデルや環境モデルとして物体モデルライブラリーや環境モデルライブラリーに登録することができ、
又は、その場で仮想空間のモデルに反映して仮想モデルデータとすることを可能とする力覚提示システム。 - 力覚センサを備えたツール型力覚センサは、6軸力覚センサであり、6軸力覚センサ本体に対してツール機能部あるいは把持部を着脱交換可能としたことを特徴とする請求項3〜5のいずれかに記載の力覚提示システム。
- 医療用器具が、メス、鉗子、縫合器、サンプル採取具、注射器、内視鏡、レーザーのいずれかであり、
実物の対象物が、訓練用模型であることを特徴とする請求項1又は2記載の反力提示方法。 - 医療用器具が、メス、鉗子、縫合器、サンプル採取具、注射器、内視鏡、レーザーのいずれかであり、
実物の対象物が、訓練用模型であることを特徴とする請求項3〜6のいずれかに記載された力覚提示システム。 - 力覚提示システムを用いた力覚提示方法において、
ハプティックインタフェースに取り付けられたツール型力覚センサを用いて実物の対象物に操作を加えたときの実測データと、仮想モデルのデータを重畳することで、操作者に対して触覚の拡張現実感を提示する力覚提示方法であって、
力覚提示システムは、ツール型力覚センサを備えたハプティックインタフェース及び制御装置を備えており、
ハプティックインタフェースは、ツール型力覚センサとツール型力覚センサに連結されるマニピュレータから構成され、
ツール型力覚センサは、ツール機能部と把持部と、ツール機能部と把持部の間に力覚センサ本体を有しており、ツールは手操作する筆記具であって、機能部は実際の作業部であり、
センサの感知部は、特定の力成分に対して歪み易い弾性構造体であり、
弾性構造体の受感面はツール機能部を取り付ける面側であり、
マニピュレータは、ツール型力覚センサの3次元運動を計測できるとともに、アクチュエータに駆動されて、前記ツール型力覚センサを把持した操作者に力覚を提示する機能を有しており、
制御装置は、実計測演算部、データ記憶部、モデル推定器、物体モデルデータベース、環境モデルデータベース、物体モデルと環境モデルと相互作用演算部からなる仮想空間演算部、重ね合わせ処理部及び表示部から構成され、
該制御装置は、操作者が把持部を介して操作されたハプティックインタフェースのツールの運動データに基づいて仮想モデルを操作する機能と、ハプティックインタフェースを操作する際に操作者に対して提示する反力を計算する機能を有し、
環境モデルが登録された環境モデルライブラリーと物体モデルが登録された物体モデルライブラリーから環境モデルと物体モデルを選定して仮想空間に配置することで仮想モデルが構築され、
操作者が力覚提示システムのハプティックインタフェースに取り付けられたツール型力覚センサを用いて実物の対象物に操作を加え、このときシステムの実計測演算部により、操作時にツール機能部に加わる接触力とツール型力覚センサの運動が計測され、該接触力は重ね合わせ処理部に入力され,
該ツール型力覚センサの運動は仮想空間内の物体モデルの操作にも用いられ、相互作用演算部において仮想空間内の物体モデルと環境モデルとの相互作用を演算して反力が計算され、重ね合わせ処理部に入力され,
重ね合わせ処理部において、ツール機能部に加わる接触力の実測データと、仮想モデルの相互作用演算により計算される反力のデータを比較して差分を求め、提示反力とし、
ハプティックインタフェースは、当該提示反力を操作者に提示することで、操作者はハプティックインタフェースにより生成される反力と実操作対象物から受ける反力の和を反力として感じることを特徴とする反力提示方法。 - 力覚提示システムを用いた力覚提示方法において、
ハプティックインタフェースに取り付けられたツール型力覚センサを用いて実物の対象物に操作を加えたときの実測データと、仮想モデルのデータを重畳することで、操作者に対して触覚の拡張現実感を提示する力覚提示方法であって、
力覚提示システムは、ツール型力覚センサを備えたハプティックインタフェース及び制御装置を備えており、
ハプティックインタフェースは、ツール型力覚センサとツール型力覚センサに連結されるマニピュレータから構成され、
ツール型力覚センサは、ツール機能部と把持部と、ツール機能部と把持部の間に力覚センサ本体を有しており、ツールは手操作する筆記具であって、機能部は実際の作業部であり、
センサの感知部は、特定の力成分に対して歪み易い弾性構造体であり、
弾性構造体の受感面はツール機能部を取り付ける面側であり、
マニピュレータは、ツール型力覚センサの3次元運動を計測できるとともに、アクチュエータに駆動されて、前記ツール型力覚センサを把持した操作者に力覚を提示する機能を有しており、
制御装置は、実計測演算部、データ記憶部、モデル推定器、物体モデルデータベース、環境モデルデータベース、物体モデルと環境モデルと相互作用演算部からなる仮想空間演算部、重ね合わせ処理部及び表示部から構成され、
該制御装置は、操作者が把持部を介して操作されたハプティックインタフェースのツールの運動データに基づいて仮想モデルを操作する機能と、ハプティックインタフェースを操作する際に操作者に対して提示する反力を計算する機能を有し、
環境モデルが登録された環境モデルライブラリーと物体モデルが登録された物体モデルライブラリーから環境モデルと物体モデルを選定して仮想空間に配置することで仮想モデルが構築され、
操作者が力覚提示システムのハプティックインタフェースに取り付けられたツール型力覚センサを用いて実物の対象物に操作を加え、このときシステムの実計測演算部により、操作時にツール機能部に加わる接触力とツール型力覚センサの運動が計測され、実操作対象物に対する操作量が計測され、
実測された操作量は仮想空間に入力され、仮想空間の相互作用演算で物体モデルと環境モデルの相互作用の物理パラメータが計算され、重ね合わせ処理部に入力され,
また、ハプティックインタフェースによる実測データを用いて、モデル推定器で実際の物体と環境との相互作用の物理パラメータが計算され、重ね合わせ処理部に入力され,
また、実測された操作量は重ね合わせ処理部に入力され,
重ね合わせ処理部では、仮想モデルから計算された物体と環境との相互作用の物理パラメータと、実測データを用いてモデル推定器により計算された実際の物体と環境との相互作用の物理パラメータとを比較して差分を求め、該差分と実測された操作量から修正反力を計算し、提示反力とし、
ハプティックインタフェースは、当該反力を操作者に提示することで、操作者はハプティックインタフェースにより生成される反力と実操作対象物から受ける反力の和を反力として感じることを特徴とする反力提示方法。 - ハプティックインタフェースに取り付けられたツール型力覚センサを用いて実物の対象物に操作を加えたときの実測データと、仮想モデルのデータを重畳することで、操作者に対して触覚の拡張現実感を提示する力覚提示システムであって、
力覚提示システムは、ツール型力覚センサを備えたハプティックインタフェース及び制御装置を備えており、
ハプティックインタフェースは、ツール型力覚センサとツール型力覚センサに連結されるマニピュレータから構成され、
ツール型力覚センサは、ツール機能部と把持部と、ツール機能部と把持部の間に力覚センサ本体を有しており、力覚センサ本体はマニュピュレータに接続される構成であり
ツールは手操作する筆記具であって、機能部は実際の作業部であり、
センサの感知部は、特定の力成分に対して歪み易い弾性構造体であり、
弾性構造体の受感面はツール機能部を取り付ける面側であり、
マニピュレータは、ツール型力覚センサの3次元運動を計測できるとともに、アクチュエータに駆動されて、ツール型力覚センサを把持している操作者に力覚を提示する機能を有しており、
制御装置は、実計測演算部、データ記憶部、モデル推定器、物体モデルデータベース、環境モデルデータベース、物体モデルと環境モデルと相互作用演算部からなる仮想空間演算部、重ね合わせ処理部及び表示部から構成され、
該制御装置は、操作者が把持部を介して操作されたハプティックインタフェースのツールの運動データに基づいて仮想モデルを操作する機能と、ハプティックインタフェースを操作する際に操作者に対して提示する反力を計算する機能を有し、
実計測演算部はハプティックインタフェースの操作により得られる実測データを計測演算する機能を有し、該データはデータ記憶部に記憶され、
環境モデルが登録された環境モデルライブラリーと物体モデルが登録された物体モデルライブラリーから環境モデルと物体モデルを選定して仮想空間に配置することで仮想モデルが構築され、
一方、相互作用演算部は、前記ツールの運動データに基づいて仮想モデルを操作したときの前記環境モデルと前記物体モデルの力学的相互作用を演算するものであって、相互作用演算された出力は、表示部に出力され、また、該出力は、実計測演算部から出力されたツール型力覚センサの出力と重ね合わせ処理部にて比較してその差分を提示反力として出力されるものであり、該差分の提示反力に基づいてハプティックインタフェースを駆動して操作者に対して反力を提示することを特徴とする力覚提示システム。 - 請求項11記載の力覚提示システムにおいて、
データ記憶部には過去にツール型力覚センサを操作して記録された操作データが蓄積されており、
前記データ記憶部に記録された過去の操作データと、現在の操作データとを重ねて表示し、あるいは、過去に記録された操作データと現在の操作データの差分を表示装置に表示することで、過去のデータと操作者のデータを視覚的に比較表示することを可能とする力覚提示システム。 - 請求項11記載の力覚提示システムにおいて、
実物の対象物に対してツール型力覚センサを操作して操作データを計測して記録することで、ツールと実対象物との力学的相互作用を実測することができ、モデル推定器により実対象物のインピーダンス特性、摩擦係数、実対象物のテクスチャの物理パラメータを計算により求めることができ、その物理パラメータを物体モデルや環境モデルとして物体モデルライブラリーや環境モデルライブラリーに登録することができ、
又は、その場で仮想空間のモデルに反映して仮想モデルデータとすることを可能とする力覚提示システム。 - 力覚センサを備えたツール型力覚センサは、6軸力覚センサであり、6軸力覚センサ本体に対してツール機能部あるいは把持部を着脱交換可能としたことを特徴とする請求項11〜13のいずれかに記載の力覚提示システム
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008549389A JP5177560B2 (ja) | 2006-12-13 | 2007-12-11 | 反力提示方法、および力覚提示システム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006336138 | 2006-12-13 | ||
JP2006336138 | 2006-12-13 | ||
PCT/JP2007/074188 WO2008072756A1 (ja) | 2006-12-13 | 2007-12-11 | 反力提示方法、および力覚提示システム |
JP2008549389A JP5177560B2 (ja) | 2006-12-13 | 2007-12-11 | 反力提示方法、および力覚提示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2008072756A1 JPWO2008072756A1 (ja) | 2010-04-02 |
JP5177560B2 true JP5177560B2 (ja) | 2013-04-03 |
Family
ID=39511767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008549389A Expired - Fee Related JP5177560B2 (ja) | 2006-12-13 | 2007-12-11 | 反力提示方法、および力覚提示システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5177560B2 (ja) |
WO (1) | WO2008072756A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020122267A1 (ko) * | 2018-12-10 | 2020-06-18 | (주)리얼감 | 강도를 이용한 포스 피드백 방법 및 시스템 |
US11396103B2 (en) * | 2020-03-10 | 2022-07-26 | Samsung Electronics Co., Ltd. | Method and apparatus for manipulating a tool to control in-grasp sliding of an object held by the tool |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100927009B1 (ko) * | 2008-02-04 | 2009-11-16 | 광주과학기술원 | 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템 |
KR20100138700A (ko) * | 2009-06-25 | 2010-12-31 | 삼성전자주식회사 | 가상 세계 처리 장치 및 방법 |
JP5364035B2 (ja) * | 2010-05-11 | 2013-12-11 | 日本放送協会 | 仮想力覚提示装置及び仮想力覚提示プログラム |
JP6032669B2 (ja) * | 2012-11-30 | 2016-11-30 | 国立大学法人広島大学 | 力覚提示システム |
JP6010729B2 (ja) * | 2013-07-31 | 2016-10-19 | 株式会社栗本鐵工所 | 力覚提示システム |
JP6104288B2 (ja) * | 2015-01-06 | 2017-03-29 | 三菱プレシジョン株式会社 | 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0181547U (ja) * | 1987-11-20 | 1989-05-31 | ||
JPH10177387A (ja) * | 1996-10-18 | 1998-06-30 | Yamaha Corp | 力覚駆動装置、力覚付与方法および記録媒体 |
JP2000259074A (ja) * | 1999-03-11 | 2000-09-22 | Minolta Co Ltd | 道具媒介型の力覚呈示システム |
JP3624374B2 (ja) * | 2000-12-12 | 2005-03-02 | 独立行政法人産業技術総合研究所 | 力覚呈示装置 |
JP3802483B2 (ja) * | 2002-12-26 | 2006-07-26 | 大日本印刷株式会社 | 書道学習支援システム、コンピュータ、プログラム、及び記録媒体 |
JP2008033603A (ja) * | 2006-07-28 | 2008-02-14 | National Institute Of Advanced Industrial & Technology | 6軸力覚センサ用把持型ツール |
-
2007
- 2007-12-11 JP JP2008549389A patent/JP5177560B2/ja not_active Expired - Fee Related
- 2007-12-11 WO PCT/JP2007/074188 patent/WO2008072756A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0181547U (ja) * | 1987-11-20 | 1989-05-31 | ||
JPH10177387A (ja) * | 1996-10-18 | 1998-06-30 | Yamaha Corp | 力覚駆動装置、力覚付与方法および記録媒体 |
JP2000259074A (ja) * | 1999-03-11 | 2000-09-22 | Minolta Co Ltd | 道具媒介型の力覚呈示システム |
JP3624374B2 (ja) * | 2000-12-12 | 2005-03-02 | 独立行政法人産業技術総合研究所 | 力覚呈示装置 |
JP3802483B2 (ja) * | 2002-12-26 | 2006-07-26 | 大日本印刷株式会社 | 書道学習支援システム、コンピュータ、プログラム、及び記録媒体 |
JP2008033603A (ja) * | 2006-07-28 | 2008-02-14 | National Institute Of Advanced Industrial & Technology | 6軸力覚センサ用把持型ツール |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020122267A1 (ko) * | 2018-12-10 | 2020-06-18 | (주)리얼감 | 강도를 이용한 포스 피드백 방법 및 시스템 |
US11396103B2 (en) * | 2020-03-10 | 2022-07-26 | Samsung Electronics Co., Ltd. | Method and apparatus for manipulating a tool to control in-grasp sliding of an object held by the tool |
Also Published As
Publication number | Publication date |
---|---|
JPWO2008072756A1 (ja) | 2010-04-02 |
WO2008072756A1 (ja) | 2008-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5177560B2 (ja) | 反力提示方法、および力覚提示システム | |
US20180137782A1 (en) | Virtual Tool Manipulation System | |
Dipietro et al. | A survey of glove-based systems and their applications | |
US5704791A (en) | Virtual surgery system instrument | |
JP3934524B2 (ja) | 手術用マニピュレータ | |
KR101092372B1 (ko) | 하이브리드 의료 시뮬레이션 시스템 및 방법 | |
Wei et al. | Augmented optometry training simulator with multi-point haptics | |
JP2007316936A (ja) | 触覚インターフェイス及びその制御方法 | |
Rosenberg | Human interface hardware for virtual laparoscopic surgery | |
US11176846B2 (en) | Dental simulation machine | |
Ershad et al. | Adaptive surgical robotic training using real-time stylistic behavior feedback through haptic cues | |
EP2988289A1 (en) | Medical procedure simulator | |
Selim et al. | A comprehensive review of haptic feedback in minimally invasive robotic liver surgery: Advancements and challenges | |
Suzuki et al. | Simulator for virtual surgery using deformable organ models and force feedback system | |
Burdea | Virtual reality and robotics in medicine | |
US11657730B2 (en) | Simulator for manual tasks | |
JP4273464B2 (ja) | 6軸力覚センサ用把持型ツール | |
Burdea et al. | Computerized hand diagnostic/rehabilitation system using a force feedback glove | |
Peine et al. | A tactile sensing and display system for surgical applications | |
CN113272910A (zh) | 使用索引到运动图片来训练用户 | |
CN1677064A (zh) | 一种手术刀的力采集装置 | |
Sánchez-Margallo et al. | Using the CyberGlove | |
Srinivasan et al. | Laboratory for Human and Machine Haptics: The Touch Lab | |
Sánchez et al. | Ergonomic Assessment of and Movements in Laparoscopic Surgery Using the CyberGlove R |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100909 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5177560 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |