JP4660679B2 - スマートツール - Google Patents
スマートツール Download PDFInfo
- Publication number
- JP4660679B2 JP4660679B2 JP2001240127A JP2001240127A JP4660679B2 JP 4660679 B2 JP4660679 B2 JP 4660679B2 JP 2001240127 A JP2001240127 A JP 2001240127A JP 2001240127 A JP2001240127 A JP 2001240127A JP 4660679 B2 JP4660679 B2 JP 4660679B2
- Authority
- JP
- Japan
- Prior art keywords
- tool
- reaction force
- tip
- information
- smart
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 claims description 67
- 230000035807 sensation Effects 0.000 claims description 53
- 239000007788 liquid Substances 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 11
- 239000013307 optical fiber Substances 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 5
- 238000000149 argon plasma sintering Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 description 12
- 230000007613 environmental effect Effects 0.000 description 12
- 241000282412 Homo Species 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 235000013605 boiled eggs Nutrition 0.000 description 5
- 210000002969 egg yolk Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- KJFMBFZCATUALV-UHFFFAOYSA-N phenolphthalein Chemical compound C1=CC(O)=CC=C1C1(C=2C=CC(O)=CC=2)C2=CC=CC=C2C(=O)O1 KJFMBFZCATUALV-UHFFFAOYSA-N 0.000 description 4
- 230000015541 sensory perception of touch Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005868 electrolysis reaction Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 230000035515 penetration Effects 0.000 description 3
- 102000002322 Egg Proteins Human genes 0.000 description 2
- 108010000912 Egg Proteins Proteins 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 230000020169 heat generation Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- QCVGEOXPDFCNHA-UHFFFAOYSA-N 5,5-dimethyl-2,4-dioxo-1,3-oxazolidine-3-carboxamide Chemical compound CC1(C)OC(=O)N(C(N)=O)C1=O QCVGEOXPDFCNHA-UHFFFAOYSA-N 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000000969 egg white Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
Description
【０００１】
【発明の属する技術分野】
この発明は、触覚以外の情報を触覚情報として提示することにより情報の可触化を実現する、センサとツールと情報提示装置が一体となったスマートツール及びその触感生成方法に関する。
【０００２】
【従来の技術】
現在、触覚（ここでは「力覚」を意味する。以下同様）提示に関する技術が一般社会で頻繁に利用されるようになってきており、そのアプリケーションに関する研究も数多くなされている。これらの研究の方向は依然として「現実感の高い触覚提示」、つまり「現実世界の物体に接触したのと区別が付かないような触覚提示」を目標としたものが多い。このような現実感の高い触覚提示は、医療分野などのシミュレーションや、あるいはゲームなどエンターテイメントの分野では必要であると考えられるが、その一方で触覚の複雑さ故に本当の意味で現実感の高い、いうなれば万能の触覚提示装置というものは実現していない。それゆえ一般社会における触覚提示技術の応用を考えた場合には、完全な触覚提示ではなく現実世界との融合という側面から考えていくべきであろう。
【０００３】
ここで触覚提示およびバーチャルリアリティの原点に返って考えてみると、次のようなことが言える。
１．触覚とは接触に際して得られる対象物体の「インピーダンス情報」であり、それを提示するための手法が「触覚提示」である。
２．「Virtual Reality」は言い換えれば「Essence of Reality」である。ある日的に関して本質的な「情報」であれば人間に対して提示しなければならない。
３．「Augmented Reality」は「Reality」の枠からはずれるが、必要な「情報」を人に対して提示するという点は変わらない。しかし一般にそれは視覚に頼りすぎている。
【０００４】
【発明が解決しようとする課題】
従来の触覚提示では、バーチャル物体に対して適切なインピーダンスを設定することにより触覚情報の提示を行っている。そしてそのインピーダンスに載せている「情報」は「接触する対象物体のインピーダンス」に関する情報である。この情報を完全に再現しようとすることが従来の「Haptic Reality」の流れなのだが、ここでインピーダンスに載せる情報を対象のインピーダンスではなく、それ以外の必要な情報を載せることを考える。これが触覚のARである。これは「情報の可触化」である。つまり触覚以外の情報を触覚情報として提示するのである。
【０００５】
このこと、つまりAugmented Haptics on Informationについて説明する。従来は、道具に付属のあるいはその周囲にあるセンサが環境の情報を取得し、その情報を視覚的あるいは音響的な方法で人間に提示し、人間はそれを元に頭の中で処理を実行していた。そうではなく、情報を触覚（インピーダンス情報）を通じて提示するということを考える。
【０００６】
現在あるその端的な例としては、火災報知器のボタンカバーがある。つまり、この種のカバーは基本的には誤動作を防ぐためにつけられているのだが、別の言い方をすれば、極大のインピーダンスにより、「普段はこのボタンをおしてはいけない」という情報を提示しているのである。このような手段を用いることによって、人間の情報処理の負担およびそこから生じるミスを減少させることが可能になると考えられる。この場合は「押してはいけない」という情報を、インピーダンスを通じて提示している。
【０００７】
先に挙げた例ではインピーダンスを実際の物体を利用して提示していたが、別の例として医療において、手術の時などに接触してはいけないような危険領域の情報を、インピーダンスを通じて提示するというものについて考えてみる。メスや針など手術用の危険な道具が、患者の体内の生命に関わるような臓器を傷つけないように医者は手を動かすが、実際にはそのような危険領域は動的に変化してしまう。そのように動的に変化する危険領域をリアルタイムに計測し、「さわってはいけない」という情報を、インピーダンスを通じてリアルタイムに提示する。そうすることによって、通常は視覚で識別し、脳内で危険領域という判断を下し、そこに接触しないように自分の体を制御するという、情報処理の過程を外部に委託することが可能になる。
【０００８】
この場合、注意しなければいけないことは、行動の主体はあくまで人間であるという点である。医療の例に限ったものではないが、人間の動作を強制的に、設計者が想定したとおりに制限することが目的なのではなく、あくまで「情報」を「インピーダンス」を通じて提供し、人間の情報処理の負担を軽減させることが目的なのである。
【０００９】
その実現に必要な要素としては、１．通常の道具としての機能、２．リアルタイム計測機構、３．リアルタイム提示機構の3つである。この3つを兼ね備えた道具が必要になる。そのような道具のことを「スマートツール（Smart Tool）」と呼ぶことにする。従来は頭を経由していた情報の流れを、このスマートツールを利用することにより、環境と道具そして手というループを構成し、人間の負担を軽減させることが可能になる。つまり、「道具」が情報を「知って」、それを道具固有の方法により人間に伝達するのである。
【００１０】
本発明は上記観点からなされたもので、情報をインピーダンスとして人間に提示することができるセンサとツールと情報提示装置が一体となったスマートツールを提供することを目的とする。
【００１１】
スマートツールはAR（Augmented Reality 拡張現実感）の新しい技術である。
スマートツール技術はリアルタイムの感知装置や触感提示装置から構成されている。センサが動的に変化する実環境を感知し、その情報を利用者に触感として提示する。すなわち、スマートツールによってリアルタイムで実環境の動きの情報を「触る」ことが可能になる。
【００１２】
例えば、手術のように実時間で変化する環境を計測し、実時間でその情報を作業者に提示することで作業者を支援するためのスマートツールを提供することを目的とする。
【００１３】
例えば、二つの異なる液体の間の界面を「触る」ことができるスマートツールを提供することを目的とする。
【００１４】
【課題を解決するための手段】
この発明は、ツールの環境に関する触覚以外の情報を触感情報として前記ツールの利用者に提示するスマートツールであって、
ツールと、前記ツールの周囲の環境を検出するセンサと、前記センサからの出力に基づいて前記ツールの環境の情報を得る環境情報計測部と、得られた環境情報を触感に変換する環境情報−触感変換部と、変換された触感を前記ツールに伝える触感提示部とを備えるものである。
【００１５】
好ましくは、前記センサは、光センサ、電気センサ、磁界センサ、温度センサ及び圧力センサのうちの少なくともいずれかであり、
前記環境情報は、光散乱強度、色彩、界面までの距離、電気抵抗、電界強度、磁界の強さ、温度、圧力、振動、音及び硬さのうちの少なくともいずれかであり、
前記触感は人間が触覚を通じて感じる情報であって、ツールを操作する人間の力に逆らうような反力、ツール自身の振動、ツール自体の発熱、電流による電気的ショックのうちの少なくともいずれかである。
【００１６】
好ましくは、さらに、予め前記ツールが動くべき最適な軌道、速度及び／又はツールに加えられる力の大きさを記憶する記憶部と、前記ツールの軌道、速度及び／又はツールに加えられる力の大きさを測定する測定部と、前記測定部の測定結果を前記記憶部の記憶内容と比較し、これらの差を求めるとともに、求められた差を触感に変換する処理部とを備える。
【００１７】
この発明は、ツールの先端近傍の視覚的情報を触覚情報として前記ツールの利用者に提示するスマートツールであって、
ツールと、前記ツールの先端部近傍の対象物の反射光を受ける受光素子と、前記受光素子の出力に基づき前記ツールの先端部近傍の対象物の輝度及び／又は色彩を判定する判定部と、前記判定部の出力に基づき前記ツールに加える反力を計算する反力計算部と、前記反力計算部の出力に基づき前記ツールに反力を加える触感提示部とを備えるものである。
【００１８】
この発明は、ツール周囲の液体界面の情報を触覚情報として前記ツールの利用者に提示するスマートツールであって、
ツールと、前記ツールの先端に取り付けられた第1電極と、液体内に置かれた第２電極と、第１電極と第２電極を通して流れる電流値を測定する電流計と、前記電流計により測定された電流値に基づき電気抵抗を判定する判定部と、得られた電気抵抗に基づき反力を計算する反力計算部と、前記反力計算部の出力に基づき前記ツールに反力を加える触感提示部とを備えるものである。
【００１９】
この発明は、ツール周囲の液体界面の情報を触覚情報として前記ツールの利用者に提示するスマートツールであって、
ツールと、前記ツールの先端に取り付けられた第1電極及び第２電極と、第１電極と第２電極を通して流れる電流値を測定する電流計と、前記電流計により測定された電流値に基づき電気抵抗を判定する判定部と、得られた電気抵抗に基づき反力を計算する反力計算部と、前記反力計算部の出力に基づき前記ツールに反力を加える触感提示部とを備えるものである。
【００２０】
この発明は、遠方の対象物の表面の情報を触覚情報としてツールの利用者に提示するスマートツールであって、
物体までの距離を測定する距離計と、距離の変化を検出する距離変化検出部と、検出された距離変化を触感に変換する変換部と、前記変換部の出力に基づき触感を与える触感提示部とを備えるものである。
【００２１】
この発明は、遠方の対象物の表面の情報を触覚情報としてツールの利用者に提示するスマートツールであって、
対象物の表面からの反射光を受光する受光部と、前記受光部の受光強度に基づき前記表面の状態を検出する検出部と、検出された表面状態を触感に変換する変換部と、前記変換部の出力に基づき触感を与える触感提示部とを備えるものである。
【００２２】
この発明は、遠方の対象物の情報を触覚情報としてツールの利用者に提示するスマートツールであって、
近傍に存在する物体に関する情報を検出する近接センサと、検出された物体に関する情報を触感に変換する変換部と、前記変換部の出力に基づき触感を与える触感提示部とを備えるものである。
【００２３】
好ましくは、さらに、対象物の表面にレーザ光線を照射するレーザポインタを備える。
【００２４】
好ましくは、前記触感提示部は、バイブレータである。
【００２５】
好ましくは、前記触感提示部は、凸凹を触覚で提示するピンアレイタイプのディスプレイである。
【００２６】
好ましくは、前記触感提示部は、少なくとも一つのおもりを備え、前記おもりの運動の変化で触感を提示する慣性方式のアクチュエータである。
【００２７】
この発明は、
操作者がツールを操作するステップと、
前記ツールの周囲の環境を計測して触覚以外の環境情報を取得するステップと、
前記環境情報に基づき前記ツールに加えるべき触感を計算するステップと、
計算された触感を前記ツールに加えるステップとを備えるスマートツールの触感生成方法である。
【００２８】
【発明の実施の形態】
発明の実施の形態１．
図１にこの発明の実施の形態に係るスマートツールの概念を示す。
図１において、１は人間が操作する道具（以下、ツール）、２はツール（特にその先端）の環境を検出するセンサ、３はセンサ２からの出力に基づいてツール１の環境の情報を得る環境情報計測部、４は得られた環境情報を触感（力覚）に変換する環境情報−触感（力覚）変換部、５は触感（力覚）をツール１に伝える触感（力覚）提示装置である。
【００２９】
センサ２は、対象物に対して作用するツール１の部分の近傍に取り付けられる。例えば、ツール１が棒状のものでその先端で対象物に触れる場合、センサ２はその先端に設けられる。センサ２で得られる情報は触覚以外の情報である。つまり、本スマートツールは触覚以外の情報を触覚を通じてツールの使用者にフィードバックするものである。触感とは、人間が触覚を通じて感じる情報である。本スマートツールにより提示される触感は、ツールを操作する人間の力に逆らうような反力、ツール自身の振動、ツール自体の発熱、電流（電気ショック）、ツール自身が撓むような触感（反力と人間が力をかける方向と交差する力）などを含む。
【００３０】
人はツールから得られる手応え、つまり力覚を視覚や聴覚と同等の情報源として利用してきた。本スマートツールは、特定の作業を行う際に利用されるツールにセンサを搭載し、センサから得られた情報を積極的に力覚情報として作業者に提示することを目的とするものである。
【００３１】
次に、図２を参照して本発明の実施の形態１の動作について説明する。
【００３２】
Ｓ１：操作者がツール１を操作する。例えば、ツール１が手術用のメスであれば、ツール１を対象物に穿刺したり、あるいは対象物を切開したりする。
【００３３】
Ｓ２：ツール１の先端の環境を計測するセンサ２により環境情報を計測する。センサ２の例とこれにより計測される環境情報の例を示す。
光センサ（発光ダイオードと光検出器の組み合わせ）：光散乱強度、色彩、界面までの距離、電気センサ（電流計、電圧計）：電気抵抗、電界強度、磁界センサ：磁界の強さ、温度センサ（熱電対）：温度、圧力センサ：圧力、振動、音、硬さ
【００３４】
Ｓ３：環境情報に基づきツール１に加えるべき触感（反力）を計算する。
例えば次のようである。
・光散乱強度が変化したとき、反力を発生
・色彩が変化したとき反力を発生
・界面までの距離が短くなったら反力発生。反力の大きさは距離に反比例
図３（ａ）に示すように、センサ１からの出力（あるいはこの出力から計算されるパラメータ）が所定のしきい値を超えたとき、一定の大きさの反力を発生させることが考えられる。しきい値の部分は、例えば界面に対応する。あるいは、図３（ｂ）に示すように、センサ１からの出力が所定のしきい値に近づくにつれて大きくなる反力を発生させることが考えられる。例えば、界面までの距離に反比例する反力を発生させる。図３（ｂ）の点線で示すように、反力の大きさに上限を設けてもよい。
【００３５】
Ｓ４：計算された触感（反力）をツール１に加えるように触感（力覚）提示装置５を駆動する。
例えば、モータでアクチュエータ（メス）を引っ張ることにより、ツールを操作する人間の力に逆らうような反力を与える。モータで錘を回転させることにより、ツール自身に振動を与える。ツール内のヒータに通電することにより、ツール自体を発熱させる。ツールに微弱な電流を流す。反力と人間が力をかける方向と交差する力をツールに加え、ツール自身が撓むような触感を与える。
【００３６】
Ｓ５：ツールに触感（反力）が加えられる。
【００３７】
本スマートツールは、センサ、ツール、アクチュエータが一体化されていて、ツールの情報をセンサ、アクチュエータでツールに直接フィードバックする点を特徴とする。
【００３８】
本スマートツールの利点は次のようなものである。
1）従来に使われてきたツールそのもの、あるいはそれと同等のツールを利用することで操作者の既存のスキルがほぼそのまま活用可能である点。
2）ツールに実時間環境計測センサを搭載することにより、動的に変化する実環境下でも利用可能である点。
3）ツールを力覚提示装置に搭載することで力覚を通じた直感的な情報提示が可能である点。
4）ツールの周囲の環境情報を収集するとともに、ツールそのものを通じて力覚を提示するので、収集した情報の環境の位置と制御すべきツールの位置が一致し、わかりやすい。さもないと、両者の座標を一致させるべく座標変換処理が必要になる。
【００３９】
発明の実施の形態２．
発明の実施の形態２は、実時間手術支援を目的とするスマートツールである。
このスマートツールに用いられるツールはメスである。このスマートツールを用いて人体の切開を行う際、動脈など人体内部の重要組繊を危険領域として予め設定し、それら組織とツール先端との位置関係を実時間で計測し、その情報が力覚を通じて操作者に対して提示される。
【００４０】
図４は発明の実施の形態２に係るスマートツールを示す。
１１はツールであるメス、１２はメス１１の先端部近傍の対象物（人体）の反射光を受光素子１３に導く光ファイバ、１３はフォトトランジスタなどの受光素子、１４は光ファイバ１２により導かれた光に基づきメス１１の先端部近傍の対称物の輝度あるいは色彩を判定する輝度（色彩）判定部、１５は前記輝度（色彩）判定部１４の出力に基づきメス１１に加える反力を計算する反力計算部１５、１６は反力計算部１５の出力に基づきモータ１７を駆動するモータ駆動回路、１７はワイヤ１８を引っ張ってメス１１に反力を与えるモータ、１８はモータ１７の駆動力をメス１１に伝達するワイヤ、１９はメス１１のケース、２０は発光素子を駆動する回路、２１は発光ダイオードなどの発光素子、２２は発光素子からの光をメス１１の先端部近傍に導く光ファイバ、である。本スマートツールにおいて、機構的に設定された危険領域からの斥力しか発生させられない構造になっている。本スマートツールは、図２及び図３に示すような動作を行う。例えば、メス１１の先端部分が重要器官を傷つけそうになったら、モータ１７により制動力を発生させ、インピーダンス情報として人間に危険領域を知らせるとともに、重要器官を傷つけないようにメス１１を止めるというものである。
【００４１】
センサ１２、１３、２１、２２に対して求められることは、１．リアルタイム性、２．省スペース（ツールに組み込むため）の2点である。本発明の実施の形態２において、精度や分解能はそれほど高くなくてもかまわない。
【００４２】
本スマートツールの詳しい動作について図５を参照して説明する。対象物を実際の人体ではなくゆで卵を用い、ゆで卵を人体に見立て、その黄身を人体内部の重要組織として危険領域に設定した。図５において、Ｗはゆで卵の白身、Ｙはゆで卵の黄身である。
【００４３】
本スマートツールに力Ｆをかけてゆで卵内部にメス１１を侵入させる（図５（ａ））。さらにメス１１を侵入させると、黄身Ｙの直前でモータ１７とワイヤ１８からなるアクチュエータによる制動が行われる（図５（ｂ）のＲ）。したがって、メス１１は黄身Ｙに侵入することなく、その手前で止まる。より正確には、メス１１の操作者がその先端が侵入禁止領域に達したことを知ってそれ以上の侵入を行わない。
【００４４】
図５（ａ）のように、操作者が設定された危険領域Ｙから充分離れている領域Ｗでツール動かした場合には力覚提示装置は負荷を生成しない。しかし、図５（ｂ）のように、ツール１１に搭載された実時間センサ１３がツールと設定された危険領域Ｙが近づいたことを検出すると、予め設定された条件に従って力覚提示装置１７、１８より負荷を生成し、作業者に対して危険領域との距離関係を力覚という直感的な手段で提示する。生成する負荷として危険領域からの斥力を利用した場合、情報提示と同時に実効的効果としてツールが危険領域内部に侵入し重要組織を傷つける恐れが少ないという利点がある。
【００４５】
本スマートツールは、ツールの先端が危険領域に達した場合にインピーダンスを通じてそのことを操作者に提示するので、メスの先端で重要器官を傷つけることがない。
【００４６】
本スマートツールは、メス１１に代えて、針やハサミをツールとして用いる場合にも適用できる。
【００４７】
発明の実施の形態２の変形例．
上記発明の実施の形態２のスマートツールは、ツールと所定の領域の間の距離などの１次元情報を求め、これに基づきツールに対して１次元の制御を行うものであった。この制御をさらに進めて、予めツールが動くべき最適な軌道、速度及び／又は力の大きさを設定し、実際のツールの軌道、速度及び／又は力の大きさと最適なものとの差を求め、これに基づきツールに対して触感（力覚）を提示するようにしてもよい。
これは純粋に物理モデルに基づいて「最適」な軌道、速度、力の大きさを生成し、その上で人間に対して提示をするというものである。
【００４８】
発明の実施の形態３．
発明の実施の形態３のスマートツールは、二つの液体の界面を「触る」ためのインタフェースとして使用されるものである。通常は、誰も液体の間の界面を感じることができない。それは、液体だからである。しかし、このツールを使用することによって、スマートツール技術に基づいて、ツールのセンサが二つの液体の界面を感知し、その情報を触感を通じて利用者に対して提示する。利用者は、このツールを用いて二つの液体の界面上で何かを書くこともできる。
【００４９】
図６に本スマートツールの構成を示す。
３０は水ＷＡと油Ｏの中に侵入するとともに、使用者に界面を感知させるための棒、３１は棒３０の先端に取り付けられた電極、３２は水ＷＡ内に置かれた電極、３３は電極３１と３２を通して流れる電流値を測定する電流計、３４は電流値から電気抵抗を判定する判定部、３５は電気抵抗に基づき反力を計算する反力計算部、３６は反力計算部３５の出力に基づきモータ３７を駆動するモータ駆動回路、３７はワイヤ３８を介して棒３０に反力を加えるモータ、である。
本スマートツールは、発明の実施の形態１及び２で説明した動作を行う。
【００５０】
図６の装置において、図示しない利用者は、ツール３０を手に持つ。利用者がツールを油層から水層に移動させた場合、電極３１、３２の間を電流が流れ，これを電流計３３、電気抵抗判定部３４で判定し、この判定結果に基づき反力を計算してモータ３７で棒３０に反力を与える。したがって、利用者は水ＷＡと油Ｏの境目において、固い界面を感じることができる。
【００５１】
なお、このスマートツール技術を使って利用者が界面上に線を書くことができることを示す。最初に、ツール上のセンサが、油と、フェノールフタレインを含む水との間の界面を検出する。センサは電極を有し電解を起こすことができる。
利用者が極弱い力でツールを動かした場合、ツールは界面を突き通らないため利用者は何も書くことができない。しかし、もう少し力を入れれば、電極は水の層に突きぬけ、電解を起こす。電解によって酸性度が変化しフェノールフタレインが赤色に変わる。
【００５２】
上記において、界面を「触る」ことができるスマートツールについて説明してきた。これによって、油層と水層の間の界面の固さが変えられる。しかし、システムのアルゴリズムを変えるだけで、環境の固さのみならず、粘性、その他物理的要素を変えることができる。
【００５３】
発明の実施の形態３の変形例
上記発明の実施の形態３において、液体中に一本の電極３２をいれて、もう一本の電極３１をツール３０側につけるという構成になっていた。これに代えて、図７に示すように、ツール３０側に２本の電極３１，３２を取り付けるようにしてもよい。
【００５４】
図７のように構成することにより、液体中に電極３１，３２が侵入したときのその長さと電極３１，３２間の抵抗値が比較的きれいな比例関係を保つため、液体中への侵入長さをセンサにより計測する際に非常に都合がよい。
【００５５】
液体中の２本の電極３１，３２間の抵抗値は、液体中の電極の長さ及びこれらの間の距離に対応して定まる。抵抗値は、例えば液体中の電極の長さに概ね反比例し、距離に概ね比例すると近似することができる。そのため、図６の場合、電極３１、３２の液体中への侵入量だけでなく、電極３１，３２間距離にも応じて抵抗値が変化するためセンサの値から電極の液体中への侵入量を判断するのが比較的むずかしくなる。それに対して図７の場合、電極３１，３２間の距離は一定に保つことができる、すなわち、センサの出力に影響を及ぼす要素が一つになるので、侵入量だけに応じた抵抗値を比較的正確に計測することが可能になる。
【００５６】
発明の実施の形態４．
発明の実施の形態４のスマートツールは、遠方の物体の表面の状態を知るためのインタフェースとして使用されるものである。
【００５７】
図８に本スマートツールの構成を示す。
４０は遠方の物体の表面に細いレーザ光線を照射するレーザポインタ、４１はレーザ光線が照射されている部分までの距離を測定する距離計、４２は距離の変化を検出する距離変化検出部、４３は距離変化を触感に変換する距離変化−触感変換部、４４はレーザポインタ４０を振動させるバイブレータ（ボイスコイル）、である。距離計４１は、レーザポインタ４０からレーザ光線による光点までの距離を測定する。距離測定は、例えば、レーザ光線が反射されて戻るまでの時間を計測することにより行われる。
【００５８】
本スマートツールにおいて、利用者がレーザポインタ４０をもち、これを所定の対象物に向けて動かしていくと、そこまでの距離が変化する。この距離変化が所定値以上のとき、距離変化−触感変換部４３がバイブレータ４４の駆動信号を生成する。すると、レーザポインタ４０がぶるぶると振動して、あたかも棒で表面をなぞったときのような感触が利用者の手に伝わる。
【００５９】
なお、距離変化に代えて、表面状態（粗さ）を散乱強度で測定し、これに基づき触感を生成してもよい。
【００６０】
あるいは、距離計４１に代えて近接センサを用い、ツールの近傍に障害物等が接近したときにツールに振動を与えるようにしてもよい。近接センサとして、電波や超音波を放射してその反射波を受信するものを適用できる。
なお、レーザポインタ４０は必須の要素ではなく、これを備えなくてもよい。
【００６１】
本発明の実施の形態は、例えば盲人の方の支援ツールに応用できる。本スマートツールを盲人用の杖に組み込むことにより、階段、段差などの通路の凹凸を振動で知ることができる。また、杖の両端に距離計及び／又は近接センサを設けることにより、通路面ばかりでなく高い位置にある障害物の有無を知らせることもできる。
【００６２】
発明の実施の形態４の変形例１．
前記バイブレータ４４に代えて、凸凹を触覚で提示することができるピンアレイタイプのディスプレイを用いてもよい。ピンアレイタイプのディスプレイは、ピンをたくさん敷き詰めたもので、そのピン一本一本を上下させることで触覚で形状を表現するものである。この場合、アクチュエータを利用してピンを動かすことになる。このようなたくさんのピンを小型のデバイスで動かす為には、いわゆる点字ディスプレイなどに使われているデバイスを利用できる。
【００６３】
近接センサなどで路面の凹凸の形状を知ることができれば、その形状をピンアレイタイプのディスプレイで利用者に知らせることができる。
【００６４】
発明の実施の形態４の変形例２．
前記バイブレータ４４に代えて、慣性方式のアクチュエータを備えてもよい。
このアクチュエータは、少なくとも一つのおもりを備え、凸凹の方向に応じておもりを急激に動かし、その運動の変化で凹凸を利用者に知らせるものである。
【００６５】
このアクチュエータにおいて、おもりは普段は停止していて、凸凹を提示するときにおもりを急激に動かす。おもりが棒状のツールの内部を移動するものとすれば、重りは前後方向に動かすことが可能なので、２種類の刺激が可能になる。あるいは、実際に重りをツールの先端と後端にぶつけることで２方向の衝撃を提示するようにしてもよい。
【００６６】
本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【００６７】
また、本明細書において、手段とは必ずしも物理的手段を意味するものではなく、各手段の機能が、ソフトウェアによって実現される場合も包含する。さらに、一つの手段の機能が、二つ以上の物理的手段により実現されても、若しくは、二つ以上の手段の機能が、一つの物理的手段により実現されてもよい。
【図面の簡単な説明】
【図１】 発明の実施の形態１に係るスマートツールの構成図である。
【図２】 発明の実施の形態１の動作フローチャートである。
【図３】 発明の実施の形態１の動作説明図である。
【図４】 発明の実施の形態２に係るスマートツールの構成図である。
【図５】 発明の実施の形態２の動作説明図である。
【図６】 発明の実施の形態３に係るスマートツールの構成図である。
【図７】 発明の実施の形態３の変形例に係るスマートツールの構成図である。
【図８】 発明の実施の形態４に係るスマートツールの構成図である。
【符号の説明】
１ ツール
２ センサ
３ 環境情報計測部
４ 環境情報−触感（力覚）変換部
５ 触感（力覚）提示装置
１１ メス
１２ 光ファイバ
１３ 受光素子
１４ 輝度（色彩）判定部
１５ 反力計算部
１６ モータ駆動回路
１７ モータ
１８ ワイヤ
１９ ケース
２０ 発光素子駆動回路
２１ 発光素子
２２ 光ファイバ
３０ 棒
３１、３２ 電極
３３ 電流計
３４ 電気抵抗判定部
３５ 反力計算部
３６ モータ駆動回路
３７ モータ
３８ ワイヤ
４０ レーザポインタ
４１ 距離計
４２ 距離変化検出部
４３ 距離変化−触感変換部
４４ バイブレータ
【発明の属する技術分野】
この発明は、触覚以外の情報を触覚情報として提示することにより情報の可触化を実現する、センサとツールと情報提示装置が一体となったスマートツール及びその触感生成方法に関する。
【０００２】
【従来の技術】
現在、触覚（ここでは「力覚」を意味する。以下同様）提示に関する技術が一般社会で頻繁に利用されるようになってきており、そのアプリケーションに関する研究も数多くなされている。これらの研究の方向は依然として「現実感の高い触覚提示」、つまり「現実世界の物体に接触したのと区別が付かないような触覚提示」を目標としたものが多い。このような現実感の高い触覚提示は、医療分野などのシミュレーションや、あるいはゲームなどエンターテイメントの分野では必要であると考えられるが、その一方で触覚の複雑さ故に本当の意味で現実感の高い、いうなれば万能の触覚提示装置というものは実現していない。それゆえ一般社会における触覚提示技術の応用を考えた場合には、完全な触覚提示ではなく現実世界との融合という側面から考えていくべきであろう。
【０００３】
ここで触覚提示およびバーチャルリアリティの原点に返って考えてみると、次のようなことが言える。
１．触覚とは接触に際して得られる対象物体の「インピーダンス情報」であり、それを提示するための手法が「触覚提示」である。
２．「Virtual Reality」は言い換えれば「Essence of Reality」である。ある日的に関して本質的な「情報」であれば人間に対して提示しなければならない。
３．「Augmented Reality」は「Reality」の枠からはずれるが、必要な「情報」を人に対して提示するという点は変わらない。しかし一般にそれは視覚に頼りすぎている。
【０００４】
【発明が解決しようとする課題】
従来の触覚提示では、バーチャル物体に対して適切なインピーダンスを設定することにより触覚情報の提示を行っている。そしてそのインピーダンスに載せている「情報」は「接触する対象物体のインピーダンス」に関する情報である。この情報を完全に再現しようとすることが従来の「Haptic Reality」の流れなのだが、ここでインピーダンスに載せる情報を対象のインピーダンスではなく、それ以外の必要な情報を載せることを考える。これが触覚のARである。これは「情報の可触化」である。つまり触覚以外の情報を触覚情報として提示するのである。
【０００５】
このこと、つまりAugmented Haptics on Informationについて説明する。従来は、道具に付属のあるいはその周囲にあるセンサが環境の情報を取得し、その情報を視覚的あるいは音響的な方法で人間に提示し、人間はそれを元に頭の中で処理を実行していた。そうではなく、情報を触覚（インピーダンス情報）を通じて提示するということを考える。
【０００６】
現在あるその端的な例としては、火災報知器のボタンカバーがある。つまり、この種のカバーは基本的には誤動作を防ぐためにつけられているのだが、別の言い方をすれば、極大のインピーダンスにより、「普段はこのボタンをおしてはいけない」という情報を提示しているのである。このような手段を用いることによって、人間の情報処理の負担およびそこから生じるミスを減少させることが可能になると考えられる。この場合は「押してはいけない」という情報を、インピーダンスを通じて提示している。
【０００７】
先に挙げた例ではインピーダンスを実際の物体を利用して提示していたが、別の例として医療において、手術の時などに接触してはいけないような危険領域の情報を、インピーダンスを通じて提示するというものについて考えてみる。メスや針など手術用の危険な道具が、患者の体内の生命に関わるような臓器を傷つけないように医者は手を動かすが、実際にはそのような危険領域は動的に変化してしまう。そのように動的に変化する危険領域をリアルタイムに計測し、「さわってはいけない」という情報を、インピーダンスを通じてリアルタイムに提示する。そうすることによって、通常は視覚で識別し、脳内で危険領域という判断を下し、そこに接触しないように自分の体を制御するという、情報処理の過程を外部に委託することが可能になる。
【０００８】
この場合、注意しなければいけないことは、行動の主体はあくまで人間であるという点である。医療の例に限ったものではないが、人間の動作を強制的に、設計者が想定したとおりに制限することが目的なのではなく、あくまで「情報」を「インピーダンス」を通じて提供し、人間の情報処理の負担を軽減させることが目的なのである。
【０００９】
その実現に必要な要素としては、１．通常の道具としての機能、２．リアルタイム計測機構、３．リアルタイム提示機構の3つである。この3つを兼ね備えた道具が必要になる。そのような道具のことを「スマートツール（Smart Tool）」と呼ぶことにする。従来は頭を経由していた情報の流れを、このスマートツールを利用することにより、環境と道具そして手というループを構成し、人間の負担を軽減させることが可能になる。つまり、「道具」が情報を「知って」、それを道具固有の方法により人間に伝達するのである。
【００１０】
本発明は上記観点からなされたもので、情報をインピーダンスとして人間に提示することができるセンサとツールと情報提示装置が一体となったスマートツールを提供することを目的とする。
【００１１】
スマートツールはAR（Augmented Reality 拡張現実感）の新しい技術である。
スマートツール技術はリアルタイムの感知装置や触感提示装置から構成されている。センサが動的に変化する実環境を感知し、その情報を利用者に触感として提示する。すなわち、スマートツールによってリアルタイムで実環境の動きの情報を「触る」ことが可能になる。
【００１２】
例えば、手術のように実時間で変化する環境を計測し、実時間でその情報を作業者に提示することで作業者を支援するためのスマートツールを提供することを目的とする。
【００１３】
例えば、二つの異なる液体の間の界面を「触る」ことができるスマートツールを提供することを目的とする。
【００１４】
【課題を解決するための手段】
この発明は、ツールの環境に関する触覚以外の情報を触感情報として前記ツールの利用者に提示するスマートツールであって、
ツールと、前記ツールの周囲の環境を検出するセンサと、前記センサからの出力に基づいて前記ツールの環境の情報を得る環境情報計測部と、得られた環境情報を触感に変換する環境情報−触感変換部と、変換された触感を前記ツールに伝える触感提示部とを備えるものである。
【００１５】
好ましくは、前記センサは、光センサ、電気センサ、磁界センサ、温度センサ及び圧力センサのうちの少なくともいずれかであり、
前記環境情報は、光散乱強度、色彩、界面までの距離、電気抵抗、電界強度、磁界の強さ、温度、圧力、振動、音及び硬さのうちの少なくともいずれかであり、
前記触感は人間が触覚を通じて感じる情報であって、ツールを操作する人間の力に逆らうような反力、ツール自身の振動、ツール自体の発熱、電流による電気的ショックのうちの少なくともいずれかである。
【００１６】
好ましくは、さらに、予め前記ツールが動くべき最適な軌道、速度及び／又はツールに加えられる力の大きさを記憶する記憶部と、前記ツールの軌道、速度及び／又はツールに加えられる力の大きさを測定する測定部と、前記測定部の測定結果を前記記憶部の記憶内容と比較し、これらの差を求めるとともに、求められた差を触感に変換する処理部とを備える。
【００１７】
この発明は、ツールの先端近傍の視覚的情報を触覚情報として前記ツールの利用者に提示するスマートツールであって、
ツールと、前記ツールの先端部近傍の対象物の反射光を受ける受光素子と、前記受光素子の出力に基づき前記ツールの先端部近傍の対象物の輝度及び／又は色彩を判定する判定部と、前記判定部の出力に基づき前記ツールに加える反力を計算する反力計算部と、前記反力計算部の出力に基づき前記ツールに反力を加える触感提示部とを備えるものである。
【００１８】
この発明は、ツール周囲の液体界面の情報を触覚情報として前記ツールの利用者に提示するスマートツールであって、
ツールと、前記ツールの先端に取り付けられた第1電極と、液体内に置かれた第２電極と、第１電極と第２電極を通して流れる電流値を測定する電流計と、前記電流計により測定された電流値に基づき電気抵抗を判定する判定部と、得られた電気抵抗に基づき反力を計算する反力計算部と、前記反力計算部の出力に基づき前記ツールに反力を加える触感提示部とを備えるものである。
【００１９】
この発明は、ツール周囲の液体界面の情報を触覚情報として前記ツールの利用者に提示するスマートツールであって、
ツールと、前記ツールの先端に取り付けられた第1電極及び第２電極と、第１電極と第２電極を通して流れる電流値を測定する電流計と、前記電流計により測定された電流値に基づき電気抵抗を判定する判定部と、得られた電気抵抗に基づき反力を計算する反力計算部と、前記反力計算部の出力に基づき前記ツールに反力を加える触感提示部とを備えるものである。
【００２０】
この発明は、遠方の対象物の表面の情報を触覚情報としてツールの利用者に提示するスマートツールであって、
物体までの距離を測定する距離計と、距離の変化を検出する距離変化検出部と、検出された距離変化を触感に変換する変換部と、前記変換部の出力に基づき触感を与える触感提示部とを備えるものである。
【００２１】
この発明は、遠方の対象物の表面の情報を触覚情報としてツールの利用者に提示するスマートツールであって、
対象物の表面からの反射光を受光する受光部と、前記受光部の受光強度に基づき前記表面の状態を検出する検出部と、検出された表面状態を触感に変換する変換部と、前記変換部の出力に基づき触感を与える触感提示部とを備えるものである。
【００２２】
この発明は、遠方の対象物の情報を触覚情報としてツールの利用者に提示するスマートツールであって、
近傍に存在する物体に関する情報を検出する近接センサと、検出された物体に関する情報を触感に変換する変換部と、前記変換部の出力に基づき触感を与える触感提示部とを備えるものである。
【００２３】
好ましくは、さらに、対象物の表面にレーザ光線を照射するレーザポインタを備える。
【００２４】
好ましくは、前記触感提示部は、バイブレータである。
【００２５】
好ましくは、前記触感提示部は、凸凹を触覚で提示するピンアレイタイプのディスプレイである。
【００２６】
好ましくは、前記触感提示部は、少なくとも一つのおもりを備え、前記おもりの運動の変化で触感を提示する慣性方式のアクチュエータである。
【００２７】
この発明は、
操作者がツールを操作するステップと、
前記ツールの周囲の環境を計測して触覚以外の環境情報を取得するステップと、
前記環境情報に基づき前記ツールに加えるべき触感を計算するステップと、
計算された触感を前記ツールに加えるステップとを備えるスマートツールの触感生成方法である。
【００２８】
【発明の実施の形態】
発明の実施の形態１．
図１にこの発明の実施の形態に係るスマートツールの概念を示す。
図１において、１は人間が操作する道具（以下、ツール）、２はツール（特にその先端）の環境を検出するセンサ、３はセンサ２からの出力に基づいてツール１の環境の情報を得る環境情報計測部、４は得られた環境情報を触感（力覚）に変換する環境情報−触感（力覚）変換部、５は触感（力覚）をツール１に伝える触感（力覚）提示装置である。
【００２９】
センサ２は、対象物に対して作用するツール１の部分の近傍に取り付けられる。例えば、ツール１が棒状のものでその先端で対象物に触れる場合、センサ２はその先端に設けられる。センサ２で得られる情報は触覚以外の情報である。つまり、本スマートツールは触覚以外の情報を触覚を通じてツールの使用者にフィードバックするものである。触感とは、人間が触覚を通じて感じる情報である。本スマートツールにより提示される触感は、ツールを操作する人間の力に逆らうような反力、ツール自身の振動、ツール自体の発熱、電流（電気ショック）、ツール自身が撓むような触感（反力と人間が力をかける方向と交差する力）などを含む。
【００３０】
人はツールから得られる手応え、つまり力覚を視覚や聴覚と同等の情報源として利用してきた。本スマートツールは、特定の作業を行う際に利用されるツールにセンサを搭載し、センサから得られた情報を積極的に力覚情報として作業者に提示することを目的とするものである。
【００３１】
次に、図２を参照して本発明の実施の形態１の動作について説明する。
【００３２】
Ｓ１：操作者がツール１を操作する。例えば、ツール１が手術用のメスであれば、ツール１を対象物に穿刺したり、あるいは対象物を切開したりする。
【００３３】
Ｓ２：ツール１の先端の環境を計測するセンサ２により環境情報を計測する。センサ２の例とこれにより計測される環境情報の例を示す。
光センサ（発光ダイオードと光検出器の組み合わせ）：光散乱強度、色彩、界面までの距離、電気センサ（電流計、電圧計）：電気抵抗、電界強度、磁界センサ：磁界の強さ、温度センサ（熱電対）：温度、圧力センサ：圧力、振動、音、硬さ
【００３４】
Ｓ３：環境情報に基づきツール１に加えるべき触感（反力）を計算する。
例えば次のようである。
・光散乱強度が変化したとき、反力を発生
・色彩が変化したとき反力を発生
・界面までの距離が短くなったら反力発生。反力の大きさは距離に反比例
図３（ａ）に示すように、センサ１からの出力（あるいはこの出力から計算されるパラメータ）が所定のしきい値を超えたとき、一定の大きさの反力を発生させることが考えられる。しきい値の部分は、例えば界面に対応する。あるいは、図３（ｂ）に示すように、センサ１からの出力が所定のしきい値に近づくにつれて大きくなる反力を発生させることが考えられる。例えば、界面までの距離に反比例する反力を発生させる。図３（ｂ）の点線で示すように、反力の大きさに上限を設けてもよい。
【００３５】
Ｓ４：計算された触感（反力）をツール１に加えるように触感（力覚）提示装置５を駆動する。
例えば、モータでアクチュエータ（メス）を引っ張ることにより、ツールを操作する人間の力に逆らうような反力を与える。モータで錘を回転させることにより、ツール自身に振動を与える。ツール内のヒータに通電することにより、ツール自体を発熱させる。ツールに微弱な電流を流す。反力と人間が力をかける方向と交差する力をツールに加え、ツール自身が撓むような触感を与える。
【００３６】
Ｓ５：ツールに触感（反力）が加えられる。
【００３７】
本スマートツールは、センサ、ツール、アクチュエータが一体化されていて、ツールの情報をセンサ、アクチュエータでツールに直接フィードバックする点を特徴とする。
【００３８】
本スマートツールの利点は次のようなものである。
1）従来に使われてきたツールそのもの、あるいはそれと同等のツールを利用することで操作者の既存のスキルがほぼそのまま活用可能である点。
2）ツールに実時間環境計測センサを搭載することにより、動的に変化する実環境下でも利用可能である点。
3）ツールを力覚提示装置に搭載することで力覚を通じた直感的な情報提示が可能である点。
4）ツールの周囲の環境情報を収集するとともに、ツールそのものを通じて力覚を提示するので、収集した情報の環境の位置と制御すべきツールの位置が一致し、わかりやすい。さもないと、両者の座標を一致させるべく座標変換処理が必要になる。
【００３９】
発明の実施の形態２．
発明の実施の形態２は、実時間手術支援を目的とするスマートツールである。
このスマートツールに用いられるツールはメスである。このスマートツールを用いて人体の切開を行う際、動脈など人体内部の重要組繊を危険領域として予め設定し、それら組織とツール先端との位置関係を実時間で計測し、その情報が力覚を通じて操作者に対して提示される。
【００４０】
図４は発明の実施の形態２に係るスマートツールを示す。
１１はツールであるメス、１２はメス１１の先端部近傍の対象物（人体）の反射光を受光素子１３に導く光ファイバ、１３はフォトトランジスタなどの受光素子、１４は光ファイバ１２により導かれた光に基づきメス１１の先端部近傍の対称物の輝度あるいは色彩を判定する輝度（色彩）判定部、１５は前記輝度（色彩）判定部１４の出力に基づきメス１１に加える反力を計算する反力計算部１５、１６は反力計算部１５の出力に基づきモータ１７を駆動するモータ駆動回路、１７はワイヤ１８を引っ張ってメス１１に反力を与えるモータ、１８はモータ１７の駆動力をメス１１に伝達するワイヤ、１９はメス１１のケース、２０は発光素子を駆動する回路、２１は発光ダイオードなどの発光素子、２２は発光素子からの光をメス１１の先端部近傍に導く光ファイバ、である。本スマートツールにおいて、機構的に設定された危険領域からの斥力しか発生させられない構造になっている。本スマートツールは、図２及び図３に示すような動作を行う。例えば、メス１１の先端部分が重要器官を傷つけそうになったら、モータ１７により制動力を発生させ、インピーダンス情報として人間に危険領域を知らせるとともに、重要器官を傷つけないようにメス１１を止めるというものである。
【００４１】
センサ１２、１３、２１、２２に対して求められることは、１．リアルタイム性、２．省スペース（ツールに組み込むため）の2点である。本発明の実施の形態２において、精度や分解能はそれほど高くなくてもかまわない。
【００４２】
本スマートツールの詳しい動作について図５を参照して説明する。対象物を実際の人体ではなくゆで卵を用い、ゆで卵を人体に見立て、その黄身を人体内部の重要組織として危険領域に設定した。図５において、Ｗはゆで卵の白身、Ｙはゆで卵の黄身である。
【００４３】
本スマートツールに力Ｆをかけてゆで卵内部にメス１１を侵入させる（図５（ａ））。さらにメス１１を侵入させると、黄身Ｙの直前でモータ１７とワイヤ１８からなるアクチュエータによる制動が行われる（図５（ｂ）のＲ）。したがって、メス１１は黄身Ｙに侵入することなく、その手前で止まる。より正確には、メス１１の操作者がその先端が侵入禁止領域に達したことを知ってそれ以上の侵入を行わない。
【００４４】
図５（ａ）のように、操作者が設定された危険領域Ｙから充分離れている領域Ｗでツール動かした場合には力覚提示装置は負荷を生成しない。しかし、図５（ｂ）のように、ツール１１に搭載された実時間センサ１３がツールと設定された危険領域Ｙが近づいたことを検出すると、予め設定された条件に従って力覚提示装置１７、１８より負荷を生成し、作業者に対して危険領域との距離関係を力覚という直感的な手段で提示する。生成する負荷として危険領域からの斥力を利用した場合、情報提示と同時に実効的効果としてツールが危険領域内部に侵入し重要組織を傷つける恐れが少ないという利点がある。
【００４５】
本スマートツールは、ツールの先端が危険領域に達した場合にインピーダンスを通じてそのことを操作者に提示するので、メスの先端で重要器官を傷つけることがない。
【００４６】
本スマートツールは、メス１１に代えて、針やハサミをツールとして用いる場合にも適用できる。
【００４７】
発明の実施の形態２の変形例．
上記発明の実施の形態２のスマートツールは、ツールと所定の領域の間の距離などの１次元情報を求め、これに基づきツールに対して１次元の制御を行うものであった。この制御をさらに進めて、予めツールが動くべき最適な軌道、速度及び／又は力の大きさを設定し、実際のツールの軌道、速度及び／又は力の大きさと最適なものとの差を求め、これに基づきツールに対して触感（力覚）を提示するようにしてもよい。
これは純粋に物理モデルに基づいて「最適」な軌道、速度、力の大きさを生成し、その上で人間に対して提示をするというものである。
【００４８】
発明の実施の形態３．
発明の実施の形態３のスマートツールは、二つの液体の界面を「触る」ためのインタフェースとして使用されるものである。通常は、誰も液体の間の界面を感じることができない。それは、液体だからである。しかし、このツールを使用することによって、スマートツール技術に基づいて、ツールのセンサが二つの液体の界面を感知し、その情報を触感を通じて利用者に対して提示する。利用者は、このツールを用いて二つの液体の界面上で何かを書くこともできる。
【００４９】
図６に本スマートツールの構成を示す。
３０は水ＷＡと油Ｏの中に侵入するとともに、使用者に界面を感知させるための棒、３１は棒３０の先端に取り付けられた電極、３２は水ＷＡ内に置かれた電極、３３は電極３１と３２を通して流れる電流値を測定する電流計、３４は電流値から電気抵抗を判定する判定部、３５は電気抵抗に基づき反力を計算する反力計算部、３６は反力計算部３５の出力に基づきモータ３７を駆動するモータ駆動回路、３７はワイヤ３８を介して棒３０に反力を加えるモータ、である。
本スマートツールは、発明の実施の形態１及び２で説明した動作を行う。
【００５０】
図６の装置において、図示しない利用者は、ツール３０を手に持つ。利用者がツールを油層から水層に移動させた場合、電極３１、３２の間を電流が流れ，これを電流計３３、電気抵抗判定部３４で判定し、この判定結果に基づき反力を計算してモータ３７で棒３０に反力を与える。したがって、利用者は水ＷＡと油Ｏの境目において、固い界面を感じることができる。
【００５１】
なお、このスマートツール技術を使って利用者が界面上に線を書くことができることを示す。最初に、ツール上のセンサが、油と、フェノールフタレインを含む水との間の界面を検出する。センサは電極を有し電解を起こすことができる。
利用者が極弱い力でツールを動かした場合、ツールは界面を突き通らないため利用者は何も書くことができない。しかし、もう少し力を入れれば、電極は水の層に突きぬけ、電解を起こす。電解によって酸性度が変化しフェノールフタレインが赤色に変わる。
【００５２】
上記において、界面を「触る」ことができるスマートツールについて説明してきた。これによって、油層と水層の間の界面の固さが変えられる。しかし、システムのアルゴリズムを変えるだけで、環境の固さのみならず、粘性、その他物理的要素を変えることができる。
【００５３】
発明の実施の形態３の変形例
上記発明の実施の形態３において、液体中に一本の電極３２をいれて、もう一本の電極３１をツール３０側につけるという構成になっていた。これに代えて、図７に示すように、ツール３０側に２本の電極３１，３２を取り付けるようにしてもよい。
【００５４】
図７のように構成することにより、液体中に電極３１，３２が侵入したときのその長さと電極３１，３２間の抵抗値が比較的きれいな比例関係を保つため、液体中への侵入長さをセンサにより計測する際に非常に都合がよい。
【００５５】
液体中の２本の電極３１，３２間の抵抗値は、液体中の電極の長さ及びこれらの間の距離に対応して定まる。抵抗値は、例えば液体中の電極の長さに概ね反比例し、距離に概ね比例すると近似することができる。そのため、図６の場合、電極３１、３２の液体中への侵入量だけでなく、電極３１，３２間距離にも応じて抵抗値が変化するためセンサの値から電極の液体中への侵入量を判断するのが比較的むずかしくなる。それに対して図７の場合、電極３１，３２間の距離は一定に保つことができる、すなわち、センサの出力に影響を及ぼす要素が一つになるので、侵入量だけに応じた抵抗値を比較的正確に計測することが可能になる。
【００５６】
発明の実施の形態４．
発明の実施の形態４のスマートツールは、遠方の物体の表面の状態を知るためのインタフェースとして使用されるものである。
【００５７】
図８に本スマートツールの構成を示す。
４０は遠方の物体の表面に細いレーザ光線を照射するレーザポインタ、４１はレーザ光線が照射されている部分までの距離を測定する距離計、４２は距離の変化を検出する距離変化検出部、４３は距離変化を触感に変換する距離変化−触感変換部、４４はレーザポインタ４０を振動させるバイブレータ（ボイスコイル）、である。距離計４１は、レーザポインタ４０からレーザ光線による光点までの距離を測定する。距離測定は、例えば、レーザ光線が反射されて戻るまでの時間を計測することにより行われる。
【００５８】
本スマートツールにおいて、利用者がレーザポインタ４０をもち、これを所定の対象物に向けて動かしていくと、そこまでの距離が変化する。この距離変化が所定値以上のとき、距離変化−触感変換部４３がバイブレータ４４の駆動信号を生成する。すると、レーザポインタ４０がぶるぶると振動して、あたかも棒で表面をなぞったときのような感触が利用者の手に伝わる。
【００５９】
なお、距離変化に代えて、表面状態（粗さ）を散乱強度で測定し、これに基づき触感を生成してもよい。
【００６０】
あるいは、距離計４１に代えて近接センサを用い、ツールの近傍に障害物等が接近したときにツールに振動を与えるようにしてもよい。近接センサとして、電波や超音波を放射してその反射波を受信するものを適用できる。
なお、レーザポインタ４０は必須の要素ではなく、これを備えなくてもよい。
【００６１】
本発明の実施の形態は、例えば盲人の方の支援ツールに応用できる。本スマートツールを盲人用の杖に組み込むことにより、階段、段差などの通路の凹凸を振動で知ることができる。また、杖の両端に距離計及び／又は近接センサを設けることにより、通路面ばかりでなく高い位置にある障害物の有無を知らせることもできる。
【００６２】
発明の実施の形態４の変形例１．
前記バイブレータ４４に代えて、凸凹を触覚で提示することができるピンアレイタイプのディスプレイを用いてもよい。ピンアレイタイプのディスプレイは、ピンをたくさん敷き詰めたもので、そのピン一本一本を上下させることで触覚で形状を表現するものである。この場合、アクチュエータを利用してピンを動かすことになる。このようなたくさんのピンを小型のデバイスで動かす為には、いわゆる点字ディスプレイなどに使われているデバイスを利用できる。
【００６３】
近接センサなどで路面の凹凸の形状を知ることができれば、その形状をピンアレイタイプのディスプレイで利用者に知らせることができる。
【００６４】
発明の実施の形態４の変形例２．
前記バイブレータ４４に代えて、慣性方式のアクチュエータを備えてもよい。
このアクチュエータは、少なくとも一つのおもりを備え、凸凹の方向に応じておもりを急激に動かし、その運動の変化で凹凸を利用者に知らせるものである。
【００６５】
このアクチュエータにおいて、おもりは普段は停止していて、凸凹を提示するときにおもりを急激に動かす。おもりが棒状のツールの内部を移動するものとすれば、重りは前後方向に動かすことが可能なので、２種類の刺激が可能になる。あるいは、実際に重りをツールの先端と後端にぶつけることで２方向の衝撃を提示するようにしてもよい。
【００６６】
本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【００６７】
また、本明細書において、手段とは必ずしも物理的手段を意味するものではなく、各手段の機能が、ソフトウェアによって実現される場合も包含する。さらに、一つの手段の機能が、二つ以上の物理的手段により実現されても、若しくは、二つ以上の手段の機能が、一つの物理的手段により実現されてもよい。
【図面の簡単な説明】
【図１】 発明の実施の形態１に係るスマートツールの構成図である。
【図２】 発明の実施の形態１の動作フローチャートである。
【図３】 発明の実施の形態１の動作説明図である。
【図４】 発明の実施の形態２に係るスマートツールの構成図である。
【図５】 発明の実施の形態２の動作説明図である。
【図６】 発明の実施の形態３に係るスマートツールの構成図である。
【図７】 発明の実施の形態３の変形例に係るスマートツールの構成図である。
【図８】 発明の実施の形態４に係るスマートツールの構成図である。
【符号の説明】
１ ツール
２ センサ
３ 環境情報計測部
４ 環境情報−触感（力覚）変換部
５ 触感（力覚）提示装置
１１ メス
１２ 光ファイバ
１３ 受光素子
１４ 輝度（色彩）判定部
１５ 反力計算部
１６ モータ駆動回路
１７ モータ
１８ ワイヤ
１９ ケース
２０ 発光素子駆動回路
２１ 発光素子
２２ 光ファイバ
３０ 棒
３１、３２ 電極
３３ 電流計
３４ 電気抵抗判定部
３５ 反力計算部
３６ モータ駆動回路
３７ モータ
３８ ワイヤ
４０ レーザポインタ
４１ 距離計
４２ 距離変化検出部
４３ 距離変化−触感変換部
４４ バイブレータ
Claims (5)
- ツールの先端近傍の視覚的情報を触覚情報として前記ツールの利用者に提示するスマートツールであって、
先端で対象物に触れるものであるメスなどの棒状のツールと、
発光素子と、
前記発光素子からの光を前記棒状のツールの先端部近傍の前記対象物に導く第１光ファイバと、
受光素子と、
前記ツールの前記先端部近傍の前記対象物からの反射光を前記受光素子に導く第２光ファイバと、
前記受光素子の出力に基づき前記ツールの先端部近傍の対象物の輝度及び／又は色彩を判定する判定部と、
前記判定部の出力に基づき前記ツールに加える反力を計算する反力計算部と、
前記反力計算部の出力に基づき前記ツールに反力を加える触感提示部とを備え、
前記第１光ファイバの先端から出て前記ツールの前記先端部近傍の前記対象物で反射された光が前記第２光ファイバの先端に入るように、前記第１光ファイバと前記第２光ファイバの先端が前記棒状のツールの前記先端部近傍に向けられていることを特徴とするスマートツール。 - 前記反力計算部は、前記対象物の光散乱強度が変化したときに反力を発生し、又は、前記対象物の色彩が変化したとき反力を発生することを特徴とする請求項１記載のスマートツール。
- さらに、予め前記ツールが動くべき最適な軌道、速度及び／又はツールに加えられる力の大きさを記憶する記憶部と、前記ツールの軌道、速度及び／又はツールに加えられる力の大きさを測定する測定部と、前記測定部の測定結果を前記記憶部の記憶内容と比較し、これらの差を求めるとともに、求められた差を反力に変換する処理部とを備えることを特徴とする請求項１記載のスマートツール。
- ツール周囲の液体界面の情報を触覚情報として前記ツールの利用者に提示するスマートツールであって、
ツールと、前記ツールの先端に取り付けられた第1電極と、液体内に置かれた第２電極と、第１電極と第２電極を通して流れる電流値を測定する電流計と、前記電流計により測定された電流値に基づき電気抵抗を判定する判定部と、得られた電気抵抗に基づき反力を計算する反力計算部と、前記反力計算部の出力に基づき前記ツールに反力を加える触感提示部とを備えるスマートツール。 - ツール周囲の液体界面の情報を触覚情報として前記ツールの利用者に提示するスマートツールであって、
ツールと、前記ツールの先端に取り付けられた第1電極及び第２電極と、第１電極と第２電極を通して流れる電流値を測定する電流計と、前記電流計により測定された電流値に基づき電気抵抗を判定する判定部と、得られた電気抵抗に基づき反力を計算する反力計算部と、前記反力計算部の出力に基づき前記ツールに反力を加える触感提示部とを備えるスマートツール。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001240127A JP4660679B2 (ja) | 2001-08-08 | 2001-08-08 | スマートツール |
| US10/213,087 US20030057973A1 (en) | 2001-08-08 | 2002-08-07 | Smart-tool and method of generating haptic sensation thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001240127A JP4660679B2 (ja) | 2001-08-08 | 2001-08-08 | スマートツール |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003048182A JP2003048182A (ja) | 2003-02-18 |
| JP4660679B2 true JP4660679B2 (ja) | 2011-03-30 |
Family
ID=19070786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001240127A Expired - Fee Related JP4660679B2 (ja) | 2001-08-08 | 2001-08-08 | スマートツール |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20030057973A1 (ja) |
| JP (1) | JP4660679B2 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10248924A1 (de) * | 2002-10-17 | 2004-04-29 | C. & E. Fein Gmbh & Co Kg | Elektrowerkzeug |
| US20050230605A1 (en) * | 2004-04-20 | 2005-10-20 | Hamid Pishdadian | Method of measuring using a binary optical sensor |
| US20060207978A1 (en) * | 2004-10-28 | 2006-09-21 | Rizun Peter R | Tactile feedback laser system |
| CA2520942C (en) * | 2005-09-23 | 2013-03-19 | Queen's University At Kingston | Tactile amplification instrument and method of use |
| JP4821478B2 (ja) * | 2006-07-25 | 2011-11-24 | ヤマハ株式会社 | 楽音制御装置 |
| US20110046659A1 (en) * | 2007-07-09 | 2011-02-24 | Immersion Corporation | Minimally Invasive Surgical Tools With Haptic Feedback |
| US8350843B2 (en) * | 2008-03-13 | 2013-01-08 | International Business Machines Corporation | Virtual hand: a new 3-D haptic interface and system for virtual environments |
| US8203529B2 (en) * | 2008-03-13 | 2012-06-19 | International Business Machines Corporation | Tactile input/output device and system to represent and manipulate computer-generated surfaces |
| US9679499B2 (en) * | 2008-09-15 | 2017-06-13 | Immersion Medical, Inc. | Systems and methods for sensing hand motion by measuring remote displacement |
| US20100137845A1 (en) * | 2008-12-03 | 2010-06-03 | Immersion Corporation | Tool Having Multiple Feedback Devices |
| JP5549979B2 (ja) * | 2010-06-23 | 2014-07-16 | 国立大学法人大阪大学 | 空間透明型触覚提示装置および道具操作支援システム |
| EP2417925B1 (en) | 2010-08-12 | 2016-12-07 | Immersion Corporation | Electrosurgical tool having tactile feedback |
| US8523043B2 (en) | 2010-12-07 | 2013-09-03 | Immersion Corporation | Surgical stapler having haptic feedback |
| US8801710B2 (en) | 2010-12-07 | 2014-08-12 | Immersion Corporation | Electrosurgical sealing tool having haptic feedback |
| JP2012228736A (ja) * | 2011-04-25 | 2012-11-22 | Kobe Steel Ltd | オフライン教示データ作成方法、及びオフライン教示データ作成システム |
| US8845667B2 (en) | 2011-07-18 | 2014-09-30 | Immersion Corporation | Surgical tool having a programmable rotary module for providing haptic feedback |
| JP5939536B2 (ja) * | 2012-05-25 | 2016-06-22 | 国立大学法人九州工業大学 | ウェットボックス及びそれを用いた低侵襲手術用トレーニング装置 |
| US9492343B1 (en) * | 2013-05-07 | 2016-11-15 | Christ G. Ellis | Guided movement |
| US9770382B1 (en) * | 2013-05-07 | 2017-09-26 | Christ G. Ellis | Guided movement |
| WO2015011698A1 (en) * | 2013-07-24 | 2015-01-29 | Valiber Ltd. | Methods and systems for communicating a sensation |
| US20180356233A1 (en) * | 2017-06-13 | 2018-12-13 | Boutros Baqain | Intelligent navigation assistance device |
| JP7415389B2 (ja) * | 2019-09-18 | 2024-01-17 | 株式会社デンソーウェーブ | ロボットの故障診断装置 |
| CN111091746B (zh) * | 2020-01-09 | 2021-07-23 | 军事科学院系统工程研究院卫勤保障技术研究所 | 腹腔开放手术模拟训练评估系统 |
| EP4185854A1 (en) * | 2020-07-24 | 2023-05-31 | TA Instruments-Waters LLC | Haptic feedback for configuring materials testing systems |
| EP4036524A1 (en) * | 2021-01-29 | 2022-08-03 | SC Dotlumen SRL | A computer-implemented method, wearable device, computer program and computer readable medium for assisting the movement of a visually impaired user |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6281142U (ja) * | 1985-10-31 | 1987-05-23 | ||
| JPH0889538A (ja) * | 1994-09-22 | 1996-04-09 | Aritake Mizuno | 視覚障害者用杖 |
| JPH11161813A (ja) * | 1997-12-01 | 1999-06-18 | Olympus Optical Co Ltd | 手術シミュレーション装置 |
| JP2001061860A (ja) * | 1999-08-31 | 2001-03-13 | Hitachi Ltd | 治療装置 |
| JP2001075705A (ja) * | 1999-08-31 | 2001-03-23 | Toshiba Corp | 触覚を利用した方向提示装置及びその方法 |
| JP2001202590A (ja) * | 2000-01-21 | 2001-07-27 | Sanyo Electric Co Ltd | 視覚障害者用誘導装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6448977B1 (en) * | 1997-11-14 | 2002-09-10 | Immersion Corporation | Textures and other spatial sensations for a relative haptic interface device |
| US6496200B1 (en) * | 1999-11-02 | 2002-12-17 | Interval Research Corp. | Flexible variation of haptic interface resolution |
| US6671651B2 (en) * | 2002-04-26 | 2003-12-30 | Sensable Technologies, Inc. | 3-D selection and manipulation with a multiple dimension haptic interface |
-
2001
- 2001-08-08 JP JP2001240127A patent/JP4660679B2/ja not_active Expired - Fee Related
-
2002
- 2002-08-07 US US10/213,087 patent/US20030057973A1/en not_active Abandoned
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6281142U (ja) * | 1985-10-31 | 1987-05-23 | ||
| JPH0889538A (ja) * | 1994-09-22 | 1996-04-09 | Aritake Mizuno | 視覚障害者用杖 |
| JPH11161813A (ja) * | 1997-12-01 | 1999-06-18 | Olympus Optical Co Ltd | 手術シミュレーション装置 |
| JP2001061860A (ja) * | 1999-08-31 | 2001-03-13 | Hitachi Ltd | 治療装置 |
| JP2001075705A (ja) * | 1999-08-31 | 2001-03-23 | Toshiba Corp | 触覚を利用した方向提示装置及びその方法 |
| JP2001202590A (ja) * | 2000-01-21 | 2001-07-27 | Sanyo Electric Co Ltd | 視覚障害者用誘導装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003048182A (ja) | 2003-02-18 |
| US20030057973A1 (en) | 2003-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4660679B2 (ja) | スマートツール | |
| JP6444302B2 (ja) | 超音波誘導治療のためのヒューマンインターフェースおよびデバイス | |
| US10357322B2 (en) | System and method for controlling a remote medical device guidance system in three-dimensions using gestures | |
| CN107405156B (zh) | 用于演示对解剖体的计划自主操纵的系统和方法 | |
| CN104605928B (zh) | 用于在基于导管的消融治疗中控制损伤尺寸的系统 | |
| JP6273144B2 (ja) | 位置決定装置 | |
| JP5436886B2 (ja) | 仮想タッチスクリーンを備えた位置特定システム | |
| CN102448400B (zh) | 可视化设备 | |
| JP2013052046A (ja) | 触力覚的情報提示装置 | |
| US20160320930A1 (en) | User interface devices for electrophysiology lab diagnostic and therapeutic equipment | |
| US9483122B2 (en) | Optical shape sensing device and gesture control | |
| JP5288447B2 (ja) | 手術支援システム、接近状態検出装置及びそのプログラム | |
| US20150309575A1 (en) | Stereo interactive method, display device, operating stick and system | |
| CN217310576U (zh) | 用于辅助医疗部件在患者体内推进的引导系统 | |
| JP7282495B2 (ja) | 選択されたｅｃｇチャネルの対話型表示 | |
| US20210307861A1 (en) | Communication of detected tissue characterization in a surgical robotic platform | |
| US20160109960A1 (en) | Gesture Feedback for Non-Sterile Medical Displays | |
| Fichera et al. | Kinesthetic and vibrotactile haptic feedback improves the performance of laser microsurgery | |
| KR20130113775A (ko) | 초음파 프로브 및 초음파 진단 시스템 | |
| JP2023511272A (ja) | ナビゲーション支援手術中にオフセットをモニタするシステム及び方法 | |
| JP2016154603A (ja) | 手術ロボット鉗子の力帰還装置、手術ロボットシステムおよびプログラム | |
| JP7292396B2 (ja) | 想定される手動で移動可能な消費者製品の使用を評価するためのシステム | |
| WO2020121536A1 (ja) | ユーザインタフェース装置、医療システム、操作制御方法、及び操作制御プログラム | |
| JP2013517815A (ja) | 生体組織の処置をシミュレーションするためのシミュレータ及び方法 | |
| JP2020014778A (ja) | 測定装置、及びそれを備えたトイレ室用棚ユニット |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080801 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101022 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101124 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101129 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140114 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |