JP4818072B2 - 力覚提示装置及び複合現実感システム - Google Patents

Description

本発明はユーザインタフェース技術に関し、特に、仮想現実感（Virtual Reality）や複合現実感（Mixed Reality）の分野において、視覚提示だけでなく力覚を提示させるユーザインターフェース技術に関する。

触覚提示装置の一種として、人の深部感覚に刺激を与えて力覚を提示させる力覚提示装置が知られている。

力覚提示装置の代表的な例として、ロボットアームの先のスタイラスペンを把持させ、ロボットアームのモータで出力の制御をすることによってスタイラスペンを把持する手に力覚を提示させるものが知られている（非特許文献１参照）。また、ボールや指サックから数本の糸を伸ばし、その糸の張力を制御することによってボールを把持している手、あるいは指サックに挿入している指に力覚を提示させるものが知られている（非特許文献２参照）。他には磁気浮上しているフロータ上部にハンドルを設け、そのハンドルを把持させ、ステータとフロータ間の磁力を制御してハンドルを把持している手に力覚を提示させるものが知られている（非特許文献３参照）。さらに、人の手の位置をＬＥＤで測定し、人の手がオブジェクトに近付いたことを検知してロボットアームに取り付けられた板を遭遇させるもの（非特許文献４参照）が知られている。これらはすべて接地型（Ground Based）の力覚提示装置である。

それに対して、接地点を体に持たせたBody Based型の力覚提示装置として、外骨格（エグゾスケルトン）型と呼ばれるものが知られている（特許文献１参照）。この外骨格型力覚提示装置は手首を力覚提示の支持点として固定する。そして、外骨格に沿ってワイヤなど駆動媒体を配置し、それを駆動することによって、指先に仮想物体を把持したときの力覚を提示させる。

その他、外骨格型ではないがBody Based型の構成が知られている（特許文献２参照）。これは、力覚提示部を把持させ、手首に固定した固定部と、力覚提示部と固定部との間にリンク機構を設け、固定部に設けたアクチュエータでリンク機構を介して力覚提示部を把持する手に力覚を提示させるものである。

この構成について、図１８を参照して説明する。図１８は、特許文献２に開示された従来例の構成を示す図である。このBody Based型の力覚提示装置は、力覚を提示させる把持部３００をユーザに把持させ、手首から固定する支持部２００を設けている。そして、把持部３００と支持部２００との間にワイヤからなる四本の可変長連結部４００を設け、支持部２００を基準に把持部３００を押し引き、回転駆動させ、把持した手に力覚を提示させる。さらに、可変長連結部４００の長さを計測することで把持部３００の位置を算出し、仮想オブジェクトに対する干渉判定と、その侵入深度や速度を算出する。ここで算出した侵入深度や速度に基づき提示力を求め、可変長連結部４００を駆動する。また、ユーザに把持させる把持部３００を現実環境で使用する道具（バット、ゴルフクラブ、テニスラケットなど）のグリップを模し、仮想環境において、仮想オブジェクト（ボール）を打つときの力覚を提示させるアプリケーションも示されている。

また、力覚提示部を把持させ、把持した手に力覚を提示させる構成が知られている（非特許文献５、特許文献３参照）。図１７はこの従来例の構成を示す図である。図１７において、１０００は人が握る把持部であり、筒状となっている。１１００は回転同軸上に二枚の偏心回転子である。図１７の下図は偏心回転子１１００の位相関係を示している。左下図は二枚の偏心回転子１１００の位相を揃え、同じ方向に回転させ、把持部１０００を把持した手に振動を提示させる構成を示している。中下図は二枚の偏心回転子１１００の位相を１８０°に固定し、同じ方向に回転させる構成を示している。偏心回転子１１００が回転するとき、偏心回転子それぞれの回転角速度に応じて、把持した手にトルクを提示することができる。右下図は偏心回転子１１００の回転方向を逆転させ、加速と減速を制御することによって、力覚を提示することができる構成を示している。
T. M. Massie, J. K. Salisbury, "The PHANTOM Haptic Interface : A Device for Probing Virtual Objects", ASME Haptic Interface for Virtual Environment and Teleoperator Systems 1994, In Dynamic Systems and Control, Vol.1, pp.295-301. 佐藤 誠、平田 幸広、河原田 弘：空間インターフェース装置SPIDARの提案, 電子情報通信学会論文誌 D-II Vol.J74-D-II、No.7、pp.887-894, 1991年7月. P. J. Berkelman, Z. J. Butler, and R. L. Hollis, "Design of Hemispherical Magnetic Levitation Haptic Interface Device", 1996 ASME International Mechanical Engineering Congress and Exposition, Atlanta, Nov. 1996, DSC-Vol.58, pp.483-488. Y. Yokokohji, R. L. Hollis, and T. Kanade, "What You can See Is What You can Feel -Development of a Visual / Haptic Interface to Virtual Environment- ", In Proceedings of 1996 IEEE Virtual Reality Annual International Symposium (VRAIS'96), pp.46-53 (1996). N. Nakamura, Y. Fukui," Development of a Force and Torque Hybrid Display "GyroCubeStick"", world HAPTICS 2005, Pisa, Italy, March 18-20, 2005, pp.633-634. 米国特許第５１８４３１９号公報 特開２００２−３０４２４６号公報 特開２００５−１９０４６５号公報

しかしながら、上記従来の技術では以下の課題があった。即ち、従来技術の内、非特許文献１〜４に開示された構成のように、接地型（Ground Based）の力覚提示装置は人の体以外の場所に力覚提示の支持点や力覚提示のための提示機構を設けるため、操作領域が限定され、その狭さが課題となる。そして、ロボットアームや糸と、人との干渉も現実感を損なわせる課題となっている。

外骨格型の力覚提示装置等の、Body Based型の力覚提示装置は体の一部に支持点となる固定部を持たせるため、Ground based型で課題とした操作領域の狭さを解決できる。しかしながら力覚を提示するための支持点を手首など人体に設けているため、着脱がわずらわしく、装着時に違和感を感じてしまう。

図１８を参照して説明した力覚提示装置はユーザに把持させる把持部を現実環境で使用する道具（バット、ゴルフクラブ、テニスラケットなど）のグリップを模すことで、現実の道具を把持している感覚を提示させることができる。さらに、支持部も手首の一箇所なので、着脱時のわずらわしさを軽減できている。その反面、支持部を手首にしか設けていないため、力覚を提示するために作用した力の反作用力が手首に集中しやすく、それに伴い違和感が大きくなるという課題がある。また、両手で作業するようなタスクには可変長連結部（ワイヤ）が妨げとなり、支持部を装着していない方の手で把持部を把持することができない。すなわち、両手で作業するようなタスクに対する力覚提示は不向きである。

図１７を用いて説明した力覚提示装置は、Ground Based型の力覚提示装置の課題である操作領域の狭さを解決することができ、Body Based型の力覚提示装置の課題である着脱時のわずらわしさや装着時の違和感も解決できる。しかしながら、図１７の方式においては、提示できる力覚は、人間の感覚特性や錯覚を利用したものであり、実際の力の発生は断続的である。そのため、振動感が知覚されてしまい、現実感を損なわせてしまう。さらに、知覚できる力覚は小さなものである。また、連続的に使用しているとユーザの慣れによって力覚の知覚がさらに弱まってしまう。

本発明は上記課題に鑑みなされたものであり、仮想空間における操作性を向上しつつ、ユーザに適切な力覚を提示することが可能な技術を提供することを目的とする。

また、本発明は、操作範囲が広く、着脱の煩わしさや装着時の違和感のない、連続的に力覚を提示することが可能な技術を提供することを目的とする。

上記目的を達成するため、本発明による力覚提示装置は以下の構成を備える。即ち、
仮想空間において使用されるデバイスの力覚をユーザに提示する力覚提示装置であって、
前記ユーザにより把持される固定部と、
前記ユーザに対して力覚を提示するための力覚提示部と、
駆動力を前記力覚提示部に供給し、前記力覚提示部を前記固定部に対して相対動作させることにより、前記ユーザに対して力覚を提示するアクチュエータと、
前記固定部と前記力覚提示部との間に設けられ、前記力覚提示部の前記相対動作を案内する関節部と、
前記アクチュエータによる前記力覚提示部の前記相対動作を制御する力覚レンダリング部と、
を備え、
前記力覚レンダリング部は、前記仮想空間における前記力覚提示装置の位置姿勢に基づいて前記力覚提示部の前記相対動作を制御する。

また、本発明による複合現実感システムは以下の構成を備える。即ち、
仮想空間において使用されるデバイス力覚をユーザに提示する力覚提示装置と、情報処理装置と、表示装置と、を備える複合現実感システムであって、
前記力覚提示装置は、
ユーザにより把持される固定部と、
前記ユーザに対して力覚を提示するための力覚提示部と、
駆動力を前記力覚提示部に供給し、前記力覚提示部を前記固定部に対して相対動作させることにより、前記ユーザに対して力覚を提示するアクチュエータと、
前記固定部と前記力覚提示部との間に設けられ、前記力覚提示部の前記相対動作を案内する関節部と、
を備え、
前記アクチュエータによる前記力覚提示部の前記相対動作を制御する力覚レンダリング部と、
前記仮想空間における仮想物体と前記力覚提示装置との前記仮想空間における相対的な位置姿勢を計測する計測手段と、
前記計測手段において計測された前記位置姿勢に基づいて、前記仮想物体と前記力覚提示装置の前記仮想空間における位置姿勢とを示す画像を、前記表示手段に出力する画像出力手段と、
を備え、
前記力覚レンダリング部は、前記計測手段において計測された前記位置姿勢に基づいて前記力覚提示部の前記相対動作を制御する。

本発明によれば、仮想空間における操作性を向上しつつ、ユーザに適切な力覚を提示することが可能な技術を提供することができる。

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

＜＜第１の実施形態＞＞
本実施形態はユーザインターフェースに関し、特に、仮想現実感や複合現実感の分野において、視覚提示だけでなく力覚を提示させるユーザインターフェースを付加することにより、現実感を向上させた機器およびシステムに関する。本実施形態では、特に、仮想現実感や複合現実感のアプリケーションの一例として、作業検証を想定する。この作業検証は、設計した工業製品や装置などを仮想物体として視覚的に表示させ、組立やメンテナンスが容易か否か判断するために、触覚を提示させて現実感を高めるものである。工業製品や装置の組立やメンテナンスではその内部の狭い空間に手が入るか、あるいは治工具を挿入して組立やメンテナンスなど作業ができるかといった検証が必要となる。本実施形態は、このような作業検証に用いることができるユーザインターフェースおよびシステムについて説明する。

ただし、本実施形態に係る構成の用途は、これだけに限定されない。例えば、後述するように、本実施形態に係る力覚提示装置をユーザが持ち歩く状況において、力覚提示装置を把持しているユーザの手に、ユーザの位置情報に基づいて力覚を提示することによって、主に盲人のための歩行ナビゲーションを実現することができる。

（トルクと反力）
仮想現実感や複合現実感で工業製品や装置などの作業検証を行うとき、仮想的に表示した製品内部に治工具を挿入して組立やメンテナンスなどの作業ができるか検証することについて、図１を用いて説明する。図１は仮想現実感や複合現実感によって、仮想物体の画像を表示し、さらに仮想工具を把持した手（仮想把持モデル）を表示したイメージ図である。一例として、仮想物体Ａの中にある仮想ボルトを工具で締めることを想定する。この場合、仮想物体の画像表示だけでは仮想物体Ａと仮想物体Ｂの幅の狭さが作業性にどの程度影響するかを把握することが難しい。しかしながら、仮想工具を用いて実際にボルト締めの操作を模擬的に行えば作業性の評価検証を行うことができる。さらに、仮想工具に力覚の提示機能を持たせることで、工具が入るかどうか、ボルト締めの操作が可能な空間があるかどうかを、より正確に検証することができる。後述するように、本実施形態に係る構成は、工具を使用する際の操作感を提示できることが大きな特徴である。

手に力覚を提示する際、実物体と実工具との接触では図２で示すようなトルクや力が発生する。図２は、実物体と実工具との干渉によりトルクが発生する様子を模式的に示す図である。以下、本実施形態に係る力覚提示装置の機能について、実工具使用時のトルク、反力の発生と比較しながら説明する。

図２(a)のように、実際の工具を把持し、その工具が実物体に偏当たりした場合は、把持した手を回転中心に工具を回す方向にトルクが発生する。トルクの大きさは、手を侵入させたときの力と、干渉位置から回転中心の距離を乗じた値となる。図２(b)のように、実際の工具を把持し、その工具と平行に実物体と干渉すると、手の侵入方向に対して反力が発生する。

図２を補足するため、図３と図４を参照してさらに説明する。図３は、工具が物体に偏当たりしてトルクが発生する様子を模式的に示す図である。図４は、工具が物体に平行に干渉した場合に反力が発生する様子を模式的に示す図である。なお、図３と図４では把持している手を図示していない。

図３(a)は、図２(a)のように、実物体に実工具が偏当たりしてトルクが発生する状況を模式的に示している。図３(a)において、実線は把持している実工具の干渉前の状態を示しており、破線はトルクが発生した状態を示したものである。本実施形態に係る力覚提示装置１を用いることで、同様の力覚を提示することが可能である。即ち、図３(b)で示す力覚提示装置１を破線で示す方向へ駆動させることで、トルクを提示し、把持した手に同様の力覚を知覚させることができる。

また、図４(a)は、図２(b)のように、工具が物体に平行に干渉して反力が発生する様子を模式的に示している。図４(a)において、実線は把持している実工具の干渉前の状態を示しており、反力の発生を矢印で示してある。本実施形態に係る力覚提示装置１を用いれば、把持した手が知覚する力覚は、図４(b)で示すように、破線で示す方向へ駆動させ、トルク提示することによって、同様に知覚することができる。

（力覚提示装置）
次に、図３(b)および図４(b)で模式的に説明した本実施形態に係る力覚提示装置１の構成について、図５を用いて説明する。図５は、本実施形態に係る力覚提示装置１の構成を模式的に示す図である。

図５において、２は、ユーザ（操作者）が手で把持するときに基準とする固定部である。３は力覚提示部であり、図３(b)や図４(b)で説明したトルク発生時に、実際に把持した手に、その力覚を提示するものである。４は関節であり、固定部２と力覚提示部３との間に設けられ、力覚提示部３の駆動方向を案内する。関節４にはガイドや軸受け、ヒンジ、リンク機構を用いることが有効である。５は固定部２に対して力覚提示部３を駆動するアクチュエータであり、固定部２または力覚提示部３の少なくともいずれか一方に内蔵されていることが好ましい。図６と図７に示されるように、本実施形態では、アクチュエータ５は固定部２に内蔵されることを前提とするが、これに限定されない。例えば、固定部２や力覚提示部３の外側にアクチュエータ５を設け、そのアクチュエータ５の駆動をリンク機構やギアのような機械要素を介して案内することによって、力覚提示装置１を駆動させても良い。

ユーザはこの力覚提示装置１に対して、点線で示す領域、即ち、固定部２を基準に関節４と、少なくとも力覚提示部３の一部の領域を把持する。ユーザがこのように力覚提示装置１を把持した場合、図３(b)や図４(b)のように駆動させるだけで把持した掌に力覚を知覚させることができる。したがって、エグゾスケルトン型力覚提示装置のような装着や着脱のわずらわしさがなく、さらに装着時の違和感もなくすことができる。そしてさらに、アクチュエータ５を駆動させておけば、把持した掌の皮膚がひずみ、神経を刺激し続けることができるため、連続的に強い力覚を知覚させることが可能となる。なお、図３(b)は固定部２中心の点対称に、図４(b)は固定部２中心の左右対称となる場合を例示したが、いずれも左右対称に限定されない。

（アクチュエータ）
次に、アクチュエータ５について詳しく説明する。力覚提示装置１の固定部２と力覚提示部３を相対的に駆動させるアクチュエータ５は、油空圧のシリンダや、ソレノイド、形状記憶合金、各種モータ、高分子アクチュエータなどを用いれば良い。

一例として、力覚提示の駆動力としてエアシリンダを用いる場合について図６を用いて説明する。図６は、エアシリンダを用いて構成された力覚提示装置１を模式的に示す図である。ただし、図６の力覚提示装置１は、説明をわかりやすくするため、図５の固定部２から左側のみを示している。

アクチュエータ５は、エアシリンダ５０１を固定部２の内部に内蔵する。エアシリンダ５０１の先端は力覚提示部３の一部に接触してこれを動作させる。また、ヒンジ４０１により構成される関節４は、駆動方向が拘束される。エアシリンダ５０１を複動式とすると、駆動用のエアラインは二本必要であり、それぞれエアシリンダの応答性を調整するためのスピードコントローラ５０２を設けている。さらにエアシリンダ５０１の押し引きを制御する電磁弁５０３とエア供給のコンプレッサ５０６で構成されている。なお、電磁弁５０３とコンプレッサ５０６との間にはバルブ５０４やレギュレータ５０５を設けておくことが好ましい。

さらに、６は、力覚提示部３の駆動を制御する力覚レンダリング部である。６１０は電磁弁５０３の駆動情報を与えるための制御部である。６２０は、制御部６１０へ力覚提示情報を与えるための処理部である。６３０は干渉判定部であり、力覚提示装置１または仮想工具と、仮想物体との相対的な位置情報から干渉判定を行う。そして干渉判定部６３０で力覚提示装置１と仮想物体との干渉、非干渉を計算し、その計算結果に応じて処理部６２０は力覚提示のためのオンオフ制御情報を制御部６１０に伝え、制御部６１０は電磁弁５０３を駆動させる。

ここではエアシリンダ５０１をオンオフで駆動し、力覚提示部３を動作させることを想定したがこれに限定されない。例えば、スピードコントローラ５０２の代わりに、あるいはスピードコントローラ５０２の前後に電空レギュレータやマスフローコントローラを設けても良い。その場合、干渉判定部６３０で力覚提示装置１が仮想物体に侵入した深度を計算し、その深度に基づいて、処理部６２０が提示する力覚を計算する。そして、計算された力覚に基づいて、制御部６１０で電磁弁５０３の駆動だけでなく、電空レギュレータによる圧力制御やマスフローコントローラによる流量制御を行い、処理部７が計算した力覚を提示させる。

図６ではエアシリンダ５０１を複動式としたが、単動式でも良い。また、エアシリンダ５０１を固定部２に内蔵したがこれに限定されず、力覚提示部３に内蔵しても良い。電磁弁５０３は三位置の電磁弁を記したがこれに限定されず、二位置の電磁弁を用いても良い。コンプレッサ５０６の代わりにエアボンベや窒素ボンベ、タンク、アキュムレータを用いても良い。

なお、干渉判定部６３０は、力覚提示装置１と仮想物体との相対位置情報に基づき、干渉やその侵入深度を計算することについて述べた。しかしながらこれに限定されない。図１で説明した通り、力覚提示装置１は工具を模している。模す工具はモンキーレンチやスパナ、六角レンチ、ラチェットレンチなど形状や大きさが異なる。したがって、仮想工具の形状や大きさに基づき、仮想物体との干渉やその侵入深度を計算し、その干渉情報を処理部６２０へ伝える方がより好ましい。

他のアクチュエータ５としてソレノイドを用いる場合は、図６のエアシリンダ５０１を内蔵するところにソレノイドを搭載する。そして、制御部６１０は直接ソレノイドに駆動情報を与える。

このように、直動式のアクチュエータを用いることにより、単純な構成で、かつ安価に力覚提示装置１を動作させることが可能となる。なお、ここでは直動式の油空圧シリンダについて説明したが、回転式の油空圧アクチュエータや圧力変化に応じて変形する小型バルーンを用いても良い。

また、他のアクチュエータ５としてＤＣサーボモータを使う場合について、図７を用いて説明する。図７は、ＤＣサブモータを用いて構成された力覚提示装置１を模式的に示す図である。図７の力覚提示装置１は、説明をわかりやすくするため、図５の固定部２から左側のみ示している。

図７において、アクチュエータ５はＤＣサーボモータ５１１であり、固定部２に対して力覚提示部３にＤＣサーボモータ５１１からの動力を伝える機械要素部品５１２は固定部に内蔵されている。なお、機械要素部品５１２には、例えば、ギアがある。

干渉判定部６３０は、力覚提示装置１又は仮想工具と、仮想物体との相対位置情報に基づいて、干渉判定、ならびに侵入深度計算を行い、その情報を処理部６２０へ与える。処理部６２０は侵入深度に基づき、提示すべき力覚を計算し、制御部６１０へ与える。制御部６１０は提示すべき力覚に基づき、ＤＣサーボモータ５１１の出力を決定し駆動させる。このとき、ＤＣサーボモータ５１１に内蔵されたエンコーダはＤＣサーボモータ５１１の回転位置情報を制御部６へフィードバックしても良いし、力覚提示装置１の位置姿勢情報の取得として、干渉判定部８へフィードバックしても良い。なお、制御部６１０の制御量は、駆動量でも良いし、駆動トルク、駆動力でも良い。

なお、図７では、ＤＣサーボモータ５１１と機械要素部品５１２を固定部２に内蔵した例を示したが、これに限定されず、例えば、力覚提示部３に内蔵しても良い。他のモータとして、ＤＣモータやＡＣモータ、ステッピングモータ、リニアモータ、静電モータ、超音波モータでも適用できる。このように、モータと機械要素部品を使うことによって、力覚提示のための分解能が増すため、より現実感のある力覚提示が可能となる。

次に、多自由度超音波モータを用いて力覚提示装置１を実現した場合について、図８を参照して説明する。図８は多自由度超音波モータを用いて実現された力覚提示装置１を模式的に示す図である。

図８において、２は固定部であり、球状のロータである。３は力覚提示部であり、棒状のステータである。力覚提示部３には圧電素子５２０が埋め込まれている。圧電素子５２０は、力覚提示部３の長手方向に加振する縦振動加振用圧電素子５２１や、曲げ方向に加振する曲げ振動加振用（積層）圧電素子５２２からなる。それらの圧電素子５２０で力覚提示部３を励振することによって、図８の破線と実線で示すように、固定部２を基準に力覚提示部３を駆動することができる。また、固定部２と力覚提示部３は磁石で連結され、それらの間に生じる摩擦に対抗しながら滑らせて駆動する。すなわち、力覚提示装置１は、軸受け機能を持つ関節４とアクチュエータ５が一体化した構成とすることができる。

なお、図８では、力覚提示部３を励振させる素子として、圧電素子５２０を用いた例を示したが、これに限定されず、同等の素子を用いても良い。

力覚提示装置１または仮想工具と、仮想物体との相対位置情報に基づき、干渉判定部６３０は干渉判定、ならびに侵入深度計算を行い、その情報を処理部６２０へ与える。処理部６２０は侵入深度に基づき、提示すべき力覚を計算し、制御部６３０へ与える。制御部６３０は提示すべき力覚に基づき、力覚提示部３のトルク出力を決定し、力覚提示部３を圧電素子５２０で加振して駆動させる。このとき、固定部２と力覚提示部３の相対位置を測定するセンサを不図示としたが、その位置センサからの位置情報を制御部６１０へフィードバックしても良いし、力覚提示装置１の位置姿勢情報の取得として、干渉判定部６３０へフィードバックしても良い。なお、制御部６１０の制御量は、駆動量でも良いし、駆動トルク、駆動力でも良い。

他のアクチュエータとしては、高分子アクチュエータを用いても良い。高分子アクチュエータには電気刺激によってひずみを発生させるＥＡＰ(Electro Active Polymer）やＩＣＰＦに代表されるイオン性高分子アクチュエータがある。これを図９を用いて説明する。図９は、高分子アクチュエータを用いて実現された力覚提示装置１を模式的に示す図である。図９の力覚提示装置１は説明をわかりやすくするため、図５の固定部２から左側のみ示している。

例えば、イオン性高分子アクチュエータ５３０は、イオン交換樹脂５３１を電極５３２で挟み、電極５３２間の電圧を制御することによって、イオン交換樹脂５３１内のイオンを移動させて、イオン交換樹脂５３１の膨潤に差を発生させて駆動させるものである。このイオン性高分子アクチュエータ５３０を固定部２と力覚提示部３との間に設けると、関節４を兼ねたアクチュエータ５とすることができる。

力覚提示装置１または仮想工具と、仮想物体との相対位置情報に基づき、干渉判定部６３０は干渉判定、ならびに侵入深度計算を行い、その情報を処理部６２０へ与える。処理部６２０は侵入深度に基づき、提示すべき力覚を計算し、制御部６１０へ与える。制御部６１０は提示すべき力覚に基づき、高分子アクチュエータ５３１の電圧制御を決定し駆動させる。このとき、固定部２と力覚提示部３の相対位置を測定するセンサを不図示としたが、その位置センサからの位置情報を制御部６１０へフィードバックしても良いし、力覚提示装置１の位置姿勢情報の取得として、干渉判定部６３０へフィードバックしても良い。なお、制御部６１０の制御量は、駆動量でも良いし、駆動トルク、駆動力でも良い。

さらに、他のアクチュエータ５として形状記憶合金を用いる場合、形状記憶合金を駆動させるための通電過熱部と冷却部を設け、制御部６１０は処理部６２０の力覚提示情報に基づき、通電過熱部と冷却部を制御する。

このように多自由度超音波モータや高分子アクチュエータ、形状記憶合金のようにダイレクト駆動が可能なアクチュエータを用いることにより、高い応答性のある力覚提示が可能となる。そしてさらに、ギアをはじめとする機械要素部品を使わなくて済む。つまり、機械要素部品がもつバックラッシュやヒステリシス特性のような遅れ成分を除去することができるため、さらに高い応答性のある力覚を提示することが可能となる。特に、多自由度超音波モータは、急激な加減速駆動が可能なので、干渉時の「コツッ」感の提示にも優れている。また、油空圧アクチュエータやソレノイド、モータと機械要素部品を用いる場合は、提示させる自由度の数だけアクチュエータを必要とする。しかしながら、多自由度超音波モータや高分子アクチュエータを用いれば、アクチュエータ一つで、多自由度方向に力覚を提示することができ、力覚提示装置１の小型化や単純化が可能となる。

（複合現実感システム）
以上、ここまでは力覚提示装置１とその制御方法について説明してきた。次に、力覚提示装置１を組み込んだ複合現実感のシステム構成について、図１０を用いて説明する。図１０は、複合現実感のシステム構成を模式的に示すブロック図である。

図１０において、演算処理部７は、コンピュータなどの計算機から構成される。演算処理部７はその内部にＣＰＵ７０１、ＲＡＭ７０２、画像出力装置７０３、システムバス７０４、ディスク装置７０５、入力装置７０６、画像入力装置７０７を備える。

ＣＰＵ７０１は、力覚提示のための干渉判定部６３０（不図示）と、力覚を計算する処理部６２０（不図示）と、画像処理を制御する機能を持つ。ＣＰＵ７０１はシステムバス７０４に接続され、力覚提示用のアクチュエータを制御する制御部６１０と、ＲＡＭ７０２、画像出力装置７０３、ディスク装置７０５、入力装置７０６、画像入力装置７０７と相互に通信することが可能である。

力覚提示のための制御部６１０は力覚提示装置１のアクチュエータの駆動情報を伝える機能要素である。ＣＰＵ７０１上で実行される干渉判定部６３０（不図示）および処理部６２０（不図示）からの情報はシステムバス７０４を介して制御部６１０へ伝えられる。

ＲＡＭ７０２は、メモリ等の主記憶装置によって実現される。ＲＡＭ７０２は、システムバス７０４を介して、干渉判定プログラム、力覚計算プログラム、画像処理プログラムのプログラムコードやプログラムの制御情報、画像入力装置７０７から入力した実写画像データを一時的に保持する。そのほか、ＣＧモデルや配置情報などの仮想空間データ、センサ計測値、センサ較正データ等の各種データを一時的に保持する。仮想空間データには、仮想物体モデルや工具把持モデル、仮想指標のＣＧモデルがある。さらに、仮想空間内に配置される位置・姿勢情報も含まれている。

画像出力装置７０３は、グラフィックスカードなどの機器によって実現される。一般的に、画像出力装置７０３は不図示のグラフィックスメモリを保持している。ＣＰＵ７０１上で実行されるプログラムによって生成された画像情報は、システムバス７０４を介して、画像出力装置７０３が保持するグラフィックスメモリに書き込まれる。画像出力装置７０３は、グラフィックスメモリに書き込まれた画像情報を適切な画像信号に変換して表示装置８０１に送出する。なお、グラフィックスメモリは必ずしも画像出力装置７０３が保持する必要はなく、ＲＡＭ７０２がグラフィックスメモリの機能を実現してもよい。

システムバス７０４は、演算処理部７を構成する各機器が接続され、各機器が相互に通信するための通信路である。

ディスク装置７０５は、ハードディスクやＲＯＭ等の補助記憶装置によって実現される。ディスク装置７０５は、力覚レンダリングのためのプログラムコードや、画像処理プログラムのプログラムコード、各プログラムの制御情報、仮想空間データ、センサ較正データ、仮想物体モデル、工具把持モデルなどを格納する。ただし、力覚レンダリングのためのプログラムコードには、例えば、干渉判定プログラム、力覚計算プログラムが含まれる。

入力装置７０６は、各種インターフェース機器によって実現される。入力装置７０６は、演算処理部７の外部に接続された機器からの信号をデータとして入力し、システムバス７０４を介して、ＲＡＭ７０２にデータを書き込む。また、入力装置７０６は、キーボードやマウスなどの機器により実現され、本装置のユーザ（操作者）からの操作入力を受け付ける。

画像入力装置７０７は、キャプチャカードなどの機器によって実現される。画像入力装置７０７は、撮像装置８０２から送出される実写画像を入力し、システムバス７０４を介して、ＲＡＭ７０２に画像データを書き込む。なお、表示装置８０１に光学シースルー型の表示装置を用いる場合には、画像入力装置７０７は具備しなくてもよい。

なお、力覚提示のための制御部６１０は、図６〜９のように、力覚提示装置１そのものに内蔵されていてもよいし、図１０のように、一般的には力覚提示装置１の外部に設けられる演算処理部７において実現されてもよい。

制御部６１０が力覚提示装置１に内蔵される場合は、演算処理部７は、力覚提示装置１と仮想物体との相対位置情報や、干渉の有無を示す情報などの、アクチュエータの駆動を制御するために必要な情報を力覚提示装置１に送出する。そして、力覚提示装置１に内蔵された制御部６１０は、受信した情報に基づいてアクチュエータの駆動情報を計算し、当該計算された駆動情報に基づいてアクチュエータを駆動し、力覚を提示するように制御する。これに対して、制御部６１０が演算処理部７において実現される場合は、演算処理部７は、制御部６１０で計算された駆動情報を力覚提示装置１に送出し、力覚提示装置１は、受信した駆動情報に基づいてアクチュエータの駆動を制御することになる。これらのことは、後に述べる各構成例、各実施形態においても同様である。

なお、複合現実感システムにおいては、力覚提示装置１と演算処理部７との間で通信が行われる。これは、例えば、ＵＳＢ（Universal Serial Bus）等の有線の通信インタフェースや、無線ＬＡＮ、ＷＵＳＢ（Wireless USB）等の無線の通信インタフェースにより実現することが可能である。ただし、演算処理部７は、力覚提示装置１に内蔵するように構成してもよい。即ち、演算処理部７を構成する各構成要素を力覚提示装置１が備えるように構成してもよい。これらのことは、後に述べる各構成例、各実施形態においても同様である。

頭部装着部８は、本実施形態のシステムを体験するために、本装置のユーザが頭部に装着するビデオシースルー型ＨＭＤなどによって実現される。頭部装着部８は、表示装置８０１、撮像装置８０２、位置姿勢センサ８０３から構成される。本実施形態では、頭部装着部８を構成する装置をユーザが頭部に装着する状況を想定するが、ユーザが複合現実感を体験できる形態であれば、頭部装着部８は必ずしもユーザが装着する必要はない。

表示装置８０１は、ビデオシースルー型ＨＭＤに備えられるディスプレイによって実現される。表示装置８０１は画像出力装置７０３から送出される画像信号を表示し、本装置のユーザに複合現実感映像を提示するために用いられる。表示装置８０１は頭部装着部８を構成する装置であるが、必ずしもユーザが装着する必要はない。ユーザが映像を確認することができる手段であれば、例えば、表示装置８０１として据え置き型のディスプレイ装置を用いてもよいし、手持ち型のディスプレイを用いてもよい。

撮像装置８０２は、ＣＣＤカメラなどの１つ以上の撮像装置によって実現される。撮像装置８０２は本装置のユーザの視点から見た現実世界の実写画像を撮像するために用いられる。そのため、撮像装置８０２はユーザの頭部の中でも視点位置に近い場所に装着することが望ましいが、ユーザの視点から見た画像が取得できる手段であれば、これに限定されない。また、ハーフミラーやプリズムなどを用いて撮像装置８０２の光軸と、表示装置８０１の中心軸を一致させてもよい。撮像装置８０２が撮像した実写画像は、（アナログ信号もしくはＩＥＥＥ１３９４規格のデジタル信号などからなる）画像信号として画像入力装置７０７に送出される。なお、表示装置８０１に光学シースルー型の表示装置を用いる場合には、本装置のユーザは表示装置８０１を通して現実世界を直接観察することになるため、撮像装置８０２は具備しなくてもよい。

位置姿勢センサ８０３は、本装置を利用するユーザの視点（位置姿勢センサ８０３）および力覚提示装置１の位置・姿勢を計測し、演算処理部７の入力装置７０６に送出する装置である。位置姿勢センサ８０３は、例えば、磁気センサや、加速度センサとジャイロからなる位置姿勢計測装置によって実現される。なお、この位置姿勢センサ８０３は、力覚提示装置１を回す角速度（速度）を測定するためのセンサと兼ねても良い。

ユーザは力覚提示装置１を把持して使用する。力覚提示装置１内のポジショニングセンサ５５０は、例えば、エンコーダで実現される。このポジショニングセンサ５５０から、固定部２と力覚提示部３の相対的な位置姿勢を計測し、計測された位置姿勢の情報を演算処理部７の入力装置７０６に送出する。

以上、図１０を用いて説明したシステムでは実空間における力覚提示装置１の位置は計測できるが、力覚提示装置の長手方向の軸まわり（図１１(a)のθ）は計測できない。そうすると、力覚提示装置１を把持したθ方向が定まらず、制御部６１０はアクチュエータの駆動方向を決めることができない。そこで、上記のシステム構成における、力覚提示装置１の位置基準を求める方法について、図１１を参照して説明する。図１１は、力覚提示装置１の位置基準を求める方法を模式的に示す図である。

図１１(a)は、固定部２に指輪２０１を設け、装着した指を基準にする方法を模式的に示している。指を指輪２０１に挿入して力覚提示装置１を把持することによって、把持した手と力覚提示装置１との相対的な位置関係を拘束することができる。つまり、固定部２に対して力覚提示部３を駆動させる方向は指輪２０１を基準にすることができ、実空間において、力覚を提示する方向を決めることができる。そしてさらに、図１０において、力覚提示装置１に装着した位置姿勢センサ８０３はユーザの手に設ければ良い。このように、力覚提示装置１に基準を設け、力覚提示装置１の位置を把持する手に合わせることができるので、手の位置を測定することによって、実空間における力覚提示装置１の位置姿勢を測定することができる。

この他、力覚提示装置１に基準を設け、力覚提示装置１の位置を把持する手に合わせる構成は、指輪２０１を設ける以外にもある。例えば図１１(b)のように、固定部２や力覚提示部３の表面に指型の凹凸をつけ、その指型に沿って指がフィットするように把持させても良い。さらに、固定部２や力覚提示部３の表面にマーク（目印）をつけ、例えば、そのマークが人差し指と中指の付け根に接触するよう把持させても良い。

また、図１１(c)のように、力覚提示装置１を把持する前にアクチュエータで初期駆動させておき、例えば、力覚提示部３の一方が親指と人差し指の付け根、もう一方が小指の付け根に接触するよう把持させても良い。

以上、ここでは力覚提示装置１およびそれを用いたシステム構成について説明した。その際、力覚提示装置１を鷲掴みする図を示してきたが、これに限定されない。図１２のように鷲掴み以外にも鉛筆握りでも同様に適用することが可能である。ただし、図１２は、力覚提示装置の把持スタイルを模式的に示す図である。

上記のように、本実施形態に係る力覚提示装置は、力覚提示部を固定部に対して相対動作させることによって力覚を提示するため、従来の技術に対して、操作範囲が広く、かつ着脱のわずらわしさや装着時の違和感をなくすことができる。さらに、連続的に強い力覚を提示することが可能な把持型の力覚提示装置を提供することが可能となる。

（構成例１）
上記の構成について、さらに具体的な例を挙げて詳細な説明を行う。本構成例では、仮想的に取り扱う工具は、モンキーレンチやスパナ、六角レンチ、ラチェットレンチなどのように、鷲掴みして使用する工具を指す。以下では、モンキーレンチを代表的な工具の例として、説明を行う。

工具を使用する場合の手にかかる力などの把持状況について、図１９を用いて説明する。図１９は、ユーザが手で工具（モンキーレンチ）を把持するスタイルを例示する模式図である。

図１９の上段の図はモンキーレンチを掌全体で鷲掴みする把持スタイルを示している。また、中段の図は、上段の図と同様に、モンキーレンチを掌全体で鷲掴みする場合に、親指を立てた把持スタイルを示している。そして、下段の図はモンキーレンチの端が掌の中心にくるように把持するスタイルを示している。実際に、右手でモンキーレンチやスパナを用いて六角ボルトやナット等のねじ部材を締めるとき（図１９の楔形の矢印方向）、あるいは六角レンチで六角穴付きボルトを締めるとき、掌の小指の付け根と人差し指の付け根側に大きな力がかかる。また、それらを緩めるとき（図１９の三角形の矢印方向）は掌の親指の付け根に大きな力がかかる。なお、左手の場合はその反対に、締めるときは掌の親指の付け根に、緩めるときは掌の小指の付け根と人差し指の付け根側に大きな力がかかる。

このように、締め付ける時と緩める時では、掌にかかる力の位置が異なる。また右手で操作する場合と左手で操作する場合でも異なる。また強く締め付ける時や弱く締め付ける時、また、緩める時の締まっている具合によっても、強弱の差が生じる。

本構成例では、掌にかかる力の分布や、力の大きさ、およびこれらの左右の手による差異を、仮想状況に応じて変化させることによって、より現実感の高い操作感覚を提示することが出来る。また後述するように、工具の種類や持ち方によっても、これらの提示方法が異なる。このため、操作状況や把持状況に応じて適切な駆動や提示方法を用いることで、広範囲の工具やその使用形態に対応することが出来る。このような提示装置の構成と駆動方法、提示方法などについて、以下説明していく。

次に、図１９で示した工具の把持スタイルでボルトを締めたり緩めたりするときの力覚を提示する力覚提示装置について、図２０を用いて説明する。図２０は、把持スタイルに応じて設計された力覚提示装置１の構成を例示する模式図である。

図２０において１は力覚提示装置であり、先述の工具を模している。そして、２は操作者が手で把持するときに基準とする固定部である。３は力覚提示部であり、固定部２を基準に、掌に力覚を提示する部分である。４は関節であり、固定部２と力覚提示部３との間に設けられ、力覚提示部３の駆動方向をガイドする。５は固定部２に対して力覚提示部３を駆動するアクチュエータであり、固定部２または力覚提示部３の少なくともいずれか一方に内蔵されていることが好ましい。なお、アクチュエータ５は固定部２または力覚提示部３に内蔵されていなくても有効である点は上記と同様である。即ち、例えば、固定部２や力覚提示部３の外側にアクチュエータ５を設け、そのアクチュエータ５の駆動力をリンク機構やギアのような機械要素で介して力覚提示部３を駆動させても良い。そして、６は力覚レンダリング部である。力覚レンダリング部６はアクチュエータ５を駆動させるための制御部６１０と、その駆動力やトルク、駆動速度、駆動量など力覚提示情報を計算する処理部６２０と、干渉判定および干渉深度を計算する干渉判定部６３０からなる。なお、構成例１の干渉判定部は、力覚提示装置１が模している仮想工具と、仮想ボルト（仮想ナット）との干渉を判定する。

ユーザはこの力覚提示装置１に対して、点線で示す位置に、即ち、固定部２を基準に関節４と、少なくとも力覚提示部３の一部の領域を把持する。なお、図２０の上段の力覚提示装置１aは固定部２を二つの力覚提示部３で挟む構成となっている。それに対して、図２０の下段の力覚提示装置１bは固定部２に対して一つの力覚提示部３を設けている。

図２０において、力覚提示装置１の関節４はガイドや軸受け、ヒンジ、リンク機構の内、少なくともいずれかの案内を用いれば良い。また、アクチュエータ５は油空圧アクチュエータや、ソレノイド、ＤＣモータ、ＡＣモータ、ステッピングモータ、リニアモータ、静電モータ、超音波モータ、高分子アクチュエータ、形状記憶合金の内、少なくともいずれかのアクチュエータを用いれば良い。アクチュエータの詳細は上述の通りである。さらに関節４とアクチュエータ５からなる駆動軸は少なくとも、力覚提示装置１の長手方向の軸に対して首振り方向の軸および/または、力覚提示装置１の長手方向の軸と直交する方向の軸が必要である。

また、力覚提示部３の駆動方向の基準を設けるために、上述のように、固定部２に指輪を設けたり、把持領域を握りやすくするために凹凸を設けたり、又は、把持するときの目印となるマークを設けることができる。ただし、図２０ではいずれも不図示とした。さらに、把持するときに目印とする位置へ力覚提示部３を駆動させておいても良い。

次に、図２０の力覚提示装置１を用いて、図１９で示した工具の把持スタイルでボルトを締めたり緩めたりするときの力覚提示方法について、図２１を用いて説明する。図２１は、力覚を提示する様子を把持スタイル毎に例示する模式図である。なお、この力覚提示のための処理や制御は力覚レンダリング部６が行う。また、図２１では力覚提示装置１の駆動軸を力覚提示装置の長手方向の軸に対して首振り方向の軸としたが、これに限定されず、力覚提示装置１の長手方向の軸と直交する方向の軸としても良い。

図２１の上段の図は工具を鷲掴みする把持スタイルを示しており、中段の図は上段の図に親指を立てた把持スタイルを示している。いずれも、図２０上段の図に示した力覚提示装置１aを用いる。そして、右手でボルトを締める動作を行うとき、力覚提示部３は力覚提示装置１aを動かす方向と反対方向へ駆動させる（楔形の矢印方向）。また、ボルトを緩める動作を行うときも、力覚提示装置部３は力覚提示装置１aを動かす方向と反対方向へ駆動させる（三角形の矢印方向）。より具体的には、ボルトを締める動作を行うとき、二つの力覚提示部３を小指の付け根側と、人差し指の付け根側の少なくとも一方へ駆動させる。そして、ボルトを緩める動作を行うとき、親指側の力覚提示部３を親指の付け根側に駆動させる。

図２１の下段の図は、工具の端が掌の中心にくるように把持するスタイルを示しているが、この場合は図２０下段に示した力覚提示装置１bを用いる。そして、右手でボルトを締める動作を行うとき、力覚提示部３は力覚提示装置１bを動かす方向と反対方向へ駆動させる（楔形の矢印方向）。ボルトを緩めるときも、力覚提示部３は力覚提示装置１bを動かす方向と反対方向へ駆動させる（三角形の矢印方向）。より具体的には、ボルトを締める動作を行うとき、力覚提示部３を人差し指の付け根側に駆動させ、ボルトを緩める動作を行うとき、力覚提示部３を親指の付け根側に駆動させる。

なお、ここでは右手でボルト締めや緩める動作をするときの力覚提示部３の駆動方向について述べたが、左手で動作する場合も同様に、その力覚提示装置１を動かす方向とは反対方向へ力覚提示部３を駆動させる。すなわち、ボルトを締める動作を行うとき、親指側の力覚提示装置３を親指の付け根側に駆動させ、ボルトを緩める動作を行うとき、力覚提示部３を小指の付け根側と、人差し指の付け根側の少なくとも一方へ駆動させる。このような動作により、ユーザは、ボルトを締めたり緩めたりするときに受けるトルクを知覚することが可能となる。

また、力覚提示部３の駆動速度は、力覚提示装置１をまわす手の角速度（速度）と同期させる。また、好ましくは、例えば、図２１上段において、回転中心側の力覚提示部３（左側）と回転外側の力覚提示部３（右側）では、手の角速度（速度）と同期するよう駆動することができる。一方で、外側の力覚提示部３（右側）の方が内側の力覚提示部３（左側）よりも駆動量は大きくなるよう調整することができる。このとき、力覚提示装置１をまわす手の角速度（速度）と同期させて、力覚提示部３を駆動させることは、同じ角速度（速度）で駆動させることに限定されない。例えば、それぞれの力覚提示部３に対して、力覚提示装置１をまわす手の角速度（速度）に異なる定数を乗じた角速度（速度）で駆動させれば良い。あるいは少なくとも一方の力覚提示部３を駆動させれば良い。このように動作を制御することにより、ユーザが仮想的に知覚するトルクの現実感を更に高めることができる。なお、力覚提示装置１をまわす角速度（速度）は、加速度センサやジャイロからの情報を処理したり、あるいはカメラで撮影して画像処理を施したりすること等によって測定することができる。

以上説明した力覚提示装置およびその力覚提示方法を複合現実感（ＭＲ; Mixed reality）に組み込んだシステム構成は、図１０で示される。図１０の説明は上述したため、省略する。

このように、構成例１で説明した力覚提示装置１およびその力覚提示方法によって、操作範囲の広い力覚提示が可能となる。さらに、その着脱はわずらわしくなく、操作時の違和感を軽減することも可能となり、小型、軽量化も可能となる。また、複合現実感システムに組み込むことによって、実際に工具を用いてボルトやナットを締めたり、緩めたりするときの力覚を提示することが可能となり、画像の表示と併せることで現実感が増大する。さらには、仮想的に表示した製品内部に治工具を挿入したときの組立やメンテナンスなどの作業性の検証効率が向上する。これは複合現実感に限定されず、仮想現実感（ＶＲ; Virtual reality）に適用しても同様の効果が得られるものである。

（構成例２）
構成例１では力覚提示部３の駆動速度を、力覚提示装置１をまわす手の角速度（速度）と同期させ、二つの力覚提示部３の駆動量を調整する構成について説明した。しかし、力覚提示装置１をまわす手が右手か左手かによって各力覚提示部３の駆動量、駆動角速度（速度）を変化させると、更に現実的に近い体験をユーザに提供することができる。このため、構成例２では、力覚提示装置１を把持する手が右手か左手か判断し、その判断結果に応じて力覚の提示を制御する構成について、その判断方法とシステム構成を説明する。

力覚提示装置１を把持する手が右手か左手か判断する方法としては、図１０で示した撮像装置８０２からテンプレートマッチングなどの画像処理を施して判断する方法がある。その他、図１０には不図示のユーザインターフェースなどから入力装置７０６へ把持する手を入力しても良い。このようにして、力覚提示装置１を把持する手を判断したら、図１０の画像出力装置７０３はその判断に併せた工具把持モデルをディスク装置７０５から参照し、表示装置８０１にその工具把持モデルを表示させる。

さらに、工具把持モデルと仮想ボルト、仮想ナットの位置関係、および把持した手から、力覚提示装置１をまわすとき、内側になる力覚提示部３と外側になる力覚提示部３が正確にわかる。したがって、構成例１で説明したように、回転中心側の力覚提示部３と回転外側の力覚提示部３では、手の角速度（速度）と同期するよう駆動し、外側の力覚提示部３（右側）の方が内側の力覚提示部３（左側）よりも駆動量は大きくなるよう調整する。 このように構成例２によって、力覚提示装置１を把持する手が右手か左手か判断できる。このため、各力覚提示部３の駆動量や駆動角速度（速度）をより正確に調整することが可能となり、より正確な力覚提示が可能となる。

（構成例３）
構成例１や構成例２は、ボルトやナットを仮想的に締めたり緩めたりするときの力覚を提示する力覚提示装置およびその力覚提示方法について説明した。構成例３ではボルトやナットを仮想的に締めたり緩めたりするとき、工具をまわすだけのスペースがなく、まわせなかったときの力覚提示方法について説明する。

図２２は、仮想工具が仮想物体と干渉したときに力覚を提示する構成を示す模式図である。図２２の上方は、仮想ボルトを仮想工具で締める画像を表示装置８０１に表示している様子を示している。図２２では、仮想工具の柄の部分が仮想物体Ｂと干渉して、それ以上まわせない状態を示している。このとき、図２２下方のように、干渉判定部６３０は仮想工具と仮想ボルト（仮想ナット）との干渉を判定するだけでなく、工具把持モデルと仮想物体との干渉を判定する。即ち、仮想工具の柄の部分と仮想物体Ｂとの干渉判定、およびその干渉深度も計算する。

次に、その干渉判定部６３０からの干渉判定情報に基づき、処理部６２０は各力覚提示部３の駆動速度や、駆動力、駆動トルク、駆動量などの少なくともいずれかの力覚提示情報を計算する。さらに、制御部６１０は処理部６２０が計算した力覚提示情報に基づき、力覚提示部３を動作させるためのアクチュエータ５（不図示）を駆動させる。図２２のように、把持した手の左側が仮想ボルトを締める力覚提示部３で、右側が仮想物体Ｂとの干渉をしている場合、左側の力覚提示部３をボルト締めの力覚提示とし、右側の力覚提示部３を干渉の力覚提示とする。なお、ボルト締めの力覚提示は構成例１で説明した通り、力覚提示部３の駆動速度を、力覚提示装置１をまわす手の角速度（速度）と同期させる。そして、干渉の力覚提示は、力覚提示部３の駆動速度をボルト締めの力覚提示の駆動速度よりも速くする。ただし、力覚提示装置１をまわす手の角速度（速度）と同期させなくも良い。例えば、パルス状の急峻な駆動でも良い。

なお、ここではボルトを締める方向について説明したが、これに限定されず、緩める方向でも同様である。また、駆動速度の制御に限定されず、力覚提示部３の駆動トルク（駆動力）をボルト締めの力覚提示の駆動トルク（駆動力）よりも強くすることで干渉の力覚を提示しても良い。あるいは、力覚提示部３の駆動量をボルト締めの力覚提示の駆動量よりも大きくすることで干渉の力覚を提示しても良い。

次に、手と仮想物体が干渉した場合について説明する。手と仮想物体が干渉した場合、力覚（反力）を提示する力覚提示装置がない。そこで、力覚提示装置１で代替して提示する。ただし、仮想工具が干渉した場合の力覚提示と分けるために、手が干渉した場合は図２３のように、力覚提示部３を振動させる。ただし、図２３は、手が仮想物体と干渉したときに力覚を提示する様子を模式的に示す図である。振動方向は力覚提示装置１の長手方向を基準に、干渉した位置方向に振動させ、その振幅または/および周波数は干渉深度に応じて制御する。

別の構成では、力覚提示部３を異なる駆動軸に沿って駆動させる。ここまで説明した力覚提示のための駆動軸は力覚提示装置１の長手方向の軸に対して首振り方向の軸および/または、力覚提示装置１の長手方向の軸と直交する方向の軸なので、力覚提示装置１の長手軸まわりや、長手方向の軸に駆動させても良い。そしてそのときの駆動量は干渉深度に応じて変更させる。

振動による手の干渉提示や、異なる駆動軸による手の干渉提示は、いずれの干渉の力覚提示も実際の干渉とは異なる感覚である。このため、ユーザが使用する前に訓練をすることで、代替提示を知覚するようにすることで、本実施形態に係る構成による効果を更に高めることができる。

このように、構成例３で説明した力覚提示方法によって、仮想ボルトやナットなどを締めたり緩めたりする力覚提示と、他の仮想物体との干渉をしたときの干渉の力覚提示ができるため、より現実感が向上する。更には、仮想的に表示した製品内部に治工具を挿入したときの組立やメンテナンスなどの作業性の検証効率がさらに向上する。

＜＜第２の実施形態＞＞
第１の実施形態の力覚提示装置１においては、固定部２は力覚提示部３に挟まれる構成であったが、これに限定されない。さらに、把持スタイルを鷲掴みや鉛筆握りとして説明し、仮想工具をモンキーレンチやスパナ、六角レンチ、ラチェットレンチなどとした。それに対して第２の実施形態では、固定部２に対して力覚提示部３と、その間の関節を一組だけ設ける構成について説明する。図１３は力覚提示装置１の構成を示す図である。各符号の説明は第１の実施形態と同様であるため、省略する。

この力覚提示装置１は仮想工具がドライバなどの時に有効である。図１４は、ドライバを把持した状態（上図）と、力覚提示装置１を把持した状態（下図）を示す図である。ドライバを把持するとき柄を掌に押し当てた状態で把持するように、力覚提示装置１の固定部２を掌に押し当て、図１３の把持領域を複数の指で包み込むように把持する。

力覚レンダリング部６（不図示）の機能や複合現実感のシステムに適用した構成については、第１の実施形態での説明と重複するので、ここでの説明は省略する。

以上のように、力覚提示部３を固定部２の片側にのみ設けることで、ドライバを把持した状態の力覚を提示することができる。さらに、第１の実施形態で説明した力覚提示装置１と組み合わせると、さらに多種の工具把持状態の力覚を提示することが可能となる。

（構成例４）
前述のように、仮想現実感や複合現実感で工業製品や装置などの作業検証を行うとき、仮想的に表示した製品内部に治工具を挿入して組立やメンテナンスなどの作業ができるか検証することがある。これを図２４を用いて説明する。図２４は仮想現実感や複合現実感によって、仮想物体の画像を表示し、さらに仮想工具を把持した手（仮想把持モデル）を表示したイメージ図である。一例として、本構成例では、仮想物体Ａの中にある仮想六角穴付きボルトを六角レンチで締めたり緩めたりする状況を想定する。この場合、仮想物体の画像表示だけでは仮想物体Ａと仮想物体Ｂの幅の狭さが作業性にどの程度影響するかを把握することが難しい。

しかしながら、仮想工具を用いて実際にボルト締めの操作を模擬的に行えば作業性の評価検証を行うことができる。さらに、仮想工具に力覚の提示機能を持たせることで、ボルト締めの操作感を提示することが可能になり、工具が入るかどうか、あるいはボルト締めの操作が可能な空間があるかどうかを、より正確に検証することができる。本構成例は実際に工具を使用する際の操作感を提示できることが大きな特徴である。

本構成例で仮想的に取り扱う工具とは六角レンチやドライバなどのように、鉛筆握りして使用する工具を指す（図２４）。ここで述べる鉛筆握りとは、親指と人差し指、中指によって棒状のものを把持する握り方で、各指を移動させることによって、その棒状のものを長手軸まわりに回転させる動作を意味する。

本構成例に係る力覚提示装置は、構成例１で参照した図２０の下欄に示される力覚提示装置１ｂと同様の構成を有する。このため、構成例１と同様の構成部分については説明を省略し、相違する部分についてのみ説明を行う。

図２０において、関節４とアクチュエータ５からなる駆動軸は少なくとも、力覚提示装置１の長手方向の軸まわりの軸が必要である。また、アクチュエータ５を用いて力覚提示部３を動かすときの抵抗感が提示される。これらはいずれもアクティブ制御する（自ら力やトルクを出す）アクチュエータ５であるが、それに限定されず、パッシブ制御（ユーザからの力を反力とする）でも良い。パッシブ制御の場合にはクラッチやブレーキで抵抗力を制御しても良いし、ＭＲ流体やＥＲ流体を用いて抵抗力を制御しても良い。

さらに、固定部２を手や掌に対して拘束力を上げるため、固定部２に指輪を設けても良い。ユーザはこの力覚提示装置１に対して、点線で示す位置に、すなわち固定部２を基準に関節４と、少なくとも力覚提示部３の一部の領域を把持する。図２５は、本構成例における力覚提示装置１を把持した状態を示す図である。固定部２は親指と人差し指の間の付け根で挟むように把持することができる。あるいは、固定部２に指輪２０１を設けている場合、例えば図２５で示すように親指に指輪２０１を装着させると、より固定部２が手あるいは掌に拘束されるため、固定部２が動くことによって発生する違和感を軽減することができる。

次に、図２４のような仮想現実感、複合現実感環境で力覚提示装置１を使うとき、次の二つの状況がある。一つ目はボルト締めなどの操作をしないとき、二つ目はあるいはボルトを締めたり緩めたりするときである。それらの目的は例えば、前者は所定のボルト（仮想ボルト）まで工具（仮想工具）を進入させることができるか評価することを目的としている。後者は工具（仮想工具）を操作するための十分な空間があるか評価することを目的としている。それらの認識は、干渉判定部６３０で仮想工具と仮想ボルトとの干渉判定を行い、仮想工具の先端が仮想ボルトと触れていないときはボルト締めなどの操作を行わないものとして処理する。そして、仮想工具の先端が仮想ボルトに触れているときはボルト締めなどの操作を行うものとして処理することができる。あるいは、工具が作用する物体（仮想ボルト）と力覚提示装置１の力覚提示部３が干渉している状態であるときは、ボルト締めなどの操作を行うものとして処理することができる。

このような力覚提示方法について図２５を用いて説明する。はじめに、ボルト締めなどの操作をしないとき、すなわち、所定のボルトまで工具を侵入させることができるか評価する状況における力覚提示について説明する。干渉判定部６３０によって仮想物体と仮想工具とが干渉していないことが計算できれば、力覚提示部３は固定部２に対して動かないように力覚レンダリング部６でアクチュエータ５を制御し、非干渉の力覚を提示する。一例として図２６で、アクチュエータ３にＤＣモータと、超音波モータを、図２７でアクチュエータ３にブレーキやＥＲ流体を用いた場合について示す。なお、各アクチュエータ５と固定部２や力覚提示装置３への搭載、あるいはギアなど機械要素部品は、機能をわかりやすく説明するために不図示としたが、搭載すべきである。また、各アクチュエータ５の配置は図２６や図２７に限定されない。例えば、固定部２側に搭載した構成を図示しているが、これに限定されず、力覚提示装置３に搭載しても良い。また、図２６で示した超音波モータは、振動加振用の圧電素子が埋め込まれたステータと、ステータ上を進行するロータの配置が逆になっても有効である。ただし、図２６は、アクティブ制御型のアクチュエータを模式的に示す図である。図２７は、パッシブ制御型のアクチュエータを模式的に示す図である。

以下、図２６と図２７を参照しながら各アクチュエータにおける力覚レンダリング部６の駆動制御について説明する。例えば、アクチュエータ５にＤＣモータやＡＣモータ、ステッピングモータを使用している場合は、エンコーダを搭載し、そのエンコーダの出力値が所定のトレランス内に保つようサーボ制御を行い、力覚提示部３を固定部２に対して不動にすることができる。また、アクチュエータ５に静電モータを使用する場合は電極間に、超音波モータを使用する場合はステータとロータ間に与圧をかける。与圧はステータの一部に磁石を設け、磁力によるもので良い。そのとき、力覚提示部３を指でまわす力よりも、与圧とそれらの接触面積から生じる摩擦力が大きくなるようにすることができる。そして、駆動を停止させることによって摩擦力で力覚提示部３を固定部に対して動かさないようにすることができる。さらに、アクチュエータ５にブレーキやクラッチを使用する場合にはディスク同士を密着状態にして、摩擦力を大きくして力覚提示部３を固定部に対して動かさないようにすることができる。

そして、アクチュエータ５にＥＲ流体を使う場合は電極間の電界強度を、ＭＲ流体を使用する場合は磁界強度を強くする。それらの強度はＥＲ流体やＭＲ流体の種類や電極間の間隙によって決まる。その場合、指で力覚提示部３をまわす力よりも抵抗力が大きくなるような電界強度、磁界強度にしてＥＲ流体やＭＲ流体が電極などの壁面に生じるせん断力を大きくさせ、力覚提示部３を固定部に対して動かさないようにすることができる。

また、ボルト締めなどの操作ではないものの、干渉判定部６３０によって仮想物体と仮想工具とが干渉することを計算したときは、アクチュエータ５を駆動させ、干渉の力覚を提示する。このときのアクチュエータ５は、アクティブ制御が可能である必要がある。このため、例えば、油空圧アクチュエータや、ソレノイド、ＤＣモータ、ＡＣモータ、ステッピングモータ、リニアモータ、静電モータ、超音波モータ、高分子アクチュエータ、形状記憶合金の内、少なくともいずれかのアクチュエータを用いることができる。なお、干渉は力覚レンダリング部６の干渉判定部６３０で計算し、干渉深度に応じて反力を計算し、処理部６２０でアクチュエータ５を駆動させるための力覚提示情報を計算する。まず、駆動軸が力覚提示装置１の長手軸まわりの軸しかない場合、力覚提示情報は指先で力覚提示部３をまわす速度やまわす量よりも速い速度、多い駆動量で力覚提示部３を駆動させる。あるいは、指先で力覚提示部３をまわす力、トルクよりも強い力、トルクで力覚提示部３を駆動させる。駆動量は干渉深度に応じて制御する。あるいは力覚提示部３を力覚提示装置１の長手軸まわりに往復運動（振動）させても良い。その往復運動（振動）の振幅または／および周波数は干渉深度に応じて制御する。ただし、干渉によって現実に知覚する力覚方向と、仮想的に提示する力覚方向が異なる可能性がある。このため、ユーザが使用する前に訓練などで、代替提示を知覚することが必要である。

次に、仮想的なボルトを締めるとき、図２５において、指先で力覚提示部３を楔形の矢印方向に動まわす。反対に、仮想的なボルトを緩めるときは指先で力覚提示部３を三角形の矢印方向にまわす。以下、仮想的なボルトを締めるときを想定して工具操作の力覚提示について説明するが、緩めるときは方向が反対になる。例えば、アクチュエータ５にＤＣモータを使用している場合、処理部６２０が計算する力覚提示情報は指先が力覚提示部３を回転させる方向と同方向へ、そして回転速度よりも遅い速度で力覚提示部３を駆動させる。そうすると、アクチュエータ５が発生する抵抗力によって、図２５の楔形矢印方向にボルトを締める力覚を提示させることができる。ＡＣモータ、ステッピングモータ、静電モータ、超音波モータを使用している場合も同様である。あるいは、処理部６２０が計算する力覚提示情報は、指先が力覚提示部を回転させる方向と逆方向へ、指先のまわす力、トルクよりも小さな力、トルクで力覚提示部３を駆動させて抵抗力を出力し、ボルトを締める力覚を提示させても良い。

また、アクチュエータ５にブレーキやクラッチを使用する場合には、力覚提示部３が固定部２に対して指でまわせる程度にディスクの密着を緩め、摩擦による抵抗力を提示する。そして、アクチュエータ５にＥＲ流体を使う場合は電極間の電界強度を、ＭＲ流体を使用する場合は磁界強度を弱め、力覚提示部３が固定部２に対して指でまわせる程度に、ＥＲ流体やＭＲ流体が電極などの壁面に生じるせん断力を緩和させる。そして、その摩擦による抵抗力を出力し、ボルトを締める力覚を提示させても良い。

以上説明した力覚提示装置およびその力覚提示方法を複合現実感（ＭＲ:Mixed reality）に組み込んだシステム構成について、図２８を用いて説明する。図２８は、本構成例にかかる力覚提示装置を組み込んだ複合現実感のシステム構成を模式的に示す図である。

図２８において、演算処理部７は、コンピュータなどの計算機から構成される。演算処理部７はその内部にＣＰＵ７０１、ＲＡＭ７０２、画像出力装置７０３、システムバス７０４、ディスク装置７０５、入力装置７０６、画像入力装置７０７を備える。ＣＰＵ７０１は、力覚提示のための干渉判定部６３０（不図示）と、力覚を計算する処理部６２０（不図示）と、画像処理を制御する機能を持つ。ＣＰＵ７０１はシステムバス７０４に接続され、力覚提示用のアクチュエータ５を制御する制御部６１０と、ＲＡＭ７０２、画像出力装置７０３、ディスク装置７０５、入力装置７０６、画像入力装置７０７と相互に通信することが可能である。

力覚提示のための制御部６１０は力覚提示装置１のアクチュエータ５の駆動情報を伝えるもので、ＣＰＵ７０１上で実行される干渉判定部６３０（不図示）および処理部６２０（不図示）からの情報はシステムバス７０４を介して制御部６１０へ伝えられる。ＲＡＭ７０２は、メモリ等の主記憶装置によって実現される。ＲＡＭ７０２は、システムバス７０４を介して、干渉判定プログラム、力覚計算プログラム、画像処理プログラムのプログラムコードやプログラムの制御情報、画像入力装置７０７から入力した実写画像データを一時的に保持する。そのほか、ＣＧモデルや配置情報などの仮想空間データ、センサ計測値、センサ較正データ等の各種データを一時的に保持する。仮想空間データには、仮想物体モデルや工具把持モデル、仮想指標のＣＧモデルがある。さらに、仮想空間内に配置される位置・姿勢情報も含まれている。

画像出力装置７０３は、グラフィックスカードなどの機器によって実現される。一般的に、画像出力装置７０３は不図示のグラフィックスメモリを保持している。ＣＰＵ７０１上で実行されるプログラムによって生成された画像情報は、システムバス７０４を介して、画像出力装置７０３が保持するグラフィックスメモリに書き込まれる。画像出力装置７０３は、グラフィックスメモリに書き込まれた画像情報を適切な画像信号に変換して表示装置８０１に送出する。グラフィックスメモリは必ずしも画像出力装置７０３が保持する必要はなく、ＲＡＭ７０２がグラフィックスメモリの機能を実現してもよい。

システムバス７０４は、演算処理部７を構成する各機器が接続され、上記機器が相互に通信するための通信路である。ディスク装置７０５は、ハードディスクやＲＯＭ等の補助記憶装置によって実現される。ディスク装置７０５は、力覚レンダリングのためのプログラムコードや、画像処理プログラムのプログラムコード、各プログラムの制御情報、仮想空間データ、センサ較正データ、仮想物体モデル、工具把持モデルなどを格納する。ただし、力覚レンダリングのためのプログラムコードには、干渉判定プログラム、力覚計算プログラムが含まれる。

入力装置７０６は、各種インターフェース機器によって実現される。演算処理部７の外部に接続された機器からの信号をデータとして入力し、システムバス７０４を介して、ＲＡＭ７０２にデータを書き込む。また、入力装置７０６はキーボードやマウスなどの機器を備え、本装置のユーザ（操作者）からの操作入力を受け付ける。

画像入力装置７０７は、キャプチャカードなどの機器によって実現される。撮像装置８０２から送出される実写画像を入力し、システムバス７０４を介して、ＲＡＭ７０２に画像データを書き込む。なお、表示装置８０１に光学シースルー型の表示装置を用いる場合には、画像入力装置７０７は具備しなくてもよい。

頭部装着部８は、本実施形態のシステムを体験するために、本装置のユーザが頭部に装着するビデオシースルー型ＨＭＤなどによって実現される。頭部装着部８は表示装置８０１、撮像装置８０２、位置姿勢センサ８０３から構成される。本実施形態では、頭部装着部８を構成する装置をユーザが頭部に装着しているが、ユーザが複合現実感を体験できる形態であれば、頭部装着部８は必ずしもユーザが装着する必要はない。

表示装置８０１は、ビデオシースルー型ＨＭＤに備えられるディスプレイによって実現される。表示装置８０１は画像出力装置７０３から送出される画像信号を表示し、本装置のユーザに複合現実感映像を提示するために用いられる。表示装置８０１は頭部装着部８を構成する装置であるが、必ずしもユーザが装着する必要はない。ユーザが映像を確認することができる手段であれば、例えば表示装置８０１として据え置き型のディスプレイ装置を用いてもよいし、手持ち型のディスプレイを用いてもよい。

撮像装置８０２は、ＣＣＤカメラなどの１つ以上の撮像装置によって実現される。撮像装置８０２は本装置のユーザの視点から見た現実世界の実写画像を撮像するために用いられる。そのため、撮像装置８０２はユーザの頭部の中でも視点位置に近い場所に装着することが望ましいが、ユーザの視点から見た画像が取得できる手段であれば、これに限定されない。また、ハーフミラーやプリズムなどを用いて撮像装置８０２の光軸と、表示装置８０１の中心軸を一致させてもよい。撮像装置８０２が撮像した実写画像は、（アナログ信号もしくはＩＥＥＥ１３９４規格のデジタル信号などからなる）画像信号として画像入力装置７０７に送出される。なお、表示装置８０１に光学シースルー型の表示装置を用いる場合には、本装置のユーザは表示装置８０１を通して現実世界を直接観察することになるため、撮像装置８０２は具備しなくてもよい。

位置姿勢センサ８０３は、本装置を利用するユーザの視点（位置姿勢センサ８０３）および力覚提示装置１の位置・姿勢を計測し、演算処理部７の入力装置７０６に送出する。位置姿勢センサ８０３は、例えば、磁気センサや、加速度センサとジャイロ、赤外線センサを含む光学式センサなどからなる位置姿勢計測装置によって実現される。なお、この位置姿勢センサ８０３は、力覚提示装置１を回す角速度（速度）を測定するためのセンサと兼ねても良い。

ユーザは力覚提示装置１を把持して使用する。力覚提示装置１内のポジショニングセンサ５５０は例えばエンコーダで、このポジショニングセンサ５５０から、固定部２と力覚提示部３の相対的な位置姿勢を計測し、演算処理部７の入力装置７０６に送出する。

上記のように、構成例４で説明した力覚提示装置１およびその力覚提示方法によって、操作範囲の広い力覚提示が可能となる。さらに、その着脱はわずらわしくなく、操作時の違和感を軽減することも可能となり、小型、軽量化も可能となる。また、複合現実感システムに組み込むことによって、実際に工具を用いてボルトを締めたり、緩めたりするときの力覚を提示することが可能となり、画像の表示と併せることで現実感が増大する。更には、仮想的に表示した製品内部に治工具を挿入したときの組立やメンテナンスなどの作業性の検証効率が向上する。これは複合現実感に限定されず、仮想現実感（ＶＲ:Virtual reality）に適用しても同様の効果が得られる。

（構成例５）
構成例４では、工具（仮想工具）が仮想物体と干渉したときの力覚、およびボルトを仮想的に締めたり緩めたりするときの力覚を提示する力覚提示装置およびその力覚提示方法について説明した。構成例５では、別の形態として、図２９上段に示す作業性検証を想定した力覚提示方法について説明する。図２９上段では六角レンチを鉛筆握りし、中指で六角穴付きボルトを抑えながらめねじの位置を探り、挿入させる作業を示したものである。そして、六角穴付きボルトがめねじにはまったとき、作業者はコツッ感を知覚する。構成例５ではこのような作業における知覚を提示させる。ただし、図２９は、作業性検証と力覚提示の方法を示す図である。なお、六角穴付きボルトもねじ部材に含まれる。

力覚提示装置１は固定部２を基準に力覚提示装置３を駆動させる。力覚提示装置１の駆動軸が、力覚提示装置１の長手軸まわりのみ場合、その方向に駆動させる。ただし、このときのアクチュエータ５はアクティブ制御が可能である必要がある。このため、例えば、油空圧アクチュエータや、ソレノイド、ＤＣモータ、ＡＣモータ、ステッピングモータ、リニアモータ、静電モータ、超音波モータ、高分子アクチュエータ、形状記憶合金の内、少なくともいずれかのアクチュエータを用いる。そして、仮想めねじに仮想六角穴付きボルトが挿入されたタイミングを干渉判定部６３０で計算し、処理部６２０で力覚提示情報を計算する。コツッ感の力覚提示は急峻であるべきなので、力覚提示情報は駆動パターンや力、トルクがパルス状の駆動情報であることが好ましい。

さらに、好ましくは、図２９下段に示したように、力覚提示装置１の駆動軸は、力覚提示装置１の長手方向の軸も持つことが好ましい。上述の通り、この時のアクチュエータ５はアクティブ制御が可能である必要がある。このため、油空圧アクチュエータや、ソレノイド、ＤＣモータ、ＡＣモータ、ステッピングモータ、リニアモータ、静電モータ、超音波モータ、高分子アクチュエータ、形状記憶合金の内、少なくともいずれかのアクチュエータを用いる。そして、仮想めねじに仮想六角穴付きボルトが挿入されたタイミングを、干渉判定部６３０で計算し、処理部６２０で力覚提示情報を計算する。コツッ感の力覚提示は急峻であるべきなので、力覚提示情報は駆動パターンや力、トルクがパルス状の駆動情報であることが好ましい。

ここでは駆動軸が、力覚提示装置１の長手軸まわりの軸の場合と、力覚提示装置１の長手方向の軸の場合について説明したが、その他の自由度の駆動軸を有しても構わない。ただし、処理部６２０で計算する力覚提示情報は駆動パターンや力、トルクがパルス状であることが好ましい。また、干渉によって現実に知覚する力覚方向と、仮想的に提示する力覚方向が異なる可能性があり、それを解決するため、ユーザが使用する前に訓練などで、代替提示を知覚させる行程が必要である。

このように構成例５によって、仮想物体と仮想工具との干渉の力覚提示だけでなく、ボルトを挿入させときに知覚するコツッ感も提示することが可能となり、より現実感のある力覚提示を可能とする。更には、仮想的に表示した製品内部に治工具を挿入したときの組立やメンテナンスなどの作業性の検証効率がさらに向上する。

（構成例６）
図３０は仮想現実感や複合現実感によって、仮想物体の画像を表示し、さらに仮想工具を把持した手（仮想把持モデル）を表示したイメージ図である。一例として、仮想物体上のめねじに対して、ドライバ先端のビスを締めたり緩めたりすることを想定する。この場合、仮想物体の画像表示だけでは作業性を把握することが難しい。しかしながら、仮想工具を用いて実際にボルト締めの操作を模擬的に行えば作業性の評価検証を行うことができる。さらに、仮想工具に力覚の提示機能を持たせることで、ボルト締めの操作感を提示することが可能になり、工具が入るかどうか、あるいはボルト締めの操作が可能な空間があるかどうかを、より正確に検証することができる。本構成例は実際に工具を使用する際の操作感を提示できることが大きな特徴である。

本構成例で仮想的に取り扱う工具とはドライバなどのように、一方の手で、一方の手でビスを押さえながらもう一方の手で、多指で包み込むように把持して使用する工具を指す。このような工具を模した力覚提示装置は、構成例１と同様に図２０の下欄に示される力覚提示装置２ｂと同様である。このため、上記の構成と同様の部分については説明を省略し、相違する部分についてのみ説明を行う。

図２０において、構成例６の干渉判定部は、力覚提示装置１が模している仮想工具先端の仮想ビスと、仮想めねじとの干渉（挿入）を判定する。そして、以下説明する力覚提示では仮想工具先端の仮想ビスと仮想めねじが干渉（挿入）している状態である。あるいは、工具が作用する物体（仮想ビス）と力覚提示装置１の固定部２が干渉している状態である。すなわちビス締め、緩めが可能である状態であることを前提とする。

ユーザはこの力覚提示装置１に対して、ビスを押さえる手に相当する手で固定部２を把持し、力覚提示部３の固定部２とは反対側をもう一方の手で包み込むように把持する。力覚提示装置１を把持した状態を図３１に示す。図３１は、左手の指先で固定部２を掴み、右手の多指で力覚提示部３を包み込むように把持している状態を示す図である。

次に、仮想的なビスを締めたり、緩めたりすると言った工具操作の力覚提示方法について図３１を用いて説明する。まず、ビスを締めるとき、図３１において、右手の指先で力覚提示部３を楔形の矢印方向にまわす。反対に、仮想的なビスを緩めるときは力覚提示部３を三角形の矢印方向にまわす。以下、仮想的なビスを締めるときを想定して工具操作の力覚提示について説明するが、緩めるときは方向を反対にすれば良い。例えばアクチュエータ５にＤＣモータを使用している場合、処理部６２０が計算する力覚提示情報は指先が力覚提示部３を回転させる方向と同方向へ、そして回転速度よりも遅い速度で力覚提示部３を駆動させる（図３２上図）。そうすると、アクチュエータ５が発生する抵抗力によって、図３１の楔形矢印方向にビスを締める力覚を提示させることができる。ＡＣモータ、ステッピングモータ、静電モータ、超音波モータを用いている場合も同様である。あるいは、処理部６２０が計算する力覚提示情報は、指先が力覚提示部を回転させる方向と逆方向へ、指先のまわす力、トルクよりも小さな力、トルクで力覚提示部３を駆動させて抵抗力を出力し、ビスを締める力覚を提示させても良い（図３２下図）。なお、図３２は、アクティブ制御型のアクチュエータを模式的に示す図である。

また、アクチュエータ５にブレーキやクラッチを使用する場合には、力覚提示部３が固定部２に対して指でまわせる程度にディスクの密着を緩め、摩擦による抵抗力を提示する（図３３上図）。そして、アクチュエータ５にＥＲ流体を使う場合は電極間の電界強度を、ＭＲ流体を使用する場合は磁界強度を弱め、力覚提示部３が固定部２に対して指でまわせる程度に、ＥＲ流体やＭＲ流体が電極などの壁面に生じるせん断力を制御する。そして、その摩擦による抵抗力を出力し、ビスを締める力覚を提示させても良い（図３３下図にＥＲ流体の場合を記載）。なお、図３３は、パッシブ制御型のアクチュエータを模式的に示す図である。

以上説明した力覚提示装置およびその力覚提示方法を複合現実感（ＭＲ; Mixed reality）に組み込んだシステム構成について、図３４を用いて説明する。図３４は、力覚提示装置を複合現実感システムに組み込むときのシステム構成を例示する図である。

図３４において、演算処理部７は、コンピュータなどの計算機から構成される。演算処理部７はその内部にＣＰＵ７０１、ＲＡＭ７０２、画像出力装置７０３、システムバス７０４、ディスク装置７０５、入力装置７０６、画像入力装置７０７を備える。

ＣＰＵ７０１は、力覚提示のための干渉判定部６３０（不図示）と、力覚を計算する処理部６２０（不図示）と、画像処理を制御する機能を持つ。ＣＰＵ７０１はシステムバス７０４に接続され、力覚提示用のアクチュエータ５を制御する制御部６１０と、ＲＡＭ７０２、画像出力装置７０３、ディスク装置７０５、入力装置７０６、画像入力装置７０７と相互に通信することが可能である。

力覚提示のための制御部６１０は力覚提示装置１のアクチュエータ５の駆動情報を伝えるもので、ＣＰＵ７０１上で実行される干渉判定部６３０（不図示）および処理部６２０（不図示）からの情報はシステムバス７０４を介して制御部６１０へ伝えられる。

ＲＡＭ７０２は、メモリ等の主記憶装置によって実現される。ＲＡＭ７０２は、システムバス７０４を介して、干渉判定プログラム、力覚計算プログラム、画像処理プログラムのプログラムコードやプログラムの制御情報、画像入力装置７０７から入力した実写画像データを一時的に保持する。そのほか、ＣＧモデルや配置情報などの仮想空間データ、センサ計測値、センサ較正データ等の各種データを一時的に保持する。仮想空間データには、仮想物体モデルや工具把持モデル、仮想指標のＣＧモデルがある。さらに、仮想空間内に配置される位置・姿勢情報も含まれている。

画像出力装置７０３は、グラフィックスカードなどの機器によって実現される。一般的に、画像出力装置７０３は不図示のグラフィックスメモリを保持している。ＣＰＵ７０１上で実行されるプログラムによって生成された画像情報は、システムバス７０４を介して、画像出力装置７０３が保持するグラフィックスメモリに書き込まれる。画像出力装置７０３は、グラフィックスメモリに書き込まれた画像情報を適切な画像信号に変換して表示装置８０１に送出する。グラフィックスメモリは必ずしも画像出力装置７０３が保持する必要はなく、ＲＡＭ７０２がグラフィックスメモリの機能を実現してもよい。

システムバス７０４は、演算処理部７を構成する各機器が接続され、上記機器が相互に通信するための通信路である。

ディスク装置７０５は、ハードディスクやＲＯＭ等の補助記憶装置によって実現される。ディスク装置７０５は、力覚レンダリングのためのプログラムコードや、画像処理プログラムのプログラムコード、各プログラムの制御情報、仮想空間データ、センサ較正データ、仮想物体モデル、工具把持モデルなどを格納する。なお、力覚レンダリングのためのプログラムコードには、例えば、干渉判定プログラム、力覚計算プログラムが含まれる。

入力装置７０６は、各種インターフェース機器によって実現される。演算処理部７の外部に接続された機器からの信号をデータとして入力し、システムバス７０４を介して、ＲＡＭ７０２にデータを書き込む。また、入力装置７０６はキーボードやマウスなどの機器を備え、本装置のユーザ（操作者）からの操作入力を受け付ける。

画像入力装置７０７は、キャプチャカードなどの機器によって実現される。撮像装置８０２から送出される実写画像を入力し、システムバス７０４を介して、ＲＡＭ７０２に画像データを書き込む。なお、表示装置８０１に光学シースルー型の表示装置を用いる場合には、画像入力装置７０７は具備しなくてもよい。

頭部装着部８は、本実施形態のシステムを体験するために、本装置のユーザが頭部に装着するビデオシースルー型ＨＭＤなどによって実現される。頭部装着部８は表示装置８０１、撮像装置８０２、位置姿勢センサ８０３から構成される。本実施形態では、頭部装着部８を構成する装置をユーザが頭部に装着しているが、ユーザが複合現実感を体験できる形態であれば、頭部装着部８は必ずしもユーザが装着する必要はない。

表示装置８０１は、ビデオシースルー型ＨＭＤに備えられるディスプレイによって実現される。表示装置８０１は画像出力装置７０３から送出される画像信号を表示し、本装置のユーザに複合現実感映像を提示するために用いられる。表示装置８０１は頭部装着部８を構成する装置であるが、必ずしもユーザが装着する必要はない。ユーザが映像を確認することができる手段であれば、例えば表示装置８０１として据え置き型のディスプレイ装置を用いてもよいし、手持ち型のディスプレイを用いてもよい。

撮像装置８０２は、ＣＣＤカメラなどの１つ以上の撮像装置によって実現される。撮像装置８０２は本装置のユーザの視点から見た現実世界の実写画像を撮像するために用いられる。そのため、撮像装置８０２はユーザの頭部の中でも視点位置に近い場所に装着することが望ましいが、ユーザの視点から見た画像が取得できる手段であれば、これに限定されない。また、ハーフミラーやプリズムなどを用いて撮像装置８０２の光軸と、表示装置８０１の中心軸を一致させてもよい。撮像装置８０２が撮像した実写画像は、（アナログ信号もしくはＩＥＥＥ１３９４規格のデジタル信号などからなる）画像信号として画像入力装置７０７に送出される。なお、表示装置８０１に光学シースルー型の表示装置を用いる場合には、本装置のユーザは表示装置８０１を通して現実世界を直接観察することになるため、撮像装置８０２は具備しなくてもよい。

位置姿勢センサ８０３は、本装置を利用するユーザの視点（位置姿勢センサ８０３）および力覚提示装置１の位置・姿勢を計測し、演算処理部７の入力装置７０６に送出する。位置姿勢センサ８０３は、例えば磁気センサや、加速度センサとジャイロ、赤外線センサを含む光学式センサなどからなる位置姿勢計測装置によって実現される。なお、この位置姿勢センサ８０３は、力覚提示装置１を回す角速度（速度）を測定するためのセンサと兼ねても良い。

ユーザは力覚提示装置１を把持して使用する。力覚提示装置１内のポジショニングセンサ５５０は例えばエンコーダで、このポジショニングセンサ５５０から、固定部２と力覚提示部３の相対的な位置姿勢を計測し、演算処理部７の入力装置７０６に送出する。

このように、構成例６で説明した力覚提示装置１およびその力覚提示方法によって、操作範囲の広い力覚提示を可能にする。さらに、その着脱はわずらわしくなく、操作時の違和感を軽減することも可能となり、小型、軽量化も可能となる。また、複合現実感システムに組み込むことによって、実際に工具を用いてビスを締めたり、緩めたりするときの力覚を提示することが可能となり、画像の表示と併せることで現実感が増大する。更には、仮想的に表示した製品内部に治工具を挿入したときの組立やメンテナンスなどの作業性の検証効率が向上する。これは複合現実感に限定されず、仮想現実感（ＶＲ; Virtual reality）に適用しても同様の効果が得られる。

（構成例７）
構成例６では、ビスを仮想的に締めたり緩めたりするときの工具操作の力覚を提示する力覚提示装置およびその力覚提示方法について説明した。構成例７では、ビスを仮想的に締めたり緩めるスペースがあるか検証するための干渉の力覚提示について説明する。

工具を使ってビスをまわすとき、ユーザの手（工具把持モデル）と仮想物体との干渉および干渉深度を干渉判定部６３０で計算する。つまり、ユーザが多指で力覚提示部３を包み込んで把持する手（図３１における右手）で工具に模した力覚提示装置１をまわしたときの、その手と仮想物体との干渉、干渉深度が計算される。そして、処理部６２０はその干渉に応じて力覚提示情報を求め、制御部６１０はアクチュエータ５を駆動させる。現実に手と物体が干渉したときは、それ以上工具をまわすことができないので、それと同様に、力覚提示部３が固定部２に対してまわらないようにアクチュエータ５を駆動制御する。

例えばアクチュエータ５にＤＣモータやＡＣモータ、ステッピングモータを使用している場合は、エンコーダを搭載し、そのエンコーダの出力値が所定のトレランス内に保つようサーボ制御を行い、力覚提示部３を固定部２に対してまわさない。またアクチュエータ５に静電モータを使用する場合は電極間に、超音波モータを使用する場合はステータとロータ間に与圧をかける。与圧はステータの一部に磁石を設け、磁力によるもので良い。そのとき、力覚提示部３を手でまわす力よりも、与圧とそれらの接触面積から生じる摩擦力が大きくなるようにする。そして、駆動を停止させることによって摩擦力で力覚提示部３を固定部に対してまわさない。さらにアクチュエータ５にブレーキやクラッチを使用する場合にはディスク同士を密着状態にして、摩擦力を大きくして力覚提示部３を固定部に対してまわさない。そして、アクチュエータ５にＥＲ流体を使う場合は電極間の電界強度を、ＭＲ流体を使用する場合は磁界強度を強くする。それらの強度はＥＲ流体やＭＲ流体の種類や電極間の間隙によって決まる。そのとき、指で力覚提示部３をまわす力よりも抵抗力が大きくなるような電界強度、磁界強度にしてＥＲ流体やＭＲ流体が電極などの壁面に生じるせん断力を大きくさせ、力覚提示部３を固定部に対してまわさない。このようにアクチュエータ５の駆動制御によって力覚提示部３を固定部３に対してまわさないことによって、手と仮想物体とが干渉している力覚を提示させる。

また、干渉深度に応じて、反力として提示させても良い。そのとき、アクチュエータ５はアクティブ制御が可能である必要がある。このため、油空圧アクチュエータや、ソレノイド、ＤＣモータ、ＡＣモータ、ステッピングモータ、リニアモータ、静電モータ、超音波モータ、高分子アクチュエータ、形状記憶合金の内、少なくともいずれかのアクチュエータを用いる。そして好ましくは仮想物体と干渉した手（工具把持モデル）の位置をユーザに知覚させるとさらに良いので、駆動軸は力覚提示装置１の長手方向の軸に対して首振り方向や、垂直方向を設けると良い。図３５は力覚提示装置１の長手方向の軸に対して首振り方向の駆動軸を設けた場合の干渉の力覚提示を説明する図である。そして、仮想物体と干渉した手（工具把持モデル）の位置の方向へ力覚提示部３を干渉深度に応じて駆動させる。そのときの力覚提示情報は駆動方向だけでなく、駆動量や速度、力、トルクの駆動情報が必要である。

また、力覚提示部３の駆動方向の基準を設けるため、さらに固定部２を手や掌に対して拘束力を上げるため、固定部２に指輪を設ける。あるいは把持領域を握りやすくするために凹凸を設ける、または把持するときの目印となるマークを設けても良いが、図３５ではいずれも不図示とした。さらに、把持するときに目印とする位置へ力覚提示部３を駆動させておいても良い。

なお、干渉によって現実に知覚する力覚方向と、仮想的に提示する力覚方向が異なるため、それを解決するため、ユーザが使用する前に訓練などで、代替提示を知覚させる行程が必要である。したがって、ユーザに代替提示を知覚する行程を経ていれば、干渉の力覚提示方向は仮想物体と干渉した手（工具把持モデル）の位置の方向に限定されず、仮想物体と干渉した手（工具把持モデル）の位置の反対側に駆動させても良い。

このように構成例７によって、仮想物体と干渉した手（工具把持モデル）との干渉の力覚提示が可能となり、より現実感のある力覚提示が可能となる。更には仮想的に表示した製品内部に治工具を挿入したときの組立やメンテナンスなどの作業性の検証効率がさらに向上する。

＜＜第３の実施形態＞＞
第１の実施形態と第２の実施形態においては、力覚提示部３が、図１５(a)に示すように、力覚提示装置１の長手方向の軸に対して首振り方向に駆動する場合について例示的に説明してきた。しかしながら駆動軸はこれに限定されない。例えば、以下の方向に駆動してもよい。
・図１５（ｂ）：力覚提示装置１の長手方向の軸まわり（θ）の方向。
・図１５（ｃ）：力覚提示装置１の長手方向軸と直交する方向。
・図１５（ｄ）：力覚提示装置１の長手方向。
さらに、これらを組み合わせることによって、力覚提示装置１の自由度を最大で６自由度にすることができる。なお、図１５は、力覚提示装置の自由度を模式的に示す図である。

この駆動を実現するアクチュエータは第１の実施形態で説明したものを用いることができる。例えば、エアシリンダなど油空圧アクチュエータやソレノイドは、機構部品を減らす目的で、図１５(d)のような力覚提示装置１の長手方向の駆動において好適に用いることができる。また、モータ（ＤＣサーボモータ、ＤＣモータ、ＡＣモータ、ステッピングモータ、リニアモータ、静電モータ、超音波モータ）はギアなど機械要素部品やリンク機構との組み合わせることによって、全６軸の駆動が可能となる。

多自由度超音波モータや高分子アクチュエータ、形状記憶合金などダイレクト駆動が可能なアクチュエータは曲げ方向の駆動特性に優れているため、図８や図９で説明した通り、図１５(a)のような長手方向の軸に対して首振りの方向の駆動が好ましい。ただし、図８で説明した多自由度超音波モータは、図１５(b)のような力覚提示装置１の長手方向の軸まわり（θ）の方向にも駆動が可能である。

このように、各軸ごとにアクチュエータを選定し、駆動させる。例えば、図１５(a)のような長手方向の軸に対して首振りの方向の駆動と、図１５(b)のような力覚提示装置１の長手方向の軸まわり（θ）の方向には、図８で説明した多自由度超音波モータを用いる。さらに図１５(c)の力覚提示装置１の長手方向軸と直交する方向や、図１５(d)の力覚提示装置１の長手方向には、ＤＣサーボモータと機械要素、リンク機構によって駆動させる。

以上のように複数の、複数種類のアクチュエータを用いることによって、最大６自由度の力覚提示が可能となる。なお、ここで説明した駆動軸とアクチュエータの組み合わせは一例であり、その組み合わせは任意である。

＜＜第４の実施形態＞＞
第１の実施形態で複合現実感や仮想現実感に力覚提示装置１を適用するシステム構成について、詳細に説明した。しかし、力覚提示装置１が適用できるシステムはこれだけに限定されない。例えば、把持した手に力覚を提示しながら持ち歩くことによって、主に盲人の歩行ナビゲーションシステムにも適用できる。図１６を用いて歩行ナビゲーションシステムについて説明する。図１６は、力覚提示装置１が適用された歩行ナビゲーションシステムを模式的に示す図である。

図１６において、演算処理部７はコンピュータなど計算機から構成される。演算処理部７はその内部にＣＰＵ７０１、ＲＡＭ７０２、画像出力装置７０３、システムバス７０４、ディスク装置７０５、入力装置７０６、画像入力装置７０７を備える。

ＣＰＵ７０１はユーザの位置に基づき、希望する場所へ誘導する経路を計算するプログラムを実行する。ＣＰＵ７０１はシステムバス７０４に接続され、力覚提示用のアクチュエータを制御する制御部６１０と、ＲＡＭ７０２、ディスク装置７０５、入力装置７０６と相互に通信することが可能である。

力覚提示のための制御部６１０は、力覚提示装置１のアクチュエータの駆動情報を伝えるものであり、ＣＰＵで計算した経路の方向へ力覚提示装置１内のアクチュエータを駆動する。ＲＡＭ７０２は、メモリ等の主記憶装置によって実現される。ＲＡＭ７０２は、システムバス７０４を介して、誘導経路を計算するプログラムのプログラムコードや、ディスク装置７０５に格納されている地図データ、力覚提示装置１あるいは手の姿勢位置センサ８０３からの情報の計測値などを一時的に保持する。

システムバス７０４は、演算処理部７を構成する各機器が接続され、上記機器が相互に通信するための通信路である。ディスク装置７０５はハードディスクやＲＯＭ等の補助記憶装置によって実現される。ディスク装置７０５は経路計算のためのプログラムコードや、力覚提示装置１あるいは手の姿勢位置センサ８０３からの情報から、力覚提示装置１の位置や姿勢を求めるプログラムコードや、地図データなどを格納する。

入力装置７０６は、各種インターフェース機器によって実現される。演算処理部７の外部に接続された機器からの信号をデータとして入力し、システムバス７０４を介して、ＲＡＭ７０２にデータを書き込む。また、入力装置７０６はキーボードやマウスなどの機器を備え、本装置のユーザ（操作者）からの操作入力を受け付ける。位置姿勢センサ８０３は、ＧＰＳセンサやジャイロなどからなる位置姿勢計測装置によって実現する。

ユーザは力覚提示装置１を把持して使用する。力覚提示装置１内のポジショニングセンサ５５０は例えばエンコーダで、このポジショニングセンサ５５０から、固定部２と力覚提示部３の相対的な位置姿勢を計測し、演算処理部７の入力装置７０６に送出する。そして、力覚提示装置１は把持したユーザの掌に対して、誘導する進路方向へ力覚を提示するよう、制御部６１０はアクチュエータを駆動させる。

なお、第１の実施形態において、説明した通り、力覚提示装置１の位置基準を求める必要がある。その方法は図１１を用いて説明した通り、図１１(a)のように固定部２に指輪２０１を設ける方法が有効である。その他、図１１(b)のように、固定部２や力覚提示部３の表面に指型の凹凸をつけ、その指型に沿って指がフィットするように把持させても良い。さらに、固定部２や力覚提示部３の表面にマーク（目印）をつけ、例えばそのマークが人差し指と中指の付け根に接触するよう把持させても良い。また、図１１(c)のように、力覚提示装置１を把持する前にアクチュエータで初期駆動（把持位置へ駆動）させておき、例えば、力覚提示部３の一方が親指と人差し指の付け根、もう一方が小指の付け根に接触するよう把持させても良い。

以上の構成によって、本実施形態に係る力覚提示装置１はナビゲーションシステムにも使用することが可能となる。即ち、力覚提示装置１による力覚の提示によって、道案内を行うことが可能となる。

仮想現実感や複合現実感によって、仮想物体の画像を表示し、さらに仮想工具を把持した手を表示したイメージ図である。 実物体と実工具との干渉によりトルクが発生する様子を模式的に示す図である。 工具が物体に偏当たりしてトルクが発生する様子を模式的に示す図である。 工具が物体に平行に干渉した場合に反力が発生する様子を模式的に示す図である。 力覚提示装置の構成を模式的に示す図である。 エアシリンダを用いて構成された力覚提示装置を模式的に示す図である。 ＤＣサブモータを用いて構成された力覚提示装置を模式的に示す図である。 多自由度超音波モータを用いて実現された力覚提示装置を模式的に示す図である。 高分子アクチュエータを用いて実現された力覚提示装置を模式的に示す図である。 複合現実感のシステム構成を模式的に示すブロック図である。 力覚提示装置の位置基準を求める方法を模式的に示す図である。 力覚提示装置の把持スタイルを模式的に示す図である。 力覚提示装置の構成を示す図である。 ドライバを把持した状態と、力覚提示装置を把持した状態を示す図である。 力覚提示装置の自由度を模式的に示す図である。 力覚提示装置が適用された歩行ナビゲーションシステムを模式的に示す図である。 従来例の構成を示す図である。 従来例の構成を示す図である。 ユーザが手で工具を把持するスタイルを例示する模式図である。 把持スタイルに応じて設計された力覚提示装置の構成を例示する模式図である。 力覚を提示する様子を把持スタイル毎に例示する模式図である。 仮想工具が仮想物体と干渉したときに力覚を提示する構成を示す模式図である。 手が仮想物体と干渉したときに力覚を提示する様子を模式的に示す図である。 仮想現実感や複合現実感によって、仮想物体の画像を表示し、さらに仮想工具を把持した手を表示したイメージ図である。 力覚提示装置を把持した状態を示す図である。 アクティブ制御型のアクチュエータを模式的に示す図である。 パッシブ制御型のアクチュエータを模式的に示す図である。 力覚提示装置を組み込んだ複合現実感のシステム構成を模式的に示す図である。 作業性検証と力覚提示の方法を示す図である。 仮想現実感や複合現実感によって、仮想物体の画像を表示し、さらに仮想工具を把持した手を表示したイメージ図である。 左手の指先で固定部を掴み、右手の多指で力覚提示部を包み込むように把持している状態を示す図である。 アクティブ制御型のアクチュエータを模式的に示す図である。 パッシブ制御型のアクチュエータを模式的に示す図である。 力覚提示装置を複合現実感システムに組み込むときのシステム構成を例示する図である。 力覚提示装置の長手方向の軸に対して首振り方向の駆動軸を設けた場合の干渉の力覚提示を説明する図である。

Claims (12)

1. 仮想空間において使用されるデバイスの力覚をユーザに提示する力覚提示装置であって、
   前記ユーザにより把持される固定部と、
   前記ユーザに対して力覚を提示するための力覚提示部と、
   駆動力を前記力覚提示部に供給し、前記力覚提示部を前記固定部に対して相対動作させることにより、前記ユーザに対して力覚を提示するアクチュエータと、
   前記固定部と前記力覚提示部との間に設けられ、前記力覚提示部の前記相対動作を案内する関節部と、
   前記アクチュエータによる前記力覚提示部の前記相対動作を制御する力覚レンダリング部と、
   を備え、
   前記力覚レンダリング部は、前記仮想空間における前記力覚提示装置の位置姿勢に基づいて前記力覚提示部の前記相対動作を制御する
   ことを特徴とする力覚提示装置。
2. 前記アクチュエータは、
   前記力覚提示部を、当該力覚提示装置の長手方向の軸に対して、首振り方向と、軸回り方向と、直交する方向と、平行する方向と、の少なくともいずれかに相対動作させる
   ことを特徴とする請求項１に記載の力覚提示装置。
3. 前記固定部は、前記ユーザが当該力覚提示装置を把持するときに基準とするための、指輪と、指型の凹凸と、マークと、の少なくともいずれかを備える
   ことを特徴とする請求項１もしくは２に記載の力覚提示装置。
4. 前記力覚レンダリング部は、
   前記仮想空間における仮想物体と、前記力覚提示装置と、の干渉を判定する干渉判定手段と、
   前記干渉判定手段において判定された前記干渉に基づいて提示する力覚を計算する力覚計算手段と、
   計算された前記力覚に基づいて前記アクチュエータの駆動情報を計算し、当該駆動情報に基づいて、前記アクチュエータによる前記力覚提示部の前記相対動作を制御する制御手段と、
   を備えることを特徴とする請求項１乃至３のいずれか１項に記載の力覚提示装置。
5. 前記仮想空間における仮想物体と前記力覚提示装置との前記仮想空間における相対的な位置姿勢を計測する計測手段を更に備え、
   前記力覚レンダリング部は、更に、前記計測手段において計測された前記位置姿勢に基づいて前記力覚提示部の前記相対動作を制御する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の力覚提示装置。
6. 前記計測手段において計測された前記位置姿勢に基づいて、前記仮想物体と前記力覚提示装置の前記仮想空間における位置姿勢とを示す画像を、表示手段に出力する画像出力手段を更に備えることを特徴とする請求項５に記載の力覚提示装置。
7. 前記仮想物体は、仮想的なねじ部材であり、
   前記力覚レンダリング部は、工具を用いて前記ねじ部材の螺合に係る操作の際の力覚を仮想的に提示するための制御を行う
   ことを特徴とする請求項５もしくは６に記載の力覚提示装置。
8. 前記仮想物体は、仮想的なめねじ部材であり、
   前記力覚レンダリング部は、レンチを用いてねじ部材の螺合に係る操作の際の力覚を仮想的に提示するための制御を行う
   ことを特徴とする請求項５乃至７のいずれか１項に記載の力覚提示装置。
9. 前記力覚レンダリング部は、前記ユーザにより当該力覚提示装置が動かされる方向とは反対方向に前記力覚提示部を相対動作させる
   ことを特徴とする請求項１乃至８のいずれか１項に記載の力覚提示装置。
10. 前記力覚レンダリング部は、前記ユーザにより当該力覚提示装置が動かされる速度に基づいて前記相対動作を制御する
    ことを特徴とする請求項９に記載の力覚提示装置。
11. 仮想空間において使用されるデバイスの力覚をユーザに提示する力覚提示装置と、情報処理装置と、表示装置と、を備える複合現実感システムであって、
    前記力覚提示装置は、
    ユーザにより把持される固定部と、
    前記ユーザに対して力覚を提示するための力覚提示部と、
    駆動力を前記力覚提示部に供給し、前記力覚提示部を前記固定部に対して相対動作させることにより、前記ユーザに対して力覚を提示するアクチュエータと、
    前記固定部と前記力覚提示部との間に設けられ、前記力覚提示部の前記相対動作を案内する関節部と、
    を備え、
    前記アクチュエータによる前記力覚提示部の前記相対動作を制御する力覚レンダリング部と、
    前記仮想空間における仮想物体と前記力覚提示装置との前記仮想空間における相対的な位置姿勢を計測する計測手段と、
    前記計測手段において計測された前記位置姿勢に基づいて、前記仮想物体と前記力覚提示装置の前記仮想空間における位置姿勢とを示す画像を、前記表示手段に出力する画像出力手段と、
    を備え、
    前記力覚レンダリング部は、前記計測手段において計測された前記位置姿勢に基づいて前記力覚提示部の前記相対動作を制御する
    ことを特徴とする複合現実感システム。
12. 記憶手段から地図情報を読み出す読出手段を更に備え、
    前記力覚レンダリング部は、
    前記計測手段において計測された前記位置姿勢と、前記地図情報とに基づいて、前記ユーザを誘導する誘導経路を計算し、当該誘導経路に基づいて前記相対動作を制御する
    ことを特徴とする請求項１１に記載の複合現実感システム。

Images