JP5342354B2 - 力覚提示装置及び力覚提示プログラム - Google Patents

Description

本発明は、力覚提示装置及び力覚提示プログラムに係り、特にユーザは仮想物体に対して実物体を触察しているような、より自然な触感覚を得るための力覚提示装置及び力覚提示プログラムに関する。

従来、ハプティック（Ｈａｐｔｉｃ）な仮想物体を提示する力覚提示装置では、ユーザの操作に応じて仮想物体の位置情報を検出し、検出した仮想物体の位置情報と、ユーザの仮想空間における指の位置情報等に応じて反力等を取得し、物理乗数を指等にフィードバックして提示する。また、上述の反力の提示方法としては、例えばワイヤの張力・空気圧・回転体の慣性モーメント等を利用したものが開発されている（例えば、非特許文献１参照。）。

例えば、非特許文献１に示されている力覚提示デバイス“ＰＨＡＮＴｏＭ”は、指先と仮想物体とのインタラクションが１点で行われる点接触型のハプティック提示装置であり、ユーザの指先の動きに応じた力覚情報を６つの自由度を有するアーム型のアクチュエータでフィードバックさせている。

また、従来の力覚提示装置では、仮想物体との接触を直接的に手の感覚としてユーザに感じさせるために、例えば指サックやペン型スタイラス等のタイプも存在する。また、他の方式としては、例えば複数の並列アクチュエータを連結して反力を伝えるパラレルメカニズムの“Ｈａｐｔｉｃ Ｍａｓｔｅｒ”がある（例えば、非特許文献２参照。）。なお、上述した“ＰＨＡＮＴｏＭ”や“Ｈａｐｔｉｃ Ｍａｓｔｅｒ”は、既に製品化されているものである。

更に、複数の指で物体を持つ感覚を与える多指型の力覚提示装置として、例えばワイヤを用いた“ＳＰＩＤＡＲ”が開発されている（例えば、非特許文献３参照。）。また、手全体を覆うように装着して各指に力覚を提示する外骨格型と呼ばれる方式として、例えば“Ｃｙｂｅｒ Ｆｏｒｃｅ”が製品化されている（例えば、非特許文献４参照。）。

また、ロボットハンドをベースとした多指の力覚提示デバイスでは、アームと指がユーザの腕と指の動きに連動して動き反力を提示する“ＨＩＲＯ ＩＩＩ”が研究されている（例えば、非特許文献５参照。）。更に、上述した“ＰＨＡＮＴｏＭ”を２台並べて配置した方式等も用いられている。

上述したような多指型力覚提示装置を用いることで、何れも仮想物体を複数の指で把持したり、なぞるような触察を可能とする。

Ｔ．Ｈ．Ｍａｓｓｉｅ，Ｊ．Ｋ．Ｓａｌｉｓｂｕｒｙ："Ｔｈｅｐｈａｎｔｏｍｈａｐｔｉｃｉｎｔｅｒｆａｃｅ：Ａｄｅｖｉｃｅ ｆｏｒ ｐｒｏｂｉｎｇ ｖｉｒｔｕａｌｏｂｊｅｃｔｓ，"ｐｒｏｃ．ＡＳＭＥ ＨａｐｔｉｃＩｎｔｅｒｆａｃｅｓ ｆｏｒ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ ａｎｄ Ｔｅｌｅｏｐｅｒａｔｏｒ ＳｙｓｔｅｍｓＩｎ Ｄｙｎａｍｉｃ Ｓｙｓｔｅｍｓ ａｎｄ Ｃｏｎｔｒｏｌ１９９４，ｖｏｌ．１，ｐｐ．２９５−３０１（１９９４）． 浅野，矢野，岩田："フォースディスプレイを用いた仮想環境における手術シミュレーションの要素技術開発，"ＶＲ学大，ｐｐ．９５−９８（１９９６）． 佐藤，平田，河原田："空間インタフェース装置ＳＰＩＤＡＲの提案，"信学論，Ｖｏｌ．Ｊ７４−Ｄ−ＩＩ，Ｎｏ．７，ｐｐ．８８７−８９４（１９９１）． ｈｔｔｐ：／／ｗｗｗ．ｉｍｍｅｒｓｉｏｎ．ｃｏｍ／３ｄ／ｐｒｏｄｕｃｔｓ／ Ｈ・Ｋａｗａｓａｋｉ ｅｔ ａｌ．："Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｆｉｖｅ−ｆｉｎｇｅｒｄ ｈａｐｔｉｃ ｉｎｔｅｒｆａｃｅ：ＨＩＲＯＩＩ，"ｐｒｏｃ．１５ｔｈＩｎｔ．Ｃｏｎｆ．ＡｒｔｉｆｉｃｉａｌＲｅａｌｉｔｙ＆Ｔｅｌｅｘｉｓｔｅｎｃｅ，ｐｐ．２０９−２１４（２００５）．

ところで、最近のバーチャルリアリティや高臨場感サービスの分野では、特に力覚提示装置等を使用して仮想物体を実物体に近い感覚でユーザに対して提示することが必要となっている。また、従来における多指型の力覚提示装置では、上述したように指先に対する反力をフィードバックすることで、仮想物体を触る感覚を再現している。

ここで、例えば、ある仮想物体を触察する場合に、面方向や辺の一方に沿って触察する時には実物体と同様な感覚が得られていた。しかしながら、その仮想物体を把持するような２つの異なる方向に沿って、その仮想物体の奥の方に辿って触察する場合には、その仮想物体と手掌とが何れ接触することになるが、手掌への力覚フィードバックがないため、実物体では手掌に接触した時点でそれ以上奥に進むことができないのに対し、仮想物体では手掌を通り過ぎて更に奥まで触察が可能となってしまい、実物体の触察ではありえない違和感を得るという大きな問題があった。

また、上述した“ＰＨＡＮＴｏＭ”のように仮想物体との接触部が指サックやペン型スタイラスの場合には、仮想物体を箸のような形状でなぞっている感覚となるため、手掌で物体を触察する感覚を得ることが困難であった。

本発明は、上述した問題点に鑑みなされたものであり、ユーザは仮想物体に対して実物体を触察しているような、より自然な触感覚を得るための力覚提示装置及び力覚提示プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、感覚伝達対象であるユーザの手の仮想空間上における位置情報と、前記仮想空間上に存在する仮想物体の位置情報とにより設定される力覚的負荷を前記ユーザの手に与えることで力覚を提示する力覚提示装置において、前記ユーザの手の少なくとも１本の指に対する位置情報を検出する指位置検出手段と、前記ユーザの手掌部の位置情報を検出する手掌部位置検出手段と、前記指位置検出手段により得られる指位置情報と、前記手掌部位置検出手段により得られる手掌部位置情報と、前記仮想物体の位置情報及び物体情報とに基づいて、前記指及び前記手掌部と前記仮想物体との前記仮想空間上の位置を比較する空間位置比較手段と、前記空間位置比較手段により得られる相互空間位置に基づいて前記指及び／又は前記手掌部に力覚的負荷を与える力覚提示手段と、前記相互空間位置に基づいて、前記仮想物体を把持する少なくとも２本の指を前記仮想物体の奥へ移動させた場合に、少なくとも前記手掌部に前記移動を拘束する力覚的負荷を与える制御情報を生成し、生成した制御情報を前記力覚提示手段に出力する力覚制御情報生成手段とを有することを特徴とする。

請求項１記載の発明によれば、ユーザは仮想物体に対して実物体を触察しているような、より自然な触感覚を得ることができる。

請求項２に記載された発明は、前記仮想物体を把持する少なくとも２本の指の位置情報に対する力覚提示において、前記少なくとも２本の指先の間隔を予め設定し、前記指先の間隔が設定された所定幅以上の場合に、前記手掌部に力覚的負荷を与える手掌部提示手段を有することを特徴とする。

請求項２記載の発明によれば、少なくとも２本の指先が仮想物体の奥の方向に移動して触察した場合に、手掌部を適切な距離で力覚提示を与えることができる。

請求項３に記載された発明は、前記手掌部に刺激を与える手掌部刺激手段と、前記少なくとも２本の指と指間を連結する支持軸と、前記手掌部及び前記少なくとも２本の指に対して前記支持軸の長さを一定とする支持回転手段と、前記手掌部刺激手段を所定位置に固定する手掌部刺激支持軸とを有することを特徴とする。

請求項３記載の発明によれば、少なくとも２本の指の位置と手掌部刺激手段の位置とを連動させて手掌部に対して適切に力覚提示することができる。

請求項４に記載された発明は、前記手掌部に刺激を与える手掌部刺激手段を有し、前記手掌部刺激手段は、前記手掌部に接触する接触部材を有し、前記接触部材に圧力又は振動を与えることにより、前記ユーザの手掌部に力覚的負荷を与えることを特徴とする。

請求項４記載の発明によれば、手掌部に刺激を与えることで、仮想物体を透過してしまう特異な現象を解消することができる。

請求項５に記載された発明は、感覚伝達対象であるユーザの手の仮想空間上における位置情報と、前記仮想空間上に存在する仮想物体の位置情報とにより設定される力覚的負荷を前記ユーザの手に与えることで力覚を提示する処理をコンピュータに実行させるための力覚提示プログラムにおいて、前記コンピュータを、前記ユーザの手の少なくとも１本の指に対する位置情報を検出する指位置検出手段、前記ユーザの手掌部の位置情報を検出する手掌部位置検出手段、前記指位置検出手段により得られる指位置情報と、前記手掌部位置検出手段により得られる手掌部位置情報と、前記仮想物体の位置情報及び物体情報とに基づいて、前記指及び前記手掌部と前記仮想物体との前記仮想空間上の位置を比較する空間位置比較手段、及び、前記空間位置比較手段により得られる相互空間位置に基づいて、前記仮想物体を把持する少なくとも２本の指を前記仮想物体の奥へ移動させた場合に、少なくとも前記手掌部に前記移動を拘束する力覚的負荷を与える制御情報を生成し、生成した制御情報を、前記指及び／又は前記手掌部に力覚的負荷を与える感覚伝達装置に出力する力覚制御情報生成手段として機能させる。

請求項５記載の発明によれば、ユーザは仮想物体に対して実物体を触察しているような、より自然な触感覚を得ることができる。また、実行プログラムをコンピュータにインストールすることにより、容易に力覚提示処理を実現することができる。

本発明によれば、ユーザは仮想物体に対して実物体を触察しているような、より自然な触感覚を得ることができる。

第１の実施形態における力覚提示装置の概要構成の一例を示す図である。 第１の実施形態における感覚伝達装置の機能構成の一例を示す図である。 第１の実施形態における力覚制御装置の機能構成の一例を示す図である。 第２の実施形態の原理を説明するための図である。 第３の実施形態における感覚伝達装置の構成の一例を示す図である。 本実施形態における力覚提示処理手順の一例を示すフローチャートである。

＜本発明について＞
本発明は、ハプティックに仮想物体（例えば、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）等）を提示する力覚提示装置において、実物体に近い触感覚をユーザが得ることができる提示方法に関し、主に２本以上の指（多指）による力覚提示を対象とし、更に手掌と接触する適切なサイズの刺激部と、その刺激部を駆動するアクチュエータ等を用いて、仮想物体や、実物体の空間情報で作成される仮想物体の情報に応じて指先への力覚的負荷による力覚フィードバックと共に、手掌に対しても圧刺激等の力覚的負荷による力覚フィードバックも与える力覚提示方法を提供する。

例えば、手掌を圧刺激する提示方法としては、指先への力覚フィードバックの他、手掌部の位置を検出し、検出位置に存在する仮想空間上の仮想物体の表面の位置情報等に応じた反力（押し返す力、反発力等）等の力覚的負荷をフィードバックする新たなアクチュエータを設け、そのアクチュエータの主軸に取り付けた手掌部刺激手段としての圧刺激ユニット（手掌伝達部）等により手掌部を圧刺激する（第１の提示方法）。

また、他の提示方法としては、例えば人間が物体を把持しながら触察する動作メカニズムを利用し、片手の親指と人差し指、親指と中指等、予め設定された物体を把持するために必要な２指間の指の開きに応じて、手掌圧刺激ユニットが手掌を圧刺激する機構を有し、擬似的に仮想物体を触知可能とする（第２の提示方法）。

更に、他の提示方式としては、例えばペン型や指サック型のように点接触型の力覚提示装置において、手掌部の圧刺激ユニットを付加することにより、指先への力覚フィードバックを手掌部への刺激に変換する（第３の提示方法）。

これにより、ハプティックに仮想物体を提示する力覚提示装置及び力覚提示プログラムにおいて、仮想物体の形状を、尖鋭な感覚を指先だけで感じるのではなく、手掌部全体で理解できるような錯力覚を引き起こすと共に、手掌部が仮想物体を通り抜ける現象をなくして、実物体により近い現実的な触感覚や把持感を得ることが可能となる。

なお、本発明においては、例えば指先及び手掌部の３次元座標系の位置情報と、予め設定された仮想物体の３次元座標系の位置情報とに基づいて力覚的負荷を与える際、更に仮想物体の表面形状、弾力（反力）、材質、質感、重さ、硬さ、柔らかさ等の物体情報に応じて力覚的負荷の与え方を異ならせることができる。つまり、仮想物体が鉄球の場合とゴムボールの場合とで、ユーザの指や手掌の位置情報における力覚的負荷の与え方を変えることで、より実物に近い感覚を得ることができる。

次に、上述したような特徴を有する本発明における力覚提示装置及び力覚提示プログラムを好適に実施した形態について、図面等を用いて詳細に説明する。

＜第１の実施形態＞
＜力覚提示装置：概要構成図＞
図１は、第１の実施形態における力覚提示装置の概要構成の一例を示す図である。図１に示す力覚提示装置１０は、感覚伝達装置２０と、力覚制御装置３０とを有するよう構成されている。なお、図１において、感覚伝達装置２０−１，２０−２は、ユーザの何れかの異なる指先に移動を拘束できる程度の反力等の力覚フィードバックを伝達する点接触型の装置であり、感覚を伝達する指には、例えば指サック等が装着される。また、感覚伝達装置２０−３は、手掌部刺激ユニットを実装した装置である。更に、感覚伝達装置２０−１〜２０−３は、ユーザの指や手掌から取得した位置情報を力覚制御装置３０に出力すると共に、力覚制御装置３０からの制御情報に基づいて所定の動作を行い、ユーザに感覚を伝達する。

ここで、上述した指用の感覚伝達装置２０−１，２０−２は、基台２１と、駆動部２２と、リンク機構２３と、指先伝達部２４とを有するよう構成されている。また、手掌用の感覚伝達装置２０−３は、上述の感覚伝達装置２０−１，２０−２と比較して指先伝達部２４の代わりに手掌伝達部２５を有するよう構成されている。

基台２１（２１−１〜２１−３）は、力覚提示装置１０における実空間上の所定の場所に設置されている。駆動部２２（２２−１〜２２−３）は、例えば基台２１に対して水平に０〜３６０度の回転駆動ができ、またリンク機構２３（２３−１〜２３−３）の軸を基台２１に対して垂直に０〜３６０度の回転駆動ができる。

なお、第１の実施形態における駆動部２２は、例えばモータやワイヤ機構、ロータリーエンコーダ等を用いることができる。また、リンク機構２３は、１以上のロッド（軸）で構成され、その一方は駆動部２２に接続されているため、基台２１の面に対して水平、垂直に０〜３６０度回転することができる。つまり、駆動部２２及びリンク機構２３により、基台２１を中心としてあらゆる方向への移動が可能となっている。

リンク機構２３は、指先伝達部２４や手掌伝達部２５と接続され、ユーザの指や手掌に対し、その指や手掌の位置情報と、予め設定される仮想物体の位置情報や上述した物体情報等とに応じて適切な反力等の力覚的負荷を与えるための動作を行う。

指先伝達部２４は、指先の位置情報と仮想物体の位置関係とに応じてその指先に対して何れかの方向に移動できなかったり、所定量の反力を与えたりすることで所定の力覚的負荷を与える。なお、図１に示す実施形態では、指先伝達部２４として、ユーザの２本以上の指（多指）に対して力覚フィードバック情報を伝達する指サック（ジンバル）等からなる。つまり、第１の実施形態では、指サックを例えばユーザの親指と人差し指に挿入し、仮想物体を把持するときの力覚情報（力覚的負荷）を提示する。なお、本発明においてはこの限りではなく、例えば手の５本の指のうち少なくとも１つに装着されていればよく、また両手を対象にして、左右の手に存在する指の少なくとも１つに装着されていてもよい。

手掌伝達部２５は、手掌の位置情報と仮想物体の位置関係や上述した物体情報とに応じて、その手掌に対して所定量の圧刺激等による所定の力覚的負荷を与える。また、手掌伝達部２５は、力覚フィードバック情報を伝えるアクチュエータ主軸を有し、その先端部には、手掌部に対して力覚的負荷を与える所定形状の手掌部刺激ユニットを有する。なお、その形状は、少なくとも点接触より大きい面積を有する実物体が好ましく、例えば樹脂系の弾性体でもよく、また木製や金属製でもよい。

なお、本明細書に示す実施形態における反力や圧刺激等の力覚的負荷としては、例えば仮想物体が硬い立方体である場合には、その仮想物体の表面の位置情報や物体情報に基づいて、ユーザの指や手掌部に対して仮想物体の表面の位置より内部への移動を拘束するような所定量の力覚的負荷を与える。また、仮想物体が柔らかい立方体の場合には、その仮想物体の表面の位置情報や物体情報に基づいて、ユーザの指や手掌部に対して仮想物体の表面の位置情報よりも内部に移動していくと、次第に移動が拘束されるような所定量の力覚的負荷を与える。なお、力覚的負荷としては、例えば圧力又は振動があるが、本発明においてはこれに限定されず、例えば電気信号、熱等の何らかの感覚による負荷が含まれる。

また、図１に示す感覚伝達装置２０−１〜２０−３は、ユーザに力覚を提示する対象となる指又は手掌の数に対応させて設置されているが、本発明においてはこの限りではなく、例えば１つの感覚伝達装置の指先伝達部に複数の指を装着し感覚を伝達してもよく、また、複数の感覚伝達装置で１つの指に対して感覚を伝達させてもよい。また、上述した本発明における手掌とは、指との結合部分を含む全体を示していてもよく、１又は複数の所定の領域又は点であってもよい。

力覚制御装置３０は、上述した各感覚伝達装置２０−１〜２０−３の各構成部を制御するものであり、各感覚伝達装置２０−１〜２０−３から得られる指先や手掌の位置情報を検出し、予め設定されている仮想物体との３次元における位置情報や物体情報と対応させて、反力情報等を取得する。また、力覚制御装置３０は、その反力に対応する負荷情報を生成し、生成した負荷情報によりそれぞれ対応する各感覚伝達装置２０−１〜２０−３を制御して、各指先伝達部２４−１〜２４−３を介してユーザに力覚的負荷を感覚として提示する。

なお、力覚制御装置３０は、図１に示すようなディスプレイ等の出力手段を有し、その画面上に３次元オブジェクト提示データとして仮想物体３１を表示すると共に、感覚伝達装置２０−１〜２０−３から得られる指及び手掌の位置情報に基づいて動作する仮想ハンド３２も画面に表示することができる。これにより、ユーザは視覚を通じて仮想空間における手の動作状況を的確に把握することができる。なお、上述した仮想物体３１は、立方体等の物に限定されず、例えば仮想空間上における壁や天井、地面等も含まれる。

＜感覚伝達装置２０：機能構成例＞
次に、上述した第１の実施形態における感覚伝達装置２０の機能構成例について図を用いて説明する。図２は、第１の実施形態における感覚伝達装置の機能構成の一例を示す図である。なお、図２は、図１に示した感覚伝達装置２０−１〜２０−３に対応するものであり、それぞれが力覚制御装置３０により制御されている。

図２に示すように、指用の感覚伝達装置２０−１，２０−２については、力覚提示出力制御手段４１と、力覚提示手段４２と、力覚提示位置検出手段４３とを有し、手掌用の感覚伝達装置２０−３については、手掌部提示出力制御手段４４と、手掌部提示手段４５と、手掌部提示位置検出手段４６とを有するよう構成されている。

力覚提示出力制御手段４１は、力覚制御装置３０からの仮想物体に対応する３次元オブジェクト提示データに基づいて、感覚伝達対象であるユーザの指先に力覚を伝達させるための制御情報を生成する。力覚提示出力制御手段４１は、生成した制御情報を力覚提示手段４２に出力する。

力覚提示手段４２は、力覚提示出力制御手段４１による制御情報に基づいて、指の移動する方向や強さに応じて、所定の反力を生じさせ、仮想物体を触手しているような感覚をユーザの指先に伝達させる。つまり、力覚提示手段４２は、ユーザに対して物体に触れた時に生じる物の性質や状態等の物体情報を感じさせるために位置情報に応じた駆動制御を行い、伝達対象である指に対する力覚を提示する。

力覚提示位置検出手段４３は、感覚伝達対象であるユーザの指先の位置情報を検出する指位置検出手段である。なお、位置情報は、実空間上の位置情報でもよく、またそれぞれの基台２１や予め設定された仮想空間上のある点を基準にした位置情報でもよい。また、位置情報は、指先の接触部或いは重心の位置の空間座標等からなる。更に、各感覚伝達装置２０−１〜２０−３は共通の座標系から位置情報を検出してもよく、それぞれが、別々の座標系から位置情報を検出してもよい。なお、別々の座標系を使用する場合には、各感覚伝達装置において、他の感覚伝達装置との相対位置情報等が力覚制御装置３０で管理され、それぞれの位置情報から手全体の位置が得られる。

また、力覚提示位置検出手段４３は、指位置情報を常に検出し、検出した指位置情報をリアルタイムに力覚制御装置３０に出力する。

また、感覚伝達装置２０−３における手掌部提示出力制御手段４４は、力覚制御装置３０からの３次元オブジェクト提示データに基づいて、ユーザの手掌部の情報を伝達させるための制御情報を生成する。

手掌部提示手段４５は、手掌部提示出力制御手段４４から得られる情報からユーザの手掌部の位置情報や移動方向に対して所定の反力を生じさせる手掌部用の力覚提示手段である。したがって、本実施形態における力覚提示手段は、感覚伝達対象であるユーザの指及び／又は手掌部に力覚的負荷を与える。

手掌部提示位置検出手段４６は、感覚伝達対象であるユーザの手掌部の位置情報を検出する手掌部位置検出手段である。なお、手掌部位置情報は、上述した指位置情報と同様に、実空間上の位置情報でもよく、またそれぞれの基台２１や予め設定された仮想空間上のある点を基準にした位置情報でもよい。また、位置情報は、手掌部の接触面或いは重心の位置の空間座標等からなる。

手掌部提示位置検出手段４６は、手掌部位置情報を常に検出し、検出した手掌部位置情報をリアルタイムに力覚制御装置３０に出力する。

＜力覚制御装置３０：機能構成例＞
次に、上述した第１の実施形態における力覚制御装置３０の機能構成例について図を用いて説明する。図３は、第１の実施形態における力覚制御装置の機能構成の一例を示す図である。図３に示す力覚制御装置３０は、入力手段５１と、出力手段５２と、蓄積手段５３と、位置検出手段５４と、３次元オブジェクト空間位置比較手段５５と、力覚制御情報生成手段５６と、画面生成手段５７と、送受信手段５８と、制御手段５９とを有するよう構成されている。

入力手段５１は、力覚制御装置３０のユーザ等から力覚制御指示や、３次元情報（仮想空間）表示指示、送受信指示等の力覚制御における各入力を受け付ける。なお、入力手段５１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。

出力手段５２は、入力手段５１により入力された指示内容や、各指示内容に基づいて生成された仮想空間や仮想物体、仮想ハンド、各種制御データ等の内容を表示したり、手の位置情報や操作内容等に対応した音声を出力する。なお、出力手段５２は、ディスプレイ等の画面表示機能やスピーカ等の音声出力機能等を有する。

蓄積手段５３は、送受信手段５８を介して外部装置等から受信した制御データ、感覚伝達装置２０からの指位置情報及び手掌部位置情報等、多数の仮想空間や仮想物体、仮想物体毎の物体情報、力覚制御装置３０内で実行した内容の各種データを蓄積することができる。なお、蓄積手段５３は、上述した各種データを通信ネットワーク等に接続された外部装置等から取得することもできる。

位置検出手段５４は、感覚伝達装置２０からの指位置情報及び手掌部位置情報を用いて、その伝達対象の各指、手掌部、又はそれらに対応する手全体の位置情報等を取得する。また、位置検出手段５４は、感覚伝達装置２０からの指位置情報及び手掌部位置情報を時間の経過と共に連続して取得し、以前の位置情報と比較することで、伝達対象の各指又は手掌部がそれぞれどの方向にどの速度で移動しているかを把握することができる。なお、位置検出手段５４は、感覚伝達装置２０から得られる位置情報が実空間における位置情報（３次元座標等）である場合には、予め設定された仮想空間上における位置情報（３次元座標等）に置き換えを行う。

３次元オブジェクト空間位置比較手段５５は、仮想空間上において予め設定した３次元オブジェクトである仮想物体の位置情報と、位置検出手段５４にて得られた位置情報とを比較して、どのような接触状態となっているかを取得する。

ここで、蓄積手段５３に蓄積された力覚提示対象である各仮想物体は、表面形状、弾力（反力）、材質、質感、重さ、硬さ、柔らかさ等の物体情報等が予め設定されている。そのため、３次元オブジェクト空間位置比較手段５５は、力覚提示対象である仮想物体の物体情報に併せて、例えばその仮想物体に対して各指又は手掌部がどの角度でどのように押しているか等の接触状態を、仮想物体と指先とにおける相互空間位置を比較して判断する。

力覚制御情報生成手段５６は、３次元オブジェクト空間位置比較手段５５から得られる相互位置情報に基づいて感覚伝達装置２０のそれぞれに対して力覚的負荷を与え、感覚をユーザの手の指及び／又は手掌部に伝達するための制御情報を生成する。

画面生成手段５７は、予め設定される力覚提示対象である仮想物体と、その物体に対するユーザの手（指及び手掌部）の位置とをディスプレイに表示するための画面を生成する。このとき、仮想物体が弾力性を有するものであれば、ユーザの指や掌の位置により、接触部分を凹ませて表示する等の制御を行う。これにより、ユーザは、３次元仮想空間上にユーザ自身の手と仮想物体とがディスプレイ上に表示されるため、仮想空間上の手の位置を容易に把握することができる。

送受信手段５８は、通信ネットワーク等を介して位置情報や制御情報等の各種情報を感覚伝達装置２０に送信したり、感覚伝達装置２０からの各種情報を取得するための通信インタフェースである。

制御手段５９は、力覚制御装置３０における各機能構成全体の制御を行う。具体的には、制御手段５９は、入力手段５１により入力された使用者等からの入力情報に基づいて各種制御を行う。

上述したように、第１の実施形態では、指を刺激する手段と手掌部を刺激する手段とを有する。また、手掌部の刺激には、少なくとも点接触より大きい面積を有する実物体である手段を有する。つまり、第１の実施形態では、手掌部の刺激手段の位置を検出する手段を有することで、従来の指先だけの刺激ではなく手掌部への刺激を併用した力覚的負荷による力覚提示を行う。

具体的には、第１の実施形態では、指先と手掌部への力覚フィードバックを同時に併用して提示する。また、コンピュータ等で作成された仮想物体に対し、手掌部刺激ユニット（手掌伝達部）の接触面或いは重心の位置の空間座標を検出し、仮想物体が持っている立体の空間座標等と比較し、手掌部刺激ユニットが仮想物体と接触しているか否かを判断する。

接触している場合には硬さ等の物体情報に応じて感覚伝達装置のアクチュエータ主軸に実装された手掌部刺激ユニットに反力をフィードバックする。従来、手掌部への力覚フィードバックがない状態では、例えば仮想物体を触察する場合に、指先への力覚フィードバックだけが存在するため、手を奥の方に移動させた場合、奥に進んで触察することができてしまう。しかしながら、本発明によれば手掌部刺激ユニットで反力を返すため、手掌部の移動を拘束し、これにより、ユーザは仮想物体に対して実物体を触察しているような、より自然な触感覚を得ることができる。

＜第２の実施形態：感覚伝達装置＞
次に、本発明における第２の実施形態について説明する。第２の実施形態では、上述した感覚伝達装置に対し、各指の相互位置関係からの指の開き具合と、手掌部との力覚情報とを対応させた感覚伝達を行う。つまり、例えば上述した手掌部提示手段は、仮想物体を把持する少なくとも２本の指への力覚提示において、少なくとも２本の指先の間隔を予め設定し、指先の間隔が所定幅以上の場合に、手掌部等に所定量の反力等の力覚的負荷を与える。

図４は、第２の実施形態の原理を説明するための図である。なお、図４においては、上述したように親指と人差し指の２本の指にそれぞれ対応する指サック等の指先伝達部２４−１，２４−２と、手掌部刺激ユニットとしての手掌伝達部２５とを有しているが、本発明においてはこの限りではなく、例えば１つの手について指先伝達部２４の数を最大５本まで増加させることができる。

また、図４には、更に指刺激支持回転ユニット６１−１，６１−２と、手掌部刺激支持回転ユニット６２と、支持軸６３−１，６３−２と、手掌部刺激支持軸６４とを有する。また、図４では、仮想物体６５及びユーザの手掌部６６を示している。

指刺激支持回転ユニット６１−１，６１−２は、指サック等の指先伝達部２４−１，２４−２にそれぞれ固定され、指サックの幅に応じて支持軸６３−１，６３−２の方向を変化できる構造を有する。また、手掌部刺激支持回転ユニット６２は、指刺激支持回転ユニット６１−１，６１−２と同様な構造で支持軸６３−１，６３−２の角度に応じて手掌部刺激支持軸６４を上下に移動する機構を有する。

このように、第２の実施形態では、例えば多指を用いた力覚提示手法において、仮想物体６５を把持する２本の指の刺激部と、手掌部を圧刺激する手段とを有している。具体的には、図４（１）に示すように、指を仮想物体６５上の奥（図４では上）に移動させていく際、指先の間隔が狭いときには手掌部６６を刺激せず、図４（２）に示すように、適切な指先の間隔以上で指が開いたときに、手掌伝達部２５により手掌部６６を圧刺激等の力覚的負荷によって力覚提示する手段を有する。

ここで、第２の実施形態について詳細に説明すると、人はある物体を多指で把持する場合に、物体が小さいときには指の間隔が小さく、物体が大きくなるに従い、指の間隔が大きくなる特徴がある。

例えば、仮想物体において、ある程度の大きさの直方体（例えば、手掌部よりも小さい立方体）を触察する場合や、１つの面を触察する場合には、隣接する指の間隔は大きくなることは少ない。また、１つの辺に対して１方向で物体を触察する場合にも同様である。

しかしながら、例えばある立方体の角から二つの面や辺を複数の方向に向かって触察する場合には、主に親指と人差し指の間隔は徐々に広くなる特性がある。これは球面を触察する場合にも同様である。

第２の実施形態では、上述したように人が物体を把持して物体の奥の方向に向かって触察する場合に、親指と人差し指の間隔が広くなり適切な距離において手掌部が物体に到達するという触察の特性を利用するものである。

ここで、図４を用いて第２の実施形態について具体的に説明すると、図４（ｌ）ではユーザが仮想物体６５表面を把持して触察している状態であり、図４（１），（２）に示すように指先伝達部２４−１，２４−２の指先の間隔はＷｌ、手掌部刺激ユニット（手掌伝達部２５）と手掌部６６との間隔はｄである。ここで、指刺激支持回転ユニット６１−１，６１−２と手掌部刺激支持回転ユニット６２は、それぞれ支持軸６３−１，６３−２と手掌部刺激支持軸６４と回転機構と有した一体構造であり、指先の間隔がＷｌから広がると、指先伝達部２４−１，２４−２に固定された指刺激支持回転ユニット６１−１，６１−２及び支持軸６３−１，６３−２を介して手掌部刺激支持回転ユニット６２は下方に移動する。

これにより、手掌部刺激支持軸６４と一体構造の手掌部刺激ユニット（手掌伝達部２５）は、手掌部に近づいていき、例えば指先の間隔が所定幅Ｗ２以上になった時には、手掌部６６に到達し、手掌部６６に対して圧力又は振動等の力覚的刺激（力覚的負荷）による力覚提示を与える。

したがって、第２の実施形態では、手掌部刺激支持軸６４の長さを、人の触察動作より統計的に得られた適切な距離に予め設定することにより、仮想物体６５を奥の方向に移動して触察した場合に、手掌部６６を適切な距離で圧刺激等による力覚提示を与えることができる。なお、上述した指の間隔は、予め図４に示す機構に指先の間隔設定手段として設けておき、対象ユーザの手の形状等の条件に応じて間隔を変更可能にすることが好ましい。

このように、第２の実施形態により、従来の仮想物体提示では透過してしまう特異な現象を解消し、実物体の触察に近い感覚を得ることができる。

＜第３の実施形態：感覚伝達装置＞
次に、本発明における第３の実施形態について説明する。第３の実施形態では、アーム型の点接触型の力覚提示装置の特に感覚伝達装置において、アクチュエータ先端或いはペン型スタイラス上に手掌部に接触する構造の圧刺激手段を有することを特徴とする。

つまり、第３の実施形態によれば、手掌部を刺激する簡易な構成のみでも仮想物体を実物体に近い触感覚をユーザに与えることができる。

図５は、第３の実施形態における感覚伝達装置の構成の一例を示す図である。図５では、例えば感覚伝達装置であるペン型スタイラス７１の点接触型の力覚提示方式を示している。

第３の実施形態は、指サック型或いはペン型スタイラスのアクチュエータ上に、少なくとも手掌部の適切な面積を圧刺激する形状の手掌部刺激ユニットとしての手掌伝達部を固定して実装する。

なお、ペン型スタイラス７１の動作等については、上述した第１の実施形態における感覚伝達装置２０−３と同様であるため、ここでの詳細な説明は省略する。また、第３の実施形態においても、上述した第１の実施形態と同様に力覚制御装置３０と有し、ペン型スタイラス７１と接続して手掌部の位置情報等から動作制御を行い、ユーザに力覚提示を行う。

このような簡易な構造により、従来、点でしか感じられなかった仮想物体の表面形状を面で感じることが可能となり、実物体を把持して触察する感覚を得ることが可能である。

＜実行プログラム（力覚提示プログラム）＞
ここで、上述した力覚提示装置は、は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインタフェースを備えたコンピュータによって構成することができる。

したがって、力覚提示装置が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（力覚提示プログラム）を生成し、例えば、汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、力覚提示処理を実現することができる。

次に、本発明における実行プログラムによる処理手順についてフローチャートを用いて説明する。

＜力覚提示処理手順＞
図６は、本実施形態における力覚提示処理手順の一例を示すフローチャートである。図６において、まず力覚伝達対象の仮想物体等の３次元オブジェクト提示データを取得し（Ｓ０１）、更にユーザの実際の各指先の位置情報を各指に対応する各感覚伝達装置から検出する（Ｓ０２）。

次に、Ｓ０１において予め設定された３次元オブジェクト提示データに含まれる仮想物体の物体情報や位置情報等と、Ｓ０２により得られる指位置情報とを用いて仮想空間における空間位置座標を比較し（Ｓ０３）、仮想物体と指先とが相互空間位置において接触状態にあるか否かを判断する（Ｓ０４）。

ここで、相互空間位置が接触状態にある場合（Ｓ０４において、ＹＥＳ）、各指の力覚提示制御を行う（Ｓ０５）。また、Ｓ０５の処理が終了後、又は相互空間位置が接触状態にない場合（Ｓ０４において、ＮＯ）、次に、手掌部位置情報を手掌部の感覚伝達装置から検出する（Ｓ０６）。

次に、上述にて既に取得している仮想物体の物体情報や位置情報等や指位置情報等と、Ｓ０６により得られる手掌部位置情報とを用いて、仮想物体と手掌部とが相互空間位置において接触状態にあるか否かを判断する（Ｓ０７）。

ここで、相互空間位置が接触状態にある場合（Ｓ０７において、ＮＯ）、手掌部の力覚提示制御を行う（Ｓ０８）。また、Ｓ０８の処理の終了後、又はＳ０７の処理において相互空間位置が接触状態にない場合（Ｓ０７において、ＮＯ）、ユーザが手の動作等による力覚提示処理を終了するか否かを判断する（Ｓ０９）。処理が終了でない場合（Ｓ０９において、ＮＯ）、Ｓ０２に戻り継続して処理を行い、処理終了の場合（Ｓ０９において、ＹＥＳ）、力覚提示処理を終了する。なお、上述した図６に示す処理手順は、上述した第１の実施形態に対応させたものであるが、第２の実施形態や第３の実施形態についても同様に手掌部における各種制御が行われる。

上述したように本発明によれば、ユーザは仮想物体に対して実物体を触察しているような、より自然な触感覚を得ることができる。つまり、力覚提示装置において、指先への刺激だけでなく、手掌部を上述した簡易な構成により刺激することで、仮想物体をより現実的に近い触感覚を与えることができる。

具体的には、本発明によれば、本発明の力覚フィードバック手法において、指への力覚提示に加え、手掌部への力覚提示を実現することにより、従来、多指による仮想物体では、把持した状態で物体の奥側を触察する際に生じていた透過するという実物体の触察ではあり得ない現象を解消することができる。また、１本の指やペン型ステイラス提示においても、手掌部を刺激することで、把持感覚を得られる効果が可能である。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０ 力覚提示装置
２０ 感覚伝達装置
２１ 基台
２２ 駆動部
２３ リンク機構
２４ 指先伝達部
２５ 手掌伝達部
３０ 力覚制御装置
３１ 仮想物体
３２ 仮想ハンド
４１ 力覚提示出力制御手段
４２ 力覚提示手段
４３ 力覚提示位置検出手段
４４ 手掌部提示出力制御手段
４５ 手掌部提示手段
４６ 手掌部提示位置検出手段
５１ 入力手段
５２ 出力手段
５３ 蓄積手段
５４ 位置検出手段
５５ ３次元オブジェクト空間位置比較手段
５６ 力覚制御情報生成手段
５７ 画面生成手段
５８ 送受信手段
５９ 制御手段
６１ 指刺激支持回転ユニット
６２ 手掌部刺激支持回転ユニット
６３ 支持軸
６４ 手掌部刺激支持軸
６５ 仮想物体
６６ 手掌部

Claims (5)

1. 感覚伝達対象であるユーザの手の仮想空間上における位置情報と、前記仮想空間上に存在する仮想物体の位置情報とにより設定される力覚的負荷を前記ユーザの手に与えることで力覚を提示する力覚提示装置において、
   前記ユーザの手の少なくとも１本の指に対する位置情報を検出する指位置検出手段と、
   前記ユーザの手掌部の位置情報を検出する手掌部位置検出手段と、
   前記指位置検出手段により得られる指位置情報と、前記手掌部位置検出手段により得られる手掌部位置情報と、前記仮想物体の位置情報及び物体情報とに基づいて、前記指及び前記手掌部と前記仮想物体との前記仮想空間上の位置を比較する空間位置比較手段と、
   前記空間位置比較手段により得られる相互空間位置に基づいて前記指及び／又は前記手掌部に力覚的負荷を与える力覚提示手段と、
   前記相互空間位置に基づいて、前記仮想物体を把持する少なくとも２本の指を前記仮想物体の奥へ移動させた場合に、少なくとも前記手掌部に前記移動を拘束する力覚的負荷を与える制御情報を生成し、生成した制御情報を前記力覚提示手段に出力する力覚制御情報生成手段とを有することを特徴とする力覚提示装置。
2. 前記仮想物体を把持する少なくとも２本の指の位置情報に対する力覚提示において、前記少なくとも２本の指先の間隔を予め設定し、前記指先の間隔が設定された所定幅以上の場合に、前記手掌部に力覚的負荷を与える手掌部提示手段を有することを特徴とする請求項１に記載の力覚提示装置。
3. 前記手掌部に刺激を与える手掌部刺激手段と、
   前記少なくとも２本の指と指間を連結する支持軸と、
   前記手掌部及び前記少なくとも２本の指に対して前記支持軸の長さを一定とする支持回転手段と、
   前記手掌部刺激手段を所定位置に固定する手掌部刺激支持軸とを有することを特徴とする請求項２に記載の力覚提示装置。
4. 前記手掌部に刺激を与える手掌部刺激手段を有し、
   前記手掌部刺激手段は、
   前記手掌部に接触する接触部材を有し、前記接触部材に圧力又は振動を与えることにより、前記ユーザの手掌部に力覚的負荷を与えることを特徴とする請求項１乃至３の何れか１項に記載の力覚提示装置。
5. 感覚伝達対象であるユーザの手の仮想空間上における位置情報と、前記仮想空間上に存在する仮想物体の位置情報とにより設定される力覚的負荷を前記ユーザの手に与えることで力覚を提示する処理をコンピュータに実行させるための力覚提示プログラムにおいて、
   前記コンピュータを、
   前記ユーザの手の少なくとも１本の指に対する位置情報を検出する指位置検出手段、
   前記ユーザの手掌部の位置情報を検出する手掌部位置検出手段、
   前記指位置検出手段により得られる指位置情報と、前記手掌部位置検出手段により得られる手掌部位置情報と、前記仮想物体の位置情報及び物体情報とに基づいて、前記指及び前記手掌部と前記仮想物体との前記仮想空間上の位置を比較する空間位置比較手段、及び、
   前記空間位置比較手段により得られる相互空間位置に基づいて、前記仮想物体を把持する少なくとも２本の指を前記仮想物体の奥へ移動させた場合に、少なくとも前記手掌部に前記移動を拘束する力覚的負荷を与える制御情報を生成し、生成した制御情報を、前記指及び／又は前記手掌部に力覚的負荷を与える感覚伝達装置に出力する力覚制御情報生成手段として機能させるための力覚提示プログラム。