JP5513973B2 - 仮想力覚提示装置及び仮想力覚提示プログラム - Google Patents

Description

本発明は、仮想力覚提示装置及び仮想力覚提示プログラムに係り、特に仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報がない状況でも触力覚により仮想的に提示するための仮想力覚提示装置及び仮想力覚提示プログラムに関する。

従来、仮想空間に存在する立体形状等を触力覚にて提示する装置が知られている。立体形状の触力覚への提示としては、例えば、仮想立体と提示装置のポインタとの反力を、規定の物理法則に基づいて算出し、ワイヤの張力により提示する第１の方法がある（例えば、非特許文献１参照）。非特許文献１に示されている手法では、立体の硬さや摩擦力を全体に一様に施すことで、様々な異なる立体を表現しようとするものである。

また従来では、手術等の特殊技能に特化したシミュレータツールとして、専用の計算モデルを持つ仮想的な臓器や操作器具等を提示する第２の方法がある（例えば、非特許文献２参照）。

一方、視覚情報が無い状態での触仮想力覚提示装置を用いた立体形状の特徴を把握する方法としては、触察箇所に付加されたテキストの内容を音声合成で確認したり、区画毎に硬さや粘性等のパラメータを付加して提示する第３の方法がある（例えば、特許文献１参照）。

特許第４１７３９５１号公報

ＳｅｎｓＡｂｌｅ社「ＰＨＡＮＴｏＭ（登録商標）及び関連ＡＰＩ」、ｈｔｔｐ：／／ｓｅｎｓａｂｌｅ．ｊｐ／ 旭エレクトロニクス・京都大学、「臓器触診シミュレータ」、ｈｔｔｐ：／／ｗｗｗ．ａｅｃ．ｃｏ．ｊｐ／ｍｍ／ｇａｌｌｅｒｙ／ｇａｌｌｅｒｙ＿０５．ｈｔｍ

ところで、視覚的に表現された立体形状等の３次元情報は、物体の配置や形だけでなく、重さや触感等、触力覚でなければ取得が困難な情報である。特に、視覚障害者等においては、音声や点字による１次元的な情報取得では把握が困難な場合、触力覚等を併用して３次元的に把握できる手段が必要である。

また一方で、データ放送やＷｅｂ等の情報環境では、写真やコンピュータグラフィックス（ＣＧ）等の視覚的表現が主流となっており、インターネットショッピング等で形状や質感を手で確かめる等の方法の必要性が高まっている。このような背景の中で、上述した従来の技術のように、物体の形状や質感等を触力覚として出力することが必要である。

しかしながら、上述した従来技術の第１の方法である物理法則による算出では、複数の物体を組み合わせる等の工夫により局所的に異なる物理パラメータを持つ立体をある程度提示できるが、例えばユーザの手を仮想物体の端部に移動したり、手の移動により仮想物体全体を把握する場合等の触察の仕方に応じた適応的な提示ができないことや、物体毎に予め細かい設定を行い用意しておかなければならない等の問題があった。

また、従来技術第２の方法である専用シミュレータツールは、材質等に応じた変形時の反力等を正確に算出することができるが、視覚情報がある場合を前提として物体モデルに忠実に再現することを目指した方式であり、特徴点を際立たせて触察し易くすることができないと共に、シミュレートできる材質や形状が限定されるという問題があった。

また、従来技術第３の方法は、仮想物体自体の区画毎に予めパラメータを付加する手法を有するものであり、前記第１の方法を解決する手段を有するものの、触察状態に応じて適応的に提示することができない。また、形状把握を支援するために、能動的にユーザの手指を誘導する仕組みを有するものではなかった。

本発明は、上述した問題点に鑑みなされたものであり、仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報がない状況でも触力覚により仮想的に提示するための仮想力覚提示装置及び仮想力覚提示プログラムを提供することを目的とする。

具体的には、本発明の目的は、視覚的に表現された立体形状の特徴点と触力覚提示装置のポインタとの間に働く力のパラメータを、互いの位置関係に応じて適応的に提示し、視覚情報がない状態でも物体の特徴点を触力覚により把握することで形状を３次元的に取得する方法を提供することである。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、感覚伝達対象であるユーザの手の仮想空間上における位置情報と、前記仮想空間上に存在する仮想物体の位置情報とにより設定される仮想環境における力覚的負荷を前記ユーザの手に与えることで力覚を提示する仮想力覚提示装置において、前記仮想物体の形状を特徴づける頂点や辺等の幾何学的な特徴箇所を特徴情報として抽出する特徴抽出手段と、前記仮想環境における前記仮想物体を提示するためのパラメータを設定するパラメータ設定手段と、前記ユーザの手の少なくとも１本の指に対する仮想ポインタの位置情報を検出する指位置検出手段と、前記パラメータに含まれる前記仮想物体の３次元位置データと前記仮想ポインタの位置情報とから、前記仮想ポインタと前記特徴抽出手段により得られる前記特徴箇所との最短距離、及び前記仮想ポインタから前記特徴箇所に向かう単位方向ベクトルを含む３次元空間座標上における位置関係を解析する３次元座標解析手段と、前記３次元座標解析手段により得られる前記仮想ポインタと前記仮想物体との位置関係と、前記特徴情報とにより、前記仮想ポインタの移動情報に対応させて予め設定された提示条件に基づく触力覚での提示を行うための提示力情報を算出する提示力算出手段とを有することを特徴とする。

請求項１記載の発明によれば、仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報がない状況でも触力覚により仮想的に提示することができる。

請求項２に記載された発明は、前記提示力算出手段は、前記特徴抽出手段により得られる前記仮想物体に対する辺又は面を含む不連続な接合点と、移動する前記仮想ポインタとの位置関係に基づいて、前記提示条件を変更することを特徴とする。

請求項２記載の発明によれば、仮想物体の形状をより明確に把握することができる。

請求項３に記載された発明は、前記提示力算出手段は、予め設定された前記仮想物体の特徴点及び特徴区画の提示順番に対応させて前記仮想ポインタを誘導するための提示力情報を生成することを特徴とする。

請求項３記載の発明によれば、複雑形状からなる仮想物体に対する認識率や認識速度を向上させることができる。

請求項４に記載された発明は、前記提示条件は、前記仮想物体の硬さ、摩擦力、表面の粗さ、及び粘性のうち、少なくとも１つを有することを特徴とする。

請求項４記載の発明によれば、仮想物体の形状をより明確に把握することができる。また、仮想物体に応じて提示条件の様々な変更等を行うことができる。

請求項５に記載された発明は、前記特徴情報は、前記仮想物体を構成するポリゴンの位置情報を含むことを特徴とする。

請求項５記載の発明によれば、例えば仮想物体の形状をより具体的に把握することができ、特徴部分の抽出を所定の基準により均一に行うことができる。

請求項６に記載された発明は、コンピュータを、請求項１乃至５の何れか１項に記載の仮想力覚提示装置として機能させるための仮想力覚提示プログラムである。

請求項６記載の発明によれば、仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報がない状況でも触力覚により仮想的に提示することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に仮想力覚提示処理を実現することができる。

本発明によれば、仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報がない状況でも触力覚により仮想的に提示することができる。

本実施形態における仮想力覚提示装置の概要構成の一例を示す図である。 本実施形態における力覚制御装置の機能構成の一例を示す図である。 本実施形態におけるデータ例を示す図である。 特徴抽出の一例を示す図である。 本実施形態における提示パラメータの変換例を説明するための図である。 複雑形状時における触力覚の提示例を示す図である。 本実施形態における仮想力覚提示処理手順の一例を示すフローチャートである。

＜本発明について＞
本発明は、仮想環境で視覚的に表示される仮想物体における立体形状等の３次元情報を触力覚に提示する方式において、立体形状の特徴である頂点や、面及び辺等の不連続な部位で硬さや摩擦力や表面の粗さや粘性等のパラメータをユーザの手指の動作に応じて他の部位とは異なる適応的な変化で提示し、各種立体形状を手指等の触力覚に提示する入出力提示手法に関する。

具体的に説明すると、本発明では、仮想環境の立体表示形式において、指等の触察位置との関係に応じて立体の特徴点付近を触力覚で判別可能な硬さや、摩擦力、表面の粗さ、粘性に変換し、視覚情報がない状態でも特徴点の把握を容易にし、特徴点において指等が逸脱することなく触察できると共に、必要に応じてユーザの手指を能動的に特徴点に誘導することで立体形状全体の把握を容易に行えることを特徴とする。

すなわち、上記内容の実現のために、以下に示す実施形態では、一例として特徴情報を抽出するための形状解析機能を有し、また触力覚的に判別可能な出力を設定するための変換テーブルや提示力算出機能等を有し、また特徴点情報と感覚伝達装置におけるポインタ（仮想ポインタ）の３次元位置情報に応じて触力覚提示を最適化できる手法を提供する。ここで、ポインタとは、例えばユーザの実際の各指先の位置等を仮想空間上に反映させて得られる仮想のポインタであり、後述する感覚伝達装置の各指先伝達部により得られる３次元位置座標に基づいて仮想空間上の座標に反映される。

次に、上述したような特徴を有する本発明における仮想力覚提示装置及び仮想力覚提示プログラムを好適に実施した形態について、図面等を用いて詳細に説明する。

＜仮想力覚提示装置：概要構成図＞
図１は、本実施形態における仮想力覚提示装置の概要構成の一例を示す図である。図１に示す仮想力覚提示装置１０は、感覚伝達装置２０（２０−１，２０−２）と、力覚制御装置３０とを有するよう構成されている。なお、図１において、感覚伝達装置２０−１，２０−２は、ユーザの何れかの異なる指先に移動を拘束できる程度の反力等の力覚フィードバックを伝達する点接触型の装置であり、感覚を伝達する指には、例えば指サック等が装着される。

更に、感覚伝達装置２０−１，２０−２は、ユーザの指や手掌から取得した位置情報を力覚制御装置３０に出力すると共に、力覚制御装置３０からの制御情報に基づいて所定の動作を行い、ユーザに感覚を伝達する。ここで、上述した指用の感覚伝達装置２０−１，２０−２は、基台２１と、駆動部２２と、リンク機構２３と、指先伝達部２４とを有するよう構成されている。

基台２１（２１−１，２１−２）は、仮想力覚提示装置１０における実空間上の所定の場所に設置されている。駆動部２２（２２−１，２２−２）は、例えば基台２１に対して水平に０〜３６０度の回転駆動ができ、またリンク機構２３（２３−１，２３−２）の軸を基台２１に対して垂直に０〜３６０度の回転駆動ができる。なお、本実施形態における駆動部２２は、例えばモータやワイヤ機構、ロータリーエンコーダ等を用いることができる。

リンク機構２３は、１以上のロッド（軸）で構成され、その一方は駆動部２２に接続されているため、基台２１の面に対して水平、垂直に０〜３６０度回転することができる。つまり、駆動部２２及びリンク機構２３により、基台２１を中心としてあらゆる方向への移動が可能となっている。

また、リンク機構２３は、指先伝達部２４と接続され、ユーザの指に対し、その指の位置情報と、予め設定される仮想物体の位置情報や上述した物体情報等とに応じて適切な反力等の力覚的負荷を与えるための動作を行う。

指先伝達部２４は、指先の位置情報と仮想物体の位置関係とに応じてその指先に対して何れかの方向に移動できなかったり、所定量の反力を与えたりすることで所定の力覚的負荷を与える。なお、図１に示す実施形態では、指先伝達部２４として、ユーザの２本以上の指（多指）に対して力覚フィードバック情報を伝達する指サック（ジンバル）等からなる。つまり、本実施形態では、指サックを例えばユーザの親指と人差し指に挿入し、仮想物体を把持するときの力覚情報（力覚的負荷）を提示する。なお、本発明においてはこの限りではなく、例えば手の５本の指のうち少なくとも１つに装着されていればよく、また両手を対象にして、左右の手に存在する指の少なくとも１つに装着されていてもよい。また、指だけではなく、例えば掌の部分や手全体をグローブのようなもので覆って力覚的負荷を提示する。

なお、本明細書に示す実施形態における反力や圧刺激等の力覚的負荷としては、例えば仮想物体が硬い立方体である場合には、その仮想物体の表面の位置情報や物体情報に基づいて、ユーザの指や手掌部に対して仮想物体の表面の位置より内部への移動を拘束するような所定量の力覚的負荷を与える。また、仮想物体が柔らかい立方体の場合には、その仮想物体の表面の位置情報や物体情報に基づいて、ユーザの指や手掌部に対して仮想物体の表面の位置情報よりも内部に移動していくと、次第に移動が拘束されるような所定量の力覚的負荷を与える。なお、力覚的負荷としては、例えば圧力又は振動があるが、本発明においてはこれに限定されず、例えば電気信号、熱等の何らかの感覚による負荷が含まれる。

また、図１に示す感覚伝達装置２０−１，２０−２は、ユーザに力覚を提示する対象となる指の数に対応させて設置されているが、本発明においてはこの限りではなく、例えば１つの感覚伝達装置の指先伝達部に複数の指を装着し感覚を伝達してもよく、また、複数の感覚伝達装置で１つの指に対して感覚を伝達させてもよい。また、上述した本発明における手掌とは、指との結合部分を含む全体を示していてもよく、１又は複数の所定の領域又は点であってもよい。

力覚制御装置３０は、上述した各感覚伝達装置２０−１，２０−２の各構成部を制御するものであり、各感覚伝達装置２０−１，２０−２から得られる指先等の位置情報を検出し、予め設定されている仮想物体との３次元における位置情報や物体情報と対応させて、その仮想物体を触る前に引力・斥力等の情報により仮想物体の位置や大きさ、形状等を提示する。

更に、力覚制御装置３０は、仮想物体を触ったときには、その物体に対応する反力情報等を取得する。また、力覚制御装置３０は、その反力に対応する負荷情報を生成し、生成した負荷情報によりそれぞれ対応する各感覚伝達装置２０−１，２０−２を制御して、各指先伝達部２４−１，２４−２を介してユーザに力覚的負荷を感覚として提示する。

なお、力覚制御装置３０は、図１に示すようなディスプレイ等の出力手段を有し、その画面上に３次元オブジェクト提示データとして仮想物体３１を表示すると共に、感覚伝達装置２０−１，２０−２から得られる指の位置情報に基づいて動作する仮想ハンド３２も画面に表示することができる。これにより、ユーザは視覚を通じて仮想空間における手の動作状況を的確に把握することができる。なお、上述した仮想物体３１は、立方体等の物に限定されず、例えば仮想空間上における壁や天井、地面等も含まれる。

＜力覚制御装置３０：機能構成例＞
次に、上述した本実施形態における力覚制御装置３０の機能構成例について図を用いて説明する。図２は、本実施形態における力覚制御装置の機能構成の一例を示す図である。図２に示す力覚制御装置３０は、記録手段４１と、特徴抽出手段４２と、触力覚提示手段４３と、デバイス情報入力手段４４と、ポインタデータ解析手段４５と、３次元座標解析手段４６と、パラメータ設定手段４７と、提示力算出手段４８と、デバイス情報出力手段４９とを有するよう構成されている。

記録手段４１は、予め設定された本実施形態を実現するためのデータが記録されている。具体的には、記録手段４１は、画面に表示する仮想物体等に関する表示用データ５１と、その仮想物体の属性を示す提示用データ５２を出力する。更に、記録手段４１は、変換テーブル５３やデバイス情報出力手段４９により出力された情報を記録する。

表示用データ５１は、仮想空間上において仮想物体等の仮想物体の表示を行う際に、表示出力のフォーマット等を記述するマークアップ言語等による表示用データであり、例えば、仮想物体を構成するポリゴン等の最小構成要素等を含む。なお、表示用データ５１は、例えばＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ；仮想現実モデリング言語）等で記述されるが、本発明においてはこれに限定されるものではなく、例えばＸ３ＤやＣＯＬＬＡＤＡ（ＣＯＬＬＡｂｏｒａｔｉｖｅ Ｄｅｓｉｇｎ Ａｃｔｉｖｉｔｙ）、３ＤＭＬＷ（３Ｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ ｆｏｒ Ｗｅｂ）等のファイルフォーマットも用いることができる。

特徴抽出手段４２は、記録手段４１から仮想物体を構成するポリゴン等の最小構成要素等を含む表示用データ５１を読み出し、その表示用データ５１に含まれている各仮想物体（立体形状、仮想物体）の頂点や辺等の幾何学的な特徴情報（特徴箇所）を抽出する。また、特徴抽出手段４２では、各仮想物体の配置、大きさ、向き等を用いて仮想環境の構築と物体の触察時における動作等の制御も行うことができる。

また、触力覚提示手段４３は、デバイス情報出力手段４９からの制御情報に基づいて、ユーザの手指等に触力覚提示を行う。具体的には、触力覚提示手段４３は、上述した感覚伝達装置２０における各機能構成に相当し、例えば触力覚提示手段４３は、ワイヤの張力を利用した接触型、超音波等を利用した非接触型、錯覚による擬似的な牽引力を利用したもの等により提示される。

デバイス情報入力手段４４は、触力覚提示手段４３のポインタ（仮想ポインタ）の３次元位置情報を検出する指位置検出手段を有する。また、触力覚提示手段４３は、そのポインタのある点に加えられている力ベクトル等から手の向きや姿勢等の情報を取得する。ポインタデータ解析手段４５は、デバイス情報入力手段４４から得られるポインタの３次元位置や姿勢（向きを含む）等の情報を解析する。

３次元座標解析手段４６は、特徴抽出手段４２により得られた特徴点及び特徴区画（存在領域情報、角情報等）とポインタとの位置情報から、最短距離や単位方向ベクトル等の互いの位置関係を解析する。

また、三次元座標解析手段４６は、ポインタデータ解析手段４５がデバイス情報入力手段４４により得たポインタの３次元位置座標データと、特徴抽出手段４２により得た仮想物体の各特徴の３次元位置座標データから、ポインタが向かっている仮想物体表面上の特徴点を常時解析し、ポインタから最近傍となる仮想物体表面の特徴点へと向かうベクトルを生成する。

提示用データ５２は、本実施形態における３次元仮想物体の特徴点や特徴区画（物体表面の凹凸、色等）等の情報が蓄積されている。また、提示用データ５２は、特徴点及び特徴区画の提示順番等の情報を含めることができる。更に、提示用データ５２は、仮想物体に予め設定された重さ（質量）、体積等のセンシング情報等を含めることができる。なお、提示用データ５２は、上述した各３次元仮想物体に対する各種情報を記述するマークアップ言語等からなるが、本発明においてはこれに限定されるものではない。

パラメータ設定手段４７は、記録手段４１から提示用データ５２を読み出し、その提示用データ５２に基づいて、特徴抽出手段４２で生成される３次元仮想物体に対する提示パラメータを設定する。つまり、パラメータ設定手段４７は、マークアップ言語等で記述した提示用データ５２から幾何学的な立体形状の特徴点、及び／又は、意図的に提示用データ５２に記述された仮想物体の特徴点及び特徴区画、仮想物体の３次元位置データ等を抽出し、抽出された各種の提示パラメータに基づいて、例えば仮想物体の硬さ、摩擦力、表面の粗さや粘性の値を決定する係数に変換し、変換テーブル５３を生成する。

なお、パラメータ設定手段４７は、上述した仮想物体に対する特徴点及び特徴区画に対する提示順番についても設定することができ、その設定された内容を提示用データ内に記述したり、別のパラメータとして設定し、変換テーブル５３等に記録させることもできる。

したがって、変換テーブル５３には、パラメータ設定手段４７にて設定された提示パラメータに応じた提示力の値を決定するための係数等が記録されている。また、変換テーブル５３の内容は、記録手段４１にて記録させておき、必要に応じて記録手段４１から読み出すことができる。

提示力算出手段４８は、ポインタと仮想物体との位置関係と、特徴抽出手段４２から得られる特徴情報等とにより、ポインタの移動情報に対応させて予め設定された提示条件に基づく触力覚での提示を行うための提示力情報を算出する。なお、上述した提示条件とは、例えば、仮想物体の硬さ、摩擦力、表面の粗さ、及び粘性のうち、少なくとも１つであり、これらの情報は予め設定され、記録手段４１等により記録されているため、必要に応じて適宜読み出して所定の提示を行う。

また、提示力算出手段４８は、変換テーブル５３から得られる特徴点毎の属性等に対応した提示パラメータと、３次元座標解析手段４６で算出した仮想物体とポインタとの位置関係及びポインタの運動状態等の移動情報に応じて硬さ、摩擦力、表面の粗さや粘性等を表現するための提示力及び提示力の更新周期等を算出する。

具体的には、提示力算出手段４８は、まず、仮想物体に対する辺や面等の不連続な接合点を抽出し、ポインタの３次元位置データから不連続な接合点とポインタとの位置関係を算出する。更に、提示力算出手段４８は、ポインタと不連続な接合点との位置関係及びポインタの運動状態に応じて、例えば仮想物体の硬さ、摩擦力、表面の粗さや粘性等の提示パラメータをユーザの触察動作に応じて適応的に変換する。

また、提示力算出手段４８は、上述した仮想物体の特徴点とユーザのポインタの位置関係、及び、ポインタの運動状態に応じて、適応的にポインタの周辺における仮想物体の硬さ、摩擦力、表面の粗さ及び粘性等の提示パラメータのうち、少なくとも１つを制御して提示力情報を生成する。

また、提示力算出手段４８は、予め設定されている特徴点及び特徴区画の提示順番等に応じて特徴点及び特徴区画に対してポインタを誘導するように提示力情報を生成することもできる。提示力算出手段４８は、得られた算出結果に基づいて対応する提示力をデバイス情報出力手段４９に出力する。

なお、提示力算出手段４８における算出手法としては、例えば提示力算出手段４８では、変換テーブル５３からの提示用データ５２に関する出力と３次元座標解析手段４６からの位置関係及び表示用データ５１に含まれる形状や頂点等の幾何学的な特徴に関する出力とから、ポインタに加える力を、予め設定された関数等にしたがって算出する。

デバイス情報出力手段４９は、提示力算出手段４８により得られる算出結果に基づいて対応する触力覚提示手段４３に最終的な提示力の情報を出力する。更に、デバイス情報出力手段４９は、触力覚提示手段４３に最終的な提示力の情報同様の情報を記録手段４１に出力する。このように、記録手段４１に提示力等の情報を記録しておくことにより、繰り返し提示を行う場合にも、何度も処理を行うことがなく、得られた提示力に基づいて容易且つ迅速に繰り返し処理を行うことができる。その場合には、触力覚提示手段４３が直接記録手段４１から提示力情報を読み出して実行される。

＜データ例＞
ここで、上述した各データ例について説明する。図３は、本実施形態におけるデータ例を示す図である。なお、図３（ａ）では、表示用データ５１の一例を示し、図３（ｂ）では、変換テーブル５３の一例を示している。

図３（ａ）に示すＶＲＭＬの記述例では、画面に表示される仮想空間上の２つの仮想物体（図３（ａ）の例では、Ｂｏｘ０１，Ｂｏｘ０２）に対するそれぞれの空間位置や回転させたときの状態等が示されている。なお、ＶＲＭＬの記述内容は、本発明においてはこれに限定されるものではなく、例えば仮想物体の３Ｄポリゴンの頂点や線の座標、ポリゴンや色、画像によるテクスチャ、光源による明るさ、物体の変化等、仮想物体に対する様々な情報を設定することができる。

表示用データ５１は、上述したようにＶＲＭＬ等を用いて仮想物体の頂点や辺等の幾何学的な特徴情報を規定する。また、提示用データ５２は、表示用データ５１から得られる幾何学的な特徴以外に、物体の形状や部位等の特徴を付加的に記述可能なデータである。

具体的な項目例としては、例えば、図３（ｂ）に示す変換テーブル５３に示すように、例えば各面の中心（対称形の場合）、各面の重心、エッジ、錐部、凹部、表面粗さの異なる部位、材質の異なる部位、硬さの異なる部位、テクスチャの異なる部位、その他幾何学的な特徴以外に特徴としたい部位等が記述される。なお、各面の中心や重心、エッジ等は、表示用データ５１からも算出自体は可能なものである。

また、上述した幾何学的な特徴以外の特徴部位とは、例えば、より高次の意味的な観点から特徴としたい部位について記述することを意味し、例えば車のようなオブジェクト（物体）におけるタイヤやフロントガラス、動物のようなオブジェクトにおける目、耳、鼻等である。なお、本実施形態における提示用データ５２は、主に形状や部位の分布及び位置関係に起因する特徴を扱っているが、本発明においてはこれに限定されるものではなく、例えば形状によらず物体の量的なデータ（重さ（質量）、体積）等を適用することもできる。

また、変換テーブル５３は、提示用データ５２に示された物体の特徴箇所の点又は特徴範囲周辺を、どのように触力覚提示するかを示す提示パラメータの変換式及び定数等で定義するテーブルである。具体的には、図３（ｂ）に示すように、例えば、提示データ５２の項目として「各面の中心」である場合には、提示パラメータ５２の変換処理として、「表面の粗さＡ：Ａ＝α_Ａ×Ａ_０×｜Ｖｔ｜^−１」（但し、α_Ａは比例低位数、Ａ_０は基準粗さを表す定数、Ｖｔは、提示する面の中心座標Ｑ（Ｑｘ，Ｑｙ，Ｑｚ）、提示する時刻Ｔでのポインタの座標Ｐ（Ｐｘ，Ｐｙ，Ｐｚ）をもとに、３次元座標解析手段４６により算出されるＰからＣに向かうベクトルである。また、同様に、「硬さＣ：Ｃ＝α_ｃ×Ｃ_０×｜Ｖｔ｜^−１」、「静止摩擦係数：μ＿ｓ＝α_ｓ×Ｃ_０×｜Ｖｔ｜^−１」、「動摩擦係数：μ＿ｄ＝α_ｄ×Ｃ_０×｜Ｖｔ｜^−１」等のパラメータ変換を行うことができる。

更に、提示データ５２の項目として「各面の重心」、「エッジ」、「錐部」、「凹部」については、上述した内容と同様に、表面粗さ、硬さ、静止／動摩擦係数等をポインタとの距離の関数で変換する。

また、「その他の特徴部位」については、表面粗さ、材質、硬さ、テクスチャ等による表現を予め設定する。なお、辺と同じ特徴としたい場合は予め設定された関数や変換テーブル等により変換する。

また、「表面粗さの異なる部位」、「材質の異なる部位」、「硬さの異なる部位」については、基本的には本来の特徴データを提示し、必要に応じて予め設定された関数で変換する。更に、「テクスチャの異なる部位」についても基本的には、本来の特徴で提示し、必要に応じて関数で変換する。

＜特徴抽出手段４２について＞
次に、上述した特徴抽出手段４２における処理の具体例について説明する。図４は、特徴抽出の一例を示す図である。例えば、図４（ａ）に示すように３次元の仮想空間上に立体形状の仮想物体６１がある場合、特徴抽出手段４２は、仮想物体６１に対応する表示用データ５１から、例えば仮想物体を構成するポリゴンの位置情報を含む特徴データを抽出する。

また、本実施形態では、図４（ｂ）に示すように、仮想物体６１を形成する面６２や辺６３、角６４（特徴点）等の幾何学的な特徴を取得する。これにより、ユーザが上述した感覚伝達装置２０等を用いて手の指の位置及び移動に対応した３次元仮想空間上のポインタ６５の位置を動かし、仮想物体６１の表面をなぞるように触察することで、その形状を把握することができる。

また、本実施形態では、提示用データ５２として、例えば、図４（ｃ）に示すように、仮想物体６１の各面に対する中心線６６等を設定しておくことで、ポインタ６５の位置が面の中心にあるか、面の端部にあるか等により、静摩擦力や動摩擦力等を調整して感覚伝達装置２０を介して提示させることで、ユーザに立体形状の大きさを容易且つ確実に理解させることができる。

＜パラメータ設定手段４７について＞
次に、上述したパラメータ設定手段４７における処理の具体例について説明する。図５は、本実施形態における提示パラメータの変換例を説明するための図である。なお、図５の例では、予め設定された仮想物体６１とポインタ６５との位置関係に応じた適用的な提示パラメータの変換の例を示している。

例えば、図５（ａ）に示すように、ユーザの指の位置と移動に対応するポインタ６５は、三次元座標解析手段４６により得られる最近傍にある仮想物体表面の特徴点（例えば、特徴１（角部））に向かうベクトル７１に基づいて、表面粗さの調整、仮想物体６１の硬さの調整、及び静／動摩擦力の調整、空間移動時の粘性の調整のうち、少なくとも１つの調整により位置関係に適用した提示パラメータの変換を行い、その結果を感覚伝達装置２０によってユーザの手指等に提示する。

なお、上述した調整のうち、例えば表面粗さの調整の場合には、図５（ｂ）の（ア）〜（カ）に示すように、予め複数の表面の粗さ情報を蓄積しておき、ポインタ６５が特徴点（図５（ａ）の例では、特徴１（角部））に近づくにつれて、その表面の粗さを段階的に粗く（又は滑らかに）する。なお、図５（ｂ）の例では、仮想物体の表面について、最初は（ア）のツルツルの状態から、（イ）〜（エ）に示すように段階的にザラザラの状態となり、その後、（オ）、（カ）に示すように段階的にギザギザの状態になっている。なお、表面の粗さ形状については、図５（ｂ）の（ア）〜（カ）に限定されるものではない。

また、例えば硬さの調整の場合には、仮想物体６１の硬さを基準として、ポインタ６５が特徴点に近づくにつれて、その仮想物体の硬さを段階的に硬く（又は柔らかく）する。

例えば、図５（ａ）の例では、仮想物体６１の斜線部分がポインタ６５からの力により、予め設定された提示条件やユーザが設定した提示条件に基づいて、仮想物体を変形させることが可能な領域である。

つまり、図５（ａ）の斜線部分は、提示したい特徴点の周囲であるため、その領域が特徴点の周囲（又は特徴点そのもの）であることを、より明確にユーザに伝えるために硬さを変更できる領域である。したがって、本実施形態では、仮想物体６１が本来硬い物質であっても「より硬く」することができ、逆に仮想物体６１が柔らかい物質であっても「より柔らかく」することができる。

なお、上述したような仮想物体６１の硬さの調整は、ポインタ６５からの力により、どの程度凹ませるかといった表現で条件が設定されてもよく、周囲の領域を仮想物体６１そのものの硬さに応じて設定されてもよい。したがって、例えば、仮想物体６１が硬い物質であれば、角部に行くにつれて段階的に柔らかくすることができ、仮想物体６１が柔らかい物質であれば、角部に行くにつれて段階的に硬くすることができる。

また、例えば静／動摩擦力の調整の場合には、上述した仮想物体の特徴点に近づくにつれて、摩擦力を段階的に大きく（又は小さく）する。また、上述した提示用データ５２に含まれる中心線６６を利用して、中心線６６に向かうにつれて、摩擦力を段階的に大きく（又は小さく）するようにすることができる。更に、例えば空間移動時の粘性の調整の場合には、上述した仮想物体の特徴点に近づくにつれて、粘性力を段階的に大きく（又は小さく）する。

なお、上述したこれらの各調整内容について、どの調整内容を用いるかについては、例えば固定に設定されていてもよく、また仮想物体６１の形状や特徴情報、ポインタと仮想物体との位置関係等により適宜組み合わせて適用することができる。

つまり、ポインタ６５が特徴点に近づく移動を行う場合、最初に「表面粗さの調整」を行い、距離が所定値（第１の閾値）以下に近づくと、「表面粗さの調整」及び「硬さの調整」を行い、更に、距離が所定値（第２の閾値（第２の閾値＜第１の閾値））に近づくと、「表面粗さの調整」、「硬さの調整」、及び「静／動摩擦力の調整」を行うといった制御を行うことができる。

更に、本実施形態では、ポインタ６５と特徴点との距離に応じて「表面粗さの調整」、「硬さの調整」、及び「静／動摩擦力の調整」のうち、何れかを切り換えて用いることもできる。

なお、上述した各調整手法において調整可能な範囲は、ユーザが使用している感覚伝達装置２０に依存する。したがって、本実施形態では、予め設定された感覚伝達装置２０が処理可能な表面粗さの範囲（最大値と最小値）、硬さの範囲（最大値と最小値）、静／動摩擦力の範囲（最大値と最小値）を取得しておき、その範囲に合わせて上述した第１、第２の閾値等を設定したり、提示内容の強弱（レベル）を調整することができる。

上述した本実施形態により、本発明の仮想物体特徴の触力覚提示装置及び方法によれば、視覚情報がない状態において、立体形状の特徴を触察状態に応じて適応的に触力覚提示装置で提示することができ、触力覚情報だけで仮想環境におけるＣＧ等の立体形状を触力覚情報だけで把握し取得することができる。

＜他の実施形態＞
次に、本発明における他の実施形態について説明する。例えば、仮想物体の形状が複雑で特徴点が非常に多い場合には、ユーザが指で自由に触察すると、全体形状の把握が困難となる。そこで、以下の実施形態では、上述の課題を解消するため、上述した調整手法等を用いて仮想物体の提示させる順序（提示順序）を予め設定しておき、設定された提示順序にしたがってポインタを誘導する。

なお、提示順序は、仮想物体毎に異なるため、適宜設定して提示用データ５２に記録されていてもよく、パラメータ設定手段４７により設定したり、或いは変更してもよい。

上述した内容の処理を具体的に説明すると、上述した力覚制御装置３０の構成において、表示用データ５１から仮想物体の幾何学的な立体形状の特徴点を抽出し、マークアップ言語等で記述した提示用データ５２から意図的に記述された仮想物体の特徴点及び特徴区画を抽出する。

次に、特徴点及び特徴区画の提示順番を前記提示用データ内に記述又は別途設定しておき、その提示順番に応じて特徴点及び特徴区画に対してポインタを誘導する。また、それぞれの提示部分を誘導する際に、上述した「表面粗さの調整」、「硬さの調整」、「静／動摩擦力の調整」等により仮想物体の特徴点と、ユーザのポインタとの位置関係における提示制御を行うことができる。

これにより、仮想物体の特徴を能動的に触力覚にてわかりやすい順序で提示させることができ、仮想物体に対するユーザの認識率や認識速度の向上を図ることができる。

ここで、上述した誘導による複雑形状の触力覚による提示例について図を用いて説明する。図６は、複雑形状時における触力覚の提示例を示す図である。図６（ａ）に示すように、仮想空間上に形状の複雑な車の仮想物体８１があるとする。

このとき、車の仮想物体８１には、タイヤ、ボディ部、窓等のそれぞれ触感の異なる材料からなり、更に形状が複雑なものとなっている。

そこで、本実施形態では、幾何学的特徴情報の他に、提示用特徴の順序付けを行っている。つまり、図６（ｂ）に示すように（ア）→（イ）→（ウ）→（エ）というように予め提示順序を設定しておき、この順序にしたがって、ポインタ８２を誘導するための誘導ベクトル８３を生成し、その誘導ベクトル８３にしたがってポインタ８２に対して、例えば引力等の力を与えて誘導させることで、図６（ｃ）に示すように、感覚伝達装置２０を用いて、仮想物体８１が車であることをユーザに容易且つ迅速に認識させることができ、これにより、ユーザの認識率や認識速度を向上させることができる。

なお、図６（ｂ）の例では、提示順序を（ア）「後輪タイヤ」→（イ）「前輪タイヤ」→（ウ）「フロントボディ部」→（エ）「フロントガラス」としてポインタ８２を誘導しているが、本発明においてはこれに限定されるものではない。

本実施形態によれば、立体形状を触力覚提示装置に提示する場合、特徴点抽出手段４２により表示用データ５１と提示用データ５２及びパラメータ設定手段４７の情報を基に、立体形状の幾何学的な特徴点と提示用特徴を抽出し、そこで、抽出された各提示用特徴に含まれる提示順序によりユーザが形状を把握するために最適となる触察順番で各特徴点に一定の力でポインタを誘導する。

これにより、提示する立体形状ごとに特徴的な部位から順番に触察することでユーザは立体形状の全体像を把握してから各特徴点を詳しく触察することで、複雑形状を容易且つ迅速に把握することができる。

上述した本実施形態により、仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報がない状況でも触力覚により仮想的に提示することができる。

＜実行プログラム（仮想力覚提示プログラム）＞
ここで、上述した仮想力覚提示装置は、は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインタフェースを備えたコンピュータによって構成することができる。

したがって、仮想力覚提示装置が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（仮想力覚提示プログラム）を生成し、例えば、汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、仮想力覚提示処理を実現することができる。

＜仮想力覚提示処理手順＞
次に、本発明における実行プログラムによる処理手順についてフローチャートを用いて説明する。図７は、本実施形態における仮想力覚提示処理手順の一例を示すフローチャートである。図７において、まず上述記録手段４１等から表示用データ５１の取得を行い（Ｓ０１）、取得した表示用データ５１から仮想物体に対する特徴情報の抽出を行う（Ｓ０２）。

次に、感覚伝達装置２０等を用いてユーザの手指の位置や向き等からなる手指情報の取得を行い（Ｓ０３）、取得した手指情報から位置及び姿勢（向きを含む）の解析を行って（Ｓ０４）、位置及び姿勢の解析結果に基づいて３次元位置座標の解析を行う（Ｓ０５）。

また、提示用データ５２の取得を行い（Ｓ０６）、取得した内容に対して設定されたユーザ設定情報を取得し（Ｓ０７）、設定情報に対応する提示パラメータへの変換を行う（Ｓ０８）。

ここで、パラメータ設定の変更があるか否かを判断し（Ｓ０９）、変更がある場合（Ｓ０９において、ＹＥＳ）、提示力の算出を行う（Ｓ１０）。また、Ｓ１０の処理後又はＳ０９の処理において、パラメータ設定の変更がない場合（Ｓ０９において、ＮＯ）、Ｓ１０において算出された提示力情報又は予め蓄積している前回の提示力情報に基づいてデバイス（感覚伝達装置２０）に出力する（Ｓ１１）。

なお、算出された提示力情報は、記録手段に蓄積しておくことで、パラメータ設定に変更がない場合には、その提示力情報を用いて処理を行うことで、処理効率を向上させることができる。

次に、ユーザが手の動作等による仮想力覚提示処理を終了するか否かを判断する（Ｓ１２）。処理が終了でない場合（Ｓ１２において、ＮＯ）、Ｓ０１に戻り継続して処理を行い、処理終了の場合（Ｓ１２において、ＹＥＳ）、仮想力覚提示処理を終了する。

なお、上述したフローチャートにおける処理順序においては、本実施形態においてはこれに限定されるものではなく、例えば複数の処理が平行して同時に行われてもよい。

上述したように本発明によれば、仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報がない状況でも触力覚により仮想的に提示することができる。したがって、触力覚情報だけで仮想環境におけるＣＧ等の立体形状を触力覚情報だけで把握し取得することができる。

これにより、本発明は、例えばデータ放送やＷｅｂ等の多様な情報リソースに対応し、仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報がない状況でも仮想的に触力覚提示することで把握する手段を提供することができる。なお、本発明は、例えば１本の指やペン型スタイラス提示に適用しても同様の効果等を得ることができる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０ 仮想力覚提示装置
２０ 感覚伝達装置
２１ 基台
２２ 駆動部
２３ リンク機構
２４ 指先伝達部
３０ 力覚制御装置
３１，６１，８１ 仮想物体
３２ 仮想ハンド
４１ 記録手段
４２ 特徴抽出手段
４３ 触力覚提示手段
４４ デバイス情報入力手段
４５ ポインタデータ解析手段
４６ ３次元座標解析手段
４７ パラメータ設定手段
４８ 提示力算出手段
４９ デバイス情報出力手段
５１ 表示用データ
５２ 提示用データ
５３ 変換テーブル
６２ 面
６３ 辺
６４ 角
６５，８２ ポインタ
６６ 中心線
７１ ベクトル
８３ 誘導ベクトル

Claims (6)

1. 感覚伝達対象であるユーザの手の仮想空間上における位置情報と、前記仮想空間上に存在する仮想物体の位置情報とにより設定される仮想環境における力覚的負荷を前記ユーザの手に与えることで力覚を提示する仮想力覚提示装置において、
   前記仮想物体の形状を特徴づける頂点や辺等の幾何学的な特徴箇所を特徴情報として抽出する特徴抽出手段と、
   前記仮想環境における前記仮想物体を提示するためのパラメータを設定するパラメータ設定手段と、
   前記ユーザの手の少なくとも１本の指に対する仮想ポインタの位置情報を検出する指位置検出手段と、
   前記パラメータに含まれる前記仮想物体の３次元位置データと前記仮想ポインタの位置情報とから、前記仮想ポインタと前記特徴抽出手段により得られる前記特徴箇所との最短距離、及び前記仮想ポインタから前記特徴箇所に向かう単位方向ベクトルを含む３次元空間座標上における位置関係を解析する３次元座標解析手段と、
   前記３次元座標解析手段により得られる前記仮想ポインタと前記仮想物体との位置関係と、前記特徴情報とにより、前記仮想ポインタの移動情報に対応させて予め設定された提示条件に基づく触力覚での提示を行うための提示力情報を算出する提示力算出手段とを有することを特徴とする仮想力覚提示装置。
2. 前記提示力算出手段は、
   前記特徴抽出手段により得られる前記仮想物体に対する辺又は面を含む不連続な接合点と、移動する前記仮想ポインタとの位置関係に基づいて、前記提示条件を変更することを特徴とする請求項１に記載の仮想力覚提示装置。
3. 前記提示力算出手段は、
   予め設定された前記仮想物体の特徴点及び特徴区画の提示順番に対応させて前記仮想ポインタを誘導するための提示力情報を生成することを特徴とする請求項１又は２に記載の仮想力覚提示装置。
4. 前記提示条件は、前記仮想物体の硬さ、摩擦力、表面の粗さ、及び粘性のうち、少なくとも１つを有することを特徴とする請求項１乃至３の何れか１項に記載の仮想力覚提示装置。
5. 前記特徴情報は、前記仮想物体を構成するポリゴンの位置情報を含むことを特徴とする請求項１乃至４の何れか１項に記載の仮想力覚提示装置。
6. コンピュータを、
   請求項１乃至５の何れか１項に記載の仮想力覚提示装置として機能させるための仮想力覚提示プログラム。

Images