JP5364035B2 - 仮想力覚提示装置及び仮想力覚提示プログラム - Google Patents

Description

本発明は、仮想力覚提示装置及び仮想力覚提示プログラムに係り、特に仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報がない状況でも触力覚により仮想的に提示するための仮想力覚提示装置及び仮想力覚提示プログラムに関する。

従来、仮想空間に存在する立体形状等を触力覚にて提示する装置が知られている。このような触力覚への提示手法としては、例えば仮想立体と提示装置のポインタとの反力を、規定の物理法則に基づいて算出し、ワイヤの張力により提示する第１の方法がある（例えば、非特許文献１参照）。非特許文献１に示されている手法では、立体の硬さや摩擦力を全体に一様に施すことで、様々な異なる立体を表現しようとするものである。

また、従来では、高解像度力覚インタフェースと高速応答物理シミュレータを組み合わせることで、仮想環境内の物体の運動を物理法則に基づいてシミュレートし、力覚を感じながら物理モデルを直接操作する第２の方法がある（例えば、非特許文献２参照）。

一方、視覚情報が無い状態での触仮想力覚提示装置を用いた立体形状の特徴を把握する方法としては、触察箇所に付加されたテキストの内容を音声合成で確認したり、区画毎に硬さや粘性等のパラメータを付加して提示する第３の方法がある（例えば、特許文献１参照）。

特許第４１７３９５１号公報

ＳｅｎｓＡｂｌｅ社「ＰＨＡＮＴｏＭ（登録商標）及び関連ＡＰＩ」、ｈｔｔｐ：／／ｓｅｎｓａｂｌｅ．ｊｐ／ 長谷川晶一他，「高解像度力覚インタフェースをもつ物理ベースＶＲシステムの開発」、電子情報通信学会論文誌、Ｄ−Ｉ，情報・システム，Ｉ−情報処理 Ｊ８８−Ｄ−Ｉ（２），４３１−４３８，２００５０２０１

ところで、視覚的に表現された３次元情報は、物体の配置や形だけでなく重さや触感等、触力覚でなければ取得が困難な情報である。特に視覚障害者等において音声や点字による１次元的な情報取得では困難な場合は触力覚等を併用し３次元的に把握できる手段が必要である。

また一方で、データ放送やＷｅｂ等の情報環境では、写真及びコンピュータグラフィックス（ＧＧ）等の視覚的表現が主流となっており、インターネットショッピング等で形状や質感を手で確かめる等の方法の必要性が高まっている。このような背景の中で、上述した従来の技術のように、物体の形状や質感等を触力覚として出力することが必要である。

しかしながら、上述した従来技術の第１の方法である反力の算出による方法では、物体と指先との干渉状態を判定することでこれを解消する方向に反力を提示することができるが、視覚情報を用いないで触察する場合に、触るまで物体の位置が把握できないことや、触ってからも常に指を動かしていないと面の向きが把握できないこと、更に物体の角や錐のような面の不連続箇所において指の仮想ポインタが物体から逸脱してしまい触察が困難になるという問題があった。

また、従来技術の第２の方法である物理ベースＶＲシステムは、高速物理シミュレータにより、運動する物体の形状や硬さを力覚で提示できるが、視覚情報を前提としたシステムであり、視覚情報を用いないで触察する場合には上述した第１の方法と同様の問題があった。更に、従来技術の第３の方法は、仮想物体自体の区画毎に予めパラメータを付加する手法を有するものであり、視覚情報を用いない場合にも物体上の異なる特徴を音声と触力覚で提示することができるが、物体の表面に沿った滑らかな触察や離れたところにある物体の位置の把握及び操作を実現するものではなかった。

本発明は、上述した問題点に鑑みなされたものであり、仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報がない状況でも触力覚により仮想的に提示するための仮想力覚提示装置及び仮想力覚提示プログラムを提供することを目的とする。

具体的には、本発明の目的は、視覚的に表現された仮想物体の大きさや配置を触力覚装置のポインタとの間の仮想的な引力や斥力を制御することで提示し、視覚情報がない状態でも仮想物体の特徴を触力覚により把握あるいは操作する方法、仮想的な遠隔力を利用した滑らかな触察により形状を３次元的に取得する方法を提供することである。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、感覚伝達対象であるユーザの手の仮想空間上における位置情報と、前記仮想空間上に存在する仮想物体の位置情報とにより設定される仮想環境における力覚的負荷を前記ユーザの手に与えることで力覚を提示する仮想力覚提示装置において、前記仮想環境における前記仮想物体の３次元配置データを取得する手段と、前記ユーザの手の少なくとも１本の指に対する仮想ポインタの位置情報を検出する指位置検出手段と、前記仮想物体に対する属性データに含まれる物理パラメータの設定を変更するパラメータ設定手段と、前記仮想物体の３次元配置データと前記仮想ポインタの位置情報とから、最短距離及び単位方向ベクトルを含む３次元空間座標上における位置関係を解析する３次元座標解析手段と、前記仮想ポインタと前記仮想物体との位置関係と、前記属性データとに対応して予め設定された遠隔力により前記ユーザの手に触力覚での提示を行う触力覚提示手段とを有することを特徴とする。

請求項１記載の発明によれば、仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報がない状況でも触力覚により仮想的に提示することができる。

請求項２に記載された発明は、前記触力覚提示手段は、前記遠隔力を前記仮想物体による引力又は斥力に対応させて提示することを特徴とする。

請求項２記載の発明によれば、引力又は斥力により、仮想物体に触れる前に事前にその仮想物体の特徴等を容易に取得することができる。

請求項３に記載された発明は、前記仮想ポインタの位置及び姿勢データを取得するポインタ解析手段を有し、前記ポインタ解析手段は、前記位置及び姿勢情報と前記仮想物体の位置データとから、対象とする仮想物体を特定し、特定された仮想物体の属性データから前記引力又は前記斥力の大きさ及び向きを解析することを特徴とする。

請求項３記載の発明によれば、仮想ポインタの位置及び姿勢情報と、仮想物体の属性情報に基づいて、詳細に遠隔力の提示を行うことができる。

請求項４に記載された発明は、前記ポインタデータ解析手段は、前記仮想ポインタの位置及び姿勢データに応じて前記仮想環境に存在する複数の仮想物体のうち、少なくとも１つを選択することを特徴とする。

請求項４記載の発明によれば、ポインタデータ解析手段は、仮想ポインタの位置及び姿勢データから容易に仮想物体を選択することができる。

請求項５に記載された発明は、前記仮想物体の面の変化によって生じる前記遠隔力の不連続な変化を検出する力変化検出手段と、前記力変化検出手段により得られる検出情報に基づいて、力の不連続な変化を連続的な変化に変換する力変換手段とを有し、前記３次元座標解析手段は、前記仮想ポインタの３次元位置からの距離が最短となる前記仮想物体の表面上の点を算出し、算出された最短距離となる点から前記仮想ポインタに向かう単位方向ベクトルを取得して、前記仮想ポインタと前記仮想物体の表面との間に働く前記遠隔力の大きさを解析し、前記提示力算出手段は、前記仮想ポインタの位置及び姿勢データに応じて前記力変換手段により得られる前記仮想物体の表面との間の連続的な遠隔力を提示することを特徴とする。

請求項５記載の発明によれば、例えば仮想物体の角部を触察するような場合でも遠隔力が急激に変化することなく、滑らかな遠隔力を提供することができ、ユーザの負荷を軽減することができる。

請求項６に記載された発明は、感覚伝達対象であるユーザの手の仮想空間上における位置情報と、前記仮想空間上に存在する仮想物体の位置情報とにより設定される仮想環境における力覚的負荷を前記ユーザの手に与えることで力覚を提示する仮想力覚提示プログラムにおいて、コンピュータを、前記仮想環境における前記仮想物体の３次元配置データを取得する手段、前記ユーザの手の少なくとも１本の指に対する仮想ポインタの位置情報を検出する指位置検出手段、前記仮想環境における前記仮想物体に対する属性データに含まれる物理パラメータの設定を変更するパラメータ設定手段、前記仮想物体の３次元配置データと、前記仮想ポインタの位置情報とから最短距離及び単位方向ベクトルを含む３次元空間座標上における位置関係を解析する３次元座標解析手段、及び、前記仮想ポインタと前記仮想物体との位置関係と前記属性データとに対応して予め設定された遠隔力により前記ユーザの手に触力覚での提示を行う触力覚提示手段として機能させる。

請求項６記載の発明によれば、仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報がない状況でも触力覚により仮想的に提示することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に仮想力覚提示処理を実現することができる。

本発明によれば、仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報がない状況でも触力覚により仮想的に提示することができる。

本実施形態における仮想力覚提示装置の概要構成の一例を示す図である。 本実施形態における力覚制御装置の機能構成の一例を示す図である。 本実施形態におけるデータ例を示す図である。 本実施形態における提示力算出手法の一例を示す図である。 本実施形態における仮想環境の一例を示す図である。 本実施形態における仮想物体の選択例を示す図である。 他の感覚伝達装置の一例を示す図である。 仮想物体の触察の一例を示す図である。 本実施形態における仮想力覚提示処理手順の一例を示すフローチャートである。

＜本発明について＞
本発明は、仮想環境で視覚的に表示される３次元物体等の仮想物体の配置や形状等の３次元情報を触力覚に提示する方式において、例えば引力及び斥力等の遠隔力を仮想的に提示することにより、各仮想物体の大きさや方向等の配置関係を触力覚に提示し、選択された各仮想物体の表面から連続的な遠隔力を仮想的に提示することにより触察時の把持動作及び形状把握を支援する。ここで、本発明における遠隔力とは、仮想空間上で離れた位置にある点又は物体同士の間で働く力を意味する。

また本発明では、仮想環境の仮想物体の触力覚への提示形式において、手や指等の空間位置との関係に応じて仮想物体までの距離や物体の大きさを引力及び斥力に変換し、視覚情報が無い状態でも仮想環境内の仮想物体の配置や大きさ等の情報を仮想的な遠隔力で提示し、仮想的に提示された遠隔力を用いて仮想環境内で空間的に離れた物体を操作する手段を提供し、この操作により手元で触察する場合に、物体表面からの連続的な遠隔力を提示することにより、錐部や角において指等が逸脱することなく触察できることで複雑形状の触察を容易にする。

すなわち、上記内容の実現のために、以下に示す実施形態では、一例として３次元座標解析機能を有し、物体の属性データに応じて遠隔力の出力を設定するための変換テーブルや提示力算出機能を有し、各種の触仮想力覚提示装置の入力から手指の動作を検出する手指動作検出機能を有し、算出された遠隔力の不連続な変化を検出する力変化検出機能を有し、更に遠隔力の不連続な変化を連続的な変化に変換する力変換機能を有することで、手指等の姿勢や位置関係に応じて仮想物体からの遠隔力を手指等に仮想的に触力覚にて提示可能とする。

次に、上述したような特徴を有する本発明における仮想力覚提示装置及び仮想力覚提示プログラムを好適に実施した形態について、図面等を用いて詳細に説明する。

＜仮想力覚提示装置：概要構成図＞
図１は、本実施形態における仮想力覚提示装置の概要構成の一例を示す図である。図１に示す仮想力覚提示装置１０は、感覚伝達装置２０（２０−１，２０−２）と、力覚制御装置３０とを有するよう構成されている。なお、図１において、感覚伝達装置２０−１，２０−２は、ユーザの何れかの異なる指先に移動を拘束できる程度の反力等の力覚フィードバックを伝達する点接触型の装置であり、感覚を伝達する指には、例えば指サック等が装着される。

更に、感覚伝達装置２０−１，２０−２は、ユーザの指や手掌から取得した位置情報を力覚制御装置３０に出力すると共に、力覚制御装置３０からの制御情報に基づいて所定の動作を行い、ユーザに感覚を伝達する。ここで、上述した指用の感覚伝達装置２０−１，２０−２は、基台２１と、駆動部２２と、リンク機構２３と、指先伝達部２４とを有するよう構成されている。

基台２１（２１−１，２１−２）は、仮想力覚提示装置１０における実空間上の所定の場所に設置されている。駆動部２２（２２−１，２２−２）は、例えば基台２１に対して水平に０〜３６０度の回転駆動ができ、またリンク機構２３（２３−１，２３−２）の軸を基台２１に対して垂直に０〜３６０度の回転駆動ができる。なお、本実施形態における駆動部２２は、例えばモータやワイヤ機構、ロータリーエンコーダ等を用いることができる。

リンク機構２３は、１以上のロッド（軸）で構成され、その一方は駆動部２２に接続されているため、基台２１の面に対して水平、垂直に０〜３６０度回転することができる。つまり、駆動部２２及びリンク機構２３により、基台２１を中心としてあらゆる方向への移動が可能となっている。

また、リンク機構２３は、指先伝達部２４と接続され、ユーザの指に対し、その指の位置情報と、予め設定される仮想物体の位置情報や上述した物体情報等とに応じて適切な反力等の力覚的負荷を与えるための動作を行う。

指先伝達部２４は、指先の位置情報と仮想物体の位置関係とに応じてその指先に対して何れかの方向に移動できなかったり、所定量の反力を与えたりすることで所定の力覚的負荷を与える。なお、図１に示す実施形態では、指先伝達部２４として、ユーザの２本以上の指（多指）に対して力覚フィードバック情報を伝達する指サック（ジンバル）等からなる。つまり、本実施形態では、指サックを例えばユーザの親指と人差し指に挿入し、仮想物体を把持するときの力覚情報（力覚的負荷）を提示する。なお、本発明においてはこの限りではなく、例えば手の５本の指のうち少なくとも１つに装着されていればよく、また両手を対象にして、左右の手に存在する指の少なくとも１つに装着されていてもよい。また、指だけではなく、例えば掌の部分や手全体をグローブのようなもので覆って力覚的負荷を提示してもよい。

なお、本明細書に示す実施形態における反力や圧刺激等の力覚的負荷としては、例えば仮想物体が硬い立方体である場合には、その仮想物体の表面の位置情報や物体情報に基づいて、ユーザの指や手掌部に対して仮想物体の表面の位置より内部への移動を拘束するような所定量の力覚的負荷を与える。また、仮想物体が柔らかい立方体の場合には、その仮想物体の表面の位置情報や物体情報に基づいて、ユーザの指や手掌部に対して仮想物体の表面の位置情報よりも内部に移動していくと、次第に移動が拘束されるような所定量の力覚的負荷を与える。なお、力覚的負荷としては、例えば圧力又は振動があるが、本発明においてはこれに限定されず、例えば電気信号、熱等の何らかの感覚による負荷が含まれる。

また、図１に示す感覚伝達装置２０−１，２０−２は、ユーザに力覚を提示する対象となる指の数に対応させて設置されているが、本発明においてはこの限りではなく、例えば１つの感覚伝達装置の指先伝達部に複数の指を装着し感覚を伝達してもよく、また、複数の感覚伝達装置で１つの指に対して感覚を伝達させてもよい。また、上述した本発明における手掌とは、指との結合部分を含む全体を示していてもよく、１又は複数の所定の領域又は点であってもよい。

力覚制御装置３０は、上述した各感覚伝達装置２０−１，２０−２の各構成部を制御するものであり、各感覚伝達装置２０−１，２０−２から得られる指先等の位置情報を検出し、予め設定されている仮想物体との３次元における位置情報や物体情報と対応させて、その仮想物体を触る前に引力・斥力等の情報により仮想物体の位置や大きさ、形状等を提示する。

更に、力覚制御装置３０は、仮想物体を触ったときには、その物体に対応する反力情報等を取得する。また、力覚制御装置３０は、その反力に対応する負荷情報を生成し、生成した負荷情報によりそれぞれ対応する各感覚伝達装置２０−１，２０−２を制御して、各指先伝達部２４−１，２４−２を介してユーザに力覚的負荷を感覚として提示する。

なお、力覚制御装置３０は、図１に示すようなディスプレイ等の出力手段を有し、その画面上に３次元オブジェクト提示データとして仮想物体３１を表示すると共に、感覚伝達装置２０−１，２０−２から得られる指の位置情報に基づいて動作する仮想ハンド３２も画面に表示することができる。これにより、ユーザは視覚を通じて仮想空間における手の動作状況を的確に把握することができる。なお、上述した仮想物体３１は、立方体等の物に限定されず、例えば仮想空間上における壁や天井、地面等も含まれる。

＜力覚制御装置３０：機能構成例＞
次に、上述した本実施形態における力覚制御装置３０の機能構成例について図を用いて説明する。図２は、本実施形態における力覚制御装置の機能構成の一例を示す図である。図２に示す力覚制御装置３０は、記録手段４１と、仮想環境制御手段４２と、触力覚提示手段４３と、デバイス情報入力手段４４と、ポインタデータ解析手段４５と、３次元座標解析手段４６と、パラメータ設定手段４７と、提示力算出手段４８と、力変化検出手段４９と、力変換手段５０と、デバイス情報出力手段５１とを有するよう構成されている。

記録手段４１は、予め設定された本実施形態を実現するためのデータが記録されている。具体的には、記録手段４１は、画面に表示する仮想物体等に関する表示用データ６１と、その仮想物体の属性を示す属性データ６２を出力する。更に、記録手段４１は、変換テーブル６３やデバイス情報出力手段５１により出力された情報を記録する。

表示用データ６１は、３次元物体等の仮想物体の画面表示を行う際に、表示出力のフォーマット等を記述するマークアップ言語等による表示用データである。なお、表示用データ６１は、例えばＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ；仮想現実モデリング言語）等で記述されるが、本発明においてはこれに限定されるものではなく、例えばＸ３ＤやＣＯＬＬＡＤＡ（ＣＯＬＬＡｂｏｒａｔｉｖｅ Ｄｅｓｉｇｎ Ａｃｔｉｖｉｔｙ）、３ＤＭＬＷ（３Ｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ ｆｏｒ Ｗｅｂ）等のファイルフォーマットも用いることができる。

仮想環境制御手段４２は、記録手段４１から表示用データを読み出し、その表示用データ６１に含まれている各仮想物体の配置、大きさ、向き等を用いて仮想環境の構築と制御を行う。

また、触力覚提示手段４３は、デバイス情報出力手段５１からの制御情報に基づいて、ユーザの手指等に触力覚提示を行う。具体的には、触力覚提示手段４３は、上述した感覚伝達装置２０における各機能構成に相当し、例えば触力覚提示手段４３は、ワイヤの張力を利用した接触型、超音波等を利用した非接触型、錯覚による擬似的な牽引力を利用したもの等により提示される。

デバイス情報入力手段４４は、触力覚提示手段４３のポインタ（仮想ポインタ）の３次元位置情報とその点に加えられている力ベクトルを取得する。ここで、ポインタとは、例えばユーザの各指先の位置等を仮想空間上に反映させた仮想のポインタであり、上述した各指先伝達部２４−１，２４−２により得られる３次元位置座標に基づいて仮想空間上の座標に反映される。

ポインタデータ解析手段４５は、デバイス情報入力手段４４から得られるポインタの３次元位置や、姿勢（向きを含む）の情報を解析する。３次元座標解析手段４６は、仮想物体とポインタとの位置情報から、距離や単位方向ベクトル等の互いの位置関係を算出する。具体的には、３次元座標解析手段４６は、ポインタの３次元位置からの距離が最短となる仮想物体の表面上の点を算出し、算出された最短距離となる点からポインタに向かう単位方向ベクトルを取得して、ポインタと仮想物体の表面との間に働く遠隔力の大きさを解析する。

属性データ６２は、本実施形態における引力・斥力パラメータ、仮想物体の形状、重さ（質量）、体積等のセンシング情報等が含まれている。なお、属性データ６２は、例えば各仮想物体の質量や体積等の情報を記述するマークアップ言語等からなるが、本発明においてはこれに限定されるものではない。

パラメータ設定手段４７は、記録手段４１から属性データ６２を読み出し、その属性データ６２に基づいて、仮想環境制御手段４２で生成した仮想物体の提示用のパラメータ（物理パラメータ等）を設定する。つまり、パラメータ設定手段４７は、仮想物体を上述したパラメータに基づいて引力や斥力等の仮想的な遠隔力の値を決定する係数に変換し、変換テーブル６３を生成する。

提示力算出手段４８は、変換テーブル６３から出力される物体毎の属性に応じた遠隔力の値を決定する係数と、３次元座標解析手段４６で算出した仮想物体とポインタとの位置関係に応じて、提示する遠隔力を算出する。また、提示力算出手段４８は、算出した遠隔力情報を力変化検出手段４９に出力する。

また、提示力算出手段４８は、ポインタの位置及び姿勢データに応じて力変換手段５０により得られる仮想物体の表面との間の連続的な遠隔力に対応する提示力をデバイス情報出力手段５１に出力する。

力変化検出手段４９は、提示力算出手段４８により算出された提示力の変化を検出する。つまり、力変化検出手段４９は、仮想物体の面の変化によって生じる遠隔力の不連続な変化を検出する。

力検出手段５０は、力変化検出手段４９により検出された力の変化が、予め設定した値以上に急激なものとなる場合、その設定値に基づき、段階的になだらかな力変化になるように変化量を変換する。つまり、力変換手段５０は、力変化検出手段４９により得られる検出情報に基づいて、力の不連続な変化を連続的な変化に変換する。また、力検出手段５０は、得られた変化量を提示力算出手段４８に出力する。これにより、提示力算出手段４８は、得られた算出結果に基づいて、遠隔力に対応する提示力をデバイス情報出力手段５１に出力する。

デバイス情報出力手段５１は、提示力算出手段４８により得られる算出結果に基づいて対応する触力覚提示手段４３に最終的な提示力の情報を出力する。更に、デバイス情報出力手段５１は、同様の情報を記録手段４１に出力する。このように、本実施形態では、記録手段４１に提示力等の情報を記録しておくことにより、繰り返し提示を行う場合にも、何度も処理を行うことがなく、得られた提示力に基づいて容易且つ迅速に繰り返し処理を行うことができる。その場合には、触力覚提示手段４３が直接記録手段４１から提示力情報を読み出して実行される。

＜データ例＞
ここで、上述した各データ例について説明する。図３は、本実施形態におけるデータ例を示す図である。なお、図３（ａ）では、表示用データ６１の一例を示し、図３（ｂ）では、変換テーブル６３の一例を示している。

図３（ａ）に示すＶＲＭＬの記述例では、画面に表示される仮想空間上の２つの仮想物体（図３（ａ）の例では、Ｂｏｘ０１，Ｂｏｘ０２）に対するそれぞれの空間位置や回転させたときの状態等が示されている。なお、ＶＲＭＬの記述内容は、本発明においてはこれに限定されるものではなく、例えば仮想物体の３Ｄポリゴンの頂点や線の座標、ポリゴンや色、画像によるテクスチャ、光源による明るさ、物体の変化等、仮想物体に対する様々な情報を設定することができる。

表示用データ６１は、上述したようにＶＲＭＬ等を用いて仮想物体との遠隔力を規定する。また、属性データ６２は、表示用データ６１以外に物体を特徴付けるデータであり、具体的には、質量Ｍ、体積Ｖ、（比重）、表面積Ｓ、重心座標Ｇ、硬さＣ、（ヤング率）、材質Ｑ、表面の粗さＡ、テクスチャＴ等の項目が記録される。なお、上述した硬さ、材質、表面の粗さについては、例えば、物体全体に関するものと物体の各部分に関するものが考えられる。

また、変換テーブル６３は、属性データ６２に示された物体を特徴付けるデータを、どのように遠隔力として提示するかを変換式及び定数等で定義するテーブルである。具体的には、図３（ｂ）に示すものが含まれる。通常、引力や斥力は距離の２乗に反比例するものであるが、距離感の提示は別途行うこととし、属性データに比例する力を例として挙げている。

例えば、属性データの項目例と遠隔力への変換例としては、例えば、項目が「質量Ｍ（ｇ）」であれば、変換を「Ｆｇ＝ｋＭ（ｋはパラメータ設定手段等で設定する比例定数）」とし、項目が「体積Ｖ（ｃｃ）」であれば、変換を「Ｆｖ＝ｋＶ（ｋはパラメータ設定手段等で設定する比例定数）」とし、項目が「表面積Ｓ（ｍ２）」であれば、変換を「Ｆｓ＝ｋＳ（ｋはパラメータ設定手段等で設定する比例定数）」とする。

また、項目が「重心座標Ｇ（ｘ，ｙ，ｚ）」であれば、変換を「Ｆｇ＝±Ｆｐ（Ｆｐはユーザがポインタに加えている力）：Ｇとポインタを結ぶ棒状又は糸状のモデルを介した力変換の例」とし、項目が「硬さＣ（Ｈｖ等）」であれば、変換を「Ｆｃ＝ｋＣ（ｋはパラメータ設定手段等で設定する比例定数）」とする。

また、その他にも「材質Ｑ（単位なし）」、「表面の粗さＡ（ｓ等）」、「テクスチャＴ（単位なし）」等の項目についても各種設定することができる。

なお、上述の変換例は、必要に応じて定式化することもでき、また上述した内容は一例であり、距離の２乗に反比例する力とすること等も可能である。上述した提示力算出手段４８は、何れも感覚伝達装置２０で提示可能な力の最小値と最大値を設定し、そのレンジの中に収まるようにスケール変換を行う。

ここで、本実施形態において、遠隔力は、その符号に応じて予め設定される引力又は斥力として、ポインタからの距離が最短となる物体表面とポインタとの間に提示する。ただし、重心座標を表現する場合には、当該重心座標とポインタ間での提示となる。また、本実施形態では、属性毎の遠隔力を合力として提示したり、提示する属性をユーザが選択することにより切替えて提示することもできる。これにより、例えば２乗３乗の法則に従って、Ｖによる力とＳによる力を比較することで大きさを把握することが可能となる。

＜提示力算出手段４８について＞
次に、上述した提示力算出手段４８の具体例について、図を用いて説明する。

図４は、本実施形態における提示力算出手法の一例を示す図である。上述した提示力算出手段４８では、変換テーブル６３からの属性データに関する出力と３次元座標解析手段４６からの位置関係及び表示用データ６１に含まれる形状や頂点等の幾何学的な特徴に関する出力とから、ポインタに加える遠隔力を算出する。

例えば、質量Ｍ（ｇ）、体積Ｖ（ｃｃ）、表面積Ｓ（ｍ^２）、重心座標Ｇ（Ｘｇ，Ｙｇ，Ｚｇ）、硬さＣ（Ｈｖ）の仮想物体７１から、時刻Ｔ１におけるポインタＰ（Ｘｐ，Ｙｐ，Ｚｐ）に提示する力を算出する場合を考える。この場合、変換テーブル６３に予め設定された定数ｋ（但し、このｋはパラメータ設定手段４７により変更可能）を用いて、Ｍ、Ｖ、Ｓ、Ｃにそれぞれ比例する力をＦｍ＝ｋ×Ｍ×ｕ、（Ｆｖ、Ｆｓ、Ｆｃについても同様にパラメータ設定手段４７により変更可能）として導出する。ただし、ｕは、ポインタから最短距離の物体表面に向かう単位方向ベクトルとする。

更に、提示力算出手段４８は、Ｆｇとして重心座標ＧとポインタＰを結ぶ仮想的な棒状の剛体を介した直接力、又は糸状のモデルを介した張力を導出する。Ｆｇは、作用反作用の法則により、ユーザがポインタ７２に加えた力と等しい値を基本に算出する。これらの力をユーザが別途指定するモードに応じて更新すると共に、必要に応じて全ての力の合力Ｆをベクトル合成により算出する。

ここで、Ｆｇも含め、変換テーブル６３に定義された変換式がポインタ７２の座標又は仮想物体表面との距離の関数となる場合には、力変化検出手段４９により、提示力算出手段４８で算出された提示力の変化が、予め設定した値△Ｆ_ｍｉｎを超えない範囲内となるように、力変換手段５０が段階的な変化に変換する。

具体的には、図４に示すように、仮想物体の角部において、遠隔力の向きが単位時刻前（Ｐ_０）のポインタ７２の場合には、遠隔力Ｆ_０が遠隔力ベクトル７３の方向に働き、現在時刻（Ｐ_１）のポインタ７２の場合には、遠隔力Ｆ_１が遠隔力ベクトル７３の方向に働くため、Ｐ_０からＰ₁への移動時に方向が急激に変わることになる。そこで、図４に示すように、力変化検出条件の実施例として、「｜｜Ｆ_１｜−｜Ｆ_０｜｜＜｜△Ｆ_ｍｉｎ｜」、「△θ＜△θ_ｍｉｎ」の条件を満たさない場合に力変化の制御を行う。

また、力変換の実施例としては、例えば「Ｆ_１＝（Ｆ_１／｜Ｆ_１｜）＊（Ｆ_０＋△Ｆ_ｍｉｎ）」として力の係り具合を制御して、ユーザに対して急激な変化がないように制御する。なお、上述の式において、△θ_ｍｉｎは、遠隔力の向きの最小許容変化量を示し、△Ｆ_ｍｉｎは、遠隔力の大きさの最小許容変化量を示す。

更に、上述した遠隔力に従い、或いは抗して仮想物体領域にポインタが達した場合には、物体の硬さＣ及びパラメータ設定手段４７、又は変換テーブル６３に定義された動／静止摩擦係数に従って、直接力として反力を算出すると共に、上述した遠隔力との合力をベクトルの合成に従って算出する。

つまり、図４に示した動作により力変化検出手段４９は、提示力算出手段４８で算出された遠隔力の大きさＦ及び向きθの変化を単位時間毎に比較し、予め設定された最小許容変化量を超える場合には、力変換手段５０が別途設定した最小変化量に基づいて計算した遠隔力ベクトルに変換することで、ユーザの手指の動作が急激な場合や表面形状の複雑な仮想物体を触察した場合においても、遠隔力が連続的な変化となることを保証する。最終的に、提示力算出手段４８からデバイス情報出力手段５１を介して触力覚提示手段４３を駆動することにより、感覚伝達装置２０がユーザの手指に仮想的な遠隔力を提示することで、視覚的に表現された仮想物体の大きさや配置を視覚情報がない状態でも触力覚により把握すると共に、仮想物体の形状が複雑でエッジ等の角部や凸状の錐部を含む場合においても、引力提示により図４に示した滑らかな触察を実現することで形状を３次元的に取得することが可能となる。

＜提示動作について＞
ここで、本実施形態における提示動作について具体的に説明する。なお、以下に示す例では、仮想空間上に複数の仮想物体が存在する場合における提示手法について説明する。図５は、本実施形態における仮想環境の一例を示す図である。

図５では、２つの仮想物体７１−１，７１−２が仮想空間上に存在している。この場合、図１に示す仮想力覚提示装置１０によりユーザの手指に提示する場合、最初に仮想環境制御手段４２が構築した図５に示すような仮想環境内に、表示用データ６１に基づく仮想物体７１−１，７１−２を生成する。

次に、３次元座標解析手段４６において、ポインタデータ解析手段４５がデバイス情報入力手段４４より得た実空間上での指のポインタ７２の３次元位置座標データと、仮想環境制御手段４２より得た仮想物体の３次元位置座標データから、ポインタとの距離が最短となる仮想物体表面上の点を常時解析し、ポインタから最近傍となる仮想物体表面へと向かう３次元座標（ｘ，ｙ，ｚ）におけるベクトル（遠隔力ベクトル７３）を生成する。

一方、パラメータ設定手段４７において、属性データ６２により規定された質量や体積等の仮想物体の属性データに基づいて、仮想環境制御手段４２においてシミュレーションを行う上で必要となる物理パラメータを設定する。

ここで、上述した物理パラメータとは、属性データ６２に含まれる各種のデータに対して、ユーザやシステムが任意に変更するためのデータや、変更された後のデータ等を示している。具体的に説明すると、本実施形態では、属性データ６２に記載された質量や体積等の物理パラメータの内容を用いて、そのまま仮想環境制御手段４２で表示するだけではなく、パラメータ設定手段４７により必要に応じてユーザやシステムが変更することができるようにしている。

これにより、例えば、重さ４００ｇ，体積１０００ｃｃのような仮想物体を、より重くするために４０００ｇとしたり，体積を１００ｃｃと小さくしたりすることができ、容易に多種の仮想物体を仮想空間上に提示することができる。

また、属性データ６２に記載されていないデータについても、パラメータ設定手段４７を用いて、表現を可能とするために必要なデフォルトの値を設定することができる。なお、ここでの物理パラメータは、例えば図３（ｂ）で示されている属性データの項目例（左列）と基本的には同じものである。

変換テーブル６３では、パラメータ設定手段４７で設定された各々の仮想物体の提示用のパラメータに応じて、それぞれパラメータとして設定された物理情報を遠隔力に重畳して提示するための変換を行う。

これらの値を用いて提示力算出手段４８は、ユーザの手指の空間位置と提示したい仮想物体の物理情報に応じた仮想的な提示遠隔力をリアルタイムに算出する。

＜他の実施形態＞
次に、上述した実施形態とは異なる他の実施形態について説明する。他の実施形態では、上述した実施形態において、仮想環境内に複数の仮想物体が存在し、これら複数の仮想物体から遠隔力を提示する物体を一つに特定するための手段を提供し、ユーザの手指の動作により複数の仮想物体の中から一つの物体を選択して遠隔力を提示する方法を示す例である。

ここで、図６は、本実施形態における仮想物体の選択例を示す図である。本実施形態では、仮想空間上に複数の仮想物体が存在する場合、それぞれの物体に対して上述した引力や斥力により、その位置や大きさが形状を把握する必要がある。そこで、本発明では、遠隔力情報を利用したポインタの姿勢制御により、仮想物体の選択を行い、選択された仮想物体に対して上述した提示を行う。このように、ポインタの姿勢制御によりユーザの仮想空間上の手の方向を得ることで、ユーザが触察したい仮想物体を容易に選択することができる。

具体的には、図６に示すように、仮想空間上に３つの仮想物体７１−１〜７１−３が存在する場合、ユーザの手（仮想ハンド）７４に装着された感覚伝達装置２０の複数の指に装着された指先伝達部２４に対応する複数のポインタの間隔により設定される選択範囲を設定し、その選択範囲に含まれる領域の中にある仮想物体７１が選択される。

図６の例では、親指のポインタ７２−１と人差し指のポインタ７２−２の距離と手７４の位置により選択範囲が設定され、その選択範囲に含まれる仮想物体７１−１〜７１−３の何れかが設定される。

なお、選択範囲内に複数の仮想物体が存在する場合には、ユーザの仮想空間上の手の位置から最も近い仮想物体が選択されてもよく、複数ある仮想物体を近い順に連続して力覚提示してもよく、更にユーザの手７４やポインタ７２の動作等により複数ある仮想物体から１つを選択させるようにしてもよい。

図７は、他の感覚伝達装置の一例を示す図である。図７に示す感覚伝達装置８０は、上述した感覚伝達装置２０と比較して、ポインタ姿勢取得用の３自由度からなる力覚センサ８１が設けられている。これにより、本実施形態においては、片手３指によるポインタ７２−１〜７２−３のそれぞれから姿勢の取得が可能となるため、それに応じた提示を行うことができる。なお、本実施形態においては３つのポインタから姿勢を取得したが、本発明においてはこれに限定されるものではなく、例えば１以上で姿勢及び範囲を取得できればよく、またポインタは指先の位置に限定されるものではなく、例えば２つの指と掌の中心等といった場所でもよい。

なお、上述した図６に示した３つの仮想物体７１−１〜７１−３からの遠隔力を感覚伝達装置２０に提示する場合、ポインタデータ解析手段部４５はデバイス情報入力手段４４からの情報を解析することで３次元座標解析手段４６に対しポインタの３次元位置及び実空間上での姿勢に関するデータを提供する。ただし、ポインタの姿勢情報については、図７に示したポインタ姿勢取得用の３自由度力覚センサを備えた触力覚提示装置等によりユーザの３指等の空間位置を取得することで算出する。３次元座標解析手段４６は、ポインタデータ解析手段４５から取得したユーザの手指の姿勢を基に仮想環境制御手段４２内の仮想物体との位置関係を解析し、遠隔力を提示する仮想物体を特定する。

これにより、ユーザは、手指の姿勢及び指の間隔等を制御することで仮想環境内の選択範囲を調整することが可能となる。

また、図８は、仮想物体の触察の一例を示す図である。図８の例では、仮想空間上の仮想物体７１に対してユーザの指のポインタ７２が移動して角部（エッジ部）付近を移動する例を示している。

このような場合、本実施形態を適用することで、図８に示すように引力提示による仮想物体７１のエッジ部の移動に対して、上述したように変化量が制御されるため、急激な変化がなく滑らかな触察を実現することができる。

上述した本実施形態により、仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報がない状況でも触力覚により仮想的に提示することができる。

＜実行プログラム（仮想力覚提示プログラム）＞
ここで、上述した仮想力覚提示装置は、は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインタフェースを備えたコンピュータによって構成することができる。

したがって、仮想力覚提示装置が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（仮想力覚提示プログラム）を生成し、例えば、汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、仮想力覚提示処理を実現することができる。

＜仮想力覚提示処理手順＞
次に、本発明における実行プログラムによる処理手順についてフローチャートを用いて説明する。図９は、本実施形態における仮想力覚提示処理手順の一例を示すフローチャートである。図９において、まず上述記録手段４１等から表示用データ６１の取得を行い（Ｓ０１）、また記録手段４１等から属性データ６２の取得を行う。

次に、ユーザ設定情報の取得を行い（Ｓ０３）、パラメータの設定の変更の有無を判断する（Ｓ０４）。パラメータ設定の変更がある場合（Ｓ０４において、ＹＥＳ）、仮想環境の構築を行う（Ｓ０４）。なお、Ｓ０４の処理は、最初の処理実行時には、パラメータ設定の変更の有無に関係なく仮想環境の構築を行う（Ｓ０５）。

また、パラメータ設定の変更がない場合（Ｓ０４において、ＮＯ）、又はＳ０５の処理が終了後、ユーザの手や指の位置や向き等からなる手指情報の取得を行い（Ｓ０６）、取得した手指情報から位置及び姿勢の解析を行う（Ｓ０７）。次に、３次元位置座標の解析を行い（Ｓ０８）、遠隔力情報への変換を行う（Ｓ０９）。

次に、Ｓ０９の処理で得られた遠隔力情報から提示力の算出を行い（Ｓ１０）、得られた提示力の範囲が許容範囲内か否かを判断する（Ｓ１１）。ここで、力の範囲が許容範囲内にない場合（Ｓ１１において、ＮＯ）、上述した手法により滑らかな遠隔力の提示となるようにＳ１０の処理に戻り、提示力の算出を行う。

また、Ｓ１１の処理において、力の範囲が許容範囲内にある場合（Ｓ１１において、ＹＥＳ）、その提示力を（デバイス感覚伝達装置２０）に出力する（Ｓ１２）。

次に、ユーザが手の動作等による仮想力覚提示処理を終了するか否かを判断する（Ｓ１３）。処理が終了でない場合（Ｓ１３において、ＮＯ）、Ｓ０３に戻り継続して処理を行い、処理終了の場合（Ｓ１３において、ＹＥＳ）、仮想力覚提示処理を終了する。

なお、上述したフローチャートにおける処理順序においては、本実施形態においてはこれに限定されるものではなく、例えば複数の処理が平行して同時に行われてもよい。

上述したように本発明によれば、仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報がない状況でも触力覚により仮想的に提示することができる。

具体的には、本発明によれば、視覚的に表現された仮想物体の大きさや配置を触力覚装置のポインタとの間の仮想的な引力や斥力を制御することで提示し、視覚情報がない状態でも仮想物体の特徴を触力覚により把握したり、仮想的な遠隔力を利用した滑らかな触察により立体形状を３次元的に取得することができる。

これにより、本発明は、例えばデータ放送やＷｅｂ等の多様な情報リソースに対応し、仮想環境において視覚的に表示される仮想物体の配置や形状を、視覚情報が無い状況でも仮想的に触力覚提示することで把握する手段を提供することができる。なお、本発明は、例えば１本の指やペン型スタイラス提示に適用しても同様の効果等を得ることができる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０ 仮想力覚提示装置
２０，８０ 感覚伝達装置
２１ 基台
２２ 駆動部
２３ リンク機構
２４ 指先伝達部
３０ 力覚制御装置
３１，７１ 仮想物体
３２ 仮想ハンド
４１ 記録手段
４２ 仮想環境制御手段
４３ 触力覚提示手段
４４ デバイス情報入力手段
４５ ポインタデータ解析手段
４６ ３次元座標解析手段
４７ パラメータ設定手段
４８ 提示力算出手段
４９ 力変化検出手段
５０ 力変換手段
５１ デバイス情報出力手段
６１ 表示用データ
６２ 属性データ
６３ 変換テーブル
７２ ポインタ
７３ 遠隔力ベクトル
７４ 手
８１ 力覚センサ

Claims (6)

1. 感覚伝達対象であるユーザの手の仮想空間上における位置情報と、前記仮想空間上に存在する仮想物体の位置情報とにより設定される仮想環境における力覚的負荷を前記ユーザの手に与えることで力覚を提示する仮想力覚提示装置において、
   前記仮想環境における前記仮想物体の３次元配置データを取得する手段と、
   前記ユーザの手の少なくとも１本の指に対する仮想ポインタの位置情報を検出する指位置検出手段と、
   前記仮想物体に対する属性データに含まれる物理パラメータの設定を変更するパラメータ設定手段と、
   前記仮想物体の３次元配置データと前記仮想ポインタの位置情報とから、最短距離及び単位方向ベクトルを含む３次元空間座標上における位置関係を解析する３次元座標解析手段と、
   前記仮想ポインタと前記仮想物体との位置関係と、前記属性データとに対応して予め設定された遠隔力により前記ユーザの手に触力覚での提示を行う触力覚提示手段とを有することを特徴とする仮想力覚提示装置。
2. 前記触力覚提示手段は、
   前記遠隔力を前記仮想物体による引力又は斥力に対応させて提示することを特徴とする請求項１に記載の仮想力覚提示装置。
3. 前記仮想ポインタの位置及び姿勢データを取得するポインタ解析手段を有し、
   前記ポインタ解析手段は、
   前記位置及び姿勢情報と前記仮想物体の位置データとから、対象とする仮想物体を特定し、特定された仮想物体の属性データから前記引力又は前記斥力の大きさ及び向きを解析することを特徴とする請求項２に記載の仮想力覚提示装置。
4. 前記ポインタデータ解析手段は、
   前記仮想ポインタの位置及び姿勢データに応じて前記仮想環境に存在する複数の仮想物体のうち、少なくとも１つを選択することを特徴とする請求項３に記載の仮想力覚提示装置。
5. 前記仮想物体の面の変化によって生じる前記遠隔力の不連続な変化を検出する力変化検出手段と、
   前記力変化検出手段により得られる検出情報に基づいて、力の不連続な変化を連続的な変化に変換する力変換手段とを有し、
   前記３次元座標解析手段は、前記仮想ポインタの３次元位置からの距離が最短となる前記仮想物体の表面上の点を算出し、算出された最短距離となる点から前記仮想ポインタに向かう単位方向ベクトルを取得して、前記仮想ポインタと前記仮想物体の表面との間に働く前記遠隔力の大きさを解析し、
   前記提示力算出手段は、前記仮想ポインタの位置及び姿勢データに応じて前記力変換手段により得られる前記仮想物体の表面との間の連続的な遠隔力を提示することを特徴とする請求項１乃至４の何れか１項に記載の仮想力覚提示装置。
6. 感覚伝達対象であるユーザの手の仮想空間上における位置情報と、前記仮想空間上に存在する仮想物体の位置情報とにより設定される仮想環境における力覚的負荷を前記ユーザの手に与えることで力覚を提示する仮想力覚提示プログラムにおいて、
   コンピュータを、
   前記仮想環境における前記仮想物体の３次元配置データを取得する手段、
   前記ユーザの手の少なくとも１本の指に対する仮想ポインタの位置情報を検出する指位置検出手段、
   前記仮想環境における前記仮想物体に対する属性データに含まれる物理パラメータの設定を変更するパラメータ設定手段、
   前記仮想物体の３次元配置データと、前記仮想ポインタの位置情報とから最短距離及び単位方向ベクトルを含む３次元空間座標上における位置関係を解析する３次元座標解析手段、及び、
   前記仮想ポインタと前記仮想物体との位置関係と前記属性データとに対応して予め設定された遠隔力により前記ユーザの手に触力覚での提示を行う触力覚提示手段として機能させるための仮想力覚提示プログラム。

Images