JP6298705B2

JP6298705B2 - 力覚誘導提示装置

Info

Publication number: JP6298705B2
Application number: JP2014094516A
Authority: JP
Inventors: 忠裕坂井; 半田　拓也; 拓也半田; 清水　俊宏; 俊宏清水
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2014-05-01
Filing date: 2014-05-01
Publication date: 2018-03-20
Anticipated expiration: 2034-05-01
Also published as: JP2015212852A

Description

本発明は、力覚誘導提示装置に係り、特にユーザに迅速で確実にオブジェクトを認識させるための力覚誘導提示装置に関する。

従来では、視覚に障害のある人や盲ろう者等のユーザに対して、図や表、グラフ、メニュー画面等の２次元情報のオブジェクトを提示する手法として触図が用いられている。しかしながら、触図は、実時間の情報提示や触れた箇所を音声で読み上げることが難しい。

そこで、実時間でオブジェクトをユーザに伝える第一の提示方法の例として、多数の微小アクチュエータを用いて所定の間隔に配列された刺激ピンを振動又は凹凸駆動させることで、オブジェクトを提示する触覚ディスプレイ（触覚提示装置）が知られている（例えば、非特許文献１参照）。

触覚ディスプレイでは、ユーザが能動的に指を動かして刺激ピンを触察することで、図やグラフ等のオブジェクトを認識する。また、触覚ディスプレイに提示されたオブジェクトの情報を音声で説明する手法が知られている（例えば、非特許文献２及び３参照）。

一方、バーチャルリアリティの分野では、３次元の立体形状を伝達することを目的に、仮想的な物体（仮想オブジェクト）の形状を力覚で提示する装置が開発されている。力覚提示装置では、ユーザの指の３次元座標位置を検出し、コンピュータで作成した仮想物体の３次元座標で衝突した場合に物理的な反力をフィードバックする手法が知られている（例えば、非特許文献４参照）。

この力覚提示装置を用いた２次元情報の第二の提示方法の例として、ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）のアイコンをコンピュータで作成し、仮想的に配置されたアイコンに触れられることを可能にした手法が知られている（例えば、非特許文献５参照）。

また、力覚提示装置を用いた第三の提示方法の例として、空間又は平面上存在するコンテンツのレイアウトや仮想オブジェクトの位置等を伝えるために、予めコンテンツの全体の構成や仮想オブジェクトの位置関係、グラフの軌跡等を手指を誘導して伝える手法が知られている（例えば、特許文献１参照）。

特開２０１４−００２６６８号公報

ＫＧＳ社、「ドットビュー（登録商標）」、ｈｔｔｐ：／／ｗｗｗ．ｋｇｓ−ｊｐｎ．ｃｏ．ｊｐ／ｂ＿ｄｖ２．ｈｔｍｌ半田，坂井，森田，伊藤："タッチパネル搭載型触覚ディスプレイを用いたインタラクティブな提示方式"，信学技報，ＷＩＴ２００７−４７，ｐｐ．８３−８６（２００７）山本，内田，島田，篠原，下条，清水："インタラクティブ型触覚グラフィックディスプレイのユーザインタフェース向上とその応用"，日本ＶＲ学会論文誌１３（１）、４９−５７（２００８）Ｔ．Ｈ．Ｍａｓｓｉｅ："ＩｎｉｔｉａｌＨａｐｔｉｃＥｘｐｌｏｒａｔｉｏｎｓｗｉｔｈｔｈｅＰｈａｎｔｏｍ：ＶｉｒｔｕａｌｔｏｕｃｈＴｈｒｏｕｇｈＰｏｉｎｔＩｎｔｅｒａｃｔｉｏｎ，" ＤｅｇｒｅｅｏｆＭａｓｔｅｒｏｆＳｃｉｅｎｃｅ（１９９６）Ｗ．Ｙｕ，Ｓ．Ｂｒｅｗｓｔｅｒ："Ｍｕｌｔｉｍｏｄａｌｖｉｒｔｕａｌｒｅａｌｉｔｙｖｅｒｓｕｓｐｒｉｎｔｅｄｍｅｄｉｕｍｉｎｖｉｓｕａｌｉｚａｔｉｏｎｆｏｒｂｌｉｎｄｐｅｏｐｌｅ，"５ｆｔｈｉｎｔ．ＡＣＭｃｏｎｆ．Ａｓｓｉｓｔｉｖｅｔｅｃｈｎｏｌｏｇｉｅｓ，ｐｐ５７−６４（２００２）

しかしながら、上述した第一の提示方法では、ユーザが能動的に触れて形状を認識する必要がある。この場合、ユーザが初めて提示される図やグラフ等に触れて理解するには時間を要すると共に、表示されたオブジェクトの一部を見落としてしまう等、全てのオブジェクトを網羅して認識できない恐れがある。この原因には、提示される全体の構成や重要な箇所を全て一人で触れて理解しなければならないことに起因する。

また、非特許文献２や非特許文献３に示すように、触覚ディスプレイでインタラクティブに指の触察位置を検出し触れたオブジェクトの内容を音声や点字で出力する手段では、複数の指や掌が提示面に置かれた場合に、触察する指の位置を検出することができないという課題がある。

また、上述した第二の提示方法では、上述した第一の提示方法と同様の課題を有していると共に、通常、触図や触覚ディスプレイで触察する場合には、手の指や掌全体を使って触れることが多いが、力覚提示装置ではそのような触察ができないため、相対的な位置関係の把握が難しいことや、力覚提示では指先の接触が１点だけの点接触のためオブジェクトからの逸脱等の理由により、触覚ディスプレイでの触察と比較すると安定な触察に劣る。

また、上述した第三の提示方法では、２次元空間に存在するオブジェクトの全体の位置やグラフの軌跡等を誘導して伝えることができるが、力覚提示装置だけで、２次元のコンテンツと誘導とを併用した場合には、上述した第二の提示方法と同様に、手の指や掌全体を使って触れることができないことで誘導後のコンテンツの理解や把握には十分ではない。なお、上述した課題には、例えば特許文献１により対応することができるが、指を力覚誘導する際に、仮想オブジェクト自身の高さを０にすることができないことや提示面の水平が取れていない場合には、オブジェクト間を誘導する際に仮想オブジェクトの位置で仮想オブジェクトに接触して誘導時に引っ掛かりが生じ、円滑な誘導が妨げられ、力覚提示装置に対し負荷を与えてしまう。

本発明は、かかる問題を鑑み、ユーザに迅速で確実にオブジェクトを認識させることを目的とする。

上記課題を解決するために、本発明は、以下の特徴を有する課題を解決するための手段を採用している。

本発明の一つの態様では、１又は複数のオブジェクトを力覚誘導によりユーザに提示する力覚誘導提示装置において、前記ユーザに提示する前記オブジェクトの内容が記述された記述データからオブジェクト毎の高さデータを抽出する高さデータ抽出部と、前記高さデータ抽出部により抽出された前記オブジェクト毎の高さデータに基づき、オブジェクト内での高さ方向の誘導力とオブジェクト間の高さ方向の誘導力とを有する高さ方向の誘導データを生成する高さ方向誘導データ生成部と、前記高さ方向誘導データ生成部により得られる高さ方向の誘導データと、前記記述データから得られる誘導順及び誘導速度とを含む誘導データを用いて、提示するオブジェクトの位置まで前記ユーザの指を力覚により誘導する力覚提示装置に対する駆動制御を行う駆動制御部とを有する。

本発明によれば、ユーザに迅速で確実にオブジェクトを認識させることができる。

第１実施形態における力覚誘導提示装置の一構成例を示す図である。高さデータ抽出部及び高さ方向誘導データ生成部における処理内容を説明するための図である。力覚誘導提示処理の一例を示すフローチャートである。力覚提示／誘導記述データのデータ例を示す図である。誘導時の具体例を示す図である。誘導方法の具体例を示す図である。第２の実施形態における力覚誘導提示装置の構成例を示す図である。第２実施形態における誘導データの切り替え処理の一例を示すフローチャートである。

＜本発明について＞
本発明は、例えば１又は複数のオブジェクトを力覚誘導によりユーザに提示する力覚誘導提示装置に関する。例えば、ユーザに提示される１又は複数のオブジェクトを指や掌で触察する前に予め指や手を力覚で誘導することにより、各オブジェクトや、全体のコンテンツの構成やオブジェクトの配置・形状、グラフ等の軌跡をコンテンツの内容を迅速に理解しやすい提示方法を提供する。

例えば、本実施形態では、ユーザの指や手に反力を与え、仮想オブジェクトを提示したり手や指を誘導できる力覚提示装置（力覚提示デバイス）を有し、予めコンテンツのレイアウトや力覚誘導の速度・加速度、誘導順、或いは誘導の高さ等のパラメータの情報を用いて力覚提示装置に対する駆動制御を行う。これにより、視覚に障害のある人により迅速で正確に情報を伝えうる支援技術を提供することができる。

また、誘導に際しては、各オブジェクト間を通過しているときの高さ方向の誘導力と、オブジェクト内（上）を通過しているときの高さ方向の誘導力とで、異なる誘導力を与えてもよい。オブジェクト間の高さ方向の誘導力と、オブジェクト内での高さ方向の誘導力とが異なる誘導力である場合には、それぞれの誘導力が付加される位置への誘導に対し、例えば仮想オブジェクト内或いは仮想オブジェクトの周囲近傍（周辺）で高さ方向の誘導力を滑らかに変化させる。誘導力を滑らかに変化させるとは、例えばユーザの指や手が誘導力の異なる位置へ移動する場合に、所定の傾斜を設けて直線的に誘導させたり、曲線的に誘導させるように高さ方向の誘導力を増減させることを意味するが、これに限定されるものではなく、例えばユーザが違和感を持たない程度に誘導力の段差を設けて段階的に増減させてもよい。これにより、誘導時の仮想オブジェクトによる指の引っ掛かりを解消し、かつ疑似的な形状の感覚を与えることを特徴とする。

次に、本発明における力覚誘導提示装置を好適に実施した形態について、図面等を用いて詳細に説明する。

＜第１実施形態における力覚誘導提示装置の構成例＞
図１は、第１実施形態における力覚誘導提示装置の一構成例を示す図である。図１に示す力覚誘導提示装置１０は、力覚提示／誘導記述データ取得部１１と、誘導シーケンス抽出部１２と、誘導シーケンス生成部１３と、誘導パラメータ抽出部１４と、誘導速度生成部１５と、高さデータ抽出部１６と、高さ方向誘導データ生成部１７と、力覚誘導データ蓄積部１８と、オブジェクト提示データ生成部１９と、駆動制御部２０と、力覚提示装置２１とを有する。

力覚提示／誘導記述データ取得部１１は、予め設定された力覚提示装置２１を誘導するための力覚提示情報や力覚誘導情報等が記述された力覚提示／誘導記述データ３０を入力する。また、力覚提示／誘導記述データ取得部１１は、入力されたデータの中から力覚提示情報や力覚誘導情報に対応する誘導シーケンス情報、誘導パラメータ情報、高さデータ情報、仮想オブジェクト情報等を抽出する。

ここで、力覚提示／誘導記述データ３０は、ユーザ等に提示するコンテンツにおいて仮想オブジェクトの形状や空間位置座標、高さ、及び力覚誘導の速度や加速度等の物理的な提示パラメータが記述されたテキストデータであり、例えばタグ等の識別情報により識別可能に各種情報が記述されている。力覚提示／誘導記述データ取得部１１は、その識別情報に基づいて対応する情報を抽出する。

誘導シーケンス抽出部１２は、力覚提示／誘導記述データ取得部１１で取得された力覚提示／誘導記述データ３０の誘導シーケンスから、誘導順を規定するパラメータを抽出する。

誘導シーケンス生成部１３は、誘導シーケンス抽出部１２により得られたパラメータを用いてユーザに提示される複数の仮想オブジェクトに対する誘導順の情報を有する誘導シーケンス情報を生成する。また、誘導シーケンス生成部１３は、力覚提示／誘導記述データ３０から抽出した仮想オブジェクトの形状や位置情報等に基づいて、ユーザに提示される仮想オブジェクト間或いは仮想オブジェクトの輪郭等を誘導する誘導シーケンス情報を生成してもよい。

誘導パラメータ抽出部１４は、力覚提示／誘導記述データ取得部１１で取得された力覚提示／誘導記述データ３０から誘導速度や加速度、力（誘導力、反力）等の物理的な誘導パラメータを抽出する。

誘導速度生成部１５は、誘導パラメータ抽出部１４により得られた誘導パラメータを用いて誘導速度や加速度、誘導時又は各オブジェクトに触れたときの力に関するパラメータ等を生成する。

高さデータ抽出部１６は、力覚提示／誘導記述データ取得部１１で取得された力覚提示／誘導記述データ３０から、各仮想オブジェクトの高さデータを抽出する。

高さ方向誘導データ生成部１７は、高さデータ抽出部１６により得られたデータを用いて高さ方向の誘導データを抽出する。例えば、高さ方向誘導データ生成部１７は、高さデータ抽出部１６により抽出されたオブジェクト毎の高さデータに基づき、オブジェクト内での高さ方向の誘導力とオブジェクト間の高さ方向の誘導力とを有する高さ方向の誘導データを生成する。

また、高さ方向誘導データ生成部１７は、オブジェクト内での高さ方向の誘導力と、オブジェクト間の高さ方向の誘導力とが異なる誘導力である場合に、それぞれの誘導力が付加される位置への誘導に対し、オブジェクトの周辺の誘導力が滑らかに変化する誘導データを生成してもよい。オブジェクトの周辺とは、オブジェクトの端部を基準として所定の距離だけ離れた範囲（周囲近傍）であるが、これに限定されるものではない。また、所定の距離は、例えば力覚提示／誘導記述データ３０において、オブジェクト周辺の高さ方向の誘導発生範囲として設定される。また、高さ方向誘導データ生成部１７は、オブジェクトの周辺だけでなく、オブジェクト内に対しても端部を基準として所定の距離だけ中心に移動した範囲（オブジェクト内の高さ方向の誘導発生範囲）で誘導力が滑らかに変化する誘導データを生成してもよい。

また、高さ方向誘導データ生成部１７は、力覚提示／誘導記述データ３０から得られる選択情報に基づいて、例えば、オブジェクト内における高さ方向の誘導力を一定又は可変に設定してもよい。

力覚誘導データ蓄積部１８は、誘導シーケンス生成部１３により生成された誘導シーケンス情報、誘導速度生成部１５により生成されたパラメータ、高さ方向誘導データ生成部９により生成された高さ方向誘導データとを統合し、統合された３次元の誘導データを蓄積する。

オブジェクト提示データ生成部１９は、力覚提示／誘導記述データ取得部１１で取得された力覚提示／誘導記述データ３０から、力覚で平面形状と高さを有する仮想オブジェクトの提示データを生成する。

駆動制御部２０は、力覚提示装置２１に対する駆動制御信号を生成し、生成した駆動制御信号を力覚提示装置２１に出力する。駆動制御部２０は、オブジェクト提示データ生成部１９により提示させた仮想オブジェクト提示データと、力覚誘導データ蓄積部１８により蓄積されたデータとを用いて力覚提示装置２１に対する駆動制御信号を生成する。

つまり、駆動制御部２０は、力覚誘導データ蓄積部１８により蓄積された誘導データを用いて、駆動制御信号を生成し、生成した駆動制御信号により力覚提示装置２１に対する駆動制御を実現する。

力覚提示装置２１は、ユーザの指や手等に装着し、オブジェクト提示データ生成部１９により生成されたオブジェクトの位置までユーザの指を力覚により誘導する。また、力覚提示装置２１は、仮想オブジェクトや、触覚ディスプレイ等による触覚ピンの凹凸による形成されるオブジェクトを触察させるための誘導を行う。

力覚提示装置２１としては、例えばＰＨＡＮＴｏＭ（登録商標）等を使用することができるが、これに限定されるものではない。なお、第１実施形態では、ユーザの指先が力覚提示装置２１に装着された状態で、仮想オブジェクトではなく、触覚ディスプレイ等の凹凸ピン等を用いて形成された実際のオブジェクトを触察することができるような構造としてもよい。例えば、図１に示す装着部２１ａでは、ユーザの指腹部が触覚ディスプレイの提示面に触れることができるように装着することができる。

＜高さデータ抽出部１６及び高さ方向誘導データ生成部１７における具体的な処理内容＞
次に、高さデータ抽出部１６及び高さ方向誘導データ生成部１７における具体的な処理内容について、図を用いて説明する。図２は、高さデータ抽出部及び高さ方向誘導データ生成部における処理内容を説明するための図である。

図２に示すように、高さデータ抽出部１６は、力覚提示／誘導記述データから高さデータを抽出する。高さデータとしては、例えば「オブジェクト間基準高さ係数」、「オブジェクト間高さ係数」、「オブジェクト間高さ誘導発生範囲」、「オブジェクト内基準高さ係数」、「オブジェクト内高さ係数」、「オブジェクト内高さ誘導発生範囲」、「オブジェクト周辺高さ誘導発生範囲」等であるが、これに限定されるものではない。

ここで、第１実施形態における高さ方向の誘導は、２つの仮想オブジェクト間を誘導する「オブジェクト間誘導」と、オブジェクト内（上）を通過したり周りを周回する「オブジェクト内誘導」に大別される。高さ方向誘導データ生成部１７は、それぞれの誘導データを生成する。

高さ方向誘導データ生成部１７は、図２に示すように、オブジェクト間高さ方向誘導データ生成部１７−１と、オブジェクト内高さ方向誘導データ生成部１７−２とを有する。オブジェクト間高さ方向誘導データ生成部１７−１は、高さデータ抽出部１６で抽出した、マークアップ記述言語で設定された「オブジェクト間基準高さ係数」、「オブジェクト間高さ係数」、及び「オブジェクト間高さ誘導発生範囲」のタグの属性値により、仮想オブジェクト間における高さ方向の誘導データを生成する。属性値とは、例えばマークアップ言語の所定のタグで囲まれた情報（例えば、数値等）であるが、これに限定されるものではない。

また、オブジェクト内高さ方向誘導データ生成部１７−２は、高さデータ抽出部１６で抽出した、マークアップ記述で設定された「オブジェクト内基準高さ係数」、「オブジェクト内高さ係数」、「オブジェクト内高さ誘導発生範囲」、及び「オブジェクト周辺高さ誘導発生範囲」のタグの属性値により、仮想オブジェクト内における高さ方向の誘導データを生成する。誘導データの生成においては、例えばマークアップ記述で設定したタグの属性値を用いた算出処理等を行うが、これに限定されるものではない。

なお、上述した高さ方向の誘導データは、ユーザが仮想オブジェクト内を移動する場合と、仮想オブジェクト間を移動する場合とで、その際が容易に認識できるのが好ましい。したがって、仮想オブジェクト内の誘導では、仮想オブジェクト間の移動時の高さと異なる高さにすることで、仮想オブジェクトの位置が順に分かるように誘導する。また、オブジェクト内の誘導時の高さと、オブジェクト間の誘導時の高さとが異なる場合には、オブジェクト内からオブジェクト間への誘導時、又はその逆の誘導時に高さが急激に変化することがないような制御を行う。

また、第１実施形態では、仮想オブジェクトの位置を知らせるための誘導ではなく、単に指の位置を所定の位置に移動させるために誘導する場合もある。その場合にも、上述したタグの属性値を用いて両者の違いが明確になるように高さが異なる誘導データを生成することができる。また、第１実施形態では、ユーザの設定等により任意に高さを設定してもよい。

＜力覚誘導提示処理の一例＞
次に、力覚誘導提示処理の一例について、フローチャートを用いて説明する。図３は、力覚誘導提示処理の一例を示すフローチャートである。図３の例において、力覚提示／誘導記述データ取得部１１は、ユーザに提供する力覚提示／誘導記述データを取得し（Ｓ０１）、取得したデータから誘導データを抽出する（Ｓ０２）。誘導データは、例えばマークアップ言語で記述された力覚提示／誘導記述データのうち、予め設定された誘導データに対応するタグを検索することで、抽出することができるが、これに限定されるものではない。

次に、誘導シーケンス抽出部１２は、力覚提示／誘導記述データ取得部１１で取得した誘導データのうち、誘導順を決定するための誘導シーケンスを抽出する（Ｓ０３）。次に、誘導シーケンス生成部１３は、Ｓ０３の処理で抽出した誘導シーケンスに基づいて、ユーザに提示される１又は複数の仮想オブジェクトの誘導順を生成する（Ｓ０４）。

また、誘導パラメータ抽出部１４は、Ｓ０１の処理で取得した力覚提示／誘導記述データから、タグ情報等に基づいて誘導パラメータを抽出する（Ｓ０５）。誘導パラメータとは、例えば、ユーザの指や手等を誘導する際の速度や加速度、誘導力等の物理パラメータであるが、これに限定されるものではなく、例えば仮想オブジェクトに触れたとき反力、接触面の摩擦力等の情報を含んでいてもよい。

次に、誘導速度生成部１５は、誘導パラメータ抽出部１４で抽出された物理パラメータに基づいて、誘導条件の一つとして、誘導の速度・加速度データを生成する（Ｓ０６）。

次に、高さデータ抽出部１６は、Ｓ０１の処理で取得した力覚提示／誘導記述データから、タグ情報等に基づいて、高さデータを抽出する（Ｓ０７）。高さデータとは、例えばユーザに提示する１又は複数の仮想オブジェクトの高さデータや、誘導時の指や手の高さの基準となる情報等であるが、これに限定されるものではない。

次に、高さ方向誘導データ生成部１７は、高さデータ抽出部１６により抽出された高さの基準となる情報に基づいて、第１実施形態における仮想オブジェクト間又は仮想オブジェクト内の誘導時の高さ方向の誘導データを生成する（Ｓ０８）。Ｓ０８で生成される誘導データは、仮想オブジェクトの高さに応じた高さ方向の誘導力に加え、誘導時に仮想オブジェクトに接触して誘導時に引っ掛かりが生じ、円滑な誘導が妨げられることがないように、更に高さ方向に所定の誘導力を付加する。

次に、力覚誘導データ蓄積部１８は、誘導シーケンス生成部１３、誘導速度生成部１５、高さ方向誘導データ生成部１７でそれぞれ生成された誘導データを統合し、統合された力覚誘導データを蓄積する（Ｓ０９）。

また、オブジェクト提示データ生成部１９は、Ｓ０１の処理で取得した力覚提示／誘導記述データから、タグ情報等に基づいて、仮想オブジェクトの提示データを抽出し、抽出した提示データから各仮想オブジェクトの表示位置座標や３次元を含む形状データを生成する（Ｓ１０）。

次に、駆動制御部２０は、Ｓ１０の処理で生成された仮想オブジェクトの形状や力覚誘導データ蓄積部１８に蓄積された誘導データに基づいて、力覚提示装置２１によりユーザが可触化できる仮想オブジェクトを提示する（Ｓ１１）。

また、駆動制御部２０は、オブジェクト間の誘導か、又はオブジェクト内の誘導であるかに基づいて、対応する誘導条件でユーザの指や手を誘導する。例えば、駆動制御部２０は、タグ情報等により、オブジェクト間誘導であるか否かを判断し（Ｓ１２）、オブジェクト間誘導である場合（Ｓ１２において、ＹＥＳ）、オブジェクト間誘導に対応する誘導高さデータを抽出する（Ｓ１３）。また、駆動制御部２０は、オブジェクト間誘導でない場合（Ｓ１２において、ＮＯ）、オブジェクト内誘導であると判断して、オブジェクト内誘導に対応する誘導高さデータを抽出する（Ｓ１４）。

Ｓ１３又はＳ１４の処理が終了後、駆動制御部２０は、力覚提示装置２１に対して、高さデータに対応する力覚誘導の制御を実施する（Ｓ１５）。ここで、処理を終了するか否かを判断し（Ｓ１６）、処理を終了しない場合（Ｓ１６において、ＮＯ）、Ｓ１２の処理に戻り、他のオブジェクトやオブジェクト間の誘導を継続する。また、ユーザの指示等により処理を終了する場合（Ｓ１６において、ＹＥＳ）、力覚誘導提示処理を終了する。

＜力覚提示／誘導記述データのデータ例＞
次に、力覚提示／誘導記述データのデータ例について図を用いて説明する。図４は、力覚提示／誘導記述データのデータ例を示す図である。なお、図４の例では、説明の便宜上、左側に行番号を示している。

図４に示す力覚提示／誘導記述データの（０１）〜（０５）行目には、オブジェクト間誘導時における「オブジェクト間基準高さ係数＜ｔａｌｌ＿ｉｎｔｅｒｆｏｒｃｅ＿ｂａｓｅ＿ｃｏｅｆｆｉｃｉｅｎｔ＞」、「オブジェクト間高さ係数＜ｔａｌｌ＿ｉｎｔｅｒｆｏｒｃｅ＿ｃｏｅｆｆｉｃｉｅｎｔ＞」、「オブジェクト間高さ誘導発生範囲＜ｔａｌｌ＿ｉｎｔｅｒｆｏｒｃｅ＿ｒａｎｇｅ＞」が設定されている。なお、タグ種類については、これに限定されるものではない。

また、（０７）行目以降は、オブジェクト（ｉｔｅｍ）における提示条件や誘導データ等が設定されている。例えば、（０８）〜（３１）行目には、１つめのオブジェクト（ｎｏ：１）に対するデータが記述されている。（１０）〜（１４）行目には、提示レイアウト情報として、オブジェクトの提示位置やサイズが記述されている。また、（１６）行目には、力覚提示オブジェクトの高さ情報が記述されている。

また、（１８）〜（２１）行目には、オブジェクト内誘導の誘導パラメータとして、最高速度と最低速度とが記述されている。また、（２３）行目には、＜ｎｅｘｔ＞タグにより、次に誘導するオブジェクトの識別情報（順序）が記述され、（２４）行目には、＜ｓｅｌｅｃｔ＞タグにより、誘導方法の選択内容が設定される。ここで、誘導方法としては、後述するように複数の誘導方法を予め設定しておき、選択された誘導方法に対応させて、高さ方向に誘導力を与えてユーザの指や手を誘導する。

また、（２６）〜（２９）行目は、オブジェクト内誘導時における「オブジェクト周辺高さ誘導発生範囲＜ｔａｌｌ＿ｏｕｔｆｏｒｃｅ＿ｒａｎｇｅ＞」、「オブジェクト内高さ誘導発生範囲＜ｔａｌｌ＿ｉｎｆｏｒｃｅ＿ｒａｎｇｅ＞」、「オブジェクト内基準高さ係数＜ｔａｌｌ＿ｆｏｒｃｅ＿ｂａｓｅ＿ｃｏｅｆｆｉｃｉｅｎｔ＞」、「オブジェク内高さ係数＜ｔａｌｌ＿ｆｏｒｃｅ＿ｃｏｅｆｆｉｃｉｅｎｔ＞」が記述されている。

第１実施形態では、これらの各データからタグ情報等を用いて必要な情報を取得して、適切な誘導を行う。なお、第１実施形態では、力覚提示／誘導記述データに必要なタグが存在しない場合には、予め各タグ毎に設定されたデフォルト値（固定値）を用いてもよい。

＜誘導時の具体例＞
次に、第１実施形態における誘導時の具体例について図を用いて説明する。図５は、誘導時の具体例を示す図である。

図５の例では、時間の経過と共に図５に示す誘導方向で、２つの仮想オブジェクト４１−１，４１−２を順番に所定の速度で誘導する場合に、上述したように高さ方向の誘導を適切に制御する。高さ方向の誘導データの生成は、高さ方向誘導データ生成部１７で行われる。

例えば、仮想オブジェクト４１−１のオブジェクト内誘導の場合には、力覚提示／誘導記述データから、高さに対応するタグ情報＜ｔａｌｌ＞の属性値と、オブジェクト内基準高さ係数に対応するタグ情報＜ｔａｌｌ＿ｉｎｔｅｒｆｏｒｃｅ＿ｂａｓｅ＿ｃｏｅｆｆｉｃｉｅｎｔ＞の属性値（係数値）とを乗算することで、オブジェクト内における高さ方向の誘導データを生成する。

また、図５の例では、仮想オブジェクト４１−１から仮想オブジェクト４１−２へ移動時の誘導において、高さ方向の誘導力は、高さに対応するタグ情報＜ｔａｌｌ＞の属性値と、オブジェクト間高さ係数に対応するタグ情報＜ｔａｌｌ＿ｉｎｔｅｒｆｏｒｃｅ＿ｃｏｅｆｆｉｃｉｅｎｔ＞の属性値（係数値）とを乗算することで、オブジェクト間における高さ方向の誘導データを生成する。また、仮想オブジェクト４１−２内における高さ方向の誘導データも、仮想オブジェクト４１−１の場合と同様に生成することができる。

なお、オブジェクト内の誘導時の高さ方向の誘導力と、オブジェクト間の誘導時の高さ方向の誘導力とは異なる場合がある。その場合、オブジェクト内からオブジェクト間への誘導時、又はその逆の誘導時に高さが急激に変わることがないような制御を行う。

例えば、図４の（０４）行目、（２６）行目、（２７）行目等に示すように、「オブジェクト間高さ誘導発生範囲」、「オブジェクト内高さ誘導発生範囲」、「オブジェクト周辺高さ誘導発生範囲」等の高さ方向の誘導力の発生範囲を設け、その範囲内で滑らかに高さ方向の誘導力が変化（増減）するように移動制御を行う。図５の例では、オブジェクト間高さ誘導発生範囲＜ｔａｌｌ＿ｉｎｔｅｒｆｏｒｃｅ＿ｒａｎｇｅ＞を用いて制御を行っているが、これに限定されるものではない。これにより、ユーザに違和感を与えることなく適切な誘導を行うことができる。

＜誘導方法の具体例について＞
次に、誘導方法（誘導条件）の具体例について、図を用いて説明する。図６は、誘導方法の具体例を示す図である。第１実施形態では、高さ方向の誘導方法に複数のパターンを設定し、その何れかを選択することで、適切な誘導制御を実現することができる。なお、誘導方法の選択は、例えば図４の（２４）行目に示すようなタグ情報を用いてオブジェクト毎に選択することができるが、これに限定されるものではなく、オブジェクトの優先度等に応じて選択することができる。

図６（Ａ）の例に示す誘導方法では、仮想オブジェクト４１内で均一な高さで誘導する例を示している。オブジェクト自体の高さに対し、誘導時の最さ方向の誘導力（誘導データ）は、高さに対するタグ情報＜ｔａｌｌ＞の属性値と、オブジェクト内基準高さ係数に対するタグ情報＜ｔａｌｌ＿ｆｏｒｃｅ＿ｂａｓｅ＿ｃｏｅｆｆｉｃｉｅｎｔ＞の属性値とを乗算し、その値から誘導データを生成することができる。なお、オブジェクト内基準高さ係数の属性値は任意の値であり、１より小さい場合もあり得る。その場合には、仮想オブジェクト４１より低い軌跡で誘導することもできるが、仮想オブジェクト４１と接触するため、その仮想オブジェクト４１からの反力等が付加される。

また、図６（Ａ）に示すように仮想オブジェクト４１に対する誘導の入口と出口には、オブジェクト周辺高さ誘導発生範囲に対応するタグ情報＜ｔａｌｌ＿ｏｕｔｆｏｒｃｅ＿ｒａｎｇｅ＞で記述される距離（幅）等の属性値により、直線的に誘導する際の傾斜を指定することが可能である。なお、傾斜は、距離と高さ方向の異なる誘導力の差分値とから算出することができる。また、このタグ情報を用いて曲線的な誘導を行ってもよい。これにより、オブジェクトの周辺の誘導力を滑らかに変化させることができ、従来課題であった力覚誘導時にオブジェクトの高さや基準面の傾き等に起因して発生する指の引っかかり等を解消することができる。

また、図６（Ｂ）の例に示す誘導方法では、仮想オブジェクト４１内の高さ誘導についても傾斜を持たせた直線的な誘導例を示している。この場合、図６（Ａ）における計算に加え、新たにオブジェクト内高さ係数（最大高さ係数）のタグ情報＜ｔａｌｌ＿ｆｏｒｃｅ＿ｃｏｅｆｆｉｃｉｅｎｔ＞を用いて属性値を設定することでオブジェクト内の高さを更に設定することができる。

また、図６（Ｂ）の例では、オブジェクト内（上）で高さの変動が生じるため、オブジェクト内高さ誘導発生範囲のタグ情報＜ｔａｌｌ＿ｉｎｆｏｒｃｅ＿ｒａｎｇｅ＞を用いて属性値を設定することで、オブジェクト周辺とオブジェクト内とで異なる傾斜による移動制御を行うことができる。また、図６（Ｂ）に示すような移動制御により、擬似的な３次元形状の表示も可能となる。

このように、第１実施形態において、高さ方向誘導データ生成部１７は、力覚提示／誘導記述データから得られる選択情報に基づいて、オブジェクト内における高さ方向の誘導力を一定又は可変にすることができる。

なお、第１実施形態における誘導方法（誘導条件）は、これに限定されるものではなく、多数の誘導方法を設定しておくことができる。この場合、上述した図４に示す＜ｓｅｌｅｃｔ＞タグを用いて誘導方法の選択することで、誘導により通過しているオブジェクトの内容やそのオブジェクトの優先度等に応じてユーザに迅速かつ確実に、その違いを認識することができる。

上述した図６（Ａ）、（Ｂ）示す誘導方法により、誘導の際に生ずる引っかかりの課題を解消できる。更に、これらの誘導条件の設定は、オブジェクト毎にできるため、誘導の速度や高さを変えることで感覚的にオブジェクトの属性の違いを伝えたり、強調したいオブジェクトの誘導条件（誘導方法）の違いにより時間的に短くかつ高さを大きくして注意を促すような誘導をすることも可能となる。

なお、第１実施形態では、図６に示すような高さ方向の誘導力が指に加わるが、ユーザが指を自ら移動されることで、仮想オブジェクト４１に触れることもできる。このように、第１実施形態によれば、力覚提示されたオブジェクトを触察する場合に引っかかりのないスムーズな誘導や触察を可能とする。

また、図６の例では、オブジェクト内での高さ方向の誘導データの生成例について説明したが、これに限定されるものではなく、上述したオブジェクト間での高さ方向の誘導データについては、複数の誘導方法から１つを選択して誘導させてもよい。

＜第２実施形態における力覚誘導提示装置の構成例＞
次に、第２実施形態における力覚誘導提示装置について説明する。第１実施形態では、力覚提示／誘導記述データ３０で設定した内容に基づいてユーザの指や手が誘導されるが、データの記述に時間や手間がかかる場合もある。そこで、第２実施形態では、誘導動作に関するデータを実際に力覚提示装置２１等を駆動させて、その空間位置情報や速度等の動作履歴情報から取得し、取得した動作履歴情報等を誘導データとして生成する。

図７は、第２の実施形態における力覚誘導提示装置の構成例を示す図である。なお、上述した第１実施形態における力覚誘導提示装置１０と同一の処理を行う構成については、同一の符号を付するものとし、ここでの具体的な説明は、省略する。図７に示す力覚誘導提示装置５０は、力覚提示／誘導記述データ取得部１１と、誘導シーケンス抽出部１２と、誘導シーケンス生成部１３と、誘導パラメータ抽出部１４と、誘導速度生成部１５と、高さデータ抽出部１６と、高さ方向誘導データ生成部１７と、力覚誘導データ蓄積部１８と、オブジェクト提示データ生成部１９と、駆動制御部２０と、力覚提示装置２１と、誘導動作外部入力部５１と、誘導動作蓄積部５２と、オブジェクト誘導切替抽出部５３と、誘導データ切替部５４とを有する。

第２実施形態における力覚誘導提示装置５０は、第１実施形態における力覚誘導提示装置１０と比較すると、誘導動作外部入力部５１と、誘導動作蓄積部５２と、オブジェクト誘導切替抽出部５３と、誘導データ切替部５４とが新たに設けられている。

誘導動作外部入力部５１は、ユーザに提示するオブジェクトに対し、力覚提示装置２１等を用いて実際に人（管理者等）が動かし、その実際の動作により検出された時間経過に伴う位置の座標データ等を入力する。誘導動作外部入力部５１は、入力データを用いて誘導データを生成してもよい。

誘導動作蓄積部５２は、誘導動作外部入力部５１で外部入力されたデータ等を逐次蓄積する。なお、蓄積時には、例えば適切な時間間隔で発生するトリガにより時間と位置情報とを同期させてして記憶することができる。

オブジェクト誘導切替抽出部５３は、上述した力覚提示／誘導記述データ３０からオブジェクト誘導の切り替えを行うためのタグ情報（例えば、＜ｃｈａｎｇｅ＞タグ）等を抽出し、抽出したタグの属性値を誘導データ切替部５４に出力する。

誘導データ切替部５４は、オブジェクト誘導切替抽出部５３から得られる属性値の情報に基づいて、力覚誘導データ蓄積部１８に蓄積された誘導データ、又は誘導動作蓄積部５２に蓄積された誘導データの何れかを切り替えて駆動制御部２０に出力する。なお、誘導データ切替部５４は、オブジェクト誘導切替抽出部５３から得られる属性値の情報に関係なく、ユーザの意思で外部の制御等により切り替え操作を行うことで、誘導データを切り替えてもよい。

駆動制御部２０は、誘導データ切替部５４により得られる誘導データを用いて、力覚提示装置２１を駆動させてユーザにオブジェクトを提示することができる。また、駆動制御部２０は、例えば力覚提示／誘導記述データ３０に含まれる誘導データの切替情報等に基づいて、力覚誘導データ蓄積部１８により得られる誘導データ（又は高さ方向誘導データ生成部１７により得られる高さ方向の誘導データ）と、力覚提示装置２１から得られる動作履歴情報に基づく誘導データ（又は高さ方向の誘導データ）とを切り替えて、力覚提示装置２１に対する駆動制御を行ってもよい。

なお、図７の例では、力覚提示装置２１から得られるデータを誘導動作外部入力部５１に入力したが、これに限定されるものではなく、他の力覚提示装置等でもよい。

このように、第２実施形態では、力覚提示／誘導記述データで記述された情報だけでなく、人の誘導動作に基づいて得られた誘導データを用いてユーザの指や手を誘導させることができる。したがって、オブジェクト毎に、より正確で細かな誘導制御を可能にする。

＜第２実施形態における誘導データの切り替え処理の一例＞
ここで、上述した第２実施形態における誘導データの切り替え処理の一例についてフローチャートを用いて説明する。図８は、第２実施形態における誘導データの切り替え処理の一例を示すフローチャートである。

図８の例において、オブジェクト誘導切替抽出部５３は、力覚提示／誘導記述データからオブジェクト毎に誘導切替情報を抽出する（Ｓ２１）。Ｓ２１の処理では、例えばタグ情報として＜ｃｈａｎｇｅ＞タグがあるか否かを検索し、タグがあれば、その属性値を抽出する。

次に、誘導データ切替部５４は、誘導データの切り替えが必要か否かを判断し（Ｓ２２）、必要である場合（Ｓ２２において、ＹＥＳ）、例えば上述した誘導動作外部入力部５１による外部入力で得られた誘導データを選択する（Ｓ２３）。また、Ｓ２２の処理において、誘導データの切り替えが必要ない場合（Ｓ２２において、ＮＯ）、力覚提示／誘導記述データから得られたマークアップ記述の誘導データを選択する（Ｓ２４）。

次に、駆動制御部２０は、Ｓ２３又はＳ２４の処理で選択された誘導データに基づいて、力覚誘導に対する駆動制御を実施し（Ｓ２５）、ユーザにオブジェクトの提示や誘導動作を行う。

上述したように本実施形態によれば、ユーザに迅速で確実にオブジェクトを認識させることができる。例えば、本実施形態によれば、高さ方向の誘導力を制御することで、従来技術の力覚誘導で課題となっていた誘導時のオブジェクトへの引っ掛かりを解消でき、より快適な情報環境の提供が期待できる。

また、力覚誘導に必要なコンテンツに対する誘導パラメータをマークアップ記述言語等で設定できるため、誘導の際に機械的に正確で再現性のある制御が可能となる。一方で、人が誘導する動作を記憶することで効率的な誘導条件を設定でき、より人間に近い感覚でコンテンツの内容を誘導できる。

これらの誘導データは、ユーザに提示するオブジェクト毎に設定することができるため、オブジェクト毎の重要度や確実性に対応したな適切な誘導が可能となる。また、高さ方向の力覚誘導を行うことで、例えば誘導距離が大きい場合には空間に浮かして移動する等、しっかり伝える場合の誘導と単に移動する場合の誘導とを区別して提示することができ、注目すべき場所を明確に示すことができる。

また、提示に用いる力覚提示装置を同様な装置で人がコンテンツを誘導する動作による誘導の３次元位置座標を検出し動作を担う誘導データを生成し、生成した誘導データに基づき指を誘導することで、短時間かつ人が指を導く動作に近い誘導の感覚を提供することができる。

これらの効果により、例えば、視覚に障害のある人や盲ろう者は、独力で迅速かつ正確にコンテンツの理解が可能となり、介助者が伝達するような環境を提供することができる。

以上、本実施形態について詳述したが、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。また、上述した各実施形態の一部又は全部を組み合わせることも可能である。

１０，５０力覚誘導提示装置
１１力覚提示／誘導記述データ取得部
１２誘導シーケンス抽出部
１３誘導シーケンス生成部
１４誘導パラメータ抽出部
１５誘導速度生成部
１６高さデータ抽出部
１７高さ方向誘導データ生成部
１８力覚誘導データ蓄積部
１９オブジェクト提示データ生成部
２０駆動制御部
２１力覚提示装置
３０力覚提示／誘導記述データ
４１仮想オブジェクト
５１誘導動作外部入力部
５２誘導動作蓄積部
５３オブジェクト誘導切替抽出部
５４誘導データ切替部

Claims

１又は複数のオブジェクトを力覚誘導によりユーザに提示する力覚誘導提示装置において、
前記ユーザに提示する前記オブジェクトの内容が記述された記述データからオブジェクト毎の高さデータを抽出する高さデータ抽出部と、
前記高さデータ抽出部により抽出された前記オブジェクト毎の高さデータに基づき、オブジェクト内での高さ方向の誘導力とオブジェクト間の高さ方向の誘導力とを有する高さ方向の誘導データを生成する高さ方向誘導データ生成部と、
前記高さ方向誘導データ生成部により得られる高さ方向の誘導データと、前記記述データから得られる誘導順及び誘導速度とを含む誘導データを用いて、提示するオブジェクトの位置まで前記ユーザの指を力覚により誘導する力覚提示装置に対する駆動制御を行う駆動制御部とを有することを特徴とする力覚誘導提示装置。
前記高さ方向誘導データ生成部は、
前記オブジェクト内での高さ方向の誘導力と、前記オブジェクト間の高さ方向の誘導力とが異なる誘導力である場合に、それぞれの誘導力が付加される位置への誘導に対し、前記オブジェクトの周辺の誘導力が滑らかに変化する誘導データを生成することを特徴とする請求項１に記載の力覚誘導提示装置。
前記高さ方向誘導データ生成部は、
前記記述データから得られる選択情報に基づいて、前記オブジェクト内における高さ方向の誘導力を一定又は可変にすることを特徴とする請求項１又は２に記載の力覚誘導提示装置。
前記駆動制御部は、
前記記述データから得られる前記誘導データの切替情報に基づいて、
前記高さ方向誘導データ生成部により得られる高さ方向の誘導データと、前記力覚提示装置から得られる動作履歴情報に基づく高さ方向の誘導データとを切り替えて、前記力覚提示装置に対する駆動制御を行うことを特徴とする請求項１乃至３の何れか１項に記載の力覚誘導提示装置。
前記高さ方向誘導データ生成部は、
マークアップ記述言語で記述された前記記述データのタグ情報を用いて、前記前記オブジェクト毎の高さデータと、前記高さデータに対する係数値を取得し、取得した高さデータの属性値と前記係数値とを乗算して、前記高さ方向の誘導データを生成することを特徴とする請求項１乃至４の何れか１項に記載の力覚誘導提示装置。