JP7796576B2 - 仮想オブジェクト触覚提示装置、仮想オブジェクト触覚提示方法及び制御プログラム - Google Patents

Description

本発明は、仮想オブジェクト触覚提示装置、仮想オブジェクト触覚提示方法及び制御プログラムに関する。

人間の五感のうち、視覚及び聴覚に係る画像及び音声の伝達技術が高精度化しており、昨今では、触覚を提示するハプティクス技術が種々提案されている。

特許文献１は仮想オブジェクト触覚提示装置を開示する。仮想オブジェクト触覚提示装置は、仮想オブジェクトを表示するＨＭＤ（Head Mounted Display）と、ＨＭＤに表示された仮想オブジェクトに応じた触覚をユーザに提示する触覚提示装置とを備える。ＨＭＤは仮想オブジェクト毎に触覚データを格納した触覚情報ＤＢを備え、仮想オブジェクトの種類に対応付けられた触覚データを触覚情報ＤＢから読み出して触覚提示装置に送信する。触覚提示装置は、磁気粘性流体に与える磁場を制御することによって仮想オブジェクトの感触を提示する。磁気粘性流体は磁性粒子を分散媒体に分散させた流体であり、磁場が加えられると粘度が変化する特性を有する。

特開２０２０－１７１５９号公報

しかしながら、特許文献１に係る仮想オブジェクト触覚提示装置は、触覚データをＨＭＤから触覚提示装置へ送信する構成であるため、仮想オブジェクトが表示されてから、仮想オブジェクトの触覚提示が開始されるまでに遅延が発生し、ユーザが違和感を覚えるおそれがあった。

本開示の目的は、仮想オブジェクトを視覚的に提示する視覚提示装置と、前記仮想オブジェクトを触覚的に提示する触覚提示装置とを備える仮想オブジェクト触覚提示装置において、仮想オブジェクトの表示から遅滞すること無く触覚提示を開始することができる仮想オブジェクト触覚提示装置、仮想オブジェクト触覚提示方法及び制御プログラムを提供することにある。

本開示の一側面に係る仮想オブジェクト触覚提示装置は、仮想オブジェクトを視覚的に提示する視覚提示装置と、前記仮想オブジェクトを触覚的に提示する触覚提示装置とを備える仮想オブジェクト触覚提示装置であって、前記視覚提示装置は、前記仮想オブジェクトを視覚的に提示するための視覚データと、前記仮想オブジェクトを触覚的に提示するための触覚データとを記憶する記憶部と、前記記憶部が記憶する前記視覚データに基づいて前記仮想オブジェクトを表示する表示部と、前記記憶部が記憶する前記触覚データを前記触覚提示装置へ送信する通信部と、前記仮想オブジェクトの提示開始を受け付ける操作部と、前記操作部が前記仮想オブジェクトの提示開始を受け付けた場合、前記仮想オブジェクトの提示準備に係る画像を前記表示部に表示させ、前記通信部が前記触覚データを前記触覚提示装置へ送信した場合、前記仮想オブジェクトを前記表示部に表示させる処理部とを備える。

本開示の一側面に係る仮想オブジェクト触覚提示方法は、仮想オブジェクトを視覚的に提示するための視覚データと、前記仮想オブジェクトを触覚的に提示するための触覚データとを記憶する記憶部を備え、前記仮想オブジェクトを視覚的に提示する視覚提示装置と、前記仮想オブジェクトを触覚的に提示する触覚提示装置とを用いて仮想オブジェクト触覚提示方法であって、前記仮想オブジェクトの提示開始を受け付け、前記仮想オブジェクトの提示開始を受け付けた場合、前記仮想オブジェクトの提示準備に係る画像を前記視覚提示装置に表示させ、前記触覚データを前記視覚提示装置から前記触覚提示装置へ送信させ、前記触覚データを前記触覚提示装置へ送信した後、前記仮想オブジェクトを前記視覚提示装置に表示させる。

本開示に一側面に係る制御プログラムは、仮想オブジェクトを視覚的に提示するための視覚データと、前記仮想オブジェクトを触覚的に提示するための触覚データとを記憶する記憶部及び処理部を備え、前記仮想オブジェクトを視覚的に提示する視覚提示装置の動作を制御するための制御プログラムであって、前記仮想オブジェクトの提示開始を受け付け、前記仮想オブジェクトの提示開始を受け付けた場合、前記仮想オブジェクトの提示準備に係る画像を表示し、前記仮想オブジェクトを視覚的に提示する触覚提示装置へ前記触覚データを送信させ、前記触覚データを前記触覚提示装置へ送信した後、前記仮想オブジェクトを表示させる処理を前記処理部に実行させる。

本開示によれば、仮想オブジェクトを視覚的に提示する視覚提示装置と、前記仮想オブジェクトを触覚的に提示する触覚提示装置とを備える仮想オブジェクト触覚提示装置において、仮想オブジェクトの表示から遅滞すること無く触覚提示を開始することができる。

本実施形態１に係る仮想オブジェクト触覚提示装置の構成例を示す模式図である。 本実施形態１に係る仮想オブジェクト触覚提示装置の構成例を示すブロック図である。 感覚ＤＢのレコードレイアウトを示す概念図である。 本実施形態１に係る触覚提示の処理手順を示すフローチャートである。 本実施形態１に係る触覚提示方法を示す概念図である。 本実施形態２に係る触覚提示の処理手順を示すフローチャートである。 本実施形態３に係る触覚提示の処理手順を示すフローチャートである。 本実施形態４に係る触覚提示の処理手順を示すフローチャートである。 本実施形態５に係る触覚提示の処理手順を示すフローチャートである。

本開示の実施形態に係る仮想オブジェクト触覚提示装置を、以下に図面を参照しつつ説明する。なお、本開示はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。

（実施形態１）
＜仮想オブジェクト触覚提示装置１００の概要＞
図１は、本実施形態１に係る仮想オブジェクト触覚提示装置１００の構成例を示す模式図である。仮想オブジェクト触覚提示装置１００は、視聴覚提示装置１と、触覚提示装置２とを含む。視聴覚提示装置１と、触覚提示装置２とは近距離無線通信又は有線で通信接続され、相互にデータを授受する。

視聴覚提示装置１は、仮想オブジェクトに対してユーザが感じる視覚的又は聴覚的刺激を提示する装置である。視聴覚提示装置１は、例えば表示部１３及び音声出力部１４を有するスマートフォン、タブレット端末、ラップトップ型のＰＣ（Personal Computer）等である。これらの端末は一例であり、表示機能、音声出力機能及び通信機能を有する装置であれば、視聴覚提示装置１の構成は特に限定されるものではない。表示機能も特に限定されるものではなく、スクリーンへの投影、ユーザへの網膜投影、虚像投影など、仮想オブジェクトを視覚的に提示できる機器であれば、特に限定されるものでは無い。例えば、ＨＭＤ（Head Mounted Display）、プロジェクタ、３Ｄホログラムディスプレイなどであってもよい。

触覚提示装置２は、仮想オブジェクトに対してユーザが感じる触覚を提示する装置である。触覚提示装置２は、ユーザの操作によって変位する変位部２０２と、変位部２０２に変位抵抗を付与することによって仮想オブジェクトの触覚を提示するＭＲＦ（Magneto-Rheological Fluid）デバイス２４とを備える。磁気粘性流体（RMF: Magneto-Rheological Fluid）は磁性粒子を分散媒体に分散させた流体であり、磁場が加えられると粘度が変化する特性を有する。触覚提示装置２は、磁気粘性流体に与える磁場を制御することによって仮想オブジェクトの感触を提示する。磁気粘性流体を用いた触覚提示は一例であり、触覚提示機能を有する装置であれば、触覚提示装置２の構成は特に限定されるものではない。例えば、超音波、圧電素子等を用いて触覚提示を行う触覚提示装置であってもよい。

図１に示す仮想オブジェクト触覚提示装置１００では、視聴覚提示装置１と、触覚提示装置２とが連携して動作する。視聴覚提示装置１は、仮想オブジェクトを画像及び音声によって提示すると共に、触覚提示装置２にて仮想オブジェクトの触覚を提示する。

＜仮想オブジェクト触覚提示装置１００の詳細＞
図２は、本実施形態に係る仮想オブジェクト触覚提示装置１００の構成例を示すブロック図である。視聴覚提示装置１は、コンピュータであり、処理部１０、記憶部１１、通信部１２、表示部１３、音声出力部１４及び操作部１５を備える。なお、視聴覚提示装置１は、複数台のコンピュータで構成し分散処理する構成でもよいし、一部を１台のサーバ内に設けられた複数の仮想マシンによって実現してもよいし、クラウドサーバによって実現してもよいし、一部を量子コンピュータで構成してもよい。

処理部１０は、ＣＰＵ（Central Processing Unit）及び／又はＧＰＵ（Graphics Processing Unit）等の演算回路、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の内部記憶装置、Ｉ／Ｏ端子、計時部等を有するプロセッサである。処理部１０には、記憶部１１、通信部１２、表示部１３、音声出力部１４及び操作部１５が接続されている。処理部１０は、記憶部１１が記憶する制御プログラムＰを実行することにより、仮想オブジェクトを視聴覚的及び触覚的に提示する処理を実行する。

記憶部１１は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ、ＳＳＤ（Solid State Drive ）等の不揮発性メモリである。記憶部１１は、仮想オブジェクトの触覚提示に係る処理を実行するための制御プログラムＰ及び感覚ＤＢ（Data Base）１１０を記憶する。感覚ＤＢ１１０の詳細は後述する。

なお、制御プログラムＰは、記録媒体３にコンピュータ読み取り可能に記録されている態様でも良い。記憶部１１は、図示しない読出装置によって記録媒体３から読み出された制御プログラムＰを記憶する。記録媒体３はフラッシュメモリ等の半導体メモリ、光ディスク、磁気ディスク、磁気光ディスク等である。また、通信網Ｎに接続されている図示しない外部サーバから本実施形態に係る各種プログラムをダウンロードし、記憶部１１に記憶させる態様であってもよい。

通信部１２は、近距離無線通信、例えばBluetooth（登録商標）の通信モジュール（近接通信回路）である。処理部１０は、通信部１２を介して触覚提示装置２との間でデータを送受信する。なお、通信部１２は有線で通信する回路であってもよい。

表示部１３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイである。表示部１３は例えば、タッチパネル内蔵型ディスプレイである。表示部１３は、処理部１０の処理に従って、仮想オブジェクトを視覚的に提示する画像、各種操作画面を表示する。なお、表示部１３は、スクリーンへの投影、ユーザへの網膜投影、虚像投影などを行う投影装置であってもよい。

音声出力部１４は、スピーカ等である。音声出力部１４は、処理部１０の制御に従って、仮想オブジェクトを聴覚的に提示する音声を出力する。

操作部１５は、ユーザインタフェースである。操作部１５は、例えば、表示部１３に内蔵されたタッチパネルである。操作部１５は、ハードウェアボタン、キーを有する入力装置であってもよい。また、操作部１５は、ユーザのジェスチャー入力を受け付けるカメラ、その他の入力装置で構成してもよい。処理部１０は、操作部１５を介してユーザの操作を受け付け、受け付けた操作内容を示すデータを処理部１０に与える。

触覚提示装置２は、図１に示すようにユーザによって把持及び操作される把持体２００と、図２に示す制御部２０と、触覚データ記憶部２１と、通信部２２と、電源部２３と、ＭＲＦデバイス２４と、変位センサ２５とを備える。なお、図２に示す制御部２０、電源部２３等の制御及び給電に係る回路は、把持体２００と一体的に構成してもよいし、別体で構成して有線又は無線で接続してもよい。

把持体２００は、中空円板状のケーシング２０１と、変位部２０２と、結束具２０３と、リンク機構２０４とを含む。ケーシング２０１は磁気粘性流体と、回転軸を有するロータとを収納している。ロータは円板状の部材であり、磁気粘性流体で満たされたケーシング２０１の内部で回転する。ロータは、磁気粘性流体による回転抵抗力を受ける。また、把持体２００には、磁気粘性流体に磁場を印加するための電磁石（不図示）が設けられており、電磁石は、磁気粘性流体及びロータ等と共にＭＲＦデバイス２４を構成している。具体的には、電磁石は、隙間を空けて円板状のロータを挟むように配されたヨークと、ヨークに設けられたコイルとを有する。コイルに電流が流れると磁界が発生し、磁気粘性流体の粘度（ずり応力）が変化し、回転軸に加わる回転抵抗力が与えられる。

変位部２０２は、ケーシング２０１の周面の一部に沿うように湾曲した帯状平板の部材である。変位部２０２の基端部は、変位部２０２の先端部がケーシング２０１から接離する方向に移動することができるように、支軸によってケーシング２０１に回動可能に支持されている。変位部２０２の先端部外側の面には、ユーザの指を結束するための結束具２０３が設けられている。結束具２０３はリングをなす帯状の部材である。変位部２０２の先端部と、ロータの回転軸とは、リンク機構２０４によって連結している。リンク機構２０４は、ケーシング２０１に対して接近又は離反する変位部２０２の運動を、回転軸の回転運動に変換して伝達する機構である。

制御部２０は、ＣＰＵ、ＭＰＵ（Micro-Processing Unit ）等のプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリを含む。制御部２０は、例えばマイクロコントローラである。

触覚データ記憶部２１は、制御部２０に対する補助記憶メモリであり、後述の触覚データテーブルを記憶する。また、触覚データ記憶部２１は、ＭＲＦデバイス２４の制御データを書き換え可能に記憶する。なお、触覚データ記憶部２１は不揮発性メモリであってもよいし、揮発性メモリであってもよい。

通信部２２は、近距離無線通信、例えばBluetooth（登録商標）の通信モジュール（近接通信回路）である。制御部２０は、通信部２２によって視聴覚提示装置１との間でデータを送受信する。なお、通信部２２は有線で通信する回路であってもよい。

電源部２３は、充電可能なバッテリを含む。電源部２３は、制御部２０の制御に従って、ＭＲＦデバイス２４の電磁石へ電流を供給する。また、電源部２３は、各構成部に必要な電力を供給する。

ＭＲＦデバイス２４の構成は上記の通りであり、電源部２３から供給される電流によって、ロータの回転軸に回転抵抗力が与えられる。電流の大きさが変化すると、回転抵抗力が変更される。

変位センサ２５は、把持体２００における変位部２０２の変位量を測定して制御部２０へ出力する。具体的には、変位センサ２５は、ケーシング２０１に対する変位部２０２の回動角度を測定し、測定された角度を示すデータを制御部２０へ出力する。制御部２０は、該データを指位置データとして取得する。指位置データは通信部２２によって視聴覚提示装置１へ送信される。変位センサ２５は、ジャイロセンサ、加速度センサ等の複数のセンサから構成されてもよい。

このように構成された把持体２００によれば、ユーザは把持体２００を把持し、指を開閉動作させることによって、触覚刺激を得ることができる。例えば、ユーザは、図１に示すように、ケーシング２０１を親指と中指とで掴み、人差し指を変位部２０２に沿わせて結束具２０３に挿入することによって、把持体２００を把持することができる。ユーザは指を閉じることによって、変位部２０２をケーシング２０１に近接する方向へ移動させることができる。ユーザは指を開けることによって、変位部２０２をケーシング２０１から離反する方向へ移動させることができる。

制御部２０は、変位センサ２５によって変位部２０２の変位量を測定し、変位量に応じた電流をＭＲＦデバイス２４へ供給することによって、ユーザの変位部２０２への操作に対する反力（抵抗力）を生じさせ、触覚を提示することができる。詳細は以下の通りである。
変位部２０２の変位運動はリンク機構２０４を介してＭＲＦデバイス２４のロータの回転軸へ回転運動として伝達される。回転軸及びロータは、ＭＲＦデバイス２４が動作していない場合、即ち制御電流がゼロである場合、磁気粘性流体の粘度は低く、変位部２０２は抵抗なく変動する。ＭＲＦデバイス２４が動作し、制御電流が供給されている場合、ＭＲＦデバイス２４へ流れる電流の大きさに応じてＭＲＦデバイス２４内部の磁気粘性流体の粘度が増加し、変位部２０２は抵抗力を受ける。制御部２０は、ＭＲＦデバイス２４へ供給する電流の大きさを変更することによって、変位部２０２に対する抵抗力の大きさ及びその出現方法を変更することができる。

触覚提示装置２は、変位部２０２の変位量、つまりユーザの指位置に応じて、抵抗力を変動させることによって、ヌルリとした触覚を提示したり、ギュッとした固さの触覚を提示したり、抵抗力の大小を繰り返してザクザクとした触覚を提示したりすることができる。

図３は、感覚ＤＢ１１０のレコードレイアウトを示す概念図である。感覚ＤＢ１１０は、仮想オブジェクトを提示するための画像データテーブルと、音声データテーブルと、触覚データテーブルとを記憶している。一組の画像データテーブル、音声データテーブル及び触覚データテーブルによって、一つの仮想オブジェクトを視聴覚的及び触覚的に提示することができる。感覚ＤＢ１１０は、複数の仮想オブジェクトのデータ、つまり複数組みの画像データテーブル、音声データテーブル及び触覚データテーブルを記憶している。

画像データテーブルは、ユーザの指位置を示す指位置データ、すなわち変位部２０２の変位量（角度）と、仮想オブジェクトを視覚的に提示するために、当該指位置において出力すべき画像データ（視覚データ）とを対応付けた複数の画像データテーブルを、仮想オブジェクトを識別するためのオブジェクトＩＤに対応付けて格納している。複数の画像データは、例えば触覚提示装置２における変位部２０２の変位（角度）毎に用意されたフレーム画像のデータである。フレーム画像は、指又は変位部２０２の位置変化に応じて連続的に表示されることによって、仮想オブジェクトのアニメーション画像として認識される、一枚の静止画像である。

音声データテーブルは、ユーザの指位置を示す指位置データ、すなわち変位部２０２の変位量（角度）と、仮想オブジェクトを聴覚的に提示するために、当該指位置において出力すべき音声データ（聴覚データ）とを対応付けた複数の画像データテーブルを、仮想オブジェクトを識別するためのオブジェクトＩＤに対応付けて格納している。聴覚データは、触覚提示装置２における変位部２０２の変位量（角度）によって異なる音声波形データであってもよい。変位部２０２の位置に対応する音声データのタイムスタンプであってもよい。

触覚データテーブルは、ユーザの指位置を示す指位置データ、すなわち変位部２０２の変位量（角度）と、仮想オブジェクトを触覚的に提示するために、当該指位置において出力すべき触覚データとを対応付けた複数の触覚データテーブルを、仮想オブジェクトを識別するためのオブジェクトＩＤに対応付けて格納している。触覚データは、触覚提示装置２のＭＲＦデバイス２４に流す電流値を示すデータである。

図４は、本実施形態１に係る触覚提示の処理手順を示すフローチャート、図５は、本実施形態１に係る触覚提示方法を示す概念図である。視聴覚提示装置１及び触覚提示装置２は起動し、通信が確立しているものとする。

視聴覚提示装置１の処理部１０は、図５左図に示すように、仮想オブジェクトリスト画面１３１を表示部１３にて表示する（ステップＳ１１１）。具体的には、処理部１０は感覚ＤＢ１１０に格納された複数の仮想オブジェクトの代表画像（サムネイル画像）を配列させて表示部１３にて表示する。処理部１０は、所定の変位量（角度）に対応付けられた画像データを画像データテーブルから読み出して、縮小することによって代表画像を生成することができる。代表画像は予め作成し、記憶する態様でもよい。

次いで、処理部１０は、触覚提示の対象とする仮想オブジェクトの選択を操作部１５にて受け付ける（ステップＳ１１２）。ユーザは、操作部１５を操作することによって、仮想オブジェクトリスト画面１３１から所望の仮想オブジェクトを選択することができる。

一つの仮想オブジェクトが選択された場合、処理部１０は、図５中央図に示すように、仮想オブジェクト提示の準備画面１３２を表示部１３にて表示する（ステップＳ１１３）。準備画面１３２は単色の画面であってもよいし、準備中であることを示す文字、静止画像、アニメーション画像等であってもよい。アニメーション画像は、選択された仮想オブジェクトの画像を拡大、縮小又は移動させるものであってもよい。

次いで、処理部１０は、選択された仮想オブジェクトのオブジェクトＩＤに対応付けられた画像データテーブル、音声データテーブル及び触覚データテーブルを感覚ＤＢ１１０から読み出し（ステップＳ１１４）、読み出した触覚データテーブルを通信部１２にて触覚提示装置２へ送信する（ステップＳ１１５）。

触覚提示装置２の制御部２０は、視聴覚提示装置１から送信された触覚データテーブルを受信し（ステップＳ１５１）、受信した触覚データテーブルを触覚データ記憶部２１に記憶する（ステップＳ１５２）。制御部２０は、触覚データ記憶部２１が触覚データテーブルを記憶したことにより、仮想オブジェクトの触覚提示が可能になった場合、準備完了通知データを視聴覚提示装置１へ送信する（ステップＳ１５３）。

準備完了通知データの送信を終えた制御部２０は、変位センサ２５にて変位部２０２の変位量を測定し（ステップＳ１５４）、測定された変位量を視聴覚提示装置１へ送信する（ステップＳ１５５）。制御部２０は、触覚データテーブルを参照し、測定された変位量に対応する触覚データ、すなわち電流値を特定する（ステップＳ１５６）。制御部２０は、特定された電流値に基づいて電源部２３からＭＲＦデバイス２４へ供給する電流の大きさを制御することによって、触覚提示を行う（ステップＳ１５７）。電流制御により、当該電流値が示す電流がＭＲＦデバイス２４へ供給され、指位置に応じた回転抵抗力が生じ、触覚がユーザに提示される。

一方、触覚データテーブルを送信した視聴覚提示装置１の処理部１０は、触覚提示装置２から送信されるデータを監視しており、準備完了通知データを受信した場合（ステップＳ１１６）、図５右図に示すように、オブジェクト提示画面１３３を表示し、仮想オブジェクトの提示を開始する（ステップＳ１１７）。つまり、処理部１０は、ステップＳ１１２で選択された仮想オブジェクトの画像データに基づいて、仮想オブジェクトの画像を表示部１３にて表示する。ステップＳ１１７以降、視聴覚提示装置１では視覚的及び聴覚的に仮想オブジェクトを提示する処理が実行され、ステップＳ１５３以降、触覚提示装置２では触覚的に仮想オブジェクトを提示する処理が開始される。

処理部１０は、触覚提示装置２から送信される変位量データを受信し（ステップＳ１１８）、ステップＳ１１４で読み出された画像データテーブル及び音声データテーブルを参照し、受信した変位量に対応する画像データ及び音声データを特定する（ステップＳ１１９）。

次いで、処理部１０は、特定された画像データ及び音声データに基づいて、仮想オブジェクトの画像を表示部１３に表示し、音声を音声出力部１４にて出力する（ステップＳ１２０）。

次いで、処理部１０は、終了操作が行われたか否かを判定する（ステップＳ１２１）。ユーザは、操作部１５を操作することによって、仮想オブジェクトの提示処理の終了操作を行うことができる。処理部１０は、操作部１５にて終了操作を受け付けることができる。

終了操作が行われていないと判定した場合（ステップＳ１２１：ＮＯ）、処理部１０は処理をステップＳ１１８へ戻す。終了操作が行われたと判定した場合（ステップＳ１２１：ＹＥＳ）、仮想オブジェクトの提示処理を終了し（ステップＳ１２２）、処理を終える。仮想オブジェクトの画像の表示及び音声の出力を停止する。処理部１０は、必要に応じて通信を切断してもよいし、接続を維持しておいてもよい。

視聴覚提示装置１及び触覚提示装置２の処理部１０及び制御部２０は、ステップＳ１１８～ステップＳ１２１、ステップＳ１５４～ステップＳ１５７の処理を繰り返し実行することによって、仮想オブジェクトの画像及び音声を再生すると共に、仮想オブジェクトの触覚をユーザに提示することができる。

以上のように構成された実施形態１に係る仮想オブジェクト触覚提示装置１００によれば、仮想オブジェクトの提示開始操作が行われた場合、準備画面１３２を表示し、触覚提示装置２へ触覚データテーブルを送信した後にオブジェクト提示画面１３３を表示する構成であるため、仮想オブジェクトの表示開始タイミングから遅滞すること無く触覚提示を開始することができる。
視聴覚提示装置１は、触覚提示装置２側における触覚提示の準備が完了したことを確認した後に仮想オブジェクトの表示及び音声出力を開始する構成であるため、仮想オブジェクトの表示開始タイミングから触覚提示の開始タイミングが遅滞することを確実に防ぐことができる。

（実施形態２）
実施形態２に係る仮想オブジェクト触覚提示装置１００は、仮想オブジェクトの提示開始に係る処理手順が異なる。仮想オブジェクト触覚提示装置１００のその他の構成は、実施形態１と同様であるため、同様の箇所には同じ符号及びステップ番号を付し、詳細な説明を省略する。他の実施形態についても同様である。

図６は、本実施形態２に係る触覚提示の処理手順を示すフローチャートである。実施形態２に係る視聴覚提示装置１の処理部１０は、仮想オブジェクトの提示（画像表示）を開始した場合（ステップＳ１１７）、仮想オブジェクトの表示を開始したことを示す表示開始通知データを触覚提示装置２へ送信する（ステップＳ２１８）。以降の処理（ステップＳ１１８～）は実施形態１と同様である。

触覚提示装置２の制御部２０は、完了通知データの送信後、触覚提示を待機しており、視聴覚提示装置１から送信された表示開始通知データを受信した場合（ステップＳ２１７）、仮想オブジェクトの触覚提示の処理（ステップＳ１５４、ステップＳ１５５、・・・）を開始する。なお、制御部２０は、変位部２０２の変位量が所定量未満である場合、所定量以上になるのを待って、つまりユーザの指が開くのを待って、触覚提示の処理を開始するように構成してもよい。

実施形態２に係る仮想オブジェクト触覚提示装置１００によれば、仮想オブジェクトの触覚提示タイミングに対して、仮想オブジェクトの表示開始タイミングが遅延することを防ぐことができ、略同一のタイミングで仮想オブジェクトの視聴覚的提示と、触覚的提示とを開始することができる。

（実施形態３）
図７は、本実施形態３に係る触覚提示の処理手順を示すフローチャートである。実施形態３に係る視聴覚提示装置１の記憶部１１は、ユーザの身体的個人差に応じて、画像データテーブル、音声データテーブル及び触覚データテーブルを補正するための補正データを記憶している。補正データは、変位量と、画像データ、音声データ、触覚データとの対応関係をシフトさせるデータである。例えば、画像データテーブルの変位量θと、画像データ（θ）とが対応付けられている場合、補正データΔθにより、変位量（θ＋Δθ）と、画像データ（θ）とを対応付ける補正を行うことができる。音声データ及び触覚データについても同様である。なお、補正データの内容は一例であり、その他、触覚提示装置２、外部環境に応じた補正を行うためのデータであってもよい。

実施形態３に係る視聴覚提示装置１の処理部１０は、ステップＳ１１４で読み出された触覚データテーブルを、記憶部１１が記憶する補正データに基づいて補正し（ステップＳ３１５）、補正された触覚データテーブルを触覚提示装置２へ送信する（ステップＳ３１６）。次いで、処理部１０は、画像データテーブル及び音声データテーブルを、補正データに基づいて補正する（ステップＳ３１７）。以降の処理（ステップＳ１１６～）は実施形態１と同様である。

実施形態３に係る仮想オブジェクト触覚提示装置１００によれば、触覚提示装置２への送信が必要な触覚データテーブルを先に補正し、触覚データテーブルの送信後に画像データテーブル及び音声データテーブルの補正を行う構成であるため、より早く仮想オブジェクトの提示を開始することができる。

（実施形態４）
図８は、本実施形態４に係る触覚提示の処理手順を示すフローチャートである。実施形態３同様、実施形態４に係る視聴覚提示装置１の記憶部１１は、ユーザの身体的個人差に応じて、画像データテーブル、音声データテーブル及び触覚データテーブルを補正するための補正データを記憶している。

実施形態４に係る視聴覚提示装置１の処理部１０は、ステップＳ１１４で読み出された触覚データテーブル及び記憶部１１が記憶する補正データを触覚提示装置２へ送信する（ステップＳ４１５）。次いで、処理部１０は、画像データテーブル及び音声データテーブルを、補正データに基づいて補正する（ステップＳ４１６）。以降の処理（ステップＳ１１６～）は実施形態１と同様である。

一方、触覚提示装置２の制御部２０は、触覚提示装置２から送信された触覚データテーブル及び補正データを受信し（ステップＳ４５１）、受信した触覚データテーブルを補正データに基づいて補正し（ステップＳ４５２）、補正された触覚データテーブルを触覚データ記憶部２１に記憶する（ステップＳ４５３）。以降の処理（ステップＳ１５３～）は実施形態１と同様である。

実施形態４に係る仮想オブジェクト触覚提示装置１００によれば、触覚データテーブル、画像データテーブル及び音声データテーブルの補正処理を視聴覚提示装置１及び触覚提示装置２で分担して実行する構成であるため、より早く仮想オブジェクトの提示を開始することができる。

（実施形態５）
図９は、本実施形態５に係る触覚提示の処理手順を示すフローチャートである。実施形態５に係る視聴覚提示装置１はオブジェクトＩＤ及び触覚データテーブルを触覚提示装置２へ送信し、触覚提示装置２は触覚データテーブル及びオブジェクトＩＤを触覚データ記憶部２１に記憶するようにしてある。当該触覚データテーブルは、オブジェクトＩＤが示す仮想オブジェクトを提示するための触覚データを含むテーブルである。触覚データ記憶部２１は、触覚提示処理後も少なくとも一つの触覚データテーブルを記憶している。なお、触覚制御部の内蔵メモリが触覚データテーブルをキャッシュとして記憶保持する領域を有するように構成してもよい。また、触覚制御部の内蔵メモリ及び触覚データ記憶部２１にそれぞれに、一又は複数の触覚データテーブルを記憶するように構成してもよい。

視聴覚提示装置１の処理部１０は、仮想オブジェクトリスト画面１３１を表示部１３にて表示する（ステップＳ５１１）。処理部１０は、ユーザによる仮想オブジェクトの選択操作中に、触覚提示装置２のキャッシュの状態を触覚提示装置２に問合せ、触覚提示装置２が記憶している触覚データテーブルの仮想オブジェクトＩＤを示す回答を取得する（ステップＳ５１２、ステップＳ５５１）。詳細には、視聴覚提示装置１はキャッシュ状態を問い合わせる要求データを触覚提示装置２へ送信する。触覚提示装置２の処理部１０は、触覚データ記憶部２１及び／又は内部メモリが記憶する触覚データテーブルの仮想オブジェクトＩＤを特定し、特定された仮想オブジェクトＩＤを視聴覚提示装置１へ送信する。視聴覚提示装置１の処理部１０は、触覚提示装置２から送信された仮想オブジェクトＩＤを受信することにより、触覚提示装置２が記憶する触覚データテーブルを認識する。なお、仮想オブジェクトＩＤを用いたキャッシュ状態の確認処理は一例であり、仮想オブジェクトＩＤに関連付けられる他のデータを用いて触覚提示装置２が記憶する触覚データテーブルを管理するように構成してもよい。

ステップＳ５１２の処理を終えた処理部１０は、触覚提示の対象とする仮想オブジェクトの選択を操作部１５にて受け付ける（ステップＳ５１３）。一つの仮想オブジェクトが選択された場合、処理部１０は、仮想オブジェクト提示の準備画面１３２を表示部１３にて表示する（ステップＳ５１４）。次いで、処理部１０は、選択された仮想オブジェクトのオブジェクトＩＤに対応付けられた画像データテーブル、音声データテーブル及び触覚データテーブルを感覚ＤＢ１１０から読み出す（ステップＳ５１５）。

そして、処理部１０は、ステップＳ５１３で選択された仮想オブジェクトの触覚データテーブルを触覚提示装置２が記憶しているか否かを判定する（ステップＳ５１６）。処理部１０は、ステップＳ５１２の問合せ結果に基づいて、当該触覚データテーブルのキャッシュの有無を判定することができる。触覚提示装置２が当該触覚データテーブルを記憶していないと判定した場合（ステップＳ５１６：ＮＯ）、処理部１０は、読み出した触覚データテーブルを触覚提示装置２へ送信する（ステップＳ１１５）。以下の処理（ステップＳ１１６～、ステップＳ１５１～）は実施形態１と同様である。

触覚提示装置２が当該触覚データテーブルを記憶していると判定した場合（ステップＳ５１６：ＹＥＳ）、処理部１０は、触覚データテーブルの送信処理をスキップし、仮想オブジェクトの提示処理を開始する（ステップＳ１１７）。以降の処理（ステップＳ１１８～、ステップＳ１５４～）は実施形態１と同様である。

実施形態５に係る仮想オブジェクト触覚提示装置１００によれば、触覚提示装置２による触覚データテーブルのキャッシュ状態に応じて、触覚データテーブルの送信処理をスキップする構成であるため、キャッシュ状態に応じて、より早く仮想オブジェクトの提示を開始することができる。

なお、実施形態５では、処理部１０が各種データテーブルを読み出してからキャッシュの有無を確認する例を説明したが、先にキャッシュ状態を確認し、キャッシュが存在する場合、触覚データテーブルを読み出さず、仮想オブジェクトの画像データテーブル及び音声データテーブルを読み出すように構成してもよい。

１ ：視聴覚提示装置
２ ：触覚提示装置
３ ：記録媒体
１０ ：処理部
１１ ：記憶部
１２ ：通信部
１３ ：表示部
１４ ：音声出力部
１５ ：操作部
２０ ：制御部
２１ ：触覚データ記憶部
２２ ：通信部
２３ ：電源部
２４ ：ＭＲＦデバイス
２５ ：変位センサ
１００ ：仮想オブジェクト触覚提示装置
１３１ ：仮想オブジェクトリスト画面
１３２ ：準備画面
１３３ ：オブジェクト提示画面

Claims (5)

1. 仮想オブジェクトを視覚的に提示する視覚提示装置と、前記仮想オブジェクトを触覚的に提示する触覚提示装置とを備える仮想オブジェクト触覚提示装置であって、
   前記視覚提示装置は、
   前記仮想オブジェクトを視覚的に提示するための視覚データと、前記仮想オブジェクトを触覚的に提示するための触覚データとを記憶する記憶部と、
   前記記憶部が記憶する前記視覚データに基づいて前記仮想オブジェクトを表示する表示部と、
   前記記憶部が記憶する前記触覚データを前記触覚提示装置へ送信する通信部と、
   前記仮想オブジェクトの提示開始を受け付ける操作部と、
   前記操作部が前記仮想オブジェクトの提示開始を受け付けた場合、前記仮想オブジェクトの提示準備に係る画像を前記表示部に表示させ、前記通信部にて前記触覚データを前記触覚提示装置へ送信する処理部と
   を備え、
   前記触覚提示装置は、前記視覚提示装置から送信された前記触覚データを受信し、前記仮想オブジェクトの触覚提示が可能になった場合、触覚提示の準備が完了したことを示す準備完了通知データを前記視覚提示装置へ送信するようにしてあり、
   前記視覚提示装置の前記処理部は、
   前記準備完了通知データを受信した場合、前記仮想オブジェクトを前記表示部に表示させる
   仮想オブジェクト触覚提示装置。
2. 前記視覚提示装置の前記通信部は、
   前記表示部が前記仮想オブジェクトの表示を開始した場合、表示開始通知データを前記触覚提示装置へ送信し、
   前記触覚提示装置は、前記表示開始通知データを受信した場合、前記仮想オブジェクトの触覚を提示する処理を開始する
   請求項１に記載の仮想オブジェクト触覚提示装置。
3. 前記処理部は、
   前記仮想オブジェクトの提示準備に係る画像を前記表示部に表示させた場合、前記記憶部から前記触覚データを読み出して補正し、補正後の前記触覚データを前記通信部に送信させ、
   前記記憶部から読み出された前記視覚データを、前記視覚データの送信後に補正する
   請求項１又は請求項２に記載の仮想オブジェクト触覚提示装置。
4. 仮想オブジェクトを視覚的に提示するための視覚データと、前記仮想オブジェクトを触覚的に提示するための触覚データとを記憶する記憶部を備え、前記仮想オブジェクトを視覚的に提示する視覚提示装置と、前記仮想オブジェクトを触覚的に提示する触覚提示装置とを用いて仮想オブジェクト触覚提示方法であって、
   前記仮想オブジェクトの提示開始を受け付け、
   前記仮想オブジェクトの提示開始を受け付けた場合、前記仮想オブジェクトの提示準備に係る画像を前記視覚提示装置に表示させ、
   前記触覚データを前記視覚提示装置から前記触覚提示装置へ送信させ、
   前記触覚提示装置が、前記視覚提示装置から送信された前記触覚データを受信し、前記仮想オブジェクトの触覚提示が可能になった場合、触覚提示の準備が完了したことを示す準備完了通知データを前記触覚提示装置から前記視覚提示装置へ送信させ、
   前記視覚提示装置が前記準備完了通知データを受信した場合、前記仮想オブジェクトを前記視覚提示装置に表示させる
   仮想オブジェクト触覚提示方法。
5. 仮想オブジェクトを視覚的に提示するための視覚データと、前記仮想オブジェクトを触覚的に提示するための触覚データとを記憶する記憶部及び処理部を備え、前記仮想オブジェクトを視覚的に提示する視覚提示装置の動作を制御するための制御プログラムであって、
   前記仮想オブジェクトの提示開始を受け付け、
   前記仮想オブジェクトの提示開始を受け付けた場合、前記仮想オブジェクトの提示準備に係る画像を表示し、
   前記仮想オブジェクトを触覚的に提示する触覚提示装置へ前記触覚データを送信し、
   前記触覚提示装置が前記視覚提示装置から送信された前記触覚データを受信し、前記仮想オブジェクトの触覚提示が可能になった場合に、前記触覚提示装置から送信される、触覚提示の準備が完了したことを示す準備完了通知データを受信し、
   前記準備完了通知データを受信した場合、前記仮想オブジェクトを表示する
   処理を前記処理部に実行させるための制御プログラム。