WO2017077636A1

WO2017077636A1 - シミュレーションシステム

Info

Publication number: WO2017077636A1
Application number: PCT/JP2015/081304
Authority: WO
Inventors: 幸宏陽奥; 遠藤　康浩; 祐中山; 鈴木　達也
Original assignee: 富士通株式会社
Priority date: 2015-11-06
Filing date: 2015-11-06
Publication date: 2017-05-11

Abstract

制御性を改善したシミュレーションシステムを提供する。　シミュレーションシステムは、物品の画像を表示する表示部と、表示部に表示されるポインタを操作する操作端末機と、操作端末機の位置及び姿勢を検出する第１検出部と、表示部の座標系における操作端末機の位置を検出する第２検出部と、利用者の視線の位置及び方向を検出する第３検出部と、視線ベクトルを算出する第１ベクトル算出部と、端末ベクトルを算出する第２ベクトル算出部と、視線ベクトルと端末ベクトルの接近度合に基づきポインタの移動目標点を求める位置算出部と、移動目標点に基づいて求まる現在のポインタの位置にポインタを表示させる出力部と、現在のポインタの位置と物品の位置とに基づきポインタと物品が接触しているかどうか、又は、移動目標点の位置と物品データが表す物品の位置とに基づき所定時間経過後にポインタと物品が接触するかどうかを判定する判定部とを含む。

Description

シミュレーションシステム

　本発明は、シミュレーションシステムに関する。

　従来より、ユーザに仮想物体との接触を知覚させる接触提示装置であって、ユーザに装着される複数の刺激発生手段と、ユーザと仮想物体の異なる面が接触した場合に、前記刺激発生手段で異なる刺激を発生させるように制御を行う制御部を備えることを特徴とする接触提示装置がある（例えば、特許文献１参照）。

特開２００８－１０８０５４号公報

　ところで、従来の接触提示装置は、カメラで取得した画像に基づいて、ユーザ（利用者）の腕と仮想物体の異なる面が接触したかどうかを判定する際に、ユーザの腕がユーザの体の他の部分の陰になったような場合にユーザの腕の位置を検出できなくなり、接触の有無の判定に用いる位置データを取得できない場合がある。

　このように接触の有無の判定に用いる位置データを取得できない場合には、接触したかどうかを判定できなくなり、制御性が低下するおそれがある。また、ユーザの腕の位置を再度検出した場合においても、位置データの認識等に時間がかかることで制御性が低下するおそれがある。

　そこで、制御性を改善したシミュレーションシステムを提供することを目的とする。

　本発明の実施の形態のシミュレーションシステムは、物品の形状と位置を表す物品データに基づいて前記物品の画像を表示する表示部と、利用者が手に持ちながら移動させることによって前記表示部に表示されるポインタの位置を操作する操作端末機と、前記物品データを格納するデータ格納部と、前記操作端末機の位置及び姿勢を検出する第１検出部と、前記第１検出部によって検出される前記位置及び姿勢に基づき、前記表示部の座標系における操作端末機の位置を検出する第２検出部と、利用者の視線の位置及び方向を検出する第３検出部と、前記第３検出部によって検出される前記視線の位置及び方向に基づき、前記表示部の座標系における前記視線の位置及び方向を表す視線ベクトルを算出する第１ベクトル算出部と、前記第１検出部による検出時点の異なる複数の前記位置及び姿勢に基づく複数時点の前記操作端末機の位置をそれぞれ表す複数の位置データを保持する保持部と、前記保持部に保持される前記複数の位置データに基づき、前記操作端末機の位置及び移動方向を表す端末ベクトルを算出する第２ベクトル算出部と、前記視線ベクトルと前記端末ベクトルとの接近度合に基づき、前記ポインタの移動目標の位置と推定される移動目標点の位置を求める位置算出部と、前記移動目標点の位置に基づいて求まる現在の前記ポインタの位置に、前記表示部に前記ポインタを表示させる出力部と、前記移動目標点の位置に基づいて求まる現在の前記ポインタの位置と、前記物品データが表す前記物品の位置とに基づき、前記ポインタと前記物品とが接触しているかどうか、又は、前記移動目標点の位置と、前記物品データが表す前記物品の位置とに基づき、所定時間の経過後に前記ポインタと前記物品とが接触するかどうかを判定する判定部とを含む。

　制御性を改善したシミュレーションシステムを提供することができる。

実施の形態１のシミュレーションシステムを示す図である。図１に示す処理装置の内部構成を示す図である。実施の形態１の処理装置が適用されるコンピュータシステムの斜視図である。コンピュータシステムの本体部内の要部の構成を説明するブロック図である。操作端末機を示す斜視図である。振動モータを示す図である。操作端末機の電気系の構成を示す図である。振動データを示す図である。形状データを示す図である。物品の画像の一例を示す図である。スクリーンに投影される画像の中におけるポインタの座標の時間変化の一例を示すデータである。移動目標点の座標の算出方法を説明する図である。ポインタ履歴データの一例を示す図である。実施の形態１の処理装置が実行する処理を示すフローチャートである。実施の形態１のシミュレーションシステム１００の利用シーンを示す図である。物品にポインタが接触した場合の触感の提供の仕方を示す図である。ポインタで触れる物品の部位と、振動パターンとの関係を表す図である。ポインタで触れる物品の部位と、振動パターンとの関係を表す図である。ポインタで触れる物品の材質と、振動パターンとの関係を表す図である。ポインタで触れる物品の材質と、振動パターンとの関係を表す図である。実施の形態１の第１変形例を示す図である。実施の形態１の第２変形例を示す図である。実施の形態１の第３変形例を示す図である。実施の形態１の第３変形例を示す図である。実施の形態１の第３変形例を示す図である。実施の形態１の第３変形例による操作端末機の電気系の構成を示す図である。実施の形態１の第４変形例のヘルメットを示す図である。実施の形態２の操作端末機を示す斜視図である。実施の形態２の振動データを示す図である。実施の形態１の処理装置が実行する処理を示すフローチャートである。ポインタで触れる物品の部位と、振動パターンとの関係を表す図である。ポインタで触れる物品の材質と、振動パターンとの関係を表す図である。実施の形態２の変形例を示す図である。実施の形態２の変形例を示す図である。実施の形態２の変形例を示す図である。実施の形態２の変形例を示す図である。実施の形態２の変形例を示す図である。実施の形態２の変形例を示す図である。実施の形態３のシミュレーションシステムの利用シーンを示す図である。実施の形態３の処理装置が実行する処理を示すフローチャートである。

　以下、本発明のシミュレーションシステムを適用した実施の形態について説明する。

　＜実施の形態１＞
　図１は、実施の形態１のシミュレーションシステム１００を示す図である。図２は、図１に示す処理装置１２０の内部構成を示す図である。

　シミュレーションシステム１００は、スクリーン１１０Ａ、投影装置１１０Ｂ、３Ｄ(3 Dimension)眼鏡１１０Ｃ、処理装置１２０、操作端末機１３０、及び位置計測装置１４０を含む。

　実施の形態１シミュレーションシステム１００は、例えば、組み立て作業性を仮想空間において把握するため組立支援システムに適用することができる。組立支援システムでは、例えば、ＣＰＵ(Central Processing Unit：中央演算処理装置)モジュール、メモリモジュール、通信モジュール、又はコネクタ等の電子部品をマザーボード等に組み付ける作業を仮想空間で模擬的に行うことができる。

　しかしながら、実施の形態１シミュレーションシステム１００は、組立支援システムに限らず、三次元空間での作業性を確認する様々なシステムに適用することができる。

　スクリーン１１０Ａは、例えば、プロジェクタ用スクリーンを用いることができる。スクリーン１１０Ａのサイズは、用途に応じて適宜設定すればよい。スクリーン１１０Ａには、投影装置１１０Ｂによって投影される画像が表示される。ここでは、物品１１１及び１１２の画像がスクリーン１１０Ａに表示されていることとする。

　投影装置１１０Ｂは、スクリーン１１０Ａに画像を投影できる装置であればよく、例えば、プロジェクタを用いることができる。投影装置１１０Ｂは、ケーブル１１０Ｂ１によって処理装置１２０に接続されており、処理装置１２０から入力される画像をスクリーン１１０Ａに投影する。ここでは、投影装置１１０Ｂは、３Ｄ画像（立体視の画像）をスクリーン１１０Ａに投影できるタイプのものである。

　なお、スクリーン１１０Ａと投影装置１１０Ｂは、表示部の一例である。

　３Ｄ眼鏡１１０Ｃは、シミュレーションシステム１００を利用する利用者が装着する。３Ｄ眼鏡１１０Ｃは、投影装置１１０Ｂによってスクリーン１１０Ａに投影される画像を３Ｄ画像に変換できる眼鏡であればよく、例えば、入射光を偏光する偏光眼鏡、又は、液晶シャッターを有する液晶シャッター眼鏡を用いることができる。

　また、３Ｄ眼鏡１１０Ｃには、マーカ１１０Ｃ１が取り付けられている。マーカ１１０Ｃ１は、複数の球体を有し、位置計測装置１４０から照射される赤外線を様々な方向に反射させる。マーカ１１０Ｃ１は、位置計測装置１４０による利用者の視線ベクトルの検出に用いられる。

　マーカ１１０Ｃ１は、操作端末機１３０に取り付けられるマーカ１３２とは、反射用の球体の配置又は数が異なり、位置計測装置１４０から入力される画像データの中における反射光のパターンが異なる。

　マーカ１１０Ｃ１は、複数の球体の数、大きさ、配置等によって、マーカ１１０Ｃ１の位置（座標）だけでなく、マーカ１１０Ｃ１の向きが分かるようになっている。このため、処理装置１２０が実行する画像処理によって、マーカ１１０Ｃ１の位置と、向いている方向を検出することができる。３Ｄ眼鏡１１０Ｃを掛けた利用者が正面を見る方向と、マーカ１１０Ｃ１が向いている方向とが一致するように、マーカ１１０Ｃ１を３Ｄ眼鏡１１０Ｃに取り付ければよい。

　なお、スクリーン１１０Ａ及び投影装置１１０Ｂの代わりに、例えば、液晶ディスプレイパネルを用いてもよい。また、３Ｄ眼鏡１１０Ｃが不要な場合は、３Ｄ眼鏡１１０Ｃを用いなくてもよい。また、スクリーン１１０Ａ及び投影装置１１０Ｂの代わりに、ヘッドマウントディスプレイを用いてもよい。

　処理装置１２０は、位置検出部１２１、履歴保持部１２２、視線検出部１２３、ベクトル算出部１２４Ａ、１２４Ｂ、位置算出部１２５、映像出力部１２６、データ格納部１２７、接触判定部１２８、駆動制御部１２９、及び通信部１２０Ａを有する。処理装置１２０は、例えば、メモリを有するコンピュータによって実現される。

　位置検出部１２１は、位置計測装置１４０から入力される画像データに対してパターンマッチング等の画像処理を行い、マーカ１３２からの反射光に基づいてマーカ１３２の位置と姿勢を検出する。

　マーカ１３２の位置は、３次元座標における座標値で表され、姿勢は、３次元座標の３軸方向に対する角度で表される。位置検出部１２１は、３次元座標におけるマーカ１３２の座標及び角度をスクリーン１１０Ａに投影される画像の中の座標及び角度に変換し、マーカ１３２の位置及び角度を表す座標データ及び角度データとして履歴保持部１２２に出力する。

　マーカ１３２は、操作端末機１３０の位置を検出するために設けられているので、マーカ１３２の位置及び角度は、操作端末機１３０の位置及び角度を表すデータとして取り扱うことができる。

　このため、以下では、位置検出部１２１によって検出されるマーカ１３２の位置及び角度を操作端末機１３０の位置及び角度として説明する。

　なお、マーカ１３２とマーカ１１０Ｃ１は、反射用の球体の配置又は数が異なり、位置計測装置１４０から入力される画像データの中における反射光のパターンが異なるため、位置検出部１２１は、マーカ１３２からの反射光に基づいて操作端末機１３０の位置と姿勢を検出する。位置検出部１２１は、第２検出部の一例である。

　なお、操作端末機１３０の位置と姿勢の検出は、位置計測装置１４０で行ってもよい。

　履歴保持部１２２は、位置検出部１２１から出力される操作端末機１３０の位置を表す座標と、姿勢を表す角度とを保持する。履歴保持部１２２は、メモリを有するコンピュータによって実現される処理装置１２０のうちのメモリの一部によって実現される。また、履歴保持部１２２は、コンピュータのうちのレジスタのようにデータを保持できる部分によって実現されてもよい。

　履歴保持部１２２は、処理装置１２０がシステムクロックに基づいて制御周期を繰り返している間に位置検出部１２１から出力される操作端末機１３０の位置を表す座標と角度を保持する。履歴保持部１２２には、複数の制御周期において生成される操作端末機１３０の座標を表すデータ（座標データ）と、角度を表すデータ（角度データ）とが履歴として保持される。

　なお、履歴保持部１２２が保持する操作端末機１３０の座標データ及び角度データについては後述する。

　視線検出部１２３は、位置計測装置１４０から入力される画像データに対してパターンマッチング等の画像処理を行い、マーカ１１０Ｃ１からの反射光に基づいて利用者の視線の位置及び方向（姿勢）を検出する。視線検出部１２３は、第３検出部の一例である。

　利用者の視線の位置及び方向（姿勢）は、３次元座標における座標値で表され、方向（姿勢）は、３次元座標の３軸方向に対する角度で表される。

　視線検出部１２３は、３次元座標におけるマーカ１１０Ｃ１の座標及び角度をスクリーン１１０Ａに投影される画像の中の座標及び角度に変換し、利用者の視線の位置及び方向（姿勢）を表す位置データ及び角度データとして出力する。

　ベクトル算出部１２４Ａは、履歴保持部１２２によって保持される、複数の制御周期の処理で得られた操作端末機１３０の座標を表すデータを読み出し、スクリーン１１０Ａに投影される画像の中の座標における操作端末機１３０のベクトルを表す端末ベクトルを算出する。ベクトル算出部１２４Ａは、第２ベクトル算出部の一例である。

　端末ベクトルは、複数の制御周期において、位置検出部１２１から出力される複数の操作端末機１３０の座標によって規定される。このため、端末ベクトルは、利用者が手で移動させる操作端末機１３０の軌跡を表す。

　ベクトル算出部１２４Ｂは、視線検出部１２３によって検出される利用者の視線の位置及び方向（姿勢）を表す座標に基づいて、利用者の視線の位置及び方向を表す視線ベクトルを算出する。ベクトル算出部１２４Ｂは、第１ベクトル算出部の一例である。

　位置算出部１２５は、ベクトル算出部１２４Ａによって算出される端末ベクトルと、ベクトル算出部１２４Ｂによって算出される視線ベクトルとに基づき、ポインタ１３０Ａの移動目標点の座標（位置）を求める。

　ポインタ１３０Ａの移動目標点とは、利用者が操作端末機１３０を手で移動させることによって、スクリーン１１０Ａに投影される画像の中で移動するポインタ１３０Ａを移動させたい目標点として推定される位置である。移動目標点の座標（位置）は、移動目標点の座標（Ｘ，Ｙ，Ｚ）を表す。

　処理装置１２０は、一例として、端末ベクトルと視線ベクトルとが交差する点、又は、交差しない端末ベクトルと視線ベクトルとが最も接近する点同士の中点として、移動目標点を求める。なお、移動目標点の求め方については後述する。

　また、位置算出部１２５は、移動目標点の座標と到着姿勢、最も新しい制御周期における操作端末機１３０の座標データ及び角度データ等に基づいて、現在のポインタ１３０Ａの座標データ及び角度データを算出する。現在のポインタ１３０Ａの座標データ及び角度データの算出方法については後述する。位置算出部１２５は、現在のポインタ１３０Ａの座標データ及び角度データを映像出力部１２６に出力する。

　映像出力部１２６の出力端子は、ケーブル１１０Ｂ１によって投影装置１１０Ｂに接続されている。映像出力部１２６は、データ格納部１２７に保持される物品１１１及び１１２の物品データによって特定される画像を投影装置１１０Ｂに出力し、スクリーン１１０Ａに表示させる。

　また、映像出力部１２６は、投影装置１１０Ｂにポインタ１３０Ａを表示させる。スクリーン１１０Ａに表示される画像内におけるポインタ１３０Ａの位置は、位置算出部１２５で算出される現在のポインタ１３０Ａの座標データによって決まる。映像出力部１２６は、出力部の一例である。

　データ格納部１２７は、物品１１１及び１１２の座標と形状を表す物品データ、物品１１１及び１１２の触感に応じた振動パターンを表す振動データ、及びポインタ１３０Ａの画像データ等のデータを保持する。データ格納部１２７は、メモリによって実現され、データ格納部の一例である。

　接触判定部１２８は、スクリーン１１０Ａに投影される物品１１１又は１１２の画像と、スクリーン１１０Ａに表示される操作端末機１３０のポインタ１３０Ａとが接触したかどうかを判定する。

　接触判定部１２８は、スクリーン１１０Ａに投影される物品１１１又は１１２の形状及び位置を表すデータと、ポインタ１３０Ａの現在の位置を表すデータとを用いて、物品１１１又は１１２の画像と、ポインタ１３０Ａとが接触したかどうかを判定する。

　ここで、ポインタ１３０Ａの現在の位置としては、位置算出部１２５によって算出される移動目標点の座標に基づいて求まる現在のポインタ１３０Ａの位置を用いる。接触判定部１２８は、移動目標点の座標に基づいて求まる現在のポインタ１３０Ａと、物品１１１又は１１２とがスクリーン１１０Ａに投影される画像の中で接触しているかどうかを判定する。接触判定部１２８は、判定部の一例である。

　なお、移動目標点の座標に基づいて求まる現在のポインタ１３０Ａと、物品１１１又は１１２の画像との接触の判定手法については後述する。

　駆動制御部１２９は、接触判定部１２８によって物品１１１又は１１２の画像と、ポインタ１３０Ａとが接触したと判定されると、ポインタ１３０Ａが接触した物品１１１又は１１２の部位の触感に応じた振動パターンの駆動信号を出力する。この駆動信号は、操作端末機１３０の振動素子を駆動する信号である。

　通信部１２０Ａは、操作端末機１３０と無線通信を行う通信部であり、例えば、Bluetooth（登録商標）又はWiFi(Wireless Fidelity)等の規格で無線通信を行うことができる。通信部１２０Ａは、駆動制御部１２９によって生成される駆動信号を操作端末機１３０に送信する。なお、通信部１２０Ａは、操作端末機１３０と有線通信を行う通信部であってもよい。

　操作端末機１３０は、シミュレーションシステム１００を利用する利用者が手に保持し、スクリーン１１０Ａに表示されるポインタ１３０Ａの位置をコントロールする端末機である。操作端末機１３０は、マーカ１３２と振動素子１３３Ｒ及び１３３Ｌとを有する。

　マーカ１３２は、複数の球体を有し、位置計測装置１４０から照射される赤外線を様々な方向に反射させる。マーカ１３２は、位置計測装置１４０による操作端末機１３０の位置検出に用いられる。

　振動素子１３３Ｒ及び１３３Ｌは、それぞれ、操作端末機１３０の右側及び左側に振動を発生させるために設けられている。また、振動素子１３３Ｒ及び１３３Ｌは、駆動制御部１２９によって生成される駆動信号が表す物品１１１又は１１２の触感に応じた振動パターンによって駆動される。振動素子１３３Ｒ及び１３３Ｌは、可動素子の一例である。

　なお、操作端末機１３０の詳細については後述する。

　位置計測装置１４０は、赤外線カメラ１４０Ａ、１４０Ｂ、及び１４０Ｃを有し、それぞれ、ケーブル１４１Ａ、１４１Ｂ、及び１４１Ｃによって位置検出部１２１に接続されている。赤外線カメラ１４０Ａ、１４０Ｂ、及び１４０Ｃは、操作端末機１３０と、３Ｄ眼鏡１１０Ｃを装着している利用者とに赤外線を照射し、マーカ１１０Ｃ１及び１３２で反射された反射光を撮影する。位置計測装置１４０は、赤外線カメラ１４０Ａ、１４０Ｂ、及び１４０Ｃが出力する画像データを位置検出部１２１及び視線検出部１２３に転送する。

　位置計測装置１４０は、操作端末機の位置及び姿勢を検出する第１検出部の一例であるとともに、利用者の視線の位置及び方向を検出する第３検出部の一例である。

　図３は、実施の形態１の処理装置１２０が適用されるコンピュータシステムの斜視図である。図３に示すコンピュータシステム１０は、本体部１１、ディスプレイ１２、キーボード１３、マウス１４、及びモデム１５を含む。

　本体部１１は、ＣＰＵ（Central Processing Unit：中央演算装置）、ＨＤＤ（Hard Disk Drive：ハードディスクドライブ）、及びディスクドライブ等を内蔵する。ディスプレイ１２は、本体部１１からの指示により画面１２Ａ上に解析結果等を表示する。ディスプレイ１２は、例えば、液晶モニタであればよい。キーボード１３は、コンピュータシステム１０に種々の情報を入力するための入力部である。マウス１４は、ディスプレイ１２の画面１２Ａ上の任意の位置を指定する入力部である。モデム１５は、外部のデータベース等にアクセスして他のコンピュータシステムに記憶されているプログラム等をダウンロードする。

　コンピュータシステム１０に処理装置１２０としての機能を持たせるプログラムは、ディスク１７等の可搬型記録媒体に格納されるか、モデム１５等の通信装置を使って他のコンピュータシステムの記録媒体１６からダウンロードされ、コンピュータシステム１０に入力されてコンパイルされる。

　コンピュータシステム１０に処理装置１２０としての機能を持たせるプログラムは、コンピュータシステム１０を処理装置１２０として動作させる。このプログラムは、例えばディスク１７等のコンピュータ読み取り可能な記録媒体に格納されていてもよい。コンピュータ読み取り可能な記録媒体は、ディスク１７、ＩＣカードメモリ、フロッピー（登録商標）ディスク等の磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＵＳＢ(Universal Serial Bus)メモリ等の可搬型記録媒体に限定されるものではない。コンピュータ読み取り可能な記録媒体は、モデム１５又はＬＡＮ等の通信装置を介して接続されるコンピュータシステムでアクセス可能な各種記録媒体を含む。

　図４は、コンピュータシステム１０の本体部１１内の要部の構成を説明するブロック図である。本体部１１は、バス２０によって接続されたＣＰＵ２１、ＲＡＭ又はＲＯＭ等を含むメモリ部２２、ディスク１７用のディスクドライブ２３、及びハードディスクドライブ（ＨＤＤ）２４を含む。実施の形態１では、ディスプレイ１２、キーボード１３、及びマウス１４は、バス２０を介してＣＰＵ２１に接続されているが、これらはＣＰＵ２１に直接的に接続されていてもよい。また、ディスプレイ１２は、入出力画像データの処理を行う周知のグラフィックインタフェース（図示せず）を介してＣＰＵ２１に接続されていてもよい。

　コンピュータシステム１０において、キーボード１３及びマウス１４は、処理装置１２０の入力部である。ディスプレイ１２は、処理装置１２０に対する入力内容等を画面１２Ａ上に表示する表示部である。

　なお、コンピュータシステム１０は、図３及び図４に示す構成のものに限定されず、各種周知の要素を付加してもよく、又は代替的に用いてもよい。

　図５は、操作端末機１３０を示す斜視図である。

　操作端末機１３０は、筐体１３１、マーカ１３２、振動素子１３３Ｒ、１３３Ｌ、ボタン１３４、及びガイドバー１３５を有する。

　操作端末機１３０は、ポインタ１３０Ａの位置の指標となるガイドバー１３５をスクリーン１１０Ａに向けて利用者が手で持つため、スクリーン１１０Ａに向いた利用者にとって右側に振動素子１３３Ｒが位置し、左側に振動素子１３３Ｌが位置する。

　また、以下では、左右を表す場合には、ガイドバー１３５をスクリーン１１０Ａに向けて操作端末機１３０を保持し、スクリーン１１０Ａを向く利用者を基準に左右の位置関係を表すこととする。

　また、筐体１３１の振動素子１３３Ｒ、１３３Ｌが設けられる面を上面と称し、ガイドバー１３５が取り付けられる側を前側と称す。

　筐体１３１は、筐体部１３１Ｒ及び１３１Ｌと、遮断部１３１Ａとを有する。筐体部１３１Ｒ及び１３１Ｌには、それぞれ、振動素子１３３Ｒ及び１３３Ｌが配設されている。筐体部１３１Ｒ及び１３１Ｌは、振動素子１３３Ｒ及び１３３Ｌが配設される基板部の一例である。

　また、筐体部１３１Ｒと筐体部１３１Ｌとは、お互いの振動が伝達されないように遮断部１３１Ａによって固定されている。

　すなわち、筐体部１３１Ｒと筐体部１３１Ｌとは、分断されており、互いの間は遮断部１３１Ａによって接続されている。

　筐体部１３１Ｒ及び１３１Ｌは、例えば、樹脂製であり、利用者が手に持つのにちょうど良いサイズを有する。遮断部１３１Ａは、例えば、防振構造を有するゴム部材であり、減衰比の高い防振ゴムを用いることができる。

　遮断部１３１Ａは、振動素子１３３Ｒが駆動された場合に筐体部１３１Ｒに生じる振動が筐体部１３１Ｌに伝達されなくするとともに、振動素子１３３Ｌが駆動された場合に筐体部１３１Ｌに生じる振動が筐体部１３１Ｒに伝達されないようにするために設けられている。

　マーカ１３２は、複数の球体１３２Ａとワイヤ１３２Ｂとを有する。複数の球体１３２Ａは、ワイヤ１３２Ｂによって遮断部１３１Ａに取り付けられている。

　マーカ１３２は、位置計測装置１４０による操作端末機１３０の位置と姿勢の検出に用いられるため、位置計測装置１４０から照射される赤外線を様々な方向に反射させる。マーカ１３２が反射する赤外線は、赤外線カメラ１４０Ａ、１４０Ｂ、及び１４０Ｃによって撮像され、位置検出部１２１が画像処理を行うことによってマーカ１３２の位置と姿勢が検出される。マーカ１３２の位置と姿勢は、操作端末機１３０の位置と姿勢を表す。

　マーカ１３２は、規則性がない様々な方向に赤外線を反射できれば、球体の個数は幾つであってもよく、球体の位置についても特に限定はない。また、球体ではなくてもよいし、マーカ１３２の検出は、赤外線を用いる手法に限られない。操作端末機１３０の位置検出を行うことができるのであれば、マーカ１３２はどのようなものであってもよい。

　振動素子１３３Ｒ及び１３３Ｌは、それぞれ、筐体部１３１Ｒ及び１３１Ｌの上面に設けられている。振動素子１３３Ｒ及び１３３Ｌは、駆動制御部１２９によって生成される駆動信号が表す物品１１１又は１１２の触感に応じた振動パターンによって駆動される。

　振動素子１３３Ｒ及び１３３Ｌは、例えば、ピエゾ素子又はＬＲＡ(Linear Resonant Actuator)のような振動を発生する素子であればよい。振動素子１３３Ｒ及び１３３Ｌを駆動すると、筐体部１３１Ｒ及び１３１Ｌの表面に振動が発生する。

　ボタン１３４は、操作端末機１３０の機能が割り当てられており、複数あってもよい。機能としては、例えば、処理装置１２０との無線通信のオン／オフを切り替える機能、ポインタ１３０Ａの表示の明るさを調整する機能等の様々な機能である。

　ガイドバー１３５は、遮断部１３１Ａの前側に取り付けられている。ガイドバー１３５は、ポインタ１３０Ａの位置の指標となる部材であり、スクリーン１１０Ａにポインタ１３０Ａが表示される位置を認識しやすくするために設けられている。ガイドバー１３５は、ここでは、一例として、細長い三角形状の板状部材である。

　ガイドバー１３５は、操作端末機１３０を手に持つ利用者が、スクリーン１１０Ａに表示されるポインタ１３０Ａの位置を移動させる際の指標又は基準点になるのであれば、どのような形状のものであってもよい。

　なお、ガイドバー１３５がなくても、利用者がポインタ１３０Ａの位置を把握しやすいような場合には、操作端末機１３０は、ガイドバー１３５を含まなくてもよい。

　図６は、振動モータ１３３Ａを示す図である。振動モータ１３３Ａは、ベース１３３Ａ１と、回転部１３３Ａ２とを有する。ベース１３３Ａ１の内部には、巻線コイルが設けられている。回転部１３３Ａ２は、偏心構造を有し、回転するとベース１３３Ａ１に振動が伝達する。このような振動モータ１３３Ａを図５に示す振動素子１３３Ｒ及び１３３Ｌの代わりに用いてもよい。

　図７は、操作端末機１３０の電気系の構成を示す図である。ここでは、筐体１３１とガイドバー１３５を簡略化して示し、マーカ１３２、振動素子１３３Ｒ、１３３Ｌを省略する。

　操作端末機１３０は、振動素子１３３Ｒ、１３３Ｌ、ボタン１３４、通信部１３６、ボタン判定部１３７、及び信号生成部１３８を有する。なお、ボタン判定部１３７と信号生成部１３８は、例えば、マイクロコンピュータのような演算処理装置によって実現される。

　通信部１３６には、ボタン判定部１３７及び信号生成部１３８が接続されている。通信部１３６は、処理装置１２０の通信部１２０Ａと無線通信を行う通信部であり、例えば、Bluetooth又はWiFi等の規格で無線通信を行う。

　通信部１３６は、ボタン判定部１３７から入力される信号を処理装置１２０に送信する。また、通信部１３６は、処理装置１２０の駆動制御部１２９によって生成される駆動信号を受信し、信号生成部１３８に出力する。

　ボタン判定部１３７は、ボタン１３４の操作の有無を判定する判定部であり、例えば、処理装置１２０との無線通信のオン／オフ、ポインタ１３０Ａの表示の明るさを調整等の操作内容を判定する。ボタン判定部１３７は、操作内容を表す信号を通信部１３６に出力する。

　信号生成部１３８は、通信部１３６が受信する駆動信号を増幅して振動素子１３３Ｒ又は１３３Ｌを駆動する。なお、信号生成部１３８を駆動制御部として捉えてもよい。

　図８は、振動データを示す図である。

　振動データは、スクリーン１１０Ａに表示する物品の触感に応じた振動パターンを表すデータである。振動データは、一例として、物品ＩＤ(Identification)、物品名称、材質、部位名称、振動強度、及び振動時間を有する。

　物品ＩＤは、物品毎に割り当てられる識別子である。すべての物品は、互いに異なる物品ＩＤを有する。図８には、例示的な物品ＩＤとして、001,002,003,・・・を示す。

　物品名称は、物品の名称である。図８には、例示的な物品名称として、Plate, Connector, Cable,・・・を示す。

　材質は、物品の表面の材質を表す。図８には、例示的な材質として、Steel(鉄), PBT(Polybutylene terephthalate:ポリブチレンテレフタレート),PVC(polyvinyl chloride:ポリ塩化ビニル)を示す。

　部位名称は、物品の部位を表す。図８には、例示的な部位として、Corner(角)、Edge(辺)、Surface(面)を示す。Corner(角)とは、例えば、直方体の８つの頂点に位置する角である。また、Edge(辺)とは、直方体の１２本の辺である。また、Surface(面)とは、直方体の６つの面である。また、球体の場合には、Corner(角)とEdge(辺)の名称は存在せず、Surface(面)のみが存在することになる。なお、部位名称は、直方体及び球体以外の様々な形状の物品に対応して割り当てられている。

　振動強度は、振動素子１３３Ｒ又は１３３Ｌを駆動する駆動信号の振幅(Vpp)を表す。振幅は、ピーク・トゥ・ピークの電圧値で示してある。振動強度は、一例として、Corner(角)が最も強く、Edge(辺)は中間的な強度であり、Surface(面)は最も弱い値に設定されている。

　Corner(角)、Edge(辺)、及びSurface(面)の中では、Corner(角)を触った場合の感触が最も強く、Surface(面)を触った場合の感触が最も弱く、Edge(辺)を触った場合の感触は、Corner(角)とSurface(面)の中間だからである。なお、この傾向は、一例として、すべての材質において同様に設定されている。

　振動時間は、振動素子１３３Ｒ又は１３３Ｌを駆動する時間(ms)を表す。振動時間は、一例として、Steel(鉄), PBT(ポリブチレンテレフタレート),PVC(ポリ塩化ビニル)で異なるように設定されている。Steel(鉄)の振動時間が最も短く、PVC(polyvinyl chloride:ポリ塩化ビニル)の振動時間が最も長く、PBT(ポリブチレンテレフタレート)の振動時間は、Steel(鉄)とPVC(polyvinyl chloride:ポリ塩化ビニル)の中間である。

　Steel(鉄)は、これら３つの材質の中では最もヤング率が大きく、振動が短い時間で収束するからである。また、PVC(ポリ塩化ビニル)は、これら３つの材質の中では最もヤング率が小さく、振動が収束するまでに最も時間がかかるからである。PBT(ポリブチレンテレフタレート)のヤング率は、これら３つの材質の中では中間的な値だからである。

　以上のような振動データは、現実世界で物品の表面を手で触った場合の触感を振動素子１３３Ｒ又は１３３Ｌの振動によって再現するために、部位に応じて振動強度と振動時間が設定されている。

　なお、振動データは、処理装置１２０のデータ格納部１２７に格納されている。

　図９は、形状データを示す図である。

　物品データは、スクリーン１１０Ａに表示する物品の座標と形状を表すデータである。物品データは、物品ＩＤ、形状タイプ、基準座標、サイズ、及び回転角度を有する。

　形状タイプは、物品の外形を表す。図９では、一例として、形状タイプがCuboid(直方体)とCylinder(円柱体)を示す。

　基準座標は、物品の全体を表す座標の基準になる点の座標値を示す。座標値の単位はメートル（ｍ）である。なお、座標系としては、ＸＹＺ座標系を用いる。

　サイズは、物品のＸ軸方向の長さ、Ｙ軸方向の長さ、Ｚ軸方向の長さを表す。単位はメートル（ｍ）である。一例として、Ｘ軸方向の長さは縦の長さを表し、Ｙ軸方向の長さは高さを表し、Ｚ軸方向の長さは奥行き（横方向の長さ）を表す。

　回転角度は、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向に対する回転角度θｘ、θｙ、θｚで表される。単位は度(deg.)である。回転角度θｘは、Ｘ軸を回転軸として物品を回転させる角度である。同様に、回転角度θｙ及びθｚは、それぞれ、Ｙ軸及びＺ軸を回転軸として物品を回転させる角度である。回転角度θｘ、θｙ、θｚの正方向は、予め決めておけばよい。

　このような物品データを用いれば、ＣＡＤデータによって表示される物品の画像と同様に、物品データによって特定される画像を表すことができる。

　なお、物品データは、処理装置１２０のデータ格納部１２７に格納されている。

　図１０は、物品の画像の一例を示す図である。

　図１０には、図９の物品データによって表される３つの物品を示す。

　物品ＩＤが001の物品は、形状タイプがCuboid(直方体)で、基準座標（Ｘ，Ｙ，Ｚ）が（０．０，０．０，０．０）であり、サイズが（０．８，０．２，０．４）であり、回転角度θｘ、θｙ、θｚが（０．０，０．０，０．０）である。

　基準座標（Ｘ，Ｙ，Ｚ）が（０．０，０．０，０．０）であるため、物品ＩＤが001の物品の１つの頂点は、ＸＹＺ座標系の原点Ｏと一致している。

　物品ＩＤが002の物品は、形状タイプがCuboid(直方体)で、基準座標（Ｘ，Ｙ，Ｚ）が（０．６，０．２，０．０）であり、サイズが（０．２，０．２，０．１）であり、回転角度θｘ、θｙ、θｚが（０．０，０．０，０．０）である。

　このため、物品ＩＤが002の物品は、物品ＩＤが001の物品の上に配置されている。

　物品ＩＤが003の物品は、形状タイプがCylinder(円柱体)で、基準座標（Ｘ，Ｙ，Ｚ）が（０．８，０．３，０．１）であり、サイズが（０．２，１．０，０．３）であり、回転角度θｘ、θｙ、θｚが（０．０，０．０，９０．０）である。

　このため、物品ＩＤが003の物品は、Ｚ軸を回転軸として９０度回転させた状態で、物品ＩＤが002の物品のＸ軸正方向側に接続されている。

　なお、上述のように、実施の形態１では、図９に示す物品ＩＤ、形状タイプ、基準座標、サイズ、及び回転角度を有する物品データを用いて、スクリーン１１０Ａに投影される画像の中における物品の座標と形状を規定する。

　例えば、形状タイプがCuboid(直方体)の場合に、８つの頂点の座標は、基準座標に対して、サイズで表される物品のＸ軸方向の長さ、Ｙ軸方向の長さ、Ｚ軸方向の長さを加算又は減算することによって求めることができる。８つの頂点の座標は、形状タイプがCuboid(直方体)の物品のCorner(角)の座標を表す。

　８つの頂点の座標を求めれば、１２本の辺を表す式を求めることができる。１２本の辺を表す式は、形状タイプがCuboid(直方体)の物品のEdge(辺)の座標を表す式である。

　また、８つの頂点の座標、及び／又は、１２本の辺を表す式を求めれば、形状タイプがCuboid(直方体)の物品の６つの表面を表す式が求まり、Surface(面)の座標を求めることができる。

　また、形状タイプがCylinder(円柱体)の場合には、サイズで表される物品のＸ軸方向の長さ、Ｙ軸方向の長さ、Ｚ軸方向の長さに基づいて、円柱の両端にある円（又は楕円）を表す式を求めることができる。また、両端の円（又は楕円）を表す式と基準座標とを用いれば、両端の円（又は楕円）の座標を表す式を求めることができる。円柱体の側面の座標は、両端の円（又は楕円）の座標を表す式を用いることよって求めることができる。

　ここでは、形状タイプがCuboid(直方体)とCylinder(円柱体)の物品について説明したが、球体、三角錐、凹部を有する直方体等の様々な形状の物品についても、同様にスクリーン１１０Ａに投影される画像の中における座標と形状を求めることができる。

　図１１は、端末履歴データの一例を示す図である。図１１に示す端末履歴データは、操作端末機１３０の座標データ及び角度データの履歴を表し、履歴保持部１２２によって保持される。

　シミュレーションシステム１００の利用を開始する際に、操作端末機１３０の位置のキャリブレーションを行う。キャリブレーションは、位置検出部１２１で検出する操作端末機１３０の初期の位置と、スクリーン１１０Ａに表示される画像（仮想空間）の中におけるポインタ１３０Ａの位置とを関連付ける処理である。ポインタ１３０Ａの位置は、物品の物品データを表すＸＹＺ座標系で表される。

　このように、シミュレーションシステム１００の利用を開始する際に、操作端末機１３０の位置のキャリブレーションを行うことにより、スクリーン１１０Ａに表示される画像の中におけるポインタ１３０Ａの初期の位置が決まる。

　図１１には、端末履歴データに含まれるパラメータとして、端末ＩＤ、Index、時間、Ｘ、Ｙ、Ｚ座標、回転角度θｘ、θｙ、θｚを示す。各パラメータの単位は、図１１に示す通りである。

　端末ＩＤは、操作端末機１３０毎に割り当てられる識別子である。Indexは、操作端末機１３０の座標データ及び角度データを取得した制御周期（制御サイクル）のサイクル数を表す。時間は、測定開始からの経過時間を表す。

　ここで、Indexが表す制御周期のサイクル数は、位置検出部１２１によって管理されている。位置検出部１２１は、実行中の制御周期のサイクル数を監視している。換言すれば、位置検出部１２１は、現在の制御周期のサイクル数を表すデータを保持している。このように、処理装置１２０の制御周期のサイクル数は、位置検出部１２１によって管理されている。

　処理装置１２０は、制御周期毎に（制御周期の１サイクルの時間が経過する度に）、操作端末機１３０の座標及び角度を検出できるかどうか判定し、検出した操作端末機１３０の座標及び角度を図１１に示す操作端末機１３０の座標データ及び角度データに変換して、端末履歴データを作成する。

　操作端末機１３０の座標データ及び角度データを含む端末履歴データは、履歴保持部１２２によって保持される。履歴保持部１２２は、現在及び／又は過去の複数の制御周期で得られる操作端末機１３０の座標データ及び角度データを保持する。

　図１１には、制御周期が０．０１ｍｓ（ミリ秒）の場合に得られる端末履歴データを示す。最も新しい操作端末機１３０の座標データ及び角度データは、Indexが表すサイクル数が最も大きい座標データ及び角度データであり、換言すれば、測定開始からの経過時間が最も長いデータになる。図１１では、Indexが３で、経過時間が０．０３ｍｓの座標データ及び角度データが最も新しい。

　最も新しい座標データ及び角度データは、現在の制御周期、直前の制御周期、又はそれ以前の制御周期で得られたものである。なお、直前の制御周期とは、現在の制御周期の１つ前の制御周期である。古い座標データ及び角度データほど、Indexが表すサイクル数が小さくなる。

　なお、履歴保持部１２２は、少なくとも２つの制御周期における操作端末機１３０の座標データ及び角度データを保持すればよい。図１１には、一例として、３つの制御周期における操作端末機１３０の座標データ及び角度データを示す。新たな制御周期における操作端末機１３０の座標データ及び角度データを取得すると、最も古い制御周期における操作端末機１３０の座標データ及び角度データを削除することにより、履歴データに３つの制御周期における操作端末機１３０の座標データ及び角度データが登録されるようになっている。

　次に、ベクトル算出部１２４Ａによる端末ベクトルの算出、ベクトル算出部１２４Ｂによる視線ベクトルの算出、位置算出部１２５による移動目標点の座標の算出、操作端末機１３０を移動速度の算出方法、移動目標点における操作端末機１３０の姿勢の算出方法、及び、現在のポインタ１３０Ａの座標データ及び角度データの算出について説明する。

　ここでは、端末履歴データに登録されている複数の制御周期における操作端末機１３０の座標データ及び角度データのうち、最も新しい制御周期における操作端末機１３０の座標データ及び角度データと、最も新しい制御周期の直前（１つ前）の制御周期における操作端末機１３０の座標データ及び角度データを用いる形態について説明する。

　ベクトル算出部１２４Ａによる端末ベクトルの算出は、履歴保持部１２２によって保持されている端末履歴データの複数の制御周期における操作端末機１３０の座標データ及び角度データを用いて、次のように行われる。

　ベクトル算出部１２４Ａは、最も新しい制御周期における操作端末機１３０の座標データ及び角度データと、最も新しい制御周期の直前（１つ前）の制御周期における操作端末機１３０の座標データ及び角度データとを用いて端末ベクトルを算出する。

　最も新しい制御周期における操作端末機１３０の座標データ及び角度データは、Indexの値が最も大きいものである。最も新しい制御周期の直前（１つ前）の制御周期における操作端末機１３０の座標データ及び角度データは、Indexの値が２番目に大きいものである。

　最も新しい制御周期と、最も新しい制御周期の直前（１つ前）の制御周期と操作端末機１３０の座標データ及び角度データのＸ、Ｙ、Ｚ座標、回転角度θｘ、θｙ、θｚの差を用いれば、Ｘ、Ｙ、Ｚ軸方向の変化量と、回転角度θｘ、θｙ、θｚの変化量とを求めることができる。そして、最も新しい制御周期の直前（１つ前）の制御周期と操作端末機１３０の座標データ及び角度データを始点の座標及び角度として用いれば、端末ベクトルを算出することができる。

　なお、ここでは、一例として、端末履歴データの複数の制御周期における操作端末機１３０の座標データ及び角度データを用いて端末ベクトルを算出する形態について説明するが、他の方法で端末ベクトルを算出することもできる。

　例えば、図１１に示す３つの制御周期における操作端末機１３０の座標データ及び角度データのＸ、Ｙ、Ｚ座標、回転角度θｘ、θｙ、θｚの各々の値の変化分の近似値を最小二乗法で求めてもよい。この場合に、端末ベクトルの始点は、３つの制御周期のうちのいずれか１つの制御周期における操作端末機１３０の座標データ及び角度データのＸ、Ｙ、Ｚ座標、回転角度θｘ、θｙ、θｚの値に設定すればよい。

　また、例えば、履歴保持部１２２によって保持されている複数の制御周期における操作端末機１３０の座標データ及び角度データのうち、最も新しい制御周期と、最も新しい制御周期の直前（１つ前）の制御周期との組み合わせ以外の制御周期の組み合わせを利用して、端末ベクトルを算出してもよい。

　次に、ベクトル算出部１２４Ｂによる視線ベクトルの算出方法について説明する。

　ベクトル算出部１２４Ｂは、視線検出部１２３から出力される利用者の位置データ及び角度データに基づいて視線ベクトルを算出する。ここで、視線検出部１２３から出力される位置データが（Ｘｕ，Ｙｕ，Ｚｕ）、角度データが（θｘｕ，θｙｕ，θｚｕ）であるとする。

　ベクトル算出部１２４Ｂは、位置データ（Ｘｕ，Ｙｕ，Ｚｕ）を始点とし、角度データ（θｘｕ，θｙｕ，θｚｕ）が表す方向を有するベクトルとして、視線ベクトルを算出する。ここでは、一例として、最も新しい制御周期において視線検出部１２３によって検出される、位置データ（Ｘｕ，Ｙｕ，Ｚｕ）と角度データ（θｘｕ，θｙｕ，θｚｕ）に基づいて、視線ベクトルを算出することとする。

　以上のようにして、視線ベクトルを算出することができる
　次に、位置算出部１２５による移動目標点の座標を算出する方法について説明する。

　図１２は、移動目標点の座標の算出方法を説明する図である。

　図１２には、端末ベクトルｍ、視線ベクトルｎを示す。端末ベクトルｍは、操作端末機１３０の軌道を表し、視線ベクトルｎは、視線の位置及び方向を表す。ここでは、端末ベクトルｍと視線ベクトルｎが、交点を有しない場合について説明する。

　また、図１２において、点Ａは、最も新しい制御周期の直前（１つ前）の制御周期における操作端末機１３０の座標データ（Ｘ，Ｙ，Ｚ）で表される点である。また、点Ｂは、最も新しい制御周期の直前（１つ前）の制御周期における、スクリーン１１０Ａに投影される画像の中の座標におけるマーカ１１０Ｃ１の位置である。点Ｂの座標は、ベクトル算出部１２４Ｂが算出する視線ベクトルの始点の位置データ（Ｘｕ，Ｙｕ，Ｚｕ）で特定される。

　また、図１２に示す点Ｓは、端末ベクトルｍの軌道上において、視線ベクトルｎに最も近い点（最近点）であり、点Ｔは、視線ベクトルｎの軌道上において、端末ベクトルｍに最も近い点（最近点）である。また、点Ａと最近点Ｓの距離をＤｍ、点Ｂと最近点Ｔの距離をＤｎとする。また、点Ｇは、移動目標点である。なお、原点をＯとする。

　ここでは、移動目標点Ｇは、最近点Ｓと、最近点Ｔとの中点として求める。操作端末機１３０の軌道を表す端末ベクトルｍと、視線の位置及び方向を表す視線ベクトルｎとの中点は、利用者がポインタ１３０Ａを移動させたいと思っている目標点に近い点のうちの１つとして考えることができるからである。このように、利用者がポインタ１３０Ａを移動させたいと思っている目標点を移動目標点Ｇとして近似的に求める。

　移動目標点Ｇは、端末ベクトルｍ、視線ベクトルｎ、点Ａ、点Ｂ、最近点Ｓ、最近点Ｔ、距離Ｄｍ、距離Ｄｎを用いて次のように求めることができる。

　まず、ベクトルＳＴは、原点Ｏを基準とするベクトルＯＴとベクトルＯＳを用いると、式（１）のように表すことができる。

　ベクトルＳＴは、端末ベクトルｍ及び視線ベクトルｎと直交するので、次式（２）、（３）が成立する。

　式（２）と式（３）の連立方程式より、距離Ｄｍ、距離Ｄｎは、式（４）、（５）のように求まる。

　最近点Ｓと最近点Ｔは、式（４）、（５）から、次式（６）、（７）のように表すことができる。

　そして、式（８）により、最近点Ｓと最近点Ｔの中点として移動目標点Ｇを求めることができる。式（８）では移動目標点Ｇをベクトル表記で表すが、式（８）で移動目標点Ｇの座標（ｘ_Ｇ，ｙ_Ｇ，ｚ_Ｇ）が得られる。

　なお、ここでは、端末ベクトルｍと視線ベクトルｎが、交点を有しない場合において、最近点Ｓと、最近点Ｔとの中点として移動目標点Ｇを求める形態について説明した。

　しかしながら、移動目標点Ｇを最近点Ｓ又は最近点Ｔのいずれ一方にしてもよいし、最近点Ｓと最近点Ｔとの間にある点（中間点）にしてもよい。

　また、端末ベクトルｍと視線ベクトルｎが交点を有する場合には、端末ベクトルｍと視線ベクトルｎの交点を移動目標点Ｇにすればよい。

　次に、操作端末機１３０の移動速度の算出方法について説明する。

　操作端末機１３０の移動速度の算出は、履歴保持部１２２によって保持されている複数の制御周期における操作端末機１３０の座標データ及び角度データを用いて、次のように行われる。

　位置算出部１２５は、最も新しい制御周期における操作端末機１３０の座標データ及び角度データと、最も新しい制御周期の直前（１つ前）の制御周期における操作端末機１３０の座標データ及び角度データとを用いて操作端末機１３０の移動速度を算出する。

　最も新しい制御周期における操作端末機１３０の座標データ及び角度データを（ｘ_０，ｙ_０，ｚ_０，θ_ｘ０，θ_ｙ０，θ_ｚ０）、最も新しい制御周期における操作端末機１３０の座標データ及び角度データの取得時刻をＴ_０とする。

　また、最も新しい制御周期の直前（１つ前）の制御周期における操作端末機１３０の座標データ及び角度データを（ｘ_１，ｙ_１，ｚ_１，θ_ｘ１，θ_ｙ１，θ_ｚ１）、最も新しい制御周期の直前（１つ前）の制御周期における操作端末機１３０の座標データ及び角度データの取得時刻をＴ_１とする。

　操作端末機１３０の移動速度を（ｖ_ｘ０，ｖ_ｙ０，ｖ_ｚ０）、角速度を（ω_ｘ０，ω_ｙ０，ω_ｚ０）とすると、操作端末機１３０の移動速度及び角速度は、それぞれ、次式（９）、（１０）で表される。

　次に、移動目標点Ｇにおける操作端末機１３０の姿勢の算出方法について説明する。

　位置算出部１２５は、操作端末機１３０が移動目標点Ｇに到着するまでの所要時間Ｔ_Ｇと、移動目標点Ｇでの操作端末機１３０の姿勢（到着姿勢）とを求める。

　所要時間Ｔ_Ｇと到着姿勢（θ_ｘＧ，θ_ｙＧ，θ_ｚＧ）は、最近点Ｓ（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）、最も新しい制御周期における操作端末機１３０の座標データ及び角度データ（ｘ_０，ｙ_０，ｚ_０，θ_ｘ０，θ_ｙ０，θ_ｚ０）、移動速度（ｖ_ｘ０，ｖ_ｙ０，ｖ_ｚ０）、角速度（ω_ｘ０，ω_ｙ０，ω_ｚ０）に基づいて、次式（１１）、（１２）のように算出される。

　なお、所要時間Ｔ_Ｇは、最も新しい制御周期の処理時刻から、操作端末機１３０が移動目標点Ｇに到着する到着時刻までの時間である。最も新しい制御周期の処理時刻は、最も新しい制御周期における操作端末機１３０の座標データ及び角度データの取得時刻Ｔ_０である。

　次に、現在のポインタ１３０Ａの座標データ及び角度データの算出方法について説明する。

　位置算出部１２５は、移動目標点Ｇの座標（ｘ_Ｇ，ｙ_Ｇ，ｚ_Ｇ）と到着姿勢（θ_ｘＧ，θ_ｙＧ，θ_ｚＧ）、最も新しい制御周期における操作端末機１３０の座標データ及び角度データ（ｘ_０，ｙ_０，ｚ_０，θ_ｘ０，θ_ｙ０，θ_ｚ０）、所要時間Ｔ_Ｇ、取得時刻Ｔ_０、現在の時刻Ｔｃに基づいて、現在のポインタ１３０Ａの座標データ及び角度データを算出する。

　現在のポインタ１３０Ａの座標データ（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）及び角度データ（θ_ｘｃ，θ_ｙｃ，θ_ｚｃ）は、次式（１３）、（１４）によって求められる。

　次に、図１３を用いて、処理装置１２０が制御周期を繰り返し実行することにより、各制御周期で求められる現在のポインタ１３０Ａの座標データ及び角度データを時系列的に登録したポインタ履歴データについて説明する。

　図１３は、ポインタ履歴データの一例を示す図である。図１３に示すポインタ履歴データは、各制御周期において位置算出部１２５がポインタ１３０Ａの現在の位置データ及び角度データを算出する度に、ポインタ１３０Ａの現在の位置を表す座標データを登録したものである。

　図１３には、ポインタ履歴データに含まれるパラメータとして、ポインタＩＤ、Index、時間、Ｘ、Ｙ、Ｚ座標、回転角度θｘ、θｙ、θｚを示す。各パラメータの単位は、図１３に示す通りである。図１３には、一例として、３つの制御周期におけるポインタ１３０Ａの現在の位置データ及び角度データを示す。新たな制御周期におけるポインタ１３０Ａの現在の位置データ及び角度データを取得すると、最も古い制御周期におけるポインタ１３０Ａの現在の位置データ及び角度データを削除することにより、ポインタ履歴データに３つの制御周期におけるポインタ１３０Ａの現在の位置データ及び角度データが登録されるようになっている。

　ポインタＩＤは、ポインタ１３０Ａに割り当てられる識別子である。Indexと時間は、端末履歴データに含まれるIndexと時間と同様である。Ｘ、Ｙ、Ｚ座標、回転角度θｘ、θｙ、θｚは、位置算出部１２５がポインタ１３０Ａの現在の位置及び回転角度として求めるものである。

　なお、ポインタ履歴データは、少なくとも２つの制御周期におけるポインタ１３０Ａの現在の位置データ及び角度データを保持すればよい。

　次に、実施の形態１の処理装置１２０が実行する処理について説明する。

　図１４は、処理装置１２０が実行する処理を示すフローチャートである。ここでは、一例として、図１に示すように、スクリーン１１０Ａに物品１１１及び１１２の画像を表示させる場合について説明する。

　処理装置１２０は、電源投入後に処理を開始する（スタート）。

　処理装置１２０は、データ格納部１２７から物品データと振動データを取得する（ステップＳ１）。

　処理装置１２０は、物品データを用いて映像信号を生成し、投影装置１１０Ｂに画像を投影させる（ステップＳ２）。これにより、スクリーン１１０Ａに物品１１１及び１１２の立体視のモデルの画像が表示される。スクリーン１１０Ａに表示される物品１１１及び１１２の画像は、仮想空間に存在する仮想物体を表す。

　なお、ステップＳ１及びＳ２の処理は、映像出力部１２６によって行われる。

　処理装置１２０は、位置計測装置１４０の赤外線カメラ１４０Ａ、１４０Ｂ、及び１４０Ｃで得られた画像データに基づいて、操作端末機１３０の現実空間における位置と姿勢を検出する（ステップＳ３）。ステップＳ３の処理は、位置検出部１２１によって行われる。

　ここで、画像データにマーカ１３２の画像が含まれていない場合には、ステップＳ３では操作端末機１３０の現実空間における位置と姿勢は検出されない。画像データにマーカ１３２の画像が含まれている場合には、位置検出部１２１によって操作端末機１３０の位置データ及び角度データが算出される。

　処理装置１２０は、ステップＳ３において操作端末機１３０の位置と姿勢を検出されたかどうかを判定する（ステップＳ４）。ステップＳ３で操作端末機１３０の位置と姿勢が検出されていれば、操作端末機１３０の位置データ及び角度データが算出されている。

　処理装置１２０は、操作端末機１３０の位置と姿勢を検出された（Ｓ４：ＹＥＳ）と判定されると、操作端末機１３０の位置データ及び角度データを端末履歴データ（図１１参照）に登録する（ステップＳ５）。

　処理装置１２０は、端末履歴データを読み出す（ステップＳ６）。ここでは、ベクトル算出部１２４Ａ及び位置算出部１２５が、最も新しい制御周期における操作端末機１３０の座標データ及び角度データと、最も新しい制御周期の直前（１つ前）の制御周期における操作端末機１３０の座標データ及び角度データとを端末履歴データから読み出す。

　なお、処理装置１２０は、ステップＳ４において操作端末機１３０の位置と姿勢を検出されていない（Ｓ４：ＮＯ
）と判定した場合は、フローをステップＳ６に進行させる。

　処理装置１２０は、端末履歴データに登録された２つの制御周期における操作端末機１３０の座標データ及び角度データに基づいて、操作端末機１３０の移動速度を算出する（ステップＳ７Ａ）。ここでは、一例として、最も新しい制御周期における操作端末機１３０の座標データ及び角度データと、最も新しい制御周期の直前（１つ前）の制御周期における操作端末機１３０の座標データ及び角度データとに基づいて、移動速度が算出される。

　なお、ステップＳ７Ａの処理は、位置算出部１２５によって実行される。

　処理装置１２０は、端末履歴データに登録された２つの制御周期における操作端末機１３０の座標データ及び角度データに基づいて、端末ベクトルを算出する（ステップＳ７Ｂ）。ここでは、一例として、最も新しい制御周期における操作端末機１３０の座標データ及び角度データと、最も新しい制御周期の直前（１つ前）の制御周期における操作端末機１３０の座標データ及び角度データとに基づいて、端末ベクトルを算出される。

　なお、ステップＳ７Ｂの処理は、ベクトル算出部１２４Ａによって実行される。また、ステップＳ７ＡとステップＳ７Ｂの処理は、平行して行われる。

　処理装置１２０は、位置計測装置１４０から入力される画像データに対してパターンマッチング等の画像処理を行い、マーカ１１０Ｃ１からの反射光に基づいてマーカ１１０Ｃ１の位置及び方向（姿勢）を検出する（ステップＳ８）。マーカ１１０Ｃ１の位置及び方向（姿勢）は、利用者の視線の位置及び方向（姿勢）を表す。ステップＳ８は、視線検出部１２３によって実行される処理である。

　また、ステップＳ８では、視線検出部１２３は、現実空間におけるマーカ１１０Ｃ１の位置及び方向（姿勢）をスクリーン１１０Ａに投影される画像の中の座標及び角度に変換し、利用者の視線の位置及び方向（姿勢）を表す位置データ（Ｘｕ，Ｙｕ，Ｚｕ）及び角度データ（θｘｕ，θｙｕ，θｚｕ）として出力する。

　処理装置１２０は、視線検出部１２３から出力される利用者の位置データ及び角度データに基づいて視線ベクトルを算出する（ステップＳ９）。視線ベクトルは、位置データ（Ｘｕ，Ｙｕ，Ｚｕ）を始点とし、角度データ（θｘｕ，θｙｕ，θｚｕ）が表す方向を有するベクトルである。ステップＳ９の処理は、ベクトル算出部１２４Ｂによって実行される。なお、ステップＳ８及びＳ９の処理は、ステップＳ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７Ａ、及びＳ７Ｂの処理と平行して行われる。

　処理装置１２０は、ステップＳ７Ｂで算出された端末ベクトルと、ステップＳ９で算出された視線ベクトルとに基づき、ポインタ１３０Ａの移動目標点Ｇの座標（位置）を求める（ステップＳ１０）。ステップＳ１０の処理は、位置算出部１２５によって実行される。

　処理装置１２０は、ステップＳ７Ａで算出される操作端末機１３０の移動速度と、ステップＳ１０で算出される移動目標点Ｇの座標とに基づいて、ポインタ１３０Ａの現在の位置を算出する（ステップＳ１１）。ステップＳ１１の処理は、位置算出部１２５によって実行される。

　なお、ステップＳ１１で算出されるポインタ１３０Ａの現在の位置を表す座標データは、制御周期を繰り返す度に得られる。制御周期を繰り返す度に得られるポインタ１３０Ａの現在の位置を表す座標データは、ポインタ履歴データとして処理装置１２０の内部メモリに保持しておけばよい。

　処理装置１２０は、ステップＳ１１で算出されたポインタ１３０Ａの現在の位置に基づき、投影装置１１０Ｂにポインタ１３０Ａをスクリーン１１０Ａに表示させる（ステップＳ１２）。これにより、物品１１１及び１１２の立体視の画像が表示されているスクリーン１１０Ａにポインタ１３０Ａが表示される。

　処理装置１２０は、物品１１１又は１１２とポインタ１３０Ａが接触したかどうかを判定する（ステップＳ１３）。ステップＳ１３の処理は、接触判定部１２８によって行われる。接触判定部１２８は、物品１１１及び１１２の物品データと、ステップＳ１１で得られたポインタ１３０Ａの座標データとに基づき、物品１１１又は１１２とポインタ１３０Ａとが接触したかどうかを判定する。

　物品１１１又は１１２とポインタ１３０Ａとが接触したかどうかは、物品１１１又は１１２の物品データが表す角、辺、又は面と、ポインタ１３０Ａの座標データが表す位置との交点があるかどうかで判定すればよい。

　また、物品１１１又は１１２とポインタ１３０Ａとが接触したかどうかは、ポインタ１３０Ａの座標データと、座標データに最も近い物品データに含まれる座標との位置の差が所定値以下であるかどうかで判定してもよい。例えば、座標データに最も近い物品データに含まれる位置と、座標データが表す位置との差が所定値以下になった場合に接触したと判定する方が、シミュレーションシステム１００における操作端末機１３０の操作性が良好である場合には、このような設定にすればよい。

　次に説明するステップＳ１４では、一例として、物品１１１とポインタ１３０Ａが接触したこととする。なお、物品１１２とポインタ１３０Ａが接触した場合でも、同様の処理が行われる。

　処理装置１２０は、物品１１１とポインタ１３０Ａが接触した（Ｓ１３：ＹＥＳ）と判定すると、ポインタ履歴データに基づき、ポインタ１３０Ａが物品１１１に接触した方向を算出する（ステップＳ１４）。

　ポインタ履歴データは、ステップＳ１１で得られる度に処理装置１２０の内部メモリに保持されている。

　接触した方向は、ポインタ履歴データに含まれる、接触の直前の座標が物品１１１に対して位置する方向に基づいて判定すればよい。なお、ステップＳ１４の処理は、接触判定部１２８によって行われる。

　処理装置１２０は、物品１１１とポインタ１３０Ａとが接触したときの交点の近傍領域内における物品１１１の部位を決定する（ステップＳ１５）。

　ここで、近傍領域とは、例えば、物品１１１が一辺１ｍの長さを有する立方体である場合には、交点から±１ｃｍの範囲の三次元領域を近傍領域とすればよい。

　また、部位の決定は、例えば、近傍領域内に、面、辺、又は角があるかどうかを判定し、角、辺、面の順に優先順位をつけて決定すればよい。すなわち、近傍領域内に、面、辺、及び角がある場合には、近傍領域内の部位は角であると決定すればよい。

　また、近傍領域内に、面と辺がある場合には、近傍領域内の部位は辺であると決定すればよい。また、近傍領域内に、面と角がある場合には、近傍領域内の部位は角であると決定すればよい。また、近傍領域内に、辺と角がある場合には、近傍領域内の部位は角であると決定すればよい。また、近傍領域内に、面、辺、又は角のいずれか１つがある場合には、存在する部位であると決定すればよい。

　処理装置１２０は、ポインタ１３０Ａが接触した物品１１１の物品ＩＤと、ステップＳ１５で決定した部位とを用いて、振動データ（図８参照）から、接触点の近傍の物品の材質を読み出す（ステップＳ１６）。

　例えば、物品ＩＤが001で、部位が角である場合は、Steel(鉄)であると判定する。なお、図８には、物品ＩＤが同一であれば、部位が異なっていても材質が等しい形態の振動データを示すが、部位によって材質が異なるように振動データが作成されていてもよい。

　処理装置１２０は、ポインタ１３０Ａが接触した物品１１１の物品ＩＤと、ステップＳ１５で決定した部位とを用いて、振動データから振動強度と振動時間を読み出す（ステップＳ１７）。

　処理装置１２０は、操作端末機１３０の振動素子１３３Ｒ又は１３３Ｌを駆動する駆動信号を生成し、通信部１２０Ａを介して、操作端末機１３０に送信する（ステップＳ１８）。この結果、操作端末機１３０の振動素子１３３Ｒ又は１３３Ｌが駆動される。

　駆動信号は、ステップＳ１４で算出された接触の方向と、ステップＳ１７で読み出した振動強度及び振動時間とに基づいて生成される。なお、ステップＳ１５～Ｓ１８の処理は、駆動制御部１２９が行う。

　以上で、一連の処理が終了する（エンド）。

　なお、ステップＳ１３で物品１１１又は１１２とポインタ１３０Ａが接触していない（Ｓ１３：ＮＯ）と判定した場合は、フローをステップＳ１、Ｓ３、及びＳ８にリターンする。

　図１５は、実施の形態１のシミュレーションシステム１００の利用シーンを示す図である。

　図１５に示すように、利用者は、マーカ１１０Ｃ１が取り付けられた３Ｄ眼鏡１１０Ｃを掛けて、手に持っている操作端末機１３０を移動させている。

　利用者が操作端末機１３０を実線で示す位置から破線で示す位置まで移動させると、ポインタ１３０Ａは、実線で示す位置から破線で示す位置まで移動する。利用者は、操作端末機１３０を曲線Ｌ１に沿ってさらに移動させるようとしている。利用者がこのように操作端末機１３０を移動させているときに、処理装置１２０は、曲線Ｌ１に沿った端末ベクトルを算出する。

　また、利用者の視線は、直線Ｌ２で表されるように、スクリーン１１０Ａに表示される物品１１１の頂点１１１αの方向を向いている。このように３Ｄ眼鏡１１０Ｃを掛けた利用者が頂点１１１αの方向を向いていると、処理装置１２０は、直線Ｌ２に沿った視線ベクトルを算出する。

　また、処理装置１２０は、端末履歴データに登録された２つの制御周期における操作端末機１３０の座標データ及び角度データを用いて、操作端末機１３０の移動速度と、端末ベクトルとを算出する。

　また、処理装置１２０は、端末ベクトルと視線ベクトルから移動目標点Ｇを算出する。移動目標点Ｇは、物品１１１の頂点１１１α又は頂点１１１αの近傍の座標を表す点として算出される。

　さらに、処理装置１２０は、操作端末機１３０の移動速度と、ポインタ１３０Ａの移動目標点Ｇの座標とに基づいて、ポインタ１３０Ａの現在の位置を算出する。ポインタ１３０Ａの現在の位置が算出されると、スクリーン１１０Ａにポインタ１３０Ａが表示される。

　従って、図１５に示すように、利用者が操作端末機１３０を移動させると、処理装置１２０が制御周期を繰り返し実行することにより、スクリーン１１０Ａに表示されるポインタ１３０Ａが移動する。

　そして、上述のように利用者が操作端末機１３０を操作しているときに、例えば、位置計測装置１４０から見てマーカ１３２が利用者の腕の陰になってマーカ１３２の画像を取得できない制御周期が生じたとする。

　このような場合でも、処理装置１２０は、端末履歴データ（図１１参照）を用いて操作端末機１３０の移動速度と、端末ベクトルとを算出し、さらに操作端末機１３０の移動速度と、ポインタ１３０Ａの移動目標点Ｇの座標とに基づいて、ポインタ１３０Ａの現在の位置を算出する。

　このため、マーカ１３２の画像を取得できない制御周期が生じても、上述のようにポインタ１３０Ａの現在の位置を算出することにより、常にスクリーン１１０Ａにポインタ１３０Ａを表示することができる。

　ここで、図１６を用いて、物品１１１にポインタ１３０Ａが接触した場合における振動素子１３３Ｒ又は１３３Ｌの駆動の仕方について説明する。

　図１６は、物品１１１にポインタ１３０Ａが接触した場合の触感の提供の仕方を示す図である。

　接触の方向が、ポインタ１３０Ａが物品１１１の右側から接近してポインタ１３０Ａの左側が物品１１１に接触したことを表す場合には、操作端末機１３０の左側に位置する振動素子１３３Ｌを駆動する。

　操作端末機１３０の振動素子１３３Ｌに振動を発生させて、ポインタ１３０Ａの左側が物品１１１に接触したことを利用者に触感で認識させるためである。

　また、接触の方向が、ポインタ１３０Ａが物品１１１の左側から接近してポインタ１３０Ａの右側が物品１１１に接触したことを表す場合には、操作端末機１３０の右側に位置する振動素子１３３Ｒを駆動する。

　操作端末機１３０の振動素子１３３Ｒに振動を発生させて、ポインタ１３０Ａの右側が物品１１１に接触したことを利用者に触感で認識させるためである。

　また、図１７乃至図２０を用いて、振動素子１３３Ｒ、１３３Ｌを駆動する駆動信号の振動強度及び振動時間について説明する。ここでは、特に断らない限り、物品１１１とポインタ１３０Ａとが接触する場合について説明する。物品１１１は、シミュレーションシステム１００でスクリーン１１０Ａに表示する物品の一例である。このため、物品１１１以外の物品にポインタ１３０Ａが接触する場合も同様である。

　図１７及び図１８は、ポインタ１３０Ａで触れる物品１１１の部位と、振動パターンとの関係を表す図である。

　図１７に示すように、物品１１１は、角１１１Ａ、辺１１１Ｂ、及び面１１１Ｃを有する。角１１１Ａ、辺１１１Ｂ、面１１１Ｃは、それぞれ、振動パターンのCorner(角)、Edge(辺)、及びSurface(面)に相当する。

　ポインタ１３０Ａが角１１１Ａに触れると、振動強度（振幅）を強く（大きく）する。ポインタ１３０Ａが辺１１１Ｂに触れると、振動強度（振幅）を中くらいにする。また、ポインタ１３０Ａが面１１１Ｃに触れると、振動強度（振幅）を弱く（小さく）する。なお、ここでは、振動を発生させる時間は、振動強度によらず一定である。

　このように、ポインタ１３０Ａが物品１１１の角１１１Ａ、辺１１１Ｂ、面１１１Ｃのうちのどの部位に触れるかによって振動強度を変える。また、角１１１Ａは、接触面積が小さく、実際に手で触れると尖った触感を受けるので、振動強度を最も強くしてある。これとは逆に、面１１１Ｃは、接触面積が大きく、実際に手で触れると滑らかな触感を受けるので、振動強度を最も弱くしてある。そして、辺１１１Ｂは、接触面積が角１１１Ａと面１１１Ｃの間くらい（中くらい）であるため、振動強度を中くらいにしてある。

　このように、例えば、接触する部位に応じて駆動信号の振動強度を変化させることにより、操作端末機１３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品１１１の部位に応じた触感を提供することができる。

　図１８では、振動強度の代わりに振動を発生させる時間を変化させる。

　ポインタ１３０Ａが角１１１Ａに触れると、振動時間を短くする。ポインタ１３０Ａが辺１１１Ｂに触れると、振動時間を中くらいにする。また、ポインタ１３０Ａが面１１１Ｃに触れると、振動時間を長くする。なお、ここでは、振動強度は、振動時間によらず一定である。

　このように、ポインタ１３０Ａが物品１１１の角１１１Ａ、辺１１１Ｂ、面１１１Ｃのうちのどの部位に触れるかによって振動時間を変える。また、角１１１Ａは、接触面積が小さく、実際に手で触れると尖った触感を受けるので、振動時間を最も短くしてある。これとは逆に、面１１１Ｃは、接触面積が大きく、実際に手で触れると滑らかな触感を受けるので、振動時間を最も長くしてある。そして、辺１１１Ｂは、接触面積が角１１１Ａと面１１１Ｃの間くらい（中くらい）であるため、振動時間を中くらいにしてある。

　このように、例えば、接触する部位に応じて駆動信号の振動時間を変化させることにより、操作端末機１３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品１１１の部位に応じた触感を提供することができる。

　図１９及び図２０は、ポインタ１３０Ａで触れる物品１１１の材質と、振動パターンとの関係を表す図である。

　図１９では、物品１１１及び１１２等のような物品の材質に応じて、振動強度を変化させる。

　物品のヤング率に応じて、硬い材質、柔らかい材質、中くらいの材質に予め分けて振動データを作成しておく。例えば、ヤング率が１０ＧＰａ以上の材質を硬い材質、１ＧＰａ～１０ＧＰａの材質を中程度の硬さの材質、１ＧＰａ以下の材質を柔らかい材質として定義しておくとする。

　ポインタ１３０Ａが触れる物品の材質が硬い場合は、振動強度（振幅）を強く（大きく）する。ポインタ１３０Ａが触れる物品の材質が中くらいの硬さである場合は、振動強度（振幅）を中くらいにする。また、ポインタ１３０Ａが触れる物品の材質が柔らかい場合は、振動強度（振幅）を弱く（小さく）する。なお、ここでは、振動を発生させる時間は、振動強度によらず一定である。

　このように、ポインタ１３０Ａが触れる物品の材質によって振動強度を変えれば、操作端末機１３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品の材質に応じた触感を提供することができる。

　図２０では、物品１１１及び１１２等のような物品の材質に応じて、振動時間を変化させる。

　図１９で説明したように、物品のヤング率に応じて、硬い材質、柔らかい材質、中くらいの材質に予め分けて振動データを作成しておく。例えば、ヤング率が１０ＧＰａ以上の材質を硬い材質、１ＧＰａ～１０ＧＰａの材質を中程度の硬さの材質、１ＧＰａ以下の材質を柔らかい材質として定義しておくとする。

　ポインタ１３０Ａが触れる物品の材質が硬い場合は、振動時間を短くする。ポインタ１３０Ａが触れる物品の材質が中くらいの硬さである場合は、振動時間を中くらいにする。また、ポインタ１３０Ａが触れる物品の材質が柔らかい場合は、振動時間を長くする。なお、ここでは、振動強度は、振動時間によらず一定である。

　このように、ポインタ１３０Ａが触れる物品の材質によって振動時間を変えれば、操作端末機１３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品の材質に応じた触感を提供することができる。

　なお、図１７で説明したように部位に応じて振動強度を変化させることと、図２０で説明したように材質に応じて振動時間を変化させることとを組み合わせてもよい。このようにすれば、物品の部位と材質とに応じて、振動パターンを変化させることができる。

　また、図１８で説明したように部位に応じて振動時間を変化させることと、図１９で説明したように材質に応じて振動強度を変化させることとを組み合わせてもよい。このようにすれば、物品の部位と材質とに応じて、振動パターンを変化させることができる。

　以上のように、実施の形態１のシミュレーションシステム１００によれば、操作端末機１３０で操作するポインタ１３０Ａが、スクリーン１１０Ａに投影される画像の中で、物品１１１又は１１２のような物品と接触した場合に、接触した物品の部位又は材質に応じて振動素子１３３Ｒ又は１３３Ｌを振動させる振動パターンを変える。

　このため、物品の部位又は材質に応じた触感を利用者に提供することができる。利用者は、触感だけで部位又は材質の違いを認識することができる。なお、この場合に、利用者が手で振動素子１３３Ｒ又は１３３Ｌに触れていることが望ましいが、振動素子１３３Ｒ又は１３３Ｌに触れていなくても、筐体部１３１Ｒ又は１３１Ｌが部位又は材質に応じた振動パターンで振動するため、触感だけで部位又は材質の違いを認識することができる。

　また、実施の形態１のシミュレーションシステム１００によれば、操作端末機１３０で操作するポインタ１３０Ａが、物品に接触する方向に応じて、振動素子１３３Ｒ又は１３３Ｌのいずれかを振動させる。

　このため、利用者は、触感だけでポインタ１３０Ａが物品に触れた方向を認識することができる。

　以上のように、実施の形態１のシミュレーションシステム１００によれば、利用者が操作端末機１３０を操作しているときに、処理装置１２０がマーカ１３２の位置及び姿勢を検出できない制御周期が生じても、端末履歴データを用いてポインタ１３０Ａの現在の位置を算出することができる。処理装置１２０がマーカ１３２の位置及び姿勢を検出できないときとは、例えば、位置計測装置１４０から見てマーカ１３２が利用者の腕の陰になってマーカ１３２の画像を取得できないような状況である。

　このようなときでも、処理装置１２０は、端末履歴データ（図１１参照）を用いて操作端末機１３０の移動速度と、端末ベクトルとを算出し、さらに操作端末機１３０の移動速度と、ポインタ１３０Ａの移動目標点Ｇの座標とに基づいて、ポインタ１３０Ａの現在の位置を算出する。

　従って、実施の形態１によれば、制御性を改善したシミュレーションシステム１００を提供することができる。

　また、実施の形態１のシミュレーションシステム１００によれば、物品の部位又は材質に応じた触感を利用者に提供することができるとともに、物品に触れた方向に応じた触感を利用者に提供することができる。このような触感は、現実空間において手で物品を触っている触感を模擬的に表しており、リアリティに富んでいる。

　従って、実施の形態１によれば、リアリティのある触感を提供できるシミュレーションシステム１００を提供することができる。

　なお、以上では、マーカ１３２及び１１０Ｃ１と位置計測装置１４０（赤外線カメラ１４０Ａ、１４０Ｂ、及び１４０Ｃ）とを用いて操作端末機１３０及び利用者の視線の位置と姿勢を検出する形態について説明した。

　しかしながら、マーカ１３２が不要な赤外線深度センサ、磁気センサ、ステレオカメラ、加速度センサ、又は、角速度センサのうち、少なくとも１つ以上を用いて操作端末機１３０及び利用者の視線の位置と姿勢を検出してもよい。

　また、超音波帯の固有振動を発生させる駆動制御信号を用いて、振動素子１３３Ｒ及び１３３Ｌを駆動してもよい。この場合には、筐体部１３１Ｒ及び１３１Ｌの外表面に超音波帯の固有振動が発生する。

　超音波帯とは、例えば、約２０ｋＨｚ以上の周波数帯であり、人間が聴き取ることのできる可聴域よりも高い周波数をいう。筐体部１３１Ｒ及び１３１Ｌの外表面に超音波帯の固有振動が発生させると、スクイーズ効果によって凹凸感等のある触感を提供することができる。

　また、以上では、振動素子１３３Ｒ及び１３３Ｌとを有する操作端末機１３０を用いる形態について説明したが、操作端末機１３０は、１つの振動素子を有し、右側又は左側の接触を区別せずに振動するものであってもよい。この場合に、操作端末機１３０は、遮断部１３１Ａを有しなくてよい。

　また、以上では、操作端末機１３０が振動素子１３３Ｒ及び１３３Ｌとを有する形態について説明したが、操作端末機１３０は振動素子１３３Ｒ及び１３３Ｌを有していなくてもよい。この場合に、処理装置１２０は、ポインタ１３０Ａと物品１１１又は１１２の接触を判定するまでの処理（ステップＳ１からＳ１３までの処理）を行う構成であってよい。

　また、以上では、振動データは、一例として、物品ＩＤ、物品名称、材質、部位名称、振動強度、及び振動時間を有する形態について説明した。しかしながら、振動の種類は、物品ＩＤ、物品名称、材質、部位名称によらずに１種類の振動強度、及び／又は、１種類の振動時間で規定されるものであってもよい。すなわち、処理装置１２０によって振動素子１３３Ｒ及び１３３Ｌが振動される振動パターンは１種類であってもよい。

　また、以上では、処理装置１２０は、端末ベクトルと視線ベクトルとが交差する点、又は、交差しない端末ベクトルと視線ベクトルとが最も接近する点同士の中点として、移動目標点Ｇを求める形態について説明した。

　しかしながら、処理装置１２０は、交差しない端末ベクトルと視線ベクトルについて、移動目標点Ｇを最近点Ｓ又は最近点Ｔのいずれ一方にしてもよいし、最近点Ｓと最近点Ｔとの間にある点（中間点）にしてもよい。

　また、以上では、３Ｄ眼鏡１１０Ｃに取り付けたマーカ１１０Ｃ１の画像から視線ベクトルを求める形態について説明した。しかしながら、マーカ１１０Ｃ１の画像からスクリーン１１０Ａの座標系におけるマーカ１１０Ｃ１の位置及び姿勢を求め、マーカ１１０Ｃ１の位置及び姿勢の端末履歴データを作成し、端末履歴データから視線ベクトルを求めてもよい。

　また、以上では、３Ｄ眼鏡１１０Ｃにマーカ１１０Ｃ１を取り付ける形態について説明したが、３Ｄ眼鏡１１０Ｃの代わりに、３Ｄ対応ではない通常の眼鏡にマーカ１１０Ｃ１を取り付けて利用者が装着するようにしてもよい。

　また、以上では、位置計測装置１４０が３つの赤外線カメラ１４０Ａ、１４０Ｂ、１４０Ｃを有する形態について説明した。位置計測装置１４０は、３台以上の赤外線カメラを有することが好ましいが、赤外線カメラは、２台以上あればよい。

　ここで、図２１乃至図２７を用いて、実施の形態１の第１変形例乃至第４変形例について説明する。

　図２１は、実施の形態１の第１変形例の操作端末機１３０Ｂを示す図である。

　操作端末機１３０Ｂは、図５に示す操作端末機１３０の筐体１３１を４分割にして、４つの振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２を含むようにしたものである。その他の構成は、図５に示す操作端末機１３０と同様であるので、同様の構成要素には同一符号を付し、その説明を省略する。

　操作端末機１３０Ｂは、筐体１３１Ｂ、マーカ１３２、振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２、ボタン１３４、及びガイドバー１３５を有する。

　筐体１３１Ｂは、筐体部１３１Ｒ１、１３１Ｒ２、１３１Ｌ１、１３１Ｌ２と、遮断部１３１ＢＡとを有する。筐体部１３１Ｒ１、１３１Ｒ２、１３１Ｌ１、１３１Ｌ２には、それぞれ、振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２が配設されている。

　また、遮断部１３１ＢＡは、４つの筐体部１３１Ｒ１、１３１Ｒ２、１３１Ｌ１、１３１Ｌ２の間を分断するように平面視で十字型の壁状部材であり、筐体部１３１Ｒ１、１３１Ｒ２、１３１Ｌ１、１３１Ｌ２は、お互いの振動が伝達されないように遮断部１３１ＢＡによって固定されている。

　すなわち、筐体部１３１Ｒ１、１３１Ｒ２、１３１Ｌ１、１３１Ｌ２は、互いに分断されており、互いの間は遮断部１３１ＢＡによって接続されている。

　筐体部１３１Ｒ１、１３１Ｒ２、１３１Ｌ１、１３１Ｌ２は、図５に示す筐体部１３１Ｒ及び１３１Ｌのサイズを半分にした部材であり、例えば、樹脂製である。遮断部１３１ＢＡは、例えば、防振構造を有するゴム部材であり、減衰比の高い防振ゴムを用いることができる。

　振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２は、駆動制御部１２９によって生成される駆動信号が表す物品１１１又は１１２の触感に応じた振動パターンによって駆動される。

　振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２は、図５に示す振動素子１３３Ｒ及び１３３Ｌと同様に、例えば、ピエゾ素子又はＬＲＡのような圧電素子を含むものであればよい。振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２をそれぞれ駆動すると、筐体部１３１Ｒ１、１３１Ｒ２、１３１Ｌ１、１３１Ｌ２の表面に振動が発生する。

　このような操作端末機１３０Ｂを用いれば、ポインタ１３０Ａが物品に接触した際の部位及び材質に応じて、さらに多い種類の触感を提供することができる。

　また、ポインタ１３０Ａが物品に接触したときに、左右方向に加えて、前後方向の触感を提供することができる。

　例えば、ポインタ１３０Ａが物品１１１の右側から接近してポインタ１３０Ａの左前側が物品１１１に接触した場合には、操作端末機１３０の左前側に位置する振動素子１３３Ｌ１を駆動すればよい。

　また、ポインタ１３０Ａの左後側が物品１１１に接触した場合には、操作端末機１３０の左後側に位置する振動素子１３３Ｌ２を駆動すればよい。

　また、ポインタ１３０Ａが物品１１１の左側から接近してポインタ１３０Ａの右前側が物品１１１に接触した場合には、操作端末機１３０の右前側に位置する振動素子１３３Ｒ１を駆動すればよい。

　また、ポインタ１３０Ａの右後側が物品１１１に接触した場合には、操作端末機１３０の右後側に位置する振動素子１３３Ｒ２を駆動すればよい。

　図２２は、実施の形態１の第２変形例の操作端末機１３０Ｃを示す図である。

　操作端末機１３０Ｃは、図２１に示す操作端末機１３０Ｂを円筒型にしたものである。その他の構成は、図２１に示す操作端末機１３０Ｂと同様であるので、同様の構成要素には同一符号を付し、その説明を省略する。

　操作端末機１３０Ｃは、筐体１３１Ｃ、マーカ１３２、振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２、ボタン１３４、及びガイドバー１３５Ｃを有する。

　筐体１３１Ｃは、筐体部１３１ＣＲ１、１３１ＣＲ２、１３１ＣＬ１、１３１ＣＬ２と、遮断部１３１ＣＡとを有する。筐体部１３１ＣＲ１、１３１ＣＲ２、１３１ＣＬ１、１３１ＣＬ２は、円柱状の部材を前後（筐体部１３１ＣＲ１及び１３１ＣＬ１と、筐体部１３１ＣＲ２及び１３１ＣＬ２）に分け、さらに左右に分断したものである。

　筐体部１３１ＣＲ１、１３１ＣＲ２、１３１ＣＬ１、１３１ＣＬ２には、それぞれ、振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２が埋め込まれている。

　また、遮断部１３１ＣＡは、４つの筐体部１３１ＣＲ１、１３１ＣＲ２、１３１ＣＬ１、１３１ＣＬ２の間を分断するように平面視で十字型の壁状部材であり、筐体部１３１ＣＲ１、１３１ＣＲ２、１３１ＣＬ１、１３１ＣＬ２は、お互いの振動が伝達されないように遮断部１３１ＣＡによって固定されている。

　すなわち、筐体部１３１ＣＲ１、１３１ＣＲ２、１３１ＣＬ１、１３１ＣＬ２は、互いに分断されており、互いの間は遮断部１３１ＣＡによって接続されている。遮断部１３１ＣＡは、例えば、防振構造を有するゴム部材であり、減衰比の高い防振ゴムを用いることができる。

　このような操作端末機１３０Ｃを用いれば、ポインタ１３０Ａが物品に接触した際の部位及び材質に応じて、さらに多い種類の触感を提供することができる。

　円柱状の筐体１３１Ｃのサイズは、ペン、ドライバ、又はその他の様々な部材のサイズに設定することができる。

　なお、振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２の駆動方法は、図２１に示す操作端末機１３０Ｂと同様である。

　図２３乃至図２５は、実施の形態１の第３変形例の操作端末機１３０Ｄを示す図である。

　操作端末機１３０Ｄは、図２２に示す操作端末機１３０Ｃを指に装着できるような形状にしたものである。その他の構成は、図２２に示す操作端末機１３０Ｃと同様であるので、同様の構成要素には同一符号を付し、その説明を省略する。

　図２３は、平面図であり、図２４は、図２３のＡ－Ａ矢視断面図であり、図２５は、左後方から見た斜視図である。なお、図２３及び図２４では、マーカ１３２を省略する。

　操作端末機１３０Ｄは、筐体１３１Ｄ、マーカ１３２、振動素子１３３Ｄ１、１３３Ｄ２、１３３Ｄ３、１３３Ｄ４、１３３Ｄ５、及びボタン１３４を有する。なお、操作端末機１３０Ｄは、指を差し込んで装着する形態であり、ガイドバー１３５Ｃを含まない点において操作端末機１３０Ｃと異なる。

　筐体１３１Ｄは、筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４、１３１Ｄ５と、遮断部１３１ＤＡとを有する。筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４は、内部に指を挿入できる穴部を有する円筒状の部材を周方向に４分割し、さらに指を挿入する方向における奥側（操作端末機１３０Ｄの前側）の円板状の部分を筐体部１３１Ｄ５として分断したものである。

　筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４、１３１Ｄ５は、互いに分割されている。

　筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４、１３１Ｄ５の外表面には、それぞれ、振動素子１３３Ｄ１、１３３Ｄ２、１３３Ｄ３、１３３Ｄ４、１３３Ｄ５が配設されている。

　また、遮断部１３１ＤＡは、遮断部片１３１ＤＡ１、１３１ＤＡ２、１３１ＤＡ３、１３１ＤＡ４、１３１ＤＡ５を有する。

　遮断部片１３１ＤＡ１、１３１ＤＡ２、１３１ＤＡ３、１３１ＤＡ４は、筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４の間に配設される。遮断部片１３１ＤＡ１、１３１ＤＡ２、１３１ＤＡ３、１３１ＤＡ４と、筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４とは、指を挿入可能な孔部を有する円筒体を構築する。

　筐体部１３１Ｄ１は、遮断部片１３１ＤＡ５を介して、円筒体の前方を塞ぐように取り付けられている。

　４つの筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４の間を分断するように平面視で十字型の壁状部材であり、筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４は、お互いの振動が伝達されないように遮断部１３１ＤＡによって固定されている。

　遮断部片１３１ＤＡ１、１３１ＤＡ２、１３１ＤＡ３、１３１ＤＡ４、１３１ＤＡ５は、例えば、防振構造を有するゴム部材であり、減衰比の高い防振ゴムを用いることができる。

　このような操作端末機１３０Ｄを指に装着すれば、ポインタ１３０Ａが物品に接触した際の部位及び材質に応じて、左右、上下、及び前方から触感を提供することができる。

　図２６は、第３変形例による操作端末機１３０Ｄの電気系の構成を示す図である。操作端末機１３０Ｄは、指に装着するため小型である。このため、電気系は、筐体１３１Ｄ側と、制御部１３０Ｅ側とに分かれている。なお、図７に示す操作端末機１３０の電気系と同様の構成要素には同一符号を付し、その説明を省略する。

　筐体１３１Ｄには、振動素子１３３Ｄ１～１３３Ｄ５と、ボタン１３４とが配設されている。また、制御部１３０Ｅには、通信部１３６、ボタン判定部１３７、及び信号生成部１３８が設けられている。

　ボタン１３４とボタン判定部１３７はケーブル１３１Ｅ１で接続されており、信号生成部１３８と振動素子１３３Ｄ１～１３３Ｄ５は、５本のケーブル１３１Ｅ２で接続されている。なお、説明の便宜上、図２６にはケーブル１３１Ｅ２を１本示す。

　操作端末機１３０Ｄは、指に装着するため小型であるため、筐体１３１Ｄ側にすべての電気系を収納するのが困難な場合は、電気系を筐体１３１Ｄ側と、制御部１３０Ｅ側とに分ければよい。

　また、上述した操作端末機１３０、１３０Ｂ、１３０Ｃ、１３０Ｄにおいても、一部の電気系を筐体とは別に外部に配置してもよい。

　図２７は、実施の形態１の第４変形例のヘルメット１１０Ｄを示す図である。実施の形態１では、図１に示すように３Ｄ眼鏡１１０Ｃにマーカ１１０Ｃ１を取り付ける形態について説明したが、マーカ１１０Ｃ１をヘルメット１１０Ｄに取り付けてもよい。利用者は、３Ｄ眼鏡１１０Ｃを装着する代わりに、ヘルメット１１０Ｄを被ればよい。なお、ヘルメット１１０Ｄを被った状態で、３Ｄ眼鏡を掛けてもよいし、掛けなくてもよい。一例として、ヘルメット１１０Ｄの頂部にマーカ１１０Ｃ１を取り付ければ、マーカ１１０Ｃ１の画像を確実に得ることができる。

　＜実施の形態２＞
　図２８は、実施の形態２の操作端末機２３０を示す斜視図である。

　操作端末機２３０は、筐体２３１、マーカ１３２、振動素子２３３、ボタン１３４、及びガイドバー１３５を有する。ここでは、実施の形態１の操作端末機１３０と同様の構成要素には同一符号を付し、その説明を省略する。

　操作端末機２３０は、主に、振動素子２３３と筐体２３１の構成が実施の形態１の操作端末機１３０と異なる。

　筐体２３１は、上面に振動素子２３３とボタン１３４が配設される箱形の筐体である。筐体２３１は、例えば、樹脂製であり、利用者が手に持つのにちょうど良いサイズを有する。筐体２３１の前側にはマーカ１３２とガイドバー１３５が取り付けられている。

　振動素子２３３は、図２８の右側に拡大して平面構成を示すように、５行×５列のマトリクス状に配置される２５個のアクチュエータ２３３Ａを有する。アクチュエータ２３３Ａは、例えば、ピエゾ素子又はＬＲＡのような圧電素子を含むものであればよい。２５個のアクチュエータ２３３Ａは、別々に駆動できるようになっている。

　２５個のアクチュエータ２３３Ａは、遮断部２３３Ｂによって区画されており、互いの振動が伝わらないようになっている。遮断部２３３Ｂは、例えば、防振構造を有するゴム部材であり、減衰比の高い防振ゴムを用いることができる。

　このような操作端末機２３０は、実施の形態１の操作端末機１３０と同様に、ポインタ１３０Ａを操作するために用いられる。

　図２９は、実施の形態２の振動データを示す図である。

　振動データは、振動データは、物品ＩＤ、物品名称、材質、部位名称、振動強度、及び振動時間を有する。物品ＩＤ、物品名称、材質、部位名称、及び振動時間については、図８に示す実施の形態２の振動データと同様である。

　振動強度は、２５個のアクチュエータ２３３Ａを別々に駆動する駆動信号の振幅(Vpp)を表す。振幅は、ピーク・トゥ・ピークの電圧値で示してある。振動強度は、一例として、Corner(角)が最も強く、Edge(辺)は中間的な強度であり、Surface(面)は最も弱い値に設定されている。

　また、２５個のアクチュエータ２３３Ａを別々に駆動するために、駆動信号は、５行×５列の行列式で表される。

　例えば、物品ＩＤが001で、物品名称がPlateで、材質がSteel(鉄)で、部位名称がCorner(角)の場合には、５行×５列の２５個のアクチュエータ２３３Ａのうちの中央に位置する１つのアクチュエータ２３３Ａを振動強度１０で駆動し、振動時間は２０ｍｓに設定されている。

　また、部位名称がEdge(辺)の場合には、２５個のアクチュエータ２３３Ａのうちの中央部の３行×３列の９個のアクチュエータ２３３Ａを振動強度７で駆動し、振動時間は２０ｍｓに設定されている。

　また、部位名称がEdge(辺)の場合には、２５個のアクチュエータ２３３Ａのすべてを振動強度３で駆動し、振動時間は２０ｍｓに設定されている。

　このようにして、Corner(角)、Edge(辺)、Surface(面)の触感をアクチュエータ２３３Ａの数と、振動強度１０とで再現している。

　以上のような振動データは、現実世界で物品の表面を手で触った場合の触感を２５個のアクチュエータ２３３Ａの振動によって再現するために、部位に応じて振動強度と振動時間が設定されている。

　図３０は、実施の形態２の処理装置１２０が実行する処理を示すフローチャートである。ここでは、一例として、図１に示すように、スクリーン１１０Ａに物品１１１及び１１２の画像を表示させる場合について説明する。

　ステップＳ１～Ｓ１３の処理は、それぞれ、図１４に示すステップＳ１～Ｓ１３と同様である。

　実施の形態２の操作端末機２３０は、ポインタ１３０Ａと物品との接触した方向を触感で提供することを行わないため、図３０に示すフローチャートは、図１４に示すステップＳ１４に対応するステップを含まない。

　このため、ステップＳ１３が終了すると、ステップＳ２４～Ｓ２７の処理が実行される。ステップＳ２４～Ｓ２７の処理は、それぞれ、図１４に示すステップＳ１５～Ｓ１８と同様である。主な違いは以下の通りである。

　ステップＳ２６では、処理装置１２０は、ポインタ１３０Ａが接触した物品１１１の物品ＩＤと、ステップＳ２４で判定した部位とを用いて、振動データ（図２９参照）から振動強度と振動時間を読み出す。ここでは、２５個のアクチュエータ２３３Ａの駆動信号を読み出すことになる。

　ステップＳ２７では、処理装置１２０は、２５個のアクチュエータ２３３Ａの駆動信号を生成し、通信部１２０Ａを介して、操作端末機２３０に送信する。この結果、操作端末機２３０のアクチュエータ２３３Ａが駆動される。

　以上のような処理により、物品の部位又は材質に応じて、２５個のアクチュエータ２３３Ａの振動強度と振動時間が決定され、操作端末機２３０を介して利用者に物品の部位又は材質に応じた触感が提供される。

　また、図３１及び図３２を用いて、アクチュエータ２３３Ａを駆動する駆動信号の振動強度及び振動時間について説明する。ここでは、特に断らない限り、物品１１１とポインタ１３０Ａとが接触する場合について説明する。物品１１１は、シミュレーションシステム１００でスクリーン１１０Ａに表示する物品の一例である。このため、物品１１１以外の物品にポインタ１３０Ａが接触する場合も同様である。

　図３１は、ポインタ１３０Ａで触れる物品１１１の部位と、振動パターンとの関係を表す図である。

　図３１の右側では、２５個のアクチュエータ２３３Ａのうち、駆動されるアクチュエータ２３３Ａをグレーで示す。また、振動強度が大きいほど、濃いグレーで示す。ここでは、３段階の濃さのグレーで、振動強度の大、中、小を表す。なお、駆動されないアクチュエータ２３３Ａを白で示す。

　ポインタ１３０Ａが角１１１Ａに触れると、２５個のアクチュエータ２３３Ａのうちの中央に位置する１つのアクチュエータ２３３Ａを駆動し、振動強度（振幅）を大（強）にする。

　ポインタ１３０Ａが辺１１１Ｂに触れると、２５個のアクチュエータ２３３Ａのうちの中央側に位置する９つのアクチュエータ２３３Ａを駆動し、振動強度（振幅）を中くらいにする。

　また、２５個のアクチュエータ２３３Ａのすべてを駆動し、ポインタ１３０Ａが面１１１Ｃに触れると、振動強度（振幅）を弱く（小さく）する。

　このように、ポインタ１３０Ａが物品１１１の角１１１Ａ、辺１１１Ｂ、面１１１Ｃのうちのどの部位に触れるかによって駆動するアクチュエータ２３３Ａの数と振動強度を変える。

　このように、一例として、接触する部位に応じて駆動するアクチュエータ２３３Ａの数と振動強度を変化させることにより、操作端末機２３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品１１１の部位に応じた触感を提供することができる。

　図３２は、ポインタ１３０Ａで触れる物品１１１の材質と、振動パターンとの関係を表す図である。

　図３２では、物品１１１及び１１２等のような物品の材質に応じて、振動時間を変化させる。

　実施の形態１で説明したように、物品のヤング率に応じて、硬い材質、柔らかい材質、中くらいの材質に予め分けて振動データを作成しておく。例えば、ヤング率が１０ＧＰａ以上の材質を硬い材質、１ＧＰａ～１０ＧＰａの材質を中程度の硬さの材質、１ＧＰａ以下の材質を柔らかい材質として定義しておくとする。

　ポインタ１３０Ａが触れる物品の材質が硬い場合は、アクチュエータ２３３Ａの振動時間を短くする。また、このとき、２５個のアクチュエータ２３３Ａのうちの中央に位置する１つのアクチュエータ２３３Ａを駆動してもよい。

　ポインタ１３０Ａが触れる物品の材質が中くらいの硬さである場合は、アクチュエータ２３３Ａの振動時間を中くらいにする。また、このとき、２５個のアクチュエータ２３３Ａのうちの中央側に位置する９つのアクチュエータ２３３Ａを駆動してもよい。

　また、ポインタ１３０Ａが触れる物品の材質が柔らかい場合は、アクチュエータ２３３Ａの振動時間を長くする。このときは、２５個のアクチュエータ２３３Ａのすべてを駆動すればよい。

　このように、ポインタ１３０Ａが触れる物品の材質によって振動時間を変えれば、操作端末機２３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品の材質に応じた触感を提供することができる。

　なお、図３１で説明したように部位に応じて振動強度を変化させることと、図３２で説明したように材質に応じて振動時間を変化させることとを組み合わせてもよい。このようにすれば、物品の部位と材質とに応じて、振動パターンを変化させることができる。

　以上のように、実施の形態２のシミュレーションシステムによれば、利用者が操作端末機１３０を操作しているときに、処理装置１２０がマーカ１３２の位置及び姿勢を検出できない制御周期が生じても、端末履歴データを用いてポインタ１３０Ａの現在の位置を算出することができる。

　従って、実施の形態２によれば、制御性を改善したシミュレーションシステムを提供することができる。

　また、実施の形態２のシミュレーションシステムによれば、操作端末機２３０で操作するポインタ１３０Ａが、スクリーン１１０Ａに投影される画像の中で、物品１１１又は１１２のような物品と接触した場合に、接触した物品の部位又は材質に応じてアクチュエータ２３３Ａを振動させる振動パターンを変える。

　このため、物品の部位又は材質に応じた触感を利用者に提供することができる。利用者は、触感だけで部位又は材質の違いを認識することができる。

　以上のように、実施の形態２のシミュレーションシステムによれば、物品の部位又は材質に応じた触感を利用者に提供することができる。このような触感は、現実空間において手で物品を触っている触感を模擬的に表しており、リアリティに富んでいる。

　従って、実施の形態２によれば、リアリティのある触感を提供できるシミュレーションシステムを提供することができる。

　ここで、図３３乃至図３８を用いて、実施の形態２の変形例について説明する。

　図３３乃至図３８は、実施の形態２の変形例を示す図である。

　図３３に示す操作端末機２３０Ａは、図２８に示す操作端末機２３０の振動素子２３３を振動素子２３３Ｃに変更したものである。振動素子２３３Ｃは、３行×３列でマトリクス状に配置される９個のアクチュエータである。各アクチュエータは、図２８に示すアクチュエータ２３３Ａと同様である。

　振動素子２３３Ｃは、遮断部２３３Ｂを含まない点が図２８に示す操作端末機２３０の振動素子２３３と異なる。

　このような操作端末機２３０Ａを図２８に示す操作端末機２３０の代わりに用いてもよい。

　図３４に示す操作端末機２３０Ｂは、図２８に示す操作端末機２３０の振動素子２３３を吸引素子２５０に変更したものである。吸引素子２５０は、５行×５列でマトリクス状に配置される２５個の吸引口２５０Ａを有する。吸引口２５０Ａの奥側には、吸引を行うバキューム装置のような吸引機構が接続されている。

　吸引口２５０Ａは、互いに離間して配置されており、吸引機構も互いに独立している。吸引を行う吸引口２５０Ａの数を図２８に示すアクチュエータ２３３Ａを駆動する数と同様に制御すればよい。また、吸引の強さを図２８に示すアクチュエータ２３３Ａを駆動する振動強度と同様に制御すればよい。

　このような操作端末機２３０Ｂを図２８に示す操作端末機２３０の代わりに用いてもよい。

　図３５に示す操作端末機２３０Ｃは、図２８に示す操作端末機２３０の振動素子２３３を可動素子２６０に変更したものである。可動素子２６０は、４行×４列でマトリクス状に配置される１６個の可動ピン２６０Ａを有する。可動ピン２６０Ａの裏側には、可動ピン２６０Ａを上下に移動させるアクチュエータが配置されている。

　可動ピン２６０Ａは、互いに離間して配置されており、アクチュエータも互いに独立している。駆動する可動ピン２６０Ａの数を図２８に示すアクチュエータ２３３Ａを駆動する数と同様に制御すればよい。また、可動ピン２６０Ａを駆動する強さ又は高さを図２８に示すアクチュエータ２３３Ａを駆動する振動強度と同様に制御すればよい。

　このような操作端末機２３０Ｃを図２８に示す操作端末機２３０の代わりに用いてもよい。

　図３６乃至図３８に示す操作端末機２３０Ｄは、図２３乃至図２５に示す操作端末機１３Ｄと同様に指に装着できるようにしたものである。

　図３６は、平面図であり、図３７は、図３６のＢ－Ｂ矢視断面図であり、図３８は、左後方から見た斜視図である。なお、図３６及び図３７では、マーカ１３２を省略する。

　操作端末機２３０Ｄは、筐体２３１Ｄ、マーカ１３２、振動素子２３３Ｄ、及びボタン１３４を有する。

　筐体２３１Ｄは、内部に指を挿入できる穴部を有する円筒状の部材であり、指を挿入する方向における奥側は封止されている。

　振動素子２３３Ｄは、筐体２３１Ｄの内部で、指先のひらの部分に当接するように配置されている。振動素子２３３Ｄの駆動方法は、図２８に示す振動素子２３３と同様である。

　このような操作端末機２３０Ｄを指に装着すれば、ポインタ１３０Ａが物品に接触した際の部位及び材質に応じて、触感を提供することができる。

　＜実施の形態３＞
　図３９は、実施の形態３のシミュレーションシステムの利用シーンを示す図である。

　実施の形態３のシミュレーションシステムは、実施の形態１のシミュレーションシステム１００の処理装置１２０の代わりに、処理装置１２０の制御処理の一部を変更した処理装置３２０を含むものである。このため、図３９には、処理装置３２０を示す。

　図３９に示すように、利用者は、マーカ１１０Ｃ１が取り付けられた３Ｄ眼鏡１１０Ｃを掛けて、手に持っている操作端末機１３０を移動させている。

　処理装置３２０は、ポインタ１３０Ａの移動目標点Ｇと物品とが接触する場合に、操作端末機１３０が移動目標点Ｇに到着するまでの所要時間Ｔ_Ｇが所定の時間Ｔα以下になると、操作端末機１３０の振動素子１３３Ｒ又は１３３Ｌを駆動する駆動信号を生成し、操作端末機１３０に送信する。

　所定の時間Ｔαは、処理装置３２０が駆動信号を操作端末機１３０に送信してから、振動素子１３３Ｒ又は１３３Ｌが駆動されるまでの所要時間に設定されている。

　すなわち、実施の形態３では、所要時間Ｔ_Ｇの経過後にポインタ１３０Ａと物品との接触が予想される場合に、予め操作端末機１３０に送信する。

　このような処理を行うため、処理装置３２０の制御処理は、実施の形態１の処理装置１２０とは以下のように異なる。

　図４０は、処理装置３２０が実行する処理を示すフローチャートである。ここでは、一例として、図１に示すように、スクリーン１１０Ａに物品１１１及び１１２の画像を表示させる場合について説明する。

　処理装置３２０は、電源投入後に処理を開始する（スタート）。

　ステップＳ１からステップＳ９までの処理は、実施の形態１の処理装置１２０が実行するステップＳ１からステップＳ９までの処理と同様であるため、ここでは説明を省略し、ステップＳ１０から説明する。

　処理装置３２０は、ステップＳ７Ｂで算出された端末ベクトルと、ステップＳ９で算出された視線ベクトルとに基づき、ポインタ１３０Ａの移動目標点Ｇの座標（位置）を求める（ステップＳ１０）。ステップＳ１０の処理は、実施の形態１の処理装置１２０が実行するステップＳ１０と同様であるが、移動目標点Ｇの座標は、続くステップＳ１１に加えて、後述するステップＳ３３においても用いられる。

　処理装置３２０は、ステップＳ７Ａで算出される操作端末機１３０の移動速度と、ステップＳ１０で算出される移動目標点Ｇの座標とに基づいて、ポインタ１３０Ａの現在の位置を算出する（ステップＳ１１）。ステップＳ１１の処理は、位置算出部１２５によって実行される。

　処理装置３２０は、ステップＳ１１で算出されたポインタ１３０Ａの現在の位置に基づき、投影装置１１０Ｂにポインタ１３０Ａをスクリーン１１０Ａに表示させる（ステップＳ１２）。これにより、物品１１１及び１１２の立体視の画像が表示されているスクリーン１１０Ａにポインタ１３０Ａが表示される。

　処理装置３２０は、物品１１１又は１１２と、ステップＳ１０で求めた移動目標点Ｇとが接触したかどうかを判定する（ステップＳ３３）。処理装置３２０は、物品１１１及び１１２の物品データと、ステップＳ１０で求めた移動目標点Ｇの座標データとに基づき、物品１１１又は１１２と移動目標点Ｇとが接触したかどうかを判定する。

　物品１１１又は１１２と移動目標点Ｇとが接触したかどうかは、物品１１１又は１１２の物品データが表す角、辺、又は面と、移動目標点Ｇの座標データが表す位置との交点があるかどうかで判定すればよい。

　また、物品１１１又は１１２と移動目標点Ｇとが接触したかどうかは、移動目標点Ｇの座標データと、座標データに最も近い物品データに含まれる座標との位置の差が所定値以下であるかどうかで判定してもよい。例えば、座標データに最も近い物品データに含まれる位置と、座標データが表す位置との差が所定値以下になった場合に接触したと判定する方が、シミュレーションシステム１００における操作端末機１３０の操作性が良好である場合には、このような設定にすればよい。

　処理装置３２０は、物品１１１と移動目標点Ｇが接触した（Ｓ３３：ＹＥＳ）と判定すると、所要時間Ｔ_Ｇを算出する（ステップＳ３４）。所要時間Ｔ_Ｇは、実施の形態１で説明したように、式（１１）を用いて算出すればよい。

　処理装置３２０は、所要時間Ｔ_Ｇが所定の時間Ｔα以下であるかどうかを判定する（ステップＳ３５）。所定の時間Ｔαは、処理装置３２０が駆動信号を操作端末機１３０に送信してから、振動素子１３３Ｒ又は１３３Ｌが駆動されるまでの所要時間であり、所定の時間Ｔαを表すデータは、処理装置３２０のデータ格納部に保持させておけばよい。なお、処理装置３２０のデータ格納部は、処理装置１２０のデータ格納部１２７と同様であり、処理装置１２０が保持するデータに加えて、所定の時間Ｔαを表すデータを保持するものである。

　ここで、以下では、一例として、物品１１１と移動目標点Ｇが接触したこととする。なお、物品１１２と移動目標点Ｇが接触した場合でも、同様の処理が行われる。

　処理装置３２０は、所要時間Ｔ_Ｇが所定の時間Ｔα以下である（Ｓ３５：ＹＥＳ）と判定すると、目標履歴データに基づき、ポインタ１３０Ａが物品１１１に接触した方向を算出する（ステップＳ３６）。

　目標履歴データとは、実施の形態１のポインタ履歴データの代わりに、処理装置３２０が各制御周期のステップＳ１０で算出する移動目標点Ｇの座標の履歴を登録したデータである。目標履歴データには、各制御周期において算出される移動目標点Ｇの座標を表すデータが時系列的に登録される。

　接触した方向は、目標履歴データに含まれる、接触の直前の座標が物品１１１に対して位置する方向に基づいて判定すればよい。

　処理装置３２０は、物品１１１と移動目標点Ｇとが接触したときの交点の近傍領域内における物品１１１の部位を決定する（ステップＳ３７）。

　処理装置３２０は、移動目標点Ｇが接触した物品１１１の物品ＩＤと、ステップＳ３７で決定した部位とを用いて、振動データ（図８参照）から、接触点の近傍の物品の材質を読み出す（ステップＳ３８）。

　処理装置３２０は、移動目標点Ｇが接触した物品１１１の物品ＩＤと、ステップＳ３７で決定した部位とを用いて、振動データから振動強度と振動時間を読み出す（ステップＳ３９）。

　処理装置３２０は、操作端末機１３０の振動素子１３３Ｒ又は１３３Ｌを駆動する駆動信号を生成し、通信部１２０Ａを介して、操作端末機１３０に送信する（ステップＳ４０）。この結果、操作端末機１３０の振動素子１３３Ｒ又は１３３Ｌが駆動される。

　駆動信号は、ステップＳ３６で算出された接触の方向と、ステップＳ３９で読み出した振動強度及び振動時間とに基づいて生成される。

　以上で、一連の処理が終了する（エンド）。

　なお、ステップＳ３３で物品１１１又は１１２と移動目標点Ｇが接触していない（Ｓ３３：ＮＯ）と判定した場合は、フローをステップＳ１、Ｓ３、及びＳ８にリターンする。

　また、ステップＳ３５で所要時間Ｔ_Ｇが所定の時間Ｔα以下ではない（Ｓ３５：ＮＯ）と判定した場合は、フローをステップＳ１、Ｓ３、及びＳ８にリターンする。

　以上のように、実施の形態３のシミュレーションシステムによれば、利用者が操作端末機１３０を操作しているときに、処理装置１２０がマーカ１３２の位置及び姿勢を検出できない制御周期が生じても、端末履歴データを用いてポインタ１３０Ａの現在の位置を算出することができる。処理装置１２０がマーカ１３２の位置及び姿勢を検出できないときとは、例えば、位置計測装置１４０から見てマーカ１３２が利用者の腕の陰になってマーカ１３２の画像を取得できないような状況である。

　従って、実施の形態３によれば、制御性を改善したシミュレーションシステム１００を提供することができる。

　また、処理装置３２０は、物品１１１と移動目標点Ｇが接触し、かつ、所要時間Ｔ_Ｇが所定の時間Ｔα以下になると、ポインタ１３０Ａと物品１１１が衝突する前に、予め駆動信号を操作端末機１３０に送信する。所定の時間Ｔαは、処理装置３２０が駆動信号を操作端末機１３０に送信してから、振動素子１３３Ｒ又は１３３Ｌが駆動されるまでの所要時間である。

　このため、処理装置３２０が駆動信号を操作端末機１３０に送信してから、振動素子１３３Ｒ又は１３３Ｌが駆動されるまでに時間がかかり、ポインタ１３０Ａと物品１１１が衝突する前に、予め駆動信号を操作端末機１３０に送信しておかないと振動素子１３３Ｒ又は１３３Ｌの駆動に遅れが生じるような場合には、振動素子１３３Ｒ又は１３３Ｌの駆動の遅れを抑制することができる。

　このことによっても、実施の形態３によれば、制御性を改善したシミュレーションシステム１００を提供することができる。

　また、実施の形態３のシミュレーションシステムによれば、物品の部位又は材質に応じた触感を利用者に提供することができるとともに、物品に触れた方向に応じた触感を利用者に提供することができる。このような触感は、現実空間において手で物品を触っている触感を模擬的に表しており、リアリティに富んでいる。

　従って、実施の形態３によれば、リアリティのある触感を提供できるシミュレーションシステムを提供することができる。

　なお、以上では、所定の時間Ｔαは、処理装置３２０が駆動信号を操作端末機１３０に送信してから、振動素子１３３Ｒ又は１３３Ｌが駆動されるまでの所要時間である形態について説明した。しかしながら、所定の時間Ｔαは、処理装置３２０が駆動信号の生成を開始してから、駆動信号を操作端末機１３０に送信し、振動素子１３３Ｒ又は１３３Ｌが駆動されるまでの所要時間に設定してもよい。また、所定の時間Ｔαは、さらに他の時間を考慮した時間に設定してもよい。

　以上、本発明の例示的な実施の形態のシミュレーションシステムについて説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

　１００　シミュレーションシステム
　１１０Ａ　スクリーン
　１１０Ｂ　投影装置
　１１０Ｃ　３Ｄ眼鏡
　１１０Ｃ１　マーカ
　１１１、１１２　物品
　１２０　処理装置
　１２１　位置検出部
　１２２　履歴保持部
　１２３　視線検出部
　１２４Ａ、１２４Ｂ　ベクトル算出部
　１２５　位置算出部
　１２６　映像出力部
　１２７　データ格納部
　１２８　接触判定部
　１２９　駆動制御部
　１２０Ａ　通信部
　１３０、１３０Ｂ、１３０Ｃ、１３０Ｄ　操作端末機
　１３０Ａ　ポインタ
　１３１　筐体
　１３２　マーカ
　１３３Ｒ、１３３Ｌ　振動素子
　１３４　ボタン
　１３５　ガイドバー
　１４０　位置計測装置
　１４０Ａ、１４０Ｂ、１４０Ｃ　赤外線カメラ
　２３０、２３０Ａ、２３０Ｂ、２３０Ｃ、２３０Ｄ　操作端末機
　２３１　筐体
　２３３　振動素子
　３２０　処理装置

Claims

　物品の形状と位置を表す物品データに基づいて前記物品の画像を表示する表示部と、
　利用者が手に持ちながら移動させることによって前記表示部に表示されるポインタの位置を操作する操作端末機と、
　前記物品データを格納するデータ格納部と、
　前記操作端末機の位置及び姿勢を検出する第１検出部と、
　前記第１検出部によって検出される前記位置及び姿勢に基づき、前記表示部の座標系における操作端末機の位置を検出する第２検出部と、
　利用者の視線の位置及び方向を検出する第３検出部と、
　前記第３検出部によって検出される前記視線の位置及び方向に基づき、前記表示部の座標系における前記視線の位置及び方向を表す視線ベクトルを算出する第１ベクトル算出部と、
　前記第１検出部による検出時点の異なる複数の前記位置及び姿勢に基づく複数時点の前記操作端末機の位置をそれぞれ表す複数の位置データを保持する保持部と、
　前記保持部に保持される前記複数の位置データに基づき、前記操作端末機の位置及び移動方向を表す端末ベクトルを算出する第２ベクトル算出部と、
　前記視線ベクトルと前記端末ベクトルとの接近度合に基づき、前記ポインタの移動目標の位置と推定される移動目標点の位置を求める位置算出部と、
　前記移動目標点の位置に基づいて求まる現在の前記ポインタの位置に、前記表示部に前記ポインタを表示させる出力部と、
　前記現在の前記ポインタの位置と、前記物品データが表す前記物品の位置とに基づき、前記ポインタと前記物品とが接触しているかどうか、又は、前記移動目標点の位置と、前記物品データが表す前記物品の位置とに基づき、所定時間の経過後に前記ポインタと前記物品とが接触するかどうかを判定する判定部と
　を含む、シミュレーションシステム。
　前記位置算出部は、前記視線ベクトルと前記端末ベクトルとが最接近する点に基づき、前記ポインタの前記移動目標点の位置を求める、請求項１記載のシミュレーションシステム。
　前記位置算出部は、前記視線ベクトルが前記端末ベクトルに最接近する第１点と、前記端末ベクトルが前記視線ベクトルに最接近する第２点との中点の座標、又は、前記視線ベクトルと前記端末ベクトルとの交点の座標を前記移動目標点の位置として求める、請求項２記載のシミュレーションシステム。
　前記操作端末機に取り付けられる、可動部と、
　前記判定部によって、前記ポインタと前記物品とが現在接触している、又は、前記所定時間の経過後に前記ポインタと前記物品とが接触すると判定されると、前記可動部を駆動する駆動制御部と
　をさらに含み、
　前記データ格納部は、さらに、前記可動部を振動させる振動パターンを表す振動データを格納し、
　前記駆動制御部は、前記振動データを用いて前記可動部を駆動する、請求項１乃至３のいずれか一項記載のシミュレーションシステム。
　前記位置算出部は、前記移動目標点の位置と、前記保持部に保持される前記複数の位置データから求まる前記操作端末機の移動速度とに基づいて、前記現在の前記ポインタの位置を求め、
　前記出力部は、前記位置算出部によって算出される前記現在の前記ポインタの位置に、前記表示部に前記ポインタを表示させ、
　前記判定部は、前記位置算出部によって算出される前記現在の前記ポインタの位置と、前記物品データが表す前記物品の位置とに基づき、前記ポインタと前記物品とが接触しているかどうかを判定する、請求項１乃至４のいずれか一項記載のシミュレーションシステム。
　前記判定部は、前記移動目標点と、前記物品データが表す前記物品とが接触し、かつ、前記操作端末機が前記移動目標点に到達するまでの所要時間が、前記駆動制御部が前記振動データを用いて前記可動部を駆動する際の制御遅れの遅れ時間以下である場合に、前記所定時間の経過後に前記ポインタと前記物品とが接触すると判定し、
　前記駆動制御部は、前記振動データを表す駆動指令を前記可動部に出力する、請求項４記載のシミュレーションシステム。
　前記振動データが表す前記振動パターンは、前記物品の各部位又は材質の触感に応じた振動パターンであり、
　前記駆動制御部は、前記ポインタと接触する前記物品の部位又は材質に対応する前記振動パターンを表す前記振動データで前記複数の可動部を駆動する、請求項４又は６記載のシミュレーションシステム。
　前記判定部は、前記表示部に表示される前記物品の位置と、前記ポインタの位置との差が所定値以下になると、前記物品に前記ポインタが接触したと判定する、請求項４、６、及び７のいずれか一項記載のシミュレーションシステム。
　前記可動部は、複数の可動素子を有し、
　前記判定部は、前記物品に前記ポインタが接触した方向を判定し、
　前記駆動制御部は、前記複数の可動素子のうち、前記ポインタに対して前記物品が位置する方向にある可動素子を前記振動パターンで駆動する、請求項４、及び６乃至８のいずれか一項記載のシミュレーションシステム。
　前記振動データは、前記物品の部位又は材質に応じて、可動素子を駆動する強度、前記可動素子を駆動する時間、又は、前記複数の可動素子のうちの前記振動パターンで駆動される可動素子の数を設定したデータである、請求項４、及び６乃至９のいずれか一項記載のシミュレーションシステム。
　前記複数の可動素子のうちの前記振動パターンで駆動される可動素子の数によって、前記物品の各部位又は材質の触感を表す面積が設定される、請求項１０記載のシミュレーションシステム。
　前記駆動制御部に接続される第１通信部をさらに含み、
　前記操作端末機は、前記第１通信部と無線通信を行う第２通信部をさらに有し、
　前記操作端末機の前記複数の可動素子は、前記無線通信によって受信する、前記駆動制御部が出力する駆動指令によって駆動される、請求項４、及び６乃至１１のいずれか一項記載のシミュレーションシステム。
　前記複数の可動素子は、複数の振動素子であり、
　前記操作端末機は、
　前記複数の振動素子がそれぞれ搭載される複数の基板部と、
　前記複数の基板部の間に設けられ、振動を遮断する遮断部と
　をさらに有する、請求項４、及び６乃至１２のいずれか一項記載のシミュレーションシステム。
　前記複数の可動素子は、それぞれ、利用者が触れる面に対して入れ子式に突出する複数の駆動素子、又は、利用者が触れる面に形成される複数の孔部で吸引する複数の吸引機構である、請求項４、及び６乃至１２のいずれか一項記載のシミュレーションシステム。