JPWO2016181469A1 - シミュレーションシステム - Google Patents

Abstract

リアリティのある触感を提供できるシミュレーションシステムを提供する。シミュレーションシステムは、複数の可動素子を有し、利用者が移動させることによって表示部に表示されるポインタの位置を操作する操作端末機と、物品データと、複数の可動素子を振動させる振動パターンであって、物品の各部位又は材質の触感に応じた振動パターンを表す振動データとを格納するデータ格納部と、操作端末機の位置及び姿勢を検出する第１検出部と、位置及び姿勢に基づき、表示部に表示されるポインタの座標を検出する第２検出部と、物品データに含まれる座標と、第２検出部によって検出されるポインタの座標とに基づき、表示部に表示される物品にポインタが接触したかどうかを判定する判定部と、ポインタが物品に接触したと判定されると、ポインタに接触した物品の部位又は材質に振動データで対応する振動パターンで複数の可動素子を駆動する駆動制御部とを含む。

Description

本発明は、シミュレーションシステムに関する。

従来より、ユーザに仮想物体との接触を知覚させる接触提示装置であって、ユーザに装着される複数の刺激発生手段と、ユーザと仮想物体の異なる面が接触した場合に、前記刺激発生手段で異なる刺激を発生させるように制御を行う制御部を備えることを特徴とする接触提示装置がある（例えば、特許文献１参照）。

特開２００８−１０８０５４号公報

ところで、従来の接触提示装置は、仮想物体の凸部、角部、又はエッジ等に接触した触感を提供することはできない。また、仮想物体の材質による触感を提供することはできない。すなわち、従来の接触提示装置は、リアリティのある触感を提供することができない。

そこで、リアリティのある触感を提供できるシミュレーションシステムを提供することを目的とする。

本発明の実施の形態のシミュレーションシステムは、物品の形状と座標を表す物品データに基づいて前記物品の画像を表示する表示部と、複数の可動素子を有し、利用者が手に持ちながら移動させることによって前記表示部に表示されるポインタの位置を操作する操作端末機と、前記物品データと、前記複数の可動素子を振動させる振動パターンであって、前記物品の各部位又は材質の触感に応じた振動パターンを表す振動データとを格納するデータ格納部と、前記操作端末機の位置及び姿勢を検出する第１検出部と、前記第１検出部によって検出される前記位置及び姿勢に基づき、前記表示部に表示される前記ポインタの座標を検出する第２検出部と、前記物品データに含まれる座標と、前記第２検出部によって検出される前記ポインタの座標とに基づき、前記表示部に表示される前記物品に、前記ポインタが接触したかどうかを判定する判定部と、前記判定部によって前記ポインタが前記物品に接触したと判定されると、前記ポインタに接触した前記物品の部位又は材質に前記振動データで対応する前記振動パターンで前記複数の可動素子を駆動する駆動制御部とを含む。

リアリティのある触感を提供できるシミュレーションシステムを提供することができる。

実施の形態１のシミュレーションシステムを示す図である。 実施の形態１の処理装置が適用されるコンピュータシステムの斜視図である。 コンピュータシステムの本体部内の要部の構成を説明するブロック図である。 操作端末機を示す斜視図である。 振動モータを示す図である。 操作端末機の電気系の構成を示す図である。 振動データを示す図である。 形状データを示す図である。 物品の画像の一例を示す図である。 スクリーンに投影される画像の中におけるポインタの座標の時間変化の一例を示すデータである。 実施の形態１の処理装置が実行する処理を示すフローチャートである。 物品にポインタが接触した場合の触感の提供の仕方を示す図である。 ポインタで触れる物品の部位と、振動パターンとの関係を表す図である。 ポインタで触れる物品の部位と、振動パターンとの関係を表す図である。 ポインタで触れる物品の材質と、振動パターンとの関係を表す図である。 ポインタで触れる物品の材質と、振動パターンとの関係を表す図である。 実施の形態１の変形例を示す図である。 実施の形態１の変形例を示す図である。 実施の形態１の変形例を示す図である。 実施の形態１の変形例を示す図である。 実施の形態１の変形例を示す図である。 操作端末機の電気系の構成を示す図である。 実施の形態２の操作端末機を示す斜視図である。 実施の形態２の振動データを示す図である。 実施の形態１の処理装置が実行する処理を示すフローチャートである。 ポインタで触れる物品の部位と、振動パターンとの関係を表す図である。 ポインタで触れる物品の材質と、振動パターンとの関係を表す図である。 実施の形態２の変形例を示す図である。 実施の形態２の変形例を示す図である。 実施の形態２の変形例を示す図である。 実施の形態２の変形例を示す図である。 実施の形態２の変形例を示す図である。 実施の形態２の変形例を示す図である。

以下、本発明のシミュレーションシステムを適用した実施の形態について説明する。

＜実施の形態１＞
図１は、実施の形態１のシミュレーションシステム１００を示す図である。

シミュレーションシステム１００は、スクリーン１１０Ａ、投影装置１１０Ｂ、３Ｄ(3 Dimension)眼鏡１１０Ｃ、処理装置１２０、操作端末機１３０、及び位置計測装置１４０を含む。

実施の形態１シミュレーションシステム１００は、例えば、組み立て作業性を仮想空間において把握するため組立支援システムに適用することができる。組立支援システムでは、例えば、ＣＰＵ(Central Processing Unit：中央演算処理装置)モジュール、メモリモジュール、通信モジュール、又はコネクタ等の電子部品をマザーボード等に組み付ける作業を仮想空間で模擬的に行うことができる。

しかしながら、実施の形態１シミュレーションシステム１００は、組立支援システムに限らず、三次元空間での作業性を確認する様々なシステムに適用することができる。

スクリーン１１０Ａは、例えば、プロジェクタ用スクリーンを用いることができる。スクリーン１１０Ａのサイズは、用途に応じて適宜設定すればよい。スクリーン１１０Ａには、投影装置１１０Ｂによって投影される画像が表示される。ここでは、物品１１１及び１１２の画像がスクリーン１１０Ａに表示されていることとする。

投影装置１１０Ｂは、スクリーン１１０Ａに画像を投影できる装置であればよく、例えば、プロジェクタを用いることができる。投影装置１１０Ｂは、ケーブル１１０Ｂ１によって処理装置１２０に接続されており、処理装置１２０から入力される画像をスクリーン１１０Ａに投影する。ここでは、投影装置１１０Ｂは、３Ｄ画像（立体視の画像）をスクリーン１１０Ａに投影できるタイプのものである。

なお、スクリーン１１０Ａと投影装置１１０Ｂは、表示部の一例である。

３Ｄ眼鏡１１０Ｃは、シミュレーションシステム１００を利用する利用者が装着する。３Ｄ眼鏡１１０Ｃは、投影装置１１０Ｂによってスクリーン１１０Ａに投影される画像を３Ｄ画像に変換できる眼鏡であればよく、例えば、入射光を偏光する偏光眼鏡、又は、液晶シャッターを有する液晶シャッター眼鏡を用いることができる。

なお、スクリーン１１０Ａ及び投影装置１１０Ｂの代わりに、例えば、液晶ディスプレイパネルを用いてもよい。また、３Ｄ眼鏡１１０Ｃが不要な場合は、３Ｄ眼鏡１１０Ｃを用いなくてもよい。また、スクリーン１１０Ａ及び投影装置１１０Ｂの代わりに、ヘッドマウントディスプレイを用いてもよい。

処理装置１２０は、位置検出部１２１、接触判定部１２２、映像出力部１２３、データ保持部１２４、駆動制御部１２５、及び通信部１２６を有する。処理装置１２０は、例えば、メモリを有するコンピュータによって実現される。

位置検出部１２１は、位置計測装置１４０から入力される画像データに対してパターンマッチング等の画像処理を行い、操作端末機１３０の位置と姿勢を検出する。操作端末機１３０の位置は、３次元座標における座標値で表され、姿勢は、３次元座標の３軸方向に対する角度で表される。

位置検出部１２１は、３次元座標における座標値をスクリーン１１０Ａに投影される画像の中の座標に変換し、ポインタ１３０Ａの位置を表す座標として出力する。位置検出部１２１は、第２検出部の一例である。

なお、操作端末機１３０の位置と姿勢の検出は、位置計測装置１４０で行ってもよい。

接触判定部１２２は、スクリーン１１０Ａに投影される物品１１１又は１１２の画像と、スクリーン１１０Ａに表示される操作端末機１３０のポインタ１３０Ａとが接触したかどうかを判定する。

接触判定部１２２は、スクリーン１１０Ａに投影される物品１１１又は１１２の形状及び位置を表すデータと、ポインタ１３０Ａの位置を表すデータとを用いて、物品１１１又は１１２の画像と、ポインタ１３０Ａとが接触したかどうかを判定する。接触判定部１２２は、判定部の一例である。

映像出力部１２３の出力端子は、ケーブル１１０Ｂ１によって投影装置１１０Ｂに接続されている。映像出力部１２３は、データ保持部１２４に保持される物品１１１及び１１２の物品データによって特定される画像を投影装置１１０Ｂに出力し、スクリーン１１０Ａに表示させる。

また、映像出力部１２３は、投影装置１１０Ｂにポインタ１３０Ａを表示させる。スクリーン１１０Ａに表示される画像内におけるポインタ１３０Ａの位置は、位置検出部１２１で検出される操作端末機１３０の位置と姿勢によって決まる。

データ保持部１２４は、物品１１１及び１１２の座標と形状を表す物品データ、物品１１１及び１１２の触感に応じた振動パターンを表す振動データ、及びポインタ１３０Ａの画像データ等のデータを保持する。データ保持部１２４は、メモリによって実現され、データ格納部の一例である。

駆動制御部１２５は、接触判定部１２２によって物品１１１又は１１２の画像と、ポインタ１３０Ａとが接触したと判定されると、ポインタ１３０Ａが接触した物品１１１又は１１２の部位の触感に応じた振動パターンの駆動信号を出力する。この駆動信号は、操作端末機１３０の振動素子を駆動する信号である。

通信部１２６は、操作端末機１３０と無線通信を行う通信部であり、例えば、Bluetooth（登録商標）又はWiFi(Wireless Fidelity)等の規格で無線通信を行うことができる。通信部１２６は、駆動制御部１２５によって生成される駆動信号を操作端末機１３０に送信する。なお、通信部１２６は、操作端末機１３０と有線通信を行う通信部であってもよい。

操作端末機１３０は、シミュレーションシステム１００を利用する利用者が手に保持し、スクリーン１１０Ａに表示されるポインタ１３０Ａの位置をコントロールする端末機である。操作端末機１３０は、マーカ１３２と振動素子１３３Ｒ及び１３３Ｌとを有する。

マーカ１３２は、複数の球体を有し、位置計測装置１４０から照射される赤外線を様々な方向に反射させる。マーカ１３２は、位置計測装置１４０による操作端末機１３０の位置検出に用いられる。

振動素子１３３Ｒ及び１３３Ｌは、それぞれ、操作端末機１３０の右側及び左側に振動を発生させるために設けられている。また、振動素子１３３Ｒ及び１３３Ｌは、駆動制御部１２５によって生成される駆動信号が表す物品１１１又は１１２の触感に応じた振動パターンによって駆動される。振動素子１３３Ｒ及び１３３Ｌは、可動素子の一例である。

なお、操作端末機１３０の詳細については後述する。

位置計測装置１４０は、赤外線カメラ１４０Ａ及び１４０Ｂを有し、それぞれ、ケーブル１４１Ａ及び１４１Ｂによって位置検出部１２１に接続されている。赤外線カメラ１４０Ａ及び１４０Ｂは、赤外線を操作端末機１３０に照射し、マーカ１３２で反射された反射光を撮影する。位置計測装置１４０は、赤外線カメラ１４０Ａ及び１４０Ｂが出力する画像データを位置検出部１２１に転送する。位置計測装置１４０は、第１検出部の一例である。

図２は、実施の形態１の処理装置１２０が適用されるコンピュータシステムの斜視図である。図２に示すコンピュータシステム１０は、本体部１１、ディスプレイ１２、キーボード１３、マウス１４、及びモデム１５を含む。

本体部１１は、ＣＰＵ（Central Processing Unit：中央演算装置）、ＨＤＤ（Hard Disk Drive：ハードディスクドライブ）、及びディスクドライブ等を内蔵する。ディスプレイ１２は、本体部１１からの指示により画面１２Ａ上に解析結果等を表示する。ディスプレイ１２は、例えば、液晶モニタであればよい。キーボード１３は、コンピュータシステム１０に種々の情報を入力するための入力部である。マウス１４は、ディスプレイ１２の画面１２Ａ上の任意の位置を指定する入力部である。モデム１５は、外部のデータベース等にアクセスして他のコンピュータシステムに記憶されているプログラム等をダウンロードする。

コンピュータシステム１０に処理装置１２０としての機能を持たせるプログラムは、ディスク１７等の可搬型記録媒体に格納されるか、モデム１５等の通信装置を使って他のコンピュータシステムの記録媒体１６からダウンロードされ、コンピュータシステム１０に入力されてコンパイルされる。

コンピュータシステム１０に処理装置１２０としての機能を持たせるプログラムは、コンピュータシステム１０を処理装置１２０として動作させる。このプログラムは、例えばディスク１７等のコンピュータ読み取り可能な記録媒体に格納されていてもよい。コンピュータ読み取り可能な記録媒体は、ディスク１７、ＩＣカードメモリ、フロッピー（登録商標）ディスク等の磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＵＳＢ(Universal Serial Bus)メモリ等の可搬型記録媒体に限定されるものではない。コンピュータ読み取り可能な記録媒体は、モデム１５又はＬＡＮ等の通信装置を介して接続されるコンピュータシステムでアクセス可能な各種記録媒体を含む。

図３は、コンピュータシステム１０の本体部１１内の要部の構成を説明するブロック図である。本体部１１は、バス２０によって接続されたＣＰＵ２１、ＲＡＭ又はＲＯＭ等を含むメモリ部２２、ディスク１７用のディスクドライブ２３、及びハードディスクドライブ（ＨＤＤ）２４を含む。実施の形態１では、ディスプレイ１２、キーボード１３、及びマウス１４は、バス２０を介してＣＰＵ２１に接続されているが、これらはＣＰＵ２１に直接的に接続されていてもよい。また、ディスプレイ１２は、入出力画像データの処理を行う周知のグラフィックインタフェース（図示せず）を介してＣＰＵ２１に接続されていてもよい。

コンピュータシステム１０において、キーボード１３及びマウス１４は、処理装置１２０の入力部である。ディスプレイ１２は、処理装置１２０に対する入力内容等を画面１２Ａ上に表示する表示部である。

なお、コンピュータシステム１０は、図２及び図３に示す構成のものに限定されず、各種周知の要素を付加してもよく、又は代替的に用いてもよい。

図４は、操作端末機１３０を示す斜視図である。

操作端末機１３０は、筐体１３１、マーカ１３２、振動素子１３３Ｒ、１３３Ｌ、ボタン１３４、及びガイドバー１３５を有する。

操作端末機１３０は、ポインタ１３０Ａの位置の指標となるガイドバー１３５をスクリーン１１０Ａに向けて利用者が手で持つため、スクリーン１１０Ａに向いた利用者にとって右側に振動素子１３３Ｒが位置し、左側に振動素子１３３Ｌが位置する。

また、以下では、左右を表す場合には、ガイドバー１３５をスクリーン１１０Ａに向けて操作端末機１３０を保持し、スクリーン１１０Ａを向く利用者を基準に左右の位置関係を表すこととする。

また、筐体１３１の振動素子１３３Ｒ、１３３Ｌが設けられる面を上面と称し、ガイドバー１３５が取り付けられる側を前側と称す。

筐体１３１は、筐体部１３１Ｒ及び１３１Ｌと、遮断部１３１Ａとを有する。筐体部１３１Ｒ及び１３１Ｌには、それぞれ、振動素子１３３Ｒ及び１３３Ｌが配設されている。筐体部１３１Ｒ及び１３１Ｌは、振動素子１３３Ｒ及び１３３Ｌが配設される基板部の一例である。

また、筐体部１３１Ｒと筐体部１３１Ｌとは、お互いの振動が伝達されないように遮断部１３１Ａによって固定されている。

すなわち、筐体部１３１Ｒと筐体部１３１Ｌとは、分断されており、互いの間は遮断部１３１Ａによって接続されている。

筐体部１３１Ｒ及び１３１Ｌは、例えば、樹脂製であり、利用者が手に持つのにちょうど良いサイズを有する。遮断部１３１Ａは、例えば、防振構造を有するゴム部材であり、減衰比の高い防振ゴムを用いることができる。

遮断部１３１Ａは、振動素子１３３Ｒが駆動された場合に筐体部１３１Ｒに生じる振動が筐体部１３１Ｌに伝達されなくするとともに、振動素子１３３Ｌが駆動された場合に筐体部１３１Ｌに生じる振動が筐体部１３１Ｒに伝達されないようにするために設けられている。

マーカ１３２は、複数の球体１３２Ａとワイヤ１３２Ｂとを有する。複数の球体１３２Ａは、ワイヤ１３２Ｂによって遮断部１３１Ａに取り付けられている。

マーカ１３２は、位置計測装置１４０による操作端末機１３０の位置と姿勢の検出に用いられるため、位置計測装置１４０から照射される赤外線を様々な方向に反射させる。マーカ１３２が反射する赤外線は、赤外線カメラ１４０Ａ及び１４０Ｂによって撮像され、位置検出部１２１が画像処理を行うことによってマーカ１３２の位置と姿勢が検出される。マーカ１３２の位置と姿勢は、操作端末機１３０の位置と姿勢を表す。

マーカ１３２は、規則性がない様々な方向に赤外線を反射できれば、球体の個数は幾つであってもよく、球体の位置についても特に限定はない。また、球体ではなくてもよいし、マーカ１３２の検出は、赤外線を用いる手法に限られない。操作端末機１３０の位置検出を行うことができるのであれば、マーカ１３２はどのようなものであってもよい。

振動素子１３３Ｒ及び１３３Ｌは、それぞれ、筐体部１３１Ｒ及び１３１Ｌの上面に設けられている。振動素子１３３Ｒ及び１３３Ｌは、駆動制御部１２５によって生成される駆動信号が表す物品１１１又は１１２の触感に応じた振動パターンによって駆動される。

振動素子１３３Ｒ及び１３３Ｌは、例えば、ピエゾ素子又はＬＲＡ(Linear Resonant Actuator)のような振動を発生する素子であればよい。振動素子１３３Ｒ及び１３３Ｌを駆動すると、筐体部１３１Ｒ及び１３１Ｌの表面に振動が発生する。

ボタン１３４は、操作端末機１３０の機能が割り当てられており、複数あってもよい。機能としては、例えば、処理装置１２０との無線通信のオン／オフを切り替える機能、ポインタ１３０Ａの表示の明るさを調整する機能等の様々な機能である。

ガイドバー１３５は、遮断部１３１Ａの前側に取り付けられている。ガイドバー１３５は、ポインタ１３０Ａの位置の指標となる部材であり、スクリーン１１０Ａにポインタ１３０Ａが表示される位置を認識しやすくするために設けられている。ガイドバー１３５は、ここでは、一例として、細長い三角形状の板状部材である。

ガイドバー１３５は、操作端末機１３０を手に持つ利用者が、スクリーン１１０Ａに表示されるポインタ１３０Ａの位置を移動させる際の指標又は基準点になるのであれば、どのような形状のものであってもよい。

なお、ガイドバー１３５がなくても、利用者がポインタ１３０Ａの位置を把握しやすいような場合には、操作端末機１３０は、ガイドバー１３５を含まなくてもよい。

図５は、振動モータ１３３Ａを示す図である。振動モータ１３３Ａは、ベース１３３Ａ１と、回転部１３３Ａ２とを有する。ベース１３３Ａ１の内部には、巻線コイルが設けられている。回転部１３３Ａ２は、偏心構造を有し、回転するとベース１３３Ａ１に振動が伝達する。このような振動モータ１３３Ａを図４に示す振動素子１３３Ｒ及び１３３Ｌの代わりに用いてもよい。

図６は、操作端末機１３０の電気系の構成を示す図である。ここでは、筐体１３１とガイドバー１３５を簡略化して示し、マーカ１３２、振動素子１３３Ｒ、１３３Ｌを省略する。

操作端末機１３０は、振動素子１３３Ｒ、１３３Ｌ、ボタン１３４、通信部１３６、ボタン判定部１３７、及び信号生成部１３８を有する。なお、ボタン判定部１３７と信号生成部１３８は、例えば、マイクロコンピュータのような演算処理装置によって実現される。

通信部１３６には、ボタン判定部１３７及び信号生成部１３８が接続されている。通信部１３６は、処理装置１２０の通信部１２６と無線通信を行う通信部であり、例えば、Bluetooth又はWiFi等の規格で無線通信を行う。

通信部１３６は、ボタン判定部１３７から入力される信号を処理装置１２０に送信する。また、通信部１３６は、処理装置１２０の駆動制御部１２５によって生成される駆動信号を受信し、信号生成部１３８に出力する。

ボタン判定部１３７は、ボタン１３４の操作の有無を判定する判定部であり、例えば、処理装置１２０との無線通信のオン／オフ、ポインタ１３０Ａの表示の明るさを調整等の操作内容を判定する。ボタン判定部１３７は、操作内容を表す信号を通信部１３６に出力する。

信号生成部１３８は、通信部１３６が受信する駆動信号を増幅して振動素子１３３Ｒ又は１３３Ｌを駆動する。なお、信号生成部１３８を駆動制御部として捉えてもよい。

図７は、振動データを示す図である。

振動データは、スクリーン１１０Ａに表示する物品の触感に応じた振動パターンを表すデータである。振動データは、一例として、物品ＩＤ、物品名称、材質、部位名称、振動強度、及び振動時間を有する。

物品ＩＤは、物品毎に割り当てられる識別子である。すべての物品は、互いに異なる物品ＩＤを有する。図７には、例示的な物品ＩＤとして、001,002,003,・・・を示す。

物品名称は、物品の名称である。図７には、例示的な物品名称として、Plate, Connector, Cable,・・・を示す。

材質は、物品の表面の材質を表す。図７には、例示的な材質として、Steel(鉄), PBT(Polybutylene terephthalate:ポリブチレンテレフタレート),PVC(polyvinyl chloride:ポリ塩化ビニル)を示す。

部位名称は、物品の部位を表す。図７には、例示的な部位として、Corner(角)、Edge(辺)、Surface(面)を示す。Corner(角)とは、例えば、直方体の８つの頂点に位置する角である。また、Edge(辺)とは、直方体の１２本の辺である。また、Surface(面)とは、直方体の６つの面である。また、球体の場合には、Corner(角)とEdge(辺)の名称は存在せず、Surface(面)のみが存在することになる。なお、部位名称は、直方体及び球体以外の様々な形状の物品に対応して割り当てられている。

振動強度は、振動素子１３３Ｒ又は１３３Ｌを駆動する駆動信号の振幅(Vpp)を表す。振幅は、ピーク・トゥ・ピークの電圧値で示してある。振動強度は、一例として、Corner(角)が最も強く、Edge(辺)は中間的な強度であり、Surface(面)は最も弱い値に設定されている。

Corner(角)、Edge(辺)、及びSurface(面)の中では、Corner(角)を触った場合の感触が最も強く、Surface(面)を触った場合の感触が最も弱く、Edge(辺)を触った場合の感触は、Corner(角)とSurface(面)の中間だからである。なお、この傾向は、一例として、すべての材質において同様に設定されている。

振動時間は、振動素子１３３Ｒ又は１３３Ｌを駆動する時間(ms)を表す。振動時間は、一例として、Steel(鉄), PBT(ポリブチレンテレフタレート),PVC(ポリ塩化ビニル)で異なるように設定されている。Steel(鉄)の振動時間が最も短く、PVC(polyvinyl chloride:ポリ塩化ビニル)の振動時間が最も長く、PBT(ポリブチレンテレフタレート)の振動時間は、Steel(鉄)とPVC(polyvinyl chloride:ポリ塩化ビニル)の中間である。

Steel(鉄)は、これら３つの材質の中では最もヤング率が大きく、振動が短い時間で収束するからである。また、PVC(ポリ塩化ビニル)は、これら３つの材質の中では最もヤング率が小さく、振動が収束するまでに最も時間がかかるからである。PBT(ポリブチレンテレフタレート)のヤング率は、これら３つの材質の中では中間的な値だからである。

以上のような振動データは、現実世界で物品の表面を手で触った場合の触感を振動素子１３３Ｒ又は１３３Ｌの振動によって再現するために、部位に応じて振動強度と振動時間が設定されている。

なお、振動データは、処理装置１２０のデータ保持部１２４に格納されている。

図８は、形状データを示す図である。

物品データは、スクリーン１１０Ａに表示する物品の座標と形状を表すデータである。物品データは、物品ＩＤ、形状タイプ、基準座標、サイズ、及び回転角度を有する。

形状タイプは、物品の外形を表す。図８では、一例として、形状タイプがCuboid(直方体)とCylinder(円柱体)を示す。

基準座標は、物品の全体を表す座標の基準になる点の座標値を示す。座標値の単位はメートル（ｍ）である。なお、座標系としては、ＸＹＺ座標系を用いる。

サイズは、物品のＸ軸方向の長さ、Ｙ軸方向の長さ、Ｚ軸方向の長さを表す。単位はメートル（ｍ）である。一例として、Ｘ軸方向の長さは縦の長さを表し、Ｙ軸方向の長さは高さを表し、Ｚ軸方向の長さは奥行き（横方向の長さ）を表す。

回転角度は、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向に対する回転角度θｘ、θｙ、θｚで表される。単位は度(deg.)である。回転角度θｘは、Ｘ軸を回転軸として物品を回転させる角度である。同様に、回転角度θｙ及びθｚは、それぞれ、Ｙ軸及びＺ軸を回転軸として物品を回転させる角度である。回転角度θｘ、θｙ、θｚの正方向は、予め決めておけばよい。

このような物品データを用いれば、ＣＡＤデータによって表示される物品の画像と同様に、物品データによって特定される画像を表すことができる。

なお、物品データは、処理装置１２０のデータ保持部１２４に格納されている。

図９は、物品の画像の一例を示す図である。

図９には、図８の物品データによって表される３つの物品を示す。

物品ＩＤが001の物品は、形状タイプがCuboid(直方体)で、基準座標（Ｘ，Ｙ，Ｚ）が（０．０，０．０，０．０）であり、サイズが（０．８，０．２，０．４）であり、回転角度θｘ、θｙ、θｚが（０．０，０．０，０．０）である。

基準座標（Ｘ，Ｙ，Ｚ）が（０．０，０．０，０．０）であるため、物品ＩＤが001の物品の１つの頂点は、ＸＹＺ座標系の原点Ｏと一致している。

物品ＩＤが002の物品は、形状タイプがCuboid(直方体)で、基準座標（Ｘ，Ｙ，Ｚ）が（０．６，０．２，０．０）であり、サイズが（０．２，０．２，０．１）であり、回転角度θｘ、θｙ、θｚが（０．０，０．０，０．０）である。

このため、物品ＩＤが002の物品は、物品ＩＤが001の物品の上に配置されている。

物品ＩＤが003の物品は、形状タイプがCylinder(円柱体)で、基準座標（Ｘ，Ｙ，Ｚ）が（０．８，０．３，０．１）であり、サイズが（０．２，１．０，０．３）であり、回転角度θｘ、θｙ、θｚが（０．０，０．０，９０．０）である。

このため、物品ＩＤが003の物品は、Ｚ軸を回転軸として９０度回転させた状態で、物品ＩＤが002の物品のＸ軸正方向側に接続されている。

なお、上述のように、実施の形態１では、図８に示す物品ＩＤ、形状タイプ、基準座標、サイズ、及び回転角度を有する物品データを用いて、スクリーン１１０Ａに投影される画像の中における物品の座標と形状を規定する。

例えば、形状タイプがCuboid(直方体)の場合に、８つの頂点の座標は、基準座標に対して、サイズで表される物品のＸ軸方向の長さ、Ｙ軸方向の長さ、Ｚ軸方向の長さを加算又は減算することによって求めることができる。８つの頂点の座標は、形状タイプがCuboid(直方体)の物品のCorner(角)の座標を表す。

８つの頂点の座標を求めれば、１２本の辺を表す式を求めることができる。１２本の辺を表す式は、形状タイプがCuboid(直方体)の物品のEdge(辺)の座標を表す式である。

また、８つの頂点の座標、及び／又は、１２本の辺を表す式を求めれば、形状タイプがCuboid(直方体)の物品の６つの表面を表す式が求まり、Surface(面)の座標を求めることができる。

また、形状タイプがCylinder(円柱体)の場合には、サイズで表される物品のＸ軸方向の長さ、Ｙ軸方向の長さ、Ｚ軸方向の長さに基づいて、円柱の両端にある円（又は楕円）を表す式を求めることができる。また、両端の円（又は楕円）を表す式と基準座標とを用いれば、両端の円（又は楕円）の座標を表す式を求めることができる。円柱体の側面の座標は、両端の円（又は楕円）の座標を表す式を用いることよって求めることができる。

ここでは、形状タイプがCuboid(直方体)とCylinder(円柱体)の物品について説明したが、球体、三角錐、凹部を有する直方体等の様々な形状の物品についても、同様にスクリーン１１０Ａに投影される画像の中における座標と形状を求めることができる。

図１０は、スクリーン１１０Ａに投影される画像の中におけるポインタ１３０Ａの座標の時間変化の一例を示すデータである。

シミュレーションシステム１００の利用を開始する際に、操作端末機１３０の位置のキャリブレーションを行う。キャリブレーションは、位置検出部１２１で検出する操作端末機１３０の初期の位置と、スクリーン１１０Ａに表示される画像（仮想空間）の中におけるポインタ１３０Ａの位置とを関連付ける処理である。ポインタ１３０Ａの位置は、物品の物品データを表すＸＹＺ座標系で表される。

このように、シミュレーションシステム１００の利用を開始する際に、操作端末機１３０の位置のキャリブレーションを行うことにより、スクリーン１１０Ａに表示される画像の中におけるポインタ１３０Ａの初期の位置が決まる。

図１０には、ポインタＩＤ、Index、時間、Ｘ、Ｙ、Ｚ座標、回転角度θｘ、θｙ、θｚを示す。各パラメータの単位は、図１０に示す通りである。

ポインタＩＤは、操作端末機１３０毎に割り当てられる識別子である。Indexは、ポインタＩＤで特定される操作端末機１３０の座標データの取得回数を表す。Indexは、ポインタＩＤ毎に数値が割り当てられる。時間は、測定開始からの経過時間を表す。なお、操作端末機１３０の座標データは、ポインタ１３０Ａの座標を表すデータである。

処理装置１２０は、単位時間が経過する度に、操作端末機１３０の座標を検出し、検出した操作端末機１３０の座標を図１０に示すポインタ１３０Ａの座標に変換して、ポインタ１３０Ａの座標の時間変化を表すデータを作成する。

図１１は、実施の形態１の処理装置１２０が実行する処理を示すフローチャートである。ここでは、一例として、図１に示すように、スクリーン１１０Ａに物品１１１及び１１２の画像を表示させる場合について説明する。

処理装置１２０は、電源投入後に処理を開始する（スタート）。

処理装置１２０は、データ保持部１２４から物品データと振動データを取得する（ステップＳ１）。

処理装置１２０は、物品データを用いて映像信号を生成し、投影装置１１０Ｂに画像を投影させる（ステップＳ２）。これにより、スクリーン１１０Ａに物品１１１及び１１２の立体視のモデルの画像が表示される。スクリーン１１０Ａに表示される物品１１１及び１１２の画像は、仮想空間に存在する仮想物体を表す。

なお、ステップＳ１及びＳ２の処理は、映像出力部１２３によって行われる。

処理装置１２０は、操作端末機１３０の現実空間における位置と姿勢を検出する（ステップＳ３）。ステップＳ３の処理は、位置検出部１２１によって行われる。

処理装置１２０は、仮想空間におけるポインタ１３０Ａの座標を検出する（ステップＳ４）。ポインタ１３０Ａの座標は、位置検出部１２１によって検出される。ポインタ１３０Ａの座標データは、接触判定部１２２及び映像出力部１２３に入力される。

処理装置１２０は、ステップＳ４で得られたポインタ１３０Ａの座標に基づき、投影装置１１０Ｂにポインタ１３０Ａをスクリーン１１０Ａに表示させる（ステップＳ５）。ポインタ１３０Ａは、例えば、ガイドバー１３５の先端と重なる位置に表示される。

これにより、物品１１１及び１１２の立体視の画像が表示されているスクリーン１１０Ａにポインタ１３０Ａが表示される。

また、ステップＳ５では、ポインタ１３０Ａを表す画像データを用いてポインタ１３０Ａを表示すればよい。ポインタ１３０Ａについても、物品１１１及び１１２の物品データに相当するデータを用意しておき、ポインタ１３０Ａの立体視のモデルの画像を表示すればよい。ただし、特にポインタ１３０Ａの画像データを用いなくてもポインタ１３０Ａを表示できる場合は、ポインタ１３０Ａの画像データをデータ保持部１２４に保持しておかなくてもよい。

なお、ステップＳ５の処理は、映像出力部１２３によって行われる。なお、ステップＳ３〜Ｓ５の処理は、ステップＳ１〜Ｓ２の処理と平行して行われる。

処理装置１２０は、物品１１１又は１１２とポインタ１３０Ａが接触したかどうかを判定する（ステップＳ６）。ステップＳ６の処理は、接触判定部１２２によって行われる。接触判定部１２２は、物品１１１及び１１２の物品データと、ステップＳ４で得られたポインタ１３０Ａの座標データとに基づき、物品１１１又は１１２とポインタ１３０Ａとが接触したかどうかを判定する。

物品１１１又は１１２とポインタ１３０Ａとが接触したかどうかは、物品１１１又は１１２の物品データが表す角、辺、又は面と、ポインタ１３０Ａの座標データが表す位置との交点があるかどうかで判定すればよい。

また、物品１１１又は１１２とポインタ１３０Ａとが接触したかどうかは、ポインタ１３０Ａの座標データと、座標データに最も近い物品データに含まれる座標との位置の差が所定値以下であるかどうかで判定してもよい。例えば、座標データに最も近い物品データに含まれる位置と、座標データが表す位置との差が所定値以下になった場合に接触したと判定する方が、シミュレーションシステム１００における操作端末機１３０の操作性が良好である場合には、このような設定にすればよい。

次に説明するステップＳ７では、一例として、物品１１１とポインタ１３０Ａが接触したこととする。なお、物品１１２とポインタ１３０Ａが接触した場合でも、同様の処理が行われる。

処理装置１２０は、物品１１１とポインタ１３０Ａが接触した（Ｓ６：ＹＥＳ）と判定すると、ポインタ１３０Ａの座標の時間変化を表すデータ（図１０参照）に基づき、ポインタ１３０Ａが物品１１１に接触した方向を算出する（ステップＳ７）。

接触した方向は、ポインタ１３０Ａの座標の時間変化を表すデータに含まれる、接触の直前の座標が物品１１１に対して位置する方向に基づいて判定すればよい。なお、ステップＳ７の処理は、接触判定部１２２によって行われる。

処理装置１２０は、物品１１１とポインタ１３０Ａとが接触したときの交点の近傍領域内における物品１１１の部位を決定する（ステップＳ８）。

ここで、近傍領域とは、例えば、物品１１１が一辺１ｍの長さを有する立方体である場合には、交点から±１ｃｍの範囲の三次元領域を近傍領域とすればよい。

また、部位の決定は、例えば、近傍領域内に、面、辺、又は角があるかどうかを判定し、角、辺、面の順に優先順位をつけて決定すればよい。すなわち、近傍領域内に、面、辺、及び角がある場合には、近傍領域内の部位は角であると決定すればよい。

また、近傍領域内に、面と辺がある場合には、近傍領域内の部位は辺であると決定すればよい。また、近傍領域内に、面と角がある場合には、近傍領域内の部位は角であると決定すればよい。また、近傍領域内に、辺と角がある場合には、近傍領域内の部位は角であると決定すればよい。また、近傍領域内に、面、辺、又は角のいずれか１つがある場合には、存在する部位であると決定すればよい。

処理装置１２０は、ポインタ１３０Ａが接触した物品１１１の物品ＩＤと、ステップＳ８で決定した部位とを用いて、振動データ（図７参照）から、接触点の近傍の物品の材質を読み出す（ステップＳ９）。

例えば、物品ＩＤが001で、部位が角である場合は、Steel(鉄)であると判定する。なお、図７には、物品ＩＤが同一であれば、部位が異なっていても材質が等しい形態の振動データを示すが、部位によって材質が異なるように振動データが作成されていてもよい。

処理装置１２０は、ポインタ１３０Ａが接触した物品１１１の物品ＩＤと、ステップＳ８で決定した部位とを用いて、振動データから振動強度と振動時間を読み出す（ステップＳ１０）。

処理装置１２０は、操作端末機１３０の振動素子１３３Ｒ又は１３３Ｌを駆動する駆動信号を生成し、通信部１２６を介して、操作端末機１３０に送信する（ステップＳ１１）。この結果、操作端末機１３０の振動素子１３３Ｒ又は１３３Ｌが駆動される。

駆動信号は、ステップＳ７で算出された接触の方向と、ステップＳ１０で読み出した振動強度及び振動時間とに基づいて生成される。なお、ステップＳ８〜Ｓ１１の処理は、駆動制御部１２５が行う。

以上で、一連の処理が終了する（エンド）。

なお、ステップＳ６で物品１１１又は１１２とポインタ１３０Ａが接触していない（Ｓ６：ＮＯ）と判定した場合は、フローをステップＳ１及びＳ３にリターンする。

ここで、図１２を用いて、物品１１１にポインタ１３０Ａが接触した場合における振動素子１３３Ｒ又は１３３Ｌの駆動の仕方について説明する。

図１２は、物品１１１にポインタ１３０Ａが接触した場合の触感の提供の仕方を示す図である。

接触の方向が、ポインタ１３０Ａが物品１１１の右側から接近してポインタ１３０Ａの左側が物品１１１に接触したことを表す場合には、操作端末機１３０の左側に位置する振動素子１３３Ｌを駆動する。

操作端末機１３０の振動素子１３３Ｌに振動を発生させて、ポインタ１３０Ａの左側が物品１１１に接触したことを利用者に触感で認識させるためである。

また、接触の方向が、ポインタ１３０Ａが物品１１１の左側から接近してポインタ１３０Ａの右側が物品１１１に接触したことを表す場合には、操作端末機１３０の右側に位置する振動素子１３３Ｒを駆動する。

操作端末機１３０の振動素子１３３Ｒに振動を発生させて、ポインタ１３０Ａの右側が物品１１１に接触したことを利用者に触感で認識させるためである。

また、図１３乃至図１６を用いて、振動素子１３３Ｒ、１３３Ｌを駆動する駆動信号の振動強度及び振動時間について説明する。ここでは、特に断らない限り、物品１１１とポインタ１３０Ａとが接触する場合について説明する。物品１１１は、シミュレーションシステム１００でスクリーン１１０Ａに表示する物品の一例である。このため、物品１１１以外の物品にポインタ１３０Ａが接触する場合も同様である。

図１３及び図１４は、ポインタ１３０Ａで触れる物品１１１の部位と、振動パターンとの関係を表す図である。

図１３に示すように、物品１１１は、角１１１Ａ、辺１１１Ｂ、及び面１１１Ｃを有する。角１１１Ａ、辺１１１Ｂ、面１１１Ｃは、それぞれ、振動パターンのCorner(角)、Edge(辺)、及びSurface(面)に相当する。

ポインタ１３０Ａが角１１１Ａに触れると、振動強度（振幅）を強く（大きく）する。ポインタ１３０Ａが辺１１１Ｂに触れると、振動強度（振幅）を中くらいにする。また、ポインタ１３０Ａが面１１１Ｃに触れると、振動強度（振幅）を弱く（小さく）する。なお、ここでは、振動を発生させる時間は、振動強度によらず一定である。

このように、ポインタ１３０Ａが物品１１１の角１１１Ａ、辺１１１Ｂ、面１１１Ｃのうちのどの部位に触れるかによって振動強度を変える。また、角１１１Ａは、接触面積が小さく、実際に手で触れると尖った触感を受けるので、振動強度を最も強くしてある。これとは逆に、面１１１Ｃは、接触面積が大きく、実際に手で触れると滑らかな触感を受けるので、振動強度を最も弱くしてある。そして、辺１１１Ｂは、接触面積が角１１１Ａと面１１１Ｃの間くらい（中くらい）であるため、振動強度を中くらいにしてある。

このように、例えば、接触する部位に応じて駆動信号の振動強度を変化させることにより、操作端末機１３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品１１１の部位に応じた触感を提供することができる。

図１４では、振動強度の代わりに振動を発生させる時間を変化させる。

ポインタ１３０Ａが角１１１Ａに触れると、振動時間を短くする。ポインタ１３０Ａが辺１１１Ｂに触れると、振動時間を中くらいにする。また、ポインタ１３０Ａが面１１１Ｃに触れると、振動時間を長くする。なお、ここでは、振動強度は、振動時間によらず一定である。

このように、ポインタ１３０Ａが物品１１１の角１１１Ａ、辺１１１Ｂ、面１１１Ｃのうちのどの部位に触れるかによって振動時間を変える。また、角１１１Ａは、接触面積が小さく、実際に手で触れると尖った触感を受けるので、振動時間を最も短くしてある。これとは逆に、面１１１Ｃは、接触面積が大きく、実際に手で触れると滑らかな触感を受けるので、振動時間を最も長くしてある。そして、辺１１１Ｂは、接触面積が角１１１Ａと面１１１Ｃの間くらい（中くらい）であるため、振動時間を中くらいにしてある。

このように、例えば、接触する部位に応じて駆動信号の振動時間を変化させることにより、操作端末機１３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品１１１の部位に応じた触感を提供することができる。

図１５及び図１６は、ポインタ１３０Ａで触れる物品１１１の材質と、振動パターンとの関係を表す図である。

図１５では、物品１１１及び１１２等のような物品の材質に応じて、振動強度を変化させる。

物品のヤング率に応じて、硬い材質、柔らかい材質、中くらいの材質に予め分けて振動データを作成しておく。例えば、ヤング率が１０ＧＰａ以上の材質を硬い材質、１ＧＰａ〜１０ＧＰａの材質を中程度の硬さの材質、１ＧＰａ以下の材質を柔らかい材質として定義しておくとする。

ポインタ１３０Ａが触れる物品の材質が硬い場合は、振動強度（振幅）を強く（大きく）する。ポインタ１３０Ａが触れる物品の材質が中くらいの硬さである場合は、振動強度（振幅）を中くらいにする。また、ポインタ１３０Ａが触れる物品の材質が柔らかい場合は、振動強度（振幅）を弱く（小さく）する。なお、ここでは、振動を発生させる時間は、振動強度によらず一定である。

このように、ポインタ１３０Ａが触れる物品の材質によって振動強度を変えれば、操作端末機１３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品の材質に応じた触感を提供することができる。

図１６では、物品１１１及び１１２等のような物品の材質に応じて、振動時間を変化させる。

図１５で説明したように、物品のヤング率に応じて、硬い材質、柔らかい材質、中くらいの材質に予め分けて振動データを作成しておく。例えば、ヤング率が１０ＧＰａ以上の材質を硬い材質、１ＧＰａ〜１０ＧＰａの材質を中程度の硬さの材質、１ＧＰａ以下の材質を柔らかい材質として定義しておくとする。

ポインタ１３０Ａが触れる物品の材質が硬い場合は、振動時間を短くする。ポインタ１３０Ａが触れる物品の材質が中くらいの硬さである場合は、振動時間を中くらいにする。また、ポインタ１３０Ａが触れる物品の材質が柔らかい場合は、振動時間を長くする。なお、ここでは、振動強度は、振動時間によらず一定である。

このように、ポインタ１３０Ａが触れる物品の材質によって振動時間を変えれば、操作端末機１３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品の材質に応じた触感を提供することができる。

なお、図１３で説明したように部位に応じて振動強度を変化させることと、図１６で説明したように材質に応じて振動時間を変化させることとを組み合わせてもよい。このようにすれば、物品の部位と材質とに応じて、振動パターンを変化させることができる。

また、図１４で説明したように部位に応じて振動時間を変化させることと、図１５で説明したように材質に応じて振動強度を変化させることとを組み合わせてもよい。このようにすれば、物品の部位と材質とに応じて、振動パターンを変化させることができる。

以上のように、実施の形態１のシミュレーションシステム１００によれば、操作端末機１３０で操作するポインタ１３０Ａが、スクリーン１１０Ａに投影される画像の中で、物品１１１又は１１２のような物品と接触した場合に、接触した物品の部位又は材質に応じて振動素子１３３Ｒ又は１３３Ｌを振動させる振動パターンを変える。

このため、物品の部位又は材質に応じた触感を利用者に提供することができる。利用者は、触感だけで部位又は材質の違いを認識することができる。なお、この場合に、利用者が手で振動素子１３３Ｒ又は１３３Ｌに触れていることが望ましいが、振動素子１３３Ｒ又は１３３Ｌに触れていなくても、筐体部１３１Ｒ又は１３１Ｌが部位又は材質に応じた振動パターンで振動するため、触感だけで部位又は材質の違いを認識することができる。

また、実施の形態１のシミュレーションシステム１００によれば、操作端末機１３０で操作するポインタ１３０Ａが、物品に接触する方向に応じて、振動素子１３３Ｒ又は１３３Ｌのいずれかを振動させる。

このため、利用者は、触感だけでポインタ１３０Ａが物品に触れた方向を認識することができる。

以上のように、実施の形態１のシミュレーションシステム１００によれば、物品の部位又は材質に応じた触感を利用者に提供することができるとともに、物品に触れた方向に応じた触感を利用者に提供することができる。このような触感は、現実空間において手で物品を触っている触感を模擬的に表しており、リアリティに富んでいる。

従って、実施の形態１によれば、リアリティのある触感を提供できるシミュレーションシステム１００を提供することができる。

なお、以上では、マーカ１３２と位置計測装置１４０（赤外線カメラ１４０Ａ及び１４０Ｂ）とを用いて操作端末機１３０の位置と姿勢を検出する形態について説明した。しかしながら、
マーカ１３２が不要な赤外線深度センサ、磁気センサ、ステレオカメラ、加速度センサ、又は、角速度センサのうち、少なくとも１つ以上を用いて操作端末機１３０の位置と姿勢を検出してもよい。

また、超音波帯の固有振動を発生させる駆動制御信号を用いて、振動素子１３３Ｒ及び１３３Ｌを駆動してもよい。この場合には、筐体部１３１Ｒ及び１３１Ｌの外表面に超音波帯の固有振動が発生する。

超音波帯とは、例えば、約２０ｋＨｚ以上の周波数帯であり、人間が聴き取ることのできる可聴域よりも高い周波数をいう。筐体部１３１Ｒ及び１３１Ｌの外表面に超音波帯の固有振動が発生させると、スクイーズ効果によって凹凸感等のある触感を提供することができる。

ここで、図１７乃至図２２を用いて、実施の形態１の変形例について説明する。

図１７乃至図２２は、実施の形態１の変形例を示す図である。

図１７に示す操作端末機１３０Ｂは、図４に示す操作端末機１３０の筐体１３１を４分割にして、４つの振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２を含むようにしたものである。その他の構成は、図４に示す操作端末機１３０と同様であるので、同様の構成要素には同一符号を付し、その説明を省略する。

操作端末機１３０Ｂは、筐体１３１Ｂ、マーカ１３２、振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２、ボタン１３４、及びガイドバー１３５を有する。

筐体１３１Ｂは、筐体部１３１Ｒ１、１３１Ｒ２、１３１Ｌ１、１３１Ｌ２と、遮断部１３１ＢＡとを有する。筐体部１３１Ｒ１、１３１Ｒ２、１３１Ｌ１、１３１Ｌ２には、それぞれ、振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２が配設されている。

また、遮断部１３１ＢＡは、４つの筐体部１３１Ｒ１、１３１Ｒ２、１３１Ｌ１、１３１Ｌ２の間を分断するように平面視で十字型の壁状部材であり、筐体部１３１Ｒ１、１３１Ｒ２、１３１Ｌ１、１３１Ｌ２は、お互いの振動が伝達されないように遮断部１３１ＢＡによって固定されている。

すなわち、筐体部１３１Ｒ１、１３１Ｒ２、１３１Ｌ１、１３１Ｌ２は、互いに分断されており、互いの間は遮断部１３１ＢＡによって接続されている。

筐体部１３１Ｒ１、１３１Ｒ２、１３１Ｌ１、１３１Ｌ２は、図４に示す筐体部１３１Ｒ及び１３１Ｌのサイズを半分にした部材であり、例えば、樹脂製である。遮断部１３１ＢＡは、例えば、防振構造を有するゴム部材であり、減衰比の高い防振ゴムを用いることができる。

振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２は、駆動制御部１２５によって生成される駆動信号が表す物品１１１又は１１２の触感に応じた振動パターンによって駆動される。

振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２は、図４に示す振動素子１３３Ｒ及び１３３Ｌと同様に、例えば、ピエゾ素子又はＬＲＡのような圧電素子を含むものであればよい。振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２をそれぞれ駆動すると、筐体部１３１Ｒ１、１３１Ｒ２、１３１Ｌ１、１３１Ｌ２の表面に振動が発生する。

このような操作端末機１３０Ｂを用いれば、ポインタ１３０Ａが物品に接触した際の部位及び材質に応じて、さらに多い種類の触感を提供することができる。

また、ポインタ１３０Ａが物品に接触したときに、左右方向に加えて、前後方向の触感を提供することができる。

例えば、ポインタ１３０Ａが物品１１１の右側から接近してポインタ１３０Ａの左前側が物品１１１に接触した場合には、操作端末機１３０の左前側に位置する振動素子１３３Ｌ１を駆動すればよい。

また、ポインタ１３０Ａの左後側が物品１１１に接触した場合には、操作端末機１３０の左後側に位置する振動素子１３３Ｌ２を駆動すればよい。

また、ポインタ１３０Ａが物品１１１の左側から接近してポインタ１３０Ａの右前側が物品１１１に接触した場合には、操作端末機１３０の右前側に位置する振動素子１３３Ｒ１を駆動すればよい。

また、ポインタ１３０Ａの右後側が物品１１１に接触した場合には、操作端末機１３０の右後側に位置する振動素子１３３Ｒ２を駆動すればよい。

図１８に示す操作端末機１３０Ｃは、図１７に示す操作端末機１３０Ｂを円筒型にしたものである。その他の構成は、図１７に示す操作端末機１３０Ｂと同様であるので、同様の構成要素には同一符号を付し、その説明を省略する。

操作端末機１３０Ｃは、筐体１３１Ｃ、マーカ１３２、振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２、ボタン１３４、及びガイドバー１３５Ｃを有する。

筐体１３１Ｃは、筐体部１３１ＣＲ１、１３１ＣＲ２、１３１ＣＬ１、１３１ＣＬ２と、遮断部１３１ＣＡとを有する。筐体部１３１ＣＲ１、１３１ＣＲ２、１３１ＣＬ１、１３１ＣＬ２は、円柱状の部材を前後（筐体部１３１ＣＲ１及び１３１ＣＬ１と、筐体部１３１ＣＲ２及び１３１ＣＬ２）に分け、さらに左右に分断したものである。

筐体部１３１ＣＲ１、１３１ＣＲ２、１３１ＣＬ１、１３１ＣＬ２には、それぞれ、振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２が埋め込まれている。

また、遮断部１３１ＣＡは、４つの筐体部１３１ＣＲ１、１３１ＣＲ２、１３１ＣＬ１、１３１ＣＬ２の間を分断するように平面視で十字型の壁状部材であり、筐体部１３１ＣＲ１、１３１ＣＲ２、１３１ＣＬ１、１３１ＣＬ２は、お互いの振動が伝達されないように遮断部１３１ＣＡによって固定されている。

すなわち、筐体部１３１ＣＲ１、１３１ＣＲ２、１３１ＣＬ１、１３１ＣＬ２は、互いに分断されており、互いの間は遮断部１３１ＣＡによって接続されている。遮断部１３１ＣＡは、例えば、防振構造を有するゴム部材であり、減衰比の高い防振ゴムを用いることができる。

このような操作端末機１３０Ｃを用いれば、ポインタ１３０Ａが物品に接触した際の部位及び材質に応じて、さらに多い種類の触感を提供することができる。

また、ポインタ１３０Ａが物品に接触したときに、左右方向に加えて、前後方向の触感を提供することができる。

円柱状の筐体１３１Ｃのサイズは、ペン、ドライバ、又はその他の様々な部材のサイズに設定することができる。

なお、振動素子１３３Ｒ１、１３３Ｒ２、１３３Ｌ１、１３３Ｌ２の駆動方法は、図１７に示す操作端末機１３０Ｂと同様である。

図１９乃至図２１に示す操作端末機１３０Ｄは、図１８に示す操作端末機１３０Ｃを指に装着できるような形状にしたものである。その他の構成は、図１８に示す操作端末機１３０Ｃと同様であるので、同様の構成要素には同一符号を付し、その説明を省略する。

図１９は、平面図であり、図２０は、図１９のＡ−Ａ矢視断面図であり、図２１は、左後方から見た斜視図である。なお、図１９及び図２０では、マーカ１３２を省略する。

操作端末機１３０Ｄは、筐体１３１Ｄ、マーカ１３２、振動素子１３３Ｄ１、１３３Ｄ２、１３３Ｄ３、１３３Ｄ４、１３３Ｄ５、及びボタン１３４を有する。なお、操作端末機１３０Ｄは、指を差し込んで装着する形態であり、ガイドバー１３５Ｃを含まない点において操作端末機１３０Ｃと異なる。

筐体１３１Ｄは、筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４、１３１Ｄ５と、遮断部１３１ＤＡとを有する。筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４は、内部に指を挿入できる穴部を有する円筒状の部材を周方向に４分割し、さらに指を挿入する方向における奥側（操作端末機１３０Ｄの前側）の円板状の部分を筐体部１３１Ｄ５として分断したものである。

筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４、１３１Ｄ５は、互いに分割されている。

筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４、１３１Ｄ５の外表面には、それぞれ、振動素子１３３Ｄ１、１３３Ｄ２、１３３Ｄ３、１３３Ｄ４、１３３Ｄ５が配設されている。

また、遮断部１３１ＤＡは、遮断部片１３１ＤＡ１、１３１ＤＡ２、１３１ＤＡ３、１３１ＤＡ４、１３１ＤＡ５を有する。

遮断部片１３１ＤＡ１、１３１ＤＡ２、１３１ＤＡ３、１３１ＤＡ４は、筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４の間に配設される。遮断部片１３１ＤＡ１、１３１ＤＡ２、１３１ＤＡ３、１３１ＤＡ４と、筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４とは、指を挿入可能な孔部を有する円筒体を構築する。

筐体部１３１Ｄ１は、遮断部片１３１ＤＡ５を介して、円筒体の前方を塞ぐように取り付けられている。

４つの筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４の間を分断するように平面視で十字型の壁状部材であり、筐体部１３１Ｄ１、１３１Ｄ２、１３１Ｄ３、１３１Ｄ４は、お互いの振動が伝達されないように遮断部１３１ＤＡによって固定されている。

遮断部片１３１ＤＡ１、１３１ＤＡ２、１３１ＤＡ３、１３１ＤＡ４、１３１ＤＡ５は、例えば、防振構造を有するゴム部材であり、減衰比の高い防振ゴムを用いることができる。

このような操作端末機１３０Ｄを指に装着すれば、ポインタ１３０Ａが物品に接触した際の部位及び材質に応じて、左右、上下、及び前方から触感を提供することができる。

図２２は、操作端末機１３０Ｄの電気系の構成を示す図である。操作端末機１３０Ｄは、指に装着するため小型である。このため、電気系は、筐体１３１Ｄ側と、制御部１３０Ｅ側とに分かれている。なお、図６に示す操作端末機１３０の電気系と同様の構成要素には同一符号を付し、その説明を省略する。

筐体１３１Ｄには、振動素子１３３Ｄ１〜１３３Ｄ５と、ボタン１３４とが配設されている。また、制御部１３０Ｅには、通信部１３６、ボタン判定部１３７、及び信号生成部１３８が設けられている。

ボタン１３４とボタン判定部１３７はケーブル１３１Ｅ１で接続されており、信号生成部１３８と振動素子１３３Ｄ１〜１３３Ｄ５は、５本のケーブル１３１Ｅ２で接続されている。なお、説明の便宜上、図２２にはケーブル１３１Ｅ２を１本示す。

操作端末機１３０Ｄは、指に装着するため小型であるため、筐体１３１Ｄ側にすべての電気系を収納するのが困難な場合は、電気系を筐体１３１Ｄ側と、制御部１３０Ｅ側とに分ければよい。

また、上述した操作端末機１３０、１３０Ｂ、１３０Ｃ、１３０Ｄにおいても、一部の電気系を筐体とは別に外部に配置してもよい。

＜実施の形態２＞
図２３は、実施の形態２の操作端末機２３０を示す斜視図である。

操作端末機２３０は、筐体２３１、マーカ１３２、振動素子２３３、ボタン１３４、及びガイドバー１３５を有する。ここでは、実施の形態１の操作端末機１３０と同様の構成要素には同一符号を付し、その説明を省略する。

操作端末機２３０は、主に、振動素子２３３と筐体２３１の構成が実施の形態１の操作端末機１３０と異なる。

筐体２３１は、上面に振動素子２３３とボタン１３４が配設される箱形の筐体である。筐体２３１は、例えば、樹脂製であり、利用者が手に持つのにちょうど良いサイズを有する。筐体２３１の前側にはマーカ１３２とガイドバー１３５が取り付けられている。

振動素子２３３は、図２３の右側に拡大して平面構成を示すように、５行×５列のマトリクス状に配置される２５個のアクチュエータ２３３Ａを有する。アクチュエータ２３３Ａは、例えば、ピエゾ素子又はＬＲＡのような圧電素子を含むものであればよい。２５個のアクチュエータ２３３Ａは、別々に駆動できるようになっている。

２５個のアクチュエータ２３３Ａは、遮断部２３３Ｂによって区画されており、互いの振動が伝わらないようになっている。遮断部２３３Ｂは、例えば、防振構造を有するゴム部材であり、減衰比の高い防振ゴムを用いることができる。

このような操作端末機２３０は、実施の形態１の操作端末機１３０と同様に、ポインタ１３０Ａを操作するために用いられる。

図２４は、実施の形態２の振動データを示す図である。

振動データは、振動データは、物品ＩＤ、物品名称、材質、部位名称、振動強度、及び振動時間を有する。物品ＩＤ、物品名称、材質、部位名称、及び振動時間については、図７に示す実施の形態２の振動データと同様である。

振動強度は、２５個のアクチュエータ２３３Ａを別々に駆動する駆動信号の振幅(Vpp)を表す。振幅は、ピーク・トゥ・ピークの電圧値で示してある。振動強度は、一例として、Corner(角)が最も強く、Edge(辺)は中間的な強度であり、Surface(面)は最も弱い値に設定されている。

また、２５個のアクチュエータ２３３Ａを別々に駆動するために、駆動信号は、５行×５列の行列式で表される。

例えば、物品ＩＤが001で、物品名称がPlateで、材質がSteel(鉄)で、部位名称がCorner(角)の場合には、５行×５列の２５個のアクチュエータ２３３Ａのうちの中央に位置する１つのアクチュエータ２３３Ａを振動強度１０で駆動し、振動時間は２０ｍｓに設定されている。

また、部位名称がEdge(辺)の場合には、２５個のアクチュエータ２３３Ａのうちの中央部の３行×３列の９個のアクチュエータ２３３Ａを振動強度７で駆動し、振動時間は２０ｍｓに設定されている。

また、部位名称がEdge(辺)の場合には、２５個のアクチュエータ２３３Ａのすべてを振動強度３で駆動し、振動時間は２０ｍｓに設定されている。

このようにして、Corner(角)、Edge(辺)、Surface(面)の触感をアクチュエータ２３３Ａの数と、振動強度１０とで再現している。

以上のような振動データは、現実世界で物品の表面を手で触った場合の触感を２５個のアクチュエータ２３３Ａの振動によって再現するために、部位に応じて振動強度と振動時間が設定されている。

なお、振動データは、処理装置１２０のデータ保持部１２４に格納されている。

図２５は、実施の形態１の処理装置１２０が実行する処理を示すフローチャートである。ここでは、一例として、図１に示すように、スクリーン１１０Ａに物品１１１及び１１２の画像を表示させる場合について説明する。

処理装置１２０は、電源投入後に処理を開始する（スタート）。

ステップＳ２１〜Ｓ２６の処理は、それぞれ、図１１に示すステップＳ１〜Ｓ６と同様である。

実施の形態２の操作端末機２３０は、ポインタ１３０Ａと物品との接触した方向を触感で提供することを行わないため、図２５に示すフローチャートは、図１１に示すステップＳ７に対応するステップを含まない。

このため、ステップＳ２６が終了すると、ステップＳ２７〜Ｓ３０の処理が実行される。ステップＳ２７〜Ｓ３０の処理は、それぞれ、図１１に示すステップＳ８〜Ｓ１１と同様である。主な違いは以下の通りである。

ステップＳ２９では、処理装置１２０は、ポインタ１３０Ａが接触した物品１１１の物品ＩＤと、ステップＳ２７で判定した部位とを用いて、振動データ（図２４参照）から振動強度と振動時間を読み出す。ここでは、２５個のアクチュエータ２３３Ａの駆動信号を読み出すことになる。

ステップＳ３０では、処理装置１２０は、２５個のアクチュエータ２３３Ａの駆動信号を生成し、通信部１２６を介して、操作端末機２３０に送信する。この結果、操作端末機２３０のアクチュエータ２３３Ａが駆動される。

以上のような処理により、物品の部位又は材質に応じて、２５個のアクチュエータ２３３Ａの振動強度と振動時間が決定され、操作端末機２３０を介して利用者に物品の部位又は材質に応じた触感が提供される。

また、図２６及び図２７を用いて、アクチュエータ２３３Ａを駆動する駆動信号の振動強度及び振動時間について説明する。ここでは、特に断らない限り、物品１１１とポインタ１３０Ａとが接触する場合について説明する。物品１１１は、シミュレーションシステム１００でスクリーン１１０Ａに表示する物品の一例である。このため、物品１１１以外の物品にポインタ１３０Ａが接触する場合も同様である。

図２６は、ポインタ１３０Ａで触れる物品１１１の部位と、振動パターンとの関係を表す図である。

図２６の右側では、２５個のアクチュエータ２３３Ａのうち、駆動されるアクチュエータ２３３Ａをグレーで示す。また、振動強度が大きいほど、濃いグレーで示す。ここでは、３段階の濃さのグレーで、振動強度の大、中、小を表す。なお、駆動されないアクチュエータ２３３Ａを白で示す。

ポインタ１３０Ａが角１１１Ａに触れると、２５個のアクチュエータ２３３Ａのうちの中央に位置する１つのアクチュエータ２３３Ａを駆動し、振動強度（振幅）を大（強）にする。

ポインタ１３０Ａが辺１１１Ｂに触れると、２５個のアクチュエータ２３３Ａのうちの中央側に位置する９つのアクチュエータ２３３Ａを駆動し、振動強度（振幅）を中くらいにする。

また、２５個のアクチュエータ２３３Ａのすべてを駆動し、ポインタ１３０Ａが面１１１Ｃに触れると、振動強度（振幅）を弱く（小さく）する。

このように、ポインタ１３０Ａが物品１１１の角１１１Ａ、辺１１１Ｂ、面１１１Ｃのうちのどの部位に触れるかによって駆動するアクチュエータ２３３Ａの数と振動強度を変える。

このように、一例として、接触する部位に応じて駆動するアクチュエータ２３３Ａの数と振動強度を変化させることにより、操作端末機２３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品１１１の部位に応じた触感を提供することができる。

図２７は、ポインタ１３０Ａで触れる物品１１１の材質と、振動パターンとの関係を表す図である。

図２７では、物品１１１及び１１２等のような物品の材質に応じて、振動時間を変化させる。

実施の形態１で説明したように、物品のヤング率に応じて、硬い材質、柔らかい材質、中くらいの材質に予め分けて振動データを作成しておく。例えば、ヤング率が１０ＧＰａ以上の材質を硬い材質、１ＧＰａ〜１０ＧＰａの材質を中程度の硬さの材質、１ＧＰａ以下の材質を柔らかい材質として定義しておくとする。

ポインタ１３０Ａが触れる物品の材質が硬い場合は、アクチュエータ２３３Ａの振動時間を短くする。また、このとき、２５個のアクチュエータ２３３Ａのうちの中央に位置する１つのアクチュエータ２３３Ａを駆動してもよい。

ポインタ１３０Ａが触れる物品の材質が中くらいの硬さである場合は、アクチュエータ２３３Ａの振動時間を中くらいにする。また、このとき、２５個のアクチュエータ２３３Ａのうちの中央側に位置する９つのアクチュエータ２３３Ａを駆動してもよい。

また、ポインタ１３０Ａが触れる物品の材質が柔らかい場合は、アクチュエータ２３３Ａの振動時間を長くする。このときは、２５個のアクチュエータ２３３Ａのすべてを駆動すればよい。

このように、ポインタ１３０Ａが触れる物品の材質によって振動時間を変えれば、操作端末機２３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品の材質に応じた触感を提供することができる。

なお、図２６で説明したように部位に応じて振動強度を変化させることと、図２７で説明したように材質に応じて振動時間を変化させることとを組み合わせてもよい。このようにすれば、物品の部位と材質とに応じて、振動パターンを変化させることができる。

以上のように、実施の形態２のシミュレーションシステムによれば、操作端末機２３０で操作するポインタ１３０Ａが、スクリーン１１０Ａに投影される画像の中で、物品１１１又は１１２のような物品と接触した場合に、接触した物品の部位又は材質に応じてアクチュエータ２３３Ａを振動させる振動パターンを変える。

このため、物品の部位又は材質に応じた触感を利用者に提供することができる。利用者は、触感だけで部位又は材質の違いを認識することができる。

以上のように、実施の形態２のシミュレーションシステムによれば、物品の部位又は材質に応じた触感を利用者に提供することができる。このような触感は、現実空間において手で物品を触っている触感を模擬的に表しており、リアリティに富んでいる。

従って、実施の形態２によれば、リアリティのある触感を提供できるシミュレーションシステムを提供することができる。

ここで、図２８乃至図３３を用いて、実施の形態２の変形例について説明する。

図２８乃至図３３は、実施の形態２の変形例を示す図である。

図２８に示す操作端末機２３０Ａは、図２３に示す操作端末機２３０の振動素子２３３を振動素子２３３Ｃに変更したものである。振動素子２３３Ｃは、３行×３列でマトリクス状に配置される９個のアクチュエータである。各アクチュエータは、図２３に示すアクチュエータ２３３Ａと同様である。

振動素子２３３Ｃは、遮断部２３３Ｂを含まない点が図２３に示す操作端末機２３０の振動素子２３３と異なる。

このような操作端末機２３０Ａを図２３に示す操作端末機２３０の代わりに用いてもよい。

図２９に示す操作端末機２３０Ｂは、図２３に示す操作端末機２３０の振動素子２３３を吸引素子２５０に変更したものである。吸引素子２５０は、５行×５列でマトリクス状に配置される２５個の吸引口２５０Ａを有する。吸引口２５０Ａの奥側には、吸引を行うバキューム装置のような吸引機構が接続されている。

吸引口２５０Ａは、互いに離間して配置されており、吸引機構も互いに独立している。吸引を行う吸引口２５０Ａの数を図２３に示すアクチュエータ２３３Ａを駆動する数と同様に制御すればよい。また、吸引の強さを図２３に示すアクチュエータ２３３Ａを駆動する振動強度と同様に制御すればよい。

このような操作端末機２３０Ｂを図２３に示す操作端末機２３０の代わりに用いてもよい。

図３０に示す操作端末機２３０Ｃは、図２３に示す操作端末機２３０の振動素子２３３を可動素子２６０に変更したものである。可動素子２６０は、４行×４列でマトリクス状に配置される１６個の可動ピン２６０Ａを有する。可動ピン２６０Ａの裏側には、可動ピン２６０Ａを上下に移動させるアクチュエータが配置されている。

可動ピン２６０Ａは、互いに離間して配置されており、アクチュエータも互いに独立している。駆動する可動ピン２６０Ａの数を図２３に示すアクチュエータ２３３Ａを駆動する数と同様に制御すればよい。また、可動ピン２６０Ａを駆動する強さ又は高さを図２３に示すアクチュエータ２３３Ａを駆動する振動強度と同様に制御すればよい。

このような操作端末機２３０Ｃを図２３に示す操作端末機２３０の代わりに用いてもよい。

図３１乃至図３３に示す操作端末機２３０Ｄは、図１９乃至図２１に示す操作端末機１３Ｄと同様に指に装着できるようにしたものである。

図３１は、平面図であり、図３２は、図３１のＢ−Ｂ矢視断面図であり、図３３は、左後方から見た斜視図である。なお、図３１及び図３２では、マーカ１３２を省略する。

操作端末機２３０Ｄは、筐体２３１Ｄ、マーカ１３２、振動素子２３３Ｄ、及びボタン１３４を有する。

筐体２３１Ｄは、内部に指を挿入できる穴部を有する円筒状の部材であり、指を挿入する方向における奥側は封止されている。

振動素子２３３Ｄは、筐体２３１Ｄの内部で、指先のひらの部分に当接するように配置されている。振動素子２３３Ｄの駆動方法は、図２３に示す振動素子２３３と同様である。

このような操作端末機２３０Ｄを指に装着すれば、ポインタ１３０Ａが物品に接触した際の部位及び材質に応じて、触感を提供することができる。

以上、本発明の例示的な実施の形態のシミュレーションシステムについて説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１００ シミュレーションシステム
１１０Ａ スクリーン
１１０Ｂ 投影装置
１１０Ｃ ３Ｄ眼鏡
１１１、１１２ 物品
１２０ 処理装置
１２１ 位置検出部
１２２ 接触判定部
１２３ 映像出力部
１２４ データ保持部
１２５ 駆動制御部
１２６ 通信部
１３０、１３０Ｂ、１３０Ｃ、１３０Ｄ 操作端末機
１３０Ａ ポインタ
１３１ 筐体
１３２ マーカ
１３３Ｒ、１３３Ｌ 振動素子
１３４ ボタン
１３５ ガイドバー
１４０ 位置計測装置
１４０Ａ、１４０Ｂ 赤外線カメラ
２３０、２３０Ａ、２３０Ｂ、２３０Ｃ、２３０Ｄ 操作端末機
２３１ 筐体
２３３ 振動素子

Claims (8)

1. 物品の形状と座標を表す物品データに基づいて前記物品の画像を表示する表示部と、
   複数の可動素子を有し、利用者が手に持ちながら移動させることによって前記表示部に表示されるポインタの位置を操作する操作端末機と、
   前記物品データと、前記複数の可動素子を振動させる振動パターンであって、前記物品の各部位又は材質の触感に応じた振動パターンを表す振動データとを格納するデータ格納部と、
   前記操作端末機の位置及び姿勢を検出する第１検出部と、
   前記第１検出部によって検出される前記位置及び姿勢に基づき、前記表示部に表示される前記ポインタの座標を検出する第２検出部と、
   前記物品データに含まれる座標と、前記第２検出部によって検出される前記ポインタの座標とに基づき、前記表示部に表示される前記物品に、前記ポインタが接触したかどうかを判定する判定部と、
   前記判定部によって前記ポインタが前記物品に接触したと判定されると、前記ポインタに接触した前記物品の部位又は材質に前記振動データで対応する前記振動パターンで前記複数の可動素子を駆動する駆動制御部と
   を含む、シミュレーションシステム。
2. 前記判定部は、前記表示部に表示される前記物品の位置と、前記ポインタの位置との差が所定値以下になると、前記物品に前記ポインタが接触したと判定する、請求項１記載のシミュレーションシステム。
3. 前記判定部は、前記物品に前記ポインタが接触した方向を判定し、
   前記駆動制御部は、前記複数の可動素子のうち、前記ポインタに対して前記物品が位置する方向にある可動素子を前記振動パターンで駆動する、請求項１又は２記載のシミュレーションシステム。
4. 前記振動データは、前記物品の部位又は材質に応じて、可動素子を駆動する強度、前記可動素子を駆動する時間、又は、前記複数の可動素子のうちの前記振動パターンで駆動される可動素子の数を設定したデータである、請求項１乃至３のいずれか一項記載のシミュレーションシステム。
5. 前記複数の可動素子のうちの前記振動パターンで駆動される可動素子の数によって、前記触感を表す面積が設定される、請求項４記載のシミュレーションシステム。
6. 前記第２検出部及び前記駆動制御部と、第１通信部とを有する演算処理装置をさらに含み、
   前記操作端末機は、前記第１通信部と無線通信を行う第２通信部をさらに有し、
   前記操作端末機の前記複数の可動素子は、前記無線通信によって前記演算処理装置から受信する、前記駆動制御部が出力する駆動指令によって駆動される、請求項１乃至５のいずれか一項記載のシミュレーションシステム。
7. 前記複数の可動素子は、複数の振動素子であり、
   前記操作端末機は、
   前記複数の振動素子がそれぞれ搭載される複数の基板部と、
   前記複数の基板部の間に設けられ、振動を遮断する遮断部と
   をさらに有する、請求項１乃至６のいずれか一項記載のシミュレーションシステム。
8. 前記複数の可動素子は、それぞれ、利用者が触れる面に対して入れ子式に突出する複数の駆動素子、又は、利用者が触れる面に形成される複数の孔部で吸引する複数の吸引機構である、請求項１乃至６のいずれか一項記載のシミュレーションシステム。

Images