JP5951994B2 - 対話型ペインティングゲーム及び関連するコントローラ - Google Patents

Description

本開示は、一般に、対話型のペインティングゲーム及び関連するコントローラに関する。

テレビゲーム及びテレビゲームシステムの人気がますます上がっている。これは、マーケティング活動がカジュアルゲーマーに対してなされるようになり、その結果としてカジュアルゲーマーが参加するようになったためである。人気があるテレビゲーム及びコンピュータシステムとして、ペインティングに関する（painting-based）ゲームが挙げられる。かかるペインティングゲームにおいては、通常のパーム型コントローラ又はコンピュータマウスを用いて、表示された仮想の絵筆を仮想キャンバス上で移動させている。しかしながら、ユーザにとって、今までの携帯用ゲームコントローラやそれに付随するソフトウェアゲームは、現実の表面又は仮想的な表面に絵を描くという現実味のあるゲーム体験に没頭できるようなものではなかった。

本発明の実施形態は、シングルプレイヤーゲーム又はマルチプレイヤーゲームにおいて、各ユーザが、触覚的に改良されたコントローラを用いて、仮想的に又は実際の表面に芸術作品又はグラフィティ作品を制作することができるゲームコンセプトを開示する。この視覚芸術作品は、仮想的に、すなわち仮想表面上に、又は、実際の表面上に制作された芸術作品又はグラフィティ作品であってもよい。前記コントローラは、マーカ、絵筆、塗料スプレー缶、又はこれらの同等物を用いたときの体験を再現することができる。様々なコントローラのコンポーネントは、芸術作品又はグラフィティの創作体験を拡張するためにモジュール化されており、コンポーネントの入れ替えは容易である。ハプティックフィードバック（haptic feedback）によって、現実世界におけるインク又は塗料を表面に使用する体験がシミュレートされる。塗料用スプレー缶型のコントローラが用いられる場合には、前記ユーザに伝達される音響及びハプティック感覚を含む様々な周辺装置(peripheral enhancement)の増強により塗料を消費する体験が再現される。

本発明の一態様に従って、ディスプレイにグラフィックシミュレーションを表示するソフトウェアプログラムを実行するように構成されたコンピュータと、三次元空間を自由に移動できるように構成されたユーザによって把持可能なコントローラと、備え、前記ソフトウェアプログラムは、ユーザが前記グラフィックシミュレーション内で視覚芸術作品を制作できるように構成され、前記コントローラは、前記三次元空間における前記コントローラの位置情報を追跡するとともに前記位置情報を表すセンサー信号を前記コンピュータに送信するように構成されたセンサーと、前記コントローラに接続されたプロセッサから制御信号を受信するとハプティック効果を前記ユーザに出力するように構成されたアクチュエータと、を備え、前記ユーザによって把持可能なコントローラが、前記視覚芸術作品を制作するように構成された筆記用具及び絵画用具を表すシステムが提供される。

本発明の一態様に従って、ユーザによって三次元空間を自由に移動できるように構成されたユーザによって把持可能なコントローラと、前記コントローラから遠隔に配置され、ソフトウェアプログラムを実行するように構成されたホストコンピュータと、を備え、前記コントローラは、前記コントローラの前記三次元空間における物理的な位置を監視するように構成された位置センサーを含み、前記コントローラは、前記ユーザが前記コントローラを用いて指定した位置にデータタグ付するように構成されるとともに、前記コントローラが前記データタグを付したのちに信号を送信するように構成され、前記ホストコンピュータは、前記受信信号から前記ユーザを識別するとともに前記データタグの位置を記憶するように構成され、前記記憶されたデータタグの情報及び前記ユーザの識別情報が前記ホストコンピュータからアクセス可能となっているゲームが提供される。形状、テキスチャー、外観の他の側面、タイムスタンプ、ジェスチャー等のタグに関する上記以外のデータが記憶されてもよい。

本発明の一態様に従って、各ユーザによって三次元空間を自由に移動できるように構成された複数の一意に識別可能なコントローラと、前記コントローラから遠隔に配置され、ソフトウェアプログラムを実行するように構成されたホストコンピュータと、を備え、各コントローラが、前記コントローラの前記三次元空間における物理的な位置を監視するように構成された位置センサーを含み、各コントローラは、様々なユーザが指定した位置において表面にデータタグ付するように構成されるとともに、前記コントローラによって前記データタグが付されると対応する信号を送信するように構成され、前記ホストコンピュータは、各受信信号から各ユーザを識別するとともに前記データタグの位置を記憶するように構成され、前記記憶されたデータタグの情報及び前記ユーザの識別情報が前記ホストコンピュータからアクセス可能となっているゲームが提供される。

添付図面は、本明細書に組み込まれて本明細書の一部を構成し、実施形態の一又は複数の例を示すとともに、例示的な実施形態の説明と相俟って実施形態の原理及び実装について説明する。

本発明の実施形態に従って、マーカ形状のゲームコントローラの側面図を示す。 本発明の実施形態に従って、マーカ形状のゲームコントローラの側面図を示す。

本発明の実施形態に従って、絵筆形状のゲームコントローラの側面図を示す。 本発明の実施形態に従って、絵筆形状のゲームコントローラの側面図を示す。

本発明の実施形態に従って、塗料用スプレー缶形状のゲームコントローラの側面図を示す。 本発明の実施形態に従って、塗料用スプレー缶形状のゲームコントローラの側面図を示す。

図３Ｂに示されている塗料用スプレー缶型のゲームコントローラの着脱可能な上部の実施形態を示す。 図３Ｂに示されている塗料用スプレー缶型のゲームコントローラの着脱可能な上部の実施形態を示す。 図３Ｂに示されている塗料用スプレー缶型のゲームコントローラの着脱可能な上部の実施形態を示す。

本発明の一実施形態に従って、改良された塗料用スプレー缶型のゲームコントローラを示す。

本発明の一実施形態に従ったステンシルを示す。

本発明の実施形態に従ったゲームコントローラの様々な着脱可能なコンポーネントを示す。

本発明の一実施形態に従ったハイブリッド型のゲームコントローラを示す。

本発明の一実施形態に従って、ゲームシステムにおいて用いられるゲームコントローラのブロック図を示す。

本発明の一実施形態に従って、ビューアのブロック図を示す。

本明細書において、対話型ペインティングゲーム及び関連するコントローラに即して、例示的な実施形態を説明する。当業者に明らかなように、以下の実施形態の詳細な説明は単に説明のためのものにすぎず、如何なる意味においても本発明を限定するためのものではない。本開示の利点を有する他の実施形態を理解することは当業者にとっては容易であろう。例示実施形態の実施態様について、添付図面を参照した詳細な説明が提示される。同一又は類似の部分を指し示す際には、図面及び詳細な説明全体にわたって同一の参照符号を用いる。

本明細書では、実施態様の一般的な特徴の全てが図示又は説明されるとは限らない。当然のことながら、実際の実施態様の開発においては、開発者固有の目的を達成するために、実施態様に特有の決定が数多くなされる。開発者に固有の目的とは、例えば、応用に当たっての制約や事業における制約を遵守することである。また、これらの目的が実施態様ごとに異なり、開発者ごとにも異なることも当然である。また、かかる開発は複雑な上に時間を要するものであるが、本明細書に接した当業者にとっては通常のエンジニア業務といえる。

本明細書において説明される構成、処理ステップ、及び／又はデータ構造は、本開示に従って、様々な種類のオペレーティングシステム、コンピュータプラットフォーム、コンピュータプログラム、及び／又は汎用コンピュータを用いて実装される。また、当業者であれば、本明細書で説明される本発明の概念の範囲及び趣旨から逸脱することなく、ハード・ワイヤード装置、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）又はこれらの同等物等の汎用度の低い装置を用いた実装も可能であることを理解するであろう。「一実施形態」という語句は、一つ以上の実施形態を含み、単一の実施形態に限定されるものではない。一連の処理ステップを含む方法がコンピュータ又はマシンによって実現され、当該処理ステップがマシンによって読み取り可能な一連のコマンドとして保存される場合には、当該処理ステップは、コンピュータメモリ装置（例えば、ＲＯＭ（Read Only Memory）、ＰＲＯＭ（Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュメモリ、メモリスティック、及びこれらの同等物）、磁気記録媒体（例えば、テープ、磁気ディスクドライブ、及びこれらの同等物）、光学記録媒体（例えば、CD-ROM、DVD-ROM、紙カード、紙テープ、及びこれらの同等物）、及びこれら以外の種類のプログラムメモリ等の有形媒体に保存されてもよい。

図１Ａ、図１Ｂ、図２Ａ、図２Ｂ、図３Ａ、図３Ｂ、及び図３Ｆは、本発明の実施形態に従って、ゲームにおいて用いられる様々な触覚型（haptically enabled）の筆記用具／ペインティング用具（絵画用具）コントローラを示す。図１Ａ及び図１Ｂは、対話型ゲームにおいて用いられるマーカ型コントローラの２つの実施形態１００及び実施形態１５０を示す。図２Ａ及び図２Ｂは、対話型ゲームにおいて用いられる絵筆型コントローラの２つの実施形態２００及び実施形態２５０を示す。図３Ａ、図３Ｂ、及び図３Ｆは、対話型ゲームにおいて用いられる塗料スプレー缶型コントローラ３００、３５０、及び３８５の別の実施形態を示す。これらの図に示されているコントローラは例示にすぎず他の構成も用いることができる。一実施形態において、コントローラは、携帯電話、スマートフォン、携帯型コンピュータ、デジタルカメラ、個人用ゲーム機（例えば、ＰＳＰ、ニンテンドーＤＳ）、コンピュータ用マウス、ライトペン、スタイラス、及びこれらの同等物であってもよい。

図１Ａに示したマーカ型コントローラ１００は、具体的には、先端１０１を有し、マーカ状に形成された本体１０２を含む。コントローラの本体１０２は、２つの部分、すなわち、先端部１０２Ａと主本体部１０２Ｂとを有する。先端部１０２Ａ及び主本体部１０２Ｂは、図１Ａの実施形態１００に示されているように、一体に又はモノリシックに構成されていてもよく、図１Ｂの実施形態１５０に示されているように、着脱可能なモジュールを含んでいてもよい。着脱可能な先端を有するコントローラの実施形態においては、適当な連結器を用いて本体の先端部１０２Ａを主本体部１０２Ｂに着脱可能に取り付けることができる。例えば、実施形態１５０においては、ピン１１０Ａ及びピン１１０Ｂが先端部１０２Ａから突き出ており、主本体部１０２Ｂに設けられた対応する相補的スロット１１２Ａ及び１１２Ｂとしっかり結合することができる。一実施形態においては、スロット１１２Ａ及び１１２Ｂを先端部１０２Ａに設け、ピン１１０Ａ及び１１０Ｂを主本体部１０２Ｂに設けてもよい。ピン及びスロットの位置及び数は変更することができる。ピン／スロットの構成に代えて、他の種類の機械的な及び／又は磁気的な結合機構を用いることもできる。しかしながら、連結器は、本体１０２に収容されている機能ブロック（太線で示されている）間の有線接続（細線で示されている）又は無線接続のための導管を提供する必要がある。コントローラ１００は、一又は複数のセンサー１０４Ａ及び１０４Ｂ、一又は複数のアクチュエータ１０６Ａ及び１０６Ｂ、一又は複数のセンサー１０４Ａ及び１０４Ｂ及び一又は複数のアクチュエータ１０６Ａ及び１０６Ｂに接続されたローカル・プロセッサ１０８、並びに入出力ポート１１０を含む。入出力ポート１１０は、コントローラ１００が図１Ａには示されていないホストコンピュータ（例えば、テレビゲーム機、サーバ、デスクトップコンピュータ）等の他の装置と通信できるように、適当な公知の技術を用いて図示のような有線又は無線で構成される。コントローラ１００は、ローカル・プロセッサ１０８に接続され、コントローラ１００の使用に関連する音を発生するように構成されたスピーカ１４０も含む。コントローラ１００は、内部にインクカートリッジを収容することにより、インクを先端１０１に供給して表面に塗布するように構成されてもよい。他の実施形態において、コントローラ１００は、実際にはインクや塗料を表面に塗布せずに「仮想的なインク」又は「仮想的な塗料」を塗布するように構成されてもよい。

一実施形態において、マーカ型コントローラ１００は先端センサー１０４Ａ及び本体センサー１０４Ｂを含んでおり、先端センサー１０４Ａは、先端１０１がいつ現実の表面に接触するかを監視し、ローカル・メモリ１０７に接続された先端センサー信号をローカル・プロセッサ１０８に送信する。ローカル・プロセッサ１０８は、ホストコンピュータ（例えば、図６に示されているホストコンピュータ６９０）に対して、ユーザがホストコンピュータのコマンド又はユーザのコマンドに基づいて表面にインクを塗布する状態にあることを通知する。コントローラ１００は、先端センサー１０４Ａの代わりに、ユーザがインクを表面に塗布する状態にあることを通知する同種の通知をホストコンピュータに送信することができるボタン（不図示）を含んでもよい。

本体センサー１０４Ｂは、図１Ａに示されるようにコントローラ１００に組み込まれていてもよい。これにより、本体センサー１０４Ｂは、二次元空間又は三次元空間におけるコントローラの動きを監視及び追跡する。かかる本体センサーは、二次元又は三次元対応の加速度計、ジャイロスコープ、又はこれら以外の適切な機構を含んでもよい。あるいは、本体センサー１０４Ｂは、光、光学、赤外線、ＲＦＩＤ、又はこれら以外の同様の技術を用いてコントローラ１００の位置、速度、及び／又は加速度値をホストコンピュータに通信することもできる。他の実施形態においては、当該コントローラは、タッチスクリーン又はタッチパッドとともに用いられる。本実施形態において、先端１０１は、タッチスクリーン又はタッチパッドのタッチ面に接触しているか、又はタッチ面の近くにあり、これによって、タッチスクリーン又はタッチパッドに沿った先端１０１の動きを追跡することができる。ホストコンピュータは、これに応答して、ソフトウェアによって実行されるグラフィック環境を動的に更新することができる。

また、コントローラ１００は、プロセッサ１０８から制御信号を受信するとハプティック効果を出力するように構成された先端アクチュエータ１０６Ａを含んでもよい。このハプティック効果は、ポップ、クリック、振動、又はこれら以外のハプティック効果であり、このアクチュエータ１０６Ａは、表面に接触しているマーカ１００の実際の感触や表示をユーザに提供する適当なハプティック効果を出力する。

追加的に又は代替的に、本体アクチュエータ１０６Ｂは、好ましくはコントローラ１００の本体１０２内に配置され、プロセッサから対応する制御信号を受信するとハプティック効果を出力する。本体アクチュエータ１０６Ｂは、使用しているマーカの実際の感触をユーザに提供する。かかるハプティック効果には、振動、衝撃、制動効果等が含まれるがこれらには限られない。このアクチュエータ１０６Ａ、１０６Ｂの一方又は両方による振動出力は、ユーザによってマーカに加えられる力の大きさによる。これにより、先端センサー１０４Ａは、力の大きさ（又は先端１０１が動いた距離）を検出する。例えば、ユーザがマーカ１００表面を押す力を強くするほど、アクチュエータ１０６Ａ、１０６Ｂの一方又は両方による振動出力は増加する。一方、ユーザによって表面に加える力が緩められるほど、アクチュエータ１０６Ａ、１０６Ｂの一方又は両方による振動出力は減少する。ソフトウェアは、ゲームの状況に応じて、制御信号を先端アクチュエータ及び／又は本体アクチュエータに適宜送信するようにプログラムされる。

図２Ａに示すブラシ型コントローラ２００の実施形態に関して、コントローラは、ブラシ状の先端２０１を有する本体２０２を含むように示されている。コントローラ本体は、２つの部分、すなわち、先端部２０２Ａと主本体部２０２Ｂとを有する。先端部２０２Ａ及び主本体部２０２Ｂは、図２Ａの実施形態２００に示されているように、一体に又はモノリシックに構成されていてもよく、図２Ｂの実施形態２５０に示されているように、着脱可能なモジュールを含んでもよい。相補的な締結機構２１０Ａ、２１０Ｂ及び２１２Ａ、２１２Ｂを用いて、主本体部２０２Ｂを先端部２０２Ａに結合することができる。

コントローラ２００は、一又は複数のセンサー２０４Ａ、２０４Ｂ、一又は複数のアクチュエータ２０６Ａ、２０６Ｂ、一又は複数のセンサー２０４Ａ、２０４Ｂ及び一又は複数のアクチュエータ２０６Ａ、２０６Ｂに接続されたローカル・プロセッサ２０８、及び入出力ポート２１０を含む。入出力ポート２１０は、コントローラ２００が一又は複数のホストコンピュータと通信できるように、適当な公知の技術を用いて図示のような有線又は無線で構成される。コントローラ２００は、インクカートリッジ又は塗料カートリッジを内部に収容するように構成されてもよい。これにより、カートリッジは、表面にインクや塗料を塗布するために、ホストコンピュータのコマンド又はユーザのコマンドに基づいてインク又は塗料をブラシ２０１に供給する。他の実施形態において、コントローラ２００は、実際にはインクや塗料を表面に塗布せずに「仮想的なインク」又は「仮想的な塗料」をブラシ２０１によって塗布するように構成されてもよい。コントローラ２００は、ユーザがブラシ状の先端２０１を塗料に浸すことができるように構成されてもよく、これにより、当該ブラシ状の先端２０１は、塗料を表面に塗布することができる実際の絵筆として機能する。図示されていないが、コントローラ２００は、図１Ａ及び図１Ｂに示されているコントローラ１００、１５０のスピーカ１４０と同様に、コントローラ２００の使用に関連する音を発生するように構成されたスピーカを含んでもよい。

一実施形態において、マーカ型コントローラ２００は、先端センサー２０４Ａ及び本体センサー２０４Ｂを含む。これにより、先端センサー２０４Ａは、ブラシ型の先端２０１が実際の又は仮想的なキャンバスといつ接触するかを監視し、ローカル・プロセッサ２０８（ローカル・メモリ２０７に接続されている）及び／又はホストコンピュータ（図２Ａ、図２Ｂにおいては不図示）に先端センサー信号を送信する。ローカル・プロセッサ２０８は、好ましくは、ホストコンピュータに、ユーザが表面に塗料を塗布しようとしていることを通知する。コントローラ２００は、先端センサー２０４Ａの代わりに、ユーザに押されたときに同様の通知をホストコンピュータに送信することができるボタン（不図示）を含んでもよい。

本体センサー２０４Ｂは、図２Ａに示すようにコントローラ２００に組み込まれていてもよく、これにより、その本体センサー２０４Ｂは、二次元空間又は三次元空間におけるコントローラの動きを監視及び追跡する。かかる本体センサーは、二次元又は三次元対応の加速度計、ジャイロスコープ又はこれら以外の適切な機構を含んでもよい。あるいは、本体センサー２０４Ｂは、光、光学、赤外線、ＲＦＩＤ、又はこれら以外の同様の技術を用いてコントローラ２００の位置、速度、及び／又は加速度値をホストコンピュータに通信することもできる。他の実施形態において、当該コントローラは、タッチスクリーン又はタッチパッドとともに用いられる。本実施形態において、先端２０１は、タッチスクリーン又はタッチパッドのタッチ面に接触しており、これによって、タッチスクリーン又はタッチパッドに沿った先端２０１の動きを追跡することができる。ホストコンピュータは、これに応答して、ソフトウェアによって実行されるグラフィック環境を動的に更新することができる。

また、コントローラ２００は、プロセッサ２０８から制御信号を受信するとハプティック効果を出力するように構成された先端アクチュエータ２０６Ａを含んでもよい。このハプティック効果は、ポップ、クリック、振動、又はこれら以外のハプティック効果であり、このアクチュエータ２０６Ａは、表面に接触しているブラシ型コントローラ２００の実際の感触をユーザに提供する適当なハプティック効果を出力する。

追加的に又は代替的に、コントローラ２００の本体２０２Ｂ内に配置される本体アクチュエータ１０６Ｂは、ブラシの実際の使用感をユーザに提供するハプティック効果を出力する。かかるハプティック効果には、振動、衝撃、制動効果等が含まれるがこれらには限られない。このアクチュエータ２０６Ａ、２０６Ｂの一方又は両方による振動出力は、ユーザによってブラシに加えられる力の大きさによる。これにより、先端センサー２０４Ａは、力の大きさ（又はブラシ状の先端２０１が動いた距離）を検出する。例えば、ユーザがブラシ型コントローラ２００表面を押す力を強くするほど、アクチュエータ２０６Ａ、２０６Ｂの一方又は両方による振動出力又はテキスチャー出力は増加する。一方、ユーザによって表面に加える力が緩められるほど、アクチュエータ２０６Ａ、２０６Ｂの一方又は両方による振動出力は減少する。

図３Ａに示す塗料用スプレー缶型コントローラの実施形態３００に関して、コントローラ３００は、ノズル３０１を有する本体３０２、一又は複数のセンサー３０４、一又は複数のアクチュエータ３０６、ローカル・メモリ３０７及び一又は複数のセンサー３０４及び一又は複数のアクチュエータ３０６に接続されたローカル・プロセッサ３０８、及び、適当な公知の技術を用いて図示のような有線又は無線で構成された入出力ポート３１０も含まれる。入出力ポート３１０によって、コントローラ３００は、一又は複数のホストコンピュータ（不図示）と通信することができる。コントローラ３００は、スプレー塗料カートリッジを内部に収容するように構成されてもよい。これにより、カートリッジは、塗料を表面に塗布するために、ノズル３００から放出された塗料を供給する。他の実施形態においては、コントローラ３００は、実際には表面にインク又は塗料を塗布せずに「仮想的な塗料」を塗布するように構成されてもよい。

コントローラ本体は、２つの部分、すなわち、先端部３０２Ａと主本体部３０２Ｂとを有する。先端部３０２Ａと主本体部３０２Ｂとは、図３Ａの実施形態３００に示されているように、一体に又はモノリシックに構成されてもよく、図３Ｂの実施形態３５０に示されているように着脱可能に構成されてもよい。相補的な締結機構３１０Ａ、３１０Ｂ及び３１２Ａ、３１２Ｂを用いて、図３Ｂ示されているように、主本体部３０２Ｂを先端部３０２Ａに結合することができる。着脱可能な先端部３０２Ａは、様々な代替的な構成を有する。図３Ｃ‐３Ｅは、先端部３０２Ａの３つの例示的な構成、すなわち、構成３０２Ｃ、構成３０２Ｄ、及び構成３０２Ｅを示す。構成３０２Ａ、３０２Ｃ、３０２Ｄ、及び３０２Ｅにおいては、機能ブロック（太線で示されている）並びに締結機構３１０Ａ、３１０Ｂに通じる内部の有線接続又は無線接続（細線で示されている）の物理的配置が互いに異なっている。機能ブロック及び有線／無線接続の物理的配置によって本発明の範囲が限定されるものでないことは当業者であれば理解できる。先端構成３０２Ｅは、２組の締結機構３１０Ａ−３１０Ｂ及び３１０Ｃ−３１０Ｄを示す。通常の塗料スプレー缶モードが使用されるときには締結機構３１０Ａ−３１０Ｂが用いられ、マーカ／スプレー缶の混合モードが使用されるときには、図５に示すように、締結機構３１０Ｃ−３１０Ｄが用いられる。

一実施形態において、コントローラ３００は、ノズルセンサー３０４Ａ及び本体センサー３０４Ｂを含む。ノズルセンサー３０４Ａは、好ましくは、ノズル３０１がユーザによっていつ押されるかを監視する。センサー３０４Ａは、ノズル３０１がユーザによって押された距離又は開放された距離を測定することもできる。ノズルセンサー３０４Ａは、ユーザによってノズルがいつ押されたか及び／又はどの程度の距離だけ押されたかを示すノズルセンサー信号をローカル・プロセッサ３０８及び／又はホストコンピュータに送信するように構成される。好ましくは、ローカル・プロセッサ３０８は、ホストコンピュータ（不図示）に、ノズル３０１が押されたか否か及びノズル３０１がどの程度の距離だけ押されたかを提示する。ソフトウェアは、ホストコンピュータが表示された表面に仮想的にスプレーされた塗料を対応するように表示できるようにする。ソフトウェアによって、ユーザによって押し下げられたノズル３０１の距離に基づいて、塗料がより濃く又はより薄く表される（例えば、ノズルが軽く押された場合には塗料も薄く表示される）。コントローラ３００は、先端センサー３０４Ａの代わりに、ユーザによって押されたときに同様の通知をホストコンピュータに送信することができるボタン（不図示）を含んでもよい。

また、コントローラ３００は、プロセッサ３０８から対応する制御信号を受信するとハプティック効果を出力するように構成されるノズルアクチュエータ３０６Ａを含んでもよい。かかるハプティック効果には、振動、衝撃、制動効果等が含まれるがこれらには限られない。これにより、アクチュエータ３０６Ａは、缶３００を開けるユーザの指を介してユーザに現実の感覚を提供する適当なハプティック効果をノズルに出力する。ノズル３０１が押し下げられるときに、ノズルアクチュエータ３０６Ｂ又は別体の装置が反対方向の力を生成してもよい。

追加的に又は代替的に、コントローラ３００の本体３０２内に配置される本体アクチュエータ３０６Ｂは、使用される缶３００の現実の感覚をユーザに提供するハプティック効果を出力する。このアクチュエータ３０６Ａ、３０６Ｂの一方又は両方による振動出力は、「仮想スプレー塗料」の量によって異なる。例えば、好ましくは、ノズル３０１が所定のしきい値に相当する距離だけ（例えば、ニュートラルな位置から最も遠い位置まで）、又は、その距離の近くまで押されたことが検知されたときに、ノズル及び／又は本体アクチュエータによって生成される振動が大きくなる。一方、ノズル３０１が軽く押されたときには、振動も小さくなる。

図３Ａ及び３Ｂに示す基本的な塗料スプレー缶の実施形態は、多くの機能コンポーネントを、周辺装置として又はコントローラに一体化された／組み込まれた装置として追加することにより改善される。この追加されたコンポーネントによって、ユーザ体験を改善することができる。例えば、図３Ｆは、改良された塗料スプレー缶の実施形態３８５を示す。実施形態３８５は、振動可能なラトル／ボール３２５、共同設置スピーカ３４０、エアコンプレッサ３３５、適合モータ３３０、及び任意に設けられるＧＰＳ装置３４５、及びカメラ３５５を含む。当業者であれば、これらの装置の全てが単一の実施形態に含まれる必要はないこと、及び異なる実施形態は異なる追加コンポーネントの組み合わせを有してもよいことを理解するであろう。

一実施形態において、エアコンプレッサ３３５又はそれ以外の同様の装置は、ユーザがノズル３０１を押し下げたときにノズル３０１から空気を放出する。空気を排出するときに、エアコンプレッサ３３５によって、スプレー缶コントローラが軽くなっているように感じられる。空気の放出音を増幅するために、エアコンプレッサ３３５をスピーカ３４０と接続してもよい。多くの場合、音響がユーザ体験を向上させるための重要な要素となる。そこで、一実施形態には、共同設置スピーカ３４０が含まれる。コントローラの使用体験をより現実に近いものとするために、スプレー缶コントローラにこれら以外の特徴が含められてもよい。例えば、コントローラ３８５は、振動可能なラトル／ボール３２５を本体内に含み、振られたときに現実のスプレー缶を再現できるようにしてもよい。ラトルを揺らすときの音は、共同設置スピーカ３４０によって増幅される。より多くの塗料を消費して缶内での塗料の量が少なくなると、異なる粘着感がシミュレートされラトルの振動と関連づけられる。ハプティックフィードバックは、実際のスプレー缶の使用体験をシミュレートするためにアクチュエータ３０６Ｂに接続された適合モータ３３０によって生成される。また、スプレー缶コントローラは、外表面に結合されたペルチェ冷却装置又はそれ以外の冷却装置を含んでもよく、これにより、より多くの空気が放出されるほどスプレー缶コントローラの外表面が冷たく感じられるようになる。

ＧＰＳ３４５及びカメラ３５５は、図７を参照して説明されるように、マルチプレイ用のオンラインゲームにおける体験を向上させることができる。

図３Ｇは、外部装着キャップ３２２の正面図を示す。外部装着キャップ３２２は、適切に位置合わせすることによってノズル３０１とともに用いられるステンシル３０３を有する。図３Ｆに、キャップ３２２及び位置決めされたステンシル３０３の側面図が示されている。当業者であれば、キャップ３２２と類似の実際のキャップを接続するか、ソフトウェアによってステンシルの形状をシミュレートすることにより、様々なステンシル形状が適用可能であることを理解するであろう。ユーザは、一連の利用可能な形状から好ましいステンシルの形状を自由に選択することができる。

また、図４に示されているように、コントローラは、３つの主要コンポーネント、すなわち、先端部、主本体部、及び主要回路にモジュール化することができる。図４は、絵筆先端部２０２Ａ（図４（Ｃ））及びマーカ先端部１０２Ａ（図４（Ｄ））等の様々な先端部、絵筆本体２０２Ｂ（図４（Ａ））及びマーカ本体（図４（Ｂ））等の様々な主本体部、並びに絵筆主要回路４００Ａ（図４（Ｅ））及びマーカ主要回路４００Ｂ（図４（Ｆ））等の様々な主要回路を示す。コントローラをこのようにモジュール化することで、他のコントローラに変更することなく新しいハードウェア構成や新しいユーザ体験のための混合又は変形されたコンポーネントが可能になる。また、このモジュール化コンポーネントシステムによって、より小さなコントローラ本体をより大きな本体に収容すること、例えば、ユーザがマーカ先端を取り除くことでスプレー缶本体と協調した素早い対話ができるようにマーカ本体をスプレー缶ハウジング内に収容することが可能になる。スプレー缶本体に挿入されたマーカ本体の一実施形態が図５におけるスプレー缶の実施形態５００において示されている。本体３０２Ｅの先端部の内部配線及び締結機構の構成によって、マーカ型コントローラ本体１０２Ｂ及びマーカ型コントローラ主要回路４００Ｂと連動した動作が支援される。

上述したコントローラの任意のもの又は全てにおいて、当該コントローラは、ゲームプレイ中に様々な機能を作動するように構成された一又は複数の十字キーを含むことができる。例えば、当該十字キーを用いて、ユーザをシミュレートしたキャラクター及び／又はグラフィック環境において表示されたブラシ又はスプレー缶を操作することができる。

図６は、ソフトウェアプログラムを動作させるホストコンピュータ６９０とともに用いられるコントローラ６００のブロック図を示す。以後、説明を簡潔にするために、「コントローラ」という用語は、コントローラ６００のことを示すものとする。ただし、上述の任意のコントローラ、すなわち、マーカ型コントローラ、塗料ブラシ型コントローラ、スプレー缶コントローラ又はこれらの組み合わせも利用できる。

コントローラの一又は複数のアクチュエータについて、ローカル・プロセッサ６０８は、好ましくは、ホストコンピュータ６９０からの高レベル監督コマンド又はストリーミングコマンドに基づいて、ハプティック効果信号をアクチュエータ６０６Ａ−６０６Ｂに提供する。ストリーミングの実施形態においては、電圧振幅及び期間がコントローラ６００に流され、情報がホストコンピュータ６９０におってアクチュエータ６０６Ａ−６０６Ｂに提供される。動作時には、ホストコンピュータ６９０は、ローカル・プロセッサ６０８に対して、一又は複数の選択されたアクチュエータによって出力すべきハプティック効果の種類（例えば、振動、衝撃、戻り止め（detent）、ポップ等）等の高レベルコマンドを提供することができる。これにより、ローカル・プロセッサ６０８は、アクチュエータ６０６Ａ−６０６Ｂに対して、出力すべきハプティック効果の具体的な特徴（例えば、大きさ、頻度、期間等）を指示することができる。このようなハプティック効果によって、ユーザは、コントローラ６００が実際の筆記／ペインティング装置と類似する感触を持つと感じるようになる。

一実施形態において、ホストコンピュータ６９０は、Play station、Xbox、又はWii等の専用のテレビゲームシステムであってもよい。一実施形態において、ホストコンピュータ６９０は、コントローラ６００と通信する一又は複数のサーバであってもよく、又は、そのようなサーバと接続されていてもよい。これにより、ソフトウェアプログラムの少なくとも一部がサーバ及び／又はホストコンピュータの一又は複数において実行される。一実施形態において、当該ソフトウェアは、オンラインゲーム又は多人数同時参加型オンラインゲーム（ＭＭＯＧ）を実行可能に構成される。この場合、当該ソフトウェアは、複数のリモートサーバ及び／又はローカルサーバで同時に処理されてもよい。

一実施形態において、ソフトウェアを用いることにより、ユーザは、仮想的なペインティング（painting）又はドローイング（drawing）を生成することができる。仮想的なペインティング又はドローイングは、本体センサー及び／又は先端センサー６０４Ａ−６０４Ｂを用いて、ユーザの操作による二次元又は三次元のコントローラ６００の動きを追跡することにより行われる。例えば、当該ソフトウェアは、表面の正面に（すなわち、一人称視点）ユーザのマーカ、絵筆、又はスプレー缶の仮想的な描写又はグラフィック描写を表示する。これにより、ソフトウェアは、コントローラ６００の動きの検出結果に応答して、ユーザのマーカ、絵筆、又はスプレー缶のグラフィック描写を対応するように動かすことができる。好ましくは、このソフトウェアは、ユーザがコントローラ６００を用いて様々な色及び様々な種類の筆記具／ペインティング用具（例えば、ペン、木炭、絵筆等）を選択することができるようにする。また、手や使用する筆記用具／ペインティング用具を描画し、それによりユーザの実世界の動きを再現する。例えば、円弧や任意の軌道上を滑らかで自然に様々な速度で動く手の動きが再現される。他の実施例では、ソフトウェアは、アバターやゲームキャラクターの仮想的な描写又はグラフィック描写を表示することができる（すなわち、三人称視点）。ユーザは、十字キーを用いるなどして、コントローラ６００により、このアバターやキャラクターを制御することができる。この例では、ソフトウェアは、ユーザがユーザのキャラクターの制御（すなわち、三人称視点）と筆記具／ペインティング用具（すなわち、一人称視点）の制御とを十分な正確性で切り替えることができるようにする。ハプティックス（触覚）によって、体験の質をさらに向上させることができる。例えば、ソフトウェアは、コントローラ６００により把握されるユーザのジェスチャーを一又は複数の所定の記憶されたジェスチャーと比較することができる。一実施形態において、コントローラ６００は、ユーザのジェスチャーが記憶されたジェスチャーに従っている限り、ハプティック効果（例えば、低周期で強い振動）を出力するようにプログラムされる。あるいは、コントローラ６００に備えられたアクチュエータは、ユーザのジェスチャーが比較対象の記憶されたジェスチャーから外れたときに、ハプティック効果（例えば、衝撃又は弱い振動）を出力するようにプログラムされる。このようなハプティックスの利用により、所定の絵画技術（例えば、幅広のストロークとそれに対する短いストローク）や所定のスタイル（例えば、印象派と抽象派）に関してユーザを効率よくトレーニングすることができる。

一実施形態において、ソフトウェアは、テレビゲームとして構成される。これにより、ユーザは、三次元のオープンなシティ環境（例えば、グランド・セフト・オート（Grand Theft Auto）やセカンドライフ（Second Life））を行き来し探索することができる。この三次元のオープンなシティ環境において、ユーザは、コントローラ６００を用いてその仮想環境を行き来し、環境に表示される仮想構造物（例えば、給水塔、列車の車両、政府ビル等）に絵を描くことができる。このゲームの実施形態における目的は、ミッションに基づいてシティにおいて指定された構造物を「タグ付け」することであってもよい。「タグ」は、ユーザが生成又は指定するユーザの名前、ロゴ、シンボル、又はデザイン（以下「デザイン」という。）であってもよい。一実施形態において、ソフトウェアは、ユーザがコントローラ６００を用いて手動でデザインを描写することができるようにする。あるいは、ユーザは、予め描画されたデザインを選択することができる。この場合、ソフトウェアは自動的に記憶されたデザインを読み出し、読み出したデザインをユーザの操作に応じて壁又は構造物にタグ付けする。追加的に又は代替的に、ユーザは、任意にタグを描き直すことができ、異なるデザインを描くこともできる。ゲームは、ユーザが「タグ付け」した壁や又は構造物の数に基づいてポイントを付与するように設計されてもよい。この場合、プレイヤーは、累積ポイントによって名声（又は汚名）を得ることになる。

ソフトウェアは、オンライン又はオフラインのマルチプレイヤー動作を可能とする機能を有する。マルチプレイヤー動作においては、他のプレイヤーは、既存のタグの上に自らのタグを付けることでより多くのポイントを獲得し、及び／又は、「重ね付けされた（over-tagged）」プレイヤーのポイントを減少させることができる。一実施形態において、ソフトウェアは、好ましくは、ユーザの各々がタグ付けした構造物の仮想環境内での位置を追跡し、タイムスタンプを各タグに付する。これにより、ソフトウェアは、記憶された位置、デザインの種類、及び／又は所定期間におけるタグ付け（又は重ね付け）の回数に基づいて、ポイントを付与（又は剥奪）することができる。ソフトウェアは、ゲームがサンドボックス・スタイル（sandbox style）となるように構成されてもよいが、追加的に又は代替的に、ゲームをミッションに基づくもの（mission-based）として構成することもできる。

上述したように、ソフトウェアによって仮想のオープン環境が提供される。この仮想のオープン環境において、ユーザは、コントローラ６００を用いて仮想のタグを仮想の建築物に付することができる。この実施形態において、ユーザは、現実の世界においてコントローラ６００を用い、現実の表面及び構造物に「透明インク（invisible
ink）」又は「透明塗料（invisible
paint）」を利用したタグを付することができる。この実施形態において、コントローラ６００は、構造物がタグ付けされたときにユーザの位置を一又は複数のサーバ及び／又はホストコンピュータ６９０に提供する送受信機に接続されたグローバル・ポジショニング・システム（ＧＰＳ）モジュールを含むことができる。このアップロードされる情報には、好ましくは、ユーザの識別情報、タグの位置、タグ付けが行われた時のタイムスタンプ、及び、写真、説明、又はこれら以外のタグ付けされたデザインに関する情報が含まれる。

一実施形態において、コントローラ６００により、ユーザは、透明インクを用いて任意のものに自由に描画することができる。具体的には、ソフトウェア及びコントローラ６００は、ユーザの絵を描くジェスチャー又はマーキングするジェスチャーを再現して完成した芸術作品をそのジェスチャーに基づいて作成することにより、ユーザがその芸術的才能を発揮できるようにする。具体的には、コトローラ６００の先端センサー及び／又は本体センサー６０４Ａ、６０４Ｂは、ユーザが実際の表面に描画するときに、コントローラ６００の動きを追跡する。この場合、プロセッサは、追跡された情報を記憶し、ユーザが描いたものを再現するために、コントローラ６００の位置情報の値に基づいて記憶した情報を処理する。一実施形態において、当該情報は、コントローラ（又は、ホストコンピュータ６９０のディスプレイスクリーン６４２等の他の装置）ですぐに見ることができる。当該コントローラは、ユーザの完成した芸術作品自身、又は仮想的に表面に重畳された当該作品を示す。ホストコンピュータ６９０に接続されたスピーカ６４０Ａ、又は、コントローラ６００と共同設置されたスピーカ６４０Ｂは、音響効果を統一することによりユーザ体験を向上させることができる。

タグデータを、ユーザがアクセス及び閲覧可能な一又は複数の中央サーバ及び／又はホストコンピュータにアップロードすることができる。当該システムにおいて、ユーザは、タグの位置や回数を他のユーザのものと比較することができる。ソフトウェアは、好ましくは、全ての登録ユーザについてタグデータを追跡する。この場合、当該ユーザは、自らのホストコンピュータ又は携帯装置から当該ソフトウェアにアクセスし、当該位置における自らのタグ・ヒストリー及び他のユーザのタグ・ヒストリーを確認することができる。具体的には、当該ソフトウェアは、既存の携帯アプリケーション・ソフトウェア（例えば、Google
Maps）と協働することができる。この場合、ユーザは、当該携帯アプリケーションを用いて、一又は複数の登録ユーザによってタグ付けされたエリアを確認することができる。好ましくは、ユーザは、ユーザの識別情報及び当該「タグポイント」がタグ付けされた時間を確認するとともに写真又は芸術作品を読み出すために、当該ソフトウェアを利用して、特定の「タグポイント（tag
point）」を選択する。好ましくは、ユーザは、当該ソフトウェアを用いることにより、ユーザが蓄積した（又は、重ね付けによって失った）ポイントやタグ付け位置の数を確認することができる。当該ソフトウェアは、ソーシャルネットワーキング・アプリケーションを扱うこともできる。

一実施形態において、ユーザは、当該ソフトウェアを用いて、ソーシャルネットワーク環境において、自らの芸術作品又は創造物を共有及び比較することもできる。ユーザは、同様の作品を製作しているアーティストを発見することもできる。また、当該ソフトウェアは、関心度、ユーザプロファイル、及び今までに製作された作品に基づいて、他のアーティストにより製作された幾つかの作品を推薦することができる。

一実施形態において、ユーザは、当該ソフトウェアを用いて、仮想の商品を、様々な色、素材、ブラシ、及びこれら以外の絵画用具の形で購入することができ、ストリート・アーティストのための用具をスプレー缶、スプレーキャップの形で購入することができる。

一実施形態において、ソフトウェアは、ビューア装置又はカメラ装置とともに動作するように構成される。このビューア装置やカメラ装置によって、ユーザは、物体や構造物がタグ付けされた物理的な場所を実際に訪れることができ、当該ビューアを通して芸術作品を鑑賞することができる。図７は、一実施形態に従って、ビューアのブロック図を示す。図７に示されているように、ビューア７００は、好ましくは、プロセッサ７０８、プロセッサ７０８に接続されたＧＰＳ送受信機７４５、プロセッサ７０８に接続されたディスプレイ７４２、任意のスピーカ７４０、及びプロセッサ７０８に接続された任意のアクチュエータ７０６を含む。好ましくは、ビューア７００は、少なくとも受信した情報（すなわち、タグデータ）を蓄積するメモリ等の蓄積装置７０７を含む。一実施形態において、ビューアは専用装置であるが、図７に示したハードウェア・コンポーネントを備える装置（すなわち、携帯電話）に当該ソフトウェアと同じ機能をロードすることもできる。

ＧＰＳ送受信機は、好ましくは、トランスポンダ７８０に信号を送信するアンテナ７５０を介して、ビューアの位置をホストコンピュータ７９０又はサーバ７９５と通信する。これにより、ホストコンピュータ７９０又はビューア７００のいずれかが、ビューアの位置を記録されたタグの位置を比較する。ビューア７００は、タグ付けされた物体又は構造物の位置にあることが指示されると、（視覚的に、音響的に、及び／又はハプティック効果により）通知を受ける。一実施形態において、ユーザは、ボタンを押したり、音声で命令を行うことにより、実際のタグ付けされた作品をディスプレイ７４２を介して見ることができる。タグ付けされた作品は、通常は肉眼では見ることができない。

上述したコントローラ及びゲームの構成は、よく知られている「ギターヒーロー（Guitar Hero）」ゲームに似た「アートヒーロー（Art Hero）」又は「グラフィティヒーロー（Graffiti Hero）」と称される総合的なゲームに統合されてもよい。アートヒーローは、グラフィティヒーローゲームのより簡単なバージョンであってもよい。アートヒーローゲームは、芸能、トレーニング、クリエイティブな趣味等により適したものであってもよい。一方、グラフィティヒーローは、刺激に満ちた（high-excitement）マルチプレイヤーゲームにより適したものであってもよい。アートヒーロー又はグラフィティヒーローのいずれかにおいて、ユーザは、触覚的に改良された（haptic-enhanced）コントローラ（絵筆、マーカ、スプレー缶、又はこれら以外の種類の筆記具／ペインティング用具）を有することが望ましい。また、ユーザは、コントローラの外部にあるゲーム表面に実際に又は仮想的に描画を行うときに、表面に使用される塗料の現実的な感覚、徐々に軽くなるスプレー缶、スプレーノズルが強く押されたときに濃くなる色等を経験する。この種のゲームにおいては、ハプティックフィードバックを用いて、所望のテキスチャーやアーティストの署名パターンを生成することができる。ライティング／ペインティングのコンセプトは、グランド・セフト・オートをプレイするときのように、現実世界においてアドレナリンが放出されるような経験に統合することが可能である。例えば、ユーザは、グラフィティヒーローゲームによって、「仮想」の警察捜査が間近に迫っているというプレッシャーの下で、より効率よく作業することができる。様々なグラフィティ（Graffiti）アーティストは、自らのグラフィティで可能な限り多くの建物を覆ったり、競争相手のグラフィティを上書きしたりすることにより、名誉や勝利のために互いに競争する。ゲームの高度に発展した究極のバージョンにおいては、ユーザは、「セカンドライフ（Second Life）」に似た仮想空間に居住することができる。

以上、実施形態及び応用例を図示し説明したが、当業者に明らかなように、本明細書を参照することにより、本明細書に開示された発明概念から逸脱することなく、以上明示されたもの以外にもさらに多くの改変を行うことができる。したがって、本発明は、特許請求の範囲の趣旨に限定されることを除けば、何ら限定されるものではない。

Claims (11)

1. ディスプレイにグラフィックシミュレーションを表示するソフトウェアプログラムを実行するように構成されたコンピュータと、
   三次元空間を自由に移動できるように構成されたユーザによって把持可能なコントローラと、を備え、
   前記ソフトウェアプログラムは、ユーザが前記グラフィックシミュレーション内で視覚芸術作品を制作できるように構成され、
   前記コントローラは、プロセッサと、前記三次元空間における前記コントローラの位置情報を追跡するとともに前記位置情報を表す第１のセンサー信号を前記コンピュータに送信するように構成された第１のセンサーと、前記プロセッサから第１の制御信号を受信すると第１のハプティック効果を前記ユーザに出力するように構成された第１のアクチュエータと、を備え、
   前記ユーザによって把持可能なコントローラは、前記視覚芸術作品を制作するように構成された筆記用具及び絵画用具を表し、
   前記第１の制御信号は、振動、衝撃、デテント、及びポップから選択される、出力されるハプティック効果の種類を示すものであり、
   前記第１のアクチュエータは、前記第１の制御信号に基づいて、大きさ、頻度、及び期間から選択される特徴を有する前記第１のハプティック効果を出力し、
   前記コンピュータは、前記出力される前記第１のハプティック効果の種類に関する命令を前記プロセッサに送信するように構成され、前記プロセッサは、前記第１のアクチュエータに前記第１のハプティック効果の特徴を指示するように構成され、
   前記コントローラは、前記コントローラに接続された第２のセンサーと、前記コントローラに接続された第２のアクチュエータとを備え、
   前記第２のセンサーは、前記コントローラが現実の表面に接触したとき、または、前記コントローラが押されたときに、前記コントローラの操作を示す第２のセンサー信号を送信するように構成され、
   前記コンピュータは、前記第２のセンサー信号に応答して仮想的なインク又は仮想的な塗料を塗布するように構成され、
   前記第２のアクチュエータは、前記プロセッサから第２の制御信号を受信すると第２のハプティック効果を出力する、
   システム。
2. 前記プロセッサが前記センサー信号を受信するとともに前記センサー信号を前記コンピュータに提供するように構成された請求項１に記載のシステム。
3. 前記コントローラが塗料スプレー缶形状の外形を有するように構成された請求項１に記載のシステム。
4. 前記第２のセンサーがノズルに接続されたノズルセンサーを含み、前記ノズルが押されたときにノズルセンサー信号として前記第２のセンサー信号を送信するように構成され、前記コンピュータが、前記ノズルが押されたことに応答して仮想的なインク又は仮想的な塗料を塗布するように構成された請求項３に記載のシステム。
5. 前記第２のアクチュエータが、前記コントローラの前記ノズルに接続され、当該第２のアクチュエータが、前記プロセッサからの前記第２の制御信号の受信に応答して前記第２のハプティック効果を出力する請求項４に記載のシステム。
6. 前記コントローラが絵筆形状の外形を有するように構成された請求項１に記載のシステム。
7. 前記第２のセンサーが、前記絵筆のブラシ状の先端部に接続された先端センサーをさらに備え、前記先端センサーが、前記先端が押されたときに先端センサー信号として前記第２のセンサー信号を送信するように構成され、前記コンピュータが、前記先端が押されたことに応答して仮想的なインク又は仮想的な塗料を塗布するように構成された請求項６に記載のシステム。
8. 前記第２のアクチュエータが、前記絵筆のブラシ状の先端部に接続され、当該第２のアクチュエータが、前記プロセッサからの前記第２の制御信号の受信に応答して前記第２のハプティック効果を出力する請求項７に記載のシステム。
9. 前記コントローラがマーカ形状の外形を有するように構成された請求項１に記載のシステム。
10. 前記第２のセンサーが前記マーカの先端に接続された先端センサーを含み、前記先端センサーが、前記先端が押されたときに先端センサー信号として前記第２のセンサー信号を送信するように構成され、前記コンピュータが、前記先端が押されたことに応答して仮想的なインク又は仮想的な塗料を塗布するように構成された請求項９に記載のシステム。
11. 前記第２のアクチュエータが前記マーカの前記先端に接続され、当該第２のアクチュエータが、前記プロセッサからの前記第２の制御信号の受信に応答して前記第２のハプティック効果を出力する請求項１０に記載のシステム。