JP6234364B2 - 電気振動型タクタイル・ディスプレイ - Google Patents

Description

関連出願への相互参照
本出願は、２０１１年４月２２日に出願された米国特許出願第１３／０９２，２６９号からの優先権を主張するものであり、この出願の全内容は参照により本明細書に組み入れられる。

本発明は、電気振動型タクタイル・ディスプレイに関する。

ビジュアルコンテンツやオーディオコンテンツに関してユーザに触覚効果（ｈａｐｔｉｃ ｅｆｆｅｃｔｓ）を提供するシステムが知られている。一般な理解によれば、このようなコンテンツについてのユーザエクスペリエンスは、触覚効果によって多少なりとも改善される。従来の一般的な触覚システム（ｈａｐｔｉｃ ｓｙｓｔｅｍ）は、機械的振動として刺激を提供するに過ぎなかったが、これでは、システムとユーザとのインタラクションは制限されたものとなってしまう。

本発明の一態様によれば、総合的な触覚効果を提供するインタフェース装置が提供される。当該インタフェース装置は、総合的な触覚効果を出力するように構成された表面を備える。当該インタフェース装置は、当該表面に接続された静電装置をさらに備える。この静電装置は、前記表面で第１の触覚効果を生成する。前記インタフェース装置は、前記表面で第２の触覚効果を生成する静電装置をさらに備える。当該総合的な触覚効果は、前記第１の触覚効果及び前記第２の触覚効果を含む。

本発明の一態様によれば、総合的な触覚効果を提供する方法が提供される。当該方法は、静電装置を用いてインタフェース装置の表面で第１の触覚効果を生成する工程と、アクチュエータを用いて当該表面で第２の触覚効果を生成する工程とを備える。当該総合的な触覚効果は、前記第１の触覚効果及び前記第２の触覚効果を含む。

本発明の一態様によれば、静電ディスプレイにより触覚効果を提供するように構成されたシステムが提供される。前記静電ディスプレイは、前記表面がたとえ滑らかな場合であっても、当該ディスプレイの表面において摩擦の大きさや触感をシミュレートすることができる触覚効果を出力するように構成される。前記静電ディスプレイは、当該ディスプレイ上に表現される地形を伝達するために、様々な摩擦係数や触感をシミュレートする様々な触覚効果を出力することができる。一実施形態において、前記触覚効果は、物質の地形を伝達する摩擦係数や触感をシミュレートすることができる。一実施形態において、前記触覚効果は、前記ディスプレイの位置の高さや深さを伝達する摩擦係数や触感をシミュレートすることができる。一実施形態において、前記触覚効果は、前記ディスプレイ上の所定の場所にあるデータの特性を伝達することができる。センサは、シミュレートされた摩擦係数を測定することができ、その測定した摩擦係数に基づいて触覚効果を調節することができる。

本発明の一態様によれば、前記静電ディスプレイの表面で測定されたインピーダンスに基づいて触覚効果を変化させるシステムを提供することができる。一実施形態に係るシステムは、ユーザの肌の厚み、指の寸法、又は指の湿度によって、ユーザの指のインピーダンスの変化を測定する。当該システムは、これらの変化に関して触覚効果を調節し、二人又は三人のユーザによって同じように経験される刺激を生成することができる。

本発明の一態様によれば、アクチュエータ、サーマル装置等の非移動効果生成装置（ｎｏｎ−ｍｏｖｉｎｇ ｅｆｆｅｃｔ ｇｅｎｅｒａｔｏｒ）、又はその両方を備える静電ディスプレイが提供される。

本発明の一態様は、静電装置におけるディスプレイスクリーン以外の表面に触覚効果を生成することに関する。一実施形態において、触覚効果は、ディスプレイ装置の側部や背面部に生成される。これらの位置には、スライドバー等のコントローラが配置される。前記以外の表面としては、ハンドル、ダッシュボード、ジョイスティック、タッチパッド（又はトラックパッド）、及びリモートコントローラ等が含まれる。一実施形態における触覚効果は、ディスプレイ上に表現された特徴を伝達するために、当該ディスプレイ上の場所に対応するタッチパッド上の位置に生成される。

本発明の上記及び上記以外の目的、特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。本明細書において、同様の参照符号は種々の図における対応部分を表している。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の“ａ”，“ａｎ”及び“ｔｈｅ”には複数のものへの言及が含まれる。ただ
し、文脈によって別に解すべきことが明白な場合はこの限りでない。

本発明の実施形態に従って、アクチュエータ及び静電装置を用いて触覚効果を生成するように構成されたシステムを示す。

図１Ａのシステムの他の視点から見た図を示す。

本発明の実施形態に従って、触感をシミュレートする触覚効果を生成するように構成されたシステムを示す。

本発明の実施形態に従って、一又は複数のデータ要素に対応する触覚効果を生成するように構成されたシステムを示す。

本発明の実施形態に従って、一又は複数のデータ要素に対応する触覚効果を生成するように構成されたシステムを示す。

本発明の実施形態に従って、一又は複数のデータ要素に対応する触覚効果を生成するように構成されたシステムを示す。

本発明の実施形態に従って、地図上の位置に対応する触覚効果を生成するように構成されたシステムを示す。

本発明の実施形態に従って、触覚効果を用いて高さをシミュレートする方法の説明を示す。

本発明の実施形態に従って、ユーザのジェスチャに基づいた触覚効果を生成するように構成されたシステムを示す。 本発明の実施形態に従って、ユーザのジェスチャに基づいた触覚効果を生成するように構成されたシステムを示す。

本発明の実施形態に従って、映像トリガ又は音声トリガに基づいた触覚効果を生成するように構成されたシステムを示す。

本発明の実施形態に従って、触感を伝達する触覚効果をディスプレイではない表面に生成するように構成されたシステムを示す。

本発明の実施形態に従って、ディスプレイではない表面に触覚効果を生成するように構成されたシステムを示す。

本発明の実施形態に従って、ディスプレイではない表面に触感をシミュレートする触覚効果を生成するように構成されたシステムを示す。

本発明の実施形態に従って、ディスプレイではない表面に触覚効果を生成するように構成されたシステムを示す。

本発明の実施形態に従って、触覚効果を生成するように構成されたシステム及び回路のブロック図を示す。

図１は、ユーザインタフェースにおける摩擦係数をシミュレートする触覚効果を提供するシステム１００の一実施形態を示す。触覚効果とは刺激又は力を意味し、振動、引力もしくは斥力、電圧もしくは電流、これら以外の機械的な力もしくは電磁的な力、加熱もしくは冷却、又はこれら以外の刺激を含むがこれらには限られない。触覚効果は、本明細書で説明される力もしくは刺激又はこれらの組み合わせを含み得る。複数の触覚効果を組み合わせて、総合的な触覚効果を形成することができる。触覚効果をユーザインタフェースに出力することにより、当該ユーザインタフェースと相互にやりとりするユーザ又は物体にフィードバックを提供することができる。触覚効果は、機械的な動き、例えば、固体の振動、流体の振動、又はユーザに触れるピンやロッド等の動作誘発物体（ａｃｔｕａｔｉｎｇ ｏｂｊｅｃｔ）を通じてフィードバックを提供することができる。ピンやロッドは、表面の起伏や輪郭を変化させることによって、当該表面を変形させることができる。総合的な触覚効果は、静電相互作用を通じてフィードバックを提供し、ユーザインタフェースにある指等の物体に対して力を発生させたり、指の神経やスタイラスのセンサ等の電気信号を検知可能な物体に電気信号を送信したりすることができる。

このシステムは、例えば、音楽プレイヤ、映像プレイヤ、グラフィックディスプレイ、電子書籍リーダ、もしくはこれらの組み合わせ、又はユーザインタフェースを有する前記以外のより汎用的な装置の一部であってもよい。本実施形態におけるシステム１００は、接触している物体を検出するように構成されたディスプレイスクリーン１１０を通じてユーザとやりとりする。当該物体は、ユーザの指１４０、ユーザの手の平、又はこれら以外のユーザの体の触覚効果を感じることができる部分であってもよい。当該物体は、スクリーン１１０がその存在を検出可能なスタイラス等の装置であってもよい。当該スクリーンは、容量結合、抵抗結合、又は誘導結合によって物体を検出することができるが、検出方法はこれらの技術には限られない。

システム１００は、一又は複数のアクチュエータ１１２、１１４、１１６、静電装置１２０、又はこれらの組み合わせによって、ディスプレイスクリーン１１０の表面で触覚効果を提供することができる。アクチュエータ１１２、１１４、１１６は、スクリーン１００の表面において振動となる機械的な動きを生成するように構成される。アクチュエータは、圧電アクチュエータ、ボイスコイル、ソレノイド等の磁気アクチュエータ、空気圧式アクチュエータ、超音波エネルギーアクチュエータ、偏心質量体アクチュエータ、電気活性ポリマーアクチュエータ、形状記憶合金、又はこれら以外の種類のアクチュエータとして実現される。当該アクチュエータは、トルクを振動に変換するモータ、流体圧、物質の形状変化、又はこれら以外の動きを生成する力によって作動するものであってもよい。例えば、アクチュエータは、２つの物体間（例えば、後述する導電層１２０と絶縁層１２２との間）や静電表面アクチュエータにおけるレイヤ間の静電気引力を用いて動きを生成することができる。また、当該アクチュエータによって生成される動きは振動に限られず、横方向の移動、上下方向の移動、回転移動、もしくはこれらの組み合わせ、又は前記以外の動きが含まれる。図１Ａにおける実施形態に関し、アクチュエータ１１６は、触覚効果を生成する振動を生成する圧電アクチュエータ又はボイスコイルアクチュエータであってもよく、アクチュエータ１１２は、触覚効果を生成する上下方向の動きを生成するソレノイドであってもよく、アクチュエータ１１４は、触覚効果を生成する横方向の動きを生成する空気圧式アクチュエータであってもよい。触覚効果を発生させるべきときには、当該アクチュエータの全てをアクティベートしてもよく、省電力のためや様々な触覚効果を生成するためにアクチュエータを１つだけアクティベートしてもよい。また、特定のアクチュエータは、システム１００全体に対して、ユーザとやりとりするディスプレイスクリーン１１０のみに対して、当該ディスプレイスクリーンの一部のみに対して、又はシステムの他の部分に対して触覚効果を生成するように配置及び構成されてもよい。例えば、アクチュエータ１１６は、隅以外の部分における振動の振幅が閾値振幅よりも小さくなるように振動レベルを低く維持することにより、ディスプレイスクリーン１１０の隅にのみ振動を生成するように構成されてもよい。

システム１００は、静電装置により触覚効果を提供してもよい。この静電装置は、電気振動型ディスプレイ（ｅｌｅｃｔｒｏｖｉｂｒｏｔａｃｔｉｌｅ ｄｉｓｐｌａｙ）や、これ以外にも、触覚効果を生成するために機械的な動きではなく電圧や電流を加える任意の装置であってもよい。本実施形態において、前記静電装置は、導電層１２０と絶縁層１２２とを少なくとも有する。この導電層１２０は、半導体又は銅、アルミニウム、金、もしくは銀等の任意の導電体であってもよい。この絶縁層１２２は、ガラス、プラスチック、ポリマー、又は前記以外の任意の絶縁物質であってもよい。このシステム１００は、前記導電層１２０に電気信号を加えることによって、前記静電装置を動作させることができる。この電気信号は、本実施形態において、前記導電層をディスプレイスクリーン１１０に近接又は接触する物体と容量結合させる交流信号であってもよい。この交流信号は、高電圧増幅器によって生成されてもよい。システム１００は、触覚効果を生成するために、容量結合以外の原理を用いることもできる。この容量結合は、ディスプレイスクリーン１１０における摩擦係数や触感をシミュレートすることができる。ディスプレイスクリーン１１０は滑らかであるが、前記容量結合がスクリーン１００の近くにある物体と導電層１２０との間に引力を生成するという点において、摩擦係数はシミュレートされたものである。この引力は、当該表面における物質の構造が変化しなくとも、当該表面における摩擦を増加させる。当該物体と導電層との間の引力のレベルを変化させることにより、ディスプレイスクリーン１１０を横切って動く物体の摩擦を変化させることができる。摩擦力を変化させることにより摩擦係数の変化をシミュレートすることができる。シミュレートされる摩擦係数もアクチュエータによって変化させることができる。例えば、アクチュエータは、振動を生成することにより、又は、ディスプレイスクリーン１１０の表面の起伏を変化させて実際の摩擦係数を変化させることにより、摩擦力を増加させることができる。

容量結合は、ディスプレイスクリーン１１０に近接し又は接触しているユーザの指１４０の肌にある小体（ｃｏｒｐｕｓｃｌｅｓ）や当該容量結合に応答できるスタイラスの構成部品等の物体の一部分を刺激することによって、触覚効果を生成することもできる。肌における小体は、例えば、刺激されることにより、振動やより具体的な感覚として容量結合を検知することができる。例えば、導電層１２０は、ユーザの指１４０の導電性の部分と結合する交流電圧信号を加えられてもよい。ユーザがディスプレイスクリーン１１０に触れてその指１４０を当該スクリーン上で動かすときに、当該ユーザは、とげとげした感じ（プリックリネス、ｐｒｉｃｋｌｉｎｅｓｓ）、ざらざらした感じ（グレインネス、ｇｒａｉｎｉｎｅｓｓ）、こぶのある感じ（バンピネス、ｂｕｍｐｉｎｅｓｓ）、でこぼこした感じ（ラフネス、ｒｏｕｇｈｎｅｓｓ）、ねばねばした感じ（スティッキーネス、ｓｔｉｃｋｉｎｅｓｓ）、又はこれら以外の触感（ファインネス、コーネス、スムースネスなど）を感じることができる。ユーザの肌にある小体は、指１４０がスクリーン１１０を横切って動くときに、一般的な感覚を感じるように刺激されてもよい。したがって、容量結合を用いることにより、スクリーンに近接し又は接触している物体と結合する信号を生成することによって、摩擦係数や触感をシミュレートすることができる。

多くの異なる物体や人に対して同じ引力や同じレベルの刺激を提供するために、システム１００はディスプレイスクリーン１００の表面におけるインピーダンスを測定するセンサをさらに備えることができる。当該センサは、表面全体にパルスを加えて表面電圧を測定することにより、又は、容量結合の強さを測定することにより、インピーダンスを測定することができる。当該センサは、インピーダンスを測定するために、上記以外の公知の技術を用いることができる。また、大気中の湿度や温度等の変化する環境条件を補正することができる。触覚効果は、人のインピーダンスに基づいて調整可能である。例えば、高いインピーダンスを有する物体に対してはより力強い触覚効果を加え、低いインピーダンスを有する物体に対してはより弱い触覚効果を加えることができる。

一実施形態に係るユーザインタフェースには、物体が導電層に直接接触できるように、絶縁層が備えられていない。触覚効果は、導電層から物体へ電流を通過させることにより生成され得る。本実施形態は、絶縁層を用いてもよいが、当該絶縁層には一又は複数の電極が備えられ、物体が絶縁層を横切って動くときに当該電極に接触する物体に電流を流すことができるようにする。

一実施形態に係る触覚効果システムは、アクチュエータ及び静電装置と組み合わせされるサーマル装置１１８を備えてもよい。当該サーマル装置１１８は、当該システムとやりとりする物体を直接又は間接に加熱又は冷却することにより触覚効果を生成することができる。

当該触覚効果は、アクチュエータ及び静電装置によって１つずつ生成されたものでもよく、組み合わされたものであってもよい。例えば、スクリーン１１０に接触する指１４０の肌を引き寄せるとともにその肌にある小体を刺激できるほど高い電圧を導電層１２０に加えることができる。この電気振動型タクタイル（ｅｌｅｃｔｒｏ−ｖｉｂｒｏｔａｃｔｉｌｅ）触覚効果と同時に、当該導電層１２０及び絶縁層１２２に静電気力が生成され、これらの層における機械的な動きが生成される。この触覚効果は、アクチュエータ１１２、１１４、１１６の１つ又はこれらの組み合わせによって生成される動きと組み合わされてもよい。これらの装置は、スクリーン表面の摩擦係数や触感をシミュレートするために協働できる。これらのアクチュエータは、例えば表面の摩擦や触感の変化もシミュレートするために、振動を生成することができる。

ユーザの指１４０等の物体がスクリーン１１０の表面を横切って動くときに、これらの装置によって、様々にシミュレートされた触感又は摩擦係数が生成される。図１には、第１の触覚領域１３０、第２の触覚領域１３２、及び第３の触覚領域１３４が示されているが、他の実施形態においては、１つの触覚領域、２つの触覚領域、又は４つ以上の触覚領域が設けられていてもよい。ユーザの指が第１の領域１３０で動いたときに、アクチュエータ及び静電装置によって、第１の触感又は摩擦係数がシミュレートされてもよい。ユーザの指が第２の領域１３２及び第３の領域１３４で動くときには、当該アクチュエータ及び静電装置は、第２及び第３の触感又は摩擦係数をそれぞれシミュレートすることができる。第２及び第３の触感又は摩擦係数は、第１の触感又は摩擦係数と異なるものでもよい。

本システムは、シミュレートされた摩擦係数を測定するセンサを備えても良い。このセンサは、インピーダンスを測定する上記のセンサと同じものでも、これとは異なるものであってもよい。当該センサは、例えばスクリーン１１０に接触している物体から当該スクリーン表面が受けている圧力の測定値に基づいて、及び、その表面における当該物体の動きに基づいて、シミュレートされた係数を測定することができる。当該物体の動きは、表面における圧力の時間変化及び位置変化に基づいて測定可能である。当該センサは、例えば、スクリーン１１０上におけるユーザの指の加速度及び当該ユーザの指から当該表面が受けた圧力に基づいてシミュレートされた摩擦係数を表す値を計算することができる。

当該触覚効果及びセンサは、制御部によって制御可能である。制御部は、インピーダンス、シミュレートされた摩擦係数、表面圧力、表面で測定された動きの速度、及びこれら以外のファクターを分析し、触覚効果のトリガ条件が満たされているか否か、又は、どの程度強い触覚効果を発生させるかを決定することができる。制御部の詳細は後述する。

図１Ａの触覚効果システムの正面図を図１Ｂに示す。図１Ｂは、シミュレートされた摩擦係数又は触感を有する触覚領域１３０を示す。ユーザが指１４０をこの領域において動かすと、アクチュエータ及び静電装置は、シミュレートされた摩擦係数に対応する摩擦力をシミュレートする触覚効果を生成することができる。触覚領域の面積は、図１Ａ及び図１Ｂに示すものよりかなり小さくても大きくてもよいし、対応する摩擦係数や触感も変更可能である。

図２は、触覚効果システム２００の一実施形態を示す。システム２００は、ディスプレイスクリーン２１０によりユーザインタフェースを提供するように構成される。ディスプレイスクリーン２１０は、触覚領域２３０を備える。触覚領域２３０は、ユーザの指１４０が当該領域を横切って動くときにれんがのザラザラした触感をシミュレートすることができる。ディスプレイスクリーン２１０は、触覚領域２３２を備える。触覚領域２３２は、ユーザの指１４０が当該領域を横切って動くときに石のゴツゴツした触感をシミュレートすることができる。当該システムは、上記以外の触感、例えば、スティッキーネス、ラフネス、アブレイシブネス（ａｂｒａｓｉｖｅｎｅｓｓ）などを生成することもできる。当該触覚効果は、触感及び温度を両方ともシミュレートするために、サーマル装置からの加熱又は冷却を組み込むことができる。

図３は、触覚効果システム２００が提供できるインタラクションの他の形態を示す。システム２００は、ファイルフォルダ等のデータ要素を表す触覚効果を生成することができる。スクリーン２１０は、異なる種類のフォルダに対して異なる触感又は摩擦係数をシミュレートする３つの触覚領域３３０、３３２、３３４を備えることができる。例えば、システム２００は、ユーザの指１４０が領域３３０を横切って動くときには弱い触覚効果を提供するか全く触覚効果を提供しない。これは、ビジュアルデータを表すフォルダに対応するものである。システム２００は、ユーザの指１４０が領域３３２を横切って動くときにより強い触覚効果を提供することができる。これは、オーディオデータを表すフォルダに対応するものである。最後に、システム２００は、ユーザの指１４０が領域３３４を横切って動くときに、さらに強い触覚効果を提供することができる。これは、保護されたデータを表すフォルダに対応するものである。触覚領域は、多くの異なる種類のデータ要素、例えば、ボタン、チェックボックス、ドロップダウンボックス、他のフォーム要素、アイコン、カーソル、及びウインドウに対応することができる。システム２００は、時間に応じて領域の触感や摩擦係数を変化させることができる。例えば、触覚領域がボタンに対応する場合には、システム２００は、ユーザの指１４０が当該領域を横切って動く場合の第１の時間と第２の時間とで当該領域の触感や摩擦係数を変化させることができる。この変化は、例えば、ボタンが押下されたことを反映することができる。

図４には、データ要素の他の例が示されている。ここで、触覚領域４３０は、スライドバー（又はスクロールバー）に対応している。ユーザの指１４０が当該領域を横切って動くと、システム２００は、指１４０が当該領域に存在する限り触感又は摩擦係数をシミュレートする触覚効果を生成することができる。システム２００は、スライドバー上の指がある領域に当該触覚効果を局所化することができる。例えば、システム２００は、スクリーン２１０の下方の異なる位置に複数のアクチュエータを備え、指１４０に最も近いアクチュエータのみをアクティベートすることができる。

システム２００は、シミュレートされる触感や摩擦係数を調整するために、触覚効果を調整するように構成されてもよい。つまり、ユーザは、スライドバーを用いて画面を下方にスクロールするときにより正確なコントロールを実現するため、高い触感や摩擦係数をシミュレートするようにシステム２００を構成することができる。当該システムは、例えば、指１４０の位置に基づいて触覚効果を自動的に調整することもできる。例えば、ユーザの指がスクロールを素早く行おうとしているときには、当該システム２００は、スクリーン上での動きが速いことを検出して低摩擦係数をシミュレートするための弱い触覚効果を生成することにより、当該ユーザに適応することができる。

図５は、触覚効果をテキストの特性に対応させる例を示す。この具体的な実施形態は、テキストのハイライトに対応する触覚領域５３０を示している。また、当該触覚領域は、下線、イタリック、太字テキスト、所定のフォントのテキスト、又はテキストに属する前記以外の任意の特性に対応するものであってもよい。また、当該触覚効果は、特性がテキストに適用されたときに割り当てられたり変更されてもよい。例えば、ユーザがテキストをハイライトしているときに、触覚効果を生成することができる。

当該触覚効果は、テキストの視認可能な特性のみに対応するのではなく、メタデータ等の視認できない特性に対応するものであってもよい。例えば、システム２００は、ハイパーリンクされたテキストに触覚領域を割り当てることができる。他の例において、システム２００は、ＸＭＬファイルにアクセスして所定のセクションに属する所定のテキストを特定し、当該セクションに触覚領域を割り当てることができる。上述のように、ある領域の摩擦係数は、時間やスクリーン上の位置に応じて変化し得る。この例では、ユーザの指１４０がテキストをスクリーン２１０上の別の位置にスクロールするときに、システム２００は、新しい位置にシミュレートされた新しい摩擦係数を設定し、例えば、古い位置における摩擦係数をゼロか所定の初期値に設定することにより、当該触覚領域を当該テキストの新しい位置へ効率的に移動させるように構成される。

図６は、触覚効果を位置に対応させる例を示す。本実施形態において、触覚領域６３２は、ユーザと特定の関係がない位置に対応し、その摩擦係数は、ゼロか初期値である。触覚領域６３０及び６３４は、２つの場所を識別するシミュレートされた触感又は摩擦係数を有する。この摩擦係数は、当該場所の識別子として働く。システム２００は、当該場所における地形をシミュレートする触感又は摩擦力を生み出す触覚効果を生成することもできる。例えば、触覚領域６３０における触覚効果は、砂地の触感をシミュレートすることができ、触覚領域６３４における触覚効果は、砂利道の触感をシミュレートすることができる。触覚効果は、地形の触感をシミュレートすることには限定されない。例えば、スクリーン２１０は、衣服、繊維、食べ物、及びこれら以外の任意の物質や製品を表示することができる。システム２００は、表示された物質や製品に対応する触覚領域を割り当て、当該物質又は製品をシミュレートする触感や摩擦力を生み出す触覚効果を生成することができる。

当該触覚効果は、一般に、描画における触感をシミュレートするように生成され得る。例えば、ユーザの指１４０がディスプレイスクリーン２１０に表示された描画プログラムにおいて描画する場合、当該システムは、例えば、ユーザの指１４０がスクリーン上にクロスハッチを描いているときにはクロスハッチの触感をシミュレートし、ユーザの指１４０がスクリーンにスプレープリントをしているときには、よりザラザラした触感をシミュレートする触感を生み出す触覚効果を生成することができる。

図７は、表面の特徴、特に隆起したエッジのシミュレートを示す。本実施形態において、このシミュレートされた隆起エッジ７３１は、スクリーンに描かれた領域、例えば、ボタン、テキストボックス、アイコン、又はこれら以外のユーザ入力オブジェクトの３次元の外観を表すことができる。例えば、ボタンのシミュレートされた隆起エッジを感じたユーザは、スクリーンを見なくとも、自らの指がボタンの上部を動いていることを知ることができる。シミュレートされた表面の特徴は、より一般に、ユーザインタフェースの高さや深さを伝達することができる。

隆起エッジ７３１は、ユーザの指１４０が触覚領域７３２の上にあるときにより強い触覚効果を加え、ユーザの指が触覚領域７３０の上にあるときにより弱い触覚効果を加え、ユーザの指が触覚領域７３４の上にあるときに触覚効果を加えないようにする時間領域プロファイル（ｔｉｍｅ ｄｏｍａｉｎ ｐｒｏｆｉｌｅ）によって定義され得る。例えば、触覚効果システムは、ユーザの指１４０が領域７３２の上で動いているときに高摩擦係数をシミュレートして、隆起エッジ７３１の上り勾配を表すことができる。当該触覚システムは、ユーザの指１４０が領域７３０の上で動いているときにより低い摩擦係数をシミュレートして、物体の平坦な上部を表すことができる。当該触覚システムは、ユーザの指１４０が領域７３４の上を動いているといきに、さらに弱い（例えばゼロの）摩擦係数をシミュレートし、下り勾配を表すことができる。ユーザの指が領域７３０の方向に動いているか（上っているエッジに対応する）又はその方向から離れる方向に動いているか（下っているのエッジに対応する）を検出することにより、当該システムは、触覚効果を変えて、上りについては高摩擦係数をシミュレートし、下りについては低摩擦係数をシミュレートすることができる。本実施形態においては、時間によって触覚効果を変化させる時間領域プロファイルについて説明したが、時間は独立変数ではない。むしろ、触覚効果のタイミングは、指１４０の位置に依存する。したがって、時間領域プロファイルにおける触覚効果は、常に同じ時間に発生するとは限らず、ユーザの指が触覚領域７３０、７３２、７３４にどれだけ素早く近づいているかに依存する。

ユーザインタフェースにおける高さや深さをより一般的に伝達するために、地図を用いて、触覚領域や摩擦係数をユーザインタフェース上の場所に割り当てることができる。触覚領域は、シミュレートされた２つの摩擦係数に限られず、それ以上の又はそれ以下の摩擦係数を有していても良い。より多くの摩擦係数を用いることにより、シミュレートされた摩擦をユーザの指が動いている方向に基づいて調節することができる。例えば、当該システムは、ユーザの指が北に対応する方向から領域７３０に近づいている場合にある摩擦係数を適用し、ユーザの指が西に対応する方向から近づいてきている場合に異なる摩擦係数を適用することができる。複数の摩擦係数により、領域７３２を異なる領域に対応する個別のサブ領域に効果的に分割することができる。当該システムは、例えば、２つの基準位置間の高さの差を当該２つの基準位置の水平距離で除することにより、地図に基づいて傾斜を計算するように構成されてもよい。スクリーンに表示された画像について、当該システムは、例えば、明度差、影の位置、及び画像内における高度差を測定できる前記以外の視覚的要素に基づいて、当該画像内における高度差を計算するように構成されてもよい。当該システムは、高度及び地形に関する情報を有し、物体、地形、又はユーザインタフェースに表示される他の種類の画像の地形図及び触感をシミュレートする触覚効果を生成できるものであってもよい。

高さ及び深さの知覚を変えるためにアクチュエータを用いてもよい。例えば、アクチュエータは、傾斜を表す領域から平坦部を表す領域への変化を示す振動を生成することができる。または、当該アクチュエータは、例えば、表面の起伏を変化させるロッドやピンを用いることにより、高さや深さを実際に作り出すことができる。

触覚効果は、表面にある物体からの表面圧力や動きの速さだけでなく、より具体的に認識されるジェスチャに基づいても生成され得る。図８Ａ及び図８Ｂは、ページをめくるジェスチャに応答して生成される触覚効果を示す。触覚効果システム８００は、スクリーン上にページの束を描写するディスプレイスクリーン８１０を備える。システム８００は、スクリーン８１０上の位置に触覚領域を割り当てるのではなく、ユーザの指１４０が束８２０の中のページをめくっていると認識したときに触覚効果を生成することができる。例えば、当該システムは、ユーザの指がスクリーン８１０の右下隅から動き始めたか否か、及び、その指が左側に動いたか否かを検出することができる。システム８００は、先頭のページがめくられていることを表現すると、次に、ユーザの指１４０がページの隅に追随しているか否かを検出することができる。もし追随していれば、システム８００は、当該ジェスチャがページをめくるジェスチャであると認識し、触覚効果を生成することができる。当該システムは、これ以外のジェスチャ、例えば、スクロールジェスチャ、ズームジェスチャ、又は前記以外の認識可能な指の任意の動きを認識するように構成されてもよい。ズームジェスチャに関して、システム８００は、スクリーン８１０上における２以上の指の動きを認識するように構成されてもよい。当該システム８００は、２本、３本、又はそれ以上の本数の指に基づいて、前記以外のジェスチャ、例えばピンチジェスチャや回転ジェスチャを認識することができる当該システムは、２以上のユーザの指の動きに適応することができる。

触覚効果は、ユーザインタフェースに示されたビデオコンテンツ、グラフィックコンテンツ、又はオーディオコンテンツに基づいて開始されてもよい。図９は、着呼の映像表示及び音響表示に伴って生じる触覚効果を生成する触覚効果システム９００を示す。システム９００は、例えば、電話呼の視覚表示をスクリーン９１０上に表示するときに、当該スクリーン上に摩擦係数又は触感をシミュレートする触覚効果を生成するように構成され得る。

また、触覚効果は、ディスプレイスクリーン以外のユーザインタフェース表面上に生成されてもよい。装置の制御部はディスプレイスクリーン以外の表面に配置されるので、スクリーンはユーザ入力を受け付け可能である必要がない。その代わりに、スクリーンは、単にビジュアルオーディオコンテンツ及び触覚効果を出力し、図９のシステムのディスプレイではない表面にあるスライドバー９３０が例えばユーザ入力を受け付ける。当該スライドバーは着呼に応答するコントローラであってもよい。当該システムは、トリガ条件がなくとも触覚効果を生成することができる。例えば、静電装置は、ユーザの存在やトリガイベントによらず、当該スライドバーの下に一定の電圧を加えておくことができる。または、着呼のようなトリガイベントに基づいてのみ触覚効果を生成してもよい。

図１０は、別の非ディスプレイ表面１０２０を示す。一実施例における表面は、コンピュータディスプレイスクリーン１０１０への入力を提供するトラックパッド又はタッチパッドに設けられる。コンピュータシステム１０００は、スクリーン１０１０上の領域をタッチパッド１０２０上の触覚領域に対応させることができる。ユーザの指１４０が領域１０３０を横切って動き場合には、例えば、当該タッチパットは、コンピュータシステムのディスプレイ１０１０によって受信され領域１０４０を横切って動くカーソルやポインタとして反映される出力信号を生成することができる。タッチパッド１０２０は、コンピュータシステム１０００からの入力信号を受信し、その受信した入力信号により触覚領域１０３０において触覚効果を生成することができる。ユーザの指が領域１０３２及び領域１０３４の上を動く場合には、当該タッチパッドは当該動きを検出し、システム１０００に信号を出力することができる。システム１０００は、この出力された信号に基づいて、カーソル又はポインタがディスプレイ１０１０上において対応する領域１０４２及び領域１０４４を横切って動くことを表現する。同時に、当該システムは、タッチパッド１０２０に信号を送信して、ユーザの指１４０が領域１０３２の上を動いているときに第１の触覚効果を生成させ、ユーザの指１４０が領域１０３４の上を動いているときに第２の触覚効果を生成させることができる。

図１１は、触覚領域が境界領域の形状となる他の実施例を示す。本実施形態では、１つのファイル１１４４を含むファイル領域１１４０と、文書を含まないファイル領域１１４２とが示されている。このファイル領域は、ディスプレイスクリーン１０１０に描画されるウィンドウ又はファイルフォルダであってもよい。システム１０００は、ファイル領域１１４０の境界に対応する触覚領域１１１３０を割り当て、ファイル領域１１４２の境界に対応する触覚領域１１１３２を割り当てることができる。このファイル領域は、ファイルをある領域から移動させることができないように、又は、ファイルを他の領域に書き込むことができないように、ロックされたものであってもよい。図１１における触覚領域は、例えば、ユーザの指１４０がファイルを領域１１４０から外へ又は領域１１４２の中へ動かすことを検知したときに、触覚効果を提供することができる。つまり、当該システムは、ユーザの指が領域１１３０又は領域１１３２に触れたりその近くにきたときに、触覚効果を生成し、ユーザに当該アクションが禁止されていることを示すことができる。システム１０００は、ユーザがファイルをドラグしようとしている場合にのみ、触覚効果を発生させるようにしてもよい。例えば、システム１０００は、タッチパッド１０２０における動きを監視して、ユーザの指が領域１１３４において動き始めたか否かを検出することができる。ユーザの指がタッチパッド１０２０の他の部分で動き始めた場合には、システム１０００は、触覚効果を生成しないと決定することができる。

図１２は、さらに他の実施例を示す。この実施例におけるタッチパッド１０２０は、スクリーン１０１０上の地形に対応する摩擦又は触感をシミュレートすることができる。図６に示した実施形態と異なり、本実施形態における触覚効果はタッチパッド１０２０のような非ディスプレイ表面において触感をシミュレートする。ここで、システム１０００は、場所１２４０にクレーテニスコートがあり、場所１２４２にハードコートがあるマップを示すことができる。当該システムは、クレーコート１２４０のスクリーン表示に対応するように触覚領域１２３０を割り当て、ハードコート１２４２のスクリーン表示に対応するように触覚領域１２３２を割り当てる。当該システムは、表面の動きを監視し、ユーザの指が領域１２３０を横切って動く場合にクレーコートに似た摩擦力又は触感を生み出し、ユーザの指が領域１２３２を横切って動く場合にハードコートに似た摩擦力又は触感を生み出すように触覚効果を生成することができる。触覚効果は、ディスプレイスクリーン１０１０に表示されない特徴に対しても生成可能である。例えば、システム１０００は、ディスプレイスクリーン１０１０に表示されないか又はユーザにとって見ることができない地下トンネルに対応する触覚領域１２３４を割り当てることができる。

この触覚領域は、図１２に説明の都合上表示されているが、実際には見えないものである。システム１０００は、カーソル、ポインタ、アイコン、又はアバタをスクリーン上に表示して、タッチパッド上での動きがスクリーン上での動きとどのように対応しているのかをユーザに示すことができる。

図１３は、さらに別の非ディスプレイ表面を示す。この例では、非ディスプレイ表面がゲームのリモートコントローラ１３２０に設けられている。このリモートコントローラ１３２０が触覚効果を出力することができる。当該ゲームリモートコントローラ１３２０は、アクチュエータ、静電装置、サーマル装置、又はこれらの組み合わせを使用して、当該コントローラの表面に触覚効果を生成することができる。当該触覚効果は、ディスプレイスクリーン１３１０に表現されたイベント、当該リモートコントローラの加速度もしくは速度、スクリーン１３１０に対するコントローラ１３２０の位置もしくは向き、音、照度レベル、又はこれら以外のトリガによって開始される。

本明細書で説明する任意の実施形態について、これらの以外のトリガを用いることができる。トリガの前記以外の例には、温度、湿度、照明、これら以外の環境条件、及び表面接触面積（例えば、他の物体との接触面積）が含まれる。これらの要素は、トリガとして働くだけでなく、触覚効果をどれだけ強くするか決める決定要因としても働く。例えば、センサによって暗く低照度の条件が検出された場合には、より強力な触覚効果を生成して、当該環境における見づらさを補償することができる。

また、前記以外の非ディスプレイ表面を使用することもできる。例えば、触覚効果は、スイッチ、つまみ、これら以外の制御機器、ダッシュボード、これ以外の制御盤の表面、又は触覚効果を出力可能な前記以外の任意の表面に出力することができる。また、本発明の実施形態は、全体が変形するようになっている表面などの、変形可能な表面とともに用いられ得る。

図１４は、触覚効果を生成するモジュール１４００の実施形態を示す。モジュール１４００は、本明細書において説明した触覚効果システムの任意の実施形態に備えられ得る。モジュール１４００は、一又は複数の触覚効果を生成する触覚装置１４３０を備えることができ、センサ１４４０によって測定されたインピーダンスやシミュレートされた摩擦係数に基づいて、当該触覚効果を調節することができる。当該センサデータは、制御部１４５０によって解析され、メモリ１４２０に蓄積される。制御部１４５０は、プロセッサ１４１０の一部として備えられてもよいし、別個の論理回路であってもよい。

現時点で最も実用的であり好ましいと考えられる態様に基づいて、本発明を例示のために詳細に説明したが、このような詳細な説明は例示のみを目的としたものである。本発明は開示された実施形態に限定されるものではなく、むしろ添付された特許請求の範囲の趣旨及び範囲に入る変形や均等な配置も本発明に含められることが意図されている。例えば、本発明においては、あらゆる実施形態の一又は複数の特徴を他の実施形態の一又は複数の特徴と可能な限り結合することができる。

Claims (49)

1. 総合的な触覚効果を提供するインタフェース装置であって、
   前記インタフェース装置は、
   該インタフェース装置と相互にやりとりするユーザ又は物体による接触を検知し、該接触に関する信号を伝達するように構成された表面と、
   前記表面と接触する体の一部のインピーダンスを測定し、前記体の一部のインピーダンスに関するセンサ信号を伝達するように構成されたセンサと、
   前記表面に接続され、静電装置の電極層と、前記ユーザ又は物体との間の静電力を生成することにより第１の種類の刺激を用いて前記表面で第１の触覚効果を生成するように構成された静電装置と、
   前記静電装置とは別の、前記第１の種類の刺激とは異なる第２の種類の刺激を用いて前記表面で第２の触覚効果を生成するように構成されたアクチュエータと、
   前記表面、前記センサ、前記静電装置及び前記アクチュエータと通信するプロセッサと、を備え、前記プロセッサは、
   前記センサからの前記センサ信号を受信し、
   前記センサ信号の少なくとも一部に基づき、前記第１の触覚効果又は前記第２の触覚効果の特徴を決定し、
   前記静電装置に前記第１の触覚効果を生成させるように構成される第１の触覚信号を前記静電装置へ伝達し、
   前記アクチュエータに前記第１の触覚効果と同時に前記第２の触覚効果を生成させるように構成される第２の触覚信号を前記アクチュエータへ伝達し、
   前記総合的な触覚効果は、前記インタフェース装置と相互にやりとりする前記ユーザ又は物体へのフィードバックを提供するため、前記第１の種類の刺激を用いた前記第１の触覚効果と前記第２の種類の刺激を用いた前記第２の触覚効果を含むことを特徴とするインタフェース装置。
2. 前記総合的な触覚効果は、シミュレートされた摩擦係数、振動、前記表面の起伏の変化、触感、又はこれらの任意の組み合わせを含むことを特徴とする請求項１に記載のインタフェース装置。
3. 前記第１の触覚効果は、シミュレートされた摩擦係数又は触感を含むことを特徴とする請求項１に記載のインタフェース装置。
4. 前記触感は、ラフネス、バンピネス、スティッキーネス、ファインネス、コーネス、スムースネス、又はこれらの任意の組み合わせであることを特徴とする請求項３に記載のインタフェース装置。
5. 前記アクチュエータは、振動又は前記表面の起伏の変化として前記第２の触覚効果を生成することにより前記総合的な触覚効果を変化させるように構成されることを特徴とする請求項３に記載のインタフェース装置。
6. 前記センサは、第１のセンサであり、前記表面の前記接触を検知し、前記信号を伝達するように構成された第２のセンサをさらに備えることを特徴とする請求項５に記載のインタフェース装置。
7. 前記接触は、表面圧力又は当該表面圧力の経時的な変化もしくは前記表面上の場所による変化を含むことを特徴とする請求項６に記載のインタフェース装置。
8. 前記第１の触覚効果は、前記表面の高さ又は深さをシミュレートするように構成され、シミュレートされた摩擦係数を含むことを特徴とする請求項１に記載のインタフェース装置。
9. 前記アクチュエータは、前記第２の触覚効果を生成して前記表面のシミュレートされた高さ又は深さを変化させるように構成され、前記第２の触覚効果は前記表面の起伏を変化させるように構成されることを特徴とする請求項８に記載のインタフェース装置。
10. 前記第２の触覚効果は、境界の横断に対応する振動であることを特徴とする請求項１に記載のインタフェース装置。
11. 前記プロセッサは、前記表面における接触の位置に基づいて前記第１の触覚効果を変化させるようにさらに構成されることを特徴とする請求項１に記載のインタフェース装置。
12. 前記プロセッサは、時間に基づいて前記第１の触覚効果を変化させるようにさらに構成されることを特徴とする請求項１１に記載のインタフェース装置。
13. 前記プロセッサは、前記表面における前記接触の位置の変化に基づいて前記第１の触覚効果を変化させるようにさらに構成されることを特徴とする請求項１１に記載のインタフェース装置。
14. 前記プロセッサは、前記表面における前記接触の位置の変化に基づいてジェスチャの入力を認識するようにさらに構成されることを特徴とする請求項１３に記載のインタフェース装置。
15. 前記プロセッサは、湿度、温度、又は環境光の量に基づいて、前記第１の触覚効果を変化させるようにさらに構成されることを特徴とする請求項１に記載のインタフェース装置。
16. 前記プロセッサは、前記インタフェース装置の速度、前記インタフェース装置の加速度に基づいて、前記第１の触覚効果を生成するようにさらに構成されることを特徴とする請求項１に記載のインタフェース装置。
17. 前記プロセッサは、前記センサ信号に基づき前記体の一部の前記インピーダンスを決定し、前記表面における前記体の一部の前記インピーダンスに基づき前記第１の触覚効果を変化させるようにさらに構成されることを特徴とする請求項１に記載のインタフェース装置。
18. 前記センサは、前記表面にパルスを加え、該パルスと関係する電圧を決定することによって前記体の一部の前記インピーダンスを測定するように構成されることを特徴とする請求項１に記載のインタフェース装置。
19. 前記表面の少なくとも一部分は非ディスプレイ表面であり、前記静電装置は、前記非ディスプレイ表面に前記第１の触覚効果を生成し、前記アクチュエータは、前記非ディスプレイ表面に前記第２の触覚効果を生成するように構成されることを特徴とする請求項１に記載のインタフェース装置。
20. 前記非ディスプレイ表面は、スイッチ、つまみ、トラックパッド、リモートコントローラ、又はダッシュボードの一部分であることを特徴とする請求項１９に記載のインタフェース装置。
21. 前記非ディスプレイ表面にスライドバーをさらに備えることを特徴とする請求項１９に記載のインタフェース装置。
22. ディスプレイ表面として構成される第２の表面をさらに備え、前記インタフェース装置は、前記第２の表面に表示されたビジュアルコンテンツ又はオーディオコンテンツに基づいて、前記非ディスプレイ表面に前記第１の触覚効果を生成するように構成されることを特徴とする請求項１９に記載のインタフェース装置。
23. 前記第１の刺激と前記第２の刺激とは異なる第３の種類の刺激を使用して、前記表面に第３の触覚効果を提供するように構成されるサーマル装置をさらに備え、総合的な触覚効果は、前記第１の触覚効果と前記第２の触覚効果と前記第３の触覚効果を含むことを特徴とする請求項１に記載のインタフェース装置。
24. 総合的な触覚効果を提供する方法であって、
    インタフェース装置の表面から信号を受信し、該表面は、前記インタフェース装置と相互にやりとりするユーザ又は物体による接触を検知し、その信号を伝達するよう構成され、
    前記表面と接触する体の一部のインピーダンスを測定し、そのセンサ信号を伝達するように構成されたセンサからのセンサ信号を受信し、
    該センサ信号の少なくとも一部に基づき、第１の触覚効果又は第２の触覚効果の特徴を決定し、
    第１の触覚信号を前記静電装置に伝達し、該第１の触覚信号は、静電装置の電極層と、前記ユーザ又は物体との間の静電力を生成することにより第１の種類の刺激を用いて前記表面に前記第１の触覚効果を生成させるように構成され、
    前記静電装置とは別のアクチュエータに第２の触覚信号を伝達し、前記第２の触覚信号は、前記第１の種類の刺激とは異なる第２の種類の刺激を用いて前記アクチュエータに前記第１の触覚効果と同時に前記第２の触覚効果を生成させるように構成され、
    前記総合的な触覚効果は、前記インタフェース装置と相互にやりとりする前記ユーザ又は物体へのフィードバックを提供するため、前記第１の種類の刺激を用いて生成された前記第１の触覚効果と前記第２の種類の刺激を用いて生成された前記第２の触覚効果を含むことを特徴とする方法。
25. 前記総合的な触覚効果は、シミュレートされた摩擦係数、振動、前記表面の起伏の変化、触感、又はこれらの任意の組み合わせを含むことを特徴とする請求項２４に記載の方法。
26. 前記第１の触覚効果は前記表面において摩擦係数又は触感をシミュレートすることを特徴とする請求項２４に記載の方法。
27. 前記触感は、ラフネス、バンピネス、スティッキーネス、ファインネス、コースネス、スムースネス、又はこれらの任意の組み合わせであることを特徴とする請求項２６に記載の方法。
28. 前記第２の触覚効果は、振動又は前記表面の起伏の変化であることを特徴とする請求項２６に記載の方法。
29. 前記第１の触覚効果を前記静電装置によって変化させ、又は、前記第２の触覚効果を前記アクチュエータによって変化させて、シミュレートされた摩擦係数を変化させる工程をさらに含むことを特徴とする請求項２６に記載の方法。
30. 前記センサが、前記表面にパルスを加え、該パルスと関係する電圧を決定することによって前記インピーダンスを測定することを特徴とする請求項２４に記載の方法。
31. 前記第１の触覚効果又は第２の触覚効果を、前記表面における前記体の一部の前記インピーダンスに基づき変更させることを含むことを特徴とする請求項２４に記載の方法。
32. 前記第１の触覚効果は、湿度、温度、又は環境光の量に基づいて生成されることを特徴とする請求項２４に記載の方法。
33. 前記静電装置により前記第１の触覚効果を変更することは、前記表面において受信された接触の位置又は前記表面における前記接触の位置の変化に基づくことを特徴とする請求項２９に記載の方法。
34. 前記表面において受信される接触の位置に基づいて、前記静電装置によって高さや深さをシミュレートする工程をさらに備えることを特徴とする請求項２８に記載の方法。
35. 前記高さ又は深さは、地形プロファイルに基づいてシミュレートされることを特徴とする請求項３４に記載の方法。
36. 前記第２の触覚効果を生成することにより、前記アクチュエータを使用して前記表面のシミュレートされた高さ又は深さを変化させる工程をさらに備え、前記第２の触覚効果は、前記表面の起伏を変化させるよう構成されることを特徴とする請求項３４に記載の方法。
37. 前記第２の触覚効果は、境界の横断に対応する振動であることを特徴とする請求項３４に記載の方法。
38. 前記第２の触覚効果は、境界の横断を少なくとも部分的にシミュレートするよう構成され、前記シミュレートされた境界の横断を経時的に変化させる工程をさらに備えることを特徴とする請求項３７に記載の方法。
39. 前記静電装置により前記第１の触覚効果を変化させることは、前記表面に表示されたビジュアルコンテンツに基づくことを特徴とする請求項２９に記載の方法。
40. 前記静電装置により前記第１の触覚効果を変化させることは、前記表面における圧力、前記表面における圧力の経時的な変化又は前記表面の場所による変化に基づくことを特徴とする請求項２９に記載の方法。
41. 前記第１の刺激と前記第２の刺激とは異なる第３の種類の刺激を使用して、サーマル装置により前記表面に第３の触覚効果を生成する工程をさらに備え、前記総合的な触覚効果は、前記第１の触覚効果と前記第２の触覚効果と前記第３の触覚効果を含むことを特徴とする請求項２４に記載の方法。
42. 前記表面は非ディスプレイ表面であることを特徴とする請求項２４に記載の方法。
43. 前記表面は、第１の表面であり、前記第１の触覚効果は、第２の表面に表示されたビジュアルコンテンツ又はオーディオコンテンツに基づくことを特徴とする請求項４２に記載の方法。
44. 前記第１の触覚効果は、前記表面の接触の位置に対応する前記第２の表面における位置に表示されたビジュアルコンテンツに基づくことを特徴とする請求項４３に記載の方法。
45. 前記非ディスプレイ表面は、スイッチ、つまみ、トラックパッド、リモートコントローラ、又はダッシュボードの一部分であることを特徴とする請求項４２に記載の方法。
46. 前記第１の触覚効果は、前記非ディスプレイ表面におけるスライドバー上での生成であることを含む請求項４２に記載の方法。
47. ディスプレイスクリーンをさらに含み、前記表面は、該ディスプレイスクリーンにより少なくとも部分的に画定されることを特徴とする請求項１に記載のインタフェース装置。
48. 前記静電装置は、前記電極層を含み、該電極層は前記表面に平行に位置していることを特徴とする請求項１に記載のインタフェース装置。
49. 前記静電装置は、前記電極層と前記表面との間に設けられた絶縁層を含むことを特徴とする請求項４８に記載のインタフェース装置。