JP6598915B2 - コンテキスト依存ハプティック確認システム - Google Patents

Description

一実施形態は概して、デバイス、より具体的にはハプティック効果を生成するデバイスに関する。

ハプティックは、力、振動、および動作などのハプティックフィードバック効果（すなわち「ハプティック効果」）をユーザに適用することにより、ユーザの触覚を利用する触知性および力フィードバック技術である。モバイルデバイス、タッチスクリーンデバイス、およびパーソナルコンピュータなどのデバイスは、ユーザがデバイスと首尾良く相互作用している確認のような、デバイスとのユーザの相互作用に応答して確認ハプティック効果を生成するように構成され得る。例えば、ユーザが、例えば、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、または一部の他のコントロールを使用してデバイスと相互作用する場合、ハプティック信号が生成され得、そのハプティック信号は、そのデバイスに適切な確認ハプティック効果を生成させる。ユーザは確認ハプティック効果を経験でき、デバイスとの首尾良い相互作用を認識できる。

一実施形態は、確認ハプティック効果を生成するハプティック確認システムである。そのシステムは、ユーザインターフェース要素のユーザ相互作用と関連するコンテキストメタデータを受信する。そのシステムはさらに、受信したコンテキストメタデータを１つ以上のハプティックパラメータにマッピングする。そのシステムはさらに、少なくとも部分的に１つ以上のハプティックパラメータに基づいたハプティック信号を生成する。そのシステムはさらに、確認ハプティック効果を生成するためにハプティック信号をアクチュエータに送信する。

さらなる実施形態、詳細、利点、および修飾は、添付の図面と共に好ましい実施形態の以下の詳細な説明から明らかになるであろう。

本発明の一実施形態に係るハプティック確認システムのブロック図を示す。 本発明の一実施形態に係る１つ以上のハプティックパラメータに対するコンテキストメタデータのマッピングを示す。 本発明の一実施形態に係るハプティックパラメータスライダユーザインターフェースを示す。 本発明の一実施形態に係るハプティック確認モジュールの機能のフローチャートを示す。

一実施形態は、タッチスクリーン内に表示されたボタンまたはキーボードなどのデバイスのユーザインターフェース要素との相互作用に応答して確認ハプティック効果を生成できるハプティック確認システムであり、その確認ハプティック効果は、ユーザインターフェース要素の相互作用と関連する、コンテキストメタデータ、または一部の他のメタデータに基づいてカスタマイズされてもよい。そのようなコンテキストメタデータは、ユーザインターフェース要素のサイズまたは形状などのユーザインターフェース要素の１つ以上の物理的性質を示すデータを含んでもよい。コンテキストメタデータはまた、ユーザインターフェース要素の機能を示すデータを含んでもよい。

例えば、コンテキストメタデータは、ユーザインターフェース要素が、電子メールメッセージまたはテキストメッセージの作成を開始するかどうかを示すデータを含んでもよい。コンテキストメタデータはまた、ユーザインターフェース要素との相互作用の履歴を示すデータを含んでもよい。例えば、コンテキストメタデータは、ユーザがユーザインターフェース要素（ここでユーザインターフェース要素は物理的要素、例えばキーボードである）にタイプするか、またはユーザインターフェース要素（ここでユーザインターフェース要素はデバイスのタッチスクリーン内に表示できる仮想要素、例えばボタンである）にタッチする速度を示すデータを含んでもよい。コンテキストメタデータはまた、ユーザによりユーザインターフェース要素に適用されたタッチにより生成された検出された力のような、センサ入力データを含んでもよい。確認ハプティック効果のカスタマイズは、限定されないが、大きさ、持続時間、周波数、および波形などの１つ以上のハプティックパラメータの修飾であってもよい。このようにハプティック確認システムは、単一のユーザインターフェース要素のための複数の可能な確認ハプティックイベントを生成でき、各確認ハプティックイベントはコンテキストメタデータに基づいて個々にカスタマイズされる。

図１は、本発明の一実施形態に係るハプティック確認システム１０のブロック図を示す。一実施形態において、システム１０はデバイスの一部であり、システム１０はデバイスのためのハプティック確認機能を提供する。単一のシステムとして示されるが、システム１０の機能は分散システムとして実装されてもよい。システム１０は、情報を通信するためのバス１２または他の通信機構、および情報を処理するためのバス１２に連結されるプロセッサ２２を含む。プロセッサ２２は汎用または特定目的のプロセッサのいずれの種類であってもよい。システム１０はさらに、情報を記憶するためのメモリ１４およびプロセッサ２２により実行される命令を含む。メモリ１４は、ランダムアクセスメモリ（「ＲＡＭ」）、リードオンリメモリ（「ＲＯＭ」）、磁気ディスクもしくは光ディスクなどの静的記憶装置、または任意の他の種類のコンピュータ可読媒体の任意の組み合わせから構成されてもよい。

コンピュータ可読媒体は、プロセッサ２２によりアクセスされ得る任意の利用可能な媒体であってもよく、揮発性媒体および非揮発性媒体の両方、リムーバルおよびノンリムーバル媒体、通信媒体、ならびに記憶媒体を含んでもよい。通信媒体は、搬送波または他の搬送機構などの変調データ信号内にコンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを含んでもよく、当該技術分野において公知の任意の他の形態の情報送信媒体を含んでもよい。記憶媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、消去可能プログラマブルリードオンリメモリ（「ＥＰＲＯＭ」）、電気的消去可能プログラマブルリードオンリメモリ（「ＥＥＰＲＯＭ」）、レジスタ、ハードディスク、リムーバルディスク、コンパクトディスクリードオンリメモリ（「ＣＤ−ＲＯＭ」）、または当該技術分野において公知の任意の他の形態の記憶媒体を含んでもよい。

一実施形態において、メモリ１４は、プロセッサ２２により実行される場合、機能を提供するソフトウェアモジュールを記憶する。モジュールは、システム１０のためのオペレーティングシステム機能を提供するオペレーティングシステム１５、ならびに一実施形態におけるモバイルデバイスの残りを含む。モジュールはさらに、以下により詳細に開示されるように確認ハプティック効果を生成するハプティック確認モジュール１６を含む。特定の実施形態において、ハプティック確認モジュール１６は複数のモジュールを含んでもよく、各個々のモジュールは確認ハプティック効果を生成するための特定の個々の機能を提供する。システム１０は典型的に、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＩｎｔｅｇｒａｔｏｒ Ｈａｐｔｉｃ Ｄｅｖｅｌｏｐｍｅｎｔ Ｐｌａｔｆｏｒｍなどの追加の機能を含むように１つ以上の追加のアプリケーションモジュール１８を含む。

リモートソースからデータを送信および／または受信する実施形態において、システム１０はさらに、赤外線、無線、Ｗｉ−Ｆｉ、またはセルラーネットワーク通信などの移動無線ネットワーク通信を提供するために、ネットワークインターフェースカードなどの通信デバイス２０を含む。他の実施形態において、通信デバイス２０は、イーサネット（登録商標）接続またはモデムなどの有線ネットワーク接続を提供する。

プロセッサ２２はさらに、バス１２を介して、グラフィック描写を表示するための液晶ディスプレイ（「ＬＣＤ」）などのディスプレイ２４またはユーザに対するユーザインターフェースに接続される。ディスプレイ２４は、プロセッサ２２から信号を送信し、受信するように構成される、タッチスクリーンなどのタッチセンサ入力デバイスであってもよく、マルチタッチのタッチスクリーンであってもよい。プロセッサ２２はさらに、マウスまたはタッチペンなどのユーザがシステム１０と相互作用できるキーボードまたはカーソルコントロール２８に接続されてもよい。

一実施形態において、システム１０はさらに、アクチュエータ２６を含む。プロセッサ２２は、生成されたハプティック効果に関連するハプティック信号をアクチュエータ２６に送信してもよく、次いで振動触覚ハプティック効果などのハプティック効果を出力する。アクチュエータ２６はアクチュエータ駆動回路を含む。アクチュエータ２６は、例えば、電気モータ、電磁気アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転モータ（「ＥＲＭ」）、線形共鳴アクチュエータ（「ＬＲＡ」）、圧電アクチュエータ、高帯域アクチュエータ、電気活性ポリマー（「ＥＡＰ」）アクチュエータ、静電摩擦ディスプレイ、または超音波振動発生器であってもよい。代替の実施形態において、システム１０は、アクチュエータ２６に加えて１つ以上の追加のアクチュエータを含んでもよい（図１に示さず）。他の実施形態において、システム１０とは別個のデバイスが、ハプティック効果を生成するアクチュエータを含み、システム１０は、生成されたハプティック効果信号を、通信デバイス２０を介して、そのデバイスに送信する。

一実施形態において、システム１０はさらに、センサ３０を含む。センサ３０は、エネルギーの形態、または限定されないが、加速度、生体信号、距離、流量、力／圧力／歪／屈曲、湿度、線形位置、配向／傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、および可視光強度などの他の物理特性を検出するように構成されてもよい。センサ３０はさらに、検出されたエネルギーまたは他の物理特性を、電気信号または仮想センサ情報を表す任意の信号に変換するように構成されてもよい。センサ３０は、限定されないが、加速度計、心電図、脳電図、筋電図、眼電図、電子口蓋図（ｅｌｅｃｔｒｏｐａｌａｔｏｇｒａｐｈ）、電気皮膚反応センサ、容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバセンサ、屈曲センサ（ｆｌｅｘｉｏｎ ｓｅｎｓｏｒ）（または屈曲センサ（ｂｅｎｄ ｓｅｎｓｏｒ））、力感応抵抗器、ロードセル、ＬｕＳｅｎｓｅ ＣＰＳ^２１５５、小型圧力トランスデューサ、圧電センサ、歪みゲージ、湿度計、線形位置タッチセンサ、線形電位差計（またはスライダ）、線形可変差動変圧器、加速度計、コンパス、傾斜計、磁性タグ（または無線自動識別タグ）、回転エンコーダ、回転式ポテンショメータ、ジャイロスコープ、オン・オフスイッチ、温度センサ（例えば熱電対、抵抗温度検出器、サーミスタ、および温度変換集積回路）、マイクロホン、光度計、高度計、温度計、生物学的モニタ、または光依存性抵抗器などの任意のデバイスであってもよい。

図２は、本発明の一実施形態に係る、１つ以上のハプティックパラメータに対するコンテキストメタデータのマッピングを示す。以前に記載したように、デバイスはユーザインターフェース要素を含んでもよく、ユーザインターフェース要素は、ユーザが相互作用できるデバイスの物理的要素または仮想要素であってもよい。物理的ユーザインターフェース要素の例は、キーボードまたはマウスなどのカーソルコントロールである。仮想ユーザインターフェース要素の例は、ボタン、スライダ、スクローラ、スイッチ、チェックボックス、およびラジオボックスなどのタッチスクリーン内に表示されるアイコンである。以前に記載したように、ユーザはユーザインターフェース要素と相互作用でき、ユーザインターフェース要素との相互作用はユーザインターフェース要素の物理的操作を含んでもよい。ユーザインターフェース要素の物理的操作の例は、ユーザインターフェース要素をタッチすること（例えばキーボードをタッチすること、またはボタンもしくは一部の他の種類のユーザインターフェース要素が表示されるタッチスクリーンをタッチすること）である。

ユーザインターフェース要素との相互作用は１つ以上の種類のコンテキストメタデータ（コンテキストメタデータ２１０として図２に示した）の作成を含んでもよく、コンテキストメタデータは、ユーザインターフェース要素との相互作用のコンテキストと関連する任意のデータであってもよい。コンテキストメタデータは、ユーザインターフェース要素との相互作用に応答して確認ハプティック効果を生成するために使用されてもよい。以下により詳細に記載するように、確認ハプティック効果は、ユーザインターフェース要素との相互作用を確認するために、ユーザインターフェース要素とのユーザ相互作用に応答して生成され得る、力、振動、および動作などのハプティックフィードバック効果であってもよい。

コンテキストメタデータの例は、ユーザインターフェース要素の１つ以上の物理的性質（物理的性質２１１として図２に示した）を示すデータである。１つ以上の物理的性質はユーザインターフェース要素のサイズまたは形状を含んでもよく、ユーザインターフェース要素のサイズは１つ以上のサイズパラメータを含んでもよく、ユーザインターフェース要素の形状は１つ以上の形状パラメータを含んでもよい。例えば、１つ以上の物理的性質は、デバイスのタッチスクリーン内に表示されるボタンのサイズ（すなわち、ボタンの１つ以上のサイズパラメータ）を含んでもよい。この例において、確認ハプティック効果はボタンの１つ以上のサイズパラメータに基づいて生成されてもよい。したがって、小さなボタンは、ユーザにとって大きなボタンとは異なる感覚（例えば「より軽い」）であってもよい。別の例において、１つ以上の物理的性質はボタンの形状（すなわち、ボタンの１つ以上の形状パラメータ）を含んでもよい。別の例において、１つ以上の物理的性質は、ボタンのサイズおよび形状の両方（すなわちボタンの１つ以上のサイズパラメータおよびボタンの１つ以上の形状パラメータ）を含んでもよい。したがって、ユーザが相互作用するボタン（または他のユーザインターフェース要素）のサイズおよび形状の両方が、生成される確認ハプティック効果を決定するために使用されてもよい。

コンテキストメタデータの別の例は、ユーザインターフェース要素の機能（機能２１２として図２に示した）を示すデータである。機能は、ユーザインターフェース要素またはユーザインターフェース要素との相互作用のいずれかに機能的に関連してもよい。例えば、機能は、ユーザインターフェース要素内のキャラクタ、または文字の入力であってもよい。別の例として、機能は、ユーザインターフェース要素との相互作用時にユーザインターフェース要素により起動され得る、テキストメッセージ、またはＥメールメッセージの作成であってもよい。したがって、ユーザインターフェース要素の機能は、生成される確認ハプティック効果を決定するために使用されてもよい。例えば、文字がフィールド内の入力である場合、タッチスクリーン内に表示されるフィールド内のキャラクタの入力が、生成される確認ハプティック効果とは異なる確認ハプティック効果を生成してもよい。別の例として、テキストメッセージを作成するためにタッチスクリーン内に表示されるボタンの押圧が、確認ハプティック効果を生成させてもよい。しかしながら、Ｅメールメッセージを作成するためにタッチスクリーン内に表示されるボタンの同じ押圧が、異なる確認ハプティック効果を生成させてもよい。

コンテキストメタデータの別の例は、ユーザインターフェース要素の履歴（履歴２１３として図２に示した）を示すデータである。履歴は、ユーザインターフェース要素との１つ以上の以前の相互作用に関連する履歴であってもよい。例えば、ユーザインターフェース要素（キーボードまたはタッチスクリーン内に表示されるボタンなど）の履歴はタイピング速度（すなわち、ユーザがキーボードにタイプする速度またはタッチスクリーン内に表示されるボタンをタッチする速度）であってもよい。一例として、ゆっくりとしたタイピング速度で望ましいと感じる確認ハプティック効果は、速いタイピング速度で望ましくないと感じてもよい。このことについての１つの理由は、確認ハプティック効果を生成するアクチュエータが、特定の速度でカスケード確認ハプティック効果を生成できないからである。なぜなら、各々の確認ハプティック効果の持続時間は、各々のキーストロークの間の持続時間より長くなり得るからである。このために、確認ハプティック効果は互いに混合されてもよく、「感傷的な（ｍｕｓｈｙ）」ハプティック経験を生成する。このための別の理由は、最初の確認ハプティック効果の大きさが、次に生成される１つ以上の弱い確認ハプティック効果を圧倒するほど非常に強くなり得るということであり得る。したがって、タイピング速度は、複数の確認ハプティック効果が互いに混合することまたは他の望ましくない結果を引き起こすことを避けるために、確認ハプティック効果の大きさ、持続時間、または他のパラメータを自動的に拡大縮小するように使用されてもよい。タイピング速度は、ユーザインターフェース要素との複数の相互作用の後に決定されてもよい。したがって、確認ハプティック効果の修飾は、タイピング速度の変化が識別されると（すなわち複数の相互作用の後に）すぐに行われてもよい。

コンテキストメタデータの別の例はセンサ入力データ（センサ入力データ２１４として示した）である。以前に記載したように、センサはユーザインターフェース要素との相互作用に関連するセンサ入力データを生成できる。例えば、センサは、ユーザがユーザインターフェース要素（キーボードまたはタッチスクリーン内に表示されるボタンなど）をタッチすることにより生成される圧力に関連するセンサ入力データを生成できる。圧力に基づいて、対応する確認ハプティック効果が生成されてもよい。例えば、圧力が増加する（すなわち、ユーザがユーザインターフェース要素を強くタッチする）と、確認ハプティック効果の大きさが増加（または減少）し得る。別の例として、センサは、ユーザが従事している身体的活動、例えばウォーキングまたはランニングを示し得るデバイスの加速度に関連する入力データを生成できる。さらに別の例として、センサは、ユーザの環境により生成される音に関連する入力データを生成できる。音に基づいて、ユーザの環境が騒々しいと決定されてもよく、確認ハプティック効果の大きさ（または振幅もしくは強度）が増加されるべきであると決定されてもよい。別の例として、センサは、さらなる画像、ビデオ、または音などの処理データから作成される情報または信号により表される入力データを生成できる。例えば、ユーザインターフェース内に表示される仮想レーシングカーであるユーザインターフェース要素が、確認ハプティック効果を、車の仮想速度、車のカメラ視野角への接近の仕方、または車のサイズに基づいて修飾させてもよい。

コンテキストメタデータはまた、任意の他の種類のコンテキストメタデータ（他のコンテキストメタデータ２１５として図２に示した）であってもよい。これは、ユーザインターフェース要素との相互作用に関連する任意の種類のデータであってもよい。特定の実施形態において、メモリまたは別のコンピュータ可読媒体もしくは有形的表現媒体に記憶され、プロセッサにより実行されるソフトウェアは、上述の種類のコンテキストメタデータのうちの１つ以上を生成できる。さらに、メモリまたは別のコンピュータ可読媒体もしくは有形的表現媒体に記憶され、プロセッサにより実行されるソフトウェアは、コンテキストメタデータを受信し、読み取ることができる。そのようなソフトウェアは、（特定の実施形態において、他の受信された入力データに加えて）コンテキストメタデータを、１つ以上のハプティックパラメータにマッピングできる（マッピングはマッピング２２０として図２に示した）。そのようなマッピングはさらに以下により詳細に記載される。

実施形態によれば、確認ハプティック効果がユーザインターフェース要素とのユーザ相互作用を確認できる場合、適切な確認ハプティック効果を生成するために、１つ以上のハプティックパラメータが生成されてもよい（１つ以上のハプティックパラメータはハプティックパラメータ２３０として図２に示す）。上記のように、確認ハプティック効果は、ユーザインターフェース要素との相互作用を確認するために、ユーザインターフェース要素とのユーザ相互作用に応答して生成され得る、力、振動、および動作などのハプティックフィードバック効果である。特定の実施形態において、確認ハプティック効果は静的ハプティック効果である。また、特定の実施形態において、確認ハプティック効果は、ハプティック効果のライブラリーに記憶されてもよく、ハプティック効果のライブラリーから選択されてもよい。特定の実施形態において、ハプティック効果のライブラリーはメモリに記憶されてもよい。ハプティックパラメータは、大きさ、周波数、持続時間、振幅（すなわち強度）、波形、または任意の他の種類の定量可能なハプティックパラメータなどのある量のハプティック効果の質である。実施形態によれば、確認ハプティック効果は１つ以上のハプティックパラメータにより少なくとも部分的に定義されてもよく、１つ以上のハプティックパラメータは確認ハプティック効果の特徴を定義してもよい。１つ以上のハプティックパラメータはさらに以下により詳細に記載される。

上記のように、１つ以上のハプティックパラメータを生成するために、入力データは、１つ以上のハプティックパラメータにマッピングされてもよい。より具体的には、１つ以上のハプティックパラメータは、少なくとも部分的に入力データに基づいて生成されてもよい。マッピングの一部として、コンテキストメタデータは、１つ以上のハプティックパラメータ（コンテキストメタデータマッピング２２１として図２に示した）にマッピングされてもよい。より具体的には、１つ以上のハプティックパラメータは各々、少なくとも部分的にコンテキストメタデータに基づき得る値を含んでもよい。例えば、コンテキストメタデータ（ユーザインターフェース要素のサイズなど）は特定の値であり、１つ以上のハプティックパラメータは同様に特定の値と共に生成されてもよい。したがって、コンテキストメタデータは１つ以上のハプティックパラメータを少なくとも部分的に定義できる。

特定の実施形態において、コンテキストメタデータマッピングは、確認ハプティック効果が生成される前に実施される唯一のマッピングである。しかしながら、代替の実施形態において、コンテキストメタデータマッピングは他のマッピングと組み合わされてもよい。例えば、特定の実施形態において、コンテキストメタデータマッピングに加えて、ユーザはカスタマイズされたマッピング（ユーザカスタマイズマッピング２２２として図２に示す）を実施できる。カスタマイズされたマッピングの一部として、１つ以上のハプティックパラメータは、ユーザにより定義される１つ以上の乗数に基づいて修飾されてもよい。より具体的には、１つ以上のハプティックパラメータについての値は、ユーザにより定義される１つ以上の乗数に基づいて修飾されてもよい。ユーザにより定義される１つ以上の乗数はスライダユーザインターフェースの一部である１つ以上のスライダに基づいてもよい。スライダユーザインターフェースは図３に関して以下により詳細に記載される。１つ以上のハプティックパラメータを修飾することにより、確認ハプティック効果は１つ以上の乗数に基づいて修飾されてもよい。特定の実施形態において、１つ以上の乗数は全てのユーザインターフェース要素について全体的に定義されてもよい。他の実施形態において、１つ以上の乗数は、特定のユーザインターフェース要素、または特定の複数のユーザインターフェース要素について局所的に定義されてもよい。特定の実施形態において、ユーザカスタマイズマッピングはコンテキストメタデータマッピングの後に実施される。代替の実施形態において、ユーザカスタマイズマッピングはコンテキストメタデータマッピングの前に実施される。特定の実施形態において、１つ以上の乗数は全てのユーザインターフェース要素に一貫して適用される。代替の実施形態において、１つ以上の乗数は、各ユーザインターフェース要素に関連するコンテキストメタデータに基づいてユーザインターフェース要素に適用される。例えば、乗数が低い値である場合、小さなボタンと大きなボタンとの間のハプティックパラメータの相違（大きさなど）が減少してもよい。しかしながら、乗数が高い値である場合、小さなボタンと大きなボタンとの間のハプティックパラメータの相違が増加してもよい。

特定の実施形態において、コンテキストメタデータマッピング、およびユーザカスタマイズマッピングに加えて、１つ以上の他のマッピングが実施される（他のマッピング２２３として図２に示した）。例えば、テーママッピングが実施されてもよく、そのテーママッピングは定義されたテーマに基づいて１つ以上のハプティックパラメータを修飾することを含み、１つ以上のハプティック効果を生成するために、テーマは、１つ以上のハプティック効果、および１つ以上のユーザインターフェース要素に対する１つ以上のハプティックパラメータのマッピングを含むインストール可能なパッケージである。別の例として、ダイナミックマッピングが実施されてもよく、複数のユーザインターフェース要素相互作用からのデータ（コンテキストメタデータなど）は１つ以上のハプティックパラメータにマッピングされてもよい。１つ以上の他のマッピングはまた、任意の他の種類のマッピングであってもよく、データは１つ以上のハプティックパラメータにマッピングされる。

上記のように、１つ以上のハプティックパラメータは、１つ以上のマッピングに基づいて生成されてもよい（ここで１つ以上のハプティックパラメータはハプティックパラメータ２３０として図２に示す）。また上記のように、ハプティックパラメータはある量のハプティック効果の質である。ハプティックパラメータはハプティックパラメータに関連する値を有してもよい。ハプティックパラメータの例は、大きさハプティックパラメータ（大きさ２３１として図２に示す）であり、大きさハプティックパラメータは確認ハプティック効果の大きさの値を定義する。ハプティックパラメータの別の例は周波数ハプティックパラメータ（周波数２３２として図２に示す）であり、周波数ハプティックパラメータは確認ハプティック効果の周波数の値を定義する。ハプティックパラメータのさらに別の例は、持続時間ハプティックパラメータ（持続時間２３３として図２に示す）であり、持続時間ハプティックパラメータは確認ハプティック効果の持続時間の値を定義する。ハプティックパラメータのさらに別の例は波形ハプティックパラメータ（波形２３４として図２に示す）であり、波形持続時間ハプティックパラメータは確認ハプティック効果の波形の値を定義する。ハプティックパラメータの他の例は、確認ハプティック効果の定量可能な値を定義する任意の他の種類の定量可能なハプティックパラメータを含む。

特定の実施形態において、メモリまたは別のコンピュータ可読媒体もしくは有形的表現媒体に記憶され、プロセッサにより実行されるソフトウェアは、１つ以上のハプティックパラメータを読み取り、少なくとも部分的に１つ以上のハプティックパラメータに基づいて１つ以上のハプティック信号を生成できる。特定の実施形態において、１つ以上のハプティックパラメータはハプティック信号の１つ以上の特徴を定義する。例えば、大きさハプティックパラメータはハプティック信号の大きさを定義できる。別の例として、周波数ハプティックパラメータはハプティック信号の周波数を定義できる。さらに別の例として、波形ハプティックパラメータはハプティック信号の波形を定義できる。さらに別の例として、持続時間ハプティックパラメータはハプティック信号の持続時間を定義できる。

さらに、メモリまたは別のコンピュータ可読媒体もしくは有形的表現媒体に記憶され、プロセッサにより実行されるソフトウェアは、１つ以上のハプティック信号を１つ以上のアクチュエータに送信できる。１つ以上のアクチュエータのうちの各々のアクチュエータにおいて、アクチュエータは、１つ以上のハプティック信号のうちの少なくとも１つのハプティック信号を受信でき、少なくとも１つのハプティック信号に基づいて１つ以上の確認ハプティック効果を出力できる。したがって、少なくとも１つのハプティック信号は、１つ以上の確認ハプティック効果のうちの１つ以上の特徴を定義できる。複数のアクチュエータを含む特定の実施形態において、アクチュエータは１つ以上のハプティック信号をロードシェアできる。例えば、第１のセットのユーザインターフェース要素に関連する１つ以上のハプティック信号のうちの一部は第１のアクチュエータに送信でき、第２のセットのユーザインターフェース要素に関連する１つ以上のハプティック信号のうちの他のハプティック信号は第２のアクチュエータに送信できる。複数のアクチュエータを含む特定の実施形態において、一部のアクチュエータは機械的アクチュエータであり、他のアクチュエータは非機械的アクチュエータである。

図３は、本発明の一実施形態に係る、ハプティックパラメータスライダユーザインターフェースを示す。より具体的には、図３は、ハプティックパラメータスライダユーザインターフェース３１０を表示するデバイス３００を示す。特定の実施形態において、デバイス３００はタッチスクリーンを示し、ハプティックパラメータスライダユーザインターフェース３１０はタッチスクリーン内に表示される。上記のように、コンテキストメタデータに加えて、ユーザはカスタマイズされたマッピングを実施できる。カスタマイズされたマッピングの一部として、１つ以上のハプティックパラメータはユーザにより定義される１つ以上の乗数に基づいて修飾されてもよい。特定の実施形態において、１つ以上の乗数はスライダユーザインターフェース３１０の１つ以上のスライダにより定義されてもよい。したがって、スライダユーザインターフェース３１０は１つ以上のハプティックパラメータを修飾するために使用される１つ以上の乗数をコントロールできる。

図３の例示した実施形態において、スライダユーザインターフェース３１０は、単一のスライダであるスライダ３２０を含む。しかしながら、これは単なる例示的な実施形態であり、他の実施形態において、スライダユーザインターフェース３１０は複数のスライダを含んでもよい。スライダ３２０はハプティックパラメータを修飾するために使用される乗数と関連してもよい。例えば、スライダ３２０は、大きさハプティックパラメータを修飾するために使用される大きさ乗数と関連してもよい。別の例として、スライダ３２０は、周波数ハプティックパラメータを修飾するために使用される周波数乗数と関連してもよい。さらに別の例として、スライダ３２０は波形ハプティックパラメータを修飾するために使用される波形乗数と関連してもよい。さらに別の例として、スライダ３２０は、持続時間ハプティックパラメータを修飾するために使用される持続時間乗数と関連してもよい。スライダユーザインターフェース３１０が複数のスライダを含む実施形態において、各スライダは特定のハプティックパラメータを修飾するために使用される特定の乗数と関連してもよい。したがって、スライダ３２０はハプティックパラメータを修飾するために使用される乗数をコントロールしてもよい。

例示した実施形態によれば、スライダ３２０はスライダコントロール３３０を含む。スライダコントロール３３０は、ユーザがスライダ３２０に関連する乗数をコントロールできる露出されたユーザインターフェース要素である。スライダコントロール３３０をスライダ３２０の左または右に移動させることによって、ユーザはスライダ３２０に関連する乗数をコントロールでき、よって、スライダ３２０に関連するハプティックパラメータをコントロールできる。例えば、スライダ３２０が大きさハプティックパラメータを修飾するために使用される大きさ乗数と関連する実施形態において、ユーザは、大きさハプティックパラメータの値を増加または低下でき、それ故、スライダコントロール３３０を移動させることによってユーザインターフェース要素に関連する確認ハプティック効果を増加または低下できる。

特定の実施形態において、スライダ３２０は、ハプティックパラメータの全てのユーザインターフェース要素を修飾するために使用される乗数を全体的にコントロールできる。他の実施形態において、スライダ３２０は、特定のユーザインターフェース要素、または特定の複数のユーザインターフェース要素についてハプティックパラメータを修飾するために使用される乗数を局所的にコントロールできる。特定の実施形態において、スライダ３２０は一貫して、乗数を全てのユーザインターフェース要素に適用する。代替の実施形態において、スライダ３２０は、乗数を、各ユーザインターフェース要素に関連するコンテキストメタデータに基づいてユーザインターフェース要素に適用する。例えば、スライダコントロール３３０が低い値に設定される場合、小さなユーザインターフェース要素と大きなユーザインターフェース要素との間のハプティックパラメータの相違（大きさなど）は減少してもよい。しかしながら、スライダコントロール３３０が高い値に設定される場合、小さなユーザインターフェース要素と大きなユーザインターフェース要素との間のハプティックパラメータの相違は増加してもよい。スライダ３２０の機能は、限定されないが、ダイヤル、ホイール、スピナー、ボタン、ラジオボタン、スクローラ、スイッチ、またはチェックボックスを含む、スライダ以外のユーザインターフェース要素において反復されてもよい。スライダ３２０の機能はまた、限定されないが、物理的ボタン、ロッカスイッチ、物理的スライダ、および「ソフトキー」（タッチした場合、一部のソフトウェア機能をアクティブにするハードウェア表面上の領域）を含む、ハードウェアユーザインターフェース要素と共に反復されてもよい。

図４は、本発明の一実施形態に係る、ハプティック確認モジュール（図１のハプティック確認モジュール１６など）の機能のフローチャートを示す。一実施形態において、図４の機能は、メモリまたは別のコンピュータ可読媒体もしくは有形的表現媒体に記憶され、プロセッサにより実行されるソフトウェアにより実装される。他の実施形態において、機能は、ハードウェアによって（例えば特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）などの使用により）、またはハードウェアおよびソフトウェアの任意の組み合わせによって実施されてもよい。さらに、代替の実施形態において、機能は類似のコンポーネントを使用してハードウェアにより実施されてもよい。

フローは開始し、４１０に進む。４１０において、ユーザインターフェース要素のユーザ相互作用に関連するコンテキストメタデータを受信する。上記のように、ユーザインターフェース要素は、ユーザが相互作用できるデバイスの物理的要素または仮想要素であってもよい。物理的ユーザインターフェース要素の例はキーボード、またはマウスなどのカーソルコントロールである。仮想ユーザインターフェース要素の例は、ボタン、スライダ、スクローラ、スイッチ、チェックボックス、およびラジオボックスなどのタッチスクリーン内に表示されるアイコンである。ユーザインターフェース要素との相互作用はユーザインターフェース要素の物理的操作を含んでもよい。ユーザインターフェース要素の物理的操作の例はユーザインターフェース要素をタッチすること（キーボードをタッチすることまたはユーザインターフェース要素のボタンもしくは一部の他の種類が表示されるタッチスクリーンをタッチすることなど）である。コンテキストメタデータはユーザインターフェース要素との相互作用のコンテキストに関連する任意のデータであってもよい。コンテキストメタデータはユーザインターフェース要素の１つ以上の物理的性質を示すデータを含んでもよい。１つ以上の物理的性質はユーザインターフェース要素のサイズを含んでもよく、ユーザインターフェース要素のサイズは１つ以上のサイズパラメータを含んでもよい。１つ以上の物理的性質はユーザインターフェース要素の形状を含んでもよく、ユーザインターフェース要素の形状は１つ以上の形状パラメータを含んでもよい。コンテキストメタデータはユーザインターフェース要素の機能を示すデータを交互に含んでもよい。機能は、ユーザインターフェース要素またはユーザインターフェース要素との相互作用のいずれかに関連する機能を含んでもよい。コンテキストメタデータは、ユーザインターフェース要素の履歴を示すデータを交互に含んでもよい。履歴は、ユーザインターフェース要素との１つ以上の以前の相互作用に関連する履歴を含んでもよい。コンテキストメタデータは、センサ入力データを交互に含んでもよい。センサ入力データはユーザインターフェース要素との相互作用に関連するセンサ入力データを含んでもよい。コンテキストメタデータは他の種類のコンテキストメタデータを交互に含んでもよい。フローは４２０に進む。

４２０において、受信したコンテキストデータは１つ以上のハプティックパラメータにマッピングされる。ハプティックパラメータは、ある量のハプティック効果の質であってもよい。ハプティックパラメータの例は、大きさハプティックパラメータ、周波数ハプティックパラメータ、持続時間ハプティックパラメータ、振幅（すなわち強さ）ハプティックパラメータ、および波形ハプティックパラメータを含んでもよい。１つ以上のハプティックパラメータは、少なくとも部分的に確認ハプティック効果を定義できる。確認ハプティック効果は、ユーザインターフェース要素との相互作用を確認するために、ユーザインターフェース要素とのユーザ相互作用に応答して生成され得る、力、振動、および動作などのハプティックフィードバック効果であってもよい。特定の実施形態において、マッピングの結果として、１つ以上のハプティックパラメータは、各々、受信したコンテキストメタデータに少なくとも部分的に基づいた値を含んでもよい。フローは４３０に進む。

４３０において、１つ以上のハプティックパラメータはユーザ入力に基づいて修飾される。ユーザ入力はユーザにより定義される１つ以上の乗数を含んでもよい。１つ以上のハプティックパラメータの各々に含まれる各値はユーザにより定義される１つ以上の乗数に基づいてもよい。１つ以上のハプティックパラメータを修飾することによって、確認ハプティック効果は１つ以上の乗数に基づいて修飾されてもよい。特定の実施形態において、１つ以上の乗数は全てのユーザインターフェース要素について全体的に定義されてもよい。他の実施形態において、１つ以上の乗数は、特定のユーザインターフェース要素、または特定の複数のユーザインターフェース要素について局所的に定義されてもよい。特定の実施形態において、ユーザカスタマイズマッピングがコンテキストメタデータマッピングの後に実施される。代替の実施形態において、ユーザカスタマイズマッピングがコンテキストメタデータマッピングの前に実施される。ユーザにより定義される１つ以上の乗数は、スライダユーザインターフェースの一部である１つ以上のスライダに基づいてもよい。他の実施形態において、ユーザにより定義される１つ以上の乗数は、限定されないが、ダイヤル、ホイール、スピナー、ボタン、ラジオボタン、スクローラ、スイッチ、またはチェックボックスなどのスライダ以外のユーザインターフェース要素に基づいてもよい。他の実施形態において、ユーザにより定義される１つ以上の乗数は、限定されないが、物理的ボタン、ロッカスイッチ、物理的スライダ、および「ソフトキー」を含むハードウェアユーザインターフェース要素に基づいてもよい。特定の実施形態において、４３０において実施される１つ以上のハプティックパラメータの修飾は省略される。フローは４４０に進む。

４４０において、ハプティック信号は１つ以上のハプティックパラメータに少なくとも部分的に基づいて生成される。特定の実施形態において、１つ以上のハプティックパラメータはハプティック信号の１つ以上の特徴を定義する。フローは４５０に進む。

４５０において、ハプティック信号はアクチュエータに送信されて、確認ハプティック効果を生成する。確認ハプティック効果は、ユーザインターフェース要素との相互作用を確認するために、ユーザインターフェース要素とのユーザ相互作用に応答して生成され得るハプティックフィードバック効果であってもよい。特定の実施形態において、アクチュエータは、ハプティック信号を受信してもよく、ハプティック信号に基づいて確認ハプティック効果を出力してもよい。特定の実施形態において、ハプティック信号は確認ハプティック効果の１つ以上の特徴を定義する。次いでフローは終了に進む。

ユーザインターフェース要素との次のユーザ相互作用を含む特定の実施形態において、ユーザインターフェース要素との次のユーザ相互作用に関連する追加の（すなわち「他の」）コンテキストメタデータが受信されてもよい。他のコンテキストメタデータは、（すなわち「他の」）１つ以上のハプティックパラメータの新たなセットにマッピングされてもよい。別のハプティック信号が他の１つ以上のハプティックパラメータに少なくとも部分的に基づいて生成されてもよい。別のハプティック信号がアクチュエータに送信されて、別の確認ハプティック効果を生成してもよく、別の確認ハプティック効果はアクチュエータにより生成される以前の確認ハプティック効果と異なる。

したがって、ユーザインターフェース要素とのユーザ相互作用に関連するコンテキストメタデータに基づいて１つ以上の確認ハプティック効果を生成するハプティック確認システムが提供される。したがって、公知のハプティックシステムとは対照的に、ユーザインターフェース要素のための確認ハプティック効果が全体的に１つの要素あたり１つの確認タイプである場合、本発明の実施形態は、コンテキストメタデータに基づいて、単一のユーザインターフェース要素についての複数の可能な確認ハプティックイベントを提供できる。

本明細書全体にわたって記載した本発明の特徴、構造、または特性は、１つ以上の実施形態において任意の適切な形式で組み合わされてもよい。例えば、本明細書全体にわたって、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」、または他の同様の言語の使用は、実施形態と併せた記載した特定の特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれてもよいことを指す。したがって、本明細書全体にわたって、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」という用語、または他の同様の言語の出現は、必ずしも全て実施形態の同じ群を指すわけではなく、記載した特徴、構造、または特性は、１つ以上の実施形態において任意の適切な形式で組み合わされてもよい。

当業者は、上記の本発明が、異なる順序のステップで、および／または開示されるものとは異なる構造の要素と共に実施されてもよいことを容易に理解するであろう。したがって、本発明はこれらの好ましい実施形態に基づいて記載しているが、本発明の精神および範囲内のままで、特定の修飾、変更、および代替の構造が明らかになることは当業者には明らかであろう。したがって、本発明の境界および範囲を決定するために、添付の特許請求の範囲を参照すべきである。

Claims (13)

1. 確認ハプティック効果を生成するためのコンピュータにより実装された方法であって、
   ユーザインターフェース要素によるユーザ相互作用のコンテキストに関連するコンテキストメタデータを受信するステップであって、前記コンテキストメタデータは、前記ユーザ相互作用の前記コンテキストに関連するユーザの身体的活動を示す加速度データを含むセンサ入力データを含む、ステップと、
   前記コンテキストメタデータを１つ以上のハプティックパラメータにマッピングするステップと、
   少なくとも部分的に前記１つ以上のハプティックパラメータに基づいてハプティック信号を生成するステップと、
   前記確認ハプティック効果を生成するために前記ハプティック信号をアクチュエータに送信するステップと、
   を含む、コンピュータにより実装された方法。
2. 前記センサ入力データは、前記ユーザインターフェース要素での圧力と関連する圧力データをさらに含み、前記確認ハプティック効果は、少なくとも部分的に前記圧力データに基づいて生成される、請求項１に記載のコンピュータにより実装された方法。
3. 前記センサ入力データは、環境音データをさらに含み、前記確認ハプティック効果は、少なくとも部分的に前記環境音データに基づいて生成される、請求項１に記載のコンピュータにより実装された方法。
4. 前記確認ハプティック効果は、少なくとも部分的に前記加速度データに基づいて生成され、前記ユーザの前記身体的活動には、ウォーキングまたはランニングが含まれる、請求項１に記載のコンピュータにより実装された方法。
5. 前記センサ入力データは、画像、ビデオ及び音データのうちの少なくとも１つの処理から生成される入力データをさらに含み、前記確認ハプティック効果は、少なくとも部分的に前記入力データに基づいて生成される、請求項１に記載のコンピュータにより実装された方法。
6. ハプティック確認モジュールを記憶するように構成されるメモリと、
   前記メモリに記憶された前記ハプティック確認モジュールを実行するように構成されるプロセッサと、
   １つ以上の確認ハプティック効果を出力するように構成されるアクチュエータと、
   を含み、
   前記ハプティック確認モジュールは、ユーザインターフェース要素によるユーザ相互作用に関連するコンテキストメタデータを受信するように構成され、前記コンテキストメタデータは、前記ユーザ相互作用に関連するユーザの身体的活動を示す加速度データを含むセンサ入力データを含み、
   前記ハプティック確認モジュールは、前記コンテキストメタデータを１つ以上のハプティックパラメータにマッピングするようにさらに構成され、
   前記ハプティック確認モジュールは、少なくとも部分的に前記１つ以上のハプティックパラメータに基づいてハプティック信号を生成するようにさらに構成され、
   前記ハプティック確認モジュールは、前記確認ハプティック効果を生成するために前記ハプティック信号をアクチュエータに送信するようにさらに構成される、
   ハプティック確認システム。
7. 前記確認ハプティック効果は、少なくとも部分的に前記加速度データに基づいて生成され、前記ユーザの前記身体的活動には、ウォーキングまたはランニングが含まれる、請求項６に記載のハプティック確認システム。
8. 確認ハプティック効果を生成するためのコンピュータにより実装された方法であって、
   ユーザインターフェース要素によるユーザ相互作用のコンテキストに関連するコンテキストメタデータを受信するステップであって、前記コンテキストメタデータは、前記ユーザインターフェース要素の１つ以上の物理的性質を示す、ステップと、
   １つ以上のユーザ定義乗数を受け取るステップと、
   前記コンテキストメタデータを１つ以上のハプティックパラメータにマッピングするステップと、
   前記１つ以上のユーザ定義乗数に従って前記１つ以上のハプティックパラメータを修飾するステップと、
   少なくとも部分的に前記１つ以上のハプティックパラメータに基づいてハプティック信号を生成するステップと、
   前記確認ハプティック効果を生成するために前記ハプティック信号をアクチュエータに送信するステップと、
   を含む、コンピュータにより実装された方法。
9. 前記ユーザインターフェース要素の前記１つ以上の物理的性質は、前記ユーザインターフェース要素のサイズを含み、前記確認ハプティック効果は、少なくとも部分的に前記ユーザインターフェース要素のサイズに基づいて生成される、請求項８に記載のコンピュータにより実装された方法。
10. 前記ユーザインターフェース要素の前記１つ以上の物理的性質は、前記ユーザインターフェース要素の形状を含み、前記確認ハプティック効果は、少なくとも部分的に前記ユーザインターフェース要素の形状に基づいて生成される、請求項８に記載のコンピュータにより実装された方法。
11. ハプティック確認モジュールを記憶するように構成されるメモリと、
    前記メモリに記憶された前記ハプティック確認モジュールを実行するように構成されるプロセッサと、
    １つ以上の確認ハプティック効果を出力するように構成されるアクチュエータと、
    を含み、
    前記ハプティック確認モジュールは、ユーザインターフェース要素によるユーザ相互作用に関連するコンテキストメタデータを受信するように構成され、前記コンテキストメタデータは、前記ユーザインターフェース要素の１つ以上の物理的性質を示し、
    前記ハプティック確認モジュールは、１つ以上のユーザ定義乗数を受け取るようにさらに構成され、
    前記ハプティック確認モジュールは、前記コンテキストメタデータを１つ以上のハプティックパラメータにマッピングするようにさらに構成され、
    前記ハプティック確認モジュールは、前記１つ以上のユーザ定義乗数に従って前記１つ以上のハプティックパラメータを修飾するようにさらに構成され、
    前記ハプティック確認モジュールは、少なくとも部分的に前記１つ以上のハプティックパラメータに基づいてハプティック信号を生成するようにさらに構成され、
    前記ハプティック確認モジュールは、前記確認ハプティック効果を生成するために前記ハプティック信号をアクチュエータに送信するようにさらに構成される、
    ハプティック確認システム。
12. 前記ユーザインターフェース要素の前記１つ以上の物理的性質は、前記ユーザインターフェース要素のサイズ及び形状の少なくとも一方を含み、前記確認ハプティック効果は、少なくとも部分的に前記ユーザインターフェース要素のサイズ及び形状の少なくとも一方に基づいて生成される、請求項１１に記載のハプティック確認システム。
13. プロセッサにより実行された場合、前記プロセッサに請求項１〜５及び８〜１０のいずれか一項に記載の方法を実装させる、記憶された命令を有するコンピュータ可読媒体。